Напомним осн. правила матричных операций

1.– Умножения – А*В=С - то есть для получениия jk-того элемента С - в А берут j-тую строку, в В k-тый столбец и их скалярно перемножают.

2. Траспонирование

– столбцы делает строками, строки столбцами

(в квадратной матрице – просто зеркально

отображаем относительно гл диагонали)

кроме того: (АВ)^Т=В^Т А^Т и следствие (АВС)^Т=С^ТВ^ТА^Т

3.Обратная матрица А^-1 матрицы А это такая матрицадля которой выполняется

А^-1 _*А=Е, где единичная матрица

4.Свойство ортогональности векторов а и в:

Наше требование к регресии - выполнение равенств - что должно бы выполняться - в первой точке

………… в n -ой точке - (*)

На самом деле выполнить их невозможно ввиду предположения

Эти условия (требования) (*) в матричном виде можно записать как

(именно в таком порядке =операция умножения – срока Х на столбец а )

Для решения задачи регрессии среди всех моделей нужно выбрать ту которая удовлетворяет условиям (*) наилучшим образом в смысле функционала (1)

Матричную запись модели можно представить как уже выполн. условие (вместо ) с найденными оценками .

То есть в результате решения мы находим такие которые формируют наилучшим образом приближая условие

х1

х2

Приближение это реализуется МНК как проектирующий механизм. Покажем это

Если выражение, которое нам надо приблизить в матричном виде выглядит как

х1

х2

Р

то естественно что матричный аналог квадратичной невязки (1) –это . Эта ошибка есть расстояние от вектора до вектора .

Вектор должен лежать в пространстве переменных (столбцов) матрицы , так как есть линейная комбинация столбцов этой матрицы с коэфф. .

Отыскание решения по методу наименьших квадратов эквивалентно задаче отыскания такой точки (вектора)

которая лежит ближе всего к и находится при этом в пространстве столбцов матрицы .

Таким образом, вектор должен быть проекцией на пространство столбцов и вектор невязки должен быть ортогонален этому пространству.

Далее для упощения записи вывода формулы МНК отрбросим значки “тильда”

Ортоганальность вектора невязки пространству можно определить след образом:

х1

х2

а1х1

а1х1

Любой (произвольный) вектор в пространстве столбцов есть обязательно линейная комбинация столбцов с некоторыми коэффициентами , то есть это вектор .

При произвольном вектор - это любой произвольный вектор, который можно положить в гиперплоскость построенную на векторах .

 

Для всех в пространстве , эти вектора должны быть перпендикулярны невязке , в силу этого – условие отрогональности:

Так как это равенство должно быть справедливо для произвольного вектора , то (*)

Таким образом мы нашли сооошение дающее решение по МНК несовместной системы условных уравнений , состоящей из n уравнений с m неизвестными (*)

которая называется системой нормальных уравнений

Если столбцы матрицы линейнонезависимы???? , то матрица обратима и можем получить решение для - одна их причин треб незав Х - и чем ближе к ЛЗ будут вектора тем хуже обусловлена

(**)

Правда, естественно, решение не в том смысле, что оно превращает его в равенство, а в том, что в пространстве находит ближайший к нему вектор - проекцию . Вот для него имеем равенство

Что и есть решение – основная народнохозяйственная ф-ла МНК

(брать производн. ф-ла,, приравн его=0, решать систему– проверте на примерах).То есть машина производных не берет а реалмзует полученную матричную формлу различными вычисдтельными процедурами. Самое слабое место – обращение матрицы, особенно при ее плохой обусловленности (корр переменных) – это будет у нас отдельный разговор.

*2 ====== Оператор проектирования. Свойства оператора.

Полученный результат имеет полезное для приложений свойство –

Из выражение получаем формулу оператора проектирования вектора в плоскость :

Проекция вектора на пространство столбцов матрицы имеет вид (подставляя значение из (**))

Матрица

называется матрицей проектирования вектора на пространство столбцов матрицы .

Посмотрите какой интересный вид у нее.

Эта матрица имеет два основных свойства:

1. она идемпотентна , и

2. она симметрична - .

Проверим

1.

2.по 2 = = = = Или более просто по 3 - центральную скобку не трогаем при перестановке, края меняем местами и транспонируем, ценр тоже транспонируем

= =

 

Очень важно что верно и обратное: матрица Р, обладающая этими двумя свойствами есть матрица проектирования на свое пространство столбцов Х произвольного вектора У.

Данные свойства могут использоватся при проверке корректности использования МНК (в первую очередь зашумленность данных)

- потеря указанных свойств матрицей Р служит сигналом что оценки МНК (в силу нарушения условий применения - о них ниже ) потеряли свое качество – Состоятельность, несмещеность и эффективность

Именно эти наруш єтих св - вызывают необходимость корректировки расчета, отыскания новых регрессоров, фильтрации шумов, расчета нескольких уравнений регресии вместо одного и т.д. о чем вам расказывал ЕА

Все это делается для минимизации минимизации последствий нарушения условий применения МНК (а они, как увидим нарушаются практически всегда).

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: