Множеств лин регресс модель: оценка коэф-тов регрессии методом наим квадратов (МНК)

⇐ ПредыдущаяСтр 4 из 6Следующая ⇒

Обозначим: , где – прогнозное значение объясняемой переменной, – некоторые оценки коэффициентов регрессии .

зависит от значений коэффициентов .

Обозначив ,

запишем формулы в матричном виде:

сумму квадратов отклонений прогнозных значений от реальных значений объясняемой переменной.

Метод наименьших квадратов состоит в нахождении таких значений и , при которых минимально: .

Множественная линейная регрессионная модель: доказать несмещенность МНК-оценок коэффициентов регрессии.

Несмещенность

заметим, что в силу уравнения регрессии в матричном виде:

Итак,

Следовательно, вектор является несмещенной оценкой вектора коэффициентов регрессии .

Множественная линейная регрессионная модель: эффективность МНК-оценок коэффициентов регрессии.

Можно также показать, что МНК-оценка является эффективной, т.е. она минимизирует среднеквадратичное отклонение оценки от истинного значения вектора : , в классе всех несмещенных оценок, линейных по .

Множественная линейная регрессионная модель: ковариационная матрица МНК-оценок коэффициентов регрессии.

Найдем ковариационную матрицу для МНК-оценки .

В силу . и :

Итак,

Следовательно,

В силу

и симметричности матрицы :

В силу

и :

Итак,

Отметим, что в силу , – это i-й диагональный элемент матрицы

Обозначив элементы матрицы через , из получим:

Обозначим через стандартное отклонение коэффициента .

В силу :

Множественная линейная регрессионная модель: остатки регрессии, необъясненная дисперсия и стандартная ошибка регрессии

Оценка дисперсии ошибок

Как и в случае парной регрессии остатки регрессии определяются из уравнений:

или, в векторном виде:

Следовательно,

Из

Итак,

Подставив

в , получим:

Докажем, что случайные векторы и независимы.

Для их независимости в силу их нормальной распределенности достаточно доказать их некоррелированность.

В силу ), и

где – нулевая матрица размера .

Итак,

В силу векторы и не коррелированны, а следовательно и независимы (в силу их нормальной распределенности).

Найдем .

В силу , :

Итак,

По аналогии со случаем парной регрессии обозначим:

(необъясненная дисперсия)

Можно показать, что величина является несмещенной оценкой дисперсии ошибок , т.е.

. Отметим, что в силу формулы величина является функцией от вектора . Следовательно, в силу независимости векторов и вектор и величина также независимы.

Можно показать, что случайная величина имеет распределение «хи квадрат» с числом степеней свободы :

Напомним, что распределение «хи квадрат» с степенями свободы – это распределение следующей случайной величины:

где – независимые стандартные нормальные случайные величины.

Квадратный корень из называется стандартной ошибкой оценки (стандартной ошибкой регрессии).

Множественная линейная регрессионная модель: оценка ковариационной матрицы МНК-оценок коэффициентов регрессии (на основе необъясненной дисперсии).

Обозначим:

В силу несмещенности оценки из

следует, что матрица

, является несмещенной оценкой ковариационной матрицы векторной МНК-оценки .

является несмещенной оценкой дисперсии МНК-оценки .

Обозначим:

оценку стандартного отклонения .

Отметим, что из

и :

Множественная линейная регрессионная модель: построение t-статистик для коэффициентов регрессии, проверка гипотез для коэффициентов регрессии.

t-статистика – это отношение стандартной ошибки оценки коэффициента к его абсолютной величине. Его конкретное значение можно сравнить с таблицами t-статистик, которые в зависимости от размера выборки показывают выраженные в процентах вероятности, что оно могло возникнуть случайно, когда истинная величина коэффициента была нулевой. Оценки эмпирически найденных параметров уравнений часто сопровождаются напечатанной ниже величиной t для каждого коэффициента непосредственно под ним, в скобках. Проверка линейного ограничения на параметры линейной регрессии

⇐ Предыдущая 1 2 345 6 Следующая ⇒