Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
Множеств лин регресс модель: оценка коэф-тов регрессии методом наим квадратов (МНК)
Обозначим: , где – прогнозное значение объясняемой переменной, – некоторые оценки коэффициентов регрессии . зависит от значений коэффициентов . Обозначив , запишем формулы в матричном виде: сумму квадратов отклонений прогнозных значений от реальных значений объясняемой переменной. Метод наименьших квадратов состоит в нахождении таких значений и , при которых минимально: . Множественная линейная регрессионная модель: доказать несмещенность МНК-оценок коэффициентов регрессии. Несмещенность заметим, что в силу уравнения регрессии в матричном виде: и . Итак, . Следовательно, вектор является несмещенной оценкой вектора коэффициентов регрессии .
Множественная линейная регрессионная модель: эффективность МНК-оценок коэффициентов регрессии.
Можно также показать, что МНК-оценка является эффективной, т.е. она минимизирует среднеквадратичное отклонение оценки от истинного значения вектора : , в классе всех несмещенных оценок, линейных по .
Множественная линейная регрессионная модель: ковариационная матрица МНК-оценок коэффициентов регрессии. Найдем ковариационную матрицу для МНК-оценки . В силу . и : Итак, Следовательно, В силу и симметричности матрицы : В силу и : Итак, Отметим, что в силу , – это i-й диагональный элемент матрицы Обозначив элементы матрицы через , из получим: . Обозначим через стандартное отклонение коэффициента . В силу :
Множественная линейная регрессионная модель: остатки регрессии, необъясненная дисперсия и стандартная ошибка регрессии
Оценка дисперсии ошибок Как и в случае парной регрессии остатки регрессии определяются из уравнений: , или, в векторном виде:
Следовательно, ,
Из Итак, Подставив в , получим:
Докажем, что случайные векторы и независимы. Для их независимости в силу их нормальной распределенности достаточно доказать их некоррелированность. В силу ), и
где – нулевая матрица размера . Итак, В силу векторы и не коррелированны, а следовательно и независимы (в силу их нормальной распределенности). Найдем . В силу , : Итак,
По аналогии со случаем парной регрессии обозначим: (необъясненная дисперсия)
Можно показать, что величина является несмещенной оценкой дисперсии ошибок , т.е. . Отметим, что в силу формулы величина является функцией от вектора . Следовательно, в силу независимости векторов и вектор и величина также независимы. Можно показать, что случайная величина имеет распределение «хи квадрат» с числом степеней свободы : Напомним, что распределение «хи квадрат» с степенями свободы – это распределение следующей случайной величины: где – независимые стандартные нормальные случайные величины. Квадратный корень из называется стандартной ошибкой оценки (стандартной ошибкой регрессии). Множественная линейная регрессионная модель: оценка ковариационной матрицы МНК-оценок коэффициентов регрессии (на основе необъясненной дисперсии). Обозначим: , В силу несмещенности оценки из следует, что матрица , является несмещенной оценкой ковариационной матрицы векторной МНК-оценки . является несмещенной оценкой дисперсии МНК-оценки . Обозначим: оценку стандартного отклонения .
Отметим, что из и :
Множественная линейная регрессионная модель: построение t-статистик для коэффициентов регрессии, проверка гипотез для коэффициентов регрессии.
t-статистика – это отношение стандартной ошибки оценки коэффициента к его абсолютной величине. Его конкретное значение можно сравнить с таблицами t-статистик, которые в зависимости от размера выборки показывают выраженные в процентах вероятности, что оно могло возникнуть случайно, когда истинная величина коэффициента была нулевой. Оценки эмпирически найденных параметров уравнений часто сопровождаются напечатанной ниже величиной t для каждого коэффициента непосредственно под ним, в скобках. Проверка линейного ограничения на параметры линейной регрессии
Популярное:
|
Последнее изменение этой страницы: 2016-03-25; Просмотров: 914; Нарушение авторского права страницы