Рассмотрим указанные выше свойства, нарушения которых делает применение МНК неэффективным.

?? 7 к 2=================

3=========

Свойства оценок регрессионных моделей

Наромним самую простую, первую постановку МНК из из теории измерений Теории Вероятности ( в связи с разработкой теории измерений)

в 1800-тых годах.Авторы - Лаплас, Гауссом и Лежандр, каждый из которых в то время работал над теорией движения небесных тел и не мог обойти проблемы теории измерений.

Лапласом

было предложено оценивать неизвестное значение измеряемой величины по его повторным измерениям как такую величину , которая обеспечивает мин. ф-лу

(*)

Оказалось, что такое значение соответствует нахождению выборочной эмпирической медианы - то есть такому числу , справа и слева от которого находится одинаковое количество измерений.

Позже, было показано что задача минимизации суммы модулей отклонений решаеться линейным программированием. О ЛП?

Но в то время ученому сообществу более простой и технологичной показалась идея двух других французов – Гаусса и Лежандра которые для тех же условий задачи предложили минимизировать ф-нал

(**)

и предложили технологию Метода Наименьших Квадратов.

Какие же предусловия применения МНК? что надо

Доказано что выполнении условий

1.Каждое измерение есть реализация случайных величин-

2. Случайные величины - независимы

3.Случайные величины - одинаково распределены с

3.1. одинаковыми МО и

3.2 одинаковыми постоянными дисперсиями (гомоскедактичность)

то оценка полученная по МНК будет

Состоятельна, несмещена и эффективна

После выполнения расчета по МНК проверка корректности

можно переформулировать для остатков решения по МНК (« постусловия» применения МНК ):

1) величина я вляется случайной переменной распределенной по нормальному закону;

2) математическое ожидание равно нулю: ;

3) дисперсия постоянна: для всех i;

4) значения независимы между собой, следовательно, справедливо

Поэтому если не было уверенности в том что условия применения МНК выдержаны – после решения обязательно проверяют свойства остатков

Если условия применения МНК были соблюдены то выполняются следующие свойства оценок параметров модели;

1. Состоятельность оценки –

Оценка числового параметра , определенная при n= 1, 2, … называется состоятельной, е сли она сходится по вероятности к значению оцениваемого параметра при безграничном возрастании n объема выборки. Или иначе: Статистика является состоятельной оценкой параметра тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

(*)

Заметим, что такое определение - более слабое чем

и это дань тому, что определяется не рекурентнтно, например, а через реализации случайных величин . Примеры

Выборочное среднее

и выборочная. медиана

и выбор. дисперсия

по вероятности сходятся соответственно к

МО , медиане и дисперсии и поэтому это

– состоятельные оценки параметров случайной величины Х

Несмещенность оценки

Несмещенная оценка – это оценка параметра , математическое ожидание которой равно значению оцениваемого параметра:

Наиболее характерным примером смещенности оценки есть выборочная дисперсия

– как мы говорили – это состоятельная оценка но оказывается – смещенная !. Можно показать что отличается от на кусочек

Но при так как

Такую несмещенность называют асимптотической несмещенностью.

А для дисперсии - состоятельной и несмещенной оценкой оказывается выборочная статистика

именно для нее имеем

Эффективность оценки

Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра

Доказано, напимер что и являются эффективными оценками параметров m и σ ² нормального распределения.

Что же получиться при нарушении всех или части из 1- 4 – свойств? –нарушаются перечисленные выше свойства (в разной мере)

Если оценка не состоятельна это значит что мы ее не только неточно определяем, но вообще не то расчитываеим, а что расчитываем надо отдельно разбиратьься

Если оценка смещена – то хорошо если только ассимтотически смещена. А е сли просто смещена надо постаратся разобратся в оценке смещения

Наконец если оценка неэффективна – надо искать лучшую, эффективную.

3 =========================

Анализ остатков решения МНК

Одним из распространенных приемов оценки условий применения МНК – это анализ остатков моделирования.

И так есть табличные значения выхода , выхода модели и остатки моделирования ,

Основные свойства проверяемые при анализе -

- случайность остатков (равномерность распределения вдоль оси аргументов)

-гомоскедатичность дисперсии остатков

- нормальность частотного распределения остатков с нулевым МО

- независимость остатков

Случайность остатков

Свойства проверяются путем анализа графиков остатков вдоль оси аргументов.

С этой целью стоится график зависимости остатков e_i от известных модельных значений выхода.

Если на графике получена горизонтальная

полоса, то остатки представляют собой

случайные величины от найденной модели

и был МНК оправдан, значения

хорошо

аппроксимируют фактические значения y.

Возможны следующие случаи, если зависит от то:

- Разброс (дисперсия) постоянна,

МО –переменно и не равно 0.

- Дисперсия остатков переменна –

гетероскедатична (в этом случае

остатки тоже неслучайны)

- остатки носят систематический

характер

- Свойства оценок параметров регрессии (несмещенность) нарушается и в случае зависимости случайных остатков от входных аргументов x, Поэтому необходим анализ

графиков остатков от факторов x_j,

вошедших в уравнение регрессии:

есть ли там зависимость

или нет нам зависимости?

По поводу анализа графиков от x_j,

- повторяем все то же что при анализе от выхода у_j

Добавим что: Скопление точек в определенных участках значений фактора x_j говорит о наличии систематической погрешности модели.

Во всех этих случаях необходимо либо менять базис расчета регрессии - функции , либо вводить новую информацию – допонительные признаки и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами