Дисперсионный анализ лин. регрессии.

Непосредственному определению коэф дет предшествует анализ дисперсии.

Основной целью дисперсионного анализа является исследование значимости различия между средними.

Центральное место в дисп.анализе занимает разложение общей суммы кв.отклонений результирующего показателя у от его сред.зн-я у (с чертой) на две части: объясненную(факторную) и остаточную(необъясн).

(общая сумма=объясн + ост)

Таким образом, условно все факторы, определяющие изменение результирующего показателя, разделены на две группы: изучаемый фактор х и прочие факторы. Если изучаемый фактор х не оказывает влияния, то линия регрессии параллельна оси Ох, т. е. уравнение регрессии будет иметь вид: у_х = у=а. сумма факт=0

В этом случае влияние оказывают другие факторы, и, следовательно, вся дисперсия результативного признака обусловлена другими факторами.

Если другие факторы не оказывают влияние на результат у, то он связан с фактором х функционально, и сумма квадратов остатков будет равна нулю.

Тогда если ввести отнош суммы кв факторной к сумме кВ общей как коэф детерминации то он будет изменяться от 0 до 1. При чем если r=0 то связь отсутствует, если =1 то связь тесная функциональная.

r=∑ (y_xi-y^-)^2/∑ (y_i-y^-)^2=S²_yфакт/S²_y_общ. Через остаточную сумму: =1- S²_y_ост/ S²_y_общ

Замечание 1.

Можно показать что для лин ф-и регр сущ связь r=r_xy² т.е. квадрат коэф корр есть коэф детерминации.

Замечание 2. Коэф корр хар-т тесноту лин ф-ции регр, а детерм для любой.

В случае рассмотрения нелин ф-и регр находят коэф дет и зняю связь между коэ-ми вводят индекс корреляции. R_xy=r^1/2

Замечание 3. Между коэ кор, регрессии b и коэф дет для лин ф-ции регр сущ связь

44. анализ тесноты свф-и регр с пом кр фишера в целом оценка знач-ти Осущ-ся с помощью F-критерия Фишера, котор. сопоставляет факторную(объясненную) и остаточную дисперсии в расчете на одну степень свободы.Для вычисления F- критерия Фишера используется разложение общей суммы квадратов отклонений

Сравнение 2-х сумм квадратов отклонения позвол.вып-ть оценку значимости ур-я рег-ии. Устан-м число степеней своб. для кажд. суммы квадратов отклонений При этом число степеней свободы-число единиц совокупности выборки и число определяемых констант. Для общей суммы треб число степ. своб. =(n-1), т.к. число n определяет чило единиц сов-ти, но после нахождения ^y^- одно знач из этой сов-ти можно вычислить. ^Тогда -выборочная общая дисперсия. При опр-ии числа степ. своб. для факторной суммы квадратов дисперсия находится по результативному показателю. исп-ся выраж. , число b хар-ет степень свободы.(кол-во констант 1 значит одна степ свободы) Тогда для остат-й суммы квадр. число степ. своб. = n-2.(n-1=1+(n-2)). Знач. дан. сумма имеет одну степ. своб. и тогда: =

- факторная и остат дисперсии.

Приведен. соотнош. дают возмож. исп-ть их для оценки стат. значим-ти ур-я рег-ии., кот. вкл. след. этапы: (для оцен. знач. выдвиг. след. гипотезы)

1) , кот. утвержд. что факторн. сумма на 1-ну степ. своб. = остат.; и выдвиг альтернатив. гипот. , -альтернативная, в кот. говор-ся что эти суммы не равны.2)В кач-ве критерия примен. стат-ка представл-я собой отнош-е: Предполог. при справедлив. гип-зе отнош-е F распределено по закону ФЫишера (F распр-е) к1=1, к2=n-2; Fтабл (к1, к2)-закон Фишера(привод в табл); 3)Выбирается Ур-нь знач-ти α, кот. обыч приним 0, 05; 0, 1.4)По табл. Фиш. нах-ся знач F по заданному уровню α; 5)Сравнив-ся таблич знач и вычисл-е знач. F-крит. Фиш. Если Fфакр< Fтабл, то вероят-ть выше заданного Ур-ня α.И она не м.б. отклонена без существенного риска соверш. неправ. выбор о наличии связи м/у результат-м показат. и фактором. В этом случае Ур. рег. след. полог. незначимым. В против. случ. нулевая гипот. отверг. и приним альтернатив., и счит. Ур. рег. качественным(Fфакр< Fтабл)

40.Оценка существ-ти пар-ров лен. рег-ии. Пар-ры лин. рег. (коэф. b и своб член а)явл. случ. вел-ми, т.к. вычисл. с помощью Эл-в выборки.Надеж-ть оценок a и b завис. от дисперсии случ-х отклон-й ε , кот неизв, а поэт замен при анализе на дисперсию откл-ий

Доказ., что

где

Sa bSb-стандарт. отклон.b-мера наклона линии рег-и.Чем > разброс знач. результир. показ. y вокруг лин. рег., тем > ошибка в опр. наклона лин.Выборочная дисперсия своб. члена а пропорц. диспер. коэф. b.След-но, чем > ошибка в опр-ии b, тем > разброс а.Стат. знач b м.б. опр-на с пом. анализа его отнош. к своему стандарт. отклонению.Эта вел. имеет t-распред-е Стьюдента с (n-2)степ. своб.Назыв. t-статистики: t=b/Sb.Примен. для проверки существенности b.Для t-стат. провер-ся гипотеза Hо о рав-ве 0 статистики.t=0, сл-но b=0.Опр-ся фактич. значение t-критерия Стьюдента, кот. сравнив. с таблич знач.Процедура проверки коэф. рег. и своб. члена ур-я рег. аналогична пров-ке значимости ур-я рег.

МНК для лин ф-и регр

вид: у_х=а+bx. Хар-ет семейства прямых, каждое из которых характеризуется конкретными значениями коэффициентов а и Ь, Наилучшей из всего множества прямых для рассматриваемой выборки является та прямая, которая на плоскости хОу расположена " ближе" всего, в определенном смысле, к опытным точкам. В качестве меры близости прямой и некоторой точки на плоскости можно выбрать расстояние между ними. При этом под расстоянием следует понимать модуль разности между опытным (наблюдаемым) значением результирующей величины и теоретическим.

В качестве критерия близости между прямой и множеством точек на плоскости целесообразно выбрать минимум суммы квадратов этих расстояний. Е=∑ (yi-a-bx_i)^2-> min. Здесь считается, что y_t и x_i - известные статистические данные; а

и Ъ — неизвестные параметры (коэффициенты) функции регрессии. Поскольку функция Е непрерывна, выпукла и ограничена снизу нулем, то она имеет минимум. Изложенная идея минимизации суммы квадратов отклонений (на плоскости расстояний) опытных от теоретических значений объясняемой переменной положена в основу метода наименьших квадратов.

Для нахождения коэф a и b лин регр, минимизирующих ф-ю, необходимо продифференцировать ее по а и Ъ и приравнять производные нулю:

После преобразований окончательно будем иметь

В рез-те решения будем иметь

1 2 345