|
Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
|
|
Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
Процедура получения оценок максимального правдоподобия
Целевая функция типа (2.109) называется функцией максимального правдоподобия. Несложно заметить, что оптимальные значения оценок параметров a0*, a1*,..., an*и дисперсии фактической ошибки s e 2, соответствующие ее максимуму, должны обеспечивать и максимум ее логарифма. Иными словами, при определении значений этих оценок можно решать задачу максимизации
Не принимая во внимание первое постоянное слагаемое в правой части выражения (2.111), заметим, что оптимальные значения a0*, a1*,..., an*и s e 2 в этом случае могут быть найдены путем решения следующей системы из п+2-х дифференциальных уравнений в частных производных по этим параметрам:
Для получения более компактной векторно-матричной формы записи решения системы (2.112) представим линейную эконометрическую модель в векторно-матричной форме: у = Х× a + e, (2.113)
где вектор у и матрица Х определены выражением (2.110) и вектор ошибки e имеет такой же вид, как и вектор у; вектор параметров a =(a0, a1,..., an)¢. На основании (2.113) вектор ошибки можно представить в следующем виде:
e = у –Х× a, (2.114)
и последнее слагаемое в выражении (2.111) записать как скалярное произведение вектора ошибки строки на ее столбец. С учетом этого выражение (2.111) приобретает следующий вид:
Дифференцируя выражение (2.115) по неизвестному вектору параметров a и по неизвестной дисперсии ошибки se2, получим следующую векторно-матричную форму записи системы (2.112): ¶l/¶ a = ¶l/¶se2=
Поскольку se2¹ 0, из первого уравнения системы (2.116) непосредственно получаем вектор оценок ММП коэффициентов линейной эконометрической модели в следующем виде:
a *= a =( Х ¢ Х )–1× Х ¢ × у, (2.117)
а из второго – оценку ММП дисперсии ошибки эконометрической модели: s е 2 =
Заметим, что выражение (2.117) ничем не отличается от своего аналога (2.8), полученного с использованием МНК, а оценка дисперсии ошибки модели, полученная на основании выражения (2.118), является смещенной. Вследствие этого на практике используют несмещенную оценку дисперсии, определяемую следующим образом*:
Известно, что оценки параметров, полученные с использованием ММП, обладают свойством состоятельности**:
plim( a )= a, plim(se2)=se2,
имеют асимптотически нормальное распределение и асимптотически эффективны,
se2 se2 se2
где Заметим, что состоятельность оценок ММП следует из совпадения с оценками МНК, которые, как было показано в разделе 2.1.2, являются состоятельными. Асимптотические свойства оценок ММП также определяются стремлением к нулю их дисперсий с ростом числа измерений, что следует из свойств элементов матрицы I –1( a, se2). Напомним, что I ( z ) – информационная матрица случайного вектора z, определяется следующим образом: I ( z )= – M[¶2l/¶ z ¶ z ¢ ], (2.120)
где матрица ¶2l/¶ z ¶ z ¢ имеет следующий вид:
¶2l/¶ z ¶ z ¢ =
и в нашем случае k=n+2 и z1=a0,..., zk– 1=an , zk =se2. Выполнив двойное дифференцирование выражения (2.116) по вектору a и se2, получим
¶2l/¶ a ¶ a ¢ =– Х ¢ Х /se2 ; –M[¶2l/¶ a ¶ a ¢ ]=– Х ¢ Х /se2 ; ¶2l/¶ a ¶se2=– Х ¢ e /se4; –M[¶2l/¶ a ¶se2]=0.
Последнее равенство выполняется в силу предполагаемой независимости значений факторов хit (столбцов матрицы X ) и ошибки e, являющейся “белым шумом”.
¶2l/(¶se2)2=T/2se4– e ¢ e /se6; –M[¶2l/(¶se2)2]=T/2se4, поскольку M[ e ¢ e ]=T× se2.
Таким образом, информационная матрица вектора ( a, se2)¢ определяется следующим выражением:
а ковариационная матрица этого вектора имеет следующий вид:
где Из выражения (2.123) вытекает, что ковариационная матрица вектора оценок параметров линейной эконометрической модели (1.2) имеет следующий вид: Cov ( a )=se2 × ( Х ¢ × Х )–1= W a@se2 × ( Х ¢ × Х )–1. (2.124)
В выражении (2.124) учтено, что на практике оценка дисперсии истинной ошибки se2 может быть заменена ее оценкой se2, определенной согласно выражению (2.119) с использованием “фактических” значений ошибки et . Из выражения (2.124) непосредственно следует, что дисперсии оценок параметров линейных эконометрических моделей Таким образом, из результатов раздела 2.5 вытекает, что при предположении о нормальном законе распределения ошибки эконометрической модели и ее свойствах, определенных выражениями (2.20)–(2.24), оценки ее коэффициентов, полученные с использованием методов максимального правдоподобия и наименьших квадратов совпадают. Аналогичное совпадение отмечается и у ковариационных матриц этих оценок. Несложно показать, что в этих условиях у МНК и ММП совпадают также оценки параметров эконометрических моделей, полученные при ограничениях на их значения (см. выражение (2.91)). Если же ошибки модели распределены по другому закону (например, Гаусса с тяжелыми хвостами, Стьюдента и т. п.), то вообще говоря, выражения для оценки коэффициентов, полученные на основе ММП, будут отличаться от их аналогов, полученных с использованием МНК. Вопросы к главе II 1. Каковы предпосылки «классического» метода наименьших квадратов (МНК)? 2. В чем суть МНК? 3. Приведите формулы расчета оценок коэффициентов линейной модели по МНК? 4. Какими свойствами обладают МНК-оценки классической линейной эконометрической модели? 5. Перечислите свойства фактической ошибки эконометрической модели. 6. Каким образом тестируется условие постоянства дисперсии ошибки модели? 7. Каким образом проверяется наличие автокорреляции ошибок модели? 8. Как оценивается дисперсия истинной ошибки модели? 9. Каковы последствия мультиколинераности факторов? 10. Как проверяется обратимость матрицы Х¢ Х? 11. Каковы последствия неправильного выбора состава независимых переменных модели? 12. Каковы особенности оценивания параметров с учетом наложенных ограничений? 13. Перечислите предпосылки метода максимального правдоподобия (ММП)? 14. Опишите процедуру получения оценок параметров эконометрической модели с помощью ММП. 15. Какими свойствами обладают ММП-оценки параметров? 16. Каким образом оценивается дисперсия истинной ошибки модели? Упражнения к главе II Задание 2.1 Для 13 клиентов спортивного отдела магазина зафиксирована сумма покупки хt (в у. е.) и время разговора с продавцом yt (в мин.). Данные представлены в табл. 2.1. Таблица 2.1
Требуется: 1. Оценить с помощью МНК параметры линейного регрессионного уравнения, предположив, что переменная “длительность разговора с продавцом” объясняется переменной “величина покупки”. 2. Оценить с помощью МНК параметры линейного регрессионного уравнения, предположив, что переменная “величина покупки” объясняется переменной “длительность разговора с продавцом”. 3. Нарисовать диаграмму рассеяния величин (хt, yt) и обе линии регрессии. Объяснить, почему, если поменять экзогенную и эндогенную переменные местами, как правило, получаются различные уравнения регрессии.
Задание 2.2 Имеется классическое линейное однофакторное уравнение регрессии, параметры которого оценены обычным МНК,
Требуется: 1. Доказать, что сумма остатков равна нулю:
2. Доказать, что 3. Доказать, что
4. Доказать, что
5. Доказать, что
6. Показать, что
7. Показать, что
8. Показать, что
Задание 2.3 Имеется линейное однородное однофакторное уравнение регрессии yt=a хt+et (t=1,..., Т). Требуется: 1. Вывести формулу МНК для расчета определения оценки a регрессионного параметра a. 2. Покажите, что оценка a, полученная МНК, является несмещенной оценкой параметра a. 3. Определите дисперсию оценки a.
Задание 2.4 Исследуется зависимость затрат на рекламу у от годового оборота х в некоторой отрасли. Для этого собрана информация по Т=20 случайно выбранным предприятиям этой отрасли о годовом обороте хt и соответствующих расходах на рекламу yt (в млн. руб.). Из выборки получены следующие данные: Требуется: 1. Оценить параметры a0 и a1 с помощью МНК. 2. Оценить дисперсию se2 “истинной” ошибки et. 3. Оценить дисперсии оценок a0 и a1 и их ковариацию. Задание 2.5 Для данных задания 2.3 установлено, что “истинная” ошибка распределена нормально. Требуется: 1. Определить 95%-е доверительные интервалы для параметров регрессии a0 и a1. 2. Проверить, можно ли утверждать, что с вероятностью 95% a0 Î K0 Ù a1 Î K1, где K0 и K1 – доверительные интервалы соответственно параметров a0 и a1, построенные в п. 1. 3. Определить 95%-й доверительный интервал для дисперсии “истинной” ошибки et.
Задание 2.6 Для анализа зависимости целевой переменной у от объясняющей переменной х получена выборка, состоящая из Т=50 наблюдений, и определены следующие показатели: Требуется проверить следующие гипотезы: 1. H01: a1³ a10=1 при уровне значимости a=0, 05. 2. H02: a0£ a00=50 при уровне значимости a=0, 05. 3. H03: se 2 ³ s0 2 =25 при уровне значимости a=0, 05. Задание 2.8 Имеется нелинейное однофакторное уравнение регрессии
Требуется: 1. С помощью МНК оценить параметр регрессии a. 2. Рассмотреть линейное однофакторное уравнение y¢ t=a¢ хt+xt, где y¢ t=1/yt и a¢ =1/a, иустановить, какое соотношение существует между случайными ошибками et и xt. 3. С помощью МНК рассчитать оценку a¢ параметра регрессии a¢ и сравнить ее с оценкой из п. 1. 4. На основе трех пар наблюдений (хt, yt) – (4; 2, 5); (2; 5); (10; 1; 25) – показать, что оценки из пп. 1 и 3 в общем случае не совпадают. Задание 2.9 Имеется выборка, состоящая из Т=6 пар наблюдений (хt, уt): (2, 0; 0, 0); (2, 5; 0, 5); (3, 0; 1, 0); (4, 0; 1, 0); (4, 5; 0, 5) и (5, 0; 0, 0), которая характеризует особый случай представления данных. Требуется: 1. Нарисовать диаграмму рассеяния и выяснить, о каком особом случае идет речь. 2. Построить регрессионное уравнение для этого случая и прокомментировать его. 3. Рассчитать коэффициент детерминации и проинтерпретировать его. 4. Определить, что изменится, если принять, что первые три и последние три пары значений относятся к разным генеральным совокупностям.
Задание 2.10 Рассмотрим линейную однофакторную регрессионную модель, в которой экзогенные переменные принимают только два значения 0 и 1, т. е. являются индикаторами. Требуется: 1. Определить общий вид уравнения регрессии. 2. Для 30-летних коммерсантов с высшим образованием объяснить уровень месячного дохода с помощью переменной “пол”, если для 6 случайно выбранных женщин месячные доходы составляют 3750, 3910, 4230, 3890, 4090, 4130, а для 6 случайно выбранных мужчин – 4850, 3950, 4210, 5580, 5170 и 4740. Построить соответствующее уравнение регрессии.
Задание 2.11 Имеется линейная классическая нормальная модель множественной регрессии yt = a0 + a1 х1t +...+an хnt +et.
Требуется: 1. Рассмотреть функцию плотности распределения вектора “истинной” ошибки e и показать, что из того, что вектор e имеет нормальное Т-мерное распределение, следует, что отдельные ошибки et (t=1, 2,..., Т) являются независимыми друг от друга и нормально распределенными с параметрами M[et]=0 и D[et]=se2. 2. Определить, как распределен вектор эндогенных переменных y, и какова функция плотности распределения этой переменной. 3. Показать, что вектор оценок a, полученный обычным МНК, является оценкой максимального правдоподобия для a. 4. Определить, как распределен вектор оценок a, и какова функция плотности распределения этого случайного вектора.
Задание 2.12 Имеется классическая линейная модель множественной регрессии, записанная в отклонениях,
где Требуется: 1. Показать, что форма этой модели эквивалентна форме классической линейной модели множественной регрессии yt = a0 + a1 х1t +...+an хnt + et.
2. Определить вектор оценок параметров a *=(a1*,..., an*)¢. 3. Построить ковариационную матрицу вектора оценок a *.
Задание 2.13 Имеется классическая линейная модель множественной регрессии, записанная в отклонениях,
Требуется: 1. Показать, что для значений a (0) =(a1,..., an )¢ выполняется следующее соотношение: a (0) =( Х *¢ Х *)–1 Х *¢ × у *.
2. Показать, что значение может быть определено по следующей формуле:
где
Задание 2.14 Экзогенные переменные линейного уравнения множественной регрессии претерпевают следующие преобразования:
где c1iÎ R, c2i ¹ 0, i=1,..., n. Требуется: 1. Показать, что МНК-оценки параметров регрессии a (0)p=(a1p,..., anp)¢ после таких преобразований определяются по следующим формулам:
где
2. Показать, как изменятся МНК-оценки a (0)=(a1,..., an)¢, если от исходных экзогенных переменных перейти к стандартизованным переменным. 3. Показать, что для ковариационной матрицы вектора оценок a (0)p выполняется следующее соотношение:
Cov( a (0)p) = C 2× Cov( a (0)).
4. Показать, что в результате такого линейного преобразования не меняется оценка дисперсии ошибки.
Задание 2.15 Изменение спроса на некоторое благо (у) у домашних хозяйств определенной структуры можно объяснить с помощью цены этого блага (х1) и дохода домохозяйства (х2). Соответствующая информация представлена в табл. 2.2. Таблица 2.2
Требуется: 1. Оценить с помощью МНК параметры линейного двухфакторного уравнения
yt = a0 + a1 х1t +a2 х2+ et
и интерпретировать оценки. 2. Оценить дисперсию ошибки s e 2. 3. Рассчитать оценку математического ожидания
Задание 2.16 Изменение спроса на некоторое благо (у) у домашних хозяйств определенной структуры можно объяснить с помощью цены этого блага (х1) и дохода домохозяйства (х2). Соответствующая информация представлена в табл. 2.2. (см. задачу 2.15). Требуется: 1. Построить однофакторные уравнения спроса у от цены (х1) и от дохода (х2). Оценить с помощью МНК параметры этих уравнений. 2. Сравнить оценки параметров из п. 1 с соответствующими оценками из задачи 2.15 п. 1. Кроме того, определить с помощью каждого из уравнений регрессии прогнозные значения математического ожидания целевой переменной Задание 2.17 На основании данных из задания 2.15 построено двухфакторное уравнение регрессии. Установлено, что ошибки et этого уравнения имеют нормальное распределение. Требуется: 1. Определить одномерные 95%-е доверительные интервалы для параметров регрессии a0, a1 и a2. 2. Определить 95%-й доверительный интервал дисперсии ошибки sh2.
Задание 2.18 На основании данных из задания 2.15 построено двухфакторное уравнение регрессии. Установлено, что ошибки et этого уравнения имеют нормальное распределение. Требуется: 1. Для уровня значимости a=0, 01 проверить гипотезы H00: a0=a00=12, 0; H10: a1=a10=–1, 5; H20: a2=a20=0, 01. 2. Для уровня значимости a=0, 01 проверить гипотезу H0: se2=s02=0, 01.
Задание 2.19 На основании данных из задания 2.15 с помощью МНК построено двухфакторное уравнение регрессии. Установлено, что ошибки et этого уравнения имеют нормальное распределение. Ранее было проведено исследование, которое дало для параметров регрессии следующие оценки: a00=13, 311; a10=–1, 4896 и a20=0, 022998. Требуется при уровне значимости a=0, 025 проверить гипотезу, что структура модели не изменилась.
Задание 2.20 Для линейного уравнения множественной регрессии определен коэффициент детерминации D. Требуется: 1. Показать, что для D выполняется следующее:
2. Показать, что для D также выполняется соотношение
где
Задание 2.21 Для линейного уравнения множественной регрессии определен коэффициент детерминации D. Требуется: 1. Показать, что D равен квадрату коэффициента корреляции пары значений 2. Показать, что D не меняется, если переменные у и х1,..., хn претерпевают линейные преобразования.
Задание 2.22 Для уравнения линейной множественной регрессии определены корреляционный вектор r, корреляционная матрица Q и коэффициент детерминации D. Требуется: 1. Показать, что
2. Показать, что
3. Показать, что
Задание 2.23 В табл. 2.3 представлена информация о Т=10 значениях двух объясняющих переменных x1, x2 и целевой функции y. Таблица 2.3
Tребуется: 1. Оценить с помощью МНК параметры линейного двухфакторного уравнения регрессии
yt = a0 + a1 х1t +a2 х2+ et. 2. Рассчитать значение коэффициента детерминации D и интерпретировать его. 3. Определить корреляционный вектор r и корреляционную матрицу Q. 4. Проверить для этого примера равенство 5. Определить скорректированный коэффициент детерминации Задание 2.24 В табл. 2.4 представлена информация о Т=10 парах наблюдений объясняющей переменной x и целевой переменной у. Таблица 2.4
Требуется: 1. С помощью МНК оценить параметры линейного однофакторного уравнения регрессии
yt =a0+ a1 хt +et (t=1,..., Т).
2. Проверить при уровне значимости a=0, 025 гипотезу, что a0=2a1. 3. Определить оценки параметров уравнения с учетом априорной информации, что a0 =2a1. 4. Построить точечные прогнозы целевой переменной при х=30, 0 по уравнениям, оцененным без учета и с учетом априорной информации.
Задание 2.25 Имеется априорная информация о гомогенности линейного однофакторного уравнения регрессии:
yt =a0+ a1 хt +et , (t=1,..., Т)
т. е. a0=0. Требуется: 1. Оценить параметры уравнения с учетом априорной информации и сравнить полученные оценки с решением задачи 2.3 п.1.
Популярное:
|
Последнее изменение этой страницы: 2016-03-25; Просмотров: 685; Нарушение авторского права страницы
В таком случае в условиях независимости разновременных ошибок et и et–i
( у–Х× a )¢ × ( у –Х× a ). (2.115)
( – Х ¢ × у + Х ¢ × Х× a )=0; 
( у –Х× a )¢ × ( у –Х× a )=0. (2.116)
( у –Х× a )¢ × ( у –Х× a )= 
a a a 
N, I –1 , 
– символ асимптотического приближения, в данном случае закона распределения вектора-столбца оценок к закону нормального распределения с параметрами – их математическими ожиданиями ( a, se2)¢ и ковариационной матрицей I –1( a, se2)¢, обратной так называемой информационной матрице этих параметров.
I 
I –1 
( Х ¢ Х )–1 – представляет собой ковариационную матрицу вектора оценок параметров a, а 
– дисперсию дисперсии модели se2.
, определенных по ММП, являются диагональными элементами матрицы se2× ( Х ¢ × Х )–1. Напомним, что среднеквадратические ошибки этих параметров ( 
) используются при определении значимости факторов модели (см. выражение (1.25)).
, среднее значение наблюдаемой зависимой переменной равно среднему значению ее оценок, рассчитанных по уравнению регрессии.
Предполагается, что зависимость yt от хt описывается следующим уравнением: yt =a0+a1 хt+et (t=1,..., 20).
В основу исследования положена классическая линейная однофакторная модель нормальной регрессии yt =a0+ a1 хt +et (t=1,..., 50).
et*– стохастическая ошибка.
при х1=5, 5 и х2=980.
где 
и сравнить его со значением обычного коэффициента детерминации D.
2. Определить ковариационную матрицу вектора оценок параметров.