Множественная линейная регрессия с ограничениями на параметры

⇐ ПредыдущаяСтр 4 из 7Следующая ⇒

В эконометрических моделях на значения параметров уравнения множественной регрессии могут накладываться ограничения, связанные с величиной этих параметров, взаимосвязи их друг с другом. Примеры таких ограничений:

;

При наличии ограничений на параметры уравнения регрессии возникают два вопроса. Первый: если ограничения справедливы, то каким образом обеспечить их выполнение в формируемой модели? Второй: насколько значимо модель без ограничений на параметры отличается от модели с ограничениями?

В простейшем случае при наличии ограничений на параметры уравнение регрессии может быть преобразовано таким образом, чтобы учесть имеющиеся ограничения в самой структуре модели. Например, в линейной модели регрессии с тремя независимыми переменными

(32)

имеется ограничение вида

(33)

Тогда можно провести следующие преобразования:

; (34)

;

Рассчитав новые переменные

;

получим новое уравнение регрессии

. (35)

После применения к уравнению (35) метода наименьших квадратов будут получены оценки неизвестных параметров и , а по формуле (34) можно оценить параметр .

В общем случае необходимо сформулировать общую линейную гипотезу, содержащую ограничения на параметры. Если представить одно линейное ограничение на параметры в виде выражения

, (36)

то при линейных ограничениях выражение (36) можно записать в матричной форме:

, (37)

где - матрица размерностью ; - вектор размерностью .

Очевидно, что если на параметр не наложено ограничений, то коэффициент в выражении (36) и, в общем виде, коэффициенты в выражении (37) будут равны нулю.

Например, для выражения (32) с ограничением (33) матрицы и будут иметь вид

Тогда

Если для выражения (32) добавить еще одно ограничение: , то матрицы и будут иметь вид

Для решения задачи минимизации целевой функции квадратов случайных остатков (метод наименьших квадратов) с учетом линейных ограничений можно воспользоваться методом множителей Лагранжа.

Метод множителей Лагранжа заключается в нахождении минимума функции вида

где - вектор-столбец параметров регрессии с ограничениями; М — вектор множителей Лагранжа размерностью .

Функция дифференцируется по и , полученные выражения приравниваются нулю и находится их решение.

Применение модели с линейными ограничениями целесообразно в том случае, если сокращение остаточной дисперсии и модели без ограничений по сравнению с остаточной дисперсией в модели с ограничениями статистически незначимо.

Ограничение, связанное с равенством коэффициента регрессии нулю, можно проверить с помощью частного критерия Фишера (частного F-критерия).

Нулевой гипотезой в данном случае является незначимость неличины сокращения остаточной дисперсии при включении в уравнение независимой переменной (т.е. переходе от модели с ограничениями к модели без ограничений). Фактическое значение частного F-критерия рассчитывается по формуле

, (38)

где - остаточная сумма квадратов для модели без независимой переменной ; - остаточная сумма квадратов для модели, включающей независимую переменную ; — количество параметров (без учета свободного члена) в модели с независимой переменной .

Разделив каждую из дробей на общую сумму квадратов и произведя преобразования, получим выражение

или , (39)

где - коэффициент детерминации для уравнения зависимости переменной от переменных включая переменную ; - коэффициент детерминации для уравнения зависимости переменной от всех переменных , кроме переменной .

Полученное значение F-критерия сравнивают с табличным, найденным для и степеней свободы. Если фактическое значение F-критерия больше табличного, нулевая гипотеза отклоняется, т.е. включение рассматриваемой переменной существенно уменьшает остаточную дисперсию и является статистически значимым и ограничение не подтверждается.

Можно показать, что для линейной множественной регрессии верно соотношение

, (40)

т.е. значимость параметра при переменной означает также значимость сокращения остаточной дисперсии при включении данной переменной в модель регрессии.

Если ограничения на равенство нулю касается коэффициентов регрессии, то для оценки этого предположения проводят проверку, аналогичную проверке по частному F-критерию.

Отличие состоит в том, что под величиной понимается остаточная сумма квадратов по уравнению регрессии без переменных, на коэффициенты при которых накладывается ограничение в виде их равенства нулю. Так как число добавляемых переменных составит , то число степеней свободы для разности дисперсий в формуле (38) будет также равно (а не единице):

, (41)

где - остаточная сумма квадратов для модели без независимых переменных ; - остаточная сумма квадратов для модели без ограничений (с независимыми переменными ); т - количество параметров (без учета свободного члена) в модели с независимыми переменными .

Аналогично формула (39) примет вид

, (42)

где - коэффициент детерминации для уравнения зависимости переменной от переменных , включая ; - коэффициент детерминации для уравнения зависимости переменной от всех переменных , кроме .

В общем случае линейных ограничений вида (37) фактическое значение F-критерия рассчитывается по формулам (43) или (44):

, (43)

где - остаточная сумма квадратов для модели с ограничениями; - остаточная сумма квадратов для модели без ограничений; - количество ограничений, наложенных на уравнение регрессии;

, (44)

где - коэффициент детерминации для уравнения регрессии без ограничений; -коэффициент детерминации для уравнения регрессии с ограничениями.

Для случая ограничений нулевая гипотеза о незначимости различий остаточных дисперсий в модели с ограничениями и модели без ограничений принимается, если фактическое значение F-критерия ((41)—(44)) меньше или равно табличному, взятому для уровня значимости , числа степеней свободы , , где - количество параметров (без учета свободного члена) в модели без ограничений.

Рассмотрим наложение ограничений на модель регрессии из примера 2. Простейший случай ограничения предполагает равенство нулю одного из коэффициентов регрессии. Пусть, например, мы предполагаем, что число занятых не оказывает влияния на собираемость налогов. Тогда ограничение будет иметь вид

а уравнение регрессии с ограничениями запишется в виде

. (45)

После оценки параметров уравнения (45) с помощью МНК получаем выражение

Частный F-критерий для переменной равен

Табличное значение критерия Фишера, найденное для , , степеней свободы, равно 4, 06, следовательно, гипотеза о незначимости включения переменной в уравнение регрессии отклоняется. Иначе говоря, отклоняется гипотеза о наложении ограничения на коэффициент в виде его равенства нулю.

Проверим выполнение равенства (40). Действительно,

Равенство получилось неточным из-за ошибок округления. При использовании ППП Excel имеем равенство

Как видим, ошибка округления присутствует и в данном случае, но она крайне незначительна и проявляется в восьмом знаке после запятой.

Рассмотрим другой вариант ограничений на модель из примера 2. Пусть наложены ограничения в виде равенства нулю двух коэффициентов:

т.е. мы считаем, что объемы отгрузки в обрабатывающих производствах и производства энергии не оказывают влияния на сбор налогов. Модель с ограничениями в данном случае представляет парную линейную регрессию вида

После применения МНК имеем выражение

Используя формулу F-критерия для модели с ограничениями (42), получим выражение

Табличное значение критерия Фишера, найденное для , степеней свободы, равно 3, 21, следовательно, гипотеза о необходимости наложения ограничений на коэффициенты и в виде их равенства нулю отклоняется.

⇐ Предыдущая 1 2 345 6 7 Следующая ⇒