Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
Тема 2. Классическая и обобщенная модели множественной регрессии.
Экономические явления определяются, как правило, большим числом совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной переменной Y от нескольких объясняющих переменных X1, X2, Xn. Эта задача решается с помощью множественного регрессионного анализа. Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели, включающего отбор факторов и выбор вида уравнения регрессии. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям: - они должны быть количественно измеримыми (качественным факторам необходимо придать количественную определенность); - между факторами не должно быть высокой корреляционной, а тем более функциональной зависимости, т.е. наличия мультиколлинеарности. Включение в модель мультиколлинеарных факторов может привести к следующим последствиям: ∙ затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом виде», поскольку факторы связаны между собой; параметры линейной регрессии теряют экономический смысл; ∙ оценки параметров ненадежны, имеют большие стандартные ошибки и меняются с изменением объема наблюдений.
Пусть - матрица-столбец значений зависимости переменной размера п,
- матрица значений объясняющих переменных;
- матрица-столбец (вектор) параметров размера т+1; - матрица-столбец (вектор) остатков размера п; Тогда в матричной форме модель множественной линейной регрессии запишется следующим образом: (1) При оценке параметров уравнения регрессии (вектора b ) применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки. 1. В модели (1) ε – случайный вектор, Х – неслучайная (детерминированная) матрица. 2. Математическое ожидание величины остатков равно нулю: М(ε ) = 0п. 3. Дисперсия остатков ε i постоянна для любого i (условие гомоскедастичности), остатки ε i и ε j при i ≠ j не коррелированны: 4. ε – нормальное распределенный случайный вектор, т.е. ε ~ N(0n; σ 2En). 5. r (X) = m+1 < n. Столбцы матрицы Х должны быть линейно независимыми (ранг матрицы Х максимальный, а число наблюдений п превосходит ранг матрицы). Модель (1), в которой зависимая переменная, остатки и объясняющие переменные удовлетворяют предпосылкам 1-5 называется классической нормальной линейной моделью множественной регрессии. Если не выполняется только предпосылка 4, то модель называется классической линейной моделью множественной регрессии (КЛММР). Согласно методу наименьших квадратов неизвестные параметры выбираются таким образом, чтобы сумма квадратов отклонений фактических значений от значений, найденных по уравнению регрессии, была минимальной:
Решением этой задачи является вектор Одной из наиболее эффективных оценок адекватности модели является коэффициент детерминации R2, определяемый формулой:
Коэффициент детерминации характеризует долю вариации зависимой переменной, обусловленной регрессией или изменчивостью объясняющих переменных. Чем ближе R2 к единице, тем лучше построенная регрессионная модель описывает зависимость между объясняющими и зависимой переменной. Следует иметь в виду, что при включении в модель новой объясняющей переменной, коэффициент детерминации увеличивается, хотя это и не обязательно означает улучшение качества регрессионной модели. В этой связи лучше использовать скорректированный (поправленный) коэффициент детерминации , рассчитываемый по формуле:
, где: п – число наблюдений; т – число параметров при переменных х. Из формулы следует, что с включением в модель дополнительных переменных разница между значениями и R2 увеличивается. Таким образом, скорректированный коэффициент детерминации может уменьшаться при добавлении в модель новой объясняющей переменной, не оказывающей существенного влияния на результативный признак. Но использование только коэффициента детерминации для выбора наилучшего уравнения регрессии может оказаться недостаточным. Средняя относительная ошибка аппроксимации рассчитывается по формуле:
Значимость уравнения регрессии в целом сводится к проверке гипотезы об одновременном равенстве нулю всех коэффициентов регрессии при факторных признаках, т.е. гипотезы:
Если данная гипотеза не отклоняется, то делается вывод о том, что совокупное влияние всех факторных признаков , включенных в модель, не зависимую переменную у можно считать статистически несущественным. Проверка данной гипотезы осуществляется на основе дисперсионного анализа. Основной идеей дисперсионного анализа является разложение общей суммы квадратов отклонений результативной переменной от среднего значения на «объясненную» и «остаточную»:
Для приведения дисперсий к сопоставимому виду, определяют дисперсии на одну степень свободы. Результаты вычислений заносят в специальную таблицу дисперсионного анализа:
В данной таблице п – число наблюдений, т – число параметров при переменных х. Сравнивая полученные оценки объясненной и остаточной дисперсии на одну степень свободы, определяют значение F -критерия Фишера, используемого для оценки значимости уравнения регрессии:
С помощью F -критерия проверяется нулевая гипотеза о равенстве дисперсий Н0: SR2 = S2. Если нулевая гипотеза справедлива, то объясненная и остаточная дисперсии не отличаются друг от друга. Для того, чтобы уравнение регрессии было значимо в целом (гипотеза Н0 была отвергнута) необходимо, чтобы объясненная дисперсия превышала остаточную в несколько раз. Критическое значение F -критерия определяется по таблице Фишера - Снедекора. Расчетное значение сравнивается с табличным, и если оно превышает табличное ( Fрасч > Fтабл ), то гипотеза Н0 отвергается, и уравнение регрессии признается значимым. Если Fрасч < Fтабл, то уравнение регрессии считается статистически незначимым. Нулевая гипотеза Н0 не может быть отклонена. Расчетное значение F -критерия связано с коэффициентом детерминации R2 следующим соотношением: где: т – число параметров при переменных х; п – число наблюдений. Оценка значимости коэффициентов регрессии сводится к проверке гипотезы о равенстве нулю коэффициента регрессии при соответствующем факторном признаке, т.е. гипотезы:
Проверка гипотезы проводится с помощью t -критерия Стьюдента. Для этого расчетное значение t -критерия:
, где: - коэффициент регрессии при ; - средняя квадратическая ошибка коэффициента регрессии . сравнивается с табличным tтабл при заданном уровне значимости α и числе степеней свободы ( п-2 ). Если расчетное значение превышает табличное, то гипотезу о несущественности коэффициента регрессии можно отклонить. Рассмотрим интерпретацию параметров модели линейной множественной регрессии. В линейной модели множественной регрессии коэффициенты регрессии характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизменном значении других факторов, закрепленных на среднем уровне. На практике часто бывает необходимо сравнить влияние на зависимую переменную различных объясняющих переменных, когда последние выражаются разными едиными измерениями. В этом случае используют стандартизованные коэффициенты регрессии и коэффициенты эластичности . Уравнение регрессии в стандартизованной форме:
где: . – стандартизованные переменные.
В результате такого нормирования средние значения всех стандартизованных переменных равны нулю, а дисперсии равны единице, т.е. .
Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами следующим соотношением:
Стандартизованные коэффициенты показывают, на сколько стандартных отклонение (сигм) изменится в среднем результат, если соответствующий фактор изменится на одно стандартное отклонение (одну сигму) при неизменном среднем уровне других факторов. Сравнивая стандартизованные коэффициенты друг с другом, можно ранжировать факторы по силе их воздействия на результат. Средние коэффициенты эластичности вычисляются по формуле:
Коэффициент эластичности показывает, на сколько процентов (от средней) изменится в среднем Y при увеличении только фактора Xi на 1%. Рассмотрим пример построения модели множественной регрессии с помощью средств приложения Microsoft Excel.
Пример 1. По данным, представленным в таблице 2, изучается зависимость балансовой прибыли предприятия торговли Y (тыс. руб.) от следующих факторов: Х1 – объем товарных запасов, тыс. руб.; Х2 – фонд оплаты труда, тыс. руб.; Х3 – издержки обращения, тыс. руб.; Х4 – объем продаж по безналичному расчету, тыс. руб. Таблица 2
Задание: 1. Для заданного набора данных постройте линейную модель множественной регрессии. 2. Оцените точность и адекватность построенного уравнения регрессии. 3. Выделите значимые и незначимые факторы в модели. 4. Постройте уравнение регрессии со статистически значимыми факторами. Дайте экономическую интерпретацию параметров модели.
Решение: Для получения отчета по построению модели в среде EXCEL необходимо выполнить следующие действия: 1. В меню Сервис вбираем строку Анализ данных. На экране появится окно Рис. 1. 2. В появившемся окне выбираем пункт Регрессия. Появляется диалоговое окно, в котором задаем необходимые параметры (рис. 2). Рис. 2. 3. Диалоговое окно рис. 2 заполняется следующим образом: Входной интервал Y – диапазон (столбец), содержащий данные со значениями объясняемой переменной; Входной интервал X – диапазон (столбцы), содержащий данные со значениями, объясняющих переменных. Метки – флажок, который указывает, содержат ли первые элементы отмеченных диапазонов названия переменных (столбцов) или нет; Константа-ноль – флажок, указывающий на наличие или отсутствие свободного члена в уравнении регрессии ( β 0 ); Выходной интервал – достаточно указать левую верхнюю ячейку будущего диапазона, в котором будет сохранен отчет по построению модели; Новый рабочий лист – можно задать произвольное имя нового листа, в котором будет сохранен отчет. Если необходимо получить значения и графики остатков ( ei ), установите соответствующие флажки в диалоговом окне. Нажмите кнопку ОК. Вид отчета о результатах регрессионного анализа представлен на рис. 3. Рис. 3. Рассмотрим таблицу «Регрессионная статистика». Множественный R – это R-квадрат – это R2. В нашем примере значение R2 = 0, 8178 свидетельствует о том, сто изменения зависимой переменной Y (балансовой прибыли) в основном (на 81, 78%) можно объяснить изменениями включенных в модель объясняющих переменных – X1, X2, X3, X4. такое значение свидетельствует об адекватности модели. Нормированный R-квадрат – поправленный (скорректированный по числу степеней свободы) коэффициент детерминации. Стандартная ошибка регрессии - необъясненная дисперсия (мера разброса зависимой переменной вокруг линии регрессии); п – число наблюдений (в нашем примере равно 24), т – число объясняющих переменных (в нашем примере равно 4). Наблюдения – число наблюдений п. Рассмотрим таблицу с результатами дисперсионного анализа. df – degrees of freedom – число степеней свободы связано с числом единиц совокупности п и с числом определяемых по ней констант (т +1). SS – sum of squares – сумма квадратов (регрессионная (RSS – regression sum of squares), остаточная (ESS – error sum of squares) и общая (TSS – total sum of squares), соответственно). MS – mean sum – сумма квадратов на одну степень свободы. F – расчетное значение F–критерия Фишера. Если нет табличного значения, то для проверки значимости уравнения регрессии в целом можно посмотреть Значимость F. На уровне значимости α = 0.05 уравнение регрессии признается значимым в целом, если Значимость F < 0.05, и незначимым, если Значимость F ≥ 0.05. Для нашего примера имеем следующие значения:
В нашем случае значение F–критерия Фишера составляет 21, 32. Значимость F = 8, 28Е-07, что меньше 0, 05. Таким образом, полученное уравнение в целом значимо. В последней таблице приведены значения параметров (коэффициентов) модели, их стандартные ошибки и расчетные значения t–критерия Стьюдента для оценки значимости отдельных параметров модели.
Анализ таблицы для рассматриваемого примера позволяет сделать вывод о том, что на уровне значимости α = 0.05 значимыми оказываются лишь коэффициенты при факторах X2 и X4, так как только для них Р – Значение меньше 0.05. Таким образом, факторы не существенны X1 и X3, и их включение в модель нецелесообразно. Поскольку коэффициент регрессии в эконометрических исследования имеет четкую экономическую интерпретацию, то границы доверительного интервала для коэффициента регрессии не должны содержать противоречивых результатов, как например, – -0, 1948 ≤ b3 ≤ 0, 2135. такого рода запись указывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже ноль, чего не может быть. Это также подтверждает вывод о статистической незначимости коэффициентов регрессии при факторах X1 и X3. Исключим несущественные факторы X1 и X3 и построим уравнение зависимости Y (балансовой прибыли) от объясняющих переменных X2 и X4. результаты регрессионного анализа приведены в таблице 3. Таблица 3. ВЫВОД ИТОГОВ
Дисперсионный анализ
Оценим точность и адекватность модели. Значение R2 = 0, 8144 свидетельствует о том, что вариация зависимой переменной Y (балансовой прибыли) по-прежнему в основном (на 81, 44%) можно объяснить вариацией включенных в модель объясняющих – X2, и X4. это свидетельствует об адекватности модели. Значение поправленного коэффициента детерминации (0, 7967) возросло по сравнению с первой моделью, в которую были включены все объясняющие переменные (0, 7794). Стандартная ошибка регрессии во втором случае меньше, чем в первом (5515 < 5745). Расчетное значение F–критерия Фишера составляет 46, 08. Значимость F = 2, 08847Е-08, что меньше 0.05. таким образом, полученное уравнение в целом значимо. Далее оценим значимость отдельных параметров построения модели. Из таблицы 3 видно, что теперь на уровне значимости α = 0.05 все включенные в модель факторы являются значимыми: Р – Значение < 0.05. Границы доверительного интервала для коэффициентов регрессии не содержат противоречивых результатов: - с надежностью 0.95 (с вероятностью 95 %) коэффициент b1 лежит в интервале 0, 64 ≤ b1 ≤ 1, 19; - с надежностью 0.95 (с вероятностью 95 %) коэффициент b2 лежит в интервале 0, 01 ≤ b2 ≤ 0, 12. Таким образом, модель балансовой прибыли предприятия торговли запишется в следующем виде: Рассмотрим теперь экономическую интерпретацию параметров модели. Коэффициент b1 = 0, 916, означает, что при увеличении только фонда оплаты труда (X2) на 1 тыс. рублей балансовая прибыль в среднем возрастет на 0, 916 тыс. рублей, а то, что коэффициент b2 = 0, 065, означает, что увеличение только объема продаж по безналичному расчету (X4) на 1 тыс. рублей приводит в среднем к увеличению балансовой прибыли на 0, 065 тыс. рублей. Как было отмечено выше, анализ Р–значений показывает, что оба коэффициента значимы. При эконометрическом моделировании реальных экономических процессов предпосылки КЛММР нередко оказываются нарушенными: дисперсии остатков модели не одинаковы (гетероскедастичность остатков), или наблюдается корреляция между остатками в разные моменты времени (автокоррелированные остатки). Тогда предпосылка 3 запишется следующим образом: Принимая, что дисперсии объясняющих переменных могут быть произвольными, мы получаем обобщенную линейную модель множественной регрессии (ОЛММР). В этом случае оценка параметров модели осуществляется обобщенным методом наименьших квадратов (ОМНК): Если модель гетероскедастична, то матрица Ω -диагональная. Тогда имеем: В этом случае обобщенный метод наименьших квадратов называется взвешенным методом наименьших квадратов, поскольку мы «взвешиваем» каждое наблюдение с помощь коэффициента 1/σ i. На практике, однако, значения σ i почти никогда не бывают известны. Поэтому сначала находят оценку вектора параметров обычным методом наименьших квадратов. Затем находят регрессию квадратов остатков на квадратичные функции объясняющих переменных, т.е. уравнение где f(xi) – квадратичная функция. Далее по полученному уравнению рассчитывают теоретическое значения и определяют набор весов Затем вводят новые переменные и находят уравнение . Полученная оценка и есть оценка взвешенного метода наименьших квадратов. Проверить модель на гетероскедастичность можно с помощью следующих тестов: ранговой корреляции Спирмена; Голдфельда-Квандта; Уайта; Глейзера. Рассмотрим тест на гетероскедастичность, применяемый в случае, если ошибки регрессии можно считать нормально распределенными случайными величинами, - тест Голдфельда-Квандта. Все п наблюдений упорядочиваются в порядке возрастания значения фактора Х. Затем выбирают т первых и т последних наблюдений. Гипотеза о гомоскедастичности равносильна тому, что значение остатков е1, …, ет и еп-т+1, … еп представляют совой выборочные наблюдения нормально распределенных случайных величин, имеющих одинаковые дисперсии. Гипотеза о равенстве дисперсий двух нормально распределенных совокупностей проверяется с помощью F–критерия Фишера. Расчетное значение вычисляется по формуле (в числителе всегда большая сумма квадратов): . Гипотеза о равенстве дисперсий двух наборов по т наблюдений (т.е. гипотеза об отсутствии гетероскедастичности остатков) отвергается, если расчетное значение превышает табличное F > Fα; m-p; m-p, где р – число регрессоров. Мощность теста (вероятность отвергнуть гипотезу об отсутствии гетероскедастичности, когда гетероскедастичность действительно нет) максимальна, если выбирать т порядка п/3. Тест Голдфельда-Квандта позволяет выявить факт наличия гетероскедастичности, но не позволяет описать характер зависимостей дисперсий ошибок регрессии количественно. Если прослеживается влияние результатов предыдущих наблюдений на результаты последующих, случайные величины (ошибки) ε i в регрессионной модели не оказываются независимыми. Такие модели называются моделями с наличием автокорреляции. Как правило, если автокорреляция присутствует, то наибольшее влияние на последующее наблюдение оказывает результат предыдущего наблюдения. Наличие автокорреляции между соседними уровнями ряда можно определить с помощью теста Дарбина-Уотсона. Расчетное значение определяется по следующей формуле: . Затем по таблицам находятся пороговые значения dв и dн. если расчетное значение: - dв < d < 4–dв, то гипотеза об отсутствии автокорреляции не отвергается (принимается); - dн < d < dв или 4-dв < d < 4-dн, то вопрос об отвержении или принятии гипотезы остается открытым (расчетное значение попадает в зону неопределенности); - 0 < d < dн, то принимается альтернативная гипотеза о наличии отрицательной автокорреляции. - 4-dн < d < 4, то принимается альтернативная гипотеза о наличии отрицательной автокорреляции. Недостаток теста Дарбина-Уотсона заключается прежде всего в том, что он содержит зоны неопределенности. Во-вторых, он позволяет выявить наличие автокорреляции только между соседними уровнями, тогда как автокорреляция может существовать и между более отдаленными наблюдениями. Поэтому наряду с тестом Дарбина-Уотсона для проверки наличия автокорреляции используются тест серии (Бреуша-Годфри), Q-тест Льюинга-Бокса и другие. Наиболее распространенным приемом устранения автокорреляции во временных рядах является построение авторегрессионных моделей.
Пример 2. Рассмотрим полученную в предыдущем примере модель зависимости балансовой прибыли предприятия торговли Y (тыс. руб.) от следующих переменных: Х2 – фонд оплаты труда, тыс. руб. Х4 – объем продаж по безналичному расчету, тыс. руб. Задание: Для полученной модели проверить выполнение условия гомоскедастичности остатков, применив тест Голдфельда-Квандта.
Решение. Для выполнения этого задания снова воспользуемся «Пакетом анализа», встроенным в EXCEL. В соответствии со схемой теста Голдфельда-Квандта упорядочим данные по возрастанию переменной Х4, предполагая, что дисперсии ошибок зависят от величины этой переменной. В нашем примере т = п/3 = 8. Результаты дисперсионного анализа модели множественной регрессии, построенной по первым 8 наблюдениям (после ранжирования по возрастанию переменной Х4), приведенные в таблице 4. Таблица 4. Дисперсионный анализ
Результаты дисперсионного анализа модели, построенной по последним 8 наблюдениям, приведены в таблице 5.
Таблица 5. Дисперсионный анализ
Рассчитаем статистику Fрасч = ЕSS2 / ЕSS1(т.к. ЕSS2 > ЕSS1). Для нашего примера получаем: F = 3, 987Е+08 / 6, 04Е+07 = 6, 58. Для того, чтобы узнать табличное значение, воспользуемся встроенной в EXCEL функцией FРАСПОБР(0, 05; 6; 6) с параметрами 0, 05 – заданная вероятность ошибки гипотезы Н0; т-р = 8-2 = 6; т-р = 6 – параметры распределения Фишера. Данная функция находится в категории «статистических» функций. Статистика Fрасч больше табличного значения FРАСПОБР(0, 05; 6; 6) = 4, 28. Следовательно, модель гетороскедастична.
Пример 3. Рассмотрим полученную в примере 1 модель зависимости балансовой прибыли предприятия Y (тыс. руб.) от следующих переменных: Х2 – фонд оплаты труда, тыс. руб.; Х4 – объем продаж по безналичному расчету, тыс. руб.
Задание: проверить полученную модель на наличие автокорреляции остатков с помощью теста Дарбина-Уотсона.
Решение. Прежде всего, по эмпирическим данным необходимо методом наименьших квадратов построить уравнение регрессии и определить значения отклонений для каждого наблюдения i (i = 1, 2, …, п). Для этого в диалоговом окне Регрессия в группе Остатки следует установить одноименный флажок Остатки. Зачем рассчитываем статистику Дарбина-Уотсона по формуле: . Результаты расчетов представлены в таблице 6. Таблица 6
Таким образом, расчетное значение равно d = 6, 5Е+08 / 6, 4Е+08 = 1, 02. По таблице критических точек распределение Дарбина-Уотсона для заданного уровня значимости α , числа наблюдений п и количества объясняющих переменных т определить два значения: dн – нижняя граница и dв – верхняя граница (таблица 7). Таблица 7 Популярное:
|
Последнее изменение этой страницы: 2016-03-25; Просмотров: 780; Нарушение авторского права страницы