Архитектура Аудит Военная наука Иностранные языки Медицина Металлургия Метрология Образование Политология Производство Психология Стандартизация Технологии |
Отбор факторов при построении множественной регрессии
Требования к факторам Процесс отбора факторов в достаточно сложных ситуациях является итерационной процедурой, предполагающей, в частности, построение уравнений регрессии, и включает два этапа. Первоначально отбор факторов осуществляется на основе качественных соображений, исходя из представлений о природе взаимосвязи моделируемого показателя с другими экономическими показателями. На следующем этапе отобранные факторы подвергаются проверке на статистическую значимость. Окончательное решение о включении фактора в модель основывается на количественной оценке степени влияния фактора на изучаемый показатель. К факторам, включаемым в модель, предъявляются следующие требования: 1. Факторы не должны быть взаимно коррелированы и, тем более, находиться в точной функциональной связи. Наличие высокой степени коррелированности между факторами может привести к неустойчивости и ненадежности оценок коэффициентов регрессии, а также к невозможности выделить изолированное влияние факторов на результативный показатель. 2. Включение фактора в модель должно приводить к существенному увеличению доли объясненной части в общей вариации зависимой переменной. Так как данная величина характеризуется таким показателем, как коэффициент детерминации , включение фактора в модель должно приводить к заметному изменению последнего. Формальная проверка существенности вклада фактора в модель выполняется с помощью оценки значимости соответствующего частного коэффициента корреляции либо значимости коэффициента в уравнении регрессии. Если необходимо учесть влияние качественного фактора (не имеющего количественной оценки), то в модель включается соответствующая ему «фиктивная» переменная, имеющая конечное количество формально численных значений, соответствующих градациям качественного фактора. Например, если нужно учесть влияние уровня образования (на размер заработной платы), то в уравнение регрессии можно включить переменную z, принимающую значения z = 0 при начальном образовании, 1 -при среднем, 2 -при высшем. Если для какого-либо показателя, который представляется важным для данного исследования, отсутствуют исходные данные, либо сам показатель четко не определен, то может быть полезно включить в модель некоторый ее «заменитель». Например, в качестве показателя качества образования можно использовать число преподавателей или расходы на одного студента. Такой подход основан на том факте, что не учет существенного показателя приводит к смещенным оценкам параметров. Например, производственная функция Кобба - Дугласа, построенная по данным экономики США за период 1949 – 1978 гг., построенная с учетом времени в качестве замещающей переменной для показателя технического прогресса имеет вид logŶ = –1, 03 + 0, 17 logK + 0, 93 logL + 0, 024t, (2, 33) (0, 66) (0, 17) (0, 016) а без учета имеет вид logŶ = –4, 50+ 1, 19 logK + 0, 77 logL, (0, 57) (0, 10) (0, 15) где –индекс объема выпуска частного сектора; K – индекс затрат капитала; L –индекс затрат труда; t – время, равное единице в 1948 г. и т. д. Без учета замещающей переменной коэффициент при logK неправдоподобно велик. При отборе факторов в модель следует, по возможности, стремиться к минимизации количества факторов, так как неоправданное их увеличение приводит к затруднениям в интерпретации модели и снижению достоверности результатов. Мультиколлинеарность Под мультиколлинеарностью понимается высокая взаимная коррелированность объясняющих переменных. При построении многофакторных моделей должно соблюдаться требование возможно меньшей коррелированности включенных в модель признаков-факторов (отсутствие мультиколлинеарности). Мультиколлинеарность: искажает величины параметров модели, которые имеют тенденцию к завышению; приводит к изменению смысла экономической интерпретации коэффициентов регрессии; вызывает слабую обусловленность системы нормальных уравнений; осложняет процесс определения наиболее существенных факторных признаков. В решении проблемы мультиколлинеарности можно выделить несколько этапов: 1. Установление наличия мультиколлинеарности: а) проверяется выполнение условия: (3.5) и вычисляется значение статистики Фаррара–Глоубера по следующей формуле: (3.6) где количество факторных признаков; объём совокупности; определитель матрицы парных межфакторных коэффициентов корреляции, которая получается вычёркиванием первой строки и первого столбца в табл. 3.1); уровень значимости. Критическое значение можно найти с помощью функции ХИ2.ОБР.ПХ Если условие (3.5) выполняется, то это означает, что недиагональные ненулевые коэффициенты корреляции указывают на коллинеарность факторов. Мультиколлинеарность считается доказанной; б) высокие значения парных линейных межфакторных коэффициентов корреляции указывают на наличие интеркорреляции, т.е. линейной связи между двумя объясняющими переменными. Чем выше величина , тем выше интеркорреляция. Факторы и могут быть признаны коллинеарными, если то это свидетельствует о наличии интеркорреляции; в) если близок к нулю, то это свидетельствует о наличии мультиколлинеарности.
Таблица 3.2 Матрица парных коэффициентов корреляции
2. Определение причин возникновения мультиколлинеарности: а) изучаемые факторные признаки характеризуют одну и ту же сторону явления или процесса (например, показатели объема произведенной продукции и среднегодовой стоимости основных фондов одновременно включать в модель не рекомендуется, так как оба характеризуют размер предприятия). б) использование в качестве факторных признаков, суммарное значение которых представляет собой постоянную величину (например, коэффициент годности и коэффициент износа основных фондов) в) факторные признаки, являющиеся элементами друг друга (например, затраты на производство продукции и себестоимость единицы продукции) г) факторные признаки, по экономическому смыслу дублирующие друг друга (например, прибыль и рентабельность продукции)
3. Разработка мер по устранению мультиколлинеарности
Устранение мультиколлинеарности возможно посредством исключения из корреляционной модели одного или нескольких линейно связанных факторных признаков или преобразование исходных факторных признаков в новые, укрупненные факторы. Вопрос о том, какой из факторов следует отбросить, решается на основе качественного и логического анализа изучаемого явления.
Методы устранения или уменьшения мультиколлинеарности:
Сравнение значений линейных межфакторных коэффицентов корреляции: Суть метода: выбирается наибольшее абсолютное значение среди линейных межфакторных коэффициентов корреляции. Предпочтение отдается тому фактору, который более тесно, чем другие факторы, связан с результативным признаком, причем желательно, чтобы связь данного факторного признака с y была больше, чем его связь с другим факторным признаком, т.е. (3.7) Далее снова проверяется выполнение условия (3.3) и так далее до тех пор, пока не будет исключена мультиколлинеарность.
Метод исключения факторов на основе частных коэффициентов корелляции и детерминации Частные коэффициенты корреляции, позволяют установить степень тесноты связи между результативным признаком у и каждым из факторных признаков при исключении искажающего влияния других факторных признаков. Следовательно, коэффициенты частной корреляции отражают степень «чистого» влияния факторного признака на результативный признак. Для их расчета могут быть использованы парные коэффициенты корреляции. Для случая зависимости результативного признака у от двух признаков-факторов ( и ) определяются два коэффициента частной корреляции: • частный коэффициент корреляции между результативным признаком у и фактором при элиминировании фактора : (3.8) • частный коэффициент корреляции между результативным признаком у и фактором при элиминировании фактора : (3.9) Для общего случая частные коэффициенты корреляции определяются по формуле (3.10) где — обратная матрица матрицы . Величина частного коэффициента корреляции лежит в пределах от 0 до 1, а знак определяется знаком соответствующих параметров регрессии. Рассчитывая величины частных коэффициентов корреляции, следует иметь в виду, что каждый из них по своей абсолютной величине не может быть больше величины коэффициента множественной (совокупной) корреляции Частные коэффициенты детерминации позволяют оценить вклад в мультиколлинеарность каждого из факторных признаков и вычисляются по формуле (3.11) Фактические значения F-критерия сравниваются с критическими, вычисляемыми для степеней свободы , и уровне значимости . Если то соответствующие независимые переменные мультиколлениарны с другими. Далее осуществляется проверка наличия интеркорреляции каждой пары переменных. С этой целью по выражению (3.10) вычисляются частные коэффициенты корреляции и значения t-критериев Стъюдента по формуле (3.12) Фактические значения t-критериев сравниваются с критическими при степенях свободы и уровне значимости .Если то между соответствующими независимыми переменные присутствует интеркорреляция. Удалить следует ту переменную, у которой большее значение F-критерия. Далее снова проверяется выполнение условия (3.5) и так далее до тех пор, пока не будет исключена мультиколлинеарность.
Метод главных компонент Если по каким-то причинам перечень независимых переменных не подлежит изменению, то с целью исключения мультиколинеарности можно воспользоваться методом главных компонент. Применение метода главных компонент предполагает переход от взаимозависимых переменных х к независимым друг от друга переменным z, которые называют главными компонентами. Каждая главная компонента может быть представлена как линейная комбинация стандартизованных объясняющих переменных , которые определяются по формуле: . (3.13) Количество компонент может быть меньше или равно количеству исходных независимых переменных р. Компоненту с номером k можно записать следующим образом: . (3.14) Оценки в формуле (3.14) соответствуют элементам k-го собственного вектора матрицы Нумерация главных компонент не является произвольной. Первая главная компонента имеет максимальную дисперсию, ей соответствует максимальное собственное число матрицы , последняя — минимальную дисперсию и наименьшее собственное число. (3.15) где — собственное число, соответствующее данной компоненте; в знаменателе формулы (3) приведена сумма всех собственных чисел матрицы . После расчета значений компонент строят регрессию, используя МНК. , (3.16) гдеty— стандартизованная зависимая переменная; —коэффициенты регрессии по главным компонентам; z1, z2,..., zk—главные компоненты, упорядоченные по убыванию собственных чисел ; — случайный остаток. После оценки параметров регрессии (3.14) можно перейти к уравнению регрессии в исходных переменных, используя выражения (3.14)—(3.15). Рассмотрим применение перечисленных методов на данных примера 1 Пример 1. По данным, полученным от 40 промышленных предприятий одного из регионов, изучается зависимость объема выпуска продукции Y(млн. руб.) от четырех факторов: X1 - численность промышленно-производственного персонала, чел.; X2- среднегодовая стоимость основных фондов, млн руб.; X3- электровооруженность 1 чел.-ч., кВт-ч; X4- прибыль от реализации продукции, млн руб.
Сравнение значений линейных межфакторных коэффицентов корреляции:
=167, 01; =12, 59. Условие (3.5) выполняется, следовательно мультиколлинеарность присутствует. В соответствии (3.7) исключаем фактор 4. =62, 97; =7, 81. Исключаем фактор 2. =0, 84; =3, 84. Условие (3.5) не выполняется, следовательно мультиколлинеарность отсутствует. Определим параметры уравнения регрессии с помощью режима “Регрессия”
Как следует из итогов параметры уравнения и уравнение в целом значимы. Точность (величина ошибки) Метод исключения факторов на основе частных коэффициентов корреляции и детерминации =167, 01; =12, 59. Условие (3.5) выполняется, следовательно, мультиколлинеарность присутствует.
Все частные коэффициенты детерминации больше их критического значения, что подтверждает ранее сделанный вывод о наличии мультиколлинеарности.
Все расчётные значения t-критерия, кроме , больше критического. Максимальное значение между первым и четвёртым факторами. Для того чтобы избавиться от интеркорреляции необходимо исключить фактор так как у него большее значение F-критерия. Следовательно, он больше влияет на общую мультиколлинеарность факторов. Далее в процессе решения был исключён фактор . Матрица имеет следующий вид
=1, 16; =3, 84. Условие (3.5) не выполняется, следовательно мультиколлинеарность отсутствует.
Определим параметры уравнения регрессии с помощью режима “Регрессия”
В связи с тем, что параметр не значим, фактор 3 исключим из дальнейшего рассмотрения.
Как следует из итогов параметры уравнения и уравнение в целом значимы. Точность (величина ошибки) Рассмотрим вариант короткой регрессии (первый метод без учёта третьего фактора
Как следует из итогов параметры уравнения и уравнение в целом значимы. Точность (величина ошибки) Целесообразность включения фактора Х3 рассмотрим с помощью теста на выбор «длинной» и «короткой» регрессии. Этот тестиспользуется для отбора наиболее существенных объясняющих переменных. Иногда переход от большего числа исходных показателей анализируемой системы к меньшему числу наиболее информативных факторов может быть объяснен дублированием информации из-за сильно взаимосвязанных факторов. Стремление к построению более простой модели приводит к идее уменьшения размерности модели без потери ее качества. Для этого используют тестпроверки “длинной” и “короткой” регрессий. Если , то гипотеза отвергается (выбираем “длинную”регрессию).
Метод главных компонент
Обратимся к программе STATISTICA 6.1.по следующей схеме: Анализ→ Многомерный разведочный анализ→ Анализ главных компонент и классификация. Введём массив исходных данных примера 1.Результатом решения являются собственные числа и собственные векторы матрицы .
Рис. 3. Процент общей дисперсии собственныхчисел матрицы корреляции
Матрица парных линейных коэффициентов корреляции между независимыми переменными примера 1.
Собственные числа на рис.3 представлены в порядке убывания, отражая тем самым степень важности соответствующих факторов для объяснения вариации исходных данных. Так фактор, соответствующий максимальному собственному числу (2, 825), описывает 70, 635% общей вариации. Второй фактор для значения (0, 984) описывает 24, 597% общей вариации и т.д. На практике применяют различные критерии для правильного выбора факторного пространства. Наиболее простой из них – оставить только те факторы, собственные числа которых больше 1. В данном примере только первое собственное число больше 1, т.е. можно оставить в факторном пространстве первый фактор. Вместе с тем оставим первые два фактора. С этой целью сформируем массив стандартизованных переменных по формуле (3.13)
Введём обозначения матрицы собственных векторов
Четыре компоненты, соответствующие четырём собственным векторам, можно записать в следующем виде Умножим матрицу стандартизованных независимых переменных (Т) на матрицу F. Результатом умножения является матрица Z.
Полученные данные обработаем с помощью режима “Регрессия”
В полученном уравнении регрессии значимы параметры по всем четырём компонентам. Далее будем рассматривать только первые два фактора, так как они описывают более 95% общей вариации результативного признака. В соответствии с формулой . После приведения подобных членов имеем следующее уравнение регрессии Преобразуем полученное выражение в регрессию с исходными переменными: и т.д. - следовательно, выбираем регрессию с 2-мя факторами. Таким образом, метод главных компонент позволил получить наилучший результат.
Метод включения факторов (метод пошаговой регрессии).
Суть метода заключается в том, что в модель включаются факторы по одному в определенной последовательности. На первом шаге в модель вводится тот фактор, который имеет наибольший коэффициент корреляции с зависимой переменной. На втором и последующих шагах в модель включается фактор, который имеет наибольший коэффициент корреляции с остатками модели. После включения каждого фактора в модель рассчитываются ее характеристики и модель проверяют на достоверность. Построение модели заканчивается, если модель перестает удовлетворять определенным условиям (например, , где n –число наблюдений; число факторных признаков, включаемых в модель; –некоторое заданн Популярное:
|
Последнее изменение этой страницы: 2016-03-25; Просмотров: 2483; Нарушение авторского права страницы