Линейная модель множественной регрессии

В линейной множественной регрессии

(1)

параметры при x называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего параметра на единицу при неизменном значении других факторов, закрепленных на среднем уровне.

Пример. Предположим, что зависимость расходов на продукты питания по совокупности семей характеризуется следующим уравнением:

где y – расходы семьи за месяц на продукты питания, тыс. руб.;

x₁ – месячный доход на одного члена семьи, тыс. руб.;

x₂ – размер семьи, человек.

Анализ данного уравнения позволяет сделать выводы – с ростом дохода на одного члена семьи на 1 тыс. руб. расходы на питание возрастут в среднем на 350 руб. при том же среднем размере семьи. Иными словами, 35% дополнительных семейных расходов тратится на питание. Увеличение размера семьи при тех же ее доходах предполагает дополнительный рост расходов на питание на 730 руб. Первый параметр не подлежит экономической интерпретации.

Классический подход к оцениванию параметров линейной модели основан на методе наименьших квадратов (МНК).

Этот метод позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака (y) от расчетных (теоретических) минимальна:

. (2)

Чтобы найти минимум функции (2), надо вычислить производные по каждому из параметров и приравнять их к нулю, т.к. равенство нулю производной – необходимое условие экстремума. В результате получается система уравнений, решение которой и позволяет получить оценки параметров регрессии.

Так, для уравнения (1) система нормальных уравнений имеет вид:

(3)

Решение системы (3) может быть осуществлено по одному из известных способов: Метод Гаусса, метод Крамера и т.д.

Пример. По четырем предприятиям региона (см. табл.) изучается зависимость выработки продукции на одного работника y (тыс. руб.) от ввода в действие новых основных фондов (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих (%). Требуется написать уравнение множественной регрессии.

Номер предприятия
, (%)
, (%)
, (тыс. руб.)

Решение

Предположим, что зависимость выработки продукции на одного работника характеризуется следующим уравнением:

На основании исходных данных составляем систему уравнений для определения коэффициентов и .

;

; ;

;

; ;

Решим эту систему по методу Крамера. Вычисляем определитель системы:

Аналогично вычисляем частные определители, заменяя соответствующий столбец столбцом свободных членов:

; ; .

Коэффициенты уравнения определяются по формулам:

Таким образом, уравнение имеет вид:

Возможен и иной подход к определению параметров множественной регрессии, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:

, (4)

где - стандартизованные переменные: , для которых среднее значение равно нулю, а среднее квадратическое значение равно единице;

- стандартизованные коэффициенты регрессии.

Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, после соответствующих преобразований получим систему нормальных уравнений вида для определения стандартизованных коэффициентов регрессии.

. (5)

Следует отметить, что величины и называются парными коэффициентами корреляции и определяются по формулам

, . (6)

Решая систему (5) определяем стандартизованные коэффициенты регрессии. Сравнивая их друг с другом, можно ранжировать факторы по силе воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Пример. Получим для предыдущего примера уравнение регрессии в стандартизованном масштабе.

, , ,