Метод наименьших квадратов (МНК). Свойства оценок на основе МНК

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные.

Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии

. (2.1)

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). Чтобы получить по методу МНК наилучшие оценки должны выполнятся ряд предпосылок относительно случайного отклонения e_i. Эти предпосылки называются предпосылками Гаусса-Маркова или условиями Гаусса-Маркова:

1. Математическое ожидание случайного отклонения в теоретическом уравнении регрессии равно 0 для любых наблюдений, т.е.

М(e_i) = 0, " _i

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную.

2. Дисперсия случайного отклонения постоянна, т.е.

D(e_i) = D(e_j) = s², " _i_¹_j

Из данного условия следует, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение e_i может быть различным, но не должно быть причин, вызывающих большую ошибку. Выполнимость данной предпосылки называют гомоскедастичностью. Если предпосылка не выполняется, то говорят, что в модели присутствует эффект гетероскедастичности – изменяющихся отклонений.

3. Наблюдаемые значения случайных отклонений e_i и e_j независимы друг от друга. Если данное условие выполняется, то говорят об отсутствии автокорреляции.

4. Случайное отклонение должно быть независимо от объясняющей переменной. Обычно это условие выполняется автоматически, т.к. в эконометрических моделях объясняющие переменные не являются случайными величинами.

5. Регрессионная модель является линейной относительно параметров. Из этого условия следует, что математическое ожидание коэффициентов уравнения регрессии дает несмещенные оценки для коэффициентов. Дисперсии этих оценок уменьшаются при увеличении объема используемой выборки.

6. Наряду с выполнимостью указанных предпосылок при построении линейных регрессионных моделей обычно делаются еще некоторые предположения, а именно:

- случайное отклонение имеет нормальный закон распределения;

- число наблюдений существенно больше числа объясняющих переменных;

- отсутствуют ошибки спецификации;

- отсутствует линейная взаимосвязь между двумя или несколькими объясняющими переменными.

МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:

(2.2)

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

Итак. Имеем функцию аргумента:

(2.3)

Чтобы найти минимум функции (2.3), надо вычислить производные по каждому из параметров и приравнять их к нулю, т.к. равенство нулю производной – необходимое условие экстремума.

(2.4)

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (2.1):

Так, для уравнения (2.1.) система нормальных уравнений имеет вид:

(2.5)

Решение системы (2.5) может быть осуществлено по одному из известных способов: Метод Гаусса, метод Крамера и т.д.

Пример. По 10-ти предприятиям региона (см. табл.) изучается зависимость выработки продукции на одного работника y (тыс. руб.) от ввода в действие новых основных фондов (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих (%). Требуется составить уравнение множественной регрессии.

№ предпрития
, (%)
, (%)
, (тыс. руб.)

Решение:

Предположим, что зависимость выработки продукции на одного работника характеризуется следующим уравнением:

На основании исходных данных составляем систему уравнений для определения коэффициентов и .

; ; ; ; ;

; ; ; .

Решим эту систему по методу Крамера. Вычисляем определитель системы:

Аналогично вычисляем частные определители, заменяя соответствующий столбец столбцом свободных членов:

;

Коэффициенты уравнения определяются по формулам:

Таким образом, уравнение имеет вид:

Возможен и иной подход к определению параметров множественной регрессии, когда уравнение регрессии строится, используя МНК. Для начала необходимо определить значения следующих параметров:

, , , , , (2.6)