При моделировании выделяют две задачи

– параметрический и структурный синтез модели

То есть необходимо найти структуру и параметры модели .

Однако на практике применяються несколько другие две задачи:

1. расчета вектора коэфф при заданной структуре модели и

2. более практическая задача, когда ищем и структуру и параметры модели

По поводу различных структур –

Пример – какие ниже стуктуры одинаковые а какие разные

1.У= з-х+х³ 2. у= 3х-х² 3.у= 3+х²+х³ 4. у=3х-х³

При фиксированой структуре эффективность найденных параметров модели оценивают по разному

– один из вариантов - функционалом

или (*)

где - функция адекватности модели, а - плотность распределения.

С адекватностью понятно –в дискретном случае это может быть “ обьясненная дисперсия”, коэфф детерминации (мах) или отн. норм.среднекв.ошибка (мин)

Ну а причем здесь плотность распределения – а?

играет роль весовых коэффициентов в ф-ле, учитывающих частоту попадания объекта в точку i (облaсть i ).

Обычно для построения

-(обращаю внимание на то, что

_- вектор и - многомерная плотность)

нужно очень много данных,

Когда же мы имеем такую роскошную

возможность иметь столько данных? –

когда имеем длинный сигнал (временной ряд), например, в медицинских приборах, и вообще работа в реале с накоплением данных об объекте.

Если наша задача – построить прогнозирующий фильтр (прогнозирующую модель)– тогда для Р(х) учитывают данные всей доступной кривой, а прогнозирующую модель расчитывают используя ограниченный скользящий участок методами стохастической аппроксимации, - то есть взвешивая невязки в соответствие с плотностью.

Когда нет доступа к такому большому количествку данных то

чаще обходятся без , считая в (*), что неизвестна, вернее принимая , считая все слагаемые равноправными таким образом принимая что плотность равномерна.

Если теперь функционал качества задачи моделирования выбрать в виде суммы квадратичных. невязок

J (а)= и при виде моделии

придем к для поиска параметров а к обычному механизму МНК

 

Но будем помнить что принцип взвешивания невязок в МНК – важное ответвление РА (называемое взвешенный МНК ), и используется он в задачах моделирования при непрерывном поступлении новых данных в систему – это моделироваие сигналов, временных рядов под. которые необходимо подстроить их модели для дальнейшей обработки - например для прогноза ряда, или очистки сигнала от шума и т.д.

Вернемся к обычному МНК

Напомним

Постановку задачи для поиска коэффициентов по методу наименьших квадратов ( МНК) при фиксированной структуре модели:

Задана матрица значений аргументов

(**) и вектор выхода ,

 

1.Введем предположеие – достаточно сильное и тем неприятное - – предположим что модель линейна по параметрам

Предположение вводится в основном потому что мы умеем решать такие задачи, а не потому что это как то обосновано, Здесь есть нечто общее с тем что « будем искать потеряное под.фонарем, потому что там видно а не потому что там потеряли».

2 Наконец предполагаем что нам известна структура то есть сейчас мы занимаемся задачей параметрического синтеза

 

Если тепер, как мы говорили выше, функционал качества задачи моделирования выбрать в виде сумм квадратичных. невязок

J(у) = (**)

то для определения вектора параметров достаточно решить систему линейных уравнений (*О*)

Действительно вспомним условия экстремума функций, тогда понятно откуда получена система (*О *)

Обратим внимание что систему получим линейную отностельно а_j

Все достаточно просто.Решая эту систему получаем наилучший вектор парамеров а который дает минимум функционалу (**)

Таким образом решается задача параметрического синтеза.

Для частного случая одномерной регресии У=ах+в, его решение МНК можно получить как простые формулы для , где - коэффициент регрессии, , -коэффициент корреляции х, у,

и , выборочные среднеквадратические отклонения и выборочные математические ожидания случайных величин и

, , ,

№2

Но если регрессия не одномерная, то никто в наше время в расчетах не записывает функционал в скалярном виде, не берут производные, не составляют системы скалярных уравнений и тд. Для решения задачи поиска параметров регрессии пользуются матричные представления данных и операций. Я пользовался выше скалярной записью, только затем, что-бы в начале было проще показать смысл процедур поиска параметров.

 

Упрощенный вывод формулы МНК в матричном виде

Напомним

1.– Для умножения матриц А и В – А*В=С

 

–то есть получения элемента необходимо взять в А (первой матрице) j-тую строку и в В (второй матрице) k-тый столбец и образовать скаляное поизведение .

2. Траспонирование

– столбцы делает строками, строки столбцами

(в квадратной матрице – просто зеркально отображаем относительно гл диагонали)

3.Обратная матрица А^-1 матрицы А это такая матрица для которой выполняется А^-1 _*А=Е, где единичная матрица

 

 

Итак имеем матрицу Х и вектор выхода У

 

необходимо построить модель линейной структуры

Уже понимаем почему пишем Х а а не а Х

При этом необходимо максимально приблизить с помощью вектора а матричное соотношение (***)

В скалярном виде это соответствует наилучшему приближению

в первой точке

………… в n -ой точке - (***)

Далее будем исходить из (***) как из равенства и будем из него искать а. Более обосновано вывод проведем немного позже. Итак имеем

Для того что-бы освободить а (умножить то что при а на обратную Х матрицу и получить в результате Е – ед матрицу ) надо чтобы при а стояла квадратная матрица.

Умножим слева и справа на Х^Т получим Теперь поскольку Х^ТХ – квадратная – можем ее умножить на обратную -

слева и справа на (Х Х^Т)^-1

и окончательно имеем для а

и для модели

 

Все - И все расчеты проводятся по этой формуле

- в любых инжененых пакетах реализованы матричные операции -

все очень просто (мы поработаем на практике) и

не очень просто в связи с операцией взятия обратной матрицы и понятием плохой обусловленности матрицы.

Что это - плохая обусловленность матрицы:

напомним о так наз. собственных числах матрицы

/А-лЕ/=0. .....для опред Л - решаем степенное уравнение соответствующего порядка напомним на примере 2-го порядка

ПлОбМа возникает когда λ min < < λ max.

и численно мера ПОМ выражается их отношением

или близостью к нулю ее детерминанта -

Этот эффект ПОМ обычно набл когда в А одновременно присутствуют очень большие и очень малые числа - тогда при операции нахождения обратной матрицы обусловленность резко ухудшается (очень малые числа деляться на очень большие) и лавинообразно растет погрешность (изза выхода значущих цифр за пределы разрядной сетки ВМ)- решение теряется в эффекте ПлОбМа

Это одна из причин что РА только начинается а не заканчивается на формуле для а. Преодоление ПОМ - различные алгоритмы регуляризации матрицы А......желательно с минимальной потерей ее эквивалентности

Другие проблемы больше связаны с задачей структурного синтеза - об этом позже А пока более строгий вывод, который

повторяет логику, изложенную для скалярного вида:

Пусть размерность задачи m переменных и n точек

Критерий по которому работает МНК: минимировать сумму квадратов ошибок е_i =У_i-(а_о+а₁х_1i+…+а_mx_mi ) модели У=а_о+а₁х₁+…+а_mx_m в заданных точках. В матричном виде, модель У=Ха должна минимизировать критерий в матричной форме:

Дифференцируя эту функцию по вектору параметров и приравняв производные к нулю, получим систему уравнений (в матр. форме)

, отсюда (** ) и далее решая (**) можем найти вектор а=(х^тх)^-1х^ту

В расшифрованном матричном виде эта система уравнений имеет вид

= X и X^TX - осн

Где все суммы берутся по количеству точек

Если в модель включен свободный член то для всех i

Это и есть т.н. нормальная система уравнений

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: