Суть метода наименьших квадратов

 

Дальнейшие рассуждения будем проводить в предположении, что все измерения значений функции y₀, y₁, y₂, …, y_n произведены с одинаковой точностью. Тогда оценка параметров а₀, а₁, а₂, …, а_n определяется из условия минимума суммы квадратов отклонений измеренных значений y_k от расчетных f(x_k; а₀, а₁, а₂, …, а_n):

(7.14)

 

Отыскание же значений параметров а₀, а₁, а₂, …, а_n, которые доставляют min значение функции

(7.15)

сводится к решению системы уравнений

 

(7.16)

 

Наиболее распространен способ выбора функции f(x_k; а₀, а₁, а₂, …, а_n) в виде линейной комбинации:

 

(7.17)

 

Здесь базисные функции (известные); n < < k; а₀, а₁, а₂, …, а_n – коэффициенты, определяемые методом наименьших квадратов. Запишем в явном виде условие (7.16), учитывая выражение (7.17):

 

(7.18)

 

Из системы линейных уравнений (7.18) определяются все коэффициенты a_k. Система (7.18) называется системой нормальных уравнений, матрица которой имеет вид

(7.19)

Здесь

(7.20)

 

Матрица (7.19) называется матрицей Грама. Расширенную матрицу получим добавлением справа столбца свободных членов:

 

(7.21),

 

где (7.22)

 

Основные свойства матрицы Грама

 

1. Матрица симметрична относительно главной диагонали, то есть
.

2. Матрица является положительно определенной. Следовательно, при решении методом Гаусса можно воспользоваться схемой единственного деления.

3. Определитель матрицы будет отличен от нуля, если в качестве базиса выбраны линейно независимые функции ; в этом случае система (7.18) имеет единственное решение.

 

В качестве базисных можно выбрать линейно независимые степенные функции

(7.23)

 

Следует учесть, чтоn < < k. Тогда для этих функций расширенная матрица Грама примет вид

 

(7.24)

Если выбрать n = k, то на основании единственности интерполяционного полинома получим функцию , совпадающую с каноническим интерполяционным полиномом степени k. При этом аппроксимирующая кривая пройдет через все экспериментальные точки, и функция S будет равна нулю.

 

Пример 7.2. Исходная функция y = f(x)задана в виде табл. 7.2:

 

Таблица 7.2

x
y

 

Аппроксимируем экспериментальные данные линейной либо квадратичной функцией. Методом наименьших квадратов необходимо уточнить коэффициенты аппроксимирующего полинома.

 

Решение

1. При линейной аппроксимации исходную зависимость представим в виде , где .Методом наименьших квадратов определим a₀и a₁. Расширенная матрица Грама в нашем случае имеет вид

 

Þ ; а₁=1.3774; а₀=-11.8491.

 

Таким образом, аппроксимирующая функция равна

 

 

Оценим погрешность формулы, и результаты этой оценки сведем в табл. 7.3:

Таблица 7.3

 

x	y	f	y - f	|y-f| / |y|
		1.9249	1.0751	0.3584
		8.8119	-1.8119	0.2588
		11.5667	-0.5667	0.0515
		15.6989	1.3011	0.07654

 

Для нашей линейной функции S₁ = 6.4528.

 

2. Решим ту же задачу, аппроксимировав эмпирические данные полиномом второй степени: .

Матрица Грама в этом случае имеет вид

 

 

Все результаты сведены в табл. 7.4.

Таблица 7.4

x	y	f	y - f	|y-f| / |y|
		2.9511	0.0489	0.0163
		7.3381	-0.3381	0.0483
		10.6007	0.3993	0.0363
		17.1101	-0.1101	0.0065

 

S₂ = 0.2883.

 

Обсуждение результатов

1. Аппроксимировав эмпирические результаты более простой функцией (линейной), мы получили погрешность в различных узловых точках, лежащую в пределах от 5 до 35 %.

2. Более сложная формула квадратичной интерполяции обеспечивает погрешность не более 5 %.

3. Косвенную оценку погрешности можно провести, сравнив значения S₁и S₂.

4. Матрица Грама для полинома второй, третьей степени имеет простой вид и может быть решена, например, методом Гаусса.

 

Вопросы для самопроверки

 

· В чем заключается задача интерполирования и аппроксимации?

· Запишите интерполяционные формулы Лагранжа и Ньютона.

· Какие требования предъявляются а) к интерполяционным полиномам;
б) к аппроксимационным полиномам?

· Что такое разделенные разности?

· В каких случаях применяются формулы Ньютона для интерполирования
а) вперед, б) назад?

· Что можно сказать о сходимости интерполяционных полиномов?

· Что такое обратное интерполирование, при каких условиях оно возможно (корректно)?

· В чем заключается идея метода наименьших квадратов?

· Что такое матрица Грама, каковы ее свойства?

· Что такое базисные функции? Можно ли в качестве базисных функций выбрать а) линейно независимые функции; б) линейно зависимые функции?

Литература

1. Демидович Б.П., Марон И.А. Основы вычислительной математики. - М.: Наука, 1970. – 664 с.

2. Копченова Н.В., Марон И.А. Вычислительная математика в примерах и задачах. - М.: Наука, 1972. – 308 с.

3. Самарский А.А., Гулин А.В. Численные методы: Учеб. пособие для вузов. – М.: Наука, 1989. – 432 с.

4. Мудров А.Е. Численные методы для ПЭВМ на языках Бейсик, Фортран и Паскаль. – Томск: МП " РАСКО", 1991. – 272 с.

5. Практикум по численным методам. / Л.Я. Егорова, Л.Л. Левин, Б.Г. Ослин и др. - Томск: Изд. ТГУ, 1979. – 212 с.

6. Press W.H., Teukolsky S.A., Vetterling W.T., Flannery B.P., Numerical Recipes in C. The Art of Scientific Computing. 2-nd ed. - Copyright © Cambridge University Press, 1992, - 966p.

 

 

Кацман Юлий Янович

 

ПРИКЛАДНАЯ МАТЕМАТИКА

Численные методы

 

Учебное пособие

 

Научный редактор

кандидат технических наук, доцент Б. А. Рыжков

 

Редактор О. М. Васильева

 

 

Подписано к печати

Формат 60х84/16. Бумага ксероксная.

Плоская печать. Усл. печ. л..Уч.-изд. л.

Тираж экз. 3аказ. Цена свободная.

ИПФ ТПУ. Лицензия ЛТ № 1 от 18.07.94.

Типография ТПУ. 634034, Томск, пр. Ленина, 30.

* Из рисунка видно, что для такого представления числа разрядов не хватает, т.е. в машине такое число представляется нулем.

⇐ Предыдущая1234567

Поделиться: