Физическая интерпретация метода потенциальных функции.

Пусть нужно разделить два класса ω ₁ и ω ₂ Выборочные образы, представ­лены векторами или точками в n-мерном пространстве обра­зов. Если ввести аналогию м/у точками, представл-ми выборочные образы, и нек-м источником энергии, то в лю­бой из этих точек потенциал достигает макс-го значения и быстро уменьшается при переходе во всякую точку, отстоя­щую от точки, предст-й выборочный образ x_k. На ос­нове этой аналогии можно допустить существование эквипотенциальных контуров, которые описываются потенциальной функ­цией K(x, x_k). Можно считать, что кластер, образ-й вы­бор-ми образами, принадл-ми классу ω ₁, образует «плато», причем выб-е образы размещаются на вершинах нек-й группы холмов. Подобную геометрическую интер­претацию можно ввести и для образов класса ω ₂. Эти два «плато» разделены «долиной», в кот-й, как считается, по­тенциал падает до нуля. На основе таких интуитивных дово­дов создан метод потенциальных функций, позвол-й при проведении классификации определять решающие функции.

44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала.

В начале этапа обучения исходное значение к. п. K₀(x) полагается=0. При предъявлении первого образа x₁ из обуч. выборки значение к. п. просто = зн-ию потенц. ф-ии для выбороч. образа x₁. Потенциал предполагается положительным для образов, принадлежащих классу ω ₁, и отрицательным для образов, принадлежащих классу ω ₂.

На k+1 шаге

где коэфф-ты r_k+1 при корректирующем члене опр-ся соотношениями

45. Теоремы о сходимости обучения классификации методом потенциальных функций.

Теорема 1. (О свойствах сходимости алгоритма.) Пусть векторы образов х удовлетворяют в пространстве образов следующим условиям.

1. Потенциальная функция

ограничена для

1. Существует решающая функция, представимая в виде

(*)

такая, что

(**)

где ε > 0.

1. Обучающая выборка образов обладает следующими статическими свойствами: (а) в обучающей последовательности выборочные образы появляются независимо; (б) если на k-м шаге алгоритма обучения решающая функция d_k(x) не обеспечивает правильной классификации всех образов x₁, x₂, …, x_k, то с положительной вероятностью будет предъявлен образ x_k+1, корректирующий ошибку.

Тогда с вероятностью 1 можно определить конечное число шагов R, таких, что кумулятивный потенциал

Другими словами, последовательная аппроксимация решающей функции d_k(x) с вероятностью 1 сходится к решающей функции d(x) за конечное число предъявлений образов обучающей выборки. Это означает, что разделение классов ω ₁ и ω ₂ осуществляется за конечное число шагов с вероятностью 1.

Теорема (условия прекращения выполн-я алгоритма): пусть процесс обучения прекращ-ся, если после осущест-я k коррекций неправильной классификации при предъявлении L₀ следующих выборочных образов никакие коррекции больше не производятся.Т.е. процесс обучения прекращается после предъявления L_k выборочных образов, где L_k определяется выражением L_k=L₀+k.Общее число предъявлений образов, необх-е для прекращения работы алгоритма, увел-тся на 1 после каждой коррекции неправильной классификации. Задача заключ-ся в определении числа контрольных выборочных образов L₀, необходимых для обеспечения заданного качества процедуры обучения. Обозначим через вероятность совершения ошибки после предъявления системе L_k выборочных образов. Тогда для любых ε > 0 и δ > 0 вероятность того, что < ε, будет больше, чем 1-δ, если .

Отметим, что выбор числа контр-ных выборочных образов зависит только от заданных значений ε и δ, харак-х качество обуч-й процедуры. Выбор величины L₀ не зависит от свойств классов ω ₁ и ω ₂ и статистических харак-к образов.

46. Достоинства и недостатки распознающих процедур перцептронного типа.

+: возможность обучения при опред-х условиях безошибочной классификации объектов; универсальность; ОП м\б в достаточной степени произвольной; результат обучения не зависит от начального состояния перц-на.

-: для решения сложных ЗР может потреб-ся перцептрон с большим числом элементов; длина ОП может оказаться очень большой; для сложных задач невозможно проверить условия, при кот-х ЗР с помошью перцептрона разрешена, а также усл-я сходимости АОП, которые описаны в тh Новикова.

 

Элементы задачи решения.

Введем в рассм-е след. Элементы задачи принятия решения:

W={w1, …, wm}-конечное множество m состояний природы(ситуаций)

D={d1, …, dp} – конечное множество p возможных решений (действий)

L(di, wj) – ф-я потерь, кот. интерпретируется след. обр.: потери от принятия решения di, когда реализуется состояние wj.

X=(x1, …, xn) – в-р признаков. Б. Считать что он явл. реализ-ей сист. СВ X=(X1, …, Xn), которая для состояния природы wj характеризуется:

- Плотностью вероятности p(x/wj), если X – сист. абс. непр. СВ

- Законом распределения (набором вероятностей) P(x/wj)=P(X=x/wj), если X – сист дискретных СВ.

Пусть P(wj) вероятность появления состояния природы wj и пусть P(wj/x) – условная вероятность появления состояния природы wj при условии, что будет наблюдаться значение случ вектора X=x.

 

48. Условный риск. Общий риск.

Введем вел-ну

- усл-е мат. ожидание потерь от принятия реш-я di при усл-и, что X=x.

-усл. риск

Введем в рассм-е функцию d(x) – каждому в-ру x ставит в соотв-е некот реш-е из мн-ва реш-й D.

-усл. мат. ожид-е потерь при усл-и, что исп. реш. ф-я d(x)

Безусловное мат ожид-е потерь при использовании решающего правила d(x) есть

R(d) назыв. общим риском.

 

49. Постановка байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.

Поставим следующую задачу: найти решающее правило d(x) такое, которое доставляет минимум R(d). Эта задача решается очень просто. Т.к. R(d) будет минимально, если d(x) выбрано так, что R(d(x)/x) имеет минимальное значение для каждого возможного x, то оптимальное решающее правило можно описать следующим образом: для данного x вычислить R(di/x) для i=1, …, p и выбрать то di, при котором R(di/x) минимально, т.е.

Такое решающее правило называется байесовским решающим правилом, а соответствующее минимальное значение общего риска R(dopt) – байесовским риском.

Задача распознавания образов получается, если между элементами множества W и D установим взаимооднозначное соответствие

Решение di заключается в отнесении объекта, имеющего изображение х к одному из классов w₁, w₂,..., w_m. ( в этом случае p=m)

 

50. Классификация с минимальной вероятностью ошибки.

Рассм частный случай байесовской процедуры распознавания, когда потери от принятия любого неверного решения одинаковы (любое неверное решение одинаково нежелательно). В этом случае потери можно представить в виде

Для заданной L байесовское решающее правило будет обеспечивать минимальную вероятность ошибки классификации.

 

51. Минимаксное решающее правило.

 

52. Процедура Неймана-Пирсона.

f(x) – ЗР, H₀: xÎ w₁ или f(x). g(x) – ЗР, H_1: xÎ w₂ или g(x). Если в результате проведения наблюдения , то Н₀ отвергаем, т.е. xà w₂ (в случае Х-С ДСВ); Если , то гипотезу Н₀ отвергаем, т.е. xà w₂ (в случае Х-С НСВ).

54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.

1) вид любого УЗР известен, но ЗР содержат неизвестные параметры. Тогда это параметр-я задача обучения, решение кот-й сводится к оценке неизвестных параметров с помощью статист-х методов (максимального правдоподобия, метод моментов). 2) вид УЗР неизвестен. Обучение: а) представление неизвестного ЗР в виде ряда разложения по системе определённых функций с последующим определением по данным наблюдения оценок коэф-в ряда, отбрасывания ряда. б) минимизация общего риска: R(d)à решается заданием à min

 

⇐ Предыдущая12345

Поделиться:

Популярное:

1. E) Физическая величина, являющаяся одной из основных характеристик материи и определяющая ее инерционные и гравитационные свойства.
2. Анализ потенциальных опасностей и вредностей при выполнении проектируемых работ, переездах, быте и отдыхе в полевых условиях
3. Бесконечно малые и бесконечно большие функции.
4. БИЛЕТ 30. ЯЗЫК ХУДОЖЕСТВЕННОЙ ЛИТЕРАТУРЫ. ОСНОВНЫЕ ФУНКЦИИ. СОДЕРЖАТЕЛЬНОСТЬ ЯЗЫКОВОГО УРОВНЯ ХУДОЖЕСТВЕННОЙ ФОРМЫ. ЯЗЫК ХУДОЖЕСТВЕННОЙ ЛИТЕРАТУРЫ И РЕЧЬ ХУДОЖЕСТВЕННАЯ.
5. Вещи в мире произведения, их изображения и функции.
6. Виртуальные функции. Полиморфизм
7. Возрастание и убывание функции. Экстремумы функции
8. Вопрос 2. Ощущения и восприятие: сущность и функции. Значение ощущений в познавательной деятельности человека. Теории восприятия.
9. Вопрос 22. Понятие мотива в литературоведении и его интерпретация А.Н. Веселовским в соотнесенности с сюжетом.
10. Вопрос 33. Язык художественной литературы. Основные функции. Содержательность языкового уровня художественной формы. Речь художественная.
11. Выбор племенных птиц: физическая оценка
12. Геологическая и геофизическая изученность района работ