Проверка статистических гипотез при распознавании образов. Вероятность ошибки при проверке гипотез

 

Предположим, что вектор наблюдений представляет собой случайный вектор с условной плотностью вероятности, зависящей от принадлежности этого вектора определенному классу. Если условная плотность вероятности известна для каждого класса, то задача распознавания образов становится задачей проверки статистических гипотез.

Рассмотрим сначала задачу проверку гипотез для случая двух альтернатив. Такая задача возникает, если множество классов, к которым может принадлежать данный объект, состоит лишь из двух классов C ₁ и C ₂. Условные плотности вероятности и априорные вероятности будем считать известными.

Практически все критерии проверки гипотез основаны на сравнении величины, называемой отношением правдоподобия, с пороговым значением. Отношение правдоподобия l ( x ) определяется как отношение условных плотностей вероятности принадлежности вектора признаков x классам C ₁ и C ₂, т.е.

 

.                                       (1.1)

 

Пороговое значение зависит от выбранного решающего правила. Рассмотрим некоторые наиболее часто применяемые правила принятия решения.

1) Байесовское правило принятия решения, минимизирующее функцию риска.

Предположим, что, принимая то или иное решение, мы несём определённые потери (штраф). Величина этих потерь зависит от того, к какому классу принадлежит объект в действительности. Можно ввести матрицу риска R = , где r_ij - потери в случае принятия решения в пользу принадлежности объекта классу j, тогда как в действительности он принадлежит классу i. Если записать выражение для среднего риска и затем минимизировать его, то можно получить, что значение порога равно

 

,                                     (1.2)

 

где r_ij - элементы матрицы риска. Здесь P ( C_i ) - априорные вероятности того, что объект принадлежит классу C_i.

2) Минимаксное правило принятия решения.

Байесовский критерий, минимизирующий риск, основан на сравнении отношения правдоподобия с пороговым значением (1.2), которое является функцией априорных вероятностей P ( C_i ), i =1, 2. Поэтому, если априорные вероятности не изменяются, то байесовское решающее правило всегда обеспечивает минимальный риск. Однако если априорные вероятности изменяются или их значение неизвестно, то зафиксированная величина порога уже не обеспечивает достижимого минимума риска. Минимаксный критерий используется для нахождения такой величины порога, при которой минимизируется максимум возможного риска, даже если априорные вероятности изменяются или неизвестны.

 

Таким образом, при использовании минимаксного критерия необходимо найти значения P *( C_i ), при которых достигается максимум среднего риска, а затем подставить найденные значения в формулу (1.2).

3)Правило принятия решения, основанное непосредственно на вероятностях.

Его можно записать следующим образом:

 

.                                       (1.3)

 

Решение принимается в пользу того класса, априорная вероятность принадлежности которому больше. Выражение (1.3) называют байесовским критерием, минимизирущим ошибку решения.

Сравнивая формулы (1.2) и (1.3), видно, что данное правило является частным случаем байесовского правила принятия решения, когда потери связаны соотношением

r ₁₂ - r ₂₂ = r ₂₁ - r ₁₁.                                          

 

Это так называемый случай симметричной функции штрафа, при которой штрафом является вероятность ошибки, и критерий (1.3) её минимизирует.

Иногда вместо отношения правдоподобия l ( x ) удобно использовать величину - ln l ( x ). В этом случае решающее правило (1.3) примет вид

 

(1.4)

Вероятность ошибки при проверке гипотез.

Обычно никакое решающее правило не обеспечивает безошибочной классификации. Поэтому для оценки качества правила принятия решения необходимо вычислить вероятность ошибки, т.е. вероятность того, что объект ошибочно относится к данному классу.

Различают ошибки двух видов: ошибки первого и второго рода. Ошибка первого рода - ошибка, когда принято решение о принадлежности объекта классу C ₁, когда в действительности он относится к классу C ₂. В свою очередь, ошибка второго рода - ошибка, когда принимается решение в пользу принадлежности объекта классу C ₂, тогда как он относится к классу C ₁. Общая вероятность ошибочного решения определяется как взвешенная сумма этих ошибок:

ε = ε ₁ P ( C ₁ ) + ε ₂ P ( C ₂ ),                                     (1.5)

 

где ε ₁ и ε ₂ - вероятности ошибок первого и второго рода соответственно.

Нахождение вероятности ошибки сводится по существу к вычислению n-мерного интеграла то плотности вероятности. Иногда удобнее интегрировать плотность вероятности отношения правдоподобия, которая является одномерной. Интегралы, которые вычисляются в этом случае, имеют вид

.                                       (1.6)

.                                       (1.7)

 

Нижний предел интегрирования в (1.6) равен нулю, поскольку отношение правдоподобия всегда положительно. На рисунке 4 изображены плотности вероятности решающего правила h ( x ), причем заштрихованные площади соответствуют вероятностям ошибки, обусловленным байесовским критерием, который минимизирует ошибку решения.

 

Критерий Неймана - Пирсона принятия решения.

Критерий Неймана - Пирсона используется, когда неизвестна матрица потерь R и априорные вероятности P ( C ₁ ) и P ( C ₂ ). Решающее правило Неймана - Пирсона представляет собой решающее правило, минимизирующее вероятность ошибки первого рода при условии, что вероятность ошибки второго рода есть фиксированная величина, например ε ₀. Для определения этого решающего правила необходимо найти минимум выражения

,                                    (1.8)

 

где μ - множитель Лагранжа, который есть решение уравнения

 

.                    (1.9)

 

Если использовать плотность вероятности отношения правдоподобия, то уравнение для вычисления порога μ имеет вид

 

.                            (1.10)

 

Так как плотность вероятности p ( l / C ₂ ) ≥ 0, то вероятность ошибки ε ₂, определяемая выражением (1.10), является монотонной функцией относительно μ . Иначе говоря, когда порог μ увеличивается, вероятность ошибки ε ₂ уменьшается. Поэтому после вычисления значений ε ₂ для нескольких значений порога μ можно найти такое μ , которому соответствует значение ε ₂, равное ε ₀. Однако получить точное решение уравнения (1.10) нелегко.

Вероятность ошибки для нормальных случайных векторов.

Если распределения являются нормальными, то всегда можно определить линейное преобразование, одновременно приводящее к диагональному виду две корреляционные матрицы. Поэтому в преобразованной системе координат всегда будет выполнено предположение о независимости случайных векторов. Кроме того, вероятности ошибки инвариантны относительно любого преобразования, так как отношение правдоподобия не зависит от выбора системы координат.

Проверка многих гипотез.

Задачу проверки двух гипотез можно обобщить на случай, когда объекты принадлежат одному из M классов.

При обобщении функции штрафа на случай многих гипотез имеем

r_ij - потери при решении x C_j, если x C_i.

После минимизации величины риска можно получить

 

            (1.11)

 

для всех k ≠ j.

Если r_ii =0 и r_ij =1, то неравенство (1.11) примет вид

 

 (1.12)

 

или

 

     (1.13)

 

для всех k ≠ j.

Проверка сложных гипотез.

Иногда условная плотность вероятности не задана непосредственно, но известны p ( x / θ _i ) и p ( θ _i / C_i ), где p ( x / θ _i ) - условная плотность вероятности вектора x при фиксированном значении некоторого параметра или вектора параметров θ _i, а p ( θ _i / C_i ) - условная плотность вероятности вектора θ _i при фиксированном классе C_i. В этом случае можно вычислить p ( x / C_i ) следующим образом:

,                        (1.14)

 

где областью интегрирования Θ является вся область изменения θ _i. После того, как условные плотности вероятности p ( x / C_i ) получены, можно составить выражение для отношения правдоподобия, как описано выше:

 

.       (1.15)

 

Это выражение представляет собой критерий проверки сложных гипотез.

 

⇐ Предыдущая12345678910Следующая ⇒

Поделиться: