Линейная разделимость и персептронная представляемость

Каждый нейрон персептрона является формальным пороговым элементом, принимающим единичные значения в случае, если суммарный взвешенный вход больше некоторого порогового значения:

Таким образом, при заданных значениях весов и порогов, нейрон имеет определенное значение выходной активности для каждого возможного вектора входов. Множество входных векторов, при которых нейрон активен (y=1), отделено от множества векторов, на которых нейрон пассивен (y=0) гиперплоскостью, уравнение которой есть, суть:

Следовательно, нейрон способен отделить (иметь различный выход) только такие два множества векторов входов, для которых имеется гиперплоскость, отсекающая одно множество от другого. Такие множества называют линейно разделимыми. Проиллюстрируем это понятие на примере.

Пусть имеется нейрон, для которого входной вектор содержит только две булевые компоненты , определяющие плоскость. На данной плоскости возможные значения векторов отвечают вершинам единичного квадрата. В каждой вершине определено требуемое значение активности нейрона 0 (на рис. 4.2 - белая точка) или 1 (черная точка). Требуется определить, существует ли такое такой набор весов и порогов нейрона, при котором этот нейрон сможет отделить точки разного цвета?

На рис 4.2 представлена одна из ситуаций, когда этого сделать нельзя вследствие линейной неразделимости множеств белых и черных точек.

Рис. 4.2. Белые точки не могут быть отделены одной прямой от черных.

Требуемая активность нейрона для этого рисунка определяется таблицей, в которой не трудно узнать задание логической функции “ислючающее или”.

X1	X2	Y

Линейная неразделимость множест аргументов, отвечающих различным значениям функции означает, что функция “ислючающее или”, столь широко использующаяся в логических устройствах, не может быть представлена формальным нейроном. Столь скромные возможности нейрона и послужили основой для критики персептронного направления Ф.Розенблатта со стороны М.Минского и С.Пейперта.

При возрастании числа аргументов ситуация еще более катастрофична: относительное число функций, которые обладают свойством линейной разделимости резко уменьшается. А значит и резко сужается класс функций, который может быть реализован персептроном (так называемый класс функций, обладающий свойством персептронной представляемости). Соотвествующие данные приведены в следующей таблице:

Число переменных N	Полное число возможных логических функций	Из них линейно разделимых функций
	> 1000000000

Видно, что однослойный персептрон крайне ограничен в своих возможностях точно представить наперед заданную логическую функцию. Нужно отметить, что позднее, в начале 70-х годов, это ограничение было преодолено путем введения нескольких слоев нейронов, однако критическое отношение к классическому персептрону сильно заморозило общий круг интереса и научных исследований в области искусственных нейронных сетей.

В завершении остановимся на тех проблемах, которые остались открытыми после работ Ф.Розенблатта. Часть из них была впоследствии решена (и будет частично рассмотрена в следующих лекциях), некоторые остались без полного теоретического решения.

1. Практическая проверка условия линейной разделимости множеств. Теорема Розенблатта гарантирует успешное обучение только для персептронно представимых функций, однако ничего не говорит о том, как это свойство практически обнаружить до обучения
2. Сколько шагов потребуется при итерационном обучении? Другими словами, затянувшееся обучение может быть как следсвием не представимости функции (и в этом случае оно никогда не закончится), так и просто особенностью алгоритма.
3. Как влияет на обучение последовательность предъявления образов в течение эпохи обучения?
4. Имеет ли вообще d -правило преимущества перед простым перебором весов, т.е. является ли оно конструктивным алгоритмом быстрого обучения?
5. Каким будет качество обучения, если обучающая выборка содержит не все возможные пары векторов? Какими будут ответы персептрона на новые вектора?

Последний вопрос затрагивает глубокие пласты вычислительной нейронауки, касающиеся способностей искусственных систем к обобщению ограничеснного индивидуального опыта на более широкий класс ситуаций, для которых отклик был заранее не сообщен нейросети. Ситуация, когда системе приходится работать с новыми образами, является типичной, так как число всех возможных примеров экспоненциально быстро растет с ростом числа переменных, и поэтому на практике индивидуальный опыт сети всегда принципиально не является полным.

Возможности обобщения в нейросетях будут подробнее рассмотрены на следующей лекции.

⇐ Предыдущая12345678Следующая ⇒

Поделиться:

Популярное:

1. Классическая нормальная линейная модель множественной регрессии
2. Координата (линейная, угловая).
3. Линейная алгебра и аналитическая геометрия
4. Линейная зависимость векторов. Свойства понятия линейной зависимости, доказать одно из них.
5. Линейная комбинация векторов. Линейная зависимость и независимость векторов.
6. Линейная оболочка системы векторов. Подпространство. Базис подпространства
7. Линейная регрессия. Метод наименьших квадратов. Коэффициент детерминации.
8. Линейная структура управления
9. Построение графиков функций (линейная, квадратичная) по заданным параметрам
10. Предпосылки МНК. Нелинейная регрессия.