Искусственные нейронные сети

Искусственные нейронные сети (ИНС) – вид математических моделей, которые строятся по принципу организации и функционирования их биологических аналогов – сетей нервных клеток (нейронов) мозга. В основе их построения лежит идея о том, что нейроны можно моделировать довольно простыми автоматами (называемыми искусственными нейронами), а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами (scintific.narod.ru, Диканев Т.В.).

История ИНС начинается с 1943 г., когда У. Маккалок и У. Питтс предложили первую модель нейрона и сформулировали основные положения теории функционирования человеческого мозга. С тех пор теория прошла довольно большой путь, а что касается практики, то годовой объем продаж на рынке ИНС в 1997 г. составлял 2 млрд. долл. с ежегодным приростом в 50 %.

Существует множество задач, которые трехлетний ребенок решает лучше, чем самые мощные вычислительные машины. Примером может служить задача распознавания образов. Пусть имеется некоторое изображение – дом, цветок, солнце (рисунок 11). Требуется распознать и выделить объекты на данном изображении.

 

Рис. 11. Задача выделения и распознавания объектов
(дом, цветок) – пример трудно алгоритмизируемой задачи

Программа, решающая данную задачу, должна последовательно перебрать отдельные пиксели и вычислить какие из них относятся к цветку, какие к дому, а какие ни к тому, ни к другому по определенным критериям. Сформулировать данные критерии – это сложная неординарная задача. Однако человек легко распознает цветы и в жизни, и на картинках, без формулировки сложных критериев, независимо от точки зрения и освещенности. В свое время родители показали, что такое цветок, и стало понятно. Исходя из выше сказанного, можно сформулировать несколько особенностей обработки информации в мозге:

- способность к обучению на примерах;

- способность к обобщению – человек, не просто запоминает все примеры виденных цветов, а создает в мозге некоторый идеальный образ абстрактного цветка, сравнивая с ним любой объект, делается вывод, похож ли данный объект на цветок или нет;

- параллельность обработки информации – человеческий мозг не считывает картинку по пикселям, а целиком ее и обрабатывает;

- надежность человеческого мозга – к старости некоторые структуры мозга теряют до 40 % нервных клеток, при этом многие остаются в здравом уме и твердой памяти;

- ассоциативность памяти – это способность находить нужную информацию по ее малой части;

- адаптивность;

- толерантность (терпимость) к ошибкам;

- низкое энергопотребление.

Эффективно работать мозгу позволяют особенности строения (мозг состоит из нервных клеток – нейронов, всего их ~10¹² штук) и организации. Можно предположить, что приборы, построенные на тех же принципах, что и биологические нейроны, будут обладать перечисленными характеристиками. На рисунке 12 изображен схематично отдельный нейрон. Он имеет один длинный, ветвящийся на конце отросток – аксон и множество мелких ветвящихся отростков – дендритов. Известно, что в ответ на возбуждение нейрон может генерировать нервный импульс, распространяющийся вдоль аксона. Это волна деполяризации мембраны нейрона. Она является автоволной, т. е. ее форма и скорость распространения не зависят от того, как и из-за чего она возникла. Доходя до конца аксона, она вызывает выделение веществ, называемых нейромедиаторами. Воздействуя на дендриты других нейронов, они могут в свою очередь вызвать появление в них нервных импульсов.

 

 

Рис. 12. Биологический нейрон

 

Нейрон является типичным элементом, действующим по принципу "все или ничего". Когда суммарный сигнал, приходящий от других нейронов, превышает некоторое пороговое значение, генерируется стандартный импульс. В противном случае нейрон остается в состоянии покоя.

Биологический нейрон – сложная система, математическая модель которой до конца не построена. В основе теории ИНС лежит предположение о том, что вся эта сложность несущественна, а свойства мозга объясняются характером их соединения. Поэтому вместо точных математических моделей нейронов используется простая модель так называемого формального нейрона (рис. 13).

 

Рис. 13. Математическая модель нейрона

Поэтому выделяют несколько стандартных архитектур, из которых путем вырезания лишнего или добавления строят большинство используемых сетей. Можно выделить две базовые архитектуры: полносвязные и многослойные сети.

В полносвязных нейронных сетях каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе. Все входные сигналы подаются всем нейронам. Выходными сигналами сети могут быть все или некоторые выходные сигналы нейронов после нескольких тактов функционирования сети.

В многослойных нейронных сетях (их часто называют персептронами) нейроны объединяются в слои. Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не зависит от количества нейронов в других слоях. В общем случае сеть состоит из нескольких слоев, пронумерованных слева на право. Внешние входные сигналы подаются на входы нейронов входного слоя (его часто нумеруют как нулевой), а выходами сети являются выходные сигналы последнего слоя. Кроме входного и выходного слоев в многослойной нейронной сети есть один или несколько так называемых скрытых слоев.

В свою очередь, среди многослойных сетей выделяют:

1) сети прямого распространения (feed forward net works) - сети без обратных связей. В таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя. Если не оговорено противное, то каждый выходной сигнал n-го слоя передастся на вход всех нейронов слоя n + 1; однако возможен вариант соединения n-го слоя с произвольным слоем n + р.

2) сети с обратными связями (recurrent networks). В сетях с обратными связями информация передается с последующих слоев на предыдущие. Однако после введения обратных связей сеть уже не просто осуществляет отображение множества входных векторов на множество выходных, она превращается в динамическую систему и возникает вопрос об ее устойчивости.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированных микросхем, на которых обычно реализуется нейросеть. Чем сложнее сеть, тем более сложные задачи она может решать. ИНС могут широко использоваться в различных областях, вопрос в том, как подобрать такие весовые коэффициенты, чтобы сеть, например, решала задачу распознавания или аппроксимировала некоторую функцию. Замечательное свойство нейронных сетей состоит в том, что их этому можно научить. Способность к обучению является фундаментальным свойством мозга. В контексте ИНС процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения специальной задачи.

⇐ Предыдущая45678910111213Следующая ⇒

Поделиться: