Нейронные сети

План лекции

Определение ИНС.

Трудноалгоритмизуемые задачи. Пример – распознавание образов.

Отличие в работе мозга и обычной вычислительной машины: способность к обучению и обобщению, параллельность обработки информации, надежность.

Строение мозга, биологический нейрон, нервный импульс.

Формальный нейрон.

Виды сетей: полносвязные, многослойные и т.д.

Многослойные сети: задача классификации.

Многослойные сети: задача аппроксимации.

Виды алгоритмов обучения.

Алгоритм обратного распространения.

Введение

Начнем с определения: Искусственные нейронные сети (ИНС) – вид математических моделей, которые строятся по принципу организации и функционирования их биологических аналогов – сетей нервных клеток (нейронов) мозга. В основе их построения лежит идея о том, что нейроны можно моделировать довольно простыми автоматами (называемыми искусственными нейронами), а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами.

Рис. 1. Задача выделения и распознавания объектов на картинке (дерево, кошка) – пример трудноалгоритмизуемой задачи.

История ИНС начинается с 1943 года, когда У. Маккалок и У. Питтс предложили первую модель нейрона и сформулировали основные положения теории функционирования человеческого мозга. С тех пор теория прошла довольно большой путь, а что касается практики, то годовой объем продаж на рынке ИНС в 1997 году составлял 2 млрд. долларов с ежегодным приростом в 50%.

Спрашивается, зачем нужны нейронные сети. Дело в том, что существует множество задач, которые трехлетний ребенок решает лучше, чем самые мощные вычислительные машины. Рассмотрим, например задачу распознавания образов. Пусть у нас есть некоторая картинка (дерево и кошка). Требуется понять, что на ней изображено и где. Если вы попробуете написать программу решающую данную задачу, вам придется, последовательно перебирая отдельные пиксели этой картинки, в соответствии с некоторым критерием решить, какие из них принадлежат дереву, какие кошке, а какие ни тому, ни другому. Сформулировать же такой критерий, что такое дерево, – очень нетривиальная задача.

Тем ни менее мы легко распознаем деревья, и в жизни и на картинках, независимо от точки зрения и освещенности. При этом мы не формулируем никаких сложных критериев. В свое время родители показали нам, что это такое, и мы поняли. На этом примере можно сформулировать несколько принципиальных отличий в обработке информации в мозге и в обычной вычислительной машине:

Способность к обучению на примерах

Способность к обобщению. То есть мы, не просто запомнили все примеры виденных деревьев, мы создали в мозгу некоторый идеальный образ абстрактного дерева. Сравнивая с ним любой объект, мы сможем сказать, похож он на дерево или нет.

Еще одно видное на этой задаче отличие это параллельность обработки информации. Мы не считываем картинку по пикселям, мы видим ее целиком и наш мозг целиком ее и обрабатывает.

Еще, что хотелось бы добавить к этому списку отличий это поразительная надежность нашего мозга. К старости некоторые структуры мозга теряют до 40% нервных клеток. При этом многие остаются в здравом уме и твердой памяти.

Наконец еще, что хотелось отметить – это ассоциативность нашей памяти. Это способность находить нужную информацию по ее малой части.

Хотелось бы понять, какие именно особенности организации позволяют мозгу работать столь эффективно. Рассмотрим вкратце, как он устроен. Все, наверное, знают, что мозг состоит из нервных клеток (нейронов). Всего их ~1012 штук.

Рис. 2. Биологический нейрон.

Изобразим схематично отдельный нейрон. Он имеет один длинный, ветвящийся на конце отросток – аксон и множество мелких ветвящихся отростков – дендритов. Известно, что в ответ на возбуждение нейрон может генерировать нервный импульс, распространяющийся вдоль аксона. О его природе вам должны были рассказывать в курсе биофизики. То есть это волна деполяризации мембраны нейрона. Она является автоволной, то есть ее форма и скорость распространения не зависят от того, как и из-за чего она возникла. Доходя до конца аксона, она вызывает выделение веществ, называемых нейромедиаторами. Воздействуя на дендриты других нейронов, они могут в свою очередь вызвать появление в них нервных импульсов.

Давайте запишем, что нейрон является типичным элементом, действующим по принципу «все или ничего». Когда суммарный сигнал, приходящий от других нейронов, превышает некоторое пороговое значение, генерируется стандартный импульс. В противном случае нейрон остается в состоянии покоя.

Биологический нейрон – сложная система, математическая модель которой до конца не построена. Как я уже говорил в самом начале в основе теории ИНС лежит предположение о том, что вся эта сложность несущественна, а свойства мозга объясняются характером их соединения. Поэтому вместо точных математических моделей нейронов используется простая модель так называемого формального нейрона.

Рис. 3. Искусственный нейрон.

Он имеет входы, куда подаются некоторые числа . Затем стоит блок, называемый адаптивным сумматором. На его выходе мы имеем взвешенную сумму входов:

. (1)

Затем она подается на нелинейный преобразователь и на выходе мы имеем:

. (2)

Функция F нелинейного преобразователя называется активационной функц

Внимание, отключите Adblock

Вы посетили наш сайт со включенным блокировщиком рекламы!
Ссылка для скачивания станет доступной сразу после отключения Adblock!

Скачать