На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

1.2.4. Нейросети обратного распространения (backpropagation)
1.2.4.1. Общая характеристика
К середине 80-ых годов стало ясно, что одна из причин неудач кроется в
конкретном виде пороговой функции активации (2). Оказалось, что замена пороговой
функции (2) на непрерывную, ограниченную и монотонновозрастающую,
например, сигмоидную функцию (3), способна привести к построению
многослойных персептронов, все веса связей которых способны эффективно
обучаться при помощи алгоритма обратного распространения ошибок
(error backpropagation) [41, 42]. Именно благодаря открытию (точнее, переоткрытию)
этого алгоритма, с конца 80-ых годов начался этап активного развития
и использования аппарата искусственных нейронных сетей в разных областях
науки и техники (см. книги и учебные пособия [10-24]), а с начала 90-ых – в
различных областях химии (см. [30-34]) и, в частности, в области исследования
зависимости структура-свойство для органических соединений [35-39].
f ( x)
= 1
(3)
1 −x
+ e
Кроме чисто математических причин, переход к подобным непрерывным
дифференцируемым функциям имеет и определенное нейрофизиологическое
обоснование. С точки зрения способа передачи информации, сигнал реальных
биологических нейронов модулирован не по амплитуде, а по частоте, и, к тому
же, является стохастическим, что вполне согласуется с уравнениями (1) и (3)
при условии, что уровень сигнала (активации) o i показывает, с какой вероятностью
нейрон i переходит в возбужденное состояние.
Алгоритм обратного распространения ошибки (см. ниже) сыграл настолько
важную роль в истории становления многослойных персептронов, что сами
нейросети этого типа часто стали называть нейросетями с обратным распространением
(backpropagation neural networks).
К основным достоинствам таких нейросетей можно отнести их способность
находить нелинейные и многопараметрические линейные зависимости,
характеризующиеся высокой точностью интерполяции, даже в тех случаях, ко-
19