На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

Все весовые коэффициенты связей перед началом обучения инициализируются
небольшими случайными числами. Правильный выбор границ инициализации,
обеспечивающий удаленные от нуля значения производной передаточной
функции нейронов (в противном случае происходит т.н. «паралич» нейронов),
может сократить время обучения нейросети и улучшить качество получаемых
нейросетевых моделей [44, 45]. На каждой итерации обучения производится
корректировка значений весов по формуле (14) после предъявления очередного
примера из обучающей выборки. Такой режим обучения называют последовательной
адаптацией (online mode), в противоположность режиму группового
обучения (batch mode), когда корректировка значений весов происходит
после предъявления всей обучающей выборки. В классическом варианте обучение
проводится до тех пор, пока не будет выполнено одно из возможных условий
остановки обучения (например, когда значение функционала ошибки не
опустится ниже заранее заданного порога, либо когда число итераций не превысит
определенный лимит).
Хотя исторически дельта-правило возникло как обобщение алгоритма обучения
персептрона Розенблатта на непрерывные входы и выходы и первоначально
никак не было связано с представлениями о функционале ошибки нейросети,
тем не менее оно оказалось математически эквивалентным применению
метода скорейшего спуска к минимизации функционала ошибки нейросети в
пространстве весов связей. Действительно, при подстановке формулы (9) в (14)
получаем:
Δw
( t)
ji
= w
p
( t+ 1) ( t)
( )
ji
− w
ji
= −
∂w
ji
∂E
w
η (15)
Формула (15) определяет шаг, который делается в направлении, противоположном
градиенту, и поэтому дельта-правило представляет собой метод минимизации
функционала ошибки в пространстве весов связей при помощи простейшего
варианта градиентного метода скорейшего спуска с фиксированным
значением параметра скорости обучения.
В своем первоначальном виде дельта-правило представляет в настоящее
время главным образом историческую ценность, поскольку именно с его изло-
24