На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

Таким образом, значения невязок нейронов каждого скрытого слоя рассчитываются
исходя из значений невязок нейронов последующего слоя, что
можно условно описать процессом распространения ошибки в направлении,
обратном распространению сигнала. Для сигмовидной передаточной функции
(3) производная вычисляется по следующей формуле:
−a
d 1 e
f '(
a)
= ( ) = = o(1
− o)
(12)
− a
−a
2
da 1+
e (1 + e )
Производные суммарного функционала ошибки для всей обучающей выборки
могут быть получены суммированием производных индивидуальных
функционалов ошибки:
∂E(
w)
=
[ n]
∂w
ji
P
∑
p
∂E
( w)
. (13)
[ n]
w
p= 1 ∂
ji
Формулы (9-13) составляют суть метода обратного распространения, который
можно рассматривать как очень эффективный алгоритм расчета градиента
функционала ошибки нейросети в пространстве весов связей (поскольку
суммарное время вычисления всех производных, число которых может быть
очень велико, не превышает времени расчета самого функционала).
1.2.4.4. Градиентные методы обучения
Исторически первым методом обучения сетей обратного распространения
явился метод Уидроу-Хоффа, называемый чаще дельта-правилом [43], который
традиционно записывается в виде:
Δw
ji
(
= w − w = ηδ o , (14)
t+ 1) ( t)
ji ji
i
j
ji
(t)
где: w - текущий вес на t-ом шагу обучения связи, идущей от нейрона j к нейрону
i; δ
i
- невязка i-ого нейрона, получаемая по методу обратного распространения
(см. выше); o j – выходное значение j-ого нейрона; η – параметр скорости
обучения. Типичное значение параметра скорости обучения – 0.25, но оно может
меняться в широких приделах, особенно в сторону уменьшения на окончательных
этапах обучения.
23