На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

∂E
∂w
∂a
p
p
p[
n]
p
p
( w)
∂E
( w)
i ∂E
( w)
p[
n]
∂E
( w)
p[
n−1]
p[
n]
p[
n−1]
= ⋅ = x =
≡ −
[ ]
[ ] [ n]
p[
n]
j
o
n
p n
p[
n]
j
i
o
j
ji
∂ai
∂w
ji
∂ai
∂ai
22
δ (9)
p[n]
где: величина − , называемая иногда невязкой нейрона, обозначает частную
δ i
производную функционала ошибки для p-ого объекта из обучающей выборки
по отношению к сетевому входу нейрона i, находящегося в слое n (знак минуса
p[ −1]
взят для совместимости с принятыми в литературе обозначениями); o n - выходной
сигнал находящегося в слое n-1 нейрона j для p-ого объекта из обучающей
выборки. Таким образом, частная производная функционала ошибки нейросети
по отношению к весу связи равна произведению выхода находящегося в
предыдущем слое нейрона, из которого выходит данная связь, на невязку нейрона
следующего слоя, в который входит данная связь.
Из вышеизложенного следует, что для вычисления градиента ошибки необходимо
рассчитать значения выходов и невязок всех нейронов. Поскольку
нейросеть обратного распространения (многослойный персептрон) устроен таким
образом, что каждый нейрон (кроме входных псевдонейронов и псевдонейронов
смещения) получает сигнал из нейронов предыдущего слоя, то вычисление
выходов нейронов производится по формулам (1) и (3) последовательно
при движении от входного к выходному слою. Подобную последовательность
вычислений называют прямым распространением сигнала. В противоположность
этому, расчет невязок нейронов производится в обратном направлении
при движении от выходного слоя к входному (обратное распространение
ошибки).
Действительно, для нейронов выходного слоя, дифференцируя выражение
(7), имеем:
p
K
p[
N ]
p[ N ] ∂E
( w)
∂ 1 p p[
N ] 2 ∂oi
p p[
N ]
p[
N ] p p[
N ]
δ
i
= − = − ( ) ( ) '( )( )
p[
N ]
p[
N ] ∑ d
k
− ok
= d
p[
N ] i
− oi
≡ f ai
di
− oi
,(10)
∂a
∂a
2
∂a
i
i
k=
1
Для остальных нейронов, применяя цепное правило дифференцирования
к формуле (1) и опуская некоторые тривиальные промежуточные преобразования,
получаем:
∂
∂a
∂x
p[
n]
δ = −
(11)
i
p
p
p[
n+
1] p[
n+
1]
E ( w)
∂E
( w)
j
j
p[
n]
[ n+
1] [ n+
1]
= −∑
⋅ ⋅ = f '( a
p n
p n+ p n+
p n
i
) ∑wij
δ
[ ]
[ 1] [ 1] [ ]
j
∂ai
j ∂a
j
∂x
j
∂ai
j
i
j