На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

адаптивно настраиваемого темпа обучения на t-ой итерации для связи, соединяющей
нейрон i c нейроном j.
Если знак производной по данному весу изменил направление, то это означает,
что величина шага по данной координате слишком велика, и поэтому
алгоритм уменьшает ее в η - раз. В противном же случае шаг увеличивается в η +
раз для ускорения обучения вдали от минимума.
1.2.4.6. Методы сопряженных градиентов
Методы сопряженных градиентов [48, 49], так же как и в случае расширенного
дельта-правила, осуществляют на каждом шаге обучения движение в
направлении, получаемом путем комбинирования направления антиградиента и
направления движения на предыдущем шаге. Принципиальное же отличие методов
сопряженных градиентов от последнего заключается в том, что размер
шага в выбранном направлении не является фиксированным, а определяется на
каждой итерации при помощи процедуры одномерного поиска минимума вдоль
выбранного направления.
Все алгоритмы методов сопряженных градиентов на первой итерации начинают
поиск в направлении антиградиента:
⎛ ∂E(
w)
⎞
⎜ ⎟
⎜ ∂w
j(1)
i(1)
⎟
(1) (1)
p = −g
= −∇E(
w)
= −⎜
M ⎟
(23)
⎜ ∂E(
w)
⎟
⎜
∂w
⎟
j(
M ) i(
M )
⎝ ⎠
где: p (t) – вектор направления, вдоль которой ведется поиск на t-ой итерации; g (t)
– вектор градиента функционала ошибки нейросети в пространстве весов связей
на t-ой итерации; j(m) – номер нейрона, из которого выходит связь m; i(m) –
номер нейрона, в который входит связь m; M – число связей в нейросети.
После выбора направления определяется оптимальный шаг поиска α (t) , на
величину которого меняются все веса связей по формуле:
w
( t + 1)
( t)
( t)
( t)
j(
m)
i(
m)
= w
j(
m)
i(
m)
+ α p , (24)
m
29