На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

1.2.4.7. Квазиньютоновские методы обучения
Эта группа методов базируется на Ньютоновском методе аппроксимации
функций, но не требует вычисления вторых производных.
X
t+ 1
X
t
−
−1
t
= H g , (28)
t
где: Х – матрица весовых коэффициентов; g – вектор градиента; t – счетчик
итераций; H - матрица вторых частных производных (матрица Гессе).
⎛ ∂
⎜
⎜
H = ⎜
⎜
∂
⎜
⎜
⎝
2
2
E(
w
E(
w
∂w
i(1)
j(1)
2
∂wi
(1) j(1)
M
, K,
w
i(1)
j(1)
i(
M ) j(
M )
, K,
w
∂w
i(
M ) j(
M )
i(
M ) j(
M )
i(1)
j(1)
)
)
L
O
L
∂
∂
2
2
E(
w
∂w
E(
w
i(1)
j(1)
i(1)
j(1)
, K,
w
∂wi
( M )
M
, K,
w
i(
M ) j(
M )
j(
M )
i(1)
j(1)
i(
M ) j(
M )
2
∂wi
( M ) j(
M )
) ⎞
⎟
⎟
⎟ , (29)
)
⎟
⎟
⎟
⎠
где: функция i(m) показывает номер нейрона, из которого исходит связь m; j(m)
показывает номер нейрона, в который входит связь m; M – число связей (т.е.
число настраиваемых параметров) в нейросети.
Идея квазиньютоновских методов базируется на возможности аппроксимации
кривизны нелинейной оптимизируемой функции без явного формирования
ее матрицы Гессе. Сама матрица при этом не хранится, а ее действие аппроксимируется
скалярными произведениями специально подобранных векторов.
Наиболее удачным методом из этой группы является метод Бройдена-
Флетчера-Гольдфарба-Шанно (BFGS) [52], согласно которому:
s
( g
− g )
g
T
t+
1 t t+
1
t+ 1
= −gt+
1
+
s
T t
, (30)
( gt+
1
− gt
) st
где: s t – направление, вдоль которого проводится одномерная оптимизация на t-
ой итерации; g t+1 – вектор градиента на t+1-ой итерации.
Для квазиньютоновских методов наилучшим алгоритмом поиска вдоль
выбранного направления является, по-видимому, метод перебора с возвратами
[49, 52]. На первой итерации этот алгоритм использует значения функционала
ошибки и его производных, чтобы построить его квадратичную аппроксимацию
вдоль направления поиска. Минимум этой аппроксимирующей функции
выбирается в качестве приближения к оптимальной точке, в которой оценивается
функционал ошибки. Если значение функционала недостаточно мало, то
31