На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

строится кубическая интерполяция, и ее минимум выбирается в качестве новой
оптимальной точки. Этот процесс продолжается до тех пор, пока не будет достигнуто
существенное уменьшение функционала ошибки.
1.2.4.8. Метод Левенберга-Марквардта
Метод Левенберга-Марквардта (LM) (Levenberg-Marquardt) [53] реализует
специальный способ аппроксимации матрицы Гессе для случая, когда функционал
ошибки определяется как сумма квадратов ошибок, что как раз и имеет
место при обучении нейросетей обратного распространения. В рамках данного
метода матрица Гессе H аппроксимируется как
T
H ≅ J J , (31)
а вектор градиента g может быть рассчитан по формуле
T
g = J e , (32)
где: J – матрица Якоби производных функционалов ошибки отдельно для каждого
выходного нейрона (т.е. для каждого свойства) и для каждого объекта (т.е.
химического соединения) в обучающей выборке по настраиваемым параметрам
(т.е. весам нейросети); e – вектор ошибок нейросети. Матрицу Якоби можно записать
в следующем виде:
⎛ ∂e
⎜
⎜ ∂wi
(1)
⎜ M
⎜ ∂eK
⎜
⎜
∂wi
(1)
J = ⎜ M
⎜ ∂e1
⎜ ∂wi
(1)
⎜
⎜ M
⎜ ∂e
⎜
⎝ ∂wi
(1)
11
j(1)
1
j(1)
P
j(1)
KP
j(1)
L
L
L
L
L
L
L
∂e
∂wi
( M )
M
∂eK
∂wi
( M )
M
∂e1
∂wi
( M )
M
∂e
∂w
11
j(
M )
1
j(
M )
P
j(
M )
KP
i(
M ) j(
M )
⎞
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎟
⎠
где: функция i(m) показывает номер нейрона, из которого исходит связь m; j(m)
-номер нейрона, в который входит связь m; M – число связей (т.е. число настраиваемых
параметров) в нейросети; e kp – ошибка прогноза для k-го выходного
нейрона и p-го объекта из обучающей выборки; K – число выходных нейронов
(равное числу одновременно прогнозируемых свойств); P – число объектов
32
(33)