На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

Рис. 5. Введение момента инерции
позволяет благодаря появившейся
возможности адаптивно
менять эффективную скорость
обучения значительно быстрее
продвигаться к минимуму
Благодаря введению параметра µ, у нейросети появляется также способность
преодолевать мелкие локальные минимумы на гиперповерхности функционала
ошибки в пространстве весов. Чтобы понять причину этого, запишем
разностное уравнение (15) в виде дифференциального:
∂E(
w)
w& ji
= −η
(19)
∂w
ji
Уравнение (19), описывающее обучение нейросети по дельта-правилу, математически
эквивалентно дифференциальному уравнению движения неинерционного
тела в вязкой среде. Введение момента соответствует появлению у
такого тела инерции (т.е. массы µ), и процесс обучения при помощи расширенного
дельта-правила уже описывается дифференциальным уравнением движения
инерционного тела в вязкой среде:
μ w&
ji
∂E(
w)
+ ( 1−
μ)
w&
ji
= −η
∂w
& (20)
ji
Таким образом, гипотетическое тело, уравнение движения которого описывается
уравнением (20), может, разогнавшись, преодолевать по инерции небольшие
локальные минимумы, застревая лишь в относительно глубоких минимумах
функционала ошибки, соответствующих статистически значимым
нейросетевым моделям.
Тем не менее, не смотря на все успехи, достигнутые при помощи расширенного
дельта-правила с включенным параметром момента, данный метод все
равно не лишен недостатков. Прежде всего, в методе присутствуют две «магические»
константы, обоснованный выбор точных значений которых сделать не-
27