На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

по ходу обучения в обеих фазах. В то же время, для соединений, отсутствующих
в обучающей выборке, среднеквадратичная ошибка прогнозирования сначала
уменьшается по ходу обучения в фазе «обобщения», но потом начинает
расти в последующей фазе «запоминания». В результате этого «переобученная»
нейросеть хорошо воспроизводит свойства соединений из обучающей выборки,
но плохо прогнозирует свойства любых других соединений, например, содержащихся
в контрольных выборках. Эффект «переучивания» схематически показан
на Рис. 25.
Рис. 25. Эффект "переучивания" нейросети. Нижняя кривая показывает ход
изменения (при обучении нейросети) ошибки прогнозирования для соединений,
входящих в обучающую выборку, а верхняя – в контрольную выборку.
Восклицательным знаком отмечена точка перехода из фазы «обобщения» в
фазу «запоминания».
Природу эффекта «переучивания» обычно связывают с постепенным увеличением
эффективного числа дескрипторов (а вместе с этим и сложности модели)
по мере обучения нейросети (см. [18, 338]). Настраиваемые параметры
нейросети, каковыми являются значения всех синаптических весов и порогов
активации, перед началом обучения инициализируются обычно случайными
числами, близкими к нулю. В этом случае во всех нейронах функция активации
срабатывает при значениях аргумента, близких к нулю. Поскольку в окрестностях
нуля любая нелинейная непрерывная функция приближается к линейной,
то и нейросеть в самом начале обучения формирует на выходе сигналы, связанные
со входными сигналами зависимостями, близкими к линейным. Таким образом,
на начальном этапе обучения выходные сигналы представляют собой
112