На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

ГЛАВА 4. РАЗРАБОТКА НЕЙРОСЕТЕВЫХ ПОДХОДОВ
Данная глава содержит описание предложенных нами подходов к решению
перечисленных в разделе 1.4 проблем, связанных с применением искусственных
нейронных сетей для решения прикладных задач, в частности, для поиска
количественных корреляций «структура-свойство».
4.1. Подход к решению проблемы «переучивания» нейронных сетей
Одной из основных проблем, с которой мы столкнулись в начале 1990-ых
годов уже в ходе самых первых работ по применению аппарата искусственных
нейронных сетей для прогнозирования свойств органических соединений была
связана с эффектом «переучивания» и необходимостью поиска эффективных
методов его предотвращения.
4.1.1. Суть эффекта «переучивания» нейросетей
Эффект «переучивания» (overtraining) нейросетей был, по-видимому,
впервые описан в математической литературе в 1990 г (см. [338]). Он наблюдается
при обучении многослойных нейронных сетей с обратным распространением
ошибки (т.е. многослойных персептронов) в том случае, когда число примеров
в обучающей выборке невелико по сравнению с числом настраиваемых
параметров нейросети (т.е. синаптических весов и порогов активации нейронов).
В настоящее время его принято считать особым проявлением эффекта
«переподгонки данных» (overfitting), наблюдаемого во многих методах машинного
обучения (о сходстве и различии понятий «переучивания» и «переподгонки»
см. в статье [339]). Суть эффекта «переучивания» заключается в следующем:
процесс обучения нейросети может быть условно разделен на две последовательные
фазы – «обобщения» (generalization) и «запоминания» (memorization).
Для химических соединений, содержащихся в обучающей выборке, среднеквадратичная
ошибка прогнозирования их свойств постоянно уменьшается
111