На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

являются слишком упрощенные модели, получаемые на небольших выборках
(т.н. «недоподгонка данных», т.е. underfitting).
Второй способ предотвращения «переучивания», в соответствии с общими
положениями теории статистического обучения и основанного на ней принципа
минимизации структурного риска, состоит во введении регуляризационного
члена в минимизируемую в процессе обучения нейросети функцию риска.
Частным случаем такого введения регуляризаторов в нейросеть является обучение
«с забыванием», имеющее очевидные нейрофизиологические аналогии. В
рамках нейросетевого программного комплекса NASAWIN нами был реализован
и этот метод предотвращения переучивания за счет введения четырех разных
регуляризаторов. Тем не менее, этот способ обладает существенным недостатком
– для нахождения оптимального значения относительного веса регуляризатора
в функции риска требуется многократно проводить полное обучение
нейросети для разных его значений, что делает метод малопривлекательным
с вычислительной точки зрения.
Наконец, самым эффективным методом предотвращения «переучивания»
является остановка обучения при достижении наименьшей среднеквадратичной
ошибки прогнозирования на контрольной выборке. Показано, что подобная остановка
обучения является одной из форм регуляризации [340]. Получаемые
при этом модели сравнимы по прогнозирующей способности с моделями, при
построении которых явным образом используются регуляризаторы, но при этом
тратится вычислительных ресурсов значительно меньше, так как для построения
модели требуется всего лишь однократное (и к тому же неполное) обучение
нейросети. Именно эта схема предотвращения «переучивания» и является основной
в программном комплексе NASAWIN, разработанном в рамках данной
диссертационной работы.
Тем не менее, в ходе практического применения вышеупомянутого метода
остановки обучения обнаружилась проблема, суть которой состоит в том,
что поскольку контрольная выборка используется для остановки обучения, т.е.
для отбора модели, содержащаяся в ней информация в неявном виде частично
попадает в отобранную модель, и поэтому такая выборка уже не может счи-
114