На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

линейные комбинации входных. В этом случае эффективное число дескрипторов
равно числу линейно независимых дескрипторов в базе, и это число не может
превышать числа входных нейронов. По мере обучения нейросети значения
настраиваемых параметров растут по абсолютной величине, и в разложении в
ряд Тейлора-Маклорена функции активации все большую роль начинают играть
члены со второй, третьей и более высокими степенями. В результате этого
нейросеть постепенно переходит к моделированию квадратичных, кубических
и более сложных зависимостей, которые описываются все более возрастающим
числом параметров. Таким образом, по ходу обучения нейросети эффективное
число параметров постоянно возрастает, пока не достигает определенного максимального
числа, которое равно числу настраиваемых параметров нейросети
(т.е. суммарного числа синаптических весов и порогов активации), деленному
на порядок группы автоморфизмов помеченного графа, соответствующего нейросети.
Параллельно с эффективным числом дескрипторов при обучении нейросети
растет и емкость класса моделируемых функций, которая в теории статистического
обучения выражается размерностью Вапника-Червоненкиса. Упрощенно
можно сказать, что в тот момент времени, когда емкость этого класса
начнет превышать объем используемых для обучения данных, и наступает «переучивание».
4.1.2. Методы предотвращения «переучивания» нейросетей
В литературе описано несколько методов предотвращения «переучивания»
[338]. Наиболее простым из них является уменьшение общего числа настраиваемых
параметров нейросети за счет уменьшения числа входных и скрытых
нейронов. В исследованиях, проведенных в рамках настоящей диссертационной
работы, уменьшение числа входных нейронов осуществлялось за счет
предварительного отбора дескрипторов при помощи линейно-регрессионного
метода БПМЛР (см. подраздел 4.1.5), а числа скрытых нейронов – за счет варьирования
их числа и определения из них оптимального. Тем не менее, этот метод
предотвращения «переучивания» не является панацеей – его недостатком
113