На Ð¿Ñ€Ð°Ð²Ð°Ñ Ñ€ÑƒÐºÐ¾Ð¿Ð¸ÑÐ¸

таться внешней по отношению к этой модели, а ошибка прогнозирования на
ней – для объективной оценки прогнозирующей способности этой модели.
Иными словами, если критерий минимума средней ошибки на контрольной выборке
используется для выбора статистической модели, то само это значение
является искаженным в оптимистическую сторону оценкой прогнозирующей
способности отобранной модели. Ниже изложено предложенное нами в 1995 г.
эффективное решение этой проблемы [341].
4.1.3. Трехвыборочный подход
Для решения вышеизложенной проблемы, связанной с некорректностью
использования одной и той же контрольной выборки для отбора модели и
оценки ее прогнозирующей способности, предлагается использовать трехвыборочный
подход, согласно которому производится деление всего набора данных
на 3 выборки: обучающую (training set), внутреннюю контрольную (validation
set) и внешнюю контрольную (prediction set). По обучающей выборке производится
построение последовательности моделей с возрастающей сложностью
(емкостью класса моделей). В случае линейно-регрессионных моделей, формируемых
путем наращивания числа отбираемых дескрипторов, в качестве такого
критерия сложности может выступать число отобранных дескрипторов, а при
обучении нейросети – номер шага (эпохи) обучения. Для определения оптимальной
сложности модели (и тем самым отбора модели с оптимальной сложностью)
используется критерий минимума среднеквадратичной ошибки прогнозирования,
вычисляемой для внутренней контрольной выборки. Поскольку
информация из внешней контрольной выборки никаким образом не участвует
ни в построении, ни в отборе моделей, то среднеквадратичная ошибка прогнозирования
на ней может быть использована для оценки прогнозирующей способности
отобранной модели. Разбивку набора данных на три выборки можно
осуществлять либо случайным образом, либо систематично в рамках процедуры
скользящего контроля.
115