формат Adobe PDF, размер 2173 Кб - Информационно ...

С. А. ТЕРЕХОВ1. Эмпирическая оценка плотности условного распределения дискретизованнойзависимой переменной (при условии отнесения примера кданному узлу).2. Оценка выборочной энтропии распределения в этом узле.3. Решающее правило, позволяющее выбрать дочернюю ветвь с дальнейшимуменьшением энтропии условного распределения.Свойства вероятностного дереваОбученная по предлагаемой методике машина предлагает в ответ на информациюо векторе независимых переменных целую серию последовательноуточняющихся приближений к оценке апостериорной плотности условногораспределения зависимой переменной.Обобщающая способность. В таком максимальном варианте дерево является,очевидно, переобученным, так как в нем полностью запомнен весьшум, содержавшийся в данных. На практике, иерархия предсказаний плотностиможет быть остановлена на более ранних уровнях (например, в узледолжно содержаться не менее определенного числа примеров обучающейвыборки, либо энтропия распределения должна быть выше порогового значения).Для оценок можно воспользоваться методикой кросс-валидации на основебутстрэп-выборок [25]. Эти простые эмпирические способы регуляризациимогут быть заменены более последовательными методами минимизациидлины описания модели и данных [2].Сходимость метода. Нетрудно убедиться, что для любого конечного набораданных размера N, после отщепления одного примера суммарная энтропияполученных двух множеств (отщепленный пример и совокупностьостальных примеров) строго меньше энтропии исходного набора. Действительно,энтропия отдельного примера равна 0, а энтропия оставшихся примеровлимитируется множителем (N − 1)/N.Тем самым, метод всегда сходится, по крайней мере за (N − 1) шагов.Практическая скорость убывания энтропии в типичных вычислительныхэкспериментах приведена на рис. 4.При этом вклад различных входных переменных в снижение энтропиивесьма неоднороден.УДК 004.032.26 (06) Нейронные сети 175