формат Adobe PDF, размер 2173 Кб - Информационно ...

С. А. ТЕРЕХОВданных D, строки которой соответствуют реализациям случайных переменных{ ⃗ X; Y }. Эти данные содержат информацию об условной плотностивероятности p (y | ⃗x). Нашей целью будет построение функциональноймодели этой плотности.Для простоты ограничимся случаем скалярной зависимой переменной17 . Если последняя принимает непрерывный ряд значений на некоторомотрезке, то задача аппроксимации плотности соответствует задаче (нелинейной)регрессии. При этом независимые переменные могут быть какнепрерывными, так и дискретными (упорядоченными или неупорядоченными).При построении модели условной плотности мы будем опираться набайесов подход вывода заключений из данных (reasoning). А именно, имеющуюсяинформацию о значениях входных переменных обученная машинапереводит в апостериорную информацию о характере распределения выходной(зависимой) переменной.Процесс вывода суждения может носить итерационный характер: машинапоследовательно использует информацию, содержащуюся во входахдля построения сужающихся приближений к апостериорной плотности 18 .Вопрос заключается в эффективном способе синтеза (обучения) такойвероятностной машины на основе лишь имеющихся эмпирических данных.Метод построения связей и выбора правил в узлах дереваОстановимся на простой информационной трактовке обучения искомойвероятностной машины. Для этого на множестве значений зависимой переменнойвведем дискретизацию y min < y 1 < . . . < y k < . . . y max такимобразом, что в каждый отрезок попадает одинаковое число наблюденийn k = p k · N 0 из матрицы наблюдений D. Тогда априорная заселенность 19всех интервалов одинакова, что соответствует максимальной энтропии:∑S 0 = −N 0 p k log p k .k17 Это равносильно обычному предположению о взаимной независимости зависимыхпеременных при условии, что значения независимых переменных заданы.18 В качестве априорного распределения y используется частотная гистограмма значенийпо совокупности данных D. Путем предобработки данных это распределение приводитсяк константе (т. н. неинформативный prior).19 Экспериментальные частоты в отсутствие другой информации являются наиболее вероятнойоценкой априорной плотности вероятности.УДК 004.032.26 (06) Нейронные сети 173