формат Adobe PDF, размер 2173 Кб - Информационно ...

С. А. ТЕРЕХОВПроизведение двух биномиальных распределений вновь дает биномиальныйзакон, и это проясняет суть использования β-распределения в качествеаприорного 15 .p(x N+1 = H | D, ξ) =α h + hα h + α + t + h + t .Идея состоит в формализации опыта с бросанием монет путем добавления«искусственных» (полученных в гипотетических предыдущих экспериментах)отсчетов α h «орлов» и α t «решек» в экспериментальную серию. Чембольше мы добавим в экспериментальную выборку этих априорных наблюдений,тем меньше наша оценка вероятности N + 1 испытания будетчувствовать возможные аномальные «выбросы» во множестве D. Поэтомубайесово обучение иногда называют обучением с априорной регуляризацией.Задача с одним параметром напрямую обобщается на обучение многопараметрическойбайесовой сети. Вместо бросания монеты генерируетсяслучайный вектор, составленный из всех параметров сети, при этом исходызначений разыгрываются в соответствии с распределением Дирихле (обобщающембиномиальное распределение на случай более чем двух исходов).Теперь исходом испытания будет реализация значений вектора переменныхв байесовой сети.Если D = {D 1 , . . . , D k , . . . , D S } — множество обучающих примеров(каждый элемент D k является вектором значений всех переменных сетив k-м примере), не содержащее пропущенных значений, то классическийвариант обучения состоит в максимизации правдоподобия данных,как функции матричных элементов:L = 1N · SN∑j=1 k=1S∑log [ P (x j | pa(x j ), D k ) ] .Легко видеть, что обучение в этом подходе состоит в подсчете статистикиреализаций векторов ситуаций для каждого матричного элемента в таблицахусловных вероятностей. Максимально правдоподобными (наименеепротиворечащими экспериментальным данным) будут значения вероятностей,равные нормированным экспериментальным частотам.15 Априорные распределения, которые в итоге приводят к апостериорным распределениямиз того же класса, называют сопряженными (conjugate priors).УДК 004.032.26 (06) Нейронные сети 171