формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕКлассическая схема максимального правдоподобия весьма проста, ноее основным недостатком в многомерном случае являются нулевые оценкивероятностей сочетаний значений переменных, не встретившихся в выборке.Между тем, из-за комбинаторного роста числа таких сочетаний вматрицах условных вероятностей будет все больше нулевых значений, аостальные значения будут сильно зашумлены из-за малого числа отсчетов.В байесовом подходе нулевые значения заменятся априорными вероятностями,которые позволят улучшить оценки прогнозируемых значений, нозато будут нивелированы экспериментальные свидетельства.Таким образом, оба подхода имеют свои недостатки и преимущества,что и дает пищу нескончаемым дискуссиям сторонников классических ибайесовых вероятностей. Практика требует примирения, но в настоящеевремя равновесие, по-видимому, смещено в сторону классического подхода16 .Сложная задача автоматического синтеза топологии связей сети такжеобычно рассматривается на основе и классического, и байесового подходов.После внесения пробного изменения в топологию сети, два структурныхварианта сравниваются путем оценки значения знаменателя формулы Байеса(evidence) или правдоподобия всей совокупности обучающих примеров.Далее архитектуры с лучшими значениями ценности отбираются в соответствиис принятой схемой рандомизированного или детерминированногопоиска.Обсудим здесь упрощенный вариант задачи синтеза топологии вероятностнойсети для случая бинарного дерева, аппроксимирующего распределениеусловной вероятности для нескольких независимых и однойзависимой переменной. Обучение таких регрессионных деревьев можетиспользоваться для сравнительного анализа значимости независимых переменныхпри их отборе для байесовой сетевой модели.Вероятностные деревьяВ этом разделе предлагается (относительно новый) подход последовательногоупрощения задачи аппроксимации условной вероятности, основанныйна вероятностных деревьях [10, 12]. Рассмотрим матрицу эмпирических16 Это — априорная оценка автора, который относит себя, скорее, к сторонникам байесовогоподхода. Классический подход популярен среди физиков [1], байесовы вероятности —среди специалистов по обучению машин и анализу данных (www.auai.org).172 УДК 004.032.26 (06) Нейронные сети