ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ... ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕона может быть решена точно с использованием соотношений для условныхвероятностей. Понятие условной вероятности P (A | B) = x составляетоснову байесова подхода к анализу неопределенностей. Приведеннаяформула означает «при условии, что произошло B (и всего остального, чтоне имеет отношения к A), вероятность возникновения A равна x». Совместнаявероятность наступления событий A и B дается формулой полнойвероятности:P (A, B) = P (A | B) · P (B) .Если в нашем распоряжении имеется информация о зависимых переменных(следствиях), а суть исследования состоит в определении сравнительныхвероятностей исходных переменных (причин), то на помощь приходиттеорема Байеса.Пусть имеется условная вероятность P (A | B) наступления некоторогособытия A при условии, что наступило событие B. Теорема Байеса даетрешение для обратной задачи — какова вероятность наступления болеераннего события B, если известно что более позднее событие A наступило.Более точно, пусть A 1 , . . . , A n — набор (полная группа) несовместных взаимоисключающихсобытий (или альтернативных гипотез). Тогда апостериорнаявероятность P (A j | B) каждого их событий A j при условии, чтопроизошло событие B, выражается через априорную вероятность P (A j ):P (A j | B) =P (A j ) · P (B | A j )P (B) = ∑ nj=1 P (A j) · P (B | A j ) .Обратная вероятность P (B | A j ) называется правдоподобием (likelihood),а знаменатель P(B) в формуле Байеса — свидетельством (evidence) 5 .Совместная вероятность является наиболее полным статистическим описаниемнаблюдаемых данных. Совместное распределение представляетсяфункцией многих переменных — по числу исследуемых переменных в задаче.В общем случае это описание требует задания вероятностей всех5 Термин “evidence” не получил общеупотребительного аналога в отечественной литературе,и его чаще называют просто «знаменателем в формуле Байеса». Важность evidenceпроявляется при сравнительном теоретическом анализе различных моделей, статистическиобъясняющих наблюдаемые данные. Более предпочтительными являются модели,имеющие наибольшее значение evidence. К сожалению, на практике вычисление evidenceчасто затруднено, так как требует суммирования по всем реализациям параметров моделей.Популярным способом приближенного оценивания evidence являются специализированныеметоды Монте-Карло.158 УДК 004.032.26 (06) Нейронные сети
С. А. ТЕРЕХОВдопустимых конфигураций значений всех переменных, что мало применимодаже в случае нескольких десятков булевых переменных. В байесовыхсетях, в условиях, когда имеется дополнительная информация о степенизависимости или независимости признаков, эта функция факторизуется нафункции меньшего числа переменных:P (A 1 , . . . , A n ) = ∏ jP [ A j | pa(A j ) ] .Здесь pa(A j ) — состояния всех переменных-предков для переменной A j .Это выражение носит название цепного правила для полной вероятности.Важно, что обусловливание происходит всей совокупностью переменных-предковA j — в противном случае будет потеряна информация об эффектахсовместного влияния этих переменных.Таким образом, байесова сеть состоит из следующих понятий и компонент:• множество случайных переменных и направленных связей междупеременными;• каждая переменная может принимать одно из конечного множествавзаимоисключающих значений;• переменные вместе со связями образуют ориентированный граф безциклов;• каждой переменной-потомку A с переменными-предками B 1 , . . . , B nприписывается таблица условных вероятностей P (A | B 1 , . . . , B n ).Если переменная A не содержит предков на графе, то вместо условных вероятностей(автоматически) используются безусловные вероятности P (A).Требование отсутствия (ориентированных) петель является существенным —для графов с петлями в цепочках условных вероятностей в общем случаенет корректной схемы проведения вычислений — вследствие бесконечнойрекурсии.На практике нам необходимы распределения интересующих нас переменных,взятые по отдельности. Они могут быть получены из соотношениядля полной вероятности при помощи маргинализации — суммирования пореализациям всех переменных, кроме выбранных.Приведем пример точных вычислений в простой байесовой сети, моделирующейзадачу Шерлока Холмса. Напомним обозначения и смысл переменныхв сети (рис. 1): R — был ли дождь, S — включена ли поливальнаяУДК 004.032.26 (06) Нейронные сети 159
- Page 108 and 109: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 110 and 111: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 112 and 113: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 114 and 115: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 116 and 117: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 118 and 119: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 120 and 121: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 122 and 123: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 124 and 125: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 126 and 127: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 128 and 129: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 130 and 131: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 132 and 133: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 134 and 135: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 136 and 137: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 138 and 139: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 140 and 141: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 142 and 143: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 144 and 145: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 146 and 147: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 148 and 149: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 150 and 151: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 152 and 153: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 154 and 155: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 156 and 157: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 160 and 161: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 162 and 163: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 164 and 165: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 166 and 167: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 168 and 169: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 170 and 171: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 172 and 173: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 174 and 175: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 176 and 177: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 178 and 179: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 180 and 181: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 182 and 183: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 184 and 185: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 186 and 187: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 188: НАУЧНАЯ СЕССИЯ МИФ
С. А. ТЕРЕХОВдопустимых конфигураций значений всех переменных, что мало применимодаже в случае нескольких десятков булевых переменных. В байесовыхсетях, в условиях, когда имеется дополнительная информация о степенизависимости или независимости признаков, эта функция факторизуется нафункции меньшего числа переменных:P (A 1 , . . . , A n ) = ∏ jP [ A j | pa(A j ) ] .Здесь pa(A j ) — состояния всех переменных-предков для переменной A j .Это выражение носит название цепного правила для полной вероятности.Важно, что обусловливание происходит всей совокупностью переменных-предковA j — в противном случае будет потеряна информация об эффектахсовместного влияния этих переменных.Таким образом, байесова сеть состоит из следующих понятий и компонент:• множество случайных переменных и направленных связей междупеременными;• каждая переменная может принимать одно из конечного множествавзаимоисключающих значений;• переменные вместе со связями образуют ориентированный граф безциклов;• каждой переменной-потомку A с переменными-предками B 1 , . . . , B nприписывается таблица условных вероятностей P (A | B 1 , . . . , B n ).Если переменная A не содержит предков на графе, то вместо условных вероятностей(автоматически) используются безусловные вероятности P (A).Требование отсутствия (ориентированных) петель является существенным —для графов с петлями в цепочках условных вероятностей в общем случаенет корректной схемы проведения вычислений — вследствие бесконечнойрекурсии.На практике нам необходимы распределения интересующих нас переменных,взятые по отдельности. Они могут быть получены из соотношениядля полной вероятности при помощи маргинализации — суммирования пореализациям всех переменных, кроме выбранных.Приведем пример точных вычислений в простой байесовой сети, моделирующейзадачу Шерлока Холмса. Напомним обозначения и смысл переменныхв сети (рис. 1): R — был ли дождь, S — включена ли поливальнаяУДК 004.032.26 (06) Нейронные сети 159