формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕтакже финальный паттерн. Их разность есть информация, извлеченная изсети в процессе воспроизведения.Для нахождения H(X in |X l ) введем вероятности q µ = P{Xi in = 1|Xi l =µ} того, что нейроны, принадлежащие (µ = 1) и не принадлежащие (µ = 0)восстанавливаемому эталону X l активны в начальном паттерне X in . Посколькуколичество активных нейронов в начальном паттерне совпадает сколичеством активных нейронов в эталоне, то H(X l |X in ) = H(X in |X l ) =Nh in , гдеh in = ph(q 1 ) + (1 − p)h(q 0 ) . (9)Два члена в (9) дают количество информации (в пересчете на один нейрон),требуемой для нахождения нейронов, принадлежащих эталону, средиактивных и неактивных нейронов начального паттерна, соответственно.Поскольку количество активных нейронов в начальном паттерне полагаетсяравным n = pN, тоp = q 1 p + q 0 (1 − p) (10)и, следовательно, начальное пересечение определяется по формулеm(X l , X in ) = m in = q 1 − q 0 = (q 1 − p)/(1 − p) . (11)Для нахождения H(X l |X in , X f ) введем вероятностиp µν = P{X f i= 1|X l i = µ, X ini = ν}того, что данный нейрон, который принадлежит (µ = 1) или не принадлежит(µ = 0) воспроизводимому эталону и активен (ν = 1) или не активен(ν = 0) в начальном паттерне, активен в финальном паттерне. ТогдаP 11 = P{X ini = 1, X f i = 1} = p 11 q 1 p + p 01 q 0 (1 − p)есть вероятность того, что данный нейрон активен в начальном и финальномпаттернах,P 10 = P{X ini = 1, X f i = 0} = (1 − p 11 ) q 1 p + (1 − p 01 )q 0 (1 − p)вероятность того, что он активен в начальном и не активен в финальномпаттерне,P 01 = P{X ini = 0, X f i = 1} = p 10 (1 − q 1 )p + p 00 (1 − q 0 )(1 − p)40 УДК 004.032.26 (06) Нейронные сети