формат Adobe PDF, размер 2173 Кб - Информационно ...

А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВ(т. е. q 1 = 1, q 0 = 0) вычисление по (8) дает ожидаемое нулевое количествоинформации, в то время как при использовании H(X l |X f ) вместоH(X l |X in , X f ) нулевое количество получается, только если эталонывоспроизводятся точно (т. е. p 1 = 1, p 0 = 0). В остальных случаях онооказывается парадоксально отрицательным.Извлеченная из памяти информация о всех записанных эталонах I g =Li g и, соответственно, информационная эффективностьгдеиE = I g /N 2 = i in − i f , (17)i in = αh in /h(p) (18)i f = αh f /h(p) . (19)Когда информационная нагрузка мала, эталоны воспроизводятся точно иобласти притяжения имеют большой размер (т. е. h f = 0 и h in ≃ h(p)). Тогдаинформационная эффективность близка к α. Однако при возрастанииинформационной загрузки h in убывает (из-за убывания размера областейпритяжений) и h f возрастает (из-за уменьшения качества воспроизведения).Поэтому возрастание E за счет возрастания α преодолевается убываниемh in − h f и информационная эффективность начинает падать. Всвязи с этим, для каждого значения разреженности существует оптимальнаяинформационная нагрузка, обеспечивающая максимальную информационнуюэффективность. Ее оценка в зависимости от p является основнойцелью настоящей лекции.Аналитические подходыРазмер областей притяжения рассчитывается здесь с использованием двуханалитических подходов: одношагового приближения (SS) и статистическойнейродинамики (SN). Соответствующие нейродинамические уравнениядля нейронных сетей с разреженным кодированием были получены вработах [9] и [10].УДК 004.032.26 (06) Нейронные сети 43