формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ1. Как много эталонов может быть записано и воспроизведено в такихсетях? Это проблема информационной емкости.2. Какова доля ошибок в финальных (выходных) паттернах по сравнениюс воспроизводимыми эталонами? Это проблема качества воспроизведения.3. Как сильно эталоны могут быть искажены при сохранении свойствавоспроизводимости? Это проблема размера областей притяженияустойчивых состояний (аттракторов) в окрестности эталонов.Важный теоретический вклад в оценку емкости сети и качества воспроизведениясетей хопфилдового типа с разреженным кодированием сделанметодами статистической физики (метод реплик) (см. [2, 6, 10, 15, 24, 26] идр.). Было показано, что разреженность приводит к возрастанию емкостисети, причем не только если она определяется количеством запомненныхэталонов (что является слабым результатом, потому что энтропия каждогоэталона уменьшается при разрежении), но это верно даже если рассматриваетсяинформационная емкость, которая определяется общей энтропиейзаписанных эталонов. Например, в предельном случае, когда p = n/N → 0,эта энтропия была оценена в работе [2] как (N 2 /2) log 2 e ≃ 0.72N 2 , вто время, как для оригинальной сети Хопфилда с плотным кодированием(p = 0.5) эта энтропия составляет только около 0.14N 2 [5, 14].Качество воспроизведения сетей хопфилдового типа обычно измеряетсякоэффициентом корреляции между эталонами и стабильными паттернами вих окрестностях. Эти паттерны являются аттракторами сетевой нейродинамикии рассматриваются как выходные (финальные) паттерны в процедуредекодирования (воспроизведения). Хорошо известно, что при относительномалом числе записанных эталонов (малой информационной нагрузке)качество воспроизведения сетей хопфилдового типа довольно высоко (корреляциямежду выходными и записанными паттернами близка к 1), нокачество воспроизведения резко падает, когда информационная нагрузкаблизка к насыщению. Для оригинальной сети Хопфилда с плотным кодированиемоценка корреляции между выходными паттернами и эталонамипри максимальной нагрузке, сделанная методом реплик, дает 0.968 [5]. Ееоценка, сделанная тем же методом в работе [10] для сети с разреженнымкодированием, показывает, что качество воспроизведения для сети с разреженнымкодированием меняется немонотонно при возрастании разреженности.Вначале оно убывает, и коэффициент корреляции между финальнымипаттернами и эталонами при максимальной нагрузке достигает 0.82 для30 УДК 004.032.26 (06) Нейронные сети