формат Adobe PDF, размер 2173 Кб - Информационно ...

А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВp ≃ 0.02, а потом возрастает и стремится к 1, когда p → 0. Таким образом,в пределе высокой разреженности качество воспроизведения и информационнаяемкость выше, чем в случае плотного кодирования. Однако, приувеличении разреженности они возрастают очень медленно. Например, качествовоспроизведения при максимальной нагрузке достигает величины0.9 только при p около 10 −5 и величины 0.95 только при p около 10 −44 .Почти ничего не известно о влиянии разреженности на размер областейпритяжения вокруг эталонов, что является основной характеристикойспособности сети к коррекции эталонов после их частичного искажения.Анализ этого размера требует исследования динамики сети, что довольнотрудно проделать точно. Трудности возникают из-за наличия корреляциимежду историей активности сети и матрицей связей. Исследование первыхнескольких шагов по времени было проведено Gardner et al. [12] для сетис плотным кодированием и параллельной (синхронной) динамикой. Однако,сложность их расчетов экспоненциально возрастает в зависимости отчисла рассматриваемых временных шагов, поэтому практически приходитсяограничиваться малым числом шагов. Исследование этой ранней стадиинейродинамики часто оказывается недостаточным для заключения о размереобластей притяжения, так как начальное возрастание корреляции междутекущим паттерном активности сети и воспроизводимым эталоном можетнаблюдаться даже вне области притяжения (см. [4] и многие другие). С другойстороны, начальное убывание корреляции может наблюдаться внутриобласти притяжения (см. раздел «Компьютерное моделирование» настоящейстатьи, с. 48–64). Amari & Maginu [4] предложили теорию статистическойнейродинамики (Statistical Neurodynamics, SN) с целью исследованиядолговременного поведения активности сети с параллельной динамикой.Они вывели систему рекурсивных уравнений для двух макропараметров:1) корреляции между текущим паттерном нейронной активности и воспроизводимымэталоном и 2) дисперсии шума. Их оценки информационнойемкости и качества воспроизведения для сети Хопфилда с плотным кодированиемоказались очень близки к оценкам, полученным методом реплик,а их оценки размера областей притяжения качественно совпадают с результатамикомпьютерного моделирования. Okada [22] обобщил SN-методAmari–Maginu и вывел рекурсивные уравнения для более чем двух макропараметров.Он показал, что возрастание порядка системы рекурсивныхуравнений делает оценки информационной емкости все более близкими кполучаемым методом реплик. Coolen & Sherington [7] предложили болееизощренный и точный теоретический подход к анализу параметров сетиУДК 004.032.26 (06) Нейронные сети 31