формат Adobe PDF, размер 2173 Кб - Информационно ...

формат Adobe PDF, размер 2173 Кб - Информационно ... формат Adobe PDF, размер 2173 Кб - Информационно ...

neurolectures.narod.ru
from neurolectures.narod.ru More from this publisher
11.07.2015 Views

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕОдношаговое приближениеПринципиальной особенностью SS-приближения [18] является то, что накаждом временном шаге нейродинамики игнорируется статистическая зависимостьмежду активностью сети и матрицей связей и учитываетсятолько один макропараметр нейродинамики: пересечение текущего паттернас воспроизводимым эталоном m(t). Пренебрежение статистическойзависимостью справедливо только для первого шага нейродинамики, когданачальная активность сети действительно устанавливается независимоот матрицы связей. Именно поэтому данный подход называется одношаговымприближением или приближением первого шага. Другими, болееточными аналитическими методами, а также с помощью компьютерногомоделирования (см. работы [4, 5] и многие другие) было показано, чтоSS-приближение очень неточно в случае плотного кодирования (p = 0.5).Однако, оно оказалось достаточно точным для случая разреженного кодирования[10]. Более того, в разделе «Компьютерное моделирование» будетпоказано, что в этом случае оно дает даже лучшее соответствие с экспериментом,чем SN-приближение.При воспроизведении эталона X l синаптические возбуждения каждогонейрона на первом временном шаге выражаются, в соответствии с уравнениями(1) и (3), в видеη i = (X l i − p)m in + N i ,где m in — пересечение между воспроизводимым эталоном и начальнымпаттерном X in и N i — шум, обусловленный записью в матрицу связей другихэталонов. Для используемой модели [10]гдеM{N i } = −αp/h(p), σ 2 = D{N i } = αr/h(p) , (20)r = p (1 − p) . (21)Для больших N и L распределение N i близко к нормальному. Тогдагдеp 01 = p 00 = p 0 = Φ(θ 0 ), p 11 = p 10 = p 1 = Φ(θ 1 ) , (22)θ 0 = θ + m in p/σ, θ 1 = θ − m in (1 − p)/σ , (23)44 УДК 004.032.26 (06) Нейронные сети

А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВ∫ ∞Φ(x) = 1/(2π) 1/2 exp(−u 2 /2)duxи θ — масштабированный порог возбуждения. В нашей модели он выбираетсятак, что общее количество активных нейронов остается фиксированными равным n, т. е. θ выбирается так, чтобы выполнялось уравнение (14).В результате первого шага воспроизведения пересечение меняется наm(1) = p 1 − p 0 . (24)В SS-приближении эти уравнения полагаются выполняющимися длявсех временных шагов (естественно, m in нужно заменить на m(t) и m(1)на m(t + 1)).Финальное стабильное состояние удовлетворяет условиюm(t + 1) = m(t) = m f . (25)Кривые, характеризующие поведение активности сети в зависимости отα, m in и p представлены на рис. 1. Пусть начальное состояние активностисети для данного α характеризуется точкой (m in , α). Если эта точка лежитпод кривой, пересечение между текущим и восстанавливаемым паттернамисмещается в процессе воспроизведения вправо к финальному пересечению,задаваемому правой частью кривой. Поэтому данная часть кривойзадает величину пересечения между эталоном и финальным стабильнымсостоянием в его окрестности, т. е. качество воспроизведения. Пересечениесмещается влево для любой точки выше кривой. Поэтому левая часть кривойсоответствует границе области притяжения. Эта часть отсутствует приp = 0.5. Критическое значение α cr , которое дает информационную емкостьсети для данного значения p, соответствует максимуму каждой кривой.Рис. 1 показывает, что SS-приближение предсказывает монотонное убываниеразмера областей притяжения при возрастании разреженности т. е.при убывании p.В предельном случаеp → 0 ,p 1 = Φ(θ 1 ) ≃ m(1), p 0 = Φ(θ 0 ) ≃ p (1 − m(1)) ,θ 0 − θ 1 ≃ m √in ln(1/p)σ= m in √ .α ln 2УДК 004.032.26 (06) Нейронные сети 45

А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВ∫ ∞Φ(x) = 1/(2π) 1/2 exp(−u 2 /2)duxи θ — масштабированный порог возбуждения. В нашей модели он выбираетсятак, что общее количество активных нейронов остается фиксированными равным n, т. е. θ выбирается так, чтобы выполнялось уравнение (14).В результате первого шага воспроизведения пересечение меняется наm(1) = p 1 − p 0 . (24)В SS-приближении эти уравнения полагаются выполняющимися длявсех временных шагов (естественно, m in нужно заменить на m(t) и m(1)на m(t + 1)).Финальное стабильное состояние удовлетворяет условиюm(t + 1) = m(t) = m f . (25)Кривые, характеризующие поведение активности сети в зависимости отα, m in и p представлены на рис. 1. Пусть начальное состояние активностисети для данного α характеризуется точкой (m in , α). Если эта точка лежитпод кривой, пересечение между текущим и восстанавливаемым паттернамисмещается в процессе воспроизведения вправо к финальному пересечению,задаваемому правой частью кривой. Поэтому данная часть кривойзадает величину пересечения между эталоном и финальным стабильнымсостоянием в его окрестности, т. е. качество воспроизведения. Пересечениесмещается влево для любой точки выше кривой. Поэтому левая часть кривойсоответствует границе области притяжения. Эта часть отсутствует приp = 0.5. Критическое значение α cr , которое дает информационную емкостьсети для данного значения p, соответствует максимуму каждой кривой.Рис. 1 показывает, что SS-приближение предсказывает монотонное убываниеразмера областей притяжения при возрастании разреженности т. е.при убывании p.В предельном случаеp → 0 ,p 1 = Φ(θ 1 ) ≃ m(1), p 0 = Φ(θ 0 ) ≃ p (1 − m(1)) ,θ 0 − θ 1 ≃ m √in ln(1/p)σ= m in √ .α ln 2УДК 004.032.26 (06) Нейронные сети 45

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!