ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ... ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕОдношаговое приближениеПринципиальной особенностью SS-приближения [18] является то, что накаждом временном шаге нейродинамики игнорируется статистическая зависимостьмежду активностью сети и матрицей связей и учитываетсятолько один макропараметр нейродинамики: пересечение текущего паттернас воспроизводимым эталоном m(t). Пренебрежение статистическойзависимостью справедливо только для первого шага нейродинамики, когданачальная активность сети действительно устанавливается независимоот матрицы связей. Именно поэтому данный подход называется одношаговымприближением или приближением первого шага. Другими, болееточными аналитическими методами, а также с помощью компьютерногомоделирования (см. работы [4, 5] и многие другие) было показано, чтоSS-приближение очень неточно в случае плотного кодирования (p = 0.5).Однако, оно оказалось достаточно точным для случая разреженного кодирования[10]. Более того, в разделе «Компьютерное моделирование» будетпоказано, что в этом случае оно дает даже лучшее соответствие с экспериментом,чем SN-приближение.При воспроизведении эталона X l синаптические возбуждения каждогонейрона на первом временном шаге выражаются, в соответствии с уравнениями(1) и (3), в видеη i = (X l i − p)m in + N i ,где m in — пересечение между воспроизводимым эталоном и начальнымпаттерном X in и N i — шум, обусловленный записью в матрицу связей другихэталонов. Для используемой модели [10]гдеM{N i } = −αp/h(p), σ 2 = D{N i } = αr/h(p) , (20)r = p (1 − p) . (21)Для больших N и L распределение N i близко к нормальному. Тогдагдеp 01 = p 00 = p 0 = Φ(θ 0 ), p 11 = p 10 = p 1 = Φ(θ 1 ) , (22)θ 0 = θ + m in p/σ, θ 1 = θ − m in (1 − p)/σ , (23)44 УДК 004.032.26 (06) Нейронные сети
А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВ∫ ∞Φ(x) = 1/(2π) 1/2 exp(−u 2 /2)duxи θ — масштабированный порог возбуждения. В нашей модели он выбираетсятак, что общее количество активных нейронов остается фиксированными равным n, т. е. θ выбирается так, чтобы выполнялось уравнение (14).В результате первого шага воспроизведения пересечение меняется наm(1) = p 1 − p 0 . (24)В SS-приближении эти уравнения полагаются выполняющимися длявсех временных шагов (естественно, m in нужно заменить на m(t) и m(1)на m(t + 1)).Финальное стабильное состояние удовлетворяет условиюm(t + 1) = m(t) = m f . (25)Кривые, характеризующие поведение активности сети в зависимости отα, m in и p представлены на рис. 1. Пусть начальное состояние активностисети для данного α характеризуется точкой (m in , α). Если эта точка лежитпод кривой, пересечение между текущим и восстанавливаемым паттернамисмещается в процессе воспроизведения вправо к финальному пересечению,задаваемому правой частью кривой. Поэтому данная часть кривойзадает величину пересечения между эталоном и финальным стабильнымсостоянием в его окрестности, т. е. качество воспроизведения. Пересечениесмещается влево для любой точки выше кривой. Поэтому левая часть кривойсоответствует границе области притяжения. Эта часть отсутствует приp = 0.5. Критическое значение α cr , которое дает информационную емкостьсети для данного значения p, соответствует максимуму каждой кривой.Рис. 1 показывает, что SS-приближение предсказывает монотонное убываниеразмера областей притяжения при возрастании разреженности т. е.при убывании p.В предельном случаеp → 0 ,p 1 = Φ(θ 1 ) ≃ m(1), p 0 = Φ(θ 0 ) ≃ p (1 − m(1)) ,θ 0 − θ 1 ≃ m √in ln(1/p)σ= m in √ .α ln 2УДК 004.032.26 (06) Нейронные сети 45
- Page 1 and 2: МИНИСТЕРСТВО ОБРАЗ
- Page 4 and 5: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 6 and 7: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 8 and 9: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 10 and 11: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 12 and 13: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 14 and 15: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 16 and 17: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 18 and 19: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 20 and 21: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 22 and 23: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 24 and 25: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 26 and 27: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 28 and 29: А. А. ФРОЛОВ 1) , Д. ГУ
- Page 30 and 31: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 32 and 33: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 34 and 35: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 36 and 37: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 38 and 39: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 40 and 41: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 42 and 43: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 46 and 47: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 48 and 49: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 50 and 51: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 52 and 53: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 54 and 55: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 56 and 57: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 58 and 59: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 60 and 61: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 62 and 63: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 64 and 65: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 66 and 67: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 68 and 69: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 70 and 71: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 72 and 73: Б. В. КРЫЖАНОВСКИЙ,
- Page 74 and 75: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 76 and 77: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 78 and 79: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 80 and 81: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 82 and 83: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 84 and 85: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 86 and 87: Н. Г. МАКАРЕНКОИнст
- Page 88 and 89: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 90 and 91: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 92 and 93: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВ∫ ∞Φ(x) = 1/(2π) 1/2 exp(−u 2 /2)duxи θ — масштабированный порог возбуждения. В нашей модели он выбираетсятак, что общее количество активных нейронов остается фиксированными равным n, т. е. θ выбирается так, чтобы выполнялось уравнение (14).В результате первого шага воспроизведения пересечение меняется наm(1) = p 1 − p 0 . (24)В SS-приближении эти уравнения полагаются выполняющимися длявсех временных шагов (естественно, m in нужно заменить на m(t) и m(1)на m(t + 1)).Финальное стабильное состояние удовлетворяет условиюm(t + 1) = m(t) = m f . (25)Кривые, характеризующие поведение активности сети в зависимости отα, m in и p представлены на рис. 1. Пусть начальное состояние активностисети для данного α характеризуется точкой (m in , α). Если эта точка лежитпод кривой, пересечение между текущим и восстанавливаемым паттернамисмещается в процессе воспроизведения вправо к финальному пересечению,задаваемому правой частью кривой. Поэтому данная часть кривойзадает величину пересечения между эталоном и финальным стабильнымсостоянием в его окрестности, т. е. качество воспроизведения. Пересечениесмещается влево для любой точки выше кривой. Поэтому левая часть кривойсоответствует границе области притяжения. Эта часть отсутствует приp = 0.5. Критическое значение α cr , которое дает информационную емкостьсети для данного значения p, соответствует максимуму каждой кривой.Рис. 1 показывает, что SS-приближение предсказывает монотонное убываниеразмера областей притяжения при возрастании разреженности т. е.при убывании p.В предельном случаеp → 0 ,p 1 = Φ(θ 1 ) ≃ m(1), p 0 = Φ(θ 0 ) ≃ p (1 − m(1)) ,θ 0 − θ 1 ≃ m √in ln(1/p)σ= m in √ .α ln 2УДК 004.032.26 (06) Нейронные сети 45