формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕмы сохранили в наших исследованиях эту «наивную» [22] технику, какодин из используемых аналитических подходов.Большинство результатов, представленных в этой лекции, получено путемкомпьютерного моделирования. Результаты показывают, что все существующиепока аналитические подходы дают только качественную оценкупараметров сети хопфилдового типа с разреженным кодированием и параллельнойдинамикой. Основной недостаток существующих аналитическихметодов заключается в игнорировании различия в поведении нейронов,активных и неактивных в предшествующих состояниях динамики. Различиемежду результатами компьютерного моделирования и аналитическимистановится очевидным только при достаточно больших размерах сети. Например,для сети Хопфилда с плотным кодированием количество нейроновв моделируемой сети должно превышать, по крайней мере, несколько тысяч(в моделировании, проведенном в работах [19] и [20] оно достигало10 5 ). Для моделирования таких больших сетей Коринг [19] разработал специальныйалгоритм, позволяющий обойтись без записи матрицы связей вкомпьютерную память. Мы применили алгоритм Коринга для сетей с разреженнымкодированием и дополнительно модифицировали его, избежавнеобходимости записи в компьютерную память полного набора запомненныхэталонов. Поэтому, для моделировании сети большого размера мыбыли ограничены только временем счета. В наших компьютерных экспериментахразмер сети достигал 15000 нейронов.В последующих разделах лекции мы опишем вначале модель и технику,используемую в компьютерном моделировании (с. 34–39), далее выведемосновные уравнения для вычисления информационной эффективности(с. 39–43), затем рассмотрим аналитические подходы (с. 43–48). Результатыпроведенного компьютерного моделирования сравниваются с аналитическимирезультатами (с. 48–64), после чего используются для оценкиинформационной эффективности (с. 64–68). Завершается лекция краткимобсуждением результатов (с. 68–69).Описание моделиКак и в работе [10], мы использовали для обучения сети корреляционноеправило Хебба, более эффективное, чем обычное правило Хебба [6, 26].Правило Хебба называется корреляционным, если компоненты матрицы34 УДК 004.032.26 (06) Нейронные сети