формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕномера активных нейронов вместо векторов длины N с компонентами состояния(0 или 1) всех нейронов. Тогда более удобно представлять пересеченияв видеm(X l , X(t)) =1[ ∑XNp (1 − p)iX l i (t) − Np 2] =i=1,N1[ ∑=X i(j) (t) − Np 2] ,Np (1 − p)j=1,nгде i(j) — номер активного нейрона, задаваемый вектором, представляющимl-тый эталон. Поэтому требуется только n сложений для вычислениякаждого пересечения и Ln сложений для вычисления всех пересечений.Аналогично, для вычисления всех N величин A i и B i требуется только2Ln сложений и в целом требуется примерно 3Ln сложений для вычислениявсех N величин синаптических возбуждений η i . Заметим, что дляобычной процедуры, основанной на прямом вычислении η i согласно (3),необходимо nN сложений. Таким образом, для малых информационныхнагрузок (L < N/3) модифицированная процедура имеет преимуществоперед обычной даже по числу вычислений.Описанная процедура позволяет обойтись без записи матрицы связей,но не набора эталонов. Однако компьютерная память, требуемая для записиматрицы связей и требуемая для записи набора эталонов, сравнимы. Фактически,для записи около N 2 /2 независимых коэффициентов матрицы связейкак действительных чисел требуется 2N 2 байтов памяти (если положить,что для записи каждого числа требуется 4 байта). В то же время для записиLn индексов активных нейронов в эталонах как переменных типа «слово»требуется 2Ln байтов (если положить, что для записи слова требуется 2байта). Для разреженного кодирования мы имеем L ≃ αN/|p log 2 p|. Поэтому,память, требуемая для записи набора эталонов, по порядку только в| log 2 p| раз меньше, чем требуемая для записи матрицы связей. Чтобы обойтисьбез записи эталонов, мы использовали процедуру, в которой эталонызаново генерируются на каждом шаге воспроизведения, с помощью однойи той же последовательности псевдослучайных величин. Для генерацииL эталонов требуется Ln псевдослучайных величин. Для этого требуетсяпримерно то же компьютерное время, что и для вычисления синаптическихвозбуждений по уравнению (7). Таким образом, при моделированииработы сети можно обойтись не только без записи в компьютерную память38 УДК 004.032.26 (06) Нейронные сети