ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ... ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
А. А. ФРОЛОВ 1) , Д. ГУСЕК 2) , И. П. МУРАВЬЕВ 1)1) Институт высшей нервной деятельности и нейрофизиологии РАН,Москва,2) Институт информатики Академии наук Чешской республики,ПрагаE-mail: aafrolov@mail.ruИНФОРМАЦИОННАЯ ЭФФЕКТИВНОСТЬ АССОЦИАТИВНОЙПАМЯТИ ТИПА ХОПФИЛДА С РАЗРЕЖЕННЫМКОДИРОВАНИЕМАннотацияАттракторная нейронная сеть хопфилдового типа исследуется аналитическии путем компьютерного моделирования. Вычисляются информационнаяемкость, качество воспроизведения и размер областей притяжения. Выявляютсяасимптотические свойства нейронных сетей путем компьютерногомоделирования для больших размеров сетей (до 15000 нейронов). Показано,что существующие аналитические подходы недостаточны для случаябольшой разреженности. Основная причина их недостатков заключается вигнорировании различия в поведении нейронов, активных и неактивныхна предшествующих тактах процесса воспроизведения. Показано, что размеробластей притяжения меняется немонотонно при возрастании разреженности:вначале он возрастает, а потом — убывает. Поэтому в пределе приp → 0 разреженность ухудшает способность сети к коррекции эталонов, вто же время повышая информационную емкость и качество воспроизведения.Информационная эффективность сети, достигаемая за счет коррекцииискаженных эталонов, используется как обобщенная характеристика способностисети выполнять функцию автоассоциативной памяти. Существуетоптимальная разреженность, для которой информационная эффективностьмаксимальна. Оптимальная разреженность оказывается близкой к уровнюнервной активности мозга.28 УДК 004.032.26 (06) Нейронные сети
А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВA. FROLOV 1) , D. HUSEK 2) , I. MURAVIEV 1)1) Institute of Higher Nervous Activity and Neurophysiologyof the Russian Academy of Sciences, Moscow2) Institute of Computer Science,Academy of Sciencies of the Czech Republik, PragueE-mail: aafrolov@mail.ruINFORMATIONAL EFFICIENCY OF SPARSELY ENCODEDHOPFIELD-LIKE ASSOCIATIVE MEMORYAbstractA sparsely encoded Hopfield-like attractor neural network is investigatedanalytically and by computer simulation. Informational capacity, recall qualityand attractor basin sizes are evaluated. Asymptotic properties of the neuralnetwork are revealed by computer simulation for a large network size (up to 15000of neurons). This shows that all existing analytical approaches fail in the caseof a large sparseness. The main reason of their invalidity is that they ignore thedifference in behavior of previously active and nonactive neurons during the recallprocess. It is shown that the size of attraction basins changes nonmonotonicallywhile sparseness increases: it increases initially and then decreases. Thus at thelimit case for p → 0 sparseness worsens the network ability to correct distortedprototypes while it improves both informational capacity and recall quality. Thegain of information provided by the network due to correction of the distortedprototypes is used as cumulative index of the network ability to perform thefunctions of autoassociative memory. There exists an optimal sparseness forwhich the gain is maximal. Optimal sparseness obtained is corresponded to brainneural activity.ВведениеИсследуемая нейронная сеть хопфилдового типа является полносвязнойсетью, которая действует как автоассоциативная память для статистическинезависимых бинарных паттернов на основе корреляционного правилаобучения Хебба. Кодирование называется разреженным, если количествоактивных нейронов n в записанных паттернах (эталонах) мало по сравнениюс общим количеством нейронов в сети N. Типичные вопросы, возникающиепри исследовании свойств сетей такого типа:УДК 004.032.26 (06) Нейронные сети 29
- Page 1 and 2: МИНИСТЕРСТВО ОБРАЗ
- Page 4 and 5: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 6 and 7: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 8 and 9: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 10 and 11: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 12 and 13: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 14 and 15: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 16 and 17: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 18 and 19: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 20 and 21: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 22 and 23: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 24 and 25: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 26 and 27: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 30 and 31: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 32 and 33: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 34 and 35: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 36 and 37: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 38 and 39: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 40 and 41: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 42 and 43: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 44 and 45: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 46 and 47: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 48 and 49: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 50 and 51: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 52 and 53: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 54 and 55: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 56 and 57: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 58 and 59: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 60 and 61: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 62 and 63: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 64 and 65: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 66 and 67: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 68 and 69: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 70 and 71: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 72 and 73: Б. В. КРЫЖАНОВСКИЙ,
- Page 74 and 75: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 76 and 77: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВA. FROLOV 1) , D. HUSEK 2) , I. MURAVIEV 1)1) Institute of Higher Nervous Activity and Neurophysiologyof the Russian Academy of Sciences, Moscow2) Institute of Computer Science,Academy of Sciencies of the Czech Republik, PragueE-mail: aafrolov@mail.ruINFORMATIONAL EFFICIENCY OF SPARSELY ENCODEDHOPFIELD-LIKE ASSOCIATIVE MEMORYAbstractA sparsely encoded Hopfield-like attractor neural network is investigatedanalytically and by computer simulation. Informational capacity, recall qualityand attractor basin sizes are evaluated. Asymptotic properties of the neuralnetwork are revealed by computer simulation for a large network size (up to 15000of neurons). This shows that all existing analytical approaches fail in the caseof a large sparseness. The main reason of their invalidity is that they ignore thedifference in behavior of previously active and nonactive neurons during the recallprocess. It is shown that the size of attraction basins changes nonmonotonicallywhile sparseness increases: it increases initially and then decreases. Thus at thelimit case for p → 0 sparseness worsens the network ability to correct distortedprototypes while it improves both informational capacity and recall quality. Thegain of information provided by the network due to correction of the distortedprototypes is used as cumulative index of the network ability to perform thefunctions of autoassociative memory. There exists an optimal sparseness forwhich the gain is maximal. Optimal sparseness obtained is corresponded to brainneural activity.ВведениеИсследуемая нейронная сеть хопфилдового типа является полносвязнойсетью, которая действует как автоассоциативная память для статистическинезависимых бинарных паттернов на основе корреляционного правилаобучения Хебба. Кодирование называется разреженным, если количествоактивных нейронов n в записанных паттернах (эталонах) мало по сравнениюс общим количеством нейронов в сети N. Типичные вопросы, возникающиепри исследовании свойств сетей такого типа:УДК 004.032.26 (06) Нейронные сети 29
Change language