ÑÐ¾ÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 ÐÐ± - ÐÐ½ÑÐ¾ÑÐ¼Ð°ÑÐ¸Ð¾Ð½Ð½Ð¾ ...

More documents

Recommendations

Info

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ1. А. А. Фролов, Д. Гусек, И. П. Муравьев. Информационная эффективностьассоциативной памяти типа Хопфилда с разреженным кодированием.2. Б. В. Крыжановский, Л. Б. Литинский. Векторные модели ассоциативнойпамяти.3. Н. Г. Макаренко. Эмбедология и нейропрогноз.4. С. А. Терехов. Введение в байесовы сети.5. А. А. Ежов. Некоторые проблемы квантовой нейротехнологии.6. А. Ю. Хренников. Классические и квантовые модели мышления,основанные на p-адическом представлении информации.7. Ю. И. Нечаев. Математическое моделирование в бортовых интеллектуальныхсистемах реального времени.Характерная объединяющая черта семи лекций, публикуемых в настоящемсборнике, состоит в том, что все они посвящены обсуждению различныхподходов к моделированию интеллектуальных процессов и систем.Эти подходы едва ли можно назвать конкурирующими, скорее их надо расцениватькак взаимодополняющие — в духе принципа дополнительностиНильса Бора.3. Первая пара лекций, открывавшая Школу, была посвящена однойиз классических тем — ассоциативной памяти, причем истоки подходов,рассмотренных в обеих лекциях, также относятся к классике, к моделиХопфилда, оказавшей очень большое влияние на развитие нейроинформатики.Общеизвестен факт — именно с публикации в 1982 году физиком ДжономХопфилдом статьи [4] началось возрождение и последующее бурноеразвитие нейроинформатики после примерно полутора десятилетий относительногозатишья.Сети Хопфилда в многочисленных разновидностях до сих пор остаютсяпопулярной нейросетевой моделью, привлекающей к себе вниманиеисследователей. Не в последнюю очередь такая популярность объясняетсяспособностью хопфилдовых сетей выполнять функции ассоциативнойпамяти 2 , т. е. памяти, адресуемой по содержимому, обеспечивающей хранениеи извлечение паттернов (образов).2 Об ассоциативной памяти и двух ее основных разновидностях — гетероассоциативнойпамяти и автоассоциативной памяти см., например, статью А. А. Фролова в сборнике[8].6 УДК 004.032.26 (06) Нейронные сети
Ю. В. ТЮМЕНЦЕВОдин из возможных вариантов решения проблемы ассоциативной памятирассмотрен в лекции А. А. Фролова, Д. Гусека, И. П. Муравьева «Информационнаяэффективность ассоциативной памяти типа Хопфилда с разреженнымкодированием». В ней исследуется сеть хопфилдового типа, котораядействует как автоассоциативная память для статистически независимыхбинарных паттернов, т. е. паттернов, элементы которых могут приниматьтолько два значения (например, 0 и 1).Применительно к сетям такого вида существует несколько типичныхпроблем, в том числе: проблема информационной емкости (сколько паттернов-эталоновможно записать в такую сеть и затем воспроизвести их?);проблема качества воспроизведения (какова будет доля ошибок в выходныхпаттернах в сравнении с воспроизводимыми эталонами?); проблема размеровобластей притяжения (насколько сильно может быть искажен эталон,чтобы сохранить свойство воспроизводимости?).Одним из серьезных недостатков сети Хопфилда в ее первоначальнойформулировке была невысокая информационная емкость таких сетей. Сетьиз N нейронов может иметь 2 N состояний, но максимальная емкость памятиоказывается значительно меньшей. Предполагалось вначале, что максимальноеколичество запоминаемых паттернов, которые могут безошибочноизвлекаться, будет доходить до величины cN 2 , где c > 1 — положительнаяконстанта [10]. Эта оценка оказалась слишком оптимистической. Было показано,что число запоминаемых паттернов не может превышать N, причемв общем случае оно будет ближе к 0.14N ( [5, 6]; см. также [7, 10]).Один из возможных подходов, позволяющих увеличить информационнуюемкость сети Хопфилда — разреженное кодирование, т. е. такое кодирование,при котором количество активных нейронов n в записанныхпаттернах (эталонах) много меньше общего количества N нейронов в сети.В предельном случае, когда n/N → 0, оценка максимального числазапоминаемых паттернов составляет 0.72N.В лекции, основываясь на теоретическом анализе и компьютерном эксперименте,даются ответы на вопросы, сформулированные выше, причемпрежде всего анализируется влияние разреженности на размер областейпритяжения.4. Резкое увеличение числа элементов и использование разреженногокодирования в сетях хопфилдова типа с традиционными бинарныминейронами — это один из возможных путей повышения информационнойэффективности сетей данного вида и ассоциативной памяти на их основе.Существует, однако, альтернативный вариант, в основе которого — исполь-УДК 004.032.26 (06) Нейронные сети 7
Page 1 and 2: МИНИСТЕРСТВО ОБРАЗ
Page 4 and 5: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
Page 28 and 29: А. А. ФРОЛОВ 1) , Д. ГУ
Page 56 and 57:
ISBN 5-7262-0471-9ЛЕКЦИИ ПО
Page 58 and 59:
Page 60 and 61:
Page 62 and 63:
Page 64 and 65:
Page 66 and 67:
Page 68 and 69:
Page 70 and 71:
Page 72 and 73:
Б. В. КРЫЖАНОВСКИЙ,
Page 74 and 75:
Page 76 and 77:
Page 78 and 79:
Page 80 and 81:
Page 82 and 83:
Page 84 and 85:
Page 86 and 87:
Н. Г. МАКАРЕНКОИнст
Page 88 and 89:
Page 90 and 91:
Page 92 and 93:
Page 94 and 95:
Page 96 and 97:
Page 98 and 99:
Page 100 and 101:
Page 102 and 103:
Page 104 and 105:
Page 106 and 107:
Page 108 and 109:
Page 110 and 111:
Page 112 and 113:
Page 114 and 115:
Page 116 and 117:
Page 118 and 119:
Page 120 and 121:
Page 122 and 123:
Page 124 and 125:
Page 126 and 127:
Page 128 and 129:
Page 130 and 131:
Page 132 and 133:
Page 134 and 135:
Page 136 and 137:
Page 138 and 139:
Page 140 and 141:
Page 142 and 143:
Page 144 and 145:
Page 146 and 147:
Page 148 and 149:
Page 150 and 151:
Page 152 and 153:
Page 154 and 155:
Page 156 and 157:
Page 158 and 159:
Page 160 and 161:
Page 162 and 163:
Page 164 and 165:
Page 166 and 167:
Page 168 and 169:
Page 170 and 171:
Page 172 and 173:
Page 174 and 175:
Page 176 and 177:
Page 178 and 179:
Page 180 and 181:
Page 182 and 183:
Page 184 and 185:
Page 186 and 187:
Page 188:
НАУЧНАЯ СЕССИЯ МИФ
show all

ÑÐ¾ÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 ÐÐ± - ÐÐ½ÑÐ¾ÑÐ¼Ð°ÑÐ¸Ð¾Ð½Ð½Ð¾ ...

Create successful ePaper yourself

Delete template?

Save as template?

ÑÐ¾ÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 ÐÐ± - ÐÐ½ÑÐ¾ÑÐ¼Ð°ÑÐ¸Ð¾Ð½Ð½Ð¾ ...