19.11.2014 Views

На правах рукописи

На правах рукописи

На правах рукописи

SHOW MORE
SHOW LESS

Create successful ePaper yourself

Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.

т.д., и до последнего времени от них старались избавиться. Так, в качестве эффективного<br />

средства борьбы с состояниями ложной памяти Хопфилдом с соавторами<br />

была предложена процедура разобучения (unlearning) [98], суть которой<br />

заключается в следующем: 1) в многократном предъявлении нейросети в качестве<br />

начальных состояний случайно сгенерированных векторов; 2) в прослеживании<br />

их эволюции до стационарных состояний o* (которые могут отвечать<br />

как истинному запомненному вектору, так и ложной памяти); 3) модификации<br />

всех весов на вклад:<br />

* *<br />

δ w = −εo<br />

o , i = 1, K , M , j = 1, K M , (56)<br />

ij i j<br />

,<br />

где ε – небольшая положительная константа. Поскольку состояниям ложной<br />

памяти обычно соответствуют более мелкие локальные минимумы, то именно<br />

они в первую очередь и подвергаются разобучению. И действительно, в результате<br />

комбинирования процедур обучения и разобучения удается существенно<br />

повысить емкость нейросети Хопфилда с 14% от числа нейронов до значения,<br />

близкого к 100%, что, по-видимому, составляет теоретический максимум емкости<br />

нейросети этого типа [99].<br />

Крик (Crick) и Митчисон (Mitchison) высказали предположение о том, что<br />

процесс, аналогичный разобучению, происходит в мозгу человека во время фазы<br />

быстрого (парадоксального) сна [100]. Как известно, во время сна возникают<br />

фантастические сюжеты, весьма далекие, хотя и чем-то напоминающее те, что<br />

человек видел наяву. Согласно гипотезе Крика-Митчисона, видения во время<br />

сна представляют собой состояния ложной памяти, в которых временно стабилизируются<br />

нейроны определенных участков коры головного мозга, возбуждаемые<br />

случайными воздействиями ствола мозга во время фазы быстрого сна.<br />

Происходящее при этом разобучение приводит к забыванию возникающих во<br />

время сна парадоксальных картин видений и тем самым упрощает доступ к запомненным<br />

образам, соответствующим объектам реального внешнего мира.<br />

Таким образом, нейросети Хопфилда присуща человеческая способность «грезить»<br />

и «видеть сны», причем, как было показано А.А. Ежовым, подобные<br />

«сны» могут быть «вещими», и во время них нейронная сеть, подобно челове-<br />

56

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!