Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
ния от шума, поиска скрытых закономерностей в «зашумленных» объектах и выделения из них исходного объекта-прототипа. В качестве характерных примеров можно привести осуществляемый при помощи нейросетей Хопфилда поиск промоторов в ДНК [18], скрытых повторов в ДНК и реконструкцию эволюционных изменений в них [103]. Машина Больцмана. Одним из недостатков нейросетей Хопфилда является их тенденция стабилизироваться в локальном, а не глобальном минимуме функции энергии. Одним из способов преодоления этой трудности является использование стохастического варианта нейросети Хопфилда, называемого обычно машиной Больцмана. Подобное название нейросетей этого класса обусловлено тесной связью методов их описания с математическим аппаратом статистической термодинамики (а также данью уважения к ее основателю Больцману). Если в детерминированных нейронных сетях, к которым относятся нейросети Хопфилда, нейрон всегда возбуждается при превышении сетевым входом a i определенного порогового значения (которое путем введения biasпсевдонейронов всегда можно сделать нулевым), то в стохастических нейросетях, к которым относится машина Больцмана, сетевой вход определяет лишь вероятность p i перехода нейрона i в возбужденное состояние: 1 p = i 1+ exp( −a / T ) , (57) i где T – искусственная температура. Заметим, что в знаменателе этого выражения находится фактор Больцмана, показывающий вероятность пребывания системы в условиях термодинамического равновесия при температуре T на энергетическом уровне, превышающем нулевой на k·a i энергетических единиц (где k – постоянная Больцмана). При запуске машины Больцмана на выходы вычислительных нейронов заносятся начальные значения, определяемые входным вектором. Машина запускается при высоком значении искусственной температуры, и сети предоставляется возможность самостоятельно минимизировать свою энергию при управляемом извне постепенном понижении указанной температуры. После ох- 58
лаждения системы и достижения термодинамического равновесия считываются выходные значения нейронов (при неполном охлаждении считываются вероятности пребывания нейронов в активном состоянии). Поскольку описанная процедура полностью соответствует известной процедуре нахождения глобального минимума по методу искусственного закаливания (simulated annealing), то всегда можно подобрать такую скорость охлаждения системы, чтобы можно было достигнуть глобального минимума энергии. В данном случае можно говорить о «кристаллизации мысли» у нейросети, поскольку как работа нейросети, так и реальный процесс кристаллизации из расплава, описывается одним и тем же математическим аппаратом статистической термодинамики. Более того, при анализе работы машины Больцмана часто используют те же самые фазовые диаграммы состояний и таким же образом рассматривают фазовые переходы, как и в физической химии для реальных веществ и материалов. Процесс обучения машины Больцмана обычно включает стадии «активного обучения», «разобучения во время сна» и «коррекции весов» [104]. На стадии «активного обучения» поочередно закрепляют на нейронах выходные значения, задаваемые входными векторами, дают сети релаксировать до наступления равновесия и для каждой пары нейронов по всему множеству обучаю- + щих векторов определяют P ij - вероятность того, что нейроны i и j одновременно находятся в активном состоянии. На стадии «разобучения во время сна» нейросеть запускают множество раз, начав со случайных состояний, и в результате для каждой пары нейронов определяют − P ij - вероятность того, что нейроны i и j одновременно находятся в активном состоянии. И, наконец, на последней стадии проводят коррекцию весов по формуле: − Δw = η ( P + − P ), (58) ij ij ij где η – коэффициент скорости обучения. 59
- Page 7 and 8: 7.4.3. Примеры разных
- Page 9 and 10: ВВЕДЕНИЕ На соврем
- Page 11 and 12: более точного прог
- Page 13 and 14: ГЛАВА 1. ИСКУССТВЕН
- Page 15 and 16: входными; нейроны,
- Page 17 and 18: Таким образом, урав
- Page 19 and 20: 1.2.4. Нейросети обра
- Page 21 and 22: Значения весов объ
- Page 23 and 24: Таким образом, знач
- Page 25 and 26: жения в статье Руме
- Page 27 and 28: Рис. 5. Введение мом
- Page 29 and 30: адаптивно настраив
- Page 31 and 32: 1.2.4.7. Квазиньютонов
- Page 33 and 34: (химических соедин
- Page 35 and 36: на границах решетк
- Page 37 and 38: ными значениями со
- Page 39 and 40: рующие один и тот ж
- Page 41 and 42: дящихся на 2-ом, 3-м и
- Page 43 and 44: всех RBF-нейронов, а
- Page 45 and 46: чающей выборки, при
- Page 47 and 48: Рис. 10. Архитектура
- Page 49 and 50: 1.2.5.4. Нейросети на о
- Page 51 and 52: ми связями, занимае
- Page 53 and 54: практически важных
- Page 55 and 56: ния классического
- Page 57: ческому мозгу во вр
- Page 61 and 62: чем в качестве прог
- Page 63 and 64: ГЛАВА 2. ФРАГМЕНТНЫ
- Page 65 and 66: му типу биологичес
- Page 67 and 68: тему опубликовано
- Page 69 and 70: В настоящее время п
- Page 71 and 72: ниях QSPR/QSAR/SAR. И дейс
- Page 73 and 74: В качестве характе
- Page 75 and 76: Некоторые типы ЦАФ
- Page 77 and 78: кроме того, они сно
- Page 79 and 80: Следует упомянуть
- Page 81 and 82: зисных графов, пред
- Page 83 and 84: рой равен 1 только в
- Page 85 and 86: множества различны
- Page 87 and 88: при проведении вир
- Page 89 and 90: 21 01 12 12 21 01 Рис. 17. Ре
- Page 91 and 92: ределенных атомных
- Page 93 and 94: элементам, что може
- Page 95 and 96: наличие или отсутс
- Page 97 and 98: использовались в н
- Page 99 and 100: ложенные в 1985 г. ато
- Page 101 and 102: 2.3. Ограничения фра
- Page 103 and 104: ГЛАВА 3. МАТЕМАТИЧЕ
- Page 105 and 106: качестве меток исп
- Page 107 and 108: ной нумерации граф
лаждения системы и достижения термодинамического равновесия считываются<br />
выходные значения нейронов (при неполном охлаждении считываются вероятности<br />
пребывания нейронов в активном состоянии). Поскольку описанная процедура<br />
полностью соответствует известной процедуре нахождения глобального<br />
минимума по методу искусственного закаливания (simulated annealing), то всегда<br />
можно подобрать такую скорость охлаждения системы, чтобы можно было<br />
достигнуть глобального минимума энергии. В данном случае можно говорить о<br />
«кристаллизации мысли» у нейросети, поскольку как работа нейросети, так и<br />
реальный процесс кристаллизации из расплава, описывается одним и тем же<br />
математическим аппаратом статистической термодинамики. Более того, при<br />
анализе работы машины Больцмана часто используют те же самые фазовые<br />
диаграммы состояний и таким же образом рассматривают фазовые переходы,<br />
как и в физической химии для реальных веществ и материалов.<br />
Процесс обучения машины Больцмана обычно включает стадии «активного<br />
обучения», «разобучения во время сна» и «коррекции весов» [104]. На<br />
стадии «активного обучения» поочередно закрепляют на нейронах выходные<br />
значения, задаваемые входными векторами, дают сети релаксировать до наступления<br />
равновесия и для каждой пары нейронов по всему множеству обучаю-<br />
+<br />
щих векторов определяют P<br />
ij<br />
- вероятность того, что нейроны i и j одновременно<br />
находятся в активном состоянии. На стадии «разобучения во время сна»<br />
нейросеть запускают множество раз, начав со случайных состояний, и в результате<br />
для каждой пары нейронов определяют<br />
−<br />
P<br />
ij<br />
- вероятность того, что нейроны<br />
i и j одновременно находятся в активном состоянии. И, наконец, на последней<br />
стадии проводят коррекцию весов по формуле:<br />
−<br />
Δw = η ( P<br />
+ − P ), (58)<br />
ij<br />
ij<br />
ij<br />
где η – коэффициент скорости обучения.<br />
59
Change language