Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
большом числе дескрипторов, относительно большом объеме обучающей выборки и при относительно небольшом числе скрытых нейронов. 1.2.5. Другие архитектуры нейронных сетей 1.2.5.1. Самоорганизующиеся карты Кохонена и другие конкурирующие нейросети Нейросети Кохонена (Kohonen) [14, 20, 55] (см. Рис. 6), широко используемые для кластерного анализа, позволяют получить такое отображение исходных данных, при котором близкие вектора входных значений отображаются в топологически близкие выходные нейроны. Рис. 6. Самоорганизующаяся карта Кохонена Нейросеть Кохонена состоит из двух слоев – входного и конкурирующего выходного. В каждый нейрон конкурирующего выходного слоя поступают сигналы сразу со всех нейронов входного слоя. Одной из особенностей конкурирующего выходного слоя нейросетей Кохонена является то, что нейроны в нем организованы в виде 2-мерной решетки (решетки другой размерности для нейросетей Кохонена тоже возможны, но на практике используются редко). Чтобы избежать краевых эффектов и сделать все выходные нейроны равноправными, 34
на границах решетки часто вводятся периодические условия, что эквивалентно ее свертыванию в тор. Таким образом, выходной конкурирующий слой нейросетей Кохонена можно представить в виде 2-мерной решетки, натянутой на поверхность тора. Эта решетка может быть как тетрагональной (наиболее часто используемый вариант), так и гексагональной (классический вариант). Подобная организация выходного слоя имеет два последствия. Во-первых, вводится мера близости между нейронами в этом слое, называемая топологическим расстоянием, равная минимальному числу шагов, с помощью которых, двигаясь от одного узла решетки к ближайшему другому, можно перейти от одного из этих нейронов к другому. Во-вторых, вводится определенная «двухмерность» на множестве нейронов конкурирующего выходного слоя, что дает возможность отобразить их на плоскость, т.е. создать топологическую карту нейронов. Еще одной особенностью нейронов конкурирующего выходного слоя является то, что они обладают весьма специфической функцией активации: только у одного нейрона, имеющего максимальный сетевой вход, уровень выходного сигнала равен единице (т.е. он активируется), тогда как у других нейронов этого слоя он равен нулю. Таким образом, между нейронами происходит своеобразная конкуренция за право формирования единичного выходного сигнала, и лишь нейрон с наивысшим сетевым входом становится победителем. К его активации приводят лишь те вектора входных значений, которые ближе (более сходны) к вектору весов входящих связей данного нейрона по сравнению с аналогичными векторами других нейронов данного слоя. Это следует из того, что сетевой вход нейрона рассчитывается как скалярное произведение вектора входных значений (вектора дескрипторов в QSAR/QSPR-анализе) и вектора входящих в него весов (см. формулу 001), а скалярное произведение нормализованных векторов рассматривается как мера их близости. Для того, чтобы близкие вектора входных значений приводили к активации топологически близких выходных нейронов, нейросеть Кохонена необходимо этому обучить. Алгоритм обучения нейросетей Кохонена можно представить как итерационную 4-шаговую процедуру: 35
- Page 1 and 2: На правах рукописи
- Page 3 and 4: 2.2.6. Классификация
- Page 5 and 6: 5.4. Псевдофрагментн
- Page 7 and 8: 7.4.3. Примеры разных
- Page 9 and 10: ВВЕДЕНИЕ На соврем
- Page 11 and 12: более точного прог
- Page 13 and 14: ГЛАВА 1. ИСКУССТВЕН
- Page 15 and 16: входными; нейроны,
- Page 17 and 18: Таким образом, урав
- Page 19 and 20: 1.2.4. Нейросети обра
- Page 21 and 22: Значения весов объ
- Page 23 and 24: Таким образом, знач
- Page 25 and 26: жения в статье Руме
- Page 27 and 28: Рис. 5. Введение мом
- Page 29 and 30: адаптивно настраив
- Page 31 and 32: 1.2.4.7. Квазиньютонов
- Page 33: (химических соедин
- Page 37 and 38: ными значениями со
- Page 39 and 40: рующие один и тот ж
- Page 41 and 42: дящихся на 2-ом, 3-м и
- Page 43 and 44: всех RBF-нейронов, а
- Page 45 and 46: чающей выборки, при
- Page 47 and 48: Рис. 10. Архитектура
- Page 49 and 50: 1.2.5.4. Нейросети на о
- Page 51 and 52: ми связями, занимае
- Page 53 and 54: практически важных
- Page 55 and 56: ния классического
- Page 57 and 58: ческому мозгу во вр
- Page 59 and 60: лаждения системы и
- Page 61 and 62: чем в качестве прог
- Page 63 and 64: ГЛАВА 2. ФРАГМЕНТНЫ
- Page 65 and 66: му типу биологичес
- Page 67 and 68: тему опубликовано
- Page 69 and 70: В настоящее время п
- Page 71 and 72: ниях QSPR/QSAR/SAR. И дейс
- Page 73 and 74: В качестве характе
- Page 75 and 76: Некоторые типы ЦАФ
- Page 77 and 78: кроме того, они сно
- Page 79 and 80: Следует упомянуть
- Page 81 and 82: зисных графов, пред
- Page 83 and 84: рой равен 1 только в
на границах решетки часто вводятся периодические условия, что эквивалентно<br />
ее свертыванию в тор. Таким образом, выходной конкурирующий слой нейросетей<br />
Кохонена можно представить в виде 2-мерной решетки, натянутой на поверхность<br />
тора. Эта решетка может быть как тетрагональной (наиболее часто<br />
используемый вариант), так и гексагональной (классический вариант). Подобная<br />
организация выходного слоя имеет два последствия. Во-первых, вводится<br />
мера близости между нейронами в этом слое, называемая топологическим расстоянием,<br />
равная минимальному числу шагов, с помощью которых, двигаясь от<br />
одного узла решетки к ближайшему другому, можно перейти от одного из этих<br />
нейронов к другому. Во-вторых, вводится определенная «двухмерность» на<br />
множестве нейронов конкурирующего выходного слоя, что дает возможность<br />
отобразить их на плоскость, т.е. создать топологическую карту нейронов.<br />
Еще одной особенностью нейронов конкурирующего выходного слоя является<br />
то, что они обладают весьма специфической функцией активации: только<br />
у одного нейрона, имеющего максимальный сетевой вход, уровень выходного<br />
сигнала равен единице (т.е. он активируется), тогда как у других нейронов<br />
этого слоя он равен нулю. Таким образом, между нейронами происходит своеобразная<br />
конкуренция за право формирования единичного выходного сигнала,<br />
и лишь нейрон с наивысшим сетевым входом становится победителем. К его<br />
активации приводят лишь те вектора входных значений, которые ближе (более<br />
сходны) к вектору весов входящих связей данного нейрона по сравнению с аналогичными<br />
векторами других нейронов данного слоя. Это следует из того, что<br />
сетевой вход нейрона рассчитывается как скалярное произведение вектора<br />
входных значений (вектора дескрипторов в QSAR/QSPR-анализе) и вектора<br />
входящих в него весов (см. формулу 001), а скалярное произведение нормализованных<br />
векторов рассматривается как мера их близости. Для того, чтобы<br />
близкие вектора входных значений приводили к активации топологически<br />
близких выходных нейронов, нейросеть Кохонена необходимо этому обучить.<br />
Алгоритм обучения нейросетей Кохонена можно представить как итерационную<br />
4-шаговую процедуру:<br />
35
Change language