Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
цветные карты представляют собой очень эффектный (а в эстетическом плане даже и красивый) способ визуализации и анализа данных. К числу задач, решаемых при помощи нейросетей Кохонена, обычно относят следующие: визуализация, кластеризация и сжатие многомерных данных, а также аппроксимация плотностей вероятности и комбинаторная оптимизация. Вышеупомянутое сжатие данных в нейросетях Кохонена происходит за счет понижения размерности данных до размерности решетки нейронов конкурирующего слоя, а так же за счет кодирования множества векторов, активирующих какой-либо нейрон, одним усредненным вектором, компоненты которого равны значениям весов связей, идущих к этому нейрону. Подобная операция кодирования множества векторов одним кодирующим вектором (codebook vector) называется квантованием векторов (vector quantization) [56, 57] и часто используется для аппроксимации плотности вероятности распределения векторов данных [58]. Поскольку алгоритмы обучения всех нейросетевых квантователей векторов неизменно включают стадию «конкурентной борьбы» между нейронами за право быть активированными текущим вектором входных сигналов, подобные нейронные сети часто называют конкурирующими. Кроме рассмотренных выше нейросетей Кохонена, другими представителями этого же класса нейросетей, уже нашедшими применение при обработке химических данных, являются: нейронный газ [59-61], растущий нейронный газ [61, 62], а также целый набор обучающихся квантователей векторов (Learning Vector Quantizers - LVQ) [63, 64]: LVQ1, LVQ2, LVQ2.1, LVQ3. В нейронном газе, в отличие от нейросетей Кохонена, нейроны конкурирующего слоя не объединены в какую-либо решетку или другую графовую структуру, поэтому вместо топологического расстояния в функции соседства (38) используется обычное Эвклидово расстояние. Напротив, в растущем нейронном газе нейроны, как и в сетях Кохонена, уже объединены в решетку, однако, в отличие от сетей Кохонена, размерность решетки и число нейронов в ней не задается заранее, а определяется по ходу обучения путем постепенного наращивания нейросети. Обучающиеся квантователи векторов используют информацию о принадлежности векторов к определенным классам для того, чтобы вектора, активизи- 38
рующие один и тот же нейрон, относились по возможности к одному классу. Это достигается путем использования разного знака перед α (t) в формуле (37) в зависимости от правильности или неправильности классификации текущего вектора. Поэтому нейросети последнего класса можно применять также для целей классификации. Нейросети Кохонена могут использоваться непосредственно, а также как часть составных нейронных сетей, где они служат для предварительной обработки входных данных. 1.2.5.2. Нейросети встречного распространения (counterpropagation) Нейросети встречного распространения (counterpropagation neural networks) [65] представляют собой пример составных нейронных сетей, включающих в свой состав самоорганизующуюся карту Кохонена (см. выше) и т.н. звезду Гроссберга [66]. В отличие от нейросетей Кохонена, они реализуют стратегию обучения «с учителем», и поэтому могут быть использованы как для классификации, так и для решения регрессионных задач. Нейросети встречного распространения состоят из 3 слоев: входного, скрытого слоя Кохонена и выходного слоя Гроссберга (см. Рис. 7). В соответствии с особенностями архитектуры, обучение проводится в 2 этапа: сначала проводится обучение слоя Кохонена «без учителя» согласно рассмотренной выше стандартной схеме для этого класса сетей по формулам (35-38) с использованием только входных векторов, после чего идет настройка «с учителем» выходного слоя Гроссберга с использованием выходов нейронов Кохонена и векторов желаемых сигналов (т.е. экспериментальных значений прогнозируемых свойств в случае QSAR/QSPR-анализа) по формуле: v = v + β ( y − v ) k , (39) ( t+ 1) ij ( t) ij j ij i (t) где: v - вес связи, идущей из нейрона i в слое Кохонена на нейрон j в слое ij Гроссберга на t-ой итерации; k i – выход i-ого нейрона Кохонена; y j – желаемый выход для j-ого нейрона Гроссберга; β – параметр скорости обучения, который 39
- Page 1 and 2: На правах рукописи
- Page 3 and 4: 2.2.6. Классификация
- Page 5 and 6: 5.4. Псевдофрагментн
- Page 7 and 8: 7.4.3. Примеры разных
- Page 9 and 10: ВВЕДЕНИЕ На соврем
- Page 11 and 12: более точного прог
- Page 13 and 14: ГЛАВА 1. ИСКУССТВЕН
- Page 15 and 16: входными; нейроны,
- Page 17 and 18: Таким образом, урав
- Page 19 and 20: 1.2.4. Нейросети обра
- Page 21 and 22: Значения весов объ
- Page 23 and 24: Таким образом, знач
- Page 25 and 26: жения в статье Руме
- Page 27 and 28: Рис. 5. Введение мом
- Page 29 and 30: адаптивно настраив
- Page 31 and 32: 1.2.4.7. Квазиньютонов
- Page 33 and 34: (химических соедин
- Page 35 and 36: на границах решетк
- Page 37: ными значениями со
- Page 41 and 42: дящихся на 2-ом, 3-м и
- Page 43 and 44: всех RBF-нейронов, а
- Page 45 and 46: чающей выборки, при
- Page 47 and 48: Рис. 10. Архитектура
- Page 49 and 50: 1.2.5.4. Нейросети на о
- Page 51 and 52: ми связями, занимае
- Page 53 and 54: практически важных
- Page 55 and 56: ния классического
- Page 57 and 58: ческому мозгу во вр
- Page 59 and 60: лаждения системы и
- Page 61 and 62: чем в качестве прог
- Page 63 and 64: ГЛАВА 2. ФРАГМЕНТНЫ
- Page 65 and 66: му типу биологичес
- Page 67 and 68: тему опубликовано
- Page 69 and 70: В настоящее время п
- Page 71 and 72: ниях QSPR/QSAR/SAR. И дейс
- Page 73 and 74: В качестве характе
- Page 75 and 76: Некоторые типы ЦАФ
- Page 77 and 78: кроме того, они сно
- Page 79 and 80: Следует упомянуть
- Page 81 and 82: зисных графов, пред
- Page 83 and 84: рой равен 1 только в
- Page 85 and 86: множества различны
- Page 87 and 88: при проведении вир
рующие один и тот же нейрон, относились по возможности к одному классу.<br />
Это достигается путем использования разного знака перед α (t) в формуле (37) в<br />
зависимости от правильности или неправильности классификации текущего<br />
вектора. Поэтому нейросети последнего класса можно применять также для целей<br />
классификации.<br />
Нейросети Кохонена могут использоваться непосредственно, а также как<br />
часть составных нейронных сетей, где они служат для предварительной обработки<br />
входных данных.<br />
1.2.5.2. Нейросети встречного распространения (counterpropagation)<br />
Нейросети встречного распространения (counterpropagation neural networks)<br />
[65] представляют собой пример составных нейронных сетей, включающих<br />
в свой состав самоорганизующуюся карту Кохонена (см. выше) и т.н.<br />
звезду Гроссберга [66]. В отличие от нейросетей Кохонена, они реализуют<br />
стратегию обучения «с учителем», и поэтому могут быть использованы как для<br />
классификации, так и для решения регрессионных задач.<br />
Нейросети встречного распространения состоят из 3 слоев: входного,<br />
скрытого слоя Кохонена и выходного слоя Гроссберга (см. Рис. 7). В соответствии<br />
с особенностями архитектуры, обучение проводится в 2 этапа: сначала проводится<br />
обучение слоя Кохонена «без учителя» согласно рассмотренной выше<br />
стандартной схеме для этого класса сетей по формулам (35-38) с использованием<br />
только входных векторов, после чего идет настройка «с учителем» выходного<br />
слоя Гроссберга с использованием выходов нейронов Кохонена и векторов<br />
желаемых сигналов (т.е. экспериментальных значений прогнозируемых свойств<br />
в случае QSAR/QSPR-анализа) по формуле:<br />
v = v + β ( y − v ) k , (39)<br />
( t+<br />
1)<br />
ij<br />
( t)<br />
ij<br />
j<br />
ij<br />
i<br />
(t)<br />
где: v - вес связи, идущей из нейрона i в слое Кохонена на нейрон j в слое<br />
ij<br />
Гроссберга на t-ой итерации; k i – выход i-ого нейрона Кохонена; y j – желаемый<br />
выход для j-ого нейрона Гроссберга; β – параметр скорости обучения, который<br />
39
Change language