Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
ций и классификации (распознавания образов) [68, 69]. Как и нейросети встречного распространения, RBF-сети состоят из 3 слоев: входного, скрытого (служащего для кластеризации входных векторов) и выходного для формирования выходных сигналов (см. Рис. 8). Рис. 8. Нейронная сеть с радиальной базисной функцией (RBF-сеть) Скрытый слой у RBF-сетей состоит из RBF-нейронов, функционирование каждого из которых можно описать следующей формулой: ⎛ ⎜ y ⎜ i = exp ⎜ − ⎜ ⎝ M ∑ j= 1 ( x j 2σ −w 2 i ji ) 2 ⎞ ⎟ ⎟ ⎟ , (40) ⎟ ⎠ где: x j – j-ый компонент вектора входных значений; w ji - j-ый компонент вектора весов RBF-нейрона i; σ i – дисперсия, характеризующая ширину радиальнобазисной функции для RBF-нейрона i; M – размерность входного вектора. Вектор весов i-ого RBF-нейрона W = w , w , Kw } задает положение центра его ра- i { 1i 2i Mi диально-базисной функции. Выходные нейроны RBF-сети обычно берутся линейными, т.е. обладающими линейной активационной (передаточной) функцией. Обучение RBF-сети проводится в два этапа. На первом, проходящем «без учителя», определяются положения центров радиально-базисных функций для 42
всех RBF-нейронов, а также их дисперсии. Для этого проводится кластерный анализ исходных данных либо при помощи нейросети Кохонена, либо, чаще всего, алгоритма k-means [70, 71], после чего центры найденных кластеров используются как центры радиально-базисных функций, ширины которых можно, в частности, определить как средние расстояния между центрами кластеров и его ближайшими соседями. Второй этап обучения RBF-сетей проводится «с учителем» - либо итерационно, в соответствии с алгоритмом обратного распространения ошибки, либо с использованием одного из алгоритмов построения линейных регрессионных моделей, в частности, при помощи регрессии на главных компонентах (SVD-регрессии) [72]. Различные варианты RBF-сетей различаются выбором: а) метода кластеризации (если она вообще проводится); б) способов определения положения центра и ширины радиально-базисной функции; в) способов построения линейно-регрессионной модели для обучения выходных нейронов. Ширина радиально-базисной функции иногда берется единой для всех RBF-нейронов, и ее значение, обеспечивающее наибольшую прогнозирующую способность нейронной сети, определяется с помощью процедуры скользящего контроля. Важными модификациями RBF-сетей являются вероятностная нейронная сеть (Probabilistic Neural Network – PNN, P-нейросеть), предложенная Спехтом (Specht) в 1990 г. [73], и нейронная сеть обобщенной регрессии (Generalized Regression Neural Network – GRNN, GR-нейросеть), введенная этим же автором годом позже [74]. GR-нейросети. Функционирование GR-нейросетей основано на использовании математического аппарата непараметрической ядерной регрессии Надарая-Ватсона (Nadaraya-Watson) [75, 76], идея которой заключается в оценке функции плотности вероятности совместного распределения случайной векторной величины x и случайной скалярной величины y по методу Парзена (Parzen) [77]: N T 1 ⎡ ( x − x ⎤ ⎡ i ) ( x − xi ) − = ⋅∑ ⎢− ⎥ ⋅ ( y yi ) ( x, y) exp exp⎢− ( M + 1) / 2 ( M + 1) 2 2 N(2π ) σ i= 1 ⎣ 2σ ⎦ ⎣ 2σ f , (41) 2 ⎤ ⎥ ⎦ 43
- Page 1 and 2: На правах рукописи
- Page 3 and 4: 2.2.6. Классификация
- Page 5 and 6: 5.4. Псевдофрагментн
- Page 7 and 8: 7.4.3. Примеры разных
- Page 9 and 10: ВВЕДЕНИЕ На соврем
- Page 11 and 12: более точного прог
- Page 13 and 14: ГЛАВА 1. ИСКУССТВЕН
- Page 15 and 16: входными; нейроны,
- Page 17 and 18: Таким образом, урав
- Page 19 and 20: 1.2.4. Нейросети обра
- Page 21 and 22: Значения весов объ
- Page 23 and 24: Таким образом, знач
- Page 25 and 26: жения в статье Руме
- Page 27 and 28: Рис. 5. Введение мом
- Page 29 and 30: адаптивно настраив
- Page 31 and 32: 1.2.4.7. Квазиньютонов
- Page 33 and 34: (химических соедин
- Page 35 and 36: на границах решетк
- Page 37 and 38: ными значениями со
- Page 39 and 40: рующие один и тот ж
- Page 41: дящихся на 2-ом, 3-м и
- Page 45 and 46: чающей выборки, при
- Page 47 and 48: Рис. 10. Архитектура
- Page 49 and 50: 1.2.5.4. Нейросети на о
- Page 51 and 52: ми связями, занимае
- Page 53 and 54: практически важных
- Page 55 and 56: ния классического
- Page 57 and 58: ческому мозгу во вр
- Page 59 and 60: лаждения системы и
- Page 61 and 62: чем в качестве прог
- Page 63 and 64: ГЛАВА 2. ФРАГМЕНТНЫ
- Page 65 and 66: му типу биологичес
- Page 67 and 68: тему опубликовано
- Page 69 and 70: В настоящее время п
- Page 71 and 72: ниях QSPR/QSAR/SAR. И дейс
- Page 73 and 74: В качестве характе
- Page 75 and 76: Некоторые типы ЦАФ
- Page 77 and 78: кроме того, они сно
- Page 79 and 80: Следует упомянуть
- Page 81 and 82: зисных графов, пред
- Page 83 and 84: рой равен 1 только в
- Page 85 and 86: множества различны
- Page 87 and 88: при проведении вир
- Page 89 and 90: 21 01 12 12 21 01 Рис. 17. Ре
- Page 91 and 92: ределенных атомных
ций и классификации (распознавания образов) [68, 69]. Как и нейросети<br />
встречного распространения, RBF-сети состоят из 3 слоев: входного, скрытого<br />
(служащего для кластеризации входных векторов) и выходного для формирования<br />
выходных сигналов (см. Рис. 8).<br />
Рис. 8. Нейронная сеть с радиальной базисной функцией (RBF-сеть)<br />
Скрытый слой у RBF-сетей состоит из RBF-нейронов, функционирование<br />
каждого из которых можно описать следующей формулой:<br />
⎛<br />
⎜<br />
y<br />
⎜<br />
i<br />
= exp<br />
⎜<br />
−<br />
⎜<br />
⎝<br />
M<br />
∑<br />
j=<br />
1<br />
( x<br />
j<br />
2σ<br />
−w<br />
2<br />
i<br />
ji<br />
)<br />
2<br />
⎞<br />
⎟<br />
⎟<br />
⎟<br />
, (40)<br />
⎟<br />
⎠<br />
где: x j – j-ый компонент вектора входных значений; w ji - j-ый компонент вектора<br />
весов RBF-нейрона i; σ i – дисперсия, характеризующая ширину радиальнобазисной<br />
функции для RBF-нейрона i; M – размерность входного вектора. Вектор<br />
весов i-ого RBF-нейрона W = w , w , Kw<br />
} задает положение центра его ра-<br />
i<br />
{<br />
1i<br />
2i<br />
Mi<br />
диально-базисной функции. Выходные нейроны RBF-сети обычно берутся линейными,<br />
т.е. обладающими линейной активационной (передаточной) функцией.<br />
Обучение RBF-сети проводится в два этапа. На первом, проходящем «без<br />
учителя», определяются положения центров радиально-базисных функций для<br />
42
Change language