Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи Ðа пÑÐ°Ð²Ð°Ñ ÑÑкопиÑи
того слоя сигналы уже, в свою очередь, поступали на выходной слой нейронов для дальнейшей обработки (см. Рис. 3). Эти попытки имитации человеческого восприятия на нейронах МакКаллока-Питтса, однако, оказались не совсем удачными, поскольку они не оправдали всех возлагавшихся на них надежд [7]. Поскольку в то время был известен способ настройки весов связей, идущих лишь к нейронам одного (выходного) слоя, то на практике персептроны Розенблатта оказались неспособными обучаться распознаванию сложных образов, и их реальная распознающая способность оказалась не выше, чем у более простых и понятных стандартных методов дискриминатного анализа. Все это привело к разочарованию и, как следствие, прекращению практически всех проводившихся работ в области искусственных нейронных сетей. входной слой скрытый слой выходной слой Рис. 3. Многослойный персептрон Розенблатта. Преобразования сигналов производится по формулам (1) и (2) на скрытых и выходных нейронах, изображенных кружками, тогда как изображенные квадратами входные псевдонейроны служат исключительно для ввода данных. 18
1.2.4. Нейросети обратного распространения (backpropagation) 1.2.4.1. Общая характеристика К середине 80-ых годов стало ясно, что одна из причин неудач кроется в конкретном виде пороговой функции активации (2). Оказалось, что замена пороговой функции (2) на непрерывную, ограниченную и монотонновозрастающую, например, сигмоидную функцию (3), способна привести к построению многослойных персептронов, все веса связей которых способны эффективно обучаться при помощи алгоритма обратного распространения ошибок (error backpropagation) [41, 42]. Именно благодаря открытию (точнее, переоткрытию) этого алгоритма, с конца 80-ых годов начался этап активного развития и использования аппарата искусственных нейронных сетей в разных областях науки и техники (см. книги и учебные пособия [10-24]), а с начала 90-ых – в различных областях химии (см. [30-34]) и, в частности, в области исследования зависимости структура-свойство для органических соединений [35-39]. f ( x) = 1 (3) 1 −x + e Кроме чисто математических причин, переход к подобным непрерывным дифференцируемым функциям имеет и определенное нейрофизиологическое обоснование. С точки зрения способа передачи информации, сигнал реальных биологических нейронов модулирован не по амплитуде, а по частоте, и, к тому же, является стохастическим, что вполне согласуется с уравнениями (1) и (3) при условии, что уровень сигнала (активации) o i показывает, с какой вероятностью нейрон i переходит в возбужденное состояние. Алгоритм обратного распространения ошибки (см. ниже) сыграл настолько важную роль в истории становления многослойных персептронов, что сами нейросети этого типа часто стали называть нейросетями с обратным распространением (backpropagation neural networks). К основным достоинствам таких нейросетей можно отнести их способность находить нелинейные и многопараметрические линейные зависимости, характеризующиеся высокой точностью интерполяции, даже в тех случаях, ко- 19
- Page 1 and 2: На правах рукописи
- Page 3 and 4: 2.2.6. Классификация
- Page 5 and 6: 5.4. Псевдофрагментн
- Page 7 and 8: 7.4.3. Примеры разных
- Page 9 and 10: ВВЕДЕНИЕ На соврем
- Page 11 and 12: более точного прог
- Page 13 and 14: ГЛАВА 1. ИСКУССТВЕН
- Page 15 and 16: входными; нейроны,
- Page 17: Таким образом, урав
- Page 21 and 22: Значения весов объ
- Page 23 and 24: Таким образом, знач
- Page 25 and 26: жения в статье Руме
- Page 27 and 28: Рис. 5. Введение мом
- Page 29 and 30: адаптивно настраив
- Page 31 and 32: 1.2.4.7. Квазиньютонов
- Page 33 and 34: (химических соедин
- Page 35 and 36: на границах решетк
- Page 37 and 38: ными значениями со
- Page 39 and 40: рующие один и тот ж
- Page 41 and 42: дящихся на 2-ом, 3-м и
- Page 43 and 44: всех RBF-нейронов, а
- Page 45 and 46: чающей выборки, при
- Page 47 and 48: Рис. 10. Архитектура
- Page 49 and 50: 1.2.5.4. Нейросети на о
- Page 51 and 52: ми связями, занимае
- Page 53 and 54: практически важных
- Page 55 and 56: ния классического
- Page 57 and 58: ческому мозгу во вр
- Page 59 and 60: лаждения системы и
- Page 61 and 62: чем в качестве прог
- Page 63 and 64: ГЛАВА 2. ФРАГМЕНТНЫ
- Page 65 and 66: му типу биологичес
- Page 67 and 68: тему опубликовано
того слоя сигналы уже, в свою очередь, поступали на выходной слой нейронов<br />
для дальнейшей обработки (см. Рис. 3).<br />
Эти попытки имитации человеческого восприятия на нейронах МакКаллока-Питтса,<br />
однако, оказались не совсем удачными, поскольку они не оправдали<br />
всех возлагавшихся на них надежд [7]. Поскольку в то время был известен<br />
способ настройки весов связей, идущих лишь к нейронам одного (выходного)<br />
слоя, то на практике персептроны Розенблатта оказались неспособными обучаться<br />
распознаванию сложных образов, и их реальная распознающая способность<br />
оказалась не выше, чем у более простых и понятных стандартных методов<br />
дискриминатного анализа. Все это привело к разочарованию и, как следствие,<br />
прекращению практически всех проводившихся работ в области искусственных<br />
нейронных сетей.<br />
входной слой<br />
скрытый слой<br />
выходной слой<br />
Рис. 3. Многослойный персептрон Розенблатта. Преобразования сигналов<br />
производится по формулам (1) и (2) на скрытых и выходных нейронах,<br />
изображенных кружками, тогда как изображенные квадратами входные<br />
псевдонейроны служат исключительно для ввода данных.<br />
18
Change language