формат Adobe PDF, размер 2173 Кб - Информационно ...

Н. Г. МАКАРЕНКОограниченном интервале, можно сколь угодно точно аппроксимировать полиномами.Следовательно, множество полиномов (т. е. подмножество A)всюду плотно в пространстве R ≡ C[X] непрерывных функций. Самымизвестным обобщением этого утверждения является теорема Стоуна.Теорема Стоуна. Пусть X компактное метрическое пространство, C[X] —множество непрерывных функций, определенных на X и A подалгебра (7)в C[X] со следующими свойствами:• функция f(x) = 1 принадлежит A;• для любых двух точек x ≠ y из X существует функция f ∈ A, такаячто f(x) ≠ f(y).Тогда A плотно в C[X].Теорема Стоуна значительно расширяет класс доступных строительныхблоков: действительно, достаточно взять компактное подмножество функций,различающих точки и образующих подалгебру относительно «школьных»алгебраических операций и мы получим возможность аппроксимироватьпрактически любую непрерывную функцию! Такими функциямимогут быть, например, тригонометрические многочлены, радиальные базисныефункции и др.Почти любая схема аппроксимации может быть «отображена» на некоторыйтип «сети» или графа, который можно условно считать «нейроннойсетью». Такие сети являются просто графическим обозначением широкогокласса алгоритмов. Чтобы продемонстрировать, как задача аппроксимациивыглядит в «сетевой» формулировке, рассмотрим несколько вариантов длявозможного выбора F (w, x):• линейный случай: F (w, x) = w · x, где w — матрица размера m × n,x — n-мерный вектор; этот вариант соответствует сети без скрытыхслоев;• классическая схема аппроксимации с базисными функциями ϕ i (x),т. е. F (w, x) = w · ϕ i (x). Этот вариант соответствует сети с однимскрытым слоем; разложение по ортогональным полиномам или радиальнымбазисным функциям;• схема со вложенными сигмоидами, которую мы рассмотрим в следующемразделе.УДК 004.032.26 (06) Нейронные сети 121