формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ2. Гладкость функции измеряется ее гельдеровским показателем: говорят,что функция f(x) имеет локальный показатель Гельдера α ∈[0, 1] в точке x, если для достаточно малого числа h > 0 cуществуеттакая константа C, что |f(x + h) − f(x)| Ch α . Значениюα = 1 соответствует существование одной производной. Пусть функцияf(x) ∈ C r задана в единичном n-мерном кубе. Если все ее частныепроизводные порядка r имеют показатель Гельдера α, то сложностьфункции можно измерить величиной [45] χ −1 = n/(r + α).Таким образом, сложность функции прямо пропорциональна числупеременных и обратно пропорциональна суммарной гладкости функциии ее производных. Известно, что не все функции с показателемχ 0 могут быть представлены суперпозицией функций с характеристикойχ > χ 0 . В частности, существуют C r -функции n переменных,которые нельзя представить c помощью суперпозиции C r -функцийот менее чем n переменных. Таким образом, теорема Колмогорова —просто патологический случай!3. Функция активации σ называется сигмоидальной, так как форма техфункций, которые выбираются на практике, обычно напоминают поформе деформированную букву S. Примером может служить широкораспространенная логистическая функция y = (1 + exp(−x)) −1 . Онаимеет два преимущества. Во-первых, ее производная dy/dx оченьпросто выражается через y, что существенно упрощает численнуюминимизацию ошибки при коррекции весов. Во-вторых, она естественнымобразом применима в задачах байесовской классификации[57]. Формально говоря, сигмоидальными называют функции, удовлетворяющиедвум условиям: lim t→∞ σ(t) = 1 и lim t→−∞ σ(t) =0.4. Недавно появилась работа [56], в которой предлагается нейроннаясеть, согласованная с традициями теории аппроксимации.5. Иными словами, отображение S : {0, 1} N → {0, 1} может быть записанокак дизъюнкция конъюнкций, что в переводе на язык пороговыхэлементов и есть приведенное в тексте выражение.6. Существенное множество должно быть замкнутым. Этому условиюудовлетворяют радиальные базисные функции, но не сигмоидные[46].130 УДК 004.032.26 (06) Нейронные сети