формат Adobe PDF, размер 2173 Кб - Информационно ...

формат Adobe PDF, размер 2173 Кб - Информационно ... формат Adobe PDF, размер 2173 Кб - Информационно ...

neurolectures.narod.ru
from neurolectures.narod.ru More from this publisher
11.07.2015 Views

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ, согласно (9) од-Для того, чтобы i-й нейрон перешел в состояние ⃗x m iновременно должно выполнятьсяsign(A (m) il) = x m i ,iN−1∑j=1ξ j + x m iL∑ L∑η r | η r | .r=1 r=1В противном случае, произойдет ошибка распознавания вектор-координаты⃗x m i . Поскольку случайная величина xm i η r имеет то же самое распределение,что и η r , вероятность ошибки распознавания можно представить в виде:{N−1∑Pr i = Pr ξ j +j=1L∑r=1}η r < 0 . (11)Для оценки вероятности (11) при N ≫ 1 воспользуемся известнойтехникой Чебышева-Чернова [17, 18]. Для начала, запишем:{N−1∑Pr i Pr ξ j +j=1L∑r=1} { N−1∑η r 0 = Pr − ξ j −j=1L∑r=1}η r 0 .Далее, используя экспоненциальные оценки чебышевского типа [24], длялюбого положительного z > 0, получаем:[ ( N−1∑Pr i exp z − ξ j −j=1L∑ ) ]η r =r=1[ (] p−1 N−1exp(−zξ j ) exp(−zη r )).Черта сверху означает усреднение по всем возможным реализациям, а последнееравенство следует из независимости случайных величин ξ j и η r .С учетом (10), легко получить выражения для среднихexp(−zξ j ) = (1 − a)(1 − b)e −z + b + a(1 − b)e z ,exp(−zη r ) = e −z /2q 2 + 1 − 1/q 2 + e z /2q 2 .Делая здесь замену переменных e z = y и вводя функции f 1 (y) и f 2 (y),f 1 (y) = a(1 − b)y + b + (1 − a)(1 − b)/y,f 2 (y) = 1/2q 2 (y + 1/y) + 1 − 1/q 2 ,80 УДК 004.032.26 (06) Нейронные сети

Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙполучаем, что при любом положительном y для Pr i справедливо:Pr i [f 1 (y)f p−12 (y)] N−1. (12)Для получения наинизшей оценки вероятности Pr i необходимо отыскатьзначение переменной y, минимизирующее правую часть (12). Это приводитк уравнению:(p − 1)(y 2 − 1) + a(1 − b)y2 − (1 − a)(1 − b)a(1 − b)y 2 + by + (1 − a)(1 − b) [y2 + 2(q 2 − 1)y + 1] = 0 .В случае p ≫ 1 интересующий нас корень этого уравнения, с точностьюдо членов более высокого порядка малости по 1/p, равенy 1 = 1 + q2 (1 − 2a)(1 − b)(p − 1)Подставляя y 1 в правую часть (11), окончательно получаем оценку длявероятности неправильного распознавания вектор-координаты ⃗x m i :Pr i [1 − q2 (1 − 2a) 2 (1 − b) 2 ] N−1 ]∼=N(1 − 2a)2exp[− · q 2 (1 − b) 2 .2(p − 1)2pВ результате, для вероятности ошибки распознавания паттерна X m имеем:]N(1 − 2a)2Pr err = N exp[− · q 2 (1 − b) 2 . (13)2pС ростом N вероятность ошибки распознавания стремится к нулю, если pрастет медленнее, чемp c =N(1 − 2a)22 ln N.· q 2 (1 − b) 2 . (14)Оценку (14) можно рассматривать как асимптотически достижимую емкостьпамяти ПНС.При q = 1 выражения (13) и (14) превращаются в известные результатыдля модели Хопфилда (в этом случае b = 0). С ростом q экспоненциальноуменьшается вероятность ошибки распознавания (13) — существенно растетпомехоустойчивость сети. Одновременно, пропорционально q 2 растетУДК 004.032.26 (06) Нейронные сети 81

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ, согласно (9) од-Для того, чтобы i-й нейрон перешел в состояние ⃗x m iновременно должно выполнятьсяsign(A (m) il) = x m i ,iN−1∑j=1ξ j + x m iL∑ L∑η r | η r | .r=1 r=1В противном случае, произойдет ошибка распознавания вектор-координаты⃗x m i . Поскольку случайная величина xm i η r имеет то же самое распределение,что и η r , вероятность ошибки распознавания можно представить в виде:{N−1∑Pr i = Pr ξ j +j=1L∑r=1}η r < 0 . (11)Для оценки вероятности (11) при N ≫ 1 воспользуемся известнойтехникой Чебышева-Чернова [17, 18]. Для начала, запишем:{N−1∑Pr i Pr ξ j +j=1L∑r=1} { N−1∑η r 0 = Pr − ξ j −j=1L∑r=1}η r 0 .Далее, используя экспоненциальные оценки чебышевского типа [24], длялюбого положительного z > 0, получаем:[ ( N−1∑Pr i exp z − ξ j −j=1L∑ ) ]η r =r=1[ (] p−1 N−1exp(−zξ j ) exp(−zη r )).Черта сверху означает усреднение по всем возможным реализациям, а последнееравенство следует из независимости случайных величин ξ j и η r .С учетом (10), легко получить выражения для среднихexp(−zξ j ) = (1 − a)(1 − b)e −z + b + a(1 − b)e z ,exp(−zη r ) = e −z /2q 2 + 1 − 1/q 2 + e z /2q 2 .Делая здесь замену переменных e z = y и вводя функции f 1 (y) и f 2 (y),f 1 (y) = a(1 − b)y + b + (1 − a)(1 − b)/y,f 2 (y) = 1/2q 2 (y + 1/y) + 1 − 1/q 2 ,80 УДК 004.032.26 (06) Нейронные сети

Hooray! Your file is uploaded and ready to be published.

Saved successfully!

Ooh no, something went wrong!