ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ... ÑоÑÐ¼Ð°Ñ Adobe PDF, ÑÐ°Ð·Ð¼ÐµÑ 2173 Ðб - ÐнÑоÑмаÑионно ...
ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕ, согласно (9) од-Для того, чтобы i-й нейрон перешел в состояние ⃗x m iновременно должно выполнятьсяsign(A (m) il) = x m i ,iN−1∑j=1ξ j + x m iL∑ L∑η r | η r | .r=1 r=1В противном случае, произойдет ошибка распознавания вектор-координаты⃗x m i . Поскольку случайная величина xm i η r имеет то же самое распределение,что и η r , вероятность ошибки распознавания можно представить в виде:{N−1∑Pr i = Pr ξ j +j=1L∑r=1}η r < 0 . (11)Для оценки вероятности (11) при N ≫ 1 воспользуемся известнойтехникой Чебышева-Чернова [17, 18]. Для начала, запишем:{N−1∑Pr i Pr ξ j +j=1L∑r=1} { N−1∑η r 0 = Pr − ξ j −j=1L∑r=1}η r 0 .Далее, используя экспоненциальные оценки чебышевского типа [24], длялюбого положительного z > 0, получаем:[ ( N−1∑Pr i exp z − ξ j −j=1L∑ ) ]η r =r=1[ (] p−1 N−1exp(−zξ j ) exp(−zη r )).Черта сверху означает усреднение по всем возможным реализациям, а последнееравенство следует из независимости случайных величин ξ j и η r .С учетом (10), легко получить выражения для среднихexp(−zξ j ) = (1 − a)(1 − b)e −z + b + a(1 − b)e z ,exp(−zη r ) = e −z /2q 2 + 1 − 1/q 2 + e z /2q 2 .Делая здесь замену переменных e z = y и вводя функции f 1 (y) и f 2 (y),f 1 (y) = a(1 − b)y + b + (1 − a)(1 − b)/y,f 2 (y) = 1/2q 2 (y + 1/y) + 1 − 1/q 2 ,80 УДК 004.032.26 (06) Нейронные сети
Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙполучаем, что при любом положительном y для Pr i справедливо:Pr i [f 1 (y)f p−12 (y)] N−1. (12)Для получения наинизшей оценки вероятности Pr i необходимо отыскатьзначение переменной y, минимизирующее правую часть (12). Это приводитк уравнению:(p − 1)(y 2 − 1) + a(1 − b)y2 − (1 − a)(1 − b)a(1 − b)y 2 + by + (1 − a)(1 − b) [y2 + 2(q 2 − 1)y + 1] = 0 .В случае p ≫ 1 интересующий нас корень этого уравнения, с точностьюдо членов более высокого порядка малости по 1/p, равенy 1 = 1 + q2 (1 − 2a)(1 − b)(p − 1)Подставляя y 1 в правую часть (11), окончательно получаем оценку длявероятности неправильного распознавания вектор-координаты ⃗x m i :Pr i [1 − q2 (1 − 2a) 2 (1 − b) 2 ] N−1 ]∼=N(1 − 2a)2exp[− · q 2 (1 − b) 2 .2(p − 1)2pВ результате, для вероятности ошибки распознавания паттерна X m имеем:]N(1 − 2a)2Pr err = N exp[− · q 2 (1 − b) 2 . (13)2pС ростом N вероятность ошибки распознавания стремится к нулю, если pрастет медленнее, чемp c =N(1 − 2a)22 ln N.· q 2 (1 − b) 2 . (14)Оценку (14) можно рассматривать как асимптотически достижимую емкостьпамяти ПНС.При q = 1 выражения (13) и (14) превращаются в известные результатыдля модели Хопфилда (в этом случае b = 0). С ростом q экспоненциальноуменьшается вероятность ошибки распознавания (13) — существенно растетпомехоустойчивость сети. Одновременно, пропорционально q 2 растетУДК 004.032.26 (06) Нейронные сети 81
- Page 30 and 31: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 32 and 33: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 34 and 35: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 36 and 37: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 38 and 39: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 40 and 41: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 42 and 43: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 44 and 45: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 46 and 47: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 48 and 49: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 50 and 51: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 52 and 53: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 54 and 55: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 56 and 57: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 58 and 59: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 60 and 61: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 62 and 63: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 64 and 65: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 66 and 67: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 68 and 69: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 70 and 71: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 72 and 73: Б. В. КРЫЖАНОВСКИЙ,
- Page 74 and 75: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 76 and 77: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 78 and 79: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 82 and 83: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 84 and 85: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 86 and 87: Н. Г. МАКАРЕНКОИнст
- Page 88 and 89: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 90 and 91: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 92 and 93: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 94 and 95: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 96 and 97: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 98 and 99: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 100 and 101: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 102 and 103: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 104 and 105: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 106 and 107: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 108 and 109: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 110 and 111: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 112 and 113: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 114 and 115: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 116 and 117: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 118 and 119: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 120 and 121: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 122 and 123: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 124 and 125: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 126 and 127: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
- Page 128 and 129: ISBN 5-7262-0471-9ЛЕКЦИИ ПО
Б. В. КРЫЖАНОВСКИЙ, Л. Б. ЛИТИНСКИЙполучаем, что при любом положительном y для Pr i справедливо:Pr i [f 1 (y)f p−12 (y)] N−1. (12)Для получения наинизшей оценки вероятности Pr i необходимо отыскатьзначение переменной y, минимизирующее правую часть (12). Это приводитк уравнению:(p − 1)(y 2 − 1) + a(1 − b)y2 − (1 − a)(1 − b)a(1 − b)y 2 + by + (1 − a)(1 − b) [y2 + 2(q 2 − 1)y + 1] = 0 .В случае p ≫ 1 интересующий нас корень этого уравнения, с точностьюдо членов более высокого порядка малости по 1/p, равенy 1 = 1 + q2 (1 − 2a)(1 − b)(p − 1)Подставляя y 1 в правую часть (11), окончательно получаем оценку длявероятности неправильного распознавания вектор-координаты ⃗x m i :Pr i [1 − q2 (1 − 2a) 2 (1 − b) 2 ] N−1 ]∼=N(1 − 2a)2exp[− · q 2 (1 − b) 2 .2(p − 1)2pВ результате, для вероятности ошибки распознавания паттерна X m имеем:]N(1 − 2a)2Pr err = N exp[− · q 2 (1 − b) 2 . (13)2pС ростом N вероятность ошибки распознавания стремится к нулю, если pрастет медленнее, чемp c =N(1 − 2a)22 ln N.· q 2 (1 − b) 2 . (14)Оценку (14) можно рассматривать как асимптотически достижимую емкостьпамяти ПНС.При q = 1 выражения (13) и (14) превращаются в известные результатыдля модели Хопфилда (в этом случае b = 0). С ростом q экспоненциальноуменьшается вероятность ошибки распознавания (13) — существенно растетпомехоустойчивость сети. Одновременно, пропорционально q 2 растетУДК 004.032.26 (06) Нейронные сети 81