формат Adobe PDF, размер 2173 Кб - Информационно ...

А. А. ФРОЛОВ, Д. ГУСЕК, И. П. МУРАВЬЕВматрицы связей, но и без записи набора эталонов, оплачивая эту экономиюпамяти уменьшением скорости счета примерно в два раза.Информация, извлекаемая из сети за счет коррекцииискаженных эталоновДля вычисления количества информации, извлекаемой из памяти за счеткоррекции искаженных эталонов, мы применяем основные понятия теорииинформации. Взаимная информация случайных величин A и B вычисляетсяпо формулеI(A, B) = H(A) − H(A|B) = H(B) − H(B|A) .Взаимная условная информация случайных величин A и B при условии,что задана случайная величина C, вычисляется по формулегдеI(A, B|C) = H(A|C) − H(A|B, C) ,H(A) = − ∑ AP{A} log 2 P{A}есть энтропия случайной величины A иH(A|B) = − ∑ A,BP{A, B} log 2 P{A|B}есть условная энтропия случайной величины A.Информация, полученная из сети за счет коррекции входного паттерна,задается выражениемi g = I(X l , X f |X in ) = H(X l |X in ) − H(X l |X in , X f ) , (8)где X in и X f — начальный и финальный паттерны в процессе воспроизведенияэталона X l , соответственно. В (8) первый член дает величинуинформации, требуемой для нахождения эталона, когда известен лишь начальныйпаттерн (начальная неопределенность восстанавливаемого эталона),а второй — остаточную неопределенность, когда становится известнымУДК 004.032.26 (06) Нейронные сети 39