формат Adobe PDF, размер 2173 Кб - Информационно ...

ISBN 5–7262–0471–9ЛЕКЦИИ ПО НЕЙРОИНФОРМАТИКЕp 01 = p 00 = p 0 полностью определяются значением конечного пересеченияm f (см. уравнение (15)), и поэтому конечная энтропия воспроизводимогоэталона Nh f , заданная формулой (12), полностью определяется значениемm in (взятым для данного α на границе базы притяжения) и качествомвоспроизведения, т. е. m f .Коэффициенты информационной эффективности E, рассчитанные поформуле (17) для различных значений p, показаны на рис. 14 толстымилиниями. Значения i in , рассчитанные по формуле (18), которые задают начальнуюэнтропию воспроизводимых эталонов, показаны тонкими линиями.Значения i f , рассчитанные по формуле (19), задающие конечную энтропиюэталонов, показаны штриховыми линиями. Значения i ′ f = αh′ f /h(p),где h ′ fрассчитано по формуле (16), показаны пунктирными линиями.Когда информационная нагрузка α относительно мала, размеры баз притяжениявелики (h in ≃ h(p)), а качество воспроизведения близко к единице(h f ≪ h(p)). Тогда E ≃ α, т. е. из сети извлекается почти столько же информации,сколько в нее заложено. Когда α возрастает, различие междуα и E возрастает как за счет уменьшения баз притяжения, так и за счетуменьшения качества воспроизведения. Для p = 0.5 максимальная информационнаяэффективность составляет 0.092, что совпадает с результатомработы [16]. Для p = 0.1 она составляет 0.167, что превышает значение0.143, полученное в работе [16]. Это различие не может объясняться темфактом, что в этой работе при расчете конечной энтропии воспроизводимогоэталона пренебрегается информацией, данной начальным паттерном(т. е. используется формула (16) вместо (12)). Такое пренебрежение наоборотприводит к завышению информационной эффективности. Основнаяпричина расхождения нашей оценки информационной эффективности иоценки работы [16] объясняется тем, что в этой работе использовался метод,основанный на RM-методе, а этот метод дает заниженную оценкуинформационной емкости при p = 0.1 (см. раздел «Компьютерное моделирование»,с. 48–64). При такой разреженности кодирования мы оценивалиинформационную эффективность SN-методом первого порядка, который,как показано на рис. 11a, дает намного более точную оценку всех характеристиксети. Различие между нашей оценкой и результатом работы [16]могло бы быть еще больше, если бы мы считали информационную эффективностьдля случая, когда начальные паттерны являются фрагментамиэталонов, как это сделано в работе [16], а не для случая, когда начальныепаттерны содержат активные нейроны, совпадающие и не совпадающие сактивными нейронами эталонов, как это сделано в наших исследованиях.66 УДК 004.032.26 (06) Нейронные сети