НАУЧНЫЕ УНИВЕРСАЛИИ - На главную - Санкт-Петербургский ...

ответ. Шеннон искал путь измерения количества информации,
генерированной сообщением и количество информации, переданное
потребителю (среднее количество, передаваемое через канал). Со
времени его работ стало привычно думать об измерении информации в
терминах уменьшения неопределенности. Информацию
идентифицируют с уменьшением неопределенности или с
уничтожением возможностей, представляющих существование
события или положение дел. Количество информации отождествляется
с тем, как много возможностей элиминируется. Если событие
однозначно и не может быть иначе, то в нем содержится минимальная
информация и, наоборот.
Рассмотрим вариант определения информации как
противоположности энтропии – то есть негэнтропии. Под энтропией
принято понимать беспорядок, дезорганизацию, хаотизацию системы,
т.е. состояния с высокой степенью вероятности поведения. Согласно
определению Л.Больцмана, энтропия является функцией состояния
термодинамической системы. Энтропия Больцмана должна быть
положительной. Он связал понятие энтропии с термодинамической
вероятностью состояния макросистемы. Что будет, если мы с
помощью перегородки сдвинем все молекулы в сосуде с газом в
верхнюю часть сосуда, а затем уберем перегородку. Любой школьник
скажет, что в этом случае молекулы газа с высокой вероятностью
распространятся по всему сосуду, то есть займут весь
предоставленный им объем бесчисленным количеством способов. В
данном случае хаотизация в поведении молекул газа достигнет высшей
точки, следовательно, энтропия достигнет своей предельной
величины.
Впервые понятия энтропии и информации связал Шеннон. В
1948 г. он предложил формулу для вычисления количества
информации для событий с различными вероятностями. Если I -
количество информации, К - количество возможных событий, р i -
вероятности отдельных событий, то количество информации для
событий с различными вероятностями можно определить по формуле:
I = - Sum р i log 2 р i , где i принимает значения от 1 до К. С его подачи
энтропия стала использоваться как мера полезной информации в
процессах передачи сигналов по проводам. Под информацией Шеннон
понимал сигналы, полезные для получателя. Прочие сигналы, с точки
зрения Шеннона, являлись шумом, помехами. Как и функционалисты,
Шеннон и его последователи считали, что если сигнал на выходе
канала связи является точной копией сигнала на входе, то это означает
минимум энтропии. Таким образом, отсутствие шума (энтропии)
261