m kn n 0k − ∑ =

TEORIA INFORMACJI A KRYPTOLOGIA
Niech X będzie zmienną losową przybierającą wartości ze skończonego zbioru { x 1 , x 2 , ..., x n } ,
przy czym rozkład prawdopodobieństwa tej zmiennej określony będzie przez zbiór wartości:
p i = P ( X = x i ) (i = 1, 2, ..., n )
a ponadto:
n
Σ p i = 1
i =1
Rozkład ten, o ile nie będzie to wiodło do nieporozumień, będzie oznaczany jako p ( X ).
Entropia jest miarą ilości informacji pozyskanej w wyniku obserwacji zmiennej losowej X:
n
Η(X) = − Σ p i log 2
p i [w bitach]
i=1
W.Chocianowicz – Kryptologia – semestr zimowy 2008/2009
str.93