teoria komunikacji Shannona.pdf

Wstęp Model komunikacji Ilość informacji Entropia Kodowanie Redundancja Twierdzenia Shannona Podsumowanie
Porównanie efektywności kodowania.
A B C D E F G H
0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04
Kod 1. (równa długość słów kodowych)
średnia długość słowa kodowego L = 3 bity/symbol
entropia źródła H = ∑ n
i=1 P i log 2 P i =
−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 ·
log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55
Efektywność kodowania wynosi η = 2,55
3
· 100% = 85%
Zatem redundancja wynosi 15%.
Kod. 2.(Shannona-Fano)
Średnia długość słowa kodowego wynosi 2.64 bita/symbol
Efektywność kodowania wynosi zatem η = 2,55
2.64 · 100% = 96, 6% .
Zatem redundancja wynosi 3, 7%.
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.
Informacja w informatyce cz. 1 teoria komunikacji C. Shannona