teoria komunikacji Shannona.pdf
teoria komunikacji Shannona.pdf
teoria komunikacji Shannona.pdf
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Wstęp Model <strong>komunikacji</strong> Ilość informacji Entropia Kodowanie Redundancja Twierdzenia <strong>Shannona</strong> Podsumowanie<br />
Definicja<br />
Entropia. Jeśli źródło nadaje n różnych komunikatów z<br />
prawdopodobieństwami P 1 , P 2 , ..., P n , to średnia ważona ilość<br />
informacji w komunikatach tego źródła wyraża się wzorem<br />
H = −P 1 log 2 P 1 − P 2 log 2 P 2 − ... − P n log 2 P n = −<br />
n∑<br />
P i log 2 P i<br />
i nosi nazwę entropii informacyjnej źródła informacji. Jednostką<br />
entropii jest bit.<br />
Własności entropii:<br />
1 jest nieujemna<br />
2 jest maksymalna, gdy prawdopodobieństwa zdarzeń są takie<br />
same<br />
3 własność superpozycji - gdy dwa systemy są niezależne to<br />
entropia sumy systemów równa się sumie entropii.<br />
Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu.<br />
Informacja w informatyce cz. 1 <strong>teoria</strong> <strong>komunikacji</strong> C. <strong>Shannona</strong><br />
i=1
Change language