teoria komunikacji Shannona.pdf

Wstęp Model komunikacji Ilość informacji Entropia Kodowanie Redundancja Twierdzenia Shannona Podsumowanie 

Informacja w informatyce cz. 1 

teoria komunikacji C. Shannona 

Izabela Bondecka-Krzykowska 

Wydział Matematyki i Informatyki UAM 

ul. Umultowska 87 

61–614 Poznań 

izab@amu.edu.pl 

Izabela Bondecka-Krzykowska Wydział Matematyki i Informatyki UAM ul. Umultowska 87 61–614 Poznań izab@amu.edu. 

Informacja w informatyce cz. 1 teoria komunikacji C. Shannona


Głównym celem matematycznej teorii informacji jest opracowanie 

odpowiednich metod kodowania i przesyłania danych. 




Głównym celem matematycznej teorii informacji jest opracowanie 

odpowiednich metod kodowania i przesyłania danych. 

Za ojca teorii informacji uważa się Claude’a E. Shannona 

1945 „A Mathematical Theory of Cryptography” 

1948 „A Mathematical Theory of Communication” 




Teoria informacji Shannona charakteryzuje w sposób matematyczny 

zapis, przesyłanie i odtwarzanie informacji. Dąży przy tym do 

pogodzenia dwóch przeciwstawnych celów: 

zapisywania wiadomości jak najzwięźlej, 

chronienia wiadomości przed przekłamaniami podczas 

transmisji. 




W pracy z roku 1948 Shannon przedstawia następujący model 

komunikacji: 




źródło informacji, które wytwarza wiadomość 




nadajnik, który przekształca wiadomość w taki sposób, aby 

można ją było przesłać przez dany kanał (w sygnał). 




odbiornik zazwyczaj wykonuje operację odwrotną do 

wykonanej przez nadajnik. 




odbiorca to osoba lub rzecz do której kierowana jest 

wiadomość. 




kanał to medium za pomocą którego wiadomość dociera od 

nadajnika do odbiornika. 




źródło zakłóceń 




komunikat zawiera tym więcej informacji, im mniejsze jest 

prawdopodobieństwo jego wystąpienia.Jest to jedno z 

podstawowych założeń ilościowej teorii informacji. 




komunikat zawiera tym więcej informacji, im mniejsze jest 

prawdopodobieństwo jego wystąpienia.Jest to jedno z 

podstawowych założeń ilościowej teorii informacji. 

Ilość informacji określa się w teorii informacji jako usunięcie 

lub zmniejszenie nieokreśloności zaistnienia dowolnego 

zdarzenia (komunikatu).Jest to różnica nieokreśloności pewnego 

wyniku przed i po zaistnieniu zdarzenia. 




Źródła informacji 

źródło unarne – kruk Poe’go, który na wszystkie zadawane 

pytania odpowiada zawsze jednakowo „być może”. 







Produkuje ono informację zerową. 








źródło binarne – symetryczna moneta (orzeł-reszka). Przed 

rzutem monetą informowany nie wie, czy wpadnie orzeł czy 

reszka a zatem informowany znajduje się w stanie deficytu 

danych równym 2 jednostki. 












Ilość informacji = jedna jednostka. 













dwie monety (ozn.je przez A i B). W wyniku takiego rzutu 

możemy otrzymać 4 różne wyniki: , , , 

. Zatem źródło to generuje deficyt danych równy 4 

jednostki. 













dwie monety (ozn.je przez A i B). W wyniku takiego rzutu 

możemy otrzymać 4 różne wyniki: , , , 

. Zatem źródło to generuje deficyt danych równy 4 

jednostki. 

Ilość informacji = dwie jednostki. 




Ozn. N – liczba symboli generowanych przez źródło (liczba 

możliwych zdarzeń). 






Dla N = 1 ilość informacji generowanej przez źródło wynosi 0. 







Dla N = 2 źródło produkuje 1 jednostkę informacji (w przypadku 

rzutu jedną monetą informacja dotyczy tego, czy wypadł orzeł, czy 

reszka). 







Dla N = 2 źródło produkuje 1 jednostkę informacji (w przypadku 

rzutu jedną monetą informacja dotyczy tego, czy wypadł orzeł, czy 

reszka). 

Dla N = 4 (rzut dwiema monetami) ilość informacji generowanej 

przez źródło wynosi 2 jednostki. 




Przykład. Jeden z jej uczestników wybiera liczbę z pewnego zbioru 

np. ze zbioru liczb 1,2,. . . 8. Pozostali uczestnicy próbują odgadnąć 

jaka to liczba zadając pytania, na które mogą otrzymać tylko 

odpowiedź "tak" lub "nie". Zwycięża ten, kto zgadnie liczbę po 

zadaniu najmniejszej liczby pytań. 

Ile w ogólności trzeba zadać pytań by odgadnąć liczbę? 




Przykład. Jeden z jej uczestników wybiera liczbę z pewnego zbioru 

np. ze zbioru liczb 1,2,. . . 8. Pozostali uczestnicy próbują odgadnąć 

jaka to liczba zadając pytania, na które mogą otrzymać tylko 

odpowiedź "tak" lub "nie". Zwycięża ten, kto zgadnie liczbę po 

zadaniu najmniejszej liczby pytań. 

Ile w ogólności trzeba zadać pytań by odgadnąć liczbę? 

Jeden ze sposobów polega na dzieleniu zbioru na dwie części (o 

możliwie takiej samej liczbie elementów), potem dzielenie każdej z 

tych części itd. aż do zidentyfikowania pary liczb, a w niej szukanej 

liczby. 




1, 2, 3, 4, 5, 6, 7, 8 




1, 2, 3, 4, 5, 6, 7, 8 

 

 

✠ 

1, 2, 3, 4 




1, 2, 3, 4, 5, 6, 7, 8 

 

 

✠ 

1, 2, 3, 4 

❅ 

❅ 

❅❘ 

5, 6, 7, 8 




 

✠ 

1, 2 

1, 2, 3, 4 

1, 2, 3, 4, 5, 6, 7, 8 

 

 

✠ 

❅ 

❅ 

❅❘ 

5, 6, 7, 8 




 

✠ 

1, 2 

1, 2, 3, 4 

1, 2, 3, 4, 5, 6, 7, 8 

❅ 

❅❘ 

3, 4 

 

 

✠ 

❅ 

❅ 

❅❘ 

5, 6, 7, 8 




 

✠ 

1, 2 

1, 2, 3, 4 

1, 2, 3, 4, 5, 6, 7, 8 

❅ 

❅❘ 

3, 4 

 

 

✠ 

❅ 

❅ 

❅❘ 

 

✠ 

5, 6 

5, 6, 7, 8 




 

✠ 

1, 2 

1, 2, 3, 4 

1, 2, 3, 4, 5, 6, 7, 8 

❅ 

❅❘ 

3, 4 

 

 

✠ 

❅ 

❅ 

❅❘ 

 

✠ 

5, 6 

5, 6, 7, 8 

❅ 

❅❘ 

7, 8 




 

✠ 

1, 2 

1, 2, 3, 4 

1, 2, 3, 4, 5, 6, 7, 8 

❅ 

❅❘ 

3, 4 

 

 

✠ 

❅ 

❅ 

❅❘ 

 

✠ 

5, 6 

5, 6, 7, 8 

❅ 

❅❘ 

7, 8 

Liczba pytań koniecznych do odgadnięcia jaki komunikat został 

nadany przez źródło (czyli liczba kroków podziału) jest równa ilości 

informacji generowanej przez to źródło. 




Prawdopodobieństwo 

Prawdopodobieństwo zajścia zdarzenia A jest równe stosunkowi 

liczby zdarzeń sprzyjających zajściu danego zdarzenia do liczby 

wszystkich możliwych zdarzeń. 








Przykłady: 








Przykłady: 

A - w rzucie kostką do gry wypadała szóstka 








Przykłady: 

A - w rzucie kostką do gry wypadała szóstka P(A) = 1 6 








Przykłady: 


B - w rzucie kostką wypadło mniej niż 5 oczek 








Przykłady: 



P(B) = 4 6 








Przykłady: 



P(B) = 4 6 

C - w rzucie kostką wypadła parzysta liczba oczek 








Przykłady: 



P(B) = 4 6 


P(C) = 3 6 = 1 2 








Przykłady: 



P(B) = 4 6 


P(C) = 3 6 = 1 2 

D - w rzucie dwiema monetami wypadły dwa orły 








Przykłady: 



P(B) = 4 6 


P(C) = 3 6 = 1 2 

D - w rzucie dwiema monetami wypadły dwa orły 

P(D) = 1 4 





Prawdopodobieństwo równoczesnego zajścia niezależnych zdarzeń A 

i B wyraża wzór 

P(A ∩ B) = P(A) · P(B). 







P(A ∩ B) = P(A) · P(B). 

Przykład. 

C - w rzucie dwiema monetami wypadły dwa orły 







P(A ∩ B) = P(A) · P(B). 

Przykład. 


P(A) - prawdopodobieństwo tego, że na monecie A wypadł orzeł 







P(A ∩ B) = P(A) · P(B). 

Przykład. 



P(B) - prawdopodobieństwo tego, że na monecie B wypadł orzeł 







P(A ∩ B) = P(A) · P(B). 

Przykład. 




P(A) = P(B) = 1 2 







P(A ∩ B) = P(A) · P(B). 

Przykład. 




P(A) = P(B) = 1 2 

Prawdopodobieństwo zdarzenia C wynosi 







P(A ∩ B) = P(A) · P(B). 

Przykład. 




P(A) = P(B) = 1 2 

Prawdopodobieństwo zdarzenia C wynosi 

P(C) = P(A ∩ B) = P(A) · P(B) = 1 2 · 1 

2 = 1 4 

. 





Jeżeli zdarzenia losowe A i B nie zależą od siebie, to 

prawdopodobieństwo zajścia zdarzenia A lub B określa równanie: 

P(A ∪ B) = P(A) + P(B). 







P(A ∪ B) = P(A) + P(B). 

Przykład. 

C - w rzucie dwiema monetami na obu monetach wypadło to samo. 







P(A ∪ B) = P(A) + P(B). 

Przykład. 


A - w rzucie dwiema monetami wypadły dwa orły 







P(A ∪ B) = P(A) + P(B). 

Przykład. 



B - w rzucie dwiema monetami wypadły dwie reszki 







P(A ∪ B) = P(A) + P(B). 

Przykład. 



B - w rzucie dwiema monetami wypadły dwie reszki 

P(A ∪ B) = P(A) + P(B) = 1 4 + 1 4 = 2 4 = 1 2 




Logarytm 

Logarytm liczby x przy podstawie a, to liczba rzeczywista y równa 

wykładnikowi potęgi, do jakiej trzeba podnieść liczbę rzeczywistą a 

(dodatnią, różną od jedności), aby otrzymać liczbę dodatnią 

rzeczywistą x. 




Logarytm 





log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1. 




Logarytm 





log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1. 

Przykłady: 




Logarytm 





log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1. 

Przykłady: 

log 2 1 = 0 ponieważ 2 0 = 1 




Logarytm 





log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1. 

Przykłady: 

log 2 1 = 0 ponieważ 2 0 = 1 

log 2 2 = 1 ponieważ 2 1 = 2 




Logarytm 





log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1. 

Przykłady: 

log 2 1 = 0 ponieważ 2 0 = 1 

log 2 2 = 1 ponieważ 2 1 = 2 

log 2 4 = 2 ponieważ 2 2 = 4 




Logarytm 





log a x = y ⇔ a y = x, a > 0, x > 0, a ≠ 1. 

Przykłady: 

log 2 1 = 0 ponieważ 2 0 = 1 

log 2 2 = 1 ponieważ 2 1 = 2 

log 2 4 = 2 ponieważ 2 2 = 4 

log 2 8 = 3 ponieważ 2 3 = 8 




Podstawowe własności logarytmów: 

W1. log a (x · z) = log a x + log a z 

W2. log a ( 1 x ) = − log a x 

W3. log a ( x z ) = log a x − log a z 






W2. log a ( 1 x ) = − log a x 


Definicja 

Ilość informacji. Komunikat, którego prawdopodobieństwo 

1 

wystąpienia wynosi P zawiera k = log a P = − log a P jednostek 

ilości informacji. 

Dla a = 2 jednostką informacji jest bit (8 bitów= 1 bajt). Dla 

a = e jednostką nat. Dla a = 10 jednostką jest hartley. 






W2. log a ( 1 x ) = − log a x 


Definicja 

Ilość informacji. Komunikat, którego prawdopodobieństwo 

1 

wystąpienia wynosi P zawiera k = log a P = − log a P jednostek 

ilości informacji. 

Dla a = 2 jednostką informacji jest bit (8 bitów= 1 bajt). Dla 

a = e jednostką nat. Dla a = 10 jednostką jest hartley. 

W definicji tej ilość informacji generowana przez źródło zależy od 

prawdopodobieństwa każdego ze zdarzeń. Im większe 

prawdopodobieństwo zdarzenia, tym mniejsza ilość informacji jaką 

niesie. 




źródło liczba możliwych zdarzeń Bity informacji 

kruk Poe’go 1 zdarzenie (pewne) log 2 1 = 0 

1 

1 moneta 2 jednakowo prawdopodobne log 2 1 = log 2 2 = 1 

2 

2 monety 4 jednakowo prawdopodobne log 2 

1 

1 

4 

3 monety 8 jednakowo prawdopodobnych log 2 

1 

1 

8 

= log 2 4 = 2 

= log 2 8 = 3 






1 


2 


1 

1 

4 


1 

1 

8 

W przypadku źródła generującego jednakowo prawdopodobne 

symbole (gdy wszystkie możliwe komunikaty są jednakowo 

prawdopodobne) 

k = log a 

1 

P = − log a P = log a N, 

gdzie N- liczba symboli generowanych przez źródło (liczba 


= log 2 4 = 2 

= log 2 8 = 3 






1 


2 


1 

1 

4 


1 

1 

8 

W przypadku źródła generującego jednakowo prawdopodobne 

symbole (gdy wszystkie możliwe komunikaty są jednakowo 

prawdopodobne) 

k = log a 

1 

P = − log a P = log a N, 

gdzie N- liczba symboli generowanych przez źródło (liczba 


Wzór k = log 2 N nazywa się wzorem Hartleya. 

= log 2 4 = 2 

= log 2 8 = 3 




Definicja 

Entropia. Jeśli źródło nadaje n różnych komunikatów z 

prawdopodobieństwami P 1 , P 2 , ..., P n , to średnia ważona ilość 

informacji w komunikatach tego źródła wyraża się wzorem 

H = −P 1 log 2 P 1 − P 2 log 2 P 2 − ... − P n log 2 P n = − 

n∑ 

P i log 2 P i 

i nosi nazwę entropii informacyjnej źródła informacji. Jednostką 

entropii jest bit. 

i=1 




Definicja 

Entropia. Jeśli źródło nadaje n różnych komunikatów z 

prawdopodobieństwami P 1 , P 2 , ..., P n , to średnia ważona ilość 

informacji w komunikatach tego źródła wyraża się wzorem 

H = −P 1 log 2 P 1 − P 2 log 2 P 2 − ... − P n log 2 P n = − 

n∑ 

P i log 2 P i 

i nosi nazwę entropii informacyjnej źródła informacji. Jednostką 

entropii jest bit. 

Własności entropii: 

1 jest nieujemna 

2 jest maksymalna, gdy prawdopodobieństwa zdarzeń są takie 

same 

3 własność superpozycji - gdy dwa systemy są niezależne to 

entropia sumy systemów równa się sumie entropii. 


Informacja w informatyce cz. 1 teoria komunikacji C. Shannona 

i=1


Entropia H zdefiniowana wzorem 

H = − 

jest to miara trzech wielkości: 

n∑ 

P i log 2 P i 

i=1 





H = − 


n∑ 

P i log 2 P i 

i=1 

a) średniej ilości nie zinterpretowanej (czystej) informacji 

przypadającej na symbol produkowany przez źródło, 





H = − 


n∑ 

P i log 2 P i 

i=1 



b) odpowiadającej jej średniej ilości deficytu danych (tego co 

Shannon nazywał niepewnością) jaki ma odbiorca przed 

sprawdzeniem sygnału od informującego oraz 





H = − 


n∑ 

P i log 2 P i 

i=1 



b) odpowiadającej jej średniej ilości deficytu danych (tego co 

Shannon nazywał niepewnością) jaki ma odbiorca przed 

sprawdzeniem sygnału od informującego oraz 

c) odpowiadające jej możliwości informacyjne samego źródła tzn. 

jego informacyjną entropię. 




symbol - zdarzenie - komunikat 





Definicja 

Kodowanie to przyporządkowanie komunikatom odpowiednich 

ciągów zero-jedynkowych. 





Definicja 



Przykład 1. Rzut dwiema monetami A i B. 





Definicja 



Przykład 1. Rzut dwiema monetami A i B.Możliwe wyniki to: , 

, , , gdzie O oznacza, że wypadł orzeł; R, że 

wypadła reszka. 





Definicja 






Każde ze zdarzeń (możliwych wyników) pojawia się z 

prawdopodobieństwem 1 2 · 1 

2 = 1 4 . 





Definicja 








2 = 1 4 . 

Najprostszy kod: 

=00 

=01 

=10 

=11 





Definicja 








2 = 1 4 . 

Najprostszy kod: 

=00 

=01 

=10 

=11 

W kodzie tym każda wiadomość przekazuje 2 bity informacji 




Przykład 2. Rozważmy źródło, które wysyła 8 symboli A, B, C, D, 

E, F, G, H z różnymi prawdopodobieństwami: 

A B C D E F G H 

0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 




Przykład 2. Rozważmy źródło, które wysyła 8 symboli A, B, C, D, 

E, F, G, H z różnymi prawdopodobieństwami: 


0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 

Kod 1. Sposób najprostszy (analogiczny do zastosowanego w 

poprzednim przykładzie). 

=000 

=001 

=010 

=011 

=100 

=101 

=110 

=111 




Kod 1. (kod Shannona-Fano) 

Kod dla poszczególnych symboli konstruujemy następująco: 

1 Porządkujemy symbole w kolejności ich malejących 

prawdopodobieństw 

2 Lista ta jest następnie dzielona na dwie grupy w ten sposób, 

aby suma prawdopodobieństw zdarzeń w obu grupach była 

możliwie bliska (najlepiej równa) 

3 Każdemu symbolowi z grupy pierwszej przydziela się 0 jako 

pierwszą cyfrę słowa kodowego, natomiast każdemu symbolowi 

z grupy drugiej 1. 

4 Każda z tych grup jest następnie dzielona według tego samego 

kryterium i kolejno dołączane są "zera" i "jedynki" do słów 

kodowych. 




C 0,4 

B 0,18 

A 0,1 

F 0,1 

G 0,07 

E 0,06 

D 0,05 

H 0,04 


0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 




C 0,4 0 

B 0,18 0 

A 0,1 1 

F 0,1 1 

G 0,07 1 

E 0,06 1 

D 0,05 1 

H 0,04 1 


0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 

C 0,4 0 0 

B 0,18 0 1 

A 0,1 1 0 

F 0,1 1 0 

G 0,07 1 1 

E 0,06 1 1 

D 0,05 1 1 

H 0,04 1 1 





0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 

C 0,4 0 0 

B 0,18 0 1 

A 0,1 1 0 0 

F 0,1 1 0 1 

G 0,07 1 1 0 

E 0,06 1 1 0 

D 0,05 1 1 1 

H 0,04 1 1 1 





0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 

C 0,4 0 0 

B 0,18 0 1 

A 0,1 1 0 0 

F 0,1 1 0 1 

G 0,07 1 1 0 0 

E 0,06 1 1 0 1 

D 0,05 1 1 1 0 

H 0,04 1 1 1 1 





0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 

Otrzymane kody: 

C 0,4 0 0 =00 

B 0,18 0 1 =01 

A 0,1 1 0 0 =100 

F 0,1 1 0 1 =101 

G 0,07 1 1 0 0 =1100 

E 0,06 1 1 0 1 =1101 

D 0,05 1 1 1 0 =1110 

H 0,04 1 1 1 1 =1111 




Definicja 

Średnia długość słowa kodowego. Niech źródło wysyła N 

symboli s i każdy z prawdopodobieństwem P i oraz niech l i oznacza 

długość binarnego słowa kodowego (liczbę bitów) odpowiadającego 

symbolowi s i . Średnia długość słowa kodowego generowanego przez 

koder źródłowy definiuje się jako średnią liczbę bitów przypadającą 

na jeden symbol źródłowy, czyli ∑ n 

i=1 P il i . 




Definicja 







i=1 P il i . 

W przykładzie 2 dla kodu pierwszego średnia długość słowa 

kodowego wynosi: 

L = 0, 4·3+0, 18·3+2·0, 1·3+0, 07·3+0, 06·3+0, 05·3+0, 04·3 = 3 




Definicja 







i=1 P il i . 

W przykładzie 2 dla kodu pierwszego średnia długość słowa 

kodowego wynosi: 

L = 0, 4·3+0, 18·3+2·0, 1·3+0, 07·3+0, 06·3+0, 05·3+0, 04·3 = 3 

Średnia długość słowa kodowego dla kodu Shannona-Fano wynosi: 

L = 0, 4·2+0, 18·2+2·0, 1·3+0, 07·4+0, 06·4+0, 05·4+0, 04·4 = 2, 64 




Twierdzenie (Shannona) 

1 Przy każdym sposobie kodowania zachodzi nierówność H ≤ L. 

2 Dla każdego źródła można znaleźć takie kodowanie, dla 

którego różnica L − H będzie dowolnie mała. (Odpowiednim 

doborem sposobu kodowania można uzyskać dowolnie małą 

redundancję.) 




Twierdzenie (Shannona) 

1 Przy każdym sposobie kodowania zachodzi nierówność H ≤ L. 

2 Dla każdego źródła można znaleźć takie kodowanie, dla 

którego różnica L − H będzie dowolnie mała. (Odpowiednim 

doborem sposobu kodowania można uzyskać dowolnie małą 

redundancję.) 

Entropia H jest dolnym ograniczeniem (minimum) na średnią 

długość słowa kodowego jaką można osiągnąć przy optymalnym 

kodowaniu. 




Definicja 

Efektywność kodowania źródłowego η definiuje się jako 

stosunek: 

η = H L 

Efektywność kodowania jest tym większa im więcej informacji 

kodowanych jest za pomocą krótszego kodu. 




Definicja 

Różnicę R = L − H nazywamy redundancją a R = 1 − η = 1 − H L 

nazywamy względną redundancją kodu (podaje się je zwykle w 

procentach). 




Definicja 



procentach). 

Przykład. Kontrola parzystości. 




Definicja 



procentach). 


Źródło nadaje komunikaty liczbowe, przy czym poszczególne cyfry 

dziesiętne występują z jednakowym prawdopodobieństwem. Jako słowa 

kodowe dla poszczególnych cyfr wybierzemy ciągi o jednakowej długości. 




Definicja 



procentach). 





Przyjmijmy tzw. kod Aikena: 




Definicja 



procentach). 






=0000 =0101 

=0001 =0110 

=0010 =0111 

=0011 =1000 

=0100 =1001 




Definition 



procentach). 






=0000 =1011 

=0001 =1100 

=0010 =1101 

=0011 =1110 

=0100 =1111 




Definition 



procentach). 






=0000 =1011 

=0001 =1100 

=0011 =1101 

=0011 =1110 

=0100 =1111 




Definicja 



procentach). 






=0000 =1011 

=0001 =1100 

=0011 =1101 

=0011 =1110 

=0100 =1111 




Dodajemy do kodu każdej cyfry jedną pozycję, na której 

dopisujemy: 





dopisujemy: 

1, jeśli liczba jedynek na pierwszych czterech pozycjach danego 

słowa jest parzysta, 

0 w przeciwnym przypadku. 





dopisujemy: 




=0000 1 

=0001 0 

=0010 0 

=0011 1 

=0100 0 

=1011 0 

=1100 1 

=1101 0 

=1110 0 

=1111 1 





dopisujemy: 




=0000 1 

=0001 0 

=0010 0 

=0011 1 

=0100 0 

=1011 0 

=1100 1 

=1101 0 

=1110 0 

=1111 1 

W tym kodzie żadne jednostkowe przekłamanie 

nie prowadzi do nieporozumień. Zmiana na 

jednej z czterech pierwszych pozycji dopiero w 

połączeniu ze zmianą na pozycji piątej (dodanej) 

może przeprowadzić słowo kodowe w inne słowo 

kodowe. 





dopisujemy: 




=0000 1 

=0001 0 

=0010 0 

=0011 1 

=0100 0 

=1011 0 

=1100 1 

=1101 0 

=1110 0 

=1111 1 






kodowe. 

Zwiększenie redundancji poprawiło w tym przypadku 

niezawodność kodowania. 





dopisujemy: 




=0000 1 

=0001 0 

=0010 0 

=0011 1 

=0100 0 

=1011 0 

=1100 1 

=1101 0 

=1110 0 

=1111 1 






kodowe. 

Zwiększenie redundancji poprawiło w tym przypadku 

niezawodność kodowania. 

Usuwanie nieprzydatnej redundancji to kompresja 

danych. 




Porównanie efektywności kodowania. 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 

Kod 1. (równa długość słów kodowych) 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 


średnia długość słowa kodowego L = 3 bity/symbol 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 



entropia źródła H = ∑ n 

i=1 P i log 2 P i = 

−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 

Efektywność kodowania wynosi η = 2,55 

3 

· 100% = 85% 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 


3 

· 100% = 85% 

Zatem redundancja wynosi 15%. 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 


3 

· 100% = 85% 


Kod. 2.(Shannona-Fano) 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 


3 

· 100% = 85% 



Średnia długość słowa kodowego wynosi 2.64 bita/symbol 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 


3 

· 100% = 85% 




Efektywność kodowania wynosi zatem η = 2,55 

2.64 · 100% = 96, 6% . 

Zatem redundancja wynosi 3, 7%. 






0,1 0,18 0,4 0,05 0,06 0,1 0,07 0,04 





−2 · 0, 1 · log 2 0, 1 − 0, 18 · log 2 0, 18 − 0, 4 · log 2 0, 4 − 0, 05 − 0, 05 · 

log 2 0, 05 − 0, 06 · log 2 0, 06 − 0, 07 · log 2 0, 07 − 0, 04 · log 2 0, 04 = 2, 55 


3 

· 100% = 85% 




Efektywność kodowania wynosi zatem η = 2,55 

2.64 · 100% = 96, 6% . 

Zatem redundancja wynosi 3, 7%. 

Kod Shannona-Fano jest bardziej efektywny niż kod 1. 




Fundamentalne twierdzenia Shannona: 





Twierdzenie 

Niech źródło ma entropię H (bitów na symbol) oraz niech kanał 

komunikacyjny ma przepustowość C (bitów na sekundę). Wtedy możliwe 

jest zakodowanie informacji wysyłanej ze źródła przez ten kanał w taki 

sposób, że średnia prędkość transmisji wynosi C/H − ε symboli na 

sekundę, gdzie ε jest dowolnie małe. Niemożliwa jest transmisja z 

prędkością większą niż C/H. 





Twierdzenie 

Niech źródło ma entropię H (bitów na symbol) oraz niech kanał 

komunikacyjny ma przepustowość C (bitów na sekundę). Wtedy możliwe 

jest zakodowanie informacji wysyłanej ze źródła przez ten kanał w taki 

sposób, że średnia prędkość transmisji wynosi C/H − ε symboli na 

sekundę, gdzie ε jest dowolnie małe. Niemożliwa jest transmisja z 

prędkością większą niż C/H. 

Twierdzenie 

Dany jest dyskretny kanał o przepustowości C oraz dyskretne źródło o 

entropii H. Jeśli H ≤ C to istnieje system kodowania taki, że sygnał 

źródła może być transmitowany przez kanał z dowolnie małą częstością 

błędów. Jeśli H>C, to możliwe jest zakodowanie sygnału ze źródła w taki 

sposób, że dwuznaczność jest mniejsza niż H − C + ε, gdzie ε jest 

dowolnie małe. Nie istnieje metoda kodowania, która daje mniejszą 

dwuznaczność niż H-C. 




Cechy matematycznej teorii komunikacji Shannona: 





W teorii tej informacja jest tylko wybraniem jednego symbolu 

ze zbioru możliwych symboli. 







Nie jest to teoria informacji w zwykłym sensie. Informacja ma 

w niej wyłącznie znaczenie techniczne. Teoria ta całkowicie 

ignoruje np. kontekst komunikatów. 










Największą ilość informacji generuje tekst, w którym 

prawdopodobieństwo wystąpienia każdej litery jest takie samo 

tzn. kompletnie losowy ciąg (paradoks małp). 













Matematyczna teoria komunikacji jest teorią informacji z 

pominięciem jej znaczenia. Zajmuje się ona bowiem badaniem 

informacji na poziomie syntaktycznym. 













Matematyczna teoria komunikacji jest teorią informacji z 

pominięciem jej znaczenia. Zajmuje się ona bowiem badaniem 

informacji na poziomie syntaktycznym. 

Matematyczna teoria komunikacji traktuje informację jak 

zjawisko fizyczne, przedmiotem jej zainteresowania jest 

sposób kodowania i przesyłania informacji a nie jej zawartość 

semantyczna.

teoria komunikacji Shannona.pdf

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?