Grundkurs Informatik Aufgabensammlung mit Lösungen Teil 1

Aufgaben und Lösungen 1-43
3.2 Code-Erzeugung
Aufgabe 3.2.1 (M3)
Gegeben sei das unten tabellierte Alphabet {xi} mit den zugehörigen
Auftrittswahrscheinlichkeiten {wi}:
xi A E I O U
_____________________________________________
wi 0.24 0.30 0.07 0.21 0.18
a) Berechnen Sie die Informationsgehalte I(xi) sowie die Entropie.
b) Bilden Sie einen Binär-Code durch Aufstellen eines einfachen Code-Baums, wobei für die
Wortlängen der Code-Wörter die ganzzahlig aufgerundeten zugehörigen Informationsgehalte
der zugehörigen Zeichen xi gewählt werden sollen.
c) Bilden Sie den optimalen Binär-Code mit Hilfe des Huffman-Algorithmus.
d) Bilden Sie einen Binär-Code unter Verwendung des Fano-Algorithmus.
e) Berechnen Sie für die in b), c), und d) gebildeten Codes die mittleren Wortlängen und die
Redundanzen.
Lösung:
Für die Informationsgehalte I(xi) gilt:
I(xi) = ld(1/wi)
Bei Verwendung des Zehnerlogarithmus log() statt des Zweierlogarithmus ld() rechnet man:
ld(1/wi) = log(1/wi)/log(2) = log(1/wi)/0.30103
Für die Entropie gilt:
H(xi) = wiI(xi) = 0.24 2.0589 + 0.30 1.7370 + 0.07 3.8365 + 0.21 2.2515 + 0.18 2.4739 = 2.2019
xi wi Ii li einfacher Code
___________________________________________________
A 0.24 2.0589 3 001
E 0.30 1.7370 2 10
I 0.07 3.8365 4 0001
O 0.21 2.2515 3 111
U 0.18 2.4739 3 011
Für die mittlere Wortlänge gilt:
L(xi) = wil(xi) = 0.24 3 + 0.30 2 + 0.07 4 + 0.21 3+ 0.18 3 = 2.77 [Bit/Zeichen]
Die Redundanz für diesen Code ergibt sich aus:
R1 = L1-H = 2.77 - 2.2019 = 0.5681 [Bit/Zeichen]
Den Huffman-Code erhält man durch
Konstruktion des nebenstehenden Code-Baums:
Die mittlere Wortlänge des Huffman-Codes ist:
LH(xi) = 2(0.30+0.24+0.07) + 3(0.18+0.07) = 2.25 [Bit/Zeichen]
Die Redundanz des Huffman-Codes ist:
1 10 1
111
1
1
0
011
0
1
1
001
0
1
0001
111 110 01 00 10
I U O A E
0.07 0.18 0.21 0.24 0.30
1
1
0
1
1
0
0
0
0