15.11.06 - Fachbereich 4: HTW Berlin

Dieses Beispiel zeigt also, dass es unwichtig ist, wie der Baum konstruiert wird,
solange die Regel, dass immer mit den kleinsten Wahrscheinlichkeiten begonnen
werden muss, beachtet wird.
Verhältnis Entropie und mittlere Codelänge
Bei der Ermittlung der Entropie ist zu beachten, dass eine rechnerische Ermittlung
der Wahrscheinlichkeiten nicht immer sinnvoll ist. Dies ist nämlich nur möglich, wenn
die Pixel in einem Bild statistisch unabhängig sind, das heißt, dass die
Wahrscheinlichkeit für den nächsten Pixel unabhängig davon ist, welcher Pixel davor
lag. Da das aber bei Bildern natürlich nicht der Fall ist, bringt eine Kodierung anhand
der rechnerischen Wahrscheinlichkeiten nichts. Man würde hier keine Verkleinerung
erreichen.
Beim Betrachten des Verhältnisses von Entropie und mittlerer Codelänge fällt auf,
dass die mit der Entropie errechnete optimale Codelänge häufig kleiner ist als die
schließlich gefundene mittlere Codelänge. Dies liegt daran, dass die bei der Entropie
berechneten Codelängen meist keine ganzzahligen Werte sind. Ein Code kann aber
nur aus natürlichen Zahlen bestehen. Im Allgemeinen ist die Abweichung zwischen
Entropie und mittlerer Codelänge jedoch nicht allzu groß. Bei Schwarzweißbildern ist
der Unterschied jedoch erheblich. Generell ist festzuhalten, dass die Faustregel
gilt.
Arithmetische Codierung
mittlere Codelänge 1 bit/Symbol
Die Arithmetische Codierung ist ein weiteres verlustfreies Datenkompressions-
Verfahren, welches der Entropie noch näher kommt. Die Grundidee der
Arithmetischen Codierung stellt sich als relativ simpel dar, wogegen die
Implementierung komplizierter verläuft. Wegen der guten Datenkompression wird in
den Videocodierungsverfahren DivX oder Mpeg4 (Parts 10) das Arithmetische
Codierungsverfahren verwendet.
Bei diesem Beispiel handelt es sich um ein Bild, das schwarze und weiße Elemente
besitzt. In Abbildung 1 nimmt man die senkrechte Seite als
Wahrscheinlichkeitsintervall (mit einer Gesamtwahrscheinlichkeit von 1) und die
waagrechten Blöcke entsprechen der Anzahl der eingelesenen Pixel
Für den ersten Pixel beträgt die Wahrscheinlichkeit 2/3 für Schwarz und 1/3 für Weiß.
Bei dem zweiten Pixel entsteht wieder eine Aufteilung in
die Wahrscheinlichkeiten von 2/3 für einen schwarzen
und 1/3 für einen weißen gezogenen Pixel. Für die
Kombination Schwarz-Schwarz beträgt die
Wahrscheinlichkeit also 2/3 * 2/3 = 4/9. Bei der
Addierung aller Kombinationen muss die
Gesamtwahrscheinlichkeit wieder 1 ergeben, in diesem
Beispiel also: SS = 4/9
+ SW = 2/9 [2/3 * 1/3]
+ WS = 2/9 [1/3 * 2/3]
+ WW = 1/9 [1/3 * 1/3]
---------------------------------------
Abbildung 1 = 1
Seite - 4 -