15.11.06 - Fachbereich 4: HTW Berlin

Katja Belitz s0515246
Kevin Dreher s0515247
Miguel Dietz s0515288
MEDIENTECHNIK II
Prof. Dr. Kai-Uwe Barthel
Vorlesungsmitschrift
15.11.2006
Seite - 1 -

Wiederholung
Zu Begin der Vorlesung wurden wie immer die Inhalte der letzen Vorlesung
wiederholt. Thema war hier die Codierung von Informationen nach dem Huffman
Verfahren und das Verhältnis zwischen Entropie und der mittleren Codelänge.
Huffman Codierung
Das Prinzip der Huffman Codierung sei hier nur noch einmal kurz zusammengefasst.
Das Huffman Verfahren wird verwendet, um Informationen zu kodieren. Hierbei gilt,
dass je wahrscheinlicher ein Ereignis für ein Symbol, desto kürzer ist der Code, mit
dem es kodiert wird. Man muss außerdem beachten, dass die gefundenen Codes
präfixfrei sind, das heißt, dass keine Codierung für ein Symbol der Anfang der
Codierung eines anders Symbols sein darf.
Wie wichtig es ist, dass man immer mit den Symbolen mit den kleinsten
Wahrscheinlichkeiten beginnt, verdeutlicht das folgende Beispiel, welches in der
Vorlesung besprochen wurde.
Aufgabe
Es soll eine Codierung nach dem Huffman-Verfahren für die Symbole A-F mit den
folgenden Wahrscheinlichkeiten gemacht werden.
A => 0,4
B => 0,1
C => 0,1
D => 0,1
E => 0,1
F => 0,2
Entwicklung des Baumes 1
Symbol resultierender Code Codelänge
A 0 1
B 1000 4
C 1001 4
D 1010 4
E 1011 4
F 11 2
Seite - 2 -

Man kann den Baum jedoch auch ganz anders entwickeln.
Entwicklung des Baumes 2
Symbol resultierender Code Codelänge
A 00 2
B 010 3
C 011 3
D 100 3
E 101 3
F 11 2
Auf den ersten Blick scheint hier ein Problem aufzutreten, denn die errechneten
Codelängen sind unterschiedlich. Eine Überprüfung der benötigten Bit pro Symbol
zeigt jedoch, dass beide Codes gleichwertig sind.
Wie viele Bits pro Symbol benötigt werden, kann berechnet werden, indem man die
erlangte Codelänge mit der jeweiligen Wahrscheinlichkeit des Symbols multipliziert.
1. Beispiel
Codelänge Wahrscheinlichkeit Ergebnis
1 0,4 0,4
4 0,1 0,4
4 0,1 0,4
4 0,1 0,4
4 0,1 0,4
2 0,2 0,4
2,4 Bits/Symbol
2. Beispiel
Codelänge Wahrscheinlichkeit Ergebnis
2 0,4 0,4
3 0,1 0,4
3 0,1 0,4
3 0,1 0,4
3 0,1 0,4
2 0,2 0,4
2,4 Bits/Symbol
Seite - 3 -

Dieses Beispiel zeigt also, dass es unwichtig ist, wie der Baum konstruiert wird,
solange die Regel, dass immer mit den kleinsten Wahrscheinlichkeiten begonnen
werden muss, beachtet wird.
Verhältnis Entropie und mittlere Codelänge
Bei der Ermittlung der Entropie ist zu beachten, dass eine rechnerische Ermittlung
der Wahrscheinlichkeiten nicht immer sinnvoll ist. Dies ist nämlich nur möglich, wenn
die Pixel in einem Bild statistisch unabhängig sind, das heißt, dass die
Wahrscheinlichkeit für den nächsten Pixel unabhängig davon ist, welcher Pixel davor
lag. Da das aber bei Bildern natürlich nicht der Fall ist, bringt eine Kodierung anhand
der rechnerischen Wahrscheinlichkeiten nichts. Man würde hier keine Verkleinerung
erreichen.
Beim Betrachten des Verhältnisses von Entropie und mittlerer Codelänge fällt auf,
dass die mit der Entropie errechnete optimale Codelänge häufig kleiner ist als die
schließlich gefundene mittlere Codelänge. Dies liegt daran, dass die bei der Entropie
berechneten Codelängen meist keine ganzzahligen Werte sind. Ein Code kann aber
nur aus natürlichen Zahlen bestehen. Im Allgemeinen ist die Abweichung zwischen
Entropie und mittlerer Codelänge jedoch nicht allzu groß. Bei Schwarzweißbildern ist
der Unterschied jedoch erheblich. Generell ist festzuhalten, dass die Faustregel
gilt.
Arithmetische Codierung
mittlere Codelänge 1 bit/Symbol
Die Arithmetische Codierung ist ein weiteres verlustfreies Datenkompressions-
Verfahren, welches der Entropie noch näher kommt. Die Grundidee der
Arithmetischen Codierung stellt sich als relativ simpel dar, wogegen die
Implementierung komplizierter verläuft. Wegen der guten Datenkompression wird in
den Videocodierungsverfahren DivX oder Mpeg4 (Parts 10) das Arithmetische
Codierungsverfahren verwendet.
Bei diesem Beispiel handelt es sich um ein Bild, das schwarze und weiße Elemente
besitzt. In Abbildung 1 nimmt man die senkrechte Seite als
Wahrscheinlichkeitsintervall (mit einer Gesamtwahrscheinlichkeit von 1) und die
waagrechten Blöcke entsprechen der Anzahl der eingelesenen Pixel
Für den ersten Pixel beträgt die Wahrscheinlichkeit 2/3 für Schwarz und 1/3 für Weiß.
Bei dem zweiten Pixel entsteht wieder eine Aufteilung in
die Wahrscheinlichkeiten von 2/3 für einen schwarzen
und 1/3 für einen weißen gezogenen Pixel. Für die
Kombination Schwarz-Schwarz beträgt die
Wahrscheinlichkeit also 2/3 * 2/3 = 4/9. Bei der
Addierung aller Kombinationen muss die
Gesamtwahrscheinlichkeit wieder 1 ergeben, in diesem
Beispiel also: SS = 4/9
+ SW = 2/9 [2/3 * 1/3]
+ WS = 2/9 [1/3 * 2/3]
+ WW = 1/9 [1/3 * 1/3]
---------------------------------------
Abbildung 1 = 1
Seite - 4 -

Beim Einlesen des dritten Pixels werden die Intervalle der Teilwahrscheinlichkeiten
erneut in 2/3 und 1/3 aufgeteilt. Die Wahrscheinlichkeit für SSS beträgt also 2/3 * 2/3
* 2/3 = 8/27, für WWW 1/3 * 1/3 * 1/3 = 1/27.
Bei Abbildung 1 kann man
anhand der Höhe der vertikalen
Kästchen die
Wahrscheinlichkeiten ablesen.
Die Höhe der hinteren Kästchen
entspricht also immer der
Wahrscheinlichkeit, dass der
dazugehörige Fall eintritt. Auffällig
ist auch, dass die
Gesamtwahrscheinlichkeit immer
eins beträgt, was man auch an
der gleich bleibenden
Gesamthöhe sehen kann.
Da wir das Bild nun in einen
Bitcode umwandeln müssen, wird
jedes Intervall in zwei gleichgroße
Abschnitte aufgeteilt. Anhand des
folgenden Schaubildes wird die
Codegenerierung deutlich
gemacht. Der grüne Abschnitt
wird als 0er-Bit, der rote als 1er-
Bit festgelegt. Mit einem Bit kann
man also Unterscheiden ob man in der oberen oder unteren Hälfte ist. Wäre der
erste Pixel weiß so würde der Code mit 1 anfangen, da der weiße Abschnitt sich
eindeutig in der oberen Hälfte befindet.
Mit einem ersten schwarzen Pixel könnte man nicht eindeutig festlegen, ob es sich in
der oberen oder der unteren Hälfte befindet. Also muss der nächste Pixel
herangezogen werden. Falls der Pixel erneut Schwarz ist, kann man sichergehen,
dass das erste Bit 0 beträgt, da der SS-Teil komplett in die untere Hälfte des 0er-
Intervalles fällt. Bei einem weißen Pixel wäre die Zuordnung immer noch unklar und
es müsste das nächste Pixel betrachtet werden, um eine Unterscheidung festlegen
zu können. Es folgt eine Code-Tabelle für das obere Schaubild:
W 1 S ?
WW 11 WS 1? SW ? SS 0?
WW
W
111 WWS 111 WSW 110 WSS 1?? SWW 10? SWS ??? SSW 01? SSS 0??
Um WWW und WWS unterscheiden zu können, muss mit dem nächsten Pixel weiter
deferenziert werden. Gleiches gilt für SWS, da das Feld immer noch nicht zum
oberen oder unteren Feld zuzuordnen ist. Das arithmetische Codierverfahren
funktioniert also so, dass immer bei Eindeutigkeit eine 0 oder 1 ausgegeben wird, um
danach den überbleibenden Teil auf die 1 aufzublasen und man so wieder von vorne
anfängt. Was man erkennen kann ist, dass desto größer die Wahrscheinlichkeitsintervalle,
desto länger dauert es bis der Bereich kleiner als geworden ist und
somit als Bit-Code ausgegeben werden kann. Kleinere Bereiche geben also
schneller Bits aus als größere Bereiche.
Seite - 5 -

Durch diese Bit-Code-Aufteilung kann man das Schaubild auch als Zahlenbereich
ansehen, sodass die horizontalen Abschnitte die Dezimalstellen darstellen.
Dezimalstellen werden im Binärsystem wie folgt ausgegeben:
Dezimalsystem: 0,3 = 3 * 10^-1
Binärsystem: 0,1 = 1 * 2^-1
0,01 = 1 * 2^-2
Die Dezimalzahl 0,8 würde also in unserem oberen Schaubild mit 0,110 beginnen, da
die blaue Linie erst durch zwei rote und dann durch ein grünes Feld verläuft. Jede
Zahl zwischen 0 und 1 kann so als gebrochene Binärzahl dargestellt werden. Da jede
gebrochene Binärzahl mit Null anfängt, kann die erste Stelle weggelassen werden
(0,110 => 110).
Die adaptive Arithmetische Codierung geht nicht von einer vorgegebenen
Wahrscheinlichkeitsverteilung aus, sondern gestaltet diese dynamisch zu den vorher
eingelesenen Daten. Es werden also die bereits kodierten Zeichen betrachtet und die
Wahrscheinlichkeitswerte P(j) dementsprechend neu berechnet. Diese permanente
Adaption der Wahrscheinlichkeitstabelle erfordert natürlich einen erheblichen
zusätzlichen Rechenaufwand.
Mit dieser Codierung kann man jedoch fast genau die Entropie erreichen.
Grundlagen der Bildkompression 2
Prinzip der Entropiekodierung
1 2 3 4
4 3 2 1
5 6 7 8
… … … …
Anhand dieses kleinen Beispiels haben wir das Prinzip der Entropiekodierung
besprochen. Bei näherer Betrachtung fällt auf, dass die Werte der zweiten Zeile
denen der ersten in gespiegelter Form entsprechen. Diese Art von Muster gilt es bei
der Entropiekodierung auszunutzen. Denn die zweite Zeile muss hier nicht mit
übertragen werden. Stattdessen wird dem Decoder mitgeteilt, dass die zweite Zeile
genau der Spiegelung der ersten entspricht und
so können viele Daten gespart werden.
Bei der Entropiekodierung gilt es also Zusammenhänge zwischen den Werten in
einem Signal zu finden. Daraus werden dann statistische Modelle gebaut, in denen
Wahrscheinlichkeiten für bestimmte Ereignisse sowie Redundanzen von Werten
festgehalten werden. Ein Beispiel für ein solches Modell wäre, dass die
Wahrscheinlichkeit, dass auf zwei Vokale noch ein dritter folgt, sehr gering ist.
Trifft so ein gefundenes Ereignis immer zu, kann man es beim Coder/Decoder
vorausgesetzt werden. Ansonsten analysiert der Coder das Signal, filtert
Redundanzen, Muster etc. heraus und sendet sie dann als Nebeninformation mit an
Seite - 6 -

den Decoder. Ein Problem hierbei ist jedoch, dass durch diese Modelle zwar sehr viel
eingespart werden kann, hat man am Ende aber zu viele verschiedene Modelle,
muss man das, was man eingespart hat, wieder dafür aufbrauchen, um die Modelle
als Nebeninformationen an den Decoder zu senden.
Lauflängenkodierung
Die Lauflängenkodierung ist ein Verfahren zur verlustfreien Komprimierung von
digitalen Daten. Hierbei wird überprüft, wie viele aufeinander folgende Bits denselben
Wert haben. Dann wird die Anzahl der Bits und der entsprechende Wert gespeichert.
Daher kommt die Lauflängenkodierung vor allem dann zum Einsatz, wenn die zu
komprimierende Datei viele Wiederholungen oder Sequenzen von gleichen Werten
enthält.
Bei der Lauflängenkodierung besteht der Code aus zwei Werten: einer kodierten
Variante der gefundenen Farbe und einer kodierten Variante der Länge des Laufes,
d.h. der Häufigkeit, wie oft die entsprechende Farbe hintereinander vorkommt.
Als Beispiel haben wir dieses Bild verwendet. Es enthält nur drei Farben: weiß,
orange und blau. Für die Kodierung werde pro Farbe werden 2 Bits verwendet. Wie
viele Bits für die Kodierung der Lauflänge verwendet werden, sollte davon abhängig
gemacht werden, wie häufig die Farbe wechselt. Je mehr Bits man „spendiert“, desto
länger werden die Läufe. Für unser Beispiel haben wir uns für eine Kodierung von 5
Bits entschieden, was bedeutet, dass ein Lauf maximal 32 lang sein darf. Insgesamt
werden pro Lauf also 7 Bits benötigt.
Will man jetzt herausfinden, wie viel Bits für das gesamte Bild benötigt werden, muss
man nur die Bitzahl pro Lauf mit der Zeilenzahl mal nehmen. Für unser Beispiel
bedeutet das:
Dies entspricht 0,43 Bit pro Pixel.
99 Läufe x 7 Bit = 693 Bits
Lauflängenkodierung ist nicht geeignet für Fotos oder Texte, da es hier sehr selten
vorkommt, dass zweimal hintereinander dieselbe Farbe oder derselbe Buchstabe
kommt.
Bekannte Dateiformate, die das Prinzip der Lauflängenkodierung anwenden, sind
besonders ältere Grafikformate wie Bitmap, GEM Image, Targa oder PCX.
Quelle: http://de.wikipedia.org/wiki/Laufl%C3%A4ngenkodierung
Seite - 7 -

Lempel-Ziv-Welch-Algorithmus
Der LZW- oder auch Lempel-Ziv-Welch-Algorithmus ist ein Algorithmus, der zur
Datenkompression dient. Er wird häufig bei Grafikformaten, wie z.B. GIF angewandt.
Im Jahre 1978 entwickelten Abraham Lempel & Jacob Ziv den Algorithmus unter
dem Namen LZ78. Terry A. Welch verbesserte diesen im Jahre 1984.
Das LZW- Komprimierungsverfahren ist verlustfrei und wird in den bekannten
Bildformaten GIF, TIFF und JPEG verwendet. Da das erzeugte Wörterbuch von LZW
aber erst zu Laufzeit generiert wird und somit formatunabhängig ist, eignet sich LZW
für jede Form von Daten. Außerdem ist LZW von der Byteanordnung der
verschiedenen Plattformen unabhängig, da es seine komprimierten Daten als Bytes
und nicht als Strings ablegt.
Weitere Bezeichnungen für den LZW sind Substitutions- oder wörterbuchbasierender
Algorithmus.
Der ''LZW'' Algorithmus ist keine frei verfügbare Software. Die Firma Unisys hat
zusammen mit ''CompuServe Information Service'' einen Lizenzvertrag zur Nutzung
des LZW im GIF-Dateiformat.
Wird also ein ''CompuServe Information Service'' genutzt oder das GIF-Dateiformat
bearbeitet, müsste mit CompuServe ein Lizenzvertrag abgeschlossen werden,
welcher an eine Lizenzgebühr für jede verkaufte Kopie geknüpft wäre. Diese
Vereinbarungen gelten nur für Rechner von CompuServe, deshalb müssen für alle
anderen Programme, die GIF-Dateien benutzen, Gebühren an Unisys entrichtet
werden.
Funktion:
Zuerst wird aus den unkomprimierten Daten ein Wörterbuch erstellt, was auch String-
oder Übersetzungstabelle genannt wird. Die unkomprimierten Daten werden in
einzelne Zeichenketten zerlegt, die dann mit den bereits vorhandenen
Wörterbucheinträgen verglichen werden.
Falls schon ein Eintrag vorhanden ist, wird nur die Kennung des Worterbucheintrags
in der komprimierten Ausgabe wiedergegeben. Ist dies nicht der Fall, wird ein Eintrag
erstellt, sodass man diesen bei Bedarf später wieder verwenden kann.
Einer der Vorteile des Algorithmus ist, dass das Wörterbuch nicht zusätzlich abgelegt
wird. Es wird direkt in die Datei geschrieben. Wörterbucheinträge werden über einen
12 Bit langen Index angesprochen.
LZW im PhotoShop:
- Für Web speichern
- Farbpalette
- Auf lossy stellen
- Datei wird kleiner
- Strukturen, welche gleich sind werden erzeugt
- Man macht das Bild extra „kaputt“
Seite - 8 -

Beispiel:
Die Zeichenkette ABABCAB sei gegeben. Der Coder sowie der Decoder kennt in
diesem Beispiel die Symbole A, B und C. Das Kodierungsverfahren funktioniert nach
folgendem in Pseudocode verfasstem Prinzip.
set w =”“
loop
read a character k
if wk exists in the dictionary
w = wk
else
output the code for w
add wk to the dictionary
w = k
end loop
Wie man an dem Code sehen kann, ist der Wert für „w” anfangs leer. Jetzt wird
nacheinander immer ein Buchstabe eingelesen. Wenn A gelesen wird kommt es in
die Variable „k“ hinein, „wk“ wäre demzufolge A. Da A in der Bibliothek (auch
Wörterbuch) steht, wird nichts ausgegeben und A wird in „w“ gespeichert.
Das nächste Zeichen wird gelesen, hier wäre es das B, welches in der Variable „k“
steht. „wk“ ist also AB. Da „w“ nicht mehr gleich „wk“ ist, kommt man in den else-Teil
und gibt A aus (output the code for w). AB kommt in die Bibliothek (add wk to the
dictionary). B wird jetzt in „w“ gespeichert.
Der nächste zu lesende Wert ist A , wird in „k“ gespeichert. „wk“ entspricht nun BA.
BA ist unbekannt, wird in der Bibliothek gespeichert und der Code für B wird
ausgegeben.
A ist nun in „w“, B wird gelesen und in der Variable „k“ gespeichert. „wk“ entspricht
AB
Da AB schon in der Bibliothek vorhanden ist wird nichts ausgegeben und unser „wk“
wird zu „w“. „w“ entspricht nun AB, „k“ ist nun C. „wk“ ist also ABC und kommt wieder
in die Bibliothek und der Code für AB wird ausgegeben.
Dies wird dann für die restlichen Zeichen fortgesetzt. Hier sind noch einmal alle
Schritt in einer kurzen Tabelle zusammengefasst:
w k wk Output
„“ A A -
A B AB Code für A
B A BA Code für B
A B AB -
AB C ABC Code für
AB
Seite - 9 -