Vorlesung

Vorlesung Informations- und Kodierungstheorie 0 

Informations- und Kodierungstheorie 

Was Sie wissen sollten: 

¯Einschreibung in jExam (VL und Übung) 

¯VL-Skript komplett im Netz 

Skript enthält keine Beispiellösungen! 

Beispiele werden an der Tafel vorgerechnet (Tafelbild !!!) 

¯Ergänzende/Vertiefende Folienvorlagen zur VL werden im Netz 

bereitgestellt 

¯Zur Klärung von Fragen: Übung !!!, E-Mail, INF 3069 

Begleitbuch: Informations- und Kodierungstheorie. 4. Auflage, 2012 

(im Anhang weiterführende Literatur zu finden) 

¯Zur Fachprüfung: Formelblatt einseitig A4, Taschenrechner 

1 Einführung



C.E. Shannon (1948) R.W. Hamming (1950) 

Informationstheorie setzt sich mit zwei Problemstellungen auseinander: 

¯Inwieweit lässt sich Information kompakt darstellen? 

¯Inwieweit überträgt man Information ” 

fehlerfrei“ (quasi fehlerfrei)? 

Informationstheorie begründet die Grenzen, was ist erreichbar, was nicht 

(Zwei Kodierungstheoreme, SHANNON-Grenze ” 

fehlerfreier“ Übertragung) 

Kodierungstheorie konstruiert praktikable Umsetzungen 

(weniger komplexe Algorithmen, die sich den Grenzen annähern) 

Begleitbuch: Informations- und Kodierungstheorie. 4. Auflage, 2012 

1 Einführung


Information 

¯Statistischer Aspekt 

¯Semantischer Aspekt (Bedeutung der Information) 

¯Pragmatischer Aspekt (Nutzen für den Informationsempfänger) 

Statistische Informationstheorie 

Quelle Kodierer Übertragungskanal Dekodierer 

Senke 

Störung 

Information ist beseitigte Unbestimmtheit 

Das Maß dieser Unbestimmtheit ist äquivalent der Ermittlung der 

Informationsmenge. 

1 Einführung


Quelle Kodierer Übertragungskanal Dekodierer 

Quelle 

Senke 

Störung 

Informationsquellen 

diskrete Quellen 

kontinuierliche Quellen 

Einzelquellen 

Verbundquellen 

Quellen mit 

unabhängigen 

Ereignissen 

Quellen mit 

abhängigen Ereignissen 

(MARKOW−Quellen) 

2 Informationsquellen 2.1 Systematisierung


Definition 

Ü½Ü¾ÜÆ 

Eine Quelle mit dem Alphabet 

und der Verteilung der zugehörigen Auftrittswahrscheinlichkeiten 

´Ô´Üµµ´Ô´Ü½µÔ´Ü¾µÔ´ÜÆµµ ¼Ô´Üµ½ 

ÆÈ½Ô´Üµ½ 

wobei 

wird als diskrete 

Ô´Üµ ½ 

Quelle mit unabhängigen Ereignissen 

Ô´Üµ 

½bezeichnet. 

ldÔ´Üµ 

Die Unbestimmtheit (Informationsgehalt) eines EreignissesÜist 

Àlog logÔ´Üµim WeiterenÀld 

2 Informationsquellen 2.2 Diskrete Quellen 2.2.1 Einzelquellen


Ô´Ü½µ ½ Ô´Ü¾µ ½ Ô´ÜÆµ 

FürÀ´½¾Æµgilt dann: 

À½ld À¾ld ... 

ÀÑÆÈ 

Gewichteter 

½ Ô´ÜµÀÆÈ 

MittelwertÀÉÀÑ: 

½ Ô´Üµ ½ ½ ÆÈ Ô´ÜµldÔ´Üµ Ô´Üµld 

ÀÑ (Quellen)Entropie, 

Beispiel 

, ÀÆld 

½ 

gleichzeitig mittlerer Informationsgehalt 

Æ¾´Ô´Üµµ´Ô´Ü½µÔ´Ü¾µµ´½¼µ 

sicheres, unmögliches Ereignis 

in bit/Ereignis, bit/Messwert, bit/(Quellen-)Zeichenbit/QZ u. ä. 

Warum log bzw. ld, d. h. Anwendung des logarithm. Informationsmaßes? 



Ô´Üµ½Æ 

Sonderfall der Gleichverteilung: 

für alle 

ÀÉÀ¼ldÆ 

Maximalwert der Entropie oder Entscheidungsgehalt der Quelle 

Beweis 

Definition 

Der 

À¼ld¾½ 

Entscheidungsgehalt von zwei unabhängigen und 

ÖÒ× Ø 

gleichwahrscheinlichen Ereignissen einer Quelle 

wird als Einheit der Informationsmenge bezeichnet. 

L: Begleitbuch, S. 1 - 20 



MARKOW-Quellen 

(diskrete Quellen mit abhängigen Ereignissen): 

¯Das EreignisÜ´Ñ·½µtritt unter der Bedingung ein, dass ganz bestimmte 

EreignisseÜ´½µÜ´¾µÜ´Ñµbereits eingetreten sind. 

¯Die 

Ô Ü´Ñ·½µÜ´ÑµÜ´¾µÜ´½µ¡ 

Auswahl des EreignissesÜ´Ñ·½µerfolgt demnach mit der bedingten 

Wahrscheinlichkeit 

Ô´Ü´Ñ·½µÜ´Ñµµ 

MARKOW-Quellen erster Ordnung: 

Ô´ÜÜµ ´½¾Æµ 

wofür wir im Folgenden schreiben 

2 Informationsquellen 2.2 Diskrete Quellen 2.2.2 MARKOW-Quellen


Definition 

Eine MARKOW-Quelle ist das mathematische Modell einer 

Informationsquelle, bei dem die aufeinanderfolgende Auswahl von 

Ereignissen, d. h. die Folge der Zustände, sowohl von der momentanen 

Verteilung der Auftritts- bzw. Zustandswahrscheinlichkeiten als auch 

von der Verteilung der Übergangswahrscheinlichkeiten abhängt. 

Zustandsgraph einer binären MARKOW-Quelle erster Ordnung 

p( x | x ) 

2 

1 

x 

1 

x 

2 

p( x | x ) 

1 

1 

p( x | x ) 

1 

2 

p( x | x ) 

2 

2 



MARKOW-Kette 

p(x 

. 

.. 

p(x 

... 

p(x 

N 

i 

2 

) p(xN) 

) 

) 

. 

.. 

p(x j |x i ) 

. 

p(x 

p(x 

p(x1) 

p(x1) 

Zeit 

Ô´ÜµØ·½ÆÈ 

t t+1 

Nach dem Satz 

½ Ô´ÜµØÔ´ÜÜµ ´½¾Æµ 

von der vollständigen Wahrscheinlichkeit gilt: 

... 

.. 

. 

j 

2 

) 

) 



Entropie von MARKOW-Quellen 

ÀÆÈ 

Unbestimmtheit, die in den Übergangsmöglichkeiten von einem 

beliebigenÜzu 

½ Ô´ÜÜµ ½ allenÜ(½¾Æ) liegt: 

Ô´ÜÜµld 

ÀÉÆÈ 

Gewichteter 

½ Ô´ÜµÀ 

Mittelwert über alleÜ(½¾Æ): 

ÀÉÀÅÆÈ 

Die Entropie wird für den stationären FallÔ´ÜµÔ´Üµals 

MARKOW-EntropieÀÅbezeichnet: 

½½ ÆÈ Ô´ÜÜµ ½ Ø Ô´ÜµÔ´ÜÜµld in 


Ù×ØÒ 



Verbundquellen 

Wir betrachten gleichzeitig zwei diskrete Quellenundmit den 

zugehörigen Verteilungen der Auftrittswahrscheinlichkeiten: 

´Ô´Üµµ´Ô´Ü½µÔ´Ü¾µÔ´ÜÆµµder EreignisseÜ¾ 

und 

´Ô´Ýµµ´Ô´Ý½µÔ´Ý¾µÔ´ÝÅµµder EreignisseÝ¾. 

Annahmen 

¯Die Ereignisse innerhalb jeder Einzelquelle sind voneinander unabhängig. 

¯Ein Ereignis in der Quellehat ein bedingtes Ereignis in der Quelle 

mit der bedingten WahrscheinlichkeitÔ´ÝÜµzur Folge. 

Das Auftreten von zwei EreignissenÜundÝbezeichnet man als 

Verbundereignis´ÜÝµEs tritt mit der 

VerbundwahrscheinlichkeitÔ´ÜÝµÔ´Üµ¡Ô´ÝÜµauf. 

2 Informationsquellen 2.2 Diskrete Quellen 2.2.3 Verbundquellen


Definition 

Ô´ÜÝµ´½¾Æµ´½¾Åµ ÆÈ 

Die diskreten Quellenundmit den Verbundwahrscheinlichkeiten 

½½ ÅÈ Ô´ÜÝµ½, 

bilden eine Verbundquelle´µ. 

À´µÆÈ 

VerbundentropieÀ´µ: 

½½ ÅÈ Ô´ÜÝµ ½ Ô´ÜÝµld 

À´µÈ 

Nach einigen 

Ô´Üµ·È ½ 

Umformungen: 

ßÞ Ð È Ô´ÝÜµ ½ 

À´µ 

Ô´Üµld Ô´ÜµÔ´ÝÜµld 

Bedingte Entropie 

À´µ ßÞ Ð 


Vorlesung Informations- und 

´Ô´ÜÝµµ ¼ 

Kodierungstheorie 

½ ½ 13 

½ ¼½ ¼½ ¼½ ½ ½ È Æ ½ ÅÈ Ô´ÜÝµ½ 

¯Ô´ÜµÅÈ 

Beispiel 

½ Ô´ÜÝµ´½¾Æµ ´Ô´Üµµ´½ ½ ½ ½¾µ 

¯Ô´ÝµÆÈ ½ Ô´ÜÝµ´½¾Åµ ´Ô´Ýµµ´½¾ ½ ½ ½µ 

¯Ô´ÜÝµÔ´Üµ¡Ô´ÝÜµÔ´Ýµ¡Ô´ÜÝµ À´µÀ´µ ÖÒ× Ø 

´Ô´ÝÜµµ ¼ ¾ ½¾ ½ ¼½ ¼½ ¼½ ½ ´Ô´ÜÝµµ 

À´µ ÖÒ× Ø 

¯À´µ¿ ÎÖÙÒÖÒ× Ø À´µ 



À´µÀ´µ·À´µ À´µÀ´µ·À´µ 

Darstellung der Verbundentropie – VENN-Diagramm 

 

H(X,Y) 

 

 

 

 

H(X|Y) 

H(Y|X) 

 

 

 

H(Y) 

À´µÀ´µundÀ´µÀ´µ 

H(X) 

Folgende Schranken gelten für die bedingten Entropien: 



Grenzfälle der Abhängigkeiten beider Quellen 

a) Vollständige Unabhängigkeit: 

À´µÀ´µ·À´µ 

Bei unabhängigen Ereignissen giltÔ´ÝÜµÔ´Ýµ, À´µÀ´µund damit 

d. 

h. 

H(X) 

H(Y) 



b) Vollständige Abhängigkeit: 

À´µÀ´µ 

Bei vollständig abhängigen Ereignissen ist 

À´µ¼und damit 

H(Y) 

H(X) 


Vorlesung Informations- Kodierungstheorie 17 

Spezielle Verbundquelle´µ 

Quelle mit zwei identischen Ereignismengen 

H(X) 

H(X) 

H(X|X) = H M 

À´µÀ´µ¾¡À´µ 

In diesem Fall gilt für die Verbundentropie 

ÀÅÀ´µ À´µ À´µ ¼ 

bei vollständiger Unabhängigkeit 

bei vollständiger Abhängigkeit 




Kontinuierliche Quellen 

f(x) 

f(x i) 

0 x i x 

∆x 

Die Wahrscheinlichkeit, dass die zufällige GrößeÜim Bereich¡Ü 

Ô´ÜµÊ 

liegt, berechnet 

¡Ü ´ÜµdÜ´Üµ¡Ü 

sich durch 

2 Informationsquellen 2.3 Kontinuierliche Quellen


À´µ Entropie der ´Üµ¡Üld´´Üµ¡Üµ 

kontinuierlichen Quelle: 

È ´Üµ¡Üld´Üµ È ´Üµ¡Üld¡Ü 

À´µ ½Ê ½ ´Üµld´ÜµdÜ ld¡Ü 

ld¡Ü ¡Üist unter gleichen Bedingungen konstant. Daher lässt man 

meistens 

ÀÖÐ ½Ê 

weg und spricht dann von der relativen Entropie einer 

kontinuierlichen 

½ ´Üµld´ÜµdÜ 

Quelle: 

2 Informationsquellen 2.3 Kontinuierliche Quellen


Kodierer 

Unter Kodierung wird i. Allg. ein Vorgang verstanden, bei dem die 

Elemente eines Alphabets auf die Elemente eines anderen Alphabets 

(bzw. auf Wörter über diesem Alphabet) eineindeutig abgebildet 

werden. 

Für die Kodierung diskreter Quellen bedeutet dies: 

Jedes Element des Quellenalphabetswird einem Element des 

KanalalphabetsÍbzw. einem Wort überÍeineindeutig zugeordnet. 

Í¼½ 

Aus praktischen (technischen) Erwägungen beschränken wir uns auf die 

Binärkodierung, d. h. 

3 Kodierung diskreter Quellen 3.1 Einführung


Quellenkodierung (Optimalkodierung, Kompression) 

ist die erste Stufe der Kodierung, bei der die eineindeutige Darstellung 

der Quelleninformation in einer realisierbaren, möglichst 

redundanzfreien oder redundanzarmen Form erfolgen soll. 

verlustfreie Quellenkodierung (Redundanzreduktion) 

verlustbehaftete Quellenkodierung (Irrelevanzreduktion)℄ 

Kanalkodierung 

die sich meistens an die Quellenkodierung anschließt, dient dem Zweck 

des Störungsschutzes. Sie macht erst quasi fehlerfreie Übertragung 

möglich. 

Notwendig: Hinzufügung von Redundanz in Form von zusätzlicher 

Kontrollinformation (Kontrollstellen). 



Quelle 

X 

Senke 

Y 

Quellen 

kodierer 

Quellen 

dekodierer 

redundanzfrei 

oder redundanzarm 

Kryptographie 

Kanal 

kodierer 

Kanal 

dekodierer 

mit zusätzlicher 

Redundanz zum 

Störungsschutz 

Übertra 

gungskanal 

mit zusätzlicher 

Redundanz zum 

Störungsschutz 



Definition Dekodierbarkeitsbedingung (Präfix-, Fanobedingung) 

Ein ungleichmäßiger Kode, bei dem kein Kodewort den Anfang (Präfix) 

eines anderen Kodewortes darstellt, wird als präfixfreier Kode 

bezeichnet (hinreichende Bedingung für Eineindeutigkeit). 

Kodebaum – Darstellungsmöglichkeit eines (Quellen-)Kodes 

0 

Quellenkode: 

l=1 

0 

0 1 

0 1 

1 0 

1 1 0 

l=2 

1 1 1 

0 1 0 1 0 1 0 1 

Endknoten 

½ ÆÈ ¾ Ð½ 

l= l max = 3 

Von L.G. KRAFT gefundene Ungleichung 

ist eine notwendige Bedingung für die Dekodierbarkeit. 

3 Kodierung diskreter Quellen 3.2 Dekodierbarkeitsbedingung 

1


¯ÐldÆ 

¯ÐÑÆÈ 

Kodewortlänge 

gleichmäßiger Kode (allg.:ÐldÆ 

½ Ô´ÜµÐ 

ÀÃ℄) a 

ungleichmäßiger Kode 

¯ÐÑÀÑ 

Schranken 

¯ÀÑÐÑÀÑ·½ 

dekodierbarer Kode 

¯ÐÑÀÑ ¾ ÐÔ´Üµ¾ Ð·½redundanzarme Kodierung 

Ô´Üµ¾ Ð 

redundanzfreie Kodierung (Möglich ?) 

ÊÃÐ´Ñµ¡ÀÃ℄ ÀÉ¼ Koderedundanz 

aÀÃÀ´µ Entropie 

am Kanaleingang des Übertragungskanals 

3 Kodierung diskreter Quellen 3.3 Koderedundanz, 1. SHANNONsches Kodierungstheorem


fürÔ´Üµ¾ 

Das erste SHANNONsche Kodierungstheorem besagt: 

Redundanzfreie Kodierung ist auch Ðmöglich. 

Man nimmt eineÑ-fache Erweiterung der Quelle vor, d. h., die 

Quellenzeichen werden nicht einzeln, sondern in Blöcken vonÑ 

ÑÀÑÑÐÑÑÀÑ·½ 

Zeichen kodiert. 

ÀÑÐÑÀÑ·½Ñ 

Im Folgenden: Verfahren der Optimalkodierung 

Verfahren der (annähernd) redundanzfreien Kodierung 

Grundlage bilden´Ô´Üµµ´Ô´ÜÜµµ, deshalb auch Entropiekodierung 


3 Kodierung diskreter Quellen 3.3 Koderedundanz, 1. SHANNONsches Kodierungstheorem


SHANNON-FANO-Verfahren (1949) 

1. Ordnen der zu kodierenden Quellenzeichen nach fallenden Werten 

der Auftrittswahrscheinlichkeiten 

2. Teilen des geordneten Wahrscheinlichkeitsfeldes in zwei Gruppen; 

die Teilsummen der Wahrscheinlichkeiten in jeder Gruppe sollten 

möglichst gleich groß sein. 

Aufgrund dieses Teilungsprinzips enthält jeder Teilungsschritt und 

damit jedes Kodewortelement die größte Entropie bzw. Informationsmenge. 

3. Kodieren nach dem Prinzip, dass der ersten Gruppe immer einheitlich 

das Zeichen 0 (bzw. 1) und der zweiten Gruppe immer einheitlich 

das Zeichen 1 (bzw. 0) zugeordnet wird. 

4. 

Beispiel´Ô´Üµµ´¼½½¼¿¼¼½¼¾¼¼¼¼¼¼µÐÑ 

Wiederholen der Schritte 2. und 3.; solange, bis jede Teilgruppe nur 

noch ein Element enthält. 

3 Kodierung diskreter Quellen 3.4 Optimalkodierung 3.4.1 SHANNON-FANO


HUFFMAN-Verfahren (1952) 

1. Ordnen des gegebenen Wahrscheinlichkeitsfeldes nach fallenden 

Werten. 

2. Zusammenfassen der letzten zwei Wahrscheinlichkeiten (die mit 

den kleinsten Werten) zu einem neuen Wert. 

3. Erneutes Ordnen des reduzierten Wahrscheinlichkeitsfeldes entsprechend 

Schritt 1. 

4. Wiederholen der Schritte 2. und 3. solange, bis die Zusammenfassung 

der beiden letzten Elemente den Wert 1 ergibt. 

5. Aufstellen eines Kodebaumes entsprechend dem Reduktionsschema 

und Zuordnung der Kodesymbole 0 und 1. 

´Ô´Üµµ´¼½½¼¿¼¼½¼¾¼¼¼¼¼¼µÐÑ 

Beispiel 

3 Kodierung diskreter Quellen 3.4 Optimalkodierung 3.4.2 HUFFMAN

Ü¾ Ü Ü¿ Ü½ Ü 

Vorlesung Informations- und Kodierungstheorie 

Ü ¼¼ßÞ¼¼ 

ÜÐ 

28 

0,30 0,25 0,16 0,11 

¼½½ 0,06 

ßÞ¼¼Ð 

0,30 0,25 0,16 

¼½ 0,12 

ßÞ¼½¾Ð 

0,30 0,25 

¼¾ 0,17 

ßÞ¼½Ð 

0,30 

¼¿¼ ¼¾ 

0,28 

ßÞ Ð 

0,42 

ßÞ Ð 

0 1 

0 1 0 1 

0,58 0,42 

x 4 

=01 

1 

=11 

1 

ÐÑ¾Ã É 

x =000 5 

0 

0 

x 2 

x1 

=001 

1 x 3 

=101 

0 

x6 =1000 

x 7 

=1001 

1 

3 Kodierung diskreter Quellen 3.4 Optimalkodierung 3.4.2 HUFFMAN


Beispiel 

Ñ-fache Erweiterung der Quelle 

Eine Binärquelle sei mitÔ´¼µ¼gegeben. 

Aufzeigen der Reduzierung vonÊÃmit Erhöhung der Blocklänge von 

Ñ½aufÑ¾¿(Grundlage: SHANNON-FANO)! 

Berücksichtigung 

´Ô´Üµµ´¼¾¼¾¼µ´Ô´ÜÜµµÀÅ½¾Ø 

von´Ô´ÜÜµµ? 

Beispiel Beispiel aus 2.2.2 MARKOW-Quellen 

´Ô´ÜÜµµ ¼ ¼¼¾¼¿ ¼½¼¼¿ ¼¾¼½¼ ½ £¾½½¼½¼ÐÑ¾½Ã £½¼½½½¼ÐÑ½½Ã 

£¿½¼½½¼ÐÑ¿½¿Ã 

ÀÉ¾½¿¼Ø 

É½½Ø 

ÀÉ¿½½Ø 

ÀÉÀÅÈÔ´ÜµÀÉÐÅÈÔ´ÜµÐÑ½¿Ã ÉÊÃ¼½¼Ø 

É 

Andere Möglichkeiten 

(Berücksichtigen aktuelle Häufigkeiten! SHANNON überholt?) 

¯LEMPEL-ZIV(-WELCH) 

¯Arithmetische Kodierung 

3 Kodierung diskreter Quellen 3.4 Optimalkodierung, Ausblick 3.4.3 Erweiterte Quelle


Übertragungskanal 

Störung 

4 Kanäle 

Störungen 

¯Störungen durch Betriebsmittel (z. B. Unterbrechungen durch 

Vermittlungseinrichtungen) 

¯Störungen aus dem Umfeld (z. B. Beeinflussungen durch 

Starkstromleitungen, magnetische Streufelder) 

¯thermisches Rauschen der Bauelemente des Übertragungskanals 

¯Funkkanäle: Mehrwegeausbreitung (reflektierende Objekte), 

kurzzeitige Abschattungen, Nachbarkanalbeeinflussungen 

Trotzdem: Quasi fehlerfreie Übertragung 

Im Folgenden nur Betrachtungen aus Sicht der Informationsübertragung !


BERGERsches Entropiemodell des Übertragungskanals: 

H(X|Y) 

Quelle 

X 

H(X) 

H T 

H(Y) 

Senke 

À´µ À´µ 

H(Y|X) 

ÀÌ 

Entropie am Kanaleingang 

À´µ 

Entropie am Kanalausgang 

À´µ 

Transinformation 

Äquivokation (Rückschlussentropie) 

giltÀ´µÀ´µÀÌ 

Irrelevanz (Störentropie) 

Im Idealfall, d. h., der Kanal ist ungestört, 

4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation 

Y


Die TransinformationÀÌist die Informationsmenge, die im Mittel 

durch 

ÀÌ ein Kanalzeichen 

À´µ·À´µ 

vom Sender 

À´µ 

zum Empfänger übertragen werden 

kann: 

À´µ À´µ À´µ À´µ inØÃ 

Notwendig: Kenntnisse über das Stör-(Übergangs-)verhalten 

– Statistische Untersuchungen 

– Übertragungsweg (Kabel, Funk) widerspiegelt typische 

Annahme:´Ô´ÝÜµµbekannt,ÆÅ 

Fehlerstrukturen 

Nachbildung des Störverhaltens (z. B. Binär-, AWGN-Kanalmodell) 

4 Kanäle 4.1 Diskrete Kanäle 4.1.1 BERGERsches Modell, Transinformation


Wahrscheinlichkeitstheoretisches Modell eines diskreten Kanals: 

p(y M-1|x N-1) 

p(x ) 

p(y ) 

N-1 

. . p(yj 

) 

p(y 

p(x . j |x i) 

i) 

. .. 

. 

.. 

. 

. 

p(yj |x 0) 

p(x1) 

p(y 

p(y 

|x ) 

1) 

1 0 

p(x0) 

p(y0 

) 

p(y 0 |x 0 ) 

. 

M-1 

X 

Y 



¯Ô´ÝÜµ 

Interpretation 

und 

¯Ô´ÝÜµ 

Wahrscheinlichkeit, mit welcher das gesendete ZeichenÜunverfälscht 

übertragen wird 

und 

À´µÈ 

Wahrscheinlichkeit, mit welcher das gesendete ZeichenÜin das 

empfangene 

È 

ZeichenÝverfälscht 

Ô´ÝÜµÀÌÀ´µ ½ À´µ 

wird 

Ô´ÜµÔ´ÝÜµld 

Ô´ÝÜµ½ 

Für 

Ô´ÝÜµ¼ 

eine fehlerfreie Übertragung 

 

gilt: 

für und 

für 

ÀÌÀ´µ 



´Ô´Ýµµ´Ô´Ý¼µÔ´Ý½µÔ´ÝÅ ´Ô´Üµµ´Ô´Ü¼µÔ´Ü½µÔ´ÜÆ 

Beschreibung der Komponenten durch 

½µµ 

Vektoren bzw. Matrizen: 

´Ô´ÝÜµµ ¼ Ô´Ý¼Ü½µ ¼Ü¼µ Ô´Ý½Ü¼µ Ô´Ý½Ü½µ Ô´ÝÅ ½Ü¼µ ½Ü½µ 

½ Ô´Ý¼ÜÆ ½µ Ô´Ý½ÜÆ ½µ Ô´ÝÅ ½ÜÆ ½µ 

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

´Ô´ÜÝµµ ¼ Ô´Ü½Ý¼µ ¼Ý¼µ Ô´Ü¼Ý½µ Ô´Ü½Ý½µ Ô´Ü¼ÝÅ Ô´Ü½ÝÅ ½µ 

½ Ô´ÜÆ ½Ý¼µ Ô´ÜÆ ½Ý½µ Ô´ÜÆ ½ÝÅ ½µ 

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

Beispiel Berechnung vonÀÌ 

´Ô´Üµµ´¼¾¼¼¿µ´Ô´ÝÜµµ ¼ ¼ ¼¿ ¼½ ¼ ¼½ ¼ 

¼¾½ 



Kanalkapazität diskreter Kanäle 

Quelle 

X 

I 

Q 

Quellen 

kodierer 

I 

KQ 

Kanal 

kodierer 

I K K 

I 

K 

Übertra 

gungskanal 

Senke 

Y 

I Q 

Quellen 

dekodierer 

ÁÉ ÁÃÉ 

Quelleninformationsfluss 

Quellenkodeinformationsfluss 

I T 

Kanal 

dekodierer 

I K 

ÁÃÃ ÁÌ 

Kanalkodeinformationsfluss 

Kanalinformationsfluss (ÜbertragungsgeschwindigkeitÚĐÙ) 

Transinformationsfluss 

4 Kanäle 4.1 Diskrete Kanäle 4.1.2 Kanalkapazität

QuelleninformationsflussÁÉinØ× 


ÁÉÉÀÉ (É– Quellensymbolfrequenz 

QuellenkodeinformationsflussÁÃÉinØ× 

ÁÃÉÉÐÀÃ 

inÉ×) 

(allg. gleichmäßiger Quellenkode:ÐldÆ 

ÀÃ℄) 

KanalkodeinformationsflussÁÃÃinØ× 

KanalsymbolfrequenzÃinÃ× 

ÁÃÃÉ´Ð·¡ÐµÀÃÉÒÀÃ(Kanalkode:ÒÐ·¡Ð) 

aus der Übertragungstechnik auch SchrittgeschwindigkeitÚ×in 

ÜbertragungsgeschwindigkeitÚĐÙinØ× 

inÙ ËÖØØ×oder 

TransinformationsflussÁÌinØ× 

ÚĐÙÁÃÚ×ÀÃ 

ÁÌÚ×ÀÌ 



ÁÃÁÃÉ ÁÃÙÒ×℄ÉÐ ßÞÐ 

Ungesicherte Übertragung 

Ú× ÀÃ 

ÁÃÁÃÃ ÁÃ×℄ÉÒ ßÞÐ 

Gesicherte Übertragung 

Ú× ÀÃ (Kanalkode bekannt!) 

ÁÌÁÃÉ Ú×ÁÃÉ ÀÌ ÉÐÀÃ ÀÌÉÒ 

bzw. 

ÁÃ×℄ÁÃÃÉÐÀÃ ÀÌ ÀÃÚ×ÀÃ¡ÐÒ Ð 

(Abschätzung¡Ð!) 

vonÁÃÙÒ×℄ÚĐÙÙÒ×℄ÁÃ×℄ÚĐÙ×℄ 

Æ½¾¼ÉÉ½¼¼É×¿ 

Beispiel Berechnung 

Kanalverhältnisse aus letztem Beispiel 



Der TransinformationsflussÁÌauf gestörten Kanälen ist immer kleiner 

als die ÜbertragungsgeschwindigkeitÚĐÙ. 

Die Frage nach der maximal übertragbaren Information führt zum 

Begriff der Kanalkapazität. 

Definition 

Die 

ÑÜÁÌÑÜÚ×ÀÌ¾ÀÌÑÜ 

Kanalkapazitätist der Maximalwert des 

Transinformationsflusses: 




Gestörter Binärkanal 

p(x ) 

p(x 

Ü¼ 

0) 

Ü½ Ý¼ 

Zeichen 

Ý½ 

Zeichen 

 

Zeichen 

Zeichen 

Æ 

Schrittfehlerwahrscheinlichkeit: 

Schrittfehlerwahrscheinlichkeit: 

1− 

δ 

δ 

1− ε 

X 

Y 

p(y ) 

1 1 

ε 

p(y ) 

0 

´Ô´ÝÜµµ ¼ ½ Æ ½ Æ ½ 

0 am Kanaleingang 

1 am Kanaleingang 

0 am Kanalausgang 

1 am Kanalausgang 

statt des gesendeten 

ZeichensÜ¼wird das ZeichenÝ½empfangen 

statt des gesendeten 

ZeichensÜ½wird das ZeichenÝ¼empfangen 

4 Kanäle 4.1 Diskrete Kanäle 4.1.3 Binärkanal


Gegeben:´Ô´ÜµµÆ 

Berechnung der Transinformation 

von´Ô´Ýµµ vonÀ´µ 

1. Schritt: Ermittlung 

vonÀ´µ 

2. Schritt: Ermittlung 

3. Schritt: Berechnung 

4. Schritt: Berechnung der TransinformationÀÌÀ´µ À´µ 

´Ô´Üµµ´¼¼µÔ´Ý½Ü¼µ¼½ÆÔ´Ý¼Ü½µ¼¼ 

Beispiel Berechnung vonÀÌ 



ÆÔ× 

Spezialfälle des gestörten Binärkanals 

ÀÌÀ´µ ´½ 

Symmetrisch gestörter Binärkanal 

´½ ½Ô×µ·Ô×ld½Ô× 

(Ô×Schrittfehlerwahrscheinlichkeit) 

Ô×µld 

ÀÌÑÜ½ ´½ ´½ ½Ô×µ·Ô×ld½Ô× Ô´Ü¼µÔ´Ü½µ½¾: Ô×µld 

ÀÌÀ´µ Annahme:Ô×Æ¼ 

Einseitig gestörter 

Ô´Ü¼µ´½ 

Binärkanal 

´½ ½Ô×µ·Ô×ld½Ô× Ô×µld 

ÀÌ½·½¾ ´½·Ô×µ ½ Ô×ld½Ô× Ô´Ü¼µÔ´Ü½µ½¾: ´½·Ô×µld 



Binärkanal mit Störerkennung 

y(t) 

y 0 

0 = 

y M −1 

... ... 

y j 

y 2 

y 1 

= 1 

t 

p(x 1) 

p(x 0 ) 

p(y |x 

M-1 

. 

. 

p(y 

|x 

0 0 

) 

) p(yj 

|x 1) 

1 

p(y |x ) j 0 

p(y ) 

. 

p(y j ) 

. 

M-1 

p(y 1 ) 

p(y ) 

0 

X 

Y 



Spezialfall: Symmetrisch gestörter Binärkanal mit Auslöschung 

1−p s 

−λ 

p(x 1) p(y 1) 

p(x ) 

p s 

p s 

0 1−ps 

−λ 

0 

ÀÌÑÜ´½ µ Ô×ld½Ô×·´½ Ô´Ü¼µÔ´Ü½µ½¾: 

µld 

λ 

λ 

p(y ) 

2 

p(y ) 

Ý¾– Auslöschungszeichen 

½ ½ ´½ Ô× µld 

½ Ô× ½ 

p(x ) 

1 

p(x ) 

0 

1−λ 

λ 

1−λ 

λ 

p(y ) 

1 

p(y ) 

2 

p(y ) 

Ô´Ü¼µÔ´Ü½µ½¾: ÀÌÑÜ´½ µ 

0 



Beispiel 

Bewertung von Kanalmodellen 

1−p s 

p(x 1) p(y 1) 

p s 

p(y ) 

2 

1−p s 

−λ 

p(x 1) p(y 1) 

p s 

1−λ 

p(x 1) p(y 1) 

λ 

p(y 2) 

p 

p s 

s 

λ 

p(x 

Gegeben:Ô´Ü¼µÔ´Ü½µ½¾ 

0) 

p(y 0) 

p(x 0) 

p(y 0) 

p(x 0) 

1−p s 

1−p s 

−λ 1−λ 

Kanal 

¼ 1 

Kanal 2 

Kanal 3 

Ô´Ý½µ ¼µ 

Ô´Ý¾µ ½ ¼ ¼´½ ½ µ 

´¼¼µ ¼ ½ Ô× ½ Ô× ½ Ì 

½ Ô× ¼ 

λ 

λ 

p(y ) 

2 

p(y ) 

0 



Ô´Ý¼µ Ô´Ý½µ ¼ ¼ Ô´Ý¾µ ¼ ¼¼½ ¼ 

À´µ ½¼¼¼ØÃ ½¼½ØÃ ½½¾½ØÃ ¼¼¾ 

À´µ ÀÌÑÜ ¼½½ØÃ ¼ØÃ ¼½½ØÃ ¼¼ØÃ ¼½½ØÃ ¼¼ØÃ 

Ergebnis: 

Kanal 1 Kanal 2 Kanal 3 




ÀÌÑÜ½ØÃ 

und 

Kanalkapazität des Binärkanals 

Für den ungestörten Fall und unter der AnnahmeÔ´Ü¼µÔ´Ü½µgilt: 

ÑÜÆØ ×¾Æ× ½. 

Die 

¾½ ´½ 

Kanalkapazität eines symmetrisch gestörten Binärkanals mit 

´½ ½Ô×µ·Ô×ld½Ô× gleichverteilten Eingangszeichen lautet beispielsweise: 

. Ô×µld 

Beispiel 

Dimensionierung vonÉ (Aufg.s.: 3.1, 8. Aufgabe) 

´Ô´Üµµ´¼½¼¿¼½¼¼¼¼¼µ, 

(rauschfreier) Binärkanal mit½¼¼ÀÞ,É¼É×möglich? 



Analoge Kanäle 

Entropie analoger Quellen 

f(x) 

f(x i) 

0 x i x 

∆x 

Die Wahrscheinlichkeit, dass die zufällige GrößeÜim Bereich¡Ü 

Ô´ÜµÊ 

liegt, berechnet 

¡Ü ´ÜµdÜ´Üµ¡Ü 

sich durch 

4 Kanäle 4.2 Analoge Kanäle 4.2.1 Entropie analoger Quellen

À×ÖÀÑÈ 


½ 

49 

È ´Üµ¡Ü 

´Üµ¡Üld 

´Üµ ½ È 

ÀÒ½Ê ´Üµ¡Üld¡Ü ½ ´ÜµdÜ ½ ld¡Ü 

´Üµ¡Üld 

´Üµld 

ld¡Ü ¡Üist unter gleichen Bedingungen konstant. Daher lässt man 

ÀÖÐ½Ê 

meistens weg und spricht dann von der relativen Entropie einer 

analogen 

½ ´ÜµdÜ ½ 

Quelle: 

´Üµld 

vonÀÖÐ 

´ÜµÔ¾È ½ ¾È Ü¾ 

Beispiel Berechnung 

4 Kanäle 4.2 Analoge Kanäle 4.2.1 Entropie analoger Quellen


Transinformation analoger Kanäle 

¯Signale und Störungen überlagern sich additiv und sind damit am 

Kanalausgang als Summe beider vorhanden. 

¯Es entstehen keine Störanteile, die vom Nutzsignal abhängen. 

Nutz- und Störsignal sind unkorreliert, d. h., die Leistung des 

Empfangssignals ist gleich der Summe aus Nutz- und 

Störsignalleistung: 

P x 

P y = P x + P z 

Pz 

Annahme: Amplitudenwerte von Nutz- und Störsignal sind 

normalverteilt:´Üµ 

½ ¾È Ü¾ Ô¾Èe 

4 Kanäle 4.2 Analoge Kanäle 4.2.2 Transinformation, Kanalkapazität

Vorlesung 

À´µ½¾ld¾ÈÜ 

Informations- und Kodierungstheorie 51 

Entropie der Quelle 

´ÈÜmittlere Nutzsignalleistungµ 

À´µ½¾ld¾ÈÞ 

Störentropie 

´ÈÞmittlere Störsignalleistungµ 

À´µ½¾ld¾´ÈÜ·ÈÞµ 

Entropie am Kanalausgang 

ÀÌ½¾ld½·ÈÜ ÈÞ 

Transinformation analoger Kanäle 

ÀÌ½¾ldÈÜ 

der BedingungÈÜ 

ÈÞ½ 

ÈÞ 

unter 



Ö½¼ÐÈÜ 


ÈÞ 

Rauschabstand 

in(Dezibel) 

FürÈÜ 

ÀÌ½¾¼¿¿¾Ö¼½Ö 

dann 

ÈÞ½gilt 

Ò¾½¾ld½·ÈÜ ÈÞ 

Kanalkapazität analoger Kanäle 

ÒÆØ ×Æ× ½ld½·ÈÜ 

oder 

FürÈÜ 

ÈÞ 

Ò¼¿¿¾Ö 

man 

ÈÞ½erhält 

L: B.buch, S. 33 - 37, 68 - 76, 102 - 106 



Quantisierung analoger Signale 

Quelle 

Kodierer 


Dekodierer 

Senke 

Diskrete 

Quelle 

Analoge 

Quelle 

Störung 

Analoge Quelle 

f(t) 

Abtastung 

f(n t 

A 

) 

Amplituden− 

quantisierung 

f*(n t 

A 

) 

Quellenkodierer 

x(t) 

f(t) 

f(n t 

A) 

f*(n t 

A 

) 

x(t) 

t 

n t 

A 

n t 

A 

t 

a) 

b) c) d) 

4 Kanäle 4.3 Quantisierung analoger Signale


Zeitquantisierung 

¾ Ï× 

Abtastfrequenz 

in 

Abstand der Abtastwerte: 

Ø¾½ 

½ 

bei Einhaltung obiger Bedingung kein Infomationsverlust 

Amplitudenquantisierung 

Informationsverlust abhängig von Stufung und Verteilung 

Annahme: Quantisierung mit linearer Kennlinie 



n 

m 

Diskrete Quelle 

i 

2 

δ 

21 

δ 

22 

1 

ÀÕÑÈ ½ 

x 1 

x 2 

Ô´Üµ 

½x i 

Ï Ø 

x 

m 

x 


Ô´Üµld 

ÀÕÑÜldÑ 

in 

Ô´Üµ½Ñ: 



Modell der diskreten Übertragung eines quantisierten, gestörten Signals 


Q 

an 

I 

Q 

Analoger 

Kanal 

C an 

ADU 

Iq= I KQ 

Kodierer 


Dekodierer 

Senke 

ld½·ÈÜ ÒÁÕ 

ÈÞ ¾ldÑ 

ÑÕÈÜ ÈÞ oderÑ½¼Ö¾¼ 

Störung 

Dekodierer DAU Senke 

ÁÕÁÃÉ, wennÐldÑ 



Kenngrößen der Analog-Digital-Umwandlung 

¯Grenzfrequenz 

Das analoge Signal hat zwei Kenngrößen, die den Informationsfluss 

¯RauschabstandÖ 

bestimmen: 

und 

¯UmsetzzeitØÙ 

Wichtige 

¯KodewortlängeÐldÑ 

Kenngrößen des Analog-Digital-Umsetzers (ADU) sind: 

und 

Da durch den ADU das quantisierte Signal in einem gleichmäßigen 

Kode dargestellt wird, werden nur Stufenanzahlen von 

Ñ¾(½¾) 

realisiert. 



Bedingungen zur Vermeidung von Informationsverlust durch ADU: 

¯In 

ØÙØ 

der ZeitØÙist das Signal abzutasten und der Abtastwert in einem 

Binärkode darzustellen: 

Ð¼½ÖÑ¾Ð 

¯Die erforderliche Kodewortlänge wird durch den Rauschabstand 

vorgegeben: 

mitÐinÃ 

ÏÖin 

ÁÃÉ¾ÐÀÃÐÀÃ 

Kanalkapazität des nachgeschalteten Binärkanals: 

(Gesicherte Übertragung!) 

Ò½ÀÞÖ¼BK:¼½Æ¼¼Ô´Ü¼µÔ´Ü½µ 

Übertragung:ÚĐÙÙÒ×℄ÚĐÙ×℄Ò 

Beispiel ADU, diskrete 




Kanal− 

(de)kodierer 

Fehlerkorrektur 

durch Wiederholung (ARQ) 

[automatic repeat request] 

"Fehlererkennung" 

durch Rekonstruktion (FEC) 

[forward error correction] 

"Fehlerkorrektur" 

mit Entscheidungs 

rückmeldung 

mit Maximum 

Likelihood 

mit begrenzter 

Mindestdistanz 

5 Kanalkodierung 5.1 Einführung


ARQ 

a* 

FEC 

Kanalkodefolge 

a 

Übertragung 

Empfangsfolge b 

Wiederholung 

n fehlerfreie 

Übertragung ? 

n 

Fehlerkorrektur 

j 

Entfernen der 

Redundanz 

5 Kanalkodierung 5.1 Einführung 

b*


Fehlerkorrektur durch Wiederholung 

hinzugefügte redundante Stellen nur zur Erkennung eines Fehlers 

Fehlerkorrektur durch Rekonstruktion 

hinzugefügte redundante Stellen zur Erkennung eines Fehlers und 

Lokalisierung der Fehlerpositionen 

FECARQ 

(Aus Abschätzung bekannt:¡Ð) 

Rekonstruktionsergebnisse 

¯korrekte Rekonstruktion 

¯falsche Rekonstruktion 

¯Versagen der Rekonstruktion 



Allgemeine Kenngrößen von Kanalkodes 

Quelle 

X 

Quellen 

kodierer 

A * 

Kanal 

kodierer 

A 

Ü½Ü¾ÜÄ 

Senke 

Quellen 

Y 

dekodierer 

½¾Ä ££½£¾£Ä 

½¾Æ ½¾Æ 

B* 

Kanal 

dekodierer 

Übertra 

gungskanal 

´ÒÐµ, auch´ÒÐÑÒµKode 

B 

E 

Beispiel 

´Ò½ÒµWiederholungskode 



´Ù½Ù¾ÙÒµund´Ù½Ù¾ÙÒµ 

Definition 

Die Anzahl der Stellen, in denen sich zwei Kodewörter 

´µ¾ÒÙÙ ¾Ò½¾Ò 

unterscheiden, bezeichnet man als HAMMING-Distanz´µ: 

mit 

´µ 

Binärkode: 

½´Ù¨Ùµ ÒÈ 

Û´µ 

HAMMING-Distanz: 

½ ÒÈ Ù´0µ 

ÑÒ¾´µÑÒ 

¾Ò¼´0µÑÒ ¾Ò¼Û´µÛÑÒ 

HAMMING-Gewicht: 

Beispiel 

Distanzberechnung 

´½ÑÒ)Wiederholungskode;´¿ÑÒ)Paritätskode 



Geometrische Deutung der minimalen HAMMING-Distanz: 

Kodewort 

a i 

Kodewort 

a j 

Korrekturkugeln 

d( ai , a j ) 

0 1 2 3 4 5 

ÑÒund 

FK:ÑÒ ÑÒ··½ 

Leistungsfähigkeit 

½ FE:¼ÑÒ ½ 

eines Kodes bzgl. und FK: 

¾ ÑÒ ¾ (ÑÒgeradzahlig?) 

Beispiel Fortsetzung: 



¾Ò¾Ð¾¾Ð½· Ò½¡· Ò¾¡·· Ò¡ 

Berechnung der redundanten Stellen(bekannt:ÑÒÐoderÒ) 

´Ò µÒ´Ò ½µ¡¡´Ò ½¡¾¡¡·½µ 

ldÈ ¼ Ò¡ldÈ ¼ Ð· ¡ 

¾È ¼ Ò¡ Ò¡ Ò 

untere Schranke fürbei vorgegebenemÐ 

obere Schranke fürÐbei vorgegebenemÒÐÒ 

HAMMING-Schranke 

”“: Entsprechende Kodes heißen dichtgepackt oder perfekt. 

Beispiel Berechnung von 

ÐÑÒ 



ÖÒ Ð 

66 

Weitere Kodekenngrößen 

relative Redundanz 

Koderate ÊÐÒ 

Ò Ò 

Zweites SHANNONsches Kodierungstheorem 

Die RestfehlerwahrscheinlichkeitÔÊkann beliebig klein gehalten 

werden, solange die KoderateÊden Wert der maximalen 

TransinformationÀÌnicht überschreitet. 

Darüber hinaus hat SHANNON theoretisch nachgewiesen, dass auch 

bei beliebig kleiner Restfehlerwahrscheinlichkeit immer noch eine 

Koderate größer als Null möglich ist [SHA 48]. 




ÐÓÓ× ÐÖ×ÃÒÐÓ× ÐÓÖ´×ÕÙÒØÐÐµÃÓ× 

Klassifizierung von Kanalkodes 

ÈÖØĐØ×Ó× ´ÒĐÖ¸ÒØÒĐÖµ ´ÒĐÖµ 

´ÎÖØØØÃÓ×µ ÏÖÓÐÙÒ×Ó× ÊßÅÍÄÄÊßÃÓ×ÀßÃÓ×ÊËßÃÓ× 

ÀÅÅÁÆßÃÓ× ÝÐ×ÃÓ× ÐØÙÒ×Ó× 

´ÊßÃÓ×µ 

Neu“: Turbokodes, LDPC-Kodes 

” 

(einfache, auch verkettete Blockkodes mit iterativer Dekodierung) 


5 Kanalkodierung 5.2 Klassifizierung von Kanalkodes


Definition 

Ein Kode heißt linearer Blockkode, oder kurz Linearkode, wenn der 

Kanalkodierer für die Transformation von Quellenkodewörtern der 

LängeÐaus dem Alphabet£(Quellenkode) in Kanalkodewörter der 

LängeÒdes Alphabets(Kanalkode) eine Verknüpfungsoperation 

verwendet, die in der algebraischen Struktur einer Gruppe definiert ist. 

Darstellung von Linearkodes als Gruppe 

Axiom G1: Abgeschlossenheit 

Axiom G2: Assoziatives Gesetz 

Axiom G3: Neutrales Element 

Axiom G4: Inverses Element 

Kommutativgesetz 

abelsche Gruppe 

Beispiel 

Wiederholungskode, Paritätskode 

5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.1 Darstellungen


Wichtig für algebraische Kodes: 

£lineare Verknüpfung von Kanalkodewörtern führt wieder zu einem 

Kanalkodewort 

£Nullwort ist immer auch Kanalkodewort 

£Axiome stellen Kodebildungs- und Fehlererkennungsvorschrift dar 

¼½ÒmitÄ¾ÐKanalkodewörtern,Ò Ð £´ÒÐÑÒµKanalkode: 

£ÑÒdes Kanalkodes bestimmt Leistungsfähigkeit 

FE:ÑÒ 

Bei einem Linearkode ist die minimale HAMMING-Distanz gleich 

FK:¤ÑÒ 

dem minimalen 

¾ ½½ÛÑÒ ¥¤ÛÑÒ Gewicht der 

¾ ½¥¤ÑÒ 

Kodewörter (außer 

¾ ¥¤ÛÑÒ 

dem Nullwort). 

¾ ¥ 

Beispiel Kanalkodealphabet 



½ ¼ ´¼¼¼¼¼¼¼µ ´½¼¼¼½¼½µ 

Kanalkodealphabet: 

¾ ´¼¼½¼½½¼µ ´¼¼¼½¼½½µ ½¼ ´½¼¼½½½¼µ 

¿ ´¼¼½½½¼½µ ½½ ´½¼½¼¼½½µ 

´¼½¼¼½½½µ ½¾ ´½¼½½¼¼¼µ 

´¼½¼½½¼¼µ ½¿ ´½½¼¼¼½¼µ 

´¼½½¼¼¼½µ ½ ´½½¼½¼¼½µ 

´¼½½½¼½¼µ ½ ´½½½¼½¼¼µ ´½½½½½½½µ 

Überprüfen der Eigenschaften! 

´ÒÐÑÒµLinearkode 



Darstellung von Linearkodes durch Matrizen 

Definition 

Ein LinearkodemitÄ¾ÐKanalkodewörtern ist durch seine 

GeneratormatrixmitÐlinear unabhängigen Kanalkodewörtern 

(Basiswörtern) eindeutig beschrieben: 

Ð¢Ò ¼ Ù Ù¾½ ½½ Ù½¾ Ù¾¾ Ù½Ò½ Ù¾Ò 

ÙÐ½ ÙÐ¾ . 

. 

. .. 

ÙÐÒ 

Ù ¾¼½ 

. Mit einer Einheitsmatrix über den erstenÐSpalten der Generatormatrix 

sind die zugehörigen Kanalkodewörter mit Sicherheit linear 

unabhängig. 



Kanonische oder reduzierte Staffelform 

Ð¢Ò ¼ ½ ¼ ½ ¼ Ù Ù¾Ð·½ ½Ð·½ Ù½Ð·¾ Ù¾Ð·¾ Ù½Ò½ 

Ù¾Ò 

¼ ½ ÙÐÐ·½ ÙÐÐ·¾ ÙÐÒ 

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

¼ ½ ¼ ½ ¼ ¾½ ½½ ½¾ ¾¾ ½½ ¾ ÁÐ℄ 

¼ ¼ ¼ ½ Ð½ Ð¾ Ð 

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

Beispiel 

Fortsetzung:Ð¢Ò 



Definition 

Ein Linearkode heißt systematischer Kode, wenn aus einem 

Kanalkodewort¾durch Streichen redundanter Stellen das 

Quellenkodewort£¾£unmittelbar entnommen werden kann. 

£¡Ð¢Ò 

Bildung eines Kanalkodewortes – Kanalkodierung 

´Ù½Ù¾ÙÒµ ´Ù½Ù¾ÙÐµ ¼ ½ ¼ ½ ¼¼ ¾½ ½½ ½¾½ ¾¾¾ 

¼ ¼ ¼½ Ð½ Ð¾Ð 

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

Fortsetzung:£´¼½¼½µ 

Beispiel 

½ 



Aufbau einer Kontrollmatrix (aus der Generatormatrix): 

Ein zuorthogonaler Unterraum¼ist dadurch gekennzeichnet, dass 

das Skalarprodukt eines beliebigen Vektors ausmit jedem beliebigen 

Vektor 

´Ù½Ù¾ÙÒµ 

aus¼Null ist. 

Es 

¼´Ù½Ù¾ÙÒµmit¼¾¼ 

mit¾ 

sei 

und 

¡¼Ù½¡Ù½¨Ù¾¡Ù¾¨¨ÙÒ¡ÙÒ¼ 

Dann gilt 

ÁÐ℄ 

für alle 

£Ist 

dann ist der zuorthogonale Unterraum¼ 

ÀÌÁ℄ 

durch 

¡ÀÌ´À¡ÌµÌ¼ 

beschrieben. 

Orthogonalitätsbedingung: 

Beispiel Fortsetzung:Ð¢ÒÀ¢Ò 



¡¼Ì 

Kontroll(auch 

½ Ù½¡½½¨Ù¾¡¾½¨¨ÙÐ¡Ð½¨ÙÐ·½¡½¨ÙÐ·¾¡¼¨¨ÙÒ¡¼ 

Prüf-)matrix liefert auch Vorschrift zur Bildung der 

Kontrollstellen(Bestimmungsgleichungen): 

¼ 

ÙÐ·½℄½Ù½¡½½¨Ù¾¡¾½¨¨ÙÐ¡Ð½ 

Allgemein: 

Erstes KontrollelementÙÐ·½℄½des Kanalkodewortes: 

ÙÐ·℄Ù½¡½¨Ù¾¡¾¨¨ÙÐ¡Ð ´½¾µ 

für´Ù½Ù¾ÙÐÙÐ·½ÙÐ·¾ÙÐ·µ´Ð½Ð¾ÐÐ½¾µ 

£´¼½¼½µ 

für´½¾µ 

Beispiel Forts.: Bestimmungsgleichungen 




Fehlererkennung und Fehlerkorrektur – Kanaldekodierung 

¯Die Empfangsfolgekann als Überlagerung eines Kanalkodewortes 

mit einem Fehlerwortaufgefasst werden: 

¨. 

×À¡ÌÀ¡´¨µÌÀ¡Ì ßÞÐ 

Damit gilt für das Fehlersyndrom 

¼ ¨À¡ÌÀ¡Ì 

(auch Prüfvektor) 

GewichtÛ´µÑÒ 

GewichtÛ´µÑÒ 

¯Alle Fehlermuster, deren 

¾ ½ 

½ist, sind mit 

Sicherheit erkennbar. 

¯Alle Fehlermuster, deren ist, sind mit 

Sicherheit korrigierbar. 

¯Ist¾undÛ´µÑÒ 

¯Darüber hinaus sind nur Fehlermuster 

¾ ½ 

erkennbar, die nicht indefiniert 

sind, d. h.¾. 

erfolgt eine Falschkorrektur oder 

Rekonstruktionsversagen. 

5 Kanalkodierung 5.3 Lineare Blockkodes 5.3.2 FE und FK

Vorlesung Informations- 

×À¢Ò¡Ì 

und Kodierungstheorie 77 

¯Empfangsfolge¾? 

(auch: Kontrollgleichungen für×´½¾µ) 

×¼:¾ 

fehlerfreie Übertragung 

oder 

kein erkennbarer Fehler 

langeÛ´µ¤ÑÒ 

×¼:¾Fehlererkennung, 

¾ ½¥ 

Korrektur? 

¯Jedem Fehlersyndrom ist maximal ein Fehlermuster zugeordnet, so- 

¯Die Syndrome sind-stellige Vektoren. Also können´¾ 

Fortsetzung:´½½¼¼½¼½µ¾ 

½µverschiedene 

Fehlermuster 

für×´½¾µ 

korrigiert werden. 

Beispiel 

Kontrollgleichungen 




Einfachster“ Linearkode: 

£´Ù½Ù¾ÙÐµ´Ù½Ù¾ÙÐÙÐ·½µ 

” 

Paritätskode 

ÙÐ·½ ÐÈ ÙÐ·½– Paritätselement: 

½ 

Ùmod¾ (Ergänzung auf geradzahlige Anzahl Eins) 

Generatormatrix´Ò 

ÑÒ? ½µ¢Ò? 

KontrollmatrixÀ½¢Ò? 

Fehlererkennung:×À¡ÌÒÈ 

½ Ùmod¾×¼¾ 

Anwendung: DÜ in Rechnern, Erweiterung von Kodes, RAID5 



Verkettung von zwei Paritätskodes 

´Ò½¡Ò¾Ð½¡Ð¾ÑÒ½¡ÑÒ¾µProduktkode 

Quellen− 

kodewörter 

aus A* 

Paritätselemente 

bzgl. der l Zeilen 

Paritätselement 

bzgl. der 


Beispiel: 

1 0 0 1 0 0 

1 0 1 0 1 1 

0 1 1 0 0 0 

1 0 0 1 1 1 

0 0 0 0 0 0 

0 1 1 0 1 1 

1 0 1 0 1 1 


( l +1) stelliges 

bzgl. der m Spalten l stelliges 

Kanalkodewort Quellenkodewort 

s 

0 

s 

1 0 0 1 0 0 0 

1 0 1 0 1 1 0 

0 1 1 0 0 0 0 

1 0 0 1 1 1 0 

0 0 0 1 0 0 1 

0 1 1 0 1 1 0 

1 0 1 0 1 1 0 

0 0 0 1 0 0 1 

0 



Fehlerkorrigierender HAMMING-Kode 

Definition 

¯Der 

vonÒ¾ 

fehlerkorrigierende HAMMING-Kode ist zunächst bzgl. der 

HAMMING-Schranke ein dichtgepackter Kode. Er hat einen minimalen 

HAMMING-Abstand vonÑÒ¿und eine Kodewortlänge 

½. 

¯Man bezeichnet diesen Kode auch als einfehlerkorrigierenden 

HAMMING-Kode. 

¯Geschickte Vertauschung der Spalten vonÀ, so dass die-te Spalte 

vonÀder Dualdarstellung vonentspricht. Das Fehlersyndrom× 

liefert dann unmittelbar die dual dargestellte Position des fehlerhaften 

Elementes in. 

5 Kanalkodierung 5.4 Einfehlerkorrigierende HAMMING-Kodes


¼½ 

Ò Ò Ò 

¯Kontrollmatrix eines´µHAMMING-Kodes: 

À¢ÒÀ¿¢ ½¼Ð¿ 

½ Ò 

¼½Ð¾ 

½ Ò¿ ¼ Ò¾ ¼ Ò½½ Ð ¼¿ ½Ð½ 

½¼¾ ¼½ 

PositionenÒ¾´¼½µ ½ 

Kontrollstellen an 

¯×À¡Ì chungen´½¾µausÀ´℄ÐÐ¿Ð¾¿Ð½¾½µ 

Berechnen der Kontrollstellen mittels den Bestimmungsglei- 

durch×´×× 

bzw. Kontrollgleichungen×´½¾µausÀ 

Ein Fehler 

£´½¼¼½µ¨´¼¼½¼¼¼¼µ£ 

wird ½×½µÌlokalisiert und damit 

korrigiert. 

Beispiel 



Verkürzter HAMMING-Kode 

FürKontrollstellen sind maximalÒ¾ ½verschiedene Syndrome 

möglich und damit maximalÒ¾ 

Ð¾ ½Stellen bzgl. Einfachfehler 

korrigierbar. 

Ð¾ ½ 

liefert einen dichtgepackten 

mitÒ¾ 

Kode 

(HAMMING-Schranke erfüllt), ”“ ½ einen verkürzten Kode 

Das Korrekturschema des einfehlerkorrigierenden HAMMING-Kodes 

lässt sich auch dann anwenden. 

Beispiel 

´µHAMMING-Kodeverkürzter´¿µHAMMING-Kode 

Überprüfe mit HAMMING-Schranke! 



Erweiterter HAMMING-Kode 

¯Jedem Kanalkodewort wird ein weiteres Kontrollelement¼hinzugefügt. 

´℄ÐÐ¿Ð¾¿Ð½¾½¼µ´℄ÒÒÒÒÒ¿Ò¾Ò½Ò¼µ 

¯Dieses Kontrollelement wird durch eine zusätzliche Bestimmungsgleichung 

Ò¼ÒÈ ½ 

berechnet, die sämtliche Kodewortelemente einbezieht: 

mit 

Òmod¾zusätzl. Kontrollgleichung:×¼ÒÈ 

¼ 

Òmod¾ 

Paritätsbit 

Erzeugt Kanalkode mit geradzahliger Parität 

¯Die Anzahl der Kontrollelemente beträgt damit·½, die Kodewortlänge 

£´½¼¼½µ 

erhöht sich aufÒ¾. Der Minimalabstand istÑÒ. 

¯Die Anzahl 

´½½¼½½¼¼½µ¾ 

der Informationselemente ist unverändert. 

Beispiel 

von×und×¼ Auswertung 




Zyklische Kodes 

Binäre primitive BCH-Kodes 

´ÙÒ 

Definition 

½ÙÒ ¾Ù½Ù¼µ 

Ein Kode heißt zyklisch, wenn für jedes Kanalkodewort 

durch zyklische Verschiebung der Elemente mit 

´ÙÒ ¾ÙÒ ¿Ù¼ÙÒ ½µ 

wieder ein Kanalkodewort entsteht. a 

Ein zyklischer Kode ist ein spezieller Linearkode, der sowohl 

algebraische Gruppenaxiome als auch Ring- und Körperaxiome erfüllt. 

Das Generatorpolynom´Üµist i. Allg. ein Produkt von MinimalpolynomenÑ´Üµ, 

das den zyklischen Kode vollständig beschreibt.¾! 

Hinweis: Schreibweise von Polynomen 

È´ÜµÙÖÜÖ·ÙÖ ½ÜÖ ½··Ù¼mitÙ¾¼½ 

a 

ExponentenÖÒdurchÖmodÒ ´Üµ´Üµ¡ÜÞmod´ÜÒ·½µersetzt 

5 Kanalkodierung 5.5 Zyklische Kodes


über´¾µ 

Ausgewählte algebraische Grundlagen 

¯Eigenschaften eines Modularpolynoms 

1. Das Modularpolynom muss irreduzibel sein. 

£Ein Polynom ist irreduzibel, wenn es nicht in ein Produkt von 

Polynomen zerlegbar ist. 

Ò¾½ ½ 

£Das ModularpolynomÅ´Üµvom Grad½gradÅ´Üµbestimmt 

den KodeparameterÒmit 

ÜmodÅ´Üµ´¼½Ôµ 

£Der tatsächliche Wert vonÒberechnet sich aus dem Zyklus der 

Polynomreste über´¾µmit 

und bestimmtÒÔ¾½ ½ 

Å´ÜµÜ¿·Ü¾·½ 

Beispiel 

5 Kanalkodierung 5.5 Zyklische Kodes 5.5.1 Ausgewählte algebraische Grundlagen

ÒÔ¾½ ½ 

dann besitzt das irreduzible PolynomÅ´Üµauch die Eigenschaft, 

primitiv zu sein. 


2. Ist 

¯Erweiterungskörper und Minimalpolynome 

Die Leistungsfähigkeit eines BCH-Kodes hängt von der Anzahl aufeinanderfolgender 

Nullstellen in´Üµab.Nullstellen? 

È´Ü½µ½È´Ü¼µ½ 

Beispiel 

È´ÜµÜ·Ü·½über´¾µprimitiv: 

Das PolynomÈ´Üµhat über´¾µkeine Nullstelle. 



Fundamentalsatz der Algebra 

Jedes Polynom hat mindestens eine Nullstelle, gegebenenfalls in einem 

anderen Körper, und jedes PolynomÖ-ten Grades lässt sich in genauÖ 

Teilpolynome 

È´ÜµÙÖÜÖ·ÙÖ 

ersten 

½ÜÖ 

Grades, 

½··Ù½Ü·Ù¼ 

d. h. inÖLinearfaktoren, zerlegen, i. Allg. 

unter Zuhilfenahme von Erweiterungselementen«: 

´Ü «½µ´Ü «¾µ´Ü «Öµ 

Ein neues Element«wird als Nullstelle eines irreduziblen Polynoms 

über´¾µhinzugefügt, welches einem Erweiterungskörper angehört. 

Auf der Grundlage eines irreduziblen ModularpolynomsÅ´Üµvom 

in´¾½µ 

Grad½gradÅ´Üµüber´¾µentsteht durch Hinzunahme einer 

Nullstelle«ein endlicher Erweiterungskörper´¾½µ, d. h.,«ist 

Nullstelle vonÅ´Üµund ein (Erweiterungs-)Element 



Elemente«´¼½´¾½ ¾µµ 

88 

Zum Erweiterungskörper´¾½µgehören 

Å´ÜµÜ¿·Ü¾·½über´¾µ 

dann neben dem 

Nullelement die 

Beispiel 

des´¾¿µ«modÅ´Ü«µ 

Bestimmung Erweiterungskörpers´¾¿µ: 

¼ ¼¼¼ 

Elemente Polynomreste Koeffizienten der 

Polynomreste 

Nullelement 

«¿ « «¾·«·½·½ ½¼½ ½½½ 

«¼ «½ «¾ «¾ « ½ ¼¼½ ¼½¼ ½¼¼ 

« « « «¾·«·½ ¼½½ 

½ ½½¼ ¼¼½ 

isomorph dem Zyklus der Polynomreste über´¾µ 



Berechnungsbeispiele 

£ «·««modÅ´«µ·«modÅ´«µ« 

für Addition und Multiplikation im 

´¾¿µÜ¿·Ü¾·½: 

«¾·«¾´½¼¼µ¨´½¼¼µ¼ «·«¾´¼½½µ¨´½¼¼µ´½½½µ« 

bzw. 

£ «¿·« «¡««´·µmodÔ «·« 

B.«¡««mod«¾ 

«¾¡« «¡«¡« 

Z. 

«·«¼ 

Z. B.«·«¾«·½·«¾« 


Å´ÜµÜ¿·Ü¾·½ 


Å´Ü«µ«¿·«¾·½´«¾·½µ·«¾·½¼ 

Beispiel 

«Nullstelle vonÅ´Üµund Erweiterungselement: 

Å´ÜµÜ¿·Ü¾·½´Ü «½µ´Ü «¾µ´Ü «¿µ 

Fundamentalsatz der Algebra: 

im´¾¿µ 

d. 

««¾ 

h.,«½«½,«¾und«¿sind Nullstellen 

Zuordnung«zu den Elementen 

½modÔ 

´½¾½´gradÅ´Üµµµ 

von´¾½µ: 

´¼½¾½ Elemente«¾¼«¾½«¾½ 

£Die 

½modÔsind im Zyklus 

¾µzueinander konjugiert. 

£Konjugierte Elemente befinden sich in einem Zyklus. 



Die Nullstellen vonÅ´Üµsind damit die im Zyklus½stehenden 

zu«½konjugierten Elemente«¾«¾und«¿«. 

¾undliefern demzufolge 

fürÔ¾½ 

den gleichen Zyklus. 

£Die Anzahl der Elemente in einem Zyklus wird durch½ 

gradÅ´Üµbegrenzt und ist ½¾Èfür alle Zyklen 

gleich (ausgenommen:¼). 

«¼ im´¾¿µ 

Beispiel Zyklen 

«¿«« «½«¾« 



Jedem«aus´¾½µist ein 

MinimalpolynomÑ´Üµzugeordnet: 

£Das Minimalpolynom eines beliebigen Elementes«ist irreduzibel 

und vom GradÖ½. 

£Zu jedem Element«existiert genau ein MinimalpolynomÑ´Üµ. 

£Das Minimalpolynom des Elementes«ist gleichzeitig das Minimalpolynom 

der Elemente«¾½,«¾¾,«¾Ö ½modÔ. 

£Ist«eine Nullstelle des MinimalpolynomsÑ´Üµ, dann sind die 

Özueinander konjugierten Nullstellen«,«¾½,«¾¾,«¾Ö 

Ñ´Üµ´Ü «µ´Ü «¾½µ´Ü «¾¾µ´Ü «¾Ö ½µ 

½die 

sämtlichen Nullstellen vonÑ´Üµ: 

£Das ModularpolynomÅ´Üµist wegenÅ´Ü«½µ¼das MinimalpolynomÑ½´Üµdes 

Elementes«½. 

Beispiel 

Ñ¼´ÜµÑ½´ÜµÑ¿´Üµim´¾¿µÅ´ÜµÜ¿·Ü¾·½? 




´Üµ´Å´Üµµauch:´Üµ´ÐµÅ´Üµ 

Generatorpolynom primitiver BCH-Kodes 

zur Kodierung und Fehlererkennung 

EntwurfsabstandundÅ´Üµbestimmen Wahl der Kodeparameter! 

Notwendig: 

´¾½µ¼«¼«½«¾«¾½ ¾ 

¯Erweiterungskörper´¾½µ: 

WennÅ´Üµprimitiv ist und«als Nullstelle hat, dann gilt 

¯Ein MinimalpolynomÑ´Üµhat««¾«als Nullstellen: 

««·½«·¾«· 

½modÔÖ½. 

¯Das Generatorpolynom´Üµhat die Aufeinanderfolge von 

¾als Nullstellen, so auch¾. 

Ñ´Üµ´Ü·«µ´Ü·«¾µ´Ü·«µ im´¾µ 

Daraus folgt:Ñ´ÜµÑ¾´ÜµÑ´ÜµÑ¾Ö 

5 Kanalkodierung 5.5 Zyklische Kodes 5.5.2 Generatorpolynom von BCH-Kodes


«´·½· 


wird´Üµ 

94 

Damit ein BCH-Kode die aufeinanderfolgenden Elemente 

´ÜµkgVÑ´ÜµÑ·½´ÜµÑ· 

¾µals Nullstellen 

¾´Üµ 

enthält, 

i. Allg. ein Produkt von Minimalpolynomen sein: 

(in 

Ò¾½ 

praktischen Anwendungsfällen istmeist 0 oder 1). 

Kodeparameter 

grad´Üµ ÐÒ 

½weilÅ´Üµprimitiv 

ÑÒØØ×ĐÐ℄ 

Über die Zyklendarstellung kann die tatsächliche Aufeinanderfolge der 

Nullstellen bestimmt und damit der tatsächliche AbstandÑÒ 

ermittelt werden: 

ÑÒ´tatsächliche Anzahl aufeinanderfolgender Nullstellenµ·½ 



von´Üµ 

Beispiel Å´ÜµÜ·Ü·½primitiv 

Bildung 

¯´Üµfür 

¯Bestimmen möglicher Generatorpolynome´Üµaus den Zyklen der 

Exponenten von«für½bzw. 0! 

¯´ÜµÜ·Ü·Ü·Ü·½ 

¯´¿½¾½µBCH-Kode 

Analysiere´Üµbzgl.ÑÒund den Kodeparametern 

(gradÅ´Üµ) 




´ÜµÅ´ÜµÑ½´Üµ 

Spezielle BCH-Kodes: CRC[cyclic 

ÑÒ¿ 

redundancy check]-Kodes! 

Zyklischer HAMMING-Kode 

mit Sicherheit Erkennen von Ein- 

Länge½gradÅ´Üµ 

und Zweifachfehlern 

UND 

´ÒÐÑÒµ´¾½ ½¾½ 

Erkennen von Bündelfehlern der 

½ 

Kodeparameter? 

½ÑÒ¿µBCH-Kode 

ÑÒmit¿½·½ ´ÜµÑ¼´ÜµÑ½´Üµ Ñ¼´Üµ´Ü·½µ 

ABRAMSON-Kode 

´¾½ ½¾½ ½ ´½·½µÑÒµBCH-Kode 

Beispiel Kodeparameter im´¾µfür obige Kodes 



(Kanal-)Kodierung: 

¯Multiplikationsverfahren 

Bildungsverfahren für¾ 

Ein zyklischer Kodeder LängeÒist durch´Üµbeschrieben. Das 

Kodepolynom´Üµdes Kanalkodewortesentsteht aus der Multiplikation 

des zu kodierenden Polynoms£´Üµmit dem Generatorpolynom´Üµ: 

´ÜµÜ¿·Ü¾·½£´½¼½½µ´Üµ 

´Üµ£´Üµ´Üµ. 

Beispiel 

¯Divisionsverfahren 

Ein zyklischer Kodeder LängeÒist durch´Üµ(vom Grad) beschrieben. 

Das Kodepolynom´Üµdes Kodewortesentsteht aus der 

´Üµ£´ÜµÜ·Ö´ÜµÖ´Üµ´£´ÜµÜµmod´Üµ 

Multiplikation des zu kodierenden Polynoms£´ÜµmitÜund der 

Subtraktion eines RestpolynomsÖ´Üµ(bedeutet im´¾µAddition): 

5 Kanalkodierung 5.5 Zyklische Kodes 5.5.3 Kodierung und Fehlererkennung


¯Generatormatrix 

Auf der Grundlage des Generatorpolynoms´ÜµÜ·Ù ½Ü ½· 

Ð¢Ò ¼ ·Ù¼Ü¼ist 

¼ ¼ ¼ ½ Ù ½ Ù ½ Ù½ Ù¼ 

eine Generatormatrix 

½ Ù 

definiert: 

¾ Ù¼ ½ ½ Ù ½ ¼ ¼ 

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

£¡ 

. . . . . . . . . . . . . . . . . . . . . . . . . . 

Das Kanalkodewort¾bildet sich dann wie folgt: 

£Die Bildungsverfahren führen auf das gleiche Kanalkodealphabet. 

Die Zuordnung der Quellenkodewörter zu den Kanalkodewörtern 

ist jedoch eine andere. 

£Die Anwendung des Divisionsverfahrens liefert immer einen systematischen 

Kode. 

£Das Bildungsverfahren muss dem Dekodierer bekannt sein. 



(Kanal-)Dekodierung: Fehlererkennung 

Jedes Kanalkodewortmuss in seiner Polynomdarstellung durch´Üµ 

teilbar sein. 

Ist eine Empfangsfolge´Üµdurch´Üµteilbar, dann ist¾definiert, 

sonst gilt¾und 

´½¼½½½¼¼µ´¼¼½½¼½¼µ¾ 

damit Fehlererkennung. 

£Fehlerpolynom (auch Prüfpolynom):×´Üµ´Üµmod´Üµ¼ 

Beispiel 

ÑÒ ½ 

Mit Sicherheit erkennbar: 

Erkennen aller Bündelfehler, bei denen der Abstand zwischen 

dem ersten und dem letzten fehlerhaften Element (einschließlich 

dieser) im Fehlermuster kleiner oder gleich dem Graddes Generatorpolynoms 

ist. 



´Üµ¼ÜÒ 


Struktur 

Ü ½·¼ÜÒ ¾··1Ü ½··1Ü ·¼Ü ½··¼Ü¼ 

des 

´1Ü 

Bündelfehlers: 

½·Ù ¾Ü ¾··Ù½Ü½·1µ 

¾Ð 

Sind darüber hinaus weitere Fehler erkennbar? 

Ô½± Ô± 

Typische Fehlererkennungs-CRC-Kodes: 

Zyklischer HAMMING-Kode:´ÜµÑ½´Üµ 

´ÜµÑ½´Üµ´Ü·½µ 

ABRAMSON-Kode: 

¾Ò¾ Ô´½ ¾ µ¡½¼¼± 

Beispiel: 



´ÒÐÑÒµ´Ò Ð ÑÒµconst 

Diese Kodes verlieren ihre zyklische Eigenschaft. 


Ein Kanalkode heißt verkürzter Kode, wenn gilt: 

Fehlererkennung und Fehlerkorrektur bleiben erhalten. 

Beispiel 

BCH-Kode fürÐ½¾? 

Ñ¼´Üµ´Üµ: Ein 

¯überÒ¾½ ´Ò¾½ ½ÐÑÒµ´Ò·½ÐÑÒ·½µÐconst 

¯das Generatorpolynom´ÜµmitÑ¼´Üµ´Ü·½µmultipliziert wird: 

½ein 

Kanalkode heißt erweiterter Kode, wenn 

Paritätsbit gesetzt wird. 

(Vergleiche mit erweitertem HAMMING-Kode!) 

Die zyklische Eigenschaft geht verloren (Ausnahme:Ò·½¾½ 

mit´Ü·½µ 

Damit auch alle ungeradzahligen Fehler erkennbar! 

Beispiel Forts.: Erweiterung 

5 Kanalkodierung 5.5 Zyklische Kodes 5.5.4 Verkürzte, erweiterte BCH-Kodes 

½).


Anwendung zyklischer Kodes 

¯FehlererkennungCRC-Kodes 

z. B. in Protokollen auf der Sicherungsschicht: 

ATM benutzt CRC-8 (), CRC-10, CRC-32; 

CRC-CCITT in HDLC (½); Ethernet benutzt CRC-32 

z. B. im digitalen Teilnehmeranschluss (ISDN, xDSL) 

CRC-23 (Ü¾¿·Ü·½, primitiv) 

z. B. beim Mobilfunk: CRC-3 

(in Kodeverkettung zur Fehlerverdeckung) 

¯Fehlerkorrektur (LV Kanalkodierung) 

Sinnvoll bei der Satellitenkommunikation wegen der Laufzeiten 

oder in Speicher- und CD-Anwendungen, wenn einzelne Bereiche 

systematisch und unwiderruflich unbrauchbar sind. 


5 Kanalkodierung 5.5 Zyklische Kodes 5.5.5 Anwendungen


Lehrveranstaltung begonnen mit 

Informationstheorie beschäftigt sich mit zwei Problemstellungen 

Praktikable 

£ 

Umsetzung mittels Kodierung 

¯Inwieweit lässt sich Information kompakt darstellen? 

Quellenkodierung 

£ ÊÃÐ´Ñµ¡ÀÃ℄ ÀÉ¼ 

¯Inwieweit überträgt man Information quasi fehlerfrei? 

£ Kanalkodierung, 

(verlustfreie QK: gleichmäßige Kodierung, 

SHANNON-FANO, HUFFMAN, Erweiterte Quellen, ...) 

abhängig vom Störverhalten des 

Übertragungskanals 

£ 

Dimensionierung des Übertragungsvorgangs, 

Abschätzung von¡Ð 

Dimensionierung 

des Kanalkodes 

¾ 

5 Kanalkodierung 5.5 Zyklische Kodes 5.5.5 Anwendungen

Vorlesung

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?