11. Übung – Algorithmen I - Timo Bingmann, Christian Schulz

11. Übung – Algorithmen I
Timo Bingmann, Christian Schulz
INSTITUT FÜR THEORETISCHE INFORMATIK, PROF. SANDERS
1 KIT Timo – Universität Bingmann, des LandesChristian Baden-Württemberg Schulz und
11. Übung – Algorithmen I
nationales Forschungszentrum in der Helmholtz-Gemeinschaft
Fakultät für Informatik
Institut für Theoretische www.kit.edu Informatik

Organisatorisches
Klausuranmeldung bis einschließlich 22.7.2013
Erlaubte Hilfsmittel für die Klausur:
blauer oder schwarzer Stift
DIN-A4 Blatt (beidseitig) handbeschrieben
für die Identifikation: Studentenausweis
2 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Inhalt
Lineare Programmierung
Dynamische Programmierung
Faltungscodes und der Viterbi-Algorithmus
3 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Lineare Programmierung
2. Teil
4 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Beispiel: Süßwarenfabrik Matrixform
maximiere
unter
50 ¢ · x A + 70 ¢ · x B
x A ≤ 100 kg
x B ≤ 70 kg
0,8 · x A + 0,7 · x B ≤ 100 kg
0,06 · x A + 0,2 · x B ≤ 15 kg
x ≥ 0
oder: ⎧
⎛ ⎞ ⎛ ⎞⎫
⎪⎨ ( ) t 1 0 100 kg
50 ¢
max x
70 ¢
x ∈ R 2 , x ≥ 0, ⎜ 0 1
⎟
⎝
⎪⎩
0,8 0,7⎠ x ≤ ⎜ 70 kg
⎪⎬
⎟
⎝100 kg⎠
∣
⎪⎭
0,06 0,2 15 kg
(Eine) allgemeine Matrixform: max{c t x | x ∈ R n , x ≥ 0, Ax ≤ b}
mit A ∈ R m×n , b ∈ R m , c ∈ R n .
5 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Verbindung zu Graph-Problemen
Graph (V , E) mit Gewichten c : E → R + .
max{f (x) | x ∈ R V , x ≥ 0, . . .} oder max{f (x) | x ∈ R E , x ≥ 0, . . .}
6 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Verbindung zu Graph-Problemen
Graph (V , E) mit Gewichten c : E → R + .
max{f (x) | x ∈ R V , x ≥ 0, . . .} oder max{f (x) | x ∈ R E , x ≥ 0, . . .}
Kürzeste Wege:
{ ∣ }
∑ ∣∣∣∣
max d v d ∈ R V , d s = 0, d w ≤ d v + c(v, w) ∀ (v, w) ∈ E
v∈V
6 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Verbindung zu Graph-Problemen
Graph (V , E) mit Gewichten c : E → R + .
∞ ∞
∞
2
∞
s
0 1 2
3
max{f (x) | x ∈ R V , x ≥ 0, . . .} oder max{f (x) | x ∈ R E , x ≥ 0, . . .}
Kürzeste Wege:
{ ∣ }
∑ ∣∣∣∣
max d v d ∈ R V , d s = 0, d w ≤ d v + c(v, w) ∀ (v, w) ∈ E
v∈V
6 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Verbindung zu Graph-Problemen
Graph (V , E) mit Gewichten c : E → R + .
3 3
3
2
3
s
0 1 2
3
max{f (x) | x ∈ R V , x ≥ 0, . . .} oder max{f (x) | x ∈ R E , x ≥ 0, . . .}
Kürzeste Wege:
{ ∣ }
∑ ∣∣∣∣
max d v d ∈ R V , d s = 0, d w ≤ d v + c(v, w) ∀ (v, w) ∈ E
v∈V
6 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Minimum Spanning Tree LP
Zusammenhängender Graph (V , E) mit Gewichten c : E → R + .
{ }
∑
min c(e)x e | x ∈ R E , x ≥ 0, . . .
e∈E
7 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Minimum Spanning Tree LP
Zusammenhängender Graph (V , E) mit Gewichten c ∈ (R + ) E .
⎧
⎨
min
⎩ ct x
x ∈ R E ,
∣ x ≥ 0,
⎫
⎬
⎭
8 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Minimum Spanning Tree LP
Zusammenhängender Graph (V , E) mit Gewichten c ∈ (R + ) E .
⎧
⎨
min
⎩ ct x
x ∈ R E ,
∣ x ≥ 0,
∑
x e = |V | − 1,
e∈E
⎫
⎬
⎭
8 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Minimum Spanning Tree LP
Zusammenhängender Graph (V , E) mit Gewichten c ∈ (R + ) E .
⎧
⎨
min
⎩ ct x
x ∈ R E ,
∣ x ≥ 0,
∑
x e = |V | − 1,
e∈E
∀ A ⊆ V
A ≠ ∅
:
∑
e∈E(G[A])
⎫
⎬
x e ≤ |A| − 1
⎭
wobei A über alle nicht-leere Knotenteilmengen läuft und E(G[A]) alle
Kanten mit Endknoten in A sind.
8 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Minimum Spanning Tree LP
Zusammenhängender Graph (V , E) mit Gewichten c ∈ (R + ) E .
⎧
⎨
min
⎩ ct x
x ∈ R E ,
∣ x ≥ 0,
∑
x e = |V | − 1,
e∈E
∀ A ⊆ V
A ≠ ∅
:
∑
e∈E(G[A])
⎫
⎬
x e ≤ |A| − 1
⎭
wobei A über alle nicht-leere Knotenteilmengen läuft und E(G[A]) alle
Kanten mit Endknoten in A sind.
8 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dynamisches Programmieren
9 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Algorithmus Entwurfsprinzip:
dynamische Programmierung
Aufbau von Lösungen aus Bausteinen
Optimalitätsprinzip:
1
Optimale Lösungen bestehen aus optimalen Lösungen für Teilprobleme
2
Mehrere optimale Lösungen ⇒ es ist egal welche benutzt wird
10 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Fibonacci-Zahlen
Beispiel: f (n) = f (n − 1) + f (n − 2), f (1) = 1, f (0) = 1
Rekursiver Ansatz?
1: procedure fib(n ∈ N)
2: if n ∈ {0, 1} then return 1
3: else return fib(n − 1) + fib(n − 2)
4: return
Problem: Mehrfachberechnung von Lösungen
f (5) = f (4) + f (3)
f (5) = f (3) + f (2) + f (2) + f (1)
11 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Fibonacci-Zahlen
Beispiel: f (n) = f (n − 1) + f (n − 2), f (1) = 1, f (0) = 1
Baue f (n) aus Teillösungen Bottom-Up zusammen
Merke Zwischenlösungen (z.B. in Tabelle)
Function fib(n of N) :
f := Array < 1, 1, 0, . . . , 0 >
for j := 3 to n do
f [j] = f [j − 1] + f [j − 2]
return f [n]
// array of size n
12 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
Problem: Gegeben eine m × n Matrix über {0, 1}, finde die größte
quadratische Teilmatrix, die nur aus 1en besteht.
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
13 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
Problem: Gegeben eine m × n Matrix über {0, 1}, finde die größte
quadratische Teilmatrix, die nur aus 1en besteht.
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
13 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
Teilproblemstruktur:
Verwende Lösungen der Teilmatrizen und baue so Gesamtlösung auf
Matrix M ∈ {0, 1} m×n
Zusätzliche Matrix S ∈ N m×n initialisiert mit 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
14 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 0 0 0
1 0 0 0 0
0 0 0 0 0
1 0 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 0 0 0
1 0 0 0 0
0 0 0 0 0
1 0 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 1 0 0
1 0 0 0 0
0 0 0 0 0
1 0 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 1 2 0
1 0 0 0 0
0 0 0 0 0
1 0 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 1 2 1
1 0 0 0 0
0 0 0 0 0
1 0 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 1 2 1
1 1 1 2 2
0 0 1 2 3
1 1 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
S fertig
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 1 2 1
1 1 1 2 2
0 0 1 2 3
1 1 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
S fertig
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
M =
1 0 1 1 0
0 0 1 1 1
1 1 1 1 1
0 0 1 1 1
1 1 0 0 0
S =
1 0 1 1 0
0 0 1 2 1
1 1 1 2 2
0 0 1 2 3
1 1 0 0 0
M[i][j] == 0 :S[i][j] = 0
M[i][j] == 1 :S[i][j] = min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
initialisiere S: S[0][∗] := M[0][∗], S[∗][0] := M[∗][0]
Lösung iterativ durch bekannte Teillösungen aufbauen
S fertig
15 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Largest One Submatrix
Code
Function largest_square_submatrix(M[m, n] of Matrix) : N
S :=Matrix
// solution matrix
S[0][∗] := M[0][∗]
// one for loop
S[∗][0] := M[∗][0]
// one for loop
for i := 1 to m − 1 do
for j := 1 to n − 1 do
if M[i][j] == 1 then
S[i][j] := min(S[i][j − 1], S[i − 1][j], S[i − 1][j − 1]) + 1
else
S[i][j] := 0
return max i,j S[i][j]
// two for loops
Komplexität: O(mn) = O(#Matrixelemente)
16 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Subarray Problem
Problem: Gegeben ein Array von Zahlen (positiv, negativ), finde das
(zusammenhängende) Teilarray mit der größten Summe.
Trivialer Algorithmus in O ( n 2)
−2, 1, −3, 4, −1, 2, 1, −5, 4
1
berechne die Summe aller Teilarrays (zwei For-Schleifen)
Besser: dynamische Programmierung verwenden → O(n)
17 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Subarray Problem
Problem: Gegeben ein Array von Zahlen (positiv, negativ), finde das
(zusammenhängende) Teilarray mit der größten Summe.
−2, 1, −3, 4, −1, 2, 1, −5, 4
Besser: dynamische Programmierung verwenden → O(n)
Algorithmus:
scanne einmal über das Array:
Function largest_cont_subseq(A Array of N) : Z
overall_max=A[0] : N; cur_max=A[0] : N;
for i := 1 to size(A) do
cur_max = max(A[i], cur_max + A[i]);
overall_max = max(overall_max, cur_max);
return overall_max
17 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Subarray Problem
Problem: Gegeben ein Array von Zahlen (positiv, negativ), finde das
(zusammenhängende) Teilarray mit der größten Summe.
original: -2, 1, -3, 4, -1, 2, 1, -5, 4
cur_max: -2, 1, -2, 4, 3, 5, 6, 1, 5
18 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
Problem: Gegeben eine n × n Matrix M über Z, finde die Teilmatrix,
die die größte Summe hat.
Summe=Max!
Brute-Force: alle Teilmatrizen
(
ausrechnen
1
pro Teilmatrix O n 2) Zeit
(
2
O n 4) Teilmatrizen
3
insgesamt O
(n 6)
19 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
Problem: Gegeben eine n × n Matrix M über Z, finde die Teilmatrix,
die die größte Summe hat.
Summe=Max!
Summe
S_i,j
Besser: Dinge vorberechnen
1
errechne Matrix S: S i,j = ∑ Elemente links-oberhalb von M i,j
einschließlich der Zeile i und Spalte j
20 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
Problem: Gegeben eine n × n Matrix M über Z, finde die Teilmatrix,
die die größte Summe hat.
A
B
Summe=Max!
C
D
E
Besser: Dinge vorberechnen
1
errechne Matrix S: S i,j = ∑ Elemente links-oberhalb von M i,j
einschließlich der Zeile i und Spalte j
2
pro Teilmatrix O(1) Zeit, insgesamt O
(n 4)
20 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
Summe=Max!
Noch besser: Dinge vorberechen + Dynamische Programmierung
1
Prefixsummen der Spalten von M in Matrix S speichern
S i,j = ∑ il=1 M l,j
21 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
i
K
Summe=Max!
j
A
Summe
Noch besser: Dinge vorberechen + Dynamische Programmierung
1
Prefixsummen der Spalten von M in Matrix S speichern
S i,j = ∑ il=1 M l,j
2
probiere alle Zeilenpaare i < j
1 pro Zeilenpaar berechene Array A[1, . . . , n]
2 A[K ] = ∑ j
l=i M l,K = S j,K − S i−1,K
21 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
i
K
Summe=Max!
j
A
Summe
Noch besser: Dinge vorberechen + Dynamische Programmierung
1
Prefixsummen der Spalten von M in Matrix S speichern
S i,j = ∑ il=1 M l,j
2
probiere alle Zeilenpaare i < j
1 pro Zeilenpaar berechene Array A[1, . . . , n]
2 A[K ] = ∑ j
l=i M l,K = S j,K − S i−1,K
3 auf A Maximum Subarray Problem lösen
21 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Maximum Submatrix Problem
i
K
Summe=Max!
j
A
Summe
Noch besser: Dinge vorberechen + Dynamische Programmierung
1
Prefixsummen der Spalten von M in Matrix S speichern
O ( n 2) Zeit
2
probiere alle Zeilenpaare i < j
1 O ( n 2) viele Zeilenpaare
2 pro Zeilenpaar O(n)
3
insgesamt O
(n 3)
21 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Faltungscodes
und der Viterbi-Algorithmus
802.11
WLAN
22 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
I s 2
Output A
Output B
I s 1
Input I s 1 s 2
s 1
I s 2
Output C
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
1 0
1 = Output A
1 = Output B
1 0
Input 1 0 0
0
1 0
1 = Output C
Input: 1011
Output: 111
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
0 0
0 = Output A
0 = Output B
0 1
Input 0 1 0
1
0 0
1 = Output C
Input: 1011
Output: 111 001
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
1 1
1 = Output A
0 = Output B
1 0
Input 1 0 1
0
1 1
0 = Output C
Input: 1011
Output: 111 001 100
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
1 0
1 = Output A
1 = Output B
1 1
Input 1 1 0
1
1 0
0 = Output C
Input: 1011
Output: 111 001 100 110
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
0 1
0 = Output A
1 = Output B
0 1
Input 0 1 1
1
0 1
0 = Output C
Input: 1011 | 0
Output: 111 001 100 110 | 010
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
0 1
0 = Output A
1 = Output B
0 0
Input 0 0 1
0
0 1
1 = Output C
Input: 1011 | 00
Output: 111 001 100 110 | 010 011
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
0
0 = Output A
0 = Output B
0
Input 0 0
0
0
Input: 1011 | 00
Output: 111 001 100 110 | 010 011
0 = Output C
Redundanz in Übertragung ermöglicht Fehlerkorrektur!
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Schieberegister
0
0 = Output A
0 = Output B
0
Input 0 0
0
0
Das 802.11a Schieberegister
Input: 1011 | 00
Output: 111 001 100 110 | 010 011
0 = Output C
Output A
Redundanz
Input s
in Übertragung 1 s 2 s
ermöglicht 3 s 4 s
Fehlerkorrektur!
5 s 6
23 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Output B
Institut für Theoretische Informatik

Ein Faltungscode als Mealy-Automat
0/000
0/011
00
1/100
1/111
01 10
0/001
0/010
11
1/110
1/101
Legende: Kantenbeschriftung ist Input/Output.
24 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Trellis
t 0
00
000
t 1
00
000
t 2
00
000
011
t 3
00
000
011
t 4
00
000
011
t 5
00
000
011
t 6
00
01
111
01
111
01
111
100
01
111
100
01
01
01
10
10
001
10
001
010
10
001
010
10
001
010
10
10
110
110
110
11
11
11
101
11
Input: 1011 | 00
Output: 111 001 100 110 | 010 011
101
11
11
11
25 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Trellis
t 0
00
000
t 1
00
000
t 2
00
000
011
t 3
00
000
011
t 4
00
000
011
t 5
00
000
011
t 6
00
01
111
01
111
01
111
100
01
111
100
01
01
01
10
10
001
10
001
010
10
001
010
10
001
010
10
10
110
110
110
11
11
11
101
11
Input: 1011 | 00
Output: 111 001 100 110 | 010 011
101
11
11
11
25 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Ein Faltungscode als Trellis
t 0
00
000
t 1
00
000
t 2
00
000
011
t 3
00
000
011
t 4
00
000
011
t 5
00
000
011
t 6
00
01
111
01
111
01
111
100
01
111
100
01
01
01
10
10
001
10
001
010
10
001
010
10
001
010
10
10
110
110
110
11
11
11
101
11
101
Input: 1011 | 00
Output: 111 001 100 110 | 010 011
Aber, wie dekodiert man 011 100 101 010 | 111 001 ?
11
11
11
25 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Faltungscode: Fehlerkorrektur?
Dekodiere: 011 100 101 010 | 111 001 ?
Ziel: Finde die Eingabe, deren Kodierung die geringste
Hamming-Distanz (Einzelbit-Fehler) zum gelesenen Codewort hat.
26 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Faltungscode: Fehlerkorrektur?
Dekodiere: 011 100 101 010 | 111 001 ?
Ziel: Finde die Eingabe, deren Kodierung die geringste
Hamming-Distanz (Einzelbit-Fehler) zum gelesenen Codewort hat.
Erster Algorithmus: Enumeriere alle gültige Codewörter, berechne
Hamming-Distanz und finde so die wahrscheinlichste Eingabe
(maximum likelyhood detection).
26 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dekodiere: 011 100 101 010 | 111 001
Eingabe = Codewort Distanz
0000 | 00 = 000 000 000 000 | 000 000 10
0001 | 00 = 000 000 000 111 | 001 011 10
0010 | 00 = 000 000 111 001 | 011 000 8
0011 | 00 = 000 000 111 110 | 010 011 8
0100 | 00 = 000 111 001 011 | 000 000 10
0101 | 00 = 000 111 001 100 | 001 011 10
0110 | 00 = 000 111 110 010 | 011 000 8
0111 | 00 = 000 111 110 101 | 010 011 12
1000 | 00 = 111 001 011 000 | 000 000 10
1001 | 00 = 111 001 011 111 | 001 011 10
1010 | 00 = 111 001 100 001 | 011 000 8
1011 | 00 = 111 001 100 110 | 010 011 8
1100 | 00 = 111 110 010 011 | 000 000 10
1101 | 00 = 111 110 010 100 | 001 011 10
1110 | 00 = 111 110 101 010 | 011 000 4
1111 | 00 = 111 110 101 101 | 010 011 8
27 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dekodiere: 011 100 101 010 | 111 001
Eingabe = Codewort Distanz
0000 | 00 = 000 000 000 000 | 000 000 10
0001 | 00 = 000 000 000 111 | 001 011 10
0010 | 00 = 000 000 111 001 | 011 000 8
0011 | 00 = 000 000 111 110 | 010 011 8
0100 | 00 = 000 111 001 011 | 000 000 10
0101 | 00 = 000 111 001 100 | 001 011 10
0110 | 00 = 000 111 110 010 | 011 000 8
0111 | 00 = 000 111 110 101 | 010 011 12
1000 | 00 = 111 001 011 000 | 000 000 10
1001 | 00 = 111 001 011 111 | 001 011 10
1010 | 00 = 111 001 100 001 | 011 000 8
1011 | 00 = 111 001 100 110 | 010 011 8
1100 | 00 = 111 110 010 011 | 000 000 10
1101 | 00 = 111 110 010 100 | 001 011 10
1110 | 00 = 111 110 101 010 | 011 000 4
1111 | 00 = 111 110 101 101 | 010 011 8
27 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dekodiere im Trellis
Dekodiere: 011 100 101 010 | 111 001 ?
t 0
00
000
t 1
00
000
t 2
00
000
011
t 3
00
000
011
t 4
00
000
011
t 5
00
000
011
t 6
00
01
111
01
111
01
111
100
01
111
100
01
01
01
10
10
001
10
001
010
10
001
010
10
001
010
10
10
110
110
110
11
11
11
101
11
2
101
11
11
11
28 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dekodiere im Trellis
Dekodiere: 011 100 101 010 | 111 001 ?
t 0
00
2
t 1
00
1
t 2
00
2
2
t 3
00
1
1
t 4
00
3
1
t 5
00
1
1
t 6
00
01
1
01
2
01
1
1
01
2
2
01
01
01
2
1
2
2
10
10
10
3
10
0
10
2
10
10
1
2
1
11
11
11
0
11
3
11
11
11
29 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dekodiere im Trellis
Dekodiere: 011 100 101 010 | 111 001 ?
t 0
t 1
00
2
00
0 2
1
t 2
00
3
2
2
t 3
00
5
1
1
t 4
00
6
3
1
t 5
00
3
1
1
t 6
00
4
01
1
01
2
2
01
3
1
1
1
01
5
2
2
2
01
2
01
7
01
2
3
0
2
10
10
1
1
10
4
2
10
4
1
10
7
10
10
11 11 11
2
Verwende Bellman-Ford:
0
11
2
3
11
5
11
11
29 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Dekodiere im Trellis
Dekodiere: 011 100 101 010 | 111 001 ?
t 0
t 1
00
2
00
0 2
1
t 2
00
3
2
2
t 3
00
5
1
1
t 4
00
6
3
1
t 5
00
3
1
1
t 6
00
4
01
1
01
2
2
01
3
1
1
1
01
5
2
2
2
01
2
01
7
01
2
3
0
2
10
10
1
1
10
4
2
10
4
1
10
7
10
10
11 11 11 11 11 11
0 3
2 2 5
Verwende Bellman-Ford: kürzester Pfad entspricht 1110 | 00.
11
29 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Der Viterbi-Algorithmus (Pseudocode)
t k−1
00
w[k−1][00]
01
w[k−1][01]
10
w[k−1][10]
11
w[k−1][11]
w[k][z] =
t k
00
w[k][00]
01
w[k][01]
10
w[k][10]
11
w[k][11]
min
v∈Vorgänger(z)
Procedure Viterbi(A : Folge, G : Schichtengraph)
w[0][z] := 0, pre[0][z] := nil ∀z ∈ Zustände(G)
foreach k = 1, . . . , #Schichten(G)
foreach z ∈ Zustände(G)
Wähle unter allen v ∈ Vorgängern(z)
denjenigen mit besten Kosten unter
w[k−1][v], Kante(v, z) und A[k] aus.
Setze w[k][z] und pre[k][z].
wobei im Beispiel
Zustände(G) = {00, 01, 10, 11},
Vorgänger(z) die Vorgängerzustände von
z sind und
w[k−1][v] + Hamming(A[k], Kante(v, z))
30 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Der Viterbi-Algorithmus
Schichten-Graph erlaubt effiziente Implementierung des kürzesten
Pfad Algorithmus mit nur einer Variable pro Ebenen im Trellis oder
Knoten im Automaten.
Der Viterbi-Algorithmus funktioniert auch in allgemeineren Fällen:
Wahrscheinlichkeiten statt Distanzen (Logarithmierungstrick)
Beste Pfade in Hidden Markov Models (siehe Automaten).
31 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik

Der Viterbi-Algorithmus
Schichten-Graph erlaubt effiziente Implementierung des kürzesten
Pfad Algorithmus mit nur einer Variable pro Ebenen im Trellis oder
Knoten im Automaten.
Der Viterbi-Algorithmus funktioniert auch in allgemeineren Fällen:
Wahrscheinlichkeiten statt Distanzen (Logarithmierungstrick)
Beste Pfade in Hidden Markov Models (siehe Automaten).
Weitere wichtige Optimierung:
Da der Faltungscode im Beispiel nur vier Zustände hat und jeder
Knoten genau zwei Ausgangskanten hat, gibt von jedem Knoten in
Schicht k zu jedem Knoten in Schicht k + 3 mehr als ein Pfad.
⇒ Bei der Berechnung von Schicht k + 3 steht der kürzeste Teilpfad
von Schicht 0 bis k bereits fest. Die entsprechenden Bits können
schon ausgegeben werden.
31 Timo Bingmann, Christian Schulz
11. Übung – Algorithmen I
Fakultät für Informatik
Institut für Theoretische Informatik