vorlesung_ss_08_af_0..

Teil 1 – Motivation
Lineare Prädiktion
Quelle-Filter-Modell der Spracherzeugung
Herleitung der linearen Prädiktion
Levinson-Durbin-Rekursion
Anwendungsbeispiel
Menschliche Spracherzeugung
und deren Modellierung
Adaptive Filter
E. Hänsler und G. Schmidt
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 2

Spracherzeugung
Quelle: Eppinger / Herter: Sprachverarbeitung, Hanser-Verlag, 1993
Quelle-Filter-Modell
Sprachgrundfrequenz
Impulsgenerator
Rauschgenerator
Prinzip:
Luftstrom, von der Lunge
kommend, regt die
Stimmbänder zum Schwingen
an bzw. erzeugt ein rauschartiges
Signal (bei geöffneten
Stimmbändern).
Der Mund-, Nasen- und Rachenraum
verhält sich wie ein
steuerbarer Resonanzkörper,
der einige wenige Frequenzen
nicht dämpft (diese werden
Formantfrequenzen genannt).
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 3
σ(n)
Vokaltraktfilter
s(n)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 4

Literaturhinweise
Basistext:
E. Hänsler / G. Schmidt: Acoustic Echo and Noise Control – Kapitel 6 (Linear Prediction),
Wiley, 2004
Sprachsignalverarbeitung:
P. Vary, R. Martin: Digital Transmission of Speech Signals – Kapitel 2 (Models of Speech
Production and Hearing), Wiley 2006
J. R. Deller, J. H. l. Hansen, J. G. Proakis: Discrete-Time Processing of Speech Signals –
Kapitel 3 (Modeling Speech Production), IEEE Press, 2000
Weitere Grundlagen:
E. Hänsler: Statistische Signale: Grundlagen und Anwendungen – Kapitel 6 (Linearer
Prädiktor), Springer, 2001
M. S. Hayes: Statistical Digital Signal Processing and Modeling – Kaptitel 4 und 5 (Signal
Modeling, The Levinson Recursion), Wiley, 1996
Teil 2 – Grundlagen
Grundlagen der
linearen Prädiktion
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 5
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 6

Ansatz
Vorhersage des aktuellen Signalwertes auf der Basis der letzten N Werte:
N−1 X
bs(n) = hi s(n − 1 − i)
s(n − 1)
i=0
h0
z −1
z −1
Dabei sind:
bs (n) : Ein Schätzwert für s(n)
N : Länge/Ordnung des Prädiktors
hi : Prädiktorkoeffizienten
Optimierungskriterium
Optimierung:
z −1
Lineares Prädiktionsfilter
z −1
h1 h2
hN−1
bs (n)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 7
Bestimmung der Filterkoeffizienten hi so, dass eine Ziel- bzw. Kostenfunktion
optimiert wird!
Kostenfunktion:
n £ ¤ o
2
E s(n) − bs (n) → min
| {z }
e(n)
Strukturbild:
s(n)
z −1
[h0, ...,hN−1] T
Lineares
Prädiktionsfilter
e(n)
bs (n)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 8

Spektrales Entfärben
Kostenfunktion:
E © e 2 (n) ª → min
Leistungsstarke Frequenzanteile
werden zunächst
am stärksten gedämpft
(Parseval).
Dies führt auf ein spektrales
Einebnen (Weißmachen)
des Fehlerspektrums
Inverse Filterstruktur
s(n)
s(n)
z −1
FIR-Filter (Sender)
[h0, ...,hN−1] T
z −1 [h0, ...,hN−1] T
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 9
e(n)
bs (n)
Allpol-Filter (Empfänger)
e(n)
bs (n)
Eigenschaften:
Das inverse Prädiktorfehlerfilter
ist ein Allpol-Filter
(IIR-Filter).
Die kaskadierte Struktur
aus Prädiktorfehlerfilter
und dazu inversem
Filter kann zur (verlustlosen)
Datenreduktion
beim Senden und
Empfangen verwendet
werden.
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 10

Bestimmung der Prädiktorkoeffizienten
Beispiele – Teil 1
(Herleitung an der Tafel)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 11
Erstes Beispiel:
Eingangssignal s(n) : weißes Rauschen mit Leistung σ (mittelwertfrei)
Prädiktorordnung: N = 3
Vorhersage um einen Takt: L =1
2 0
Daraus ergibt sich:
⎡
σ
Rss = ⎣
2 0 0 0
0 σ 2 0 0
0 0 σ 2 0
iT r ss(1) =
h
0, 0, 0
h = R −1
ss r h iT ss(1) = 0, 0, 0
⎤
⎦ R −1
bzw.
ss
1
=
σ2 ⎡ ⎤
1 0 0
⎣ 0 1 0 ⎦
0 0 0 1
, d.h. es kann keine Vorhersage getroffen
werden bzw. die beste Vorhersage ist der Mittelwert
und der ist Null.
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 12

Beispiele – Teil 2
Zweites Beispiel:
Eingangssignal s(n) : Sprache,
abgetastet mit fs =8kHz
Prädiktorordnung: N =16
Vorhersage um einen Takt: L =1
Einmalige Optimierung
der Prädiktorkoeffizienten
für die gesamte Sprachpassage
Neueinstellung der
Prädiktorkoeffizienten
alle 64 Abtasttakte
Schätzung der Autokorrelationsfunktion – Teil 1
Problem:
Scharmittelwerte sind in den meisten Anwendungen nicht bekannt.
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 13
Abhilfe:
Schätzung der Scharmittelwerte durch Zeitmittelwerte (Ergodizität annehmen).
n
o X
E s(n) s(n + l)
s(n) s(n + l)
Annahme:
s0(n) sei eine Musterfunktion des Zufallsprozesses s(n) .
n
Schätzverfahren:
Es existieren eine Reihe von Schätzverfahren, die sich hinsichtlich der Eigenschaften der geschätzen
Autokorrelationsfunktion unterscheiden (Erwartungstreue, positive Definitheit der AKF-Matrix).
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 14

Schätzung der Autokorrelationsfunktion – Teil 2
Beispiel – „Autokorrelationsmethode“:
Berechnung: ⎧
L−1−l
1 P
⎪⎨ L s0(n) s0(n + l), für l ≥ 0,
n=0
br ss(l) =
L−1
⎪⎩ 1 P
L s0(n) s0(n + l), für lL
brss(l) = brss(−l)
brss(l) · brss(0)
n o
E brss(l) · rss(l)
Die resultierende (geschätzte) Autokorrelationsmatrix ist positiv-definit.
Die resultierende (geschätzte) Autokorrelationsmatrix hat Töplitz-Struktur.
Levinson-Durbin-Rekursion – Teil 1
Problem:
Die Lösung des Gleichungssystems
Rsshopt = rss(L)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 15
hat – je nach Art und Weise der Schätzung der Autokorrelationsmatrix – einen Aufwand
proportional zu N bzw. . Zusätzlich können numerische Probleme auftauchen, falls die
Matrix schlecht konditioniert ist.
2
N 3
Rss
Ziel:
Robustes Verfahren, welches ohne direkte Invertierung von auskommt.
Lösung:
Ausnutzen der (Töplitz-) Struktur der Matrix .
Rss
Rekursion über die Prädiktorordnung
Kombination von Vorwärts- und Rückwärtsprädiktion
Literatur:
J. Durbin: The Fitting of Time Series Models, Rev. Int. Stat. Inst., Nr. 28, Seiten 233 - 244, 1960
N. Levinson: The Wiener RMS Error Criterion in Filter Design and Prediction, J. Math. Phys., Nr. 25,
Seiten 261 - 268, 1947
Rss
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 16

Levinson-Durbin-Rekursion – Teil 2 (Rückwärtsprädiktion)
Gleichungssystem der Vorwärtsprädiktion:
r(1)
r(2)
r(3)
..
=
=
=
h0 r(0)
h0 r(1)
h0 r(2)
.
+
+
+
h1 r(1)
h1 r(0)
h1 r(1)
...
+
+
+
...
...
...
. ..
+
+
+
hN−1 r(N − 1)
hN−1 r(N − 2)
hN−1 r(N − 3)
.
r(N) = h0 r(N − 1) + h1 r(N − 2) + ... + hN−1 r(0)
Umsortieren der Gleichungsreihenfolge:
für h i = h opt,i
r(N) = h0 r(N − 1) + h1 r(N − 2) + ... + hN−1 r(0)
r(N − 1)
r(N − 2)
.
=
=
h0 r(N − 2)
h0 r(N − 3)
.
+
+
h1 r(N − 3)
h1 r(N − 4)
...
+
+
...
...
. ..
+
+
hN−1 r(1)
hN−1 r(2)
.
r(1) = h0 r(0) + h1 r(1) + ... + hN−1 r(N − 1)
für h i = h opt,i
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 17
Levinson-Durbin-Rekursion – Teil 3 (Rückwärtsprädiktion)
Nach dem Umsortieren der Gleichungsreihenfolge:
r(N)
r(N − 1)
r(N − 2)
.
=
=
=
h0 r(N − 1)
h0 r(N − 2)
h0 r(N − 3)
.
+
+
+
h1 r(N − 2)
h1 r(N − 3)
h1 r(N − 4)
.
+
+
+
...
...
...
. ..
+
+
+
hN−1 r(0)
hN−1 r(1)
hN−1 r(2)
.
r(1) = h0 r(0) + h1 r(1) + ... + hN−1 r(N − 1)
Umsortieren der Elementreihenfolge auf der rechten Seite:
für h i = h opt,i
r(N)
r(N − 1)
r(N − 2)
.
=
=
=
hN−1 r(0)
hN−1 r(1)
hN−1 r(2)
.
+
+
+
hN−2 r(1)
hN−2 r(0)
hN−2 r(1)
..
+
+
+
...
...
...
. . .
+
+
+
h0 r(N − 1)
h0 r(N − 2)
h0 r(N − 3)
.
r(1) = hN−1 r(N − 1) + hN−2 r(N − 2) + ... + h0 r(0)
für h i = h opt,i
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 18

Levinson-Durbin-Rekursion – Teil 4 (Rückwärtsprädiktion)
Nach dem Umsortieren der Elementreihenfolge auf der rechten Seite:
r(N)
r(N − 1)
r(N − 2)
..
=
=
=
hN−1 r(0)
hN−1 r(1)
hN−1 r(2)
.
+
+
+
hN−2 r(1)
hN−2 r(0)
hN−2 r(1)
.
+
+
+
...
...
...
. . .
+
+
+
h0 r(N − 1)
h0 r(N − 2)
h0 r(N − 3)
.
r(1) = hN−1 r(N − 1) + hN−2 r(N − 2) + ... + h0 r(0)
Matrix-Vektor-Schreibweise:
für h i = h opt,i
⎡ ⎤ ⎡
r(N )
⎢
r(N − 1) ⎥ ⎢
⎥
⎢ ⎥ =
⎢
⎣ . ⎦ ⎣
r(0)
r(1)
..
r(1)
r(0)
.
...
...
. ..
⎤ ⎡
⎤
r(N − 1) hopt,N − 1
r(N − 2) ⎥ ⎢
⎥ ⎢
h ⎥
opt,N − 2 ⎥
⎥ ⎢
⎥
. ⎦ ⎣ . ⎦
|
r(1)
{z } |
r(N − 1) r(N − 2)
{z
... r(0)
} |
hopt,0
{z }
˜r ss(1)
Rss
˜h opt
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 19
Levinson-Durbin-Rekursion – Teil 5 (Rückwärtsprädiktion)
Matrix-Vektor-Schreibweise:
˜rss(1) = Rss ˜ hopt
Symmetrieüberlegungen: h
iT ˜r ss(1) = r(N), r(N − 1), ..., r(1)
=
.......... r(l)=r(−l) einsetzen
h
iT r(−N ), r(−N +1), ..., r(−1)
= rss(−N)
Rückwärtsprädiktion um N Takte:
˜rss(1) = Rss ˜ hopt
rss(−N) = Rss ˜ hopt
˜hopt = R −1
ss rss(−N)
s(n) s(n − N − 1) e(n)
z −N−1
z −1
˜hopt
bs (n − N − 1)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 20

Levinson-Durbin-Rekursion – Teil 6 (Rekursionsgleichungen)
Levinson-Durbin-Rekursion – Teil 7 (Veranschaulichung)
Vorhergesagtes Signal für ein Prädiktionsfilter der Länge N:
ˆs ( N) (n) =
N−1 X
h
i=0
(N)
N−2 X
i s(n − 1 − i) = h
i=0
(N)
i s(n − 1 − i) + h (N)
N−1s(n − N)
Rekursionsgleichung h einsetzen:
(N)
= h (N−1)
− h (N)
i
Vorwärtsprädiktor
der Länge N-1
i
N−1 h(N−1)
N−2−i
Neu hinzugekommener
Signalwert
(Herleitung an der Tafel)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 21
ˆs
Innovation
z }| {
| {z } | {z } | {z }
( N) (n) =
N−2 X ³
h
i =0
(N−1)
i − h (N)
N−1 h(N−1)
´
( N)
N−2−i s(n − 1 − i) + h N−1s(n − N)
=
N−2 X
h
i =0
(N−1)
i s(n − 1 − i) − h (N)
N−2 X
N−1 h
i =0
(N−1)
N−2−is(n − 1 − i) + h(N)
N−1s(n − N)
=
N−2 X
h
i =0
(N−1)
i s(n − 1 − i)+h (N)
Ã
N−2 X
N−1 s(n − N) − h
i =0
(N−1)
!
N−2−is(n − 1 − i)
Rückwärtsprädiktor
der Länge N-1
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 22

Levinson-Durbin-Rekursion – Teil 8 (Veranschaulichung)
Strukturbild der Ordnungsrekursion:
s(n − 1)
Kurzform:
Rückwärtsprädiktor der Länge N-1
s(n − 1) s(n − 2) s(n − 3) s(n − N +1)
z −1
z −1
Vorwärtsprädiktor der Länge N-1
s(n − N)
z −1
h (N)
N−1
Vorwärtsprädiktor der Länge N
Neuer Schätzwert = Alter Schätzwert + Gewichtung * (Neu – Vorhersage des Neuen)
z −1
bs (N−1) (n)
bs (N) (n) = bs (N−1) (n) + h (N)
µ
N−1 s(n − N) − bs (N−1)
(n − N)
bs (N−1) (n − N)
bs (N) (n)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 23
Levinson-Durbin-Rekursion – Teil 9 (Rekursion der Fehlerleistung)
(Herleitung an der Tafel)
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 24

Levinson-Durbin-Rekursion – Teil 10 (Zusammenfassung)
Initialisierung:
Prädiktor:
Fehlerleistung (optional): E (0)
min = r(0)
Rekursion:
Reflexionskoeffizient:
Vorwärtsprädiktor:
Rückwärtsprädiktor:
Fehlerleistung (optional):
Abbruchbedingungen:
Numerische Probleme:
Ordnung:
Matlab-Beispiel
h (1)
0
h (N)
N−1 =
³
r(N ) − ˜r (N−1)
´ T
ss (1) h (N−1)
opt
³
r(0) − ˜r (N−1)
´ T (N−1)
ss (1) ˜h
opt
£ (N)
h 0 ,h (N)
1 , ..., h (N) ¤ T (N−1)
N−2 = h opt − h (N)
N−1 ˜h (N−1)
opt
˜h
( N)
i = h (N)
N−i−1
E (N)
min
= ˜ h (1)
0
= E(N−1)
min
= r(1)/r(0)
³
1 − ¡ h (N) ¢ ´
2
N−1
¡ (N) ¢ 2
Falls h N−1 > 1 − ε , verwende die Prädiktorkoeffizienten des
vorherigen Rekursionsschritts und stoppe die Rekursion.
Falls N die gewünschte Ordnung erreicht hat, stoppe
die Rekursion.
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 25
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 26

Matlab-Beispiel – Geschätztes Sprachsignal
Matlab-Beispiel – Ausgangssignale
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 27
E. Hänsler und G. Schmidt, TU Darmstadt, Seite 28