Sprachliche Mensch-Maschine-Kommunikation

13.3 Trainingsparadigmen 219
Das für Hidden Markov Modelle meist angewendete Trainingsverfahren,
das Baum-Welch Training ist auf die Maximum-Likelihood Schätzung ausgelegt
und ist a priori nicht geeignet für diskriminatives Training. Es läßt
sich allerdings erweitern zu einem MMIE-Verfahren [?], wie im folgenden
beschrieben:
Bei der Maximum-Likelihood Schätzung ist das Ziel die Maximierung des
Terms
T
Lλ = lnpλ(X(t)|H(t)) (13.4)
t
wobei H(t) das Transkript der t-ten Trainingsäußerung, oder genauer gesagt
das dazu gehörige Markov Modell ist, und X(t) die Beobachtung, also
die Folge der Merkmalsvektoren der t-ten Trainingsäußerung ist. Der Baum-
Welch Algorithmus transformiert die Parameter λ so, daß garantiert werden
kann, daß Lλ gegen ein lokales Maximum konvergiert. Mit Verwendung von
Lλ berechnet der Baum-Welch Algorithmus beispielsweise die Übergangswahrscheinlichkeiten
für die Iteration t + 1 als
a t+1
ij =
at ∂L
ij
t λ
∂aij
k at ∂L
ik
t λ
∂aik
Beim MMIE-Training wird statt Lλ der Term Iλ Optimiert:
Iλ =
(13.5)
T
lnpλ(X(t)|H(t)) − lnpλ(X(t)|R) (13.6)
t
wobei R nicht das HMM, das der einen t-ten Äußerung entspricht,
sondern das HMM, das den kompletten Suchraum enthält, wie es bei der
Erkennung verwendet wird. Iλ drückt also nicht die Wahrscheinlichkeit für
die Beobachtung der t-ten Äußerung bei bekannter Wortfolge, sondern das
Verhältnis dieser Wahrscheinlichkeit zur entsprechenden Wahrscheinlichkeit
ohne bekannte Wortfolge. Darin steckt der diskriminative Charakter dieses
Verfahrens.
Der interessierte Leser findet die Details zur Modifikation des Standard
Baum-Welch Algorithmus für die Verwendung des MMIE-Kriteriums zum
Beispiel in [?]. Dort werden Ergebnisse von Experimenten auf einer Buchstabieraufgabe
vorgestellt, die eine Reduktion der Fehlerrate um ca. 8% enthalten.
13.3.2 Trainieren ohne Transkriptionen
Wie bereits im Kap. 9 besprochen, können Trainingsverfahren überwacht
oder unüberwacht sein. In der Spracherkennung bedeutet das im Extremfall