Sprachliche Mensch-Maschine-Kommunikation

196 12. Hidden Markov Modelle
γt(i) = P(qt = i|X, λ) = P(qt = i, X|λ)
P(X|λ)
= αt(i) · βt(i)
j αt(j) · βt(j)
(12.16)
So erhalten wir mit γt(i) die Wahrscheinlichkeit dafür, daß sich das
System λ zum Zeitpunkt t im Zustand si befindet, wenn es die Beobachtung
X macht (bzw. emittiert). Aus der Sicht des Trainingsalgorithmus, der die
Parameter des Zustands si neu schätzen, also optimieren, muß, genügt es,
alle Beobachtung xt und die dazu gehörigen γt(i) zu kennen. Dann weiß der
Algorithmus, wie stark xt ins Training eingehen soll. Wenn γt(i) sehr klein
ist, kann xt fast ignoriert werden, bei sehr großem γt(i) hat xt einen sehr
großen Einfluß auf die Schätzung der Parameter von si.
Wie genau nun der Trainingsalgorithmus aussieht, hängt natürlich
von der Wahl der Emissionswahrscheinlichkeitenschätzer ab. Bei Gauß-
Mischverteilungen heißt das, daß der EM-Algorithmus wie in Gl. 9.14 bis Gl.
9.16 Anwendung findet. Bei neuronalen Netzen würde der Backpropagation-
Algorithmus oder eine Variante davon angewendet und die γt(i) auf die
Lernrate aufmultipliziert, wenn die Beobachtung xt trainiert wird.
Bleibt noch festzustellen, wie βt(i) sinnvollerweise berechnet wird. Auf
den ersten Blick sehen die β den α sehr ähnlich. Auch sie können rekursiv
berechnet werden:
βT(i) = 1 ∀i (12.17)
n
βt(i) = aij · bj(xt+1) · βt+1(j) (12.18)
j=1
Gl. 12.17 leuchtet ein, wenn man sich klar macht, daß βT(i) die
Wahrscheinlichkeit dafür ist, daß ” nach dem Ende der Beobachtung keine
weitere Beobachtung“ gemacht wird. Das ist natürlich 1.0, unabhängig
davon, welcher Zustand der letzte ist. Die Berechnung der β läuft also
ganz analog zur Berechnung der α nur diesmal rückwärts. Daher heißt der
Algorithmus, der mit Hilfe der Gl. 12.17 und 12.18 alle βt(i) berechnet,
Backward-Algorithmus. Die Durchführung des Forward-Algorithmus und des
Backward-Algorithmus, um damit die γt(i) zu bestimmen heißt Forward-
Backward Algorithmus.
Mit Hilfe der γ können also die Parameter der Emissionswahrscheinlichkeitsmodelle
optimiert werden. Was jetzt noch fehlt, ist die Optimierung der
Übergangswahrscheinlichkeiten.
Um die Wahrscheinlichkeit aij für den Übergang von Zustand si
zum Zustand sj neu zu schätzen benötigen wir die Wahrscheinlichkeit
ξt(i, j) := P(qt = i, qt+1 = j|X, λ). Auch hier können wir die Bayes Regel