Sprachliche Mensch-Maschine-Kommunikation

12.5 Spracherkennung mit Hidden Markov Modellen 203
Abb. 12.9 zeigt das Wort-HMM für das Wort ” Tat“ bestehend aus den
drei Phonemen t, a und noch einmal t. Obwohl das Wort mit neun Zuständen
modelliert wird, werden nur sechs verschiedene Emissionswahrscheinlichkeitsmodelle
(Gauß-Mischverteilungen) verwendet. Die ersten drei und die letzten
drei Zustände benutzen dieselben Parameter.
Neben der schnell einleuchtenden gemeinsamen Nutzung von Parametern
für die selben Laute an verschiedenen Stellen eines Wortes oder Textes gibt
es eine Reihe weiterer Gründe, warum Parameter gekoppelt werden sollten.
Dadurch wird nicht nur die Möglichkeit, beliebige nichttrainierte Wörter
zu bilden, erleichtert, sondern auch die Robustheit der Modelle erhöht. So
werden im Beispiel der Abb. 12.9 die drei linken Gauß-Mischverteilungen mir
mehr Trainingsdaten trainiert. Ohne Diese Kopplung würde ein Erkenner
mir mehr als ca. 50 Vokabularwörtern mehr Parameter benötigen als ein
ungekoppelter. Und somit würden auf jeden Parameter im Schnitt weniger
Trainingsbeispiele fallen.
12.5.3 Numerische Probleme in der Praxis
Wenn wir eine Berechnung von Merkmalsvektoren in Abständen von 10ms
zugrunde legen und annehmen, daß ein Forward-Algorithmus (oder auch
Backward- bzw. Viterbi-Algorithmus) auf einer 10s langen Aufnahme durchgerechnet
werden soll, dann berechnet sich am Ende der Wert αT(j) als ein
Produkt von 2000 Wahrscheinlichkeiten (bei diskreten HMMs) bzw. 1000
Wahrscheinlichkeiten und 1000 Dichtewerten (bei kontinuierlichen HMMs).
Man erkennt schnell, daß der Wertebereich der üblichen IEEE-32-Bit
Fließkommazahlen nicht ausreicht, ja selbst der Bereich der IEEE-64-Bit
Zahlen kann leicht gesprengt werden und das Produkt kann zu 0.0 werden.
Zwei verschiedene Gegenmaßnahmen bieten sich an: Erstens die regelmäßige
Skalierung und zweitens das Rechnen im logarithmischen Bereich.
Bei der regelmäßigen Skalierung gehen wir davon aus, daß uns der Absolutwert
der Wahrscheinlichkeit der Beobachtung P(x) nicht interessiert.
Sowohl zur Berechnung der Trainingsfaktoren γt(i) als auch zum Vergleich
von P(x|λ1) mit P(x|λ2) genügt es, statt αt(i) ein skaliertes αt(i) · kt für ein
beliebiges (aber bezüglich i konstantes) k zu verwenden. Der Skalierungsfaktor
k kürzt sich in allen relevanten Rechnungen heraus.
αt(j) = kt · bj(xt) ·
N
αt−1(i) · aij
i1
(12.25)
Um zu vermeiden, daß kt im voraus (manuell) bestimmt werden muß,
kann man einen Schwellwert θ festlegen, und so lange kt = 1 lassen, bis zum
Zeitpunkt t1 für einen Zustand i der Wert αt1(i) < θ ist. die Multiplikation