Sprachliche Mensch-Maschine-Kommunikation

13.1 Überblick über den HMM-Entwicklungsprozeß 209
auch denkbar auf die ” Expansion“ einzelner αt(i), die unterhalb eines
Schwellwertes liegen, zu verzichten. Jedoch ist dies wesentlich komplizierter
und birgt eine zusätzliche Gefahr in sich, daß nämlich beim Vorwärtsdurchgang
völlig andere Bereiche des Suchraumes beschnitten werden als beim
Rückwärtsdurchgang. So kann dies bei zu starker Beschneidung dazu führen,
daß keine sinnvollen γt(i) berechnet werden können, weil in den meisten
Fällen entweder αt(i) oder βt(i) durch Beschneiden auf 0 gesetzt wurden.
Dies führt dazu, daß in der Praxis ein Forward-Backward um ein Vielfaches
mehr zeitlichen Aufwand hat als ein Viterbi.
Der Vorteil des Forward-Backward besteht darin, daß jedes einzelne
Trainingsmuster auf mehrere Modelle mit unterschiedlicher Wahrscheinlichkeit
verteilt werden kann. Somit erhalten die einzelnen Modelle mehr
Trainingsmuster zum Schätzen ihrer Parameter als bei einer ” harten“ Zuordnung,
wie sie der Viterbi-Algorithmus findet. Je mehr Trainingsdaten zur
Verfügung stehen, umso weniger fallen die Nachteile des Viterbi-Trainings
gegenüber dem Forward-Backward-Trainings ins Gewicht. Bei sehr großen
Trainingsdatenmengen wirkt sich auch das bessere Laufzeitverhalten des
Viterbi-Algorithmus aus.
Noch schneller als das Viterbi-Training ist das Trainieren entlang vorberechneter
Labels. Die Ähnlichkeit der Gl. 13.1 und 13.2 deutet darauf hin,
daß Labels nicht nur zu Initialisierungszwecken verwendet werden können,
sondern auch zum regulären Baum-Welch-Training. Natürlich gilt es hierbei
zu berücksichtigen, daß zum einen schlechte (weil von einem unpassenden
Erkenner erzeugte) Labels auch in schlechten Parameterschätzungen resultieren,
und zum anderen die Konvergenz des Baum-Welch-Verfahrens
nur dann gegeben ist, wenn sich die Zuordnungen von Trainingsmustern
zu Modellen auch ändern können. Daher verwenden viele Forscher beim
Trainieren ihrer Erkenner ein Gemisch von verschiedenen Verfahren. Je
nach Entwicklungsphase wird entlang Labels trainiert, und zwischendurch
werden mit Forward-Backward oder mit Viterbi neue (inzwischen bessere)
Labels berechet. Das ganze wird mehrfach iteriert, bis keine Verbesserung
des Erkenners mehr zu beobachten ist.
Auch beliebt ist die Vorgehensweise, mehrere Erkenner mit aufsteigend
komplexen Parameterräumen zu entwickeln, von denen jeder die Grundlage
(in Form von Berechnen der Labels und Lieferant initialer Parameter)
für den nächsten komplexeren Erkenner ist. Die Komplexitätssteigerungen
gehen einher mit größeren HMM-Zustandsräumen, mehr oder größeren
Gauß-Mischverteilungen und feineren Parameterkopplungsgraden.
Grundsätzlich orientieren sich aber alle Trainingsmethoden am Prinzip
des wiederholten Trainierens und Testens. Nach jeder Trainingsphase wird