Sprachliche Mensch-Maschine-Kommunikation

13.1 Überblick über den HMM-Entwicklungsprozeß 207
derartig ” dünnen“ Labels spricht mach dann auch eher von ” Transkripten“
oder ” Transkriptionen“. Sie sind das Minimum, das an Wissen nötig ist, um
überhaupt ein HMM zum Trainieren einer Äußerung aufzubauen, und bieten
somit keine zusätzlichen Informationen die speziell für die Initialisierung der
Parameter verwendet werden kann. Daher werden für die meisten Initialisierungen
neuer Erkenner automatisch erzeugte detaillierte Labels verwendet.
Dazu wird ein bereits existierender Erkenner genommen und ein Forward-
Backward oder Viterbi-Algorithmus auf den Trainingsaufnahmen gerechnet.
Dieser existierende Erkenner produziert relativ schlechte Viterbi-Pfade beziehungsweise
relativ schlechte γt(i), weil er entweder für eine andere Sprache,
ein anderes Vokabular, andere Aufnahmebedingungen oder sonstige andere
Unstände gebaut wurde, oder weil er mit sehr wenig Daten trainiert wurde.
Diese Labels haben dann eine geringere Qualität als von Menschen erzeugte,
dafür sind sie für beliebig große Datenmengen quasi kostenlos zu erhalten.
Das Vorhandensein initialer Labels ist die Voraussetzung zur Berechnung
initialer Erkennerparameter. Die HMM-Parameter wie Übergangswahrscheinlichkeiten,
und Anfangswahrscheinlichkeiten lassen sich mit den
Baum-Welch Regeln direkt bestimmen. Problematischer ist dies für die Modellierung
der Emissionswahrscheinlichkeiten. Werden diese mit neuronalen
Netzen berechnet, dann können deren Gewichte in der Tat beliebig zufällig
initialisiert werden. Bei Gauß-Mischverteilungen wäre aber eine zufällige
Initialisierung problematisch. Auch der EM-Algorithmus garantiert nicht,
daß das System am Ende in einem globalen Optimum landet. Tatsächlich
kann man in der Praxis immer wieder beobachten, daß einzelne Vektoren
von Codebücher (d.h. einzelne Gauß-Verteilungen einer Mischverteilung)
quasi ” ungenutzt“ bleiben, weil fast keine Trainingsdaten auf diese Fallen.
Wenn es zu viele solcher Ausreißerfälle gibt, dann wird der zur Verfügung
stehende Parameterraum nur unzureichend genutzt und die Qualität des
Erkenners sinkt. Daher ist es wichtig, schon vor der ersten Aktualisierung
der Gauß-Mischverteilungsparameter für diese sinnvolle Werte zu haben.
Die beliebteste Methode, Codebücher sinnvoll zu initialisieren ist das k
Mitellewerte Verfahren (s. Abs. 9.1.6). Dabei werden die vorhandenen Labels
verwendet, um zu bestimmen welcher Trainingsvektor in welches Codebuch
gehört. Wenn alle Trainingsvektoren ihrem Codebuch zugeordnet worden
sind, könne initiale Codebücher mit dem k-Mittelwerte beziehungsweise
LBG-Verfahren erzeugt werden.
Parametertransfer
Schließlich bleibt noch eine dritte auch häufig angewandte Methode der
Parameterinitialisierung zu erwähnen. Man verwendet dabei einfach die
bereits vorhandenen Parameter eines existierenden Erkenners für einer
andere möglichst ähnliche Aufgabe. Wenn die angestrebte Architektur