Sprachliche Mensch-Maschine-Kommunikation

17.2 Ballung von Kontexten
17.2 Ballung von Kontexten 297
Bevor man einen Algorithmus zum Ballen von akustischen Modellen verwendet,
sollte klar sein, was die Ziele der Ballung sind. Es ist selbstverständlich,
daß die in Tab. 17.3 und 17.4 aufgeführten Vorteile optimal ausgeschöpft werden
sollen. Es gilt also einen geeigneten Kompromiß zwischen spezifischen,
räumlich wenig ausgedehnten und generellen, räumlich weit ausgedehnten
Modellen zu finden. Aus den Abb. 17.3 und 17.4 ist zu entnehmen, daß
der beste Kompromiß wohl weit weg von der expliziten Modellierung jedes
einzelnen Phänomens liegen muß. Um nahezu eine Million verschiedener Modelle
sinnvoll zu trainieren, reichen die heute üblichen Trainingsdatenmenge
nicht aus. Es kommt beim Erzeugen von HMMs auf den Trainingsdaten wie
in Abs. 15.3 beschrieben (s. Abb. 15.8) sogar oft vor, daß einige Phänomene
im den Trainingsdaten überhaupt nicht vorkommen, zum Beispiel weil
nicht alle im Lexikon vorgesehenen Varianten auch tatsächlich irgendwann
gesprochen werden, oder weil nicht alle im HMM möglichen verschiedenen
Wortübergangskontexte auch genommen werden. Da es aber nicht
vorhersagbar ist, ob solche Phänomene in den Testdaten dann doch vorkommen
könnten und da das Testvokabular ja sogar vom Trainingsvokabular
abweichen könnte, gehört zu den Zielen eines Ballungsalgorithmus, auch
vorzusehen, für nicht-trainierte Phänomene eine sinnvolle Lösung anzubieten.
17.2.1 Optimierungskriterien
Jeder Ballungsalgorithmus trifft ständig Entscheidungen, welche Modelle
zusammen in eine Klasse gehören und welche nicht. Es ist völlig unrealistisch,
jede dieser Entscheidungen so zu treffen, daß der Effekt auf die
Wortfehlerrate des resultierenden Erkenners minimiert wird. Man wird
daher auf zu optimierende Kriterien zurückgreifen müssen, die sich sehr
schnell während des Ballungsprozesses berechnen lassen. Die am häufigsten
verwendeten Kriterien sind die Maximierung der Beobachtungswahrscheinlichkeit
der Trainingsdaten und die Maximierung des Informationsgehaltes
(negative Entropie) des Parameterraumes. Je nach Art der Berechnung
der Emissionswahrscheinlichkeiten, können diese beiden Kriterien sogar
identisch sein [?].
Die Entropie einer Klasse von Modellen ist definiert durch die Wahrscheinlichkeitsverteilung
f dieser Klasse über dem Merkmalsraum. Wenn
man Gauß-Mischverteilungen zur Berechnung der Emissionswahrscheinlichkeiten
verwendet, so ist die Berechnung der Entropie ein sehr aufwendiges
numerisches Verfahren, das die Integration der Gauß-Verteilungen beinhaltet.
In der Spracherkennung kommen derart komplexe Entropieberechnungen
nicht vor, da entweder als Wahrscheinlichkeitsmodelle entweder nur einzelne