Sprachliche Mensch-Maschine-Kommunikation

18.4 Sprachmodelle höherer Ordnung 323
Wortendezustand ist, getroffen werden, dann steht weniger Information zur
Verfügung. Möglicherweise wird eine Hypothese verworfen, die, wenn die
Bigrammwahrscheinlichkeit in das aktuelle Wort bekannt wäre, wesentlich
besser bewertet und somit erhalten worden wäre. Umgekehrt kann es
vorkommen, daß die Suche unnötigerweise Zustände expandiert, die bei
Kenntnis der niedrigen Bigrammwahrscheinlichkeit gar nicht erst betreten
worden wären. Der geringer Zeitverlust ist dabei unproblematisch. Wie
schwerwiegender ist die erhöhte Wahrscheinlichkeit für Suchfehler.
18.4 Sprachmodelle höherer Ordnung
An Abb. 15.10 ist zu erkennen, daß ein derartiges Such-HMM bestenfalls
Bigramme als Wortübergangswahrscheinlichkeiten verwenden kann. Wenn
trigramme verwendet werden sollen müßte das HMM wesentlich größer sein
(s. Abb. 18.8).
Das Trigramm-HMM enthält also n Kopien des Bigramm-HMMs aus
Abb. 15.10. Auf die gleiche Art lassen sich auch Kopien von als Baumstruktur
angeordneten HMMs zu einem Trigramm-Modell verbinden. Selbstverständlich
kann für die Erkennung großer Vokabulare ein derartig großes HMM
nicht komplett im Speicher gehalten werden. Daher werden nur die Teile
dynamisch angelegt, die benötigt werden. Wenn ein Zustand expandiert
wird, werden die ihm folgenden Zustände alloziert. Wenn Baumkopien
erzeugt werden, entsteht auch hier wieder die gleiche Problematik wie bei
den verzögerten Bigrammen.
Eine Alternative selbst bei Bigramm-HMMs trotzdem Trigramm-
Informationen zu verwenden sind sogenannte ” poor man’s trigrams“. Dabei
wird für jeden Zeitpunkt t das Wort ˆw(t) gemerkt, das den wahrscheinlichsten
Endzustand hat. Wenn dann ein Wortübergang von w1 nach w2
stattfindet, und der Viterbi-Rückwärtszeiger von Wort w1 auf den Zeitpunkt
t zeigt, so wird unabhängig davon, welches das beste Vorgängerwort von w1
ist, als Übergangswahrscheinlichkeit P3(w2| ˆw(t), w1) verwendet.
Statt umständliche Baumkopien zu machen, ist es auch möglich in den
einzelnen Baumknoten mehrere Historien (Linguistische Kontexte) zu speichern,
die dann bei der Expansion gegebenenfalls in den Nachfolgezustand
” mitgenommen“ werden [?].