Sprachliche Mensch-Maschine-Kommunikation

276 16. Verwendung von Sprachmodellen
und ähnliches sein. Ersetzt man in einem Trainingstext alle Personennamen
durch das Wort ” “ so kommen Wortfolgen wie ” Guten
Tag, Herr relativ häufig vor, die Wahrscheinlichkeit für
P(< Personenname > |Guten, Tag, Herr) läßt sich sehr gut schätzen, jedenfalls
viel besser als die Wahrscheinlichkeit für P(Rogina|Guten, Tag, Herr),
ein Viergramm, das in den Trainingsdaten womöglich so selten vorkommt, daß
es im Rahmen des Cutoff-Verfahrens entfernt wurde. Wenn also die Wahrscheinlichkeit,
für eine Wortklasse C bei gegebener Historie w1, w2, wn−1 als
n-Gramm-Wahrscheinlichkeit P(C|w1, w2, wn−1) bekannt ist, dann berechnet
sich die Wahrscheinlichkeit für ein Bestimmtes Wort wn aus dieser Klasse
einfach als:
P(wn|w1, w2, wn−1) = P(C|w1, w2, wn−1) · P(wn|C) (16.24)
Das heißt, neben den Klassen-n-Grammen werden noch die Wahrscheinlichkeiten
der Wörter innerhalb der Klassen benötigt. Wenn die Klassen
ausreichend groß sind, lassen sich die klassenbedingten Wahrscheinlichkeiten
durch einfaches Zählen (Unigramme) bestimmen. In anderen Fällen kann die
klassenbedingte Wahrscheinlichkeitsmasse mehr oder weniger proportional
auf die Elemente der Klasse verteilt werden.
Ein besonderer Vorteil klassenbedingter Wahrscheinlichkeiten ist nicht
nur die Möglichkeit der robusten n-Gramm-Schätzung, sondern vor allem
auch die Möglichkeit, auf einfachste Weise neue Wörter ins Sprachmodell
einzufügen, ohne dieses erneut berechnen zu müssen. So kann
ein Nachrichtensprachmodell über Jahre hinweg unverändert bleiben,
wenn nur die Klassen , , ,
und so weiter regelmäßig mit den neuesten Klassenelementen
aktualisiert werden.
16.6.4 Spezielle Sprachmodelle
Im folgenden werden einige besondere Arten der Sprachmodellierung vorgestellt.
Sie bilden nur einen kleinen Ausschnitt aus einer sehr großen Menge
von Möglichkeiten zur Berechnung von Wortfolgewahrscheinlichkeiten.
HMM-basierte Modellwahl
Schon beim Diktieren eines Briefes, aber vielmehr noch bei Mensch-
Maschine- und erst recht bei Mensch-Mensch-Dialogen gibt es deutlich
erkennbare Kommunikationsstrukturen, die sich über die Zeit ändern. So
bestehen Briefe typischerweise aus Adreßangaben, Anrede, Text und Gruß.
Ein Dialog zwischen Menschen könnte aus Begrüßung, Smalltalk, Abschied