Sprachliche Mensch-Maschine-Kommunikation

16.6 Verschiedene weitere Sprachmodelle 275
gesprochen wird. Da ein Sprachmodell, das nur mit Hilfe von Texten eines
bestimmten Themas geschätzt wurde, wegen des geringeren Volumens der
Trainingsdaten schlecht geschätzt ist und schlecht generalisiert, bietet es
sich an, es mit einem auf sehr vielen Daten sehr gut geschätzten besser
generalisierenden aber im Spezialfall weniger gut passenden Model zu
interpolieren. Lediglich die Interpolationsfaktoren müßten von Zeit zu Zeit
optimiert werden.
Da es beliebig viele Themen gibt und da es nicht möglich ist, für jedes
denkbare Thema ein eigenes Sprachmodell zu erzeugen und bei Bedarf mit
mehr oder weniger Interpolationsgewicht zum statischen Basissprachmodell
statisches Basissprachmodell dynamisches Basissprachmodell hinzuzunehmen,
kann statt dessen ein temporäres oder dynamisches Sprachmodell auf
den bisher erkannten Hypothesen des Spracherkenners trainiert werden. Dabei
wird die Annahme zugrundegelegt, daß das Thema, über das ein Sprecher
spricht, verhältnismäßig langsam wechselt, zumindest so langsam, daß eine
ausreichende Menge an Text vorhanden ist, mit dem man n-Gramme oder
andere Sprachmodelle schätzen kann. Berechnet man diese n-Gramme auf
einem ” Fenster“ der letzten Hypothesen, so daß sehr alte Hypothesen wieder
aus der Schätzung des dynamischen Modells herausgenommen werden,
dann ergibt sich als resultierendes Sprachmodell λ eine Mischung aus dem
statischen Basismodell λ S und dem dynamischen Modell λ D :
λ = α · λ S + (1 − α) · λ D
das heißt für die einzelnen Wahrscheinlichkeiten:
(16.22)
Pλ(w|H) = α · Pλ S (w|H) + (1 − α) · Pλ D (w|H) (16.23)
Der Interpolationsfaktor α in Gl. 16.22 sollte zweckmäßigerweise vor
allem von der Menge der Daten, mit denen λ D geschätzt wurde, abhängig
gemacht werden. Bei einem sehr kleinen Fenster sollte ein sehr großes α
knapp unter 1.0 gewählt werden, und bei sehr großen Fenstern kann das α
langsam kleiner werden. In der Regel wird es aber dennoch nahe bei 1.0
bleiben.
16.6.3 Klassenbasierte Sprachmodelle
Eine wichtige Form von Sprachmodellen bilden klassenbasierte Modelle.
Viele Wörter sind in einem bestimmten Kontext oft beliebig austauschbar,
ohne daß sich die Wahrscheinlichkeit der gesamten Wortfolge merklich
ändert. Das können zum Beispiel Zahlen, Wochentage, Personennamen