Sprachliche Mensch-Maschine-Kommunikation

284 16. Verwendung von Sprachmodellen
des aktuellen Themas ist die Erkennerhypothese (beziehungsweise die Konkatenation
der letzen Hypothesen) H. Diese kann als Dokument betrachtet
werden, und zu jedem Dokument Di mit vorberechnetem Sprachmodell
kann δ(H, Di) berechnet werden. Im einfachsten Fall wird ein konkretes
Dokument Dj = argmin Dl δ(H, Dl) ausgewählt, und als adaptiertes Model
λ A = λ(Dl) beziehungsweise eine Interpolation von λ S mit λ(Dl) verwendet.
Eine feinere Adaption läßt sich durchführen, indem λ S mit allen vorberechneten
Sprachmodellen interpoliert wird:
λ A = α · λ S + β ·
n
(1 − δ(H, Di)) · λ(Di) (16.31)
i=1
Die Faktoren α und β müssen experimentell bestimmt werden und
addieren sich normalerweise nicht zu 1. Welche Werte sinnvoll sind, hängt
von der Anzahl und Größe der Dokumente Di ab.
Grundsätzlich ist es auch möglich, die Dokumente mit ihren themenspezifischen
Sprachmodellen nicht im voraus bereitzuhalten. Statt dessen
können zu Laufzeit des Erkenners Dokumente aus dem World-Wide-Web
besorgt und ausgewertet werden. Mit Hilfe von Internet-Suchmaschinen
lassen sich so zu den Erkennerhypothesen passende Dokumente finden,
darauf Sprachmodelle berechnen und der Erkenner so adaptieren.
In Experimenten [?] konnte durch Adaption des Sprachmodells an
das aktuelle Thema die Perplexität des Sprachmodells um ca. 15% und
Fehlerrate des Erkenners ein wenig gesenkt werden.
16.7.2 Hypothesis driven lexicon adaptation
Oft wird mit dem Begriff ” Sprachmodell“ nur der Teil eines Spracherkenners
bezeichnet, der die Wahrscheinlichkeit von Wortfolgen berechnet. Prinzipiell
gehört aber auch die Definition des Vokabulars dazu. Die größten Probleme
mit dem Vokabular haben Erkenner für stark flektierende Sprachen. Dazu
gehört auch die Deutsche Sprache. Selbst wenn wir alle ca. 1,6 Millionen
verschiedene Vokabularwörter, die im Laufe eines Jahres in der Süddeutschen
Zeitung stehen, betrachten, so werden darunter für die meisten Wörter
nicht alle Flexionsformen sein. Womöglich kommt das Wort ” lichten“ vor,
vielleicht sogar ” gelichtet“ aber dann fehlt vielleicht ” gelichteter“. Neue
Formen können aber auch durch andere Vorsilben entstehen: ” ungelichteter“.
Wird jede Buchstabenfolge zwischen zwei Leer- oder Satzzeichen als Wort
betrachtet, dann ist im Deutschen aussichtslos, so viele Wörter ins Vokabular