Sprachliche Mensch-Maschine-Kommunikation

282 16. Verwendung von Sprachmodellen
gesenkt werden, auf jeden Fall jedoch kann auf den Aufwand des ” Ausprobierens“
und Auswertens verschiedener Kombinationen auf der Kreuzvalidierungsmenge
verzichtet werden.
16.7 Adaption von Sprachmodellen
Im Prinzip kann man Cache Sprachmodelle als sich ständig adaptierende
Sprachmodelle bezeichnen. Auch Trigger-Modelle enthalten eine Art
Adaptionskomponente. Grundsätzlich läßt sich ein Sprachmodell aber
auch mit Daten adaptieren, die nicht direkt aus den Erkennerhypothesen
kommen. Im folgenden wollen wir zwei Vorgehensweisen dazu vorstellen,
die hypothesenbasierte Auswahl zuvor berechneter Modelle bzw. deren
Interpolationsfaktoren, und die HDLA Methode (hypothesis driven lexicon
adaptation) [?].
16.7.1 Auswahl vorberechneter Modelle
Wie gut ein Text zu einer Menge von Hypothesen paßt, läßt sich auf verschiedene
Arten bestimmen. Zu den geeignetsten gehören wohl das Messen
der Perplexität, die die Hypothesen als Testset auf einem auf dem Text
geschätzten Sprachmodell haben, und das Berechnen einer tfidf-basierten
Dokumentendistanz, bei der der Text und die Hypothesen als zwei verschiedene
Dokumente betrachtet werden.
Die Aufgabe der Themenbasierten Adaption eines Sprachmodells durch
Auswahl vorbereiteter Sprachmodelle kann wie folgt definiert werden.
gegeben: n Dokumente D1, D2, . . . Dn, ein Vokabular V = {w1, w2, . . .wk}
und eine erkannte Wortfolge H = h1, h2, . . . hm
gesucht: j so, daß das auf Dj trainierte (oder damit interpolierte)
Sprachmodelle die Wortfolge H am besten modelliert
Unter der Voraussetzung, daß die Dokumente sehr groß sind und so
sinnvolle Sprachmodelle darauf trainiert werden können, bietet es sich in
der Tat an, die Testset-Perplexität dieser Sprachmodelle auf der Testmenge
H zu messen. Die meist stabilere Alternative ist die Bestimmung einer
tfidf-Distanz. Das tfidf-Maß bestimmt die Wichtigkeit eines Wortes w für
ein Dokument Di. Sie ist das Produkt der Faktoren tf (term frequency) und
idf (inverse document frequency):