Sprachliche Mensch-Maschine-Kommunikation

272 16. Verwendung von Sprachmodellen
16.5.2 Discounting
Beim Discounting handelt es sich prinzipiell auch um eine Art von Glättung.
Dabei wird jede absolute Häufigkeit #(w) ersetzt durch # ′ (w), z.B. wie in:
# ′ (w) = #(w) − d absolutes Discounting (16.14)
# ′ (w) = #(w) + 1 Jeffrey Smoothing (16.15)
# ′ (w) = #(w) + 1/2 uniforme Bayes Glättung (16.16)
Durch das Discounting ändern sich die Unterschiede der absoluten Häufigkeiten
bestimmter Wörter untereinander nicht, die relativen Häufigkeiten
werden aber einander ein wenig angenähert (geglättet). Beim absoluten
Discounting muß selbstverständlich eine Regelung getroffen werden, wie mit
negativen Häufigkeiten umzugehen ist. Bei großen Textdatenmengen gehen
wir meist davon aus, daß neben der Anwendung eines absoluten Discountings
um den Wert d auch ein Cutoff-Wert c > d gesetzt wurde, so daß negative
Häufigkeiten nicht auftreten können. d muß nicht unbedingt eine natürliche
Zahl sein, auch kleine Discounting-Werte von 0.1 können durchaus Sinn
haben. Das Discounting wird bei der Konstruktion von Sprachmodellen in
der Spracherkennung allerdings weniger zum Zwecke der Glättung verwendet,
sondern vielmehr zur Reduktion der ” Wahrscheinlichkeitsmasse“. Die
sinnvollste Art, die entfernte Wahrscheinlichkeitsmasse einzusetzen, ist das
im folgenden vorgestellte Backoff-Verfahren.
16.5.3 Backoff-Verfahren
Die Maximum-Likelihood Lösung zur Schätzung von n-Grammen liefert für
Wortfolgen, die in den Trainingsdaten überhaupt nicht vorkommen eine
Wahrscheinlichkeit von null. Solche Wortfolgen können vom Spracherkenner
nicht erkannt werden. Um auch solche Wortfolgen erkennen zu können,
wird die Backoff-Technik verwendet. Wenn die Wahrscheinlichkeit für das
n-Gramm P(wk|wk−1, wk−2, . . .w k−(n−1) nicht geschätzt werden konnte,
weil die Wortfolge w k−(n−1), . . . wk−2, wk−1, wk im Trainingstext nicht beobachtet
wurde, dann bietet es sich an, statt dessen als Rückfallmethode (engl.
backoff ) das n − 1-Gramm P(wk|wk−1, wk−2, . . .w k−(n−2) zu verwenden.
Für ein korrektes Sprachmodell muß allerdings gelten:
wq 1 ,wq 2 ,...wqn
P(wqn|wqn−1, . . . wq1) = 1 (16.17)