Sprachliche Mensch-Maschine-Kommunikation

16.5 Glättung und Interpolation 273
Die Summe der Wahrscheinlichkeiten aller n-Gramme muß für jedes n
exakt 1 ergeben. Dies ist bei einer Maximum-Likelihood Schätzung schon für
die ” gesehenen“ n-Gramme der Fall. Ordnen wir den ” nicht gesehenen“ auch
Wahrscheinlichkeiten > 0 zu, so ist die geforderte Bedingung von Gl. 16.17
nicht erfüllt. Um auch für die Rückfallwahrscheinlichkeiten etwas Wahrscheinlichkeitsmasse
übrig zu haben, muß diese zuvor aus den n-Grammen
mittels Discounting herausgenommen werden. Am häufigsten wird dafür ein
absolutes Discounting gemäß Gl. 16.14 mit d ≈ 0.5 verwendet.
Dann berechnet sich die Wahrscheinlichkeit für die gesehene Wortfolge
w k−(n−1), . . . wk−2, wk−1, wk zu
p+(wk|wk−1, wk−2, . . . w k−(n−1)) = #(w k−(n−1), w k−(n−2), . . . wk) − d
#(w k−(n−1), w k−(n−2), . . . wk−1) (16.18)
Für den Fall, daß w k−(n−1), . . .wk−2, wk−1, wk nicht gesehen wurde:
p−(wk|wk−1, wk−2, . . . w k−(n−1))
= p+(wk|wk−1, wk−2, . . . w k−(n−2)) · b(w1, w2, . . . wk−1) (16.19)
wobei das ” Korrektiv“ b(w1, w2), der Backoff-Faktor, berechnet wird als:
b(w1, w2, . . . wk−1) =
w∈Vokabular
d · δ(w1, w2, . . .wk−1, w)
#(w1, w2, . . . wk−1)
(16.20)
wobei δ(w1, w2, . . .wk−1, w) entweder 1 ist (wenn w1, w2, . . .wk−1, w
gesehen wurde) oder 0 ist (wenn es nicht gesehen wurde). Hat die
Wortfolge w1, w2, . . . wk−1) in den Trainingsdaten sehr viele verschiedene
Nachfolgewörter ist die Wahrscheinlichkeit für einen ” nicht gesehenen“
Wortübergang größer als wenn sie nur wenige verschiedene Nachfolger hat.
Das Rückfallen auf eine niedrigere n-Gramm-Stufe kann durchaus auch
kaskadiert nötig sein. Wenn in Gl. 16.19 p+(wk|wk−1, wk−2, . . . w k−(n−2))
nicht bekannt ist, weil auch die kürzere Wortfolge w k−(n−2), . . .wk nicht
gesehen wurde, so muß auch hier mit Hilfe der Backoff-Methode auf
p−(wk|wk−1, wk−2, . . . w k−(n−2)) zurückgefallen werden, so daß im allgemeinen
eine Berechnung des n-Gramms wie folgt aussieht: