Sprachliche Mensch-Maschine-Kommunikation

16.3 N-Gramme 265
also alle Historien, bei denen die letzten k Wörter gleich sind, kommen
in dieselbe Klasse. Sicherlich sind auch andere Arten der Historienklassifizierung
sinnvoll und werden in der Praxis auch eingesetzt. So können
einzelne Wörter oder auch Wortfolgen je nach ihrer semantischen oder auch
syntaktischen Bedeutung in gemeinsame Klassen eingeordnet werden.
16.3 N-Gramme
Die bei weitem am häufigsten verwendete Historienklassifizierung ist die der
Einschränkung auf maximal ein bis zwei Vorgängerwörter. Drückt man die
Wahrscheinlichkeit eines Wortes in Abhängigkeit der n − 1 Vorgänger aus,
so spricht man von n-Grammen:
n-Gramm P(wm|w1, . . . wm−1) ≈
n = 1 (Unigramm) P(wm)
n = 2 (Bigramm) P(wm|wm−1)
n = 3 (Trigramm) P(wm|wm−2, wm−1)
n = k P(wm|w m−(k−1), . . . wm−1)
Eine spezielle Form der Bigramme sind Wortpaargrammatiken. Sie
definieren lediglich welche Wörter einem Wort folgen dürfen. Diese erhalten
dann alle die gleiche positive Bigramm-Wahrscheinlichkeit, während alle
anderen (nicht erlaubten Folgewörter) die Wahrscheinlichkeit 0 erhalten.
Die naheliegende Maximum-Likelihood Schätzung für ein n-
Gramm ist das Verhältnis der Vorkommen der gesamten“ Wort-
”
folge wm−(k−1), . . .wm−1, wm zu den Vorkommen der
” Geschichte“
wm−(k−1), . . . wm−1, also:
P(wm|w m−(k−1), . . .wm−1) = #(w m−(k−1), . . . wm−1, wm)
#(w m−(k−1), . . .wm−1)
(16.6)
Ein Blick auf eine typische Textdatenbasis wie die des Wall-Street-
Journals läßt schnell erkennen, daß das Gesetz der großen Zahl für die
Modellierung von Wortfolgen so enorm große Zahlen meint, daß wir kaum
eine Chance haben, diese jemals zu erreichen. Im Standard-Benchmark
der Wall-Street-Journal Datenbasis kommen Texte vor, die sich ca. 300
Millionen Wörter aufsummieren. Auf den ersten Blick eine sehr große Zahl.
Betrachten wir jetzt alle 300 Millionen Worttripel, dann stellen wir fest, daß
ca. 65 Millionen, also gut ein fünftel, in der gesamten Textdatenbank nur ein