Sprachliche Mensch-Maschine-Kommunikation

266 16. Verwendung von Sprachmodellen
einziges Mal vorkommt, so selten also, daß sinnvolle statistische Aussagen
kaum zu machen sind.
Bevor wir uns überlegen, ob wir nicht besser nach erfolgversprechenderen
Sprachmodellen suchen sollten, betrachten wir zwei Experimente, die uns
bei der Einschätzung der Wirkung von n-Grammen helfen könnten.
Im ersten Experiment wurde aus der Wall Street Journal Datenbasis
derjenige Teil herausgenommen, der nur Wörter aus der Menge der 1000
häufigsten Wörter enthält (das war eine Textmenge von ca. 400 000
Wörtern). 300 000 (Trainingsdaten) davon wurden zum Schätzen von
Trigrammen entsprechend Gl. 16.6 verwendet, und auf den restlichen
100 000 (Testdaten) wurde das Trigramm-Modell gestestet. Wir werden uns
später in diesem Kapitel mit der Qualität von Sprachmodellen beschäftigen
und an dieser Stelle lediglich die Zahl der Worttripel betrachten, die in
den Trainingsdaten und in den Testdaten vorkommen. Diese Zahlen bilden
die Basis für die Schätzung von Trigrammen. Bei der Betrachtung der
Worttripel der Testdaten wurde festgestellt, daß 23% von ihnen in den
Trainingsdaten überhaupt nicht vorkamen. Das würde bedeuten, daß fast
jedes vierte bei der Erkennung der Testdaten zu verwendende Trigramm
eine Wahrscheinlichkeit von null hätte. Sicher könnte man statt 0.0 einen
kleinen Wert ǫ nahe 0.0 wählen, damit diese Worttripel überhaupt eine
Chance haben, erkannt zu werden. Dennoch sollte man erwarten, daß ein
Sprachmodell, das in einem Viertel aller Fälle willkürlich festgelegte Werte
nahe null verwendet nur wenig hilfreich ist. Das erste Experiment ist also für
den Einsatz von n-Grammen eher entmutigend. Für Werte von n > 3 ist der
Anteil der in den Trainingsdaten nicht vorkommenden n-Tupel noch größer.
In einem anderen Experiment, dem sogenannten ” Bag of Words“, wurden
aus der Datenmenge, die aus dem ersten Experiment bekannt ist, Sätze mit
maximal 10 Wörtern genommen. Aus jedem Satz wurde statt einer Wortfolge
eine Wortmenge gebildet, in der die ursprüngliche Reihenfolge der Wörter
nicht mehr bekannt war. Ein Algorithmus suchte dann zu jeder Wortmenge
diejenige Wortfolge, deren Trigramm-Wahrscheinlichkeit am größten ist.
Bei 63% aller Sätze wurde der ursprüngliche Satz exakt rekonstruiert, und
79% aller Sätze wurden immerhin so rekonstruiert, daß wenigstens der Sinn
erhalten blieb.
16.4 Perplexität
Die Messung der Qualität eines Sprachmodells kann so erfolgen, daß ein
Erkenner das Sprachmodell verwendet und die Worterkennungsrate dann als