Sprachliche Mensch-Maschine-Kommunikation

16.4 Perplexität 269
Gleichverteilung abweichende Verteilung hat eine Perplexität zur Folge, die
kleiner ist als |V |.
Die Perplexität ist eine intrinsische Eigenschaft einer Symbolquelle oder
eines Sprachmodells. Wird sie allerdings gemäß Gl. 16.11 geschätzt, dann
spricht man von der ” Test-Set-Perplexität“, ein Wert, der selbstverständlich
von der endlichen Wortfolge (dem Test-Set) w1, w2, . . .wn abhängt.
Das bedeutet, daß dasselbe Sprachmodelle je nach Test-Set, verschiedene
Test-Set-Perplexitäten hat. Spricht man nur von der Perplexität eines
Sprachmodells, dann meint man damit die Test-Set-Perplexität auf der
Wortfolge, mit der das Modell geschätzt wurde, oder eine Kreuzvalidierungsteilmenge
davon.
Tab. 16.1 gibt die typischen Perplexitäten einiger Erkennungsaufgaben
an. Am Beispiel der Wall Street Journal Daten ist zu erkennen, daß die
Perplexität eines Trigramm-Modells erwartungsgemäß niedriger ist als
die eines Bigramm-Modells. Ein Bigramm-Modell enthält wiederum mehr
Information als ein noch einfacheres Wortpaarmodell (PP=20 ggü. PP=60
für die Resource Management Daten). Ein ganz starker Effekt für die
Test-Set-Perplexität läßt sich an den deutschsprachigen Daten aus der
Süddeutschen Zeitung sehen. Verwendet man als Test-Set ebenso wie für
das Schätzen des Modells Texte aus der gleichen Zeitschrift, so beträgt
die Perplexität ca. 400. Dies ist an sich schon wesentlich höher als für
typische englischsprachige Aufgaben, was im wesentlichen auf die vielen
Flexionsformen im Deutschen, die es im Englischen sehr viel weniger gibt,
zurückzuführen. Einen gewaltigen Sprung in die Höhe macht die Perplexität
allerdings noch, wenn als Test-Set Märchen (in diesem Experiment [?]
” Schneewittchen“) verwendet werden. Die Tatsache, daß Märchentexte von
Nachrichtentexten sehr verschieden sind, führt dazu daß die n-Gramm-
Wahrscheinlichkeiten sehr klein geraten und somit die Perplexität sehr groß
wird. Hier bedeutet dies, daß die Erkennung eines gesprochenen Märchens
mit Hilfe eines Trigramm-Sprachmodells aus der Süddeutschen Zeitung in
etwa so schwierig ist wie die Erkennung mit einem Vokabular der Größe
1000 Wörter ganz ohne Sprachmodell.
Die Perplexität ist geeignet, die Schwierigkeit einer Erkennungsaufgabe
einigermaßen zu beschreiben. In vielen Fällen ist es jedoch so, daß eine
Aufgabe trotz niedrigerer Perplexität schwieriger ist, weil bei der reinen
Perplexität die Verwechslungswahrscheinlichkeit nicht berücksichtigt wird.
In Abb. 16.2 ist die lokale Wahrscheinlichkeitsverteilung der Nachfolger des
Wortes wi auf der linken Seiten wesentlich schärfer (d.h. hat niedrigere
Perplexität) als auf der rechten Seite. Dennoch ist die Erkennungsaufgabe
der rechten Seite einfacher. Zwar hilft hier das nahezu gleichverteilte Sprachmodell
nicht, aber die in Frage kommenden Wörter sind aus akustischer Sicht