Sprachliche Mensch-Maschine-Kommunikation

20.2 Erkennung beliebiger Namen 349
heraus, daß gerade das Falscherkennen oder Nichterkennen von Eigennamen
zwar selten aber dafür umso ärgerlicher ist. Wenn gelegentlich der Kasus
eines Artikels nicht richtig erkannt wird (dem statt den), so hat das meistens
keine negativen Konsequenzen, der Satz kann immer noch richtig verstanden
und übersetzt werden, die Reaktion des Gesamtsystems fällt immer noch zur
Zufriedenheit des Benutzers aus. Wenn aber ein Eigenname (Person, Ort,
Firma, Ereignis, etc.) falsch erkannt wird, ist ein korrektes Verstehen meist
gar nicht möglich.
Bei der Behandlung von unbekannten Wörtern gibt es zwei wesentliche
Probleme zu lösen: Zum einen muß der Erkenner detektieren, daß an
einer bestimmten Stelle ein unbekanntes Wort wahrscheinlich ist, und zum
anderen muß er dann an dieser Stelle ein Wort hypothetisieren, das nicht in
seinem Vokabular vorhanden ist.
Die Detektion des Vorhandenseins eines Wortes außerhalb des Erkennervokabulars
(OOV-Wort) kann auf unterschiedliche Art geschehen. In der
Regel wird ein Detektor nicht nur eine binäre Entscheidung treffen, sondern
eine bestimmte Wahrscheinlichkeit dafür schätzen, daß an einer Stelle der
Hypothese ein OOV-Wort steht.
Die naheliegendste Methode für solche Schätzungen ist die direkte Verwendung
einer OOV-Sprachmodellklasse. Meist werden beim Berechnen von
Sprachmodellen mit Hilfe großer Textkorpora selten beobachtete Wortfolgen
als sogenanntes Discounting nicht explizit geschätzt. In vielen Fällen werden
nicht nur ganze Wortfolgen, sondern sogar selten vorkommende Wörter –
egal in welchem Kontext – überhaupt nicht modelliert. Wenn diese Wörter
im Trainingstext für das Sprachmodell durch ein spezielles Wort, z.B.
” OOV“, ersetzt werden, und nicht in das Vokabular des Erkenners aufgenommen
werden, dann berechnet das Sprachmodell die Wahrscheinlichkeit,
daß OOV“ an einer bestimmten Stelle auftritt. Diese Wahrscheinlichkeit
”
ist im Grunde schon relativ gut geschätzt, und weitere Informationsquellen
scheinen nicht nötig zu sein, insbesondere wenn man bedenkt, daß bei vielen
Erkennungsaufgaben die Wahrscheinlichkeit, ein OOV-Wort zu beobachten,
sowieso ziemlich klein ist. Weitere Informationsquellen können aus dem akustischen
Modell kommen. Typischerweise würde man erwarten, daß an einer
Stelle der Hypothese, an der die Wahrscheinlichkeiten, die das akustische
Modell für ein Wort liefert, wesentlich höher ist als die Wahrscheinlichkeiten
für alle anderen Wörter, der Erkenner viel sicherer, d.h. konfidenter, ist als
an einer Stelle, an der viele verschiedene Wörter eine Wahrscheinlichkeit
ähnlich der besten Wahrscheinlichkeit haben. An solchen Stellen niedriger
Konfidenz ist eher anzunehmen, daß ein OOV-Wort vorliegt, als an Stellen
hoher Konfidenz.