Sprachliche Mensch-Maschine-Kommunikation

250 15. Erkennung kontinuierlicher Sprache
Man kann sich darüber streiten, wie sinnvoll das Maß der Wortfehlerrate
zur Bestimmung der Qualität eines Spracherkenners ist. In der Forschergemeinde
werden auch immer wieder andere Möglichkeiten diskutiert. So
spielen zum Beispiel bei den meisten so genannten HUB-5 Evaluationen
[?] der DARPA (Erkennung spontaner Telefondialoge zwischen Menschen)
zusätzlich die korrekten Zeitangaben eine Rolle. Da wird jedes Wort der
Erkennerhypothese mit einem Anfangs- und einem Endzeitstempel versehen,
und es wird nur dann als korrekt erkannt angesehen, wenn die Zeitstempel
und die tatsächliche Zeit sich überlappen. Andere Fehlermaße berücksichtigen
die Wichtigkeit bestimmter Wörter für das Verstehen einer Äußerung.
Hierbei geht man davon aus, daß ein falsch erkannter Artikel weniger schlimm
ist als ein falsch erkanntes Substantiv. So definiert man für jedes Wort eine
” Wichtigkeit“ und zählt dann nicht 1,0 für jede Vertauschung, Einfügung
und Auslassung, sondern einen Wert, der sich aus der Wichtigkeit der in
den Fehler involvierten Wörter berechnet. Bei dem Anfang der neunziger
Jahre eingeführten so genannten Wall-Street-Journal-Test (HUB-1) [?] sind
bei den meisten Erkennern an einem guten Drittel aller Fehler die englischen
Artikel the und a beteiligt.
Die Motivation für die Einbeziehung der Wichtigkeit falsch erkannter
Wörter ist deswegen von Bedeutung, weil gerade bei der Evaluation von
Erkennern und der Veröffentlichung von Erkennungsergebnissen sonst nur
Aufmerksamkeit auf eine einzige Zahl gelegt wird, und die Forschung sich
durch die Konzentration auf das Beseitigen von unwichtigen Fehlern von der
Arbeit an der Beseitigung wichtigerer Fehler abhalten läßt.
Allerdings haben auch die alternativen Fehlermaße ihre Probleme: Wer
soll definieren, wie schwerwiegend welcher Fehler ist. Hier kommt eine
gewisse Subjektivität ins Spiel. Je komplizierter ein Fehlermaß ist, umso
mehr Möglichkeiten der unfairen Bewertung bietet es. Ein derart einfaches
Maß, wie die oben definierte Wortfehlerrate ist per se wesentlich objektiver.
Bei einigen bestimmten Erkennungsproblemen gibt man aber in der Regel
auch andere Maße zusätzlich zur Wortfehlerrate an. So ist dies zum Beispiel
vor allem bei Sprachen sinnvoll, bei denen die Definition eines Wortes
problematisch ist. Dies ist bei vielen asiatischen, auf Silben basierenden
Sprachen wie Chinesisch und Japanisch der Fall. Im Japanischen gibt es
nur 48 grundlegende Silben aus denen die komplette Sprache aufgebaut
wird. Texte sind Aneinanderreihungen dieser Silben, wobei kein Unterschied
gemacht wird zwischen Silbenübergängen innerhalb eines Wortes und
Wort-zu-Wort-Übergängen. Bestimmte Sachverhalte (anderer Tempus bei
Verben, Singular/Plural bei Substantiven, etc.) werden durch Verwenden
besonderer dafür vorgesehener Silben ausgedrückt. Ob diese Silben Teil
eines Wortes oder ein eigenständiges Wort sind, darüber kann man sich