Projektbericht - Zentrum Mensch-Maschine-Systeme - TU Berlin

Entwicklung einer Grammatik für die Flugsicherungs-Phraseologie
Person, also Sprecher 1 bis Sprecher 3, die unter dem Punkt „Konkretisierung zur Auswahl
der Testpersonen“ näher erläutert sind.
5. Hinweise zur Auswertung der Ergebnisse
Die erstellten Datensätze sollen bestehende Spracherkenner auf ihre Leistungsfähigkeit
überprüfen. Es gibt verschiedene Varianten, die eine sinnvolle Auswertung ermöglichen. Sie
unterscheiden sich vor allem im Detaillierungsgrad und somit auch im Arbeitsaufwand.
Entscheidend ist, dass man die sinnvolle Ergebnisse und ihre Zusammenhänge erfasst. Bei
unserem Vorschlag für eine Auswertung haben wir darauf geachtet, dass die Methode leicht
durchführbar ist und graphisch dargestellt wird. Somit kann man schnelle Rückschlüsse auf
mögliche Ursachen ziehen und die Ergebnisse optimal verwerten. Wir haben bewusst darauf
verzichtet, eine sehr komplexe Auswertungsmethode anzuwenden, obwohl diese vielleicht
noch mehr Informationen über die Leistungsfähigkeit geben könnte.
Um die Ergebnisse von den Tests sinnvoll auszuwerten, muss zunächst zwischen Tests von
wort- und phonembasierten Spracherkennern unterschieden werden. Für beide Arten von
Spracherkennern haben wir eine Kombinationsmatrix entworfen, in die man die Ergebnisse
von den Untersuchungen eintragen kann. In den Spalten sind alle Fehlertypen aufgeführt, die
bei der Spracherkennung dieser Art von Spracherkenner auftreten können. In den Zeilen
stehen im ersten Abschnitt die durchnummerierten Datensätze geordnet nach der
entsprechenden Sprachflussart. Im zweiten Abschnitt werden die beschriebenen Negativtests
der unterschiedlichen Datensätze getrennt untersucht. Deswegen wird bei der Betrachtung der
Datensätze, in denen Negativtests eingebaut wurden, der Teil des Negativtests zunächst
ausgeschlossen. Bei der Untersuchung der Negativtests wird dementsprechend nur der Satzteil
betrachtet der den Negativtest ausmacht. Um einfachere Vergleiche zwischen den
unterschiedlichen Sprechern machen zu können, werden die Ergebnisse der drei Sprecher
nebeneinander aufgeführt. Für jeden erkannten Datensatz muss der Bearbeiter mögliche
Erkennungsfehler herausarbeiten und das jeweilige Kästchen (Datensatz Nr. ..., Fehlertyp)
ausfüllen. Somit können für jeden Satz maximal drei Kästchen ausgefüllt werden. Falls der
Satz vollständig und korrekt erkannt wurde, werden dementsprechend die Kästchen leer
gelassen. Gleiches gilt für die Ergebnisse der Negativtests.
Letztendlich erhält man eine Matrix mit den Ergebnissen aus den Tests, aus der man schnell
erkennen kann, welcher Fehlertyp häufiger auftritt und man kann gleichzeitig versuchen zu
erkennen, aus welchem Grund dies so ist. Z.B. kann dies auf den Sprachfluss oder auf den
Sprecher zurückzuführen sein. Das Ausfüllen der Kästchen ist eine entscheidende Hilfe um
Tendenzen einfacher festzustellen. Jeder Negativtest muss einzeln betrachtet werden.
Zunächst muss in der Dokumentation nachgeschlagen werden, welche Kriterien jeweils
getestet werden, um dann die Ergebnisse interpretieren zu können.
20