Projektbericht - Zentrum Mensch-Maschine-Systeme - TU Berlin
Projektbericht - Zentrum Mensch-Maschine-Systeme - TU Berlin
Projektbericht - Zentrum Mensch-Maschine-Systeme - TU Berlin
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Entwicklung einer Grammatik für die Flugsicherungs-Phraseologie<br />
Person, also Sprecher 1 bis Sprecher 3, die unter dem Punkt „Konkretisierung zur Auswahl<br />
der Testpersonen“ näher erläutert sind.<br />
5. Hinweise zur Auswertung der Ergebnisse<br />
Die erstellten Datensätze sollen bestehende Spracherkenner auf ihre Leistungsfähigkeit<br />
überprüfen. Es gibt verschiedene Varianten, die eine sinnvolle Auswertung ermöglichen. Sie<br />
unterscheiden sich vor allem im Detaillierungsgrad und somit auch im Arbeitsaufwand.<br />
Entscheidend ist, dass man die sinnvolle Ergebnisse und ihre Zusammenhänge erfasst. Bei<br />
unserem Vorschlag für eine Auswertung haben wir darauf geachtet, dass die Methode leicht<br />
durchführbar ist und graphisch dargestellt wird. Somit kann man schnelle Rückschlüsse auf<br />
mögliche Ursachen ziehen und die Ergebnisse optimal verwerten. Wir haben bewusst darauf<br />
verzichtet, eine sehr komplexe Auswertungsmethode anzuwenden, obwohl diese vielleicht<br />
noch mehr Informationen über die Leistungsfähigkeit geben könnte.<br />
Um die Ergebnisse von den Tests sinnvoll auszuwerten, muss zunächst zwischen Tests von<br />
wort- und phonembasierten Spracherkennern unterschieden werden. Für beide Arten von<br />
Spracherkennern haben wir eine Kombinationsmatrix entworfen, in die man die Ergebnisse<br />
von den Untersuchungen eintragen kann. In den Spalten sind alle Fehlertypen aufgeführt, die<br />
bei der Spracherkennung dieser Art von Spracherkenner auftreten können. In den Zeilen<br />
stehen im ersten Abschnitt die durchnummerierten Datensätze geordnet nach der<br />
entsprechenden Sprachflussart. Im zweiten Abschnitt werden die beschriebenen Negativtests<br />
der unterschiedlichen Datensätze getrennt untersucht. Deswegen wird bei der Betrachtung der<br />
Datensätze, in denen Negativtests eingebaut wurden, der Teil des Negativtests zunächst<br />
ausgeschlossen. Bei der Untersuchung der Negativtests wird dementsprechend nur der Satzteil<br />
betrachtet der den Negativtest ausmacht. Um einfachere Vergleiche zwischen den<br />
unterschiedlichen Sprechern machen zu können, werden die Ergebnisse der drei Sprecher<br />
nebeneinander aufgeführt. Für jeden erkannten Datensatz muss der Bearbeiter mögliche<br />
Erkennungsfehler herausarbeiten und das jeweilige Kästchen (Datensatz Nr. ..., Fehlertyp)<br />
ausfüllen. Somit können für jeden Satz maximal drei Kästchen ausgefüllt werden. Falls der<br />
Satz vollständig und korrekt erkannt wurde, werden dementsprechend die Kästchen leer<br />
gelassen. Gleiches gilt für die Ergebnisse der Negativtests.<br />
Letztendlich erhält man eine Matrix mit den Ergebnissen aus den Tests, aus der man schnell<br />
erkennen kann, welcher Fehlertyp häufiger auftritt und man kann gleichzeitig versuchen zu<br />
erkennen, aus welchem Grund dies so ist. Z.B. kann dies auf den Sprachfluss oder auf den<br />
Sprecher zurückzuführen sein. Das Ausfüllen der Kästchen ist eine entscheidende Hilfe um<br />
Tendenzen einfacher festzustellen. Jeder Negativtest muss einzeln betrachtet werden.<br />
Zunächst muss in der Dokumentation nachgeschlagen werden, welche Kriterien jeweils<br />
getestet werden, um dann die Ergebnisse interpretieren zu können.<br />
20