Jürgen Dick - Lehrstuhl Algorithmen & Datenstrukturen, Institut für ...

92 KAPITEL 5. EVALUATION
Datei: ga700_15m.aif (Sprecher 3)
Schwellwert (Sek.) TB H M FA Recall ( ) Precision ( )
0.00 45 40 5 823 89 5
0.50 45 29 16 201 64 13
0.75 45 20 25 91 44 18
1.00 45 15 30 55 33 21
Durchschnitt
Schwellwert (Sek.) TB H M FA Recall ( ) Precision ( )
0.00 174 153 21 2959 87.9 4.9
0.50 174 113 61 822 64.9 12
0.75 174 81 93 437 46.5 15.6
1.00 174 53 121 254 30.4 17.2
5.2.2 Interpretation der Ergebnisse
Zunächst ist auffallend, daß das Segmentierungsverfahren noch nicht einmal alle Topic
Beginnings findet, unabhängig von der Precision. Im Falle des dritten Vortrages erreicht das
Verfahren gar nur einen Recall von ¤
¤
¥
bei einer Precision von . Im Schnitt über alle vier
untersuchten Sprachdateien ergab sich, daß nur knapp £ £ ¤
¦§¥
¤
¦¤
aller Topic Beginnings überhaupt gefunden
werden konnten. Selbst wenn man sich mit einem Recall von etwa zufrieden geben
könnte, muß doch angemerkt werden, daß eine Precision von nur einfach zu wenig ist, um
die Ausgabe dieses Verfahrens sinnvoll nutzen zu können. Dies schließt jedoch nicht aus, daß die
Daten in Kombination mit anderen Features nicht doch zu befriedigenden Ergebnissen führen
könnten.
Abbildung 5.2 zeigt für die vier untersuchten Sprachdateien Pausen-Histogramme. Hierzu
wurde ermittelt, wie lange die Pausen vor den gefundenen, tatsächlichen Topic Beginnings sind.
Es fällt auf, daß es bei keinem der Sprecher einen Wert oder Wertebereich gibt, der besonders
hervorsticht. Dies macht es natürlich besonders schwierig, Topic Beginnings anhand der Pausenlänge
zu bestimmen. Interessant ist ebenfalls, daß sich selbst bei gleichem Sprecher sehr unterschiedliche
Häufigkeitsverteilungen ergeben (siehe Dateien: ga100_15m.aif und ga300_15m.aif).
Dies drückt sich auch in den unterschiedlichen Recall- und Precision-Werte für die entsprechenden
Vorträge aus.
Weiterhin fällt auf, daß die Zahl der False Alarms selbst bei einer Mindestpausendauer von
¢£¢ ¢
die Anzahl der Topic Beginnings weit übersteigt. Die Sprecher legen also sehr viel
öfter lange Pausen ein, als man sich im Idealfall wünschen würde. Der Idealfall wäre, daß ein
Sprecher nur dann lange
¢£¢ ¢
) Pausen einlegt, wenn er ein neues Topic beginnt und
einzelnen Sätzen eine Pause von etwa ¥
¢£¢ ¢
vorangehen läßt.
(¤
¢£¢