Jürgen Dick - Lehrstuhl Algorithmen & Datenstrukturen, Institut für ...

88 KAPITEL 5. EVALUATION
Topic Beginning PBS EDBS
(Sek.) (Sek.) Emphasis Zeitpunkt
0:00,00 0:00,00 0 0s
0 1s
0 2s
0:03,45 0:03,45 1 3s
2 4s
0:05,78 0 5s
1 6s
0 7s
0:08,92 0:08,92 0 8s
4 9s
5 10s
Tabelle 5.3: Beispielhafte Gegenüberstellung von tatsächlichem Topic Beginning und den Ausgaben der
Segmentierungsverfahren
Formal werden Recall und Precision in Anlehnung an [35] wie folgt definiert:
Definition 5.1 Die Trefferhäufigkeit (Recall) und Genauigkeit (Precision) eines Segmentierungsverfahrens
sind durch
© ¡ ¢ ¡ ¡ ¡
¡
¡
¡
©
¡
¡
gegeben, wobei ¡ die Anzahl der Treffer (Hits),
Beginnings (Misses) und
Problemfälle bei der Interpretation der Ausgaben
(5.1)
¨
(5.2)
die Anzahl der nicht gefunden Topic
die Anzahl der falschen Alarme (False Alarms) repräsentieren.
¨
Aus der Definition 5.1 ist noch nicht klar ersichtlich, wie Hits, Misses und False Alarms definiert
sind. Diese Begriffe sollen in Abhängigkeit des Verfahrens definiert werden. Grund hierfür sind
die verschiedenen Ausgaben der Algorithmen. PBS gibt beispielsweise seine Ergebnisse in Form
von exakten Zeitpunkten aus, die mit Wort- bzw. Satzgrenzen zusammenfallen. Das zweite Verfahren,
EDBS, welches auf der Detektion von Betonungen basiert, liefert eher grobe Information
über den Zeitpunkt.
Anhand eines kleinen Beispiels (siehe Tabelle 5.3) soll dies verdeutlicht werden. Das PBS-
Verfahren liefert in diesem Beispiel drei Hits und einen False Alarm. Bei diesem Verfahren
kommt es nicht zu Schwierigkeiten bei der Interpretation der Ausgabe, da die ausgegebenen
Zeitmarken zu Wort- beziehungsweise Satzgrenzen korrespondieren. Das EDBS-Verfahren zeigt