Jürgen Dick - Lehrstuhl Algorithmen & Datenstrukturen, Institut für ...

5.1. MESSGRÖSSEN 87
5.1 Messgrößen
Gliederung Überschrift Startzeitpunkt
innerhalb der
Audiodatei
1. Begrüßung 0:00,00
2. Einleitung 0:08,92
3. Gliederung 0:30,41
3.1. Problemformulierung 0:36,47
3.2. Konfigurationsraum 0:45,12
3.3. Einfaches Problem 0:58,63
3.4. Minkowski-Summen 1:14,70
3.4.1. Eigenschaft von Minkowski-S. 1:28,43
3.5. Problemlösung 1:46,62
4. Problemstellung 2:05,89
4.1. Veranschaulichung 2:24,02
4.2. Beispiel 2:45,04
. . .
Tabelle 5.2: Auszug aus einer manuellen Segmentierung
In der Einleitung zu diesem Kapitel wurde erläutert, wie die Referenzdaten für die Evaluation
zustande kommen. Es ist aber noch nicht klar, was und wie gemessen werden soll. Die manuell
erstellte Segmentierung eines Vortrages liefert, wie die Tabelle 5.2 zeigt, eine Liste von Zeitpunkten,
die einem Beginn eines Topics (engl.: Topic Beginning) entsprechen. Die untersuchten
Verfahren sollen diese Zeitpunkte nun möglichst genau aus der Sprachdatei extrahieren. Dabei
sollen sie nicht nur möglichst viele dieser Topic Beginnings finden, sondern auch so wenig wie
möglich falsche Alarme (engl.: False Alarms) auslösen. Dies führt zu den Begriffen Recall und
Precision.
Recall und Precision
Eine erste Definition dieser Begriffe könnte wie folgt sein: Der Recall liefert ein Maß für die
Trefferhäufigkeit des Verfahrens; je mehr der Topic Beginnings erkannt werden, umso höher ist
der Wert für den Recall. Die Precision zeigt die Genauigkeit des Verfahrens an. Je weniger False
Alarms das Verfahren produziert, umso höher ist der Wert für die Precision. Es ist sehr wichtig
beide Metriken zu berechnen, wie folgendes Beispiel zeigt: Ein Segmentierungsverfahren findet
alle Satzanfänge und identifiziert alle Sätze als Topic Beginnings. Es erreicht damit einen Recall
¢ ¢§¤
von ; allerdings ist dann die Precision sehr niedrig, da auch Satzanfänge gefunden werden,
die nicht einer Segmentgrenze entsprechen. Findet das Verfahren nur genau ein tatsächliches
Topic Beginning und erzeugt keine False Alarms, so erhält man zwar eine Precision
¢£¢§¤
von ,
jedoch einen sehr niedrigen Recall.