Jürgen Dick - Lehrstuhl Algorithmen & Datenstrukturen, Institut für ...

Kapitel 5
Evaluation
Im vorgangehenden Kapitel wurden Verfahren vorgestellt, mit deren Hilfe eine automatische
Segmentierung einer Sprachdatei vorgenommen werden soll. Das Resultat dieser Segmentierung
soll eine Folge von Zeigern in diese Sprachdatei sein, die den zeitlichen Beginn eines inhaltlichen
Zusammenhangs anzeigen. Beispiel:
Start (Sek.)
0.00
4.84
35.69
53.95
.
Hier schließt sich die Frage an, wie die Ausgaben der einzelnen Verfahren hinsichtlich ihrer
Treffsicherheit bewertet werden sollen. Dazu muß man sich zunächst überlegen, zu welcher
Referenz die Ergebnisse der Segmentierungsverfahren verglichen werden sollen und wie fein
die Referenzsegmentierung sein soll.
Granularität der Segmentierung
Der zweite Punkt soll kurz an einem Beispiel verdeutlicht werden. Angenommen, der Autor eines
Vortrages hat eine Unterteilung in vier Kapitel vorgesehen, die sich weiter untergliedern lassen.
Nun stellt sich die Frage, bis zu welcher Tiefe (Segment-Level) der auftretenden Gliederungshierarchie
(discourse structure) evaluiert werden soll. Tabelle 5.1 zeigt ein Beispiel für eine
grobe und eine feine Segmentierung. Auf den ersten Blick könnte man denken, daß die grobe
Segmentierung leichter zu erreichen sei, als die feine Segmentierung, da weniger Items zu detektieren
sind. Dem ist aber nicht so, da die Algorithmen nicht zwischen Kapitel, Abschnitt und Absatz
unterscheiden können. Dies hängt damit zusammen, daß keine Information darüber vorliegt,
85