Stadtfeld, Tobias (2013) - Sprachwissenschaftliches Institut - Ruhr ...

36 Kapitel 3: Erste Annotationsiteration
werden, beispielsweise in Form einer Liste der Sätze, in denen das Substantiv im
Korpus aufgetaucht ist, wäre dennoch nicht sichergestellt, dass alle Lesarten eines
ambigen Substantivs auch in Erscheinung treten.
Das ambige Wort Bank ist ein gutes Beispiel für ein als homonym zu annotierendes
Wort, sind doch beide Lesarten mit hoher Wahrscheinlichkeit in einer Tageszeitung
zu finden. Wirklich zwingend notwendig ist die Beachtung dieser Ambiguität jedoch
nicht, da beide Lesarten die gleiche Zählbarkeitsklasse erhalten sollten (zählbar). Wie
verhält es sich jedoch mit Wetter, dass nicht nur die örtlichen Wetterverhältnisse
bezeichnet (nicht-zählbar), sondern auch die in einem Bergwerk befindlichen Gase
benennt und ausschließlich im Plural verwendet wird (nur-Plural)? Letztere Lesart
dürfte verschwindend gering in einer Tageszeitung zu beobachten sein und somit
nicht zwingend eine Kennzeichnung als ambig und des Weiteren eine daraus
resultierende gesonderte Behandlung bei der Auswertung erfordern.
Diese Problemstellung wäre unter Verwendung eines bereits bestehenden Lexikons
mit detaillierten Unterscheidungen einzelner Lesarten von Substantiven in seiner
Komplexität abzumildern. Es standen zum Zeitpunkt der Annotation jedoch keine
entsprechenden Lexika zur Verfügung, wodurch mögliche Abweichungen in der
Zählbarkeit von Substantiven, die aufgrund unterschiedlicher Lesarten auftreten
können, als generell zu erwartendes Rauschen bei der Annotation hinzunehmen sind.
Der erste Analyseschritt nach Abschluss der Annotationsphase, ist
naheliegenderweise die Betrachtung übereinstimmender und abweichender
Annotationen zwischen den Teammitgliedern bezüglich der zugewiesenen
Zählbarkeitsklasse. Tabelle 3 zeigt hierzu die jeweiligen Werte für beide Teams.
Übereinstimmende
Annotationen
Abweichende
Annotationen
Team 1 4183 (84%) 817 (16%)
Team 2 3909 (78%) 1091 (12%)
∑ 8092 (81%) 1908 (19%)
Tabelle 3: Übereinstimmung der Annotationen je Annotatoren-Team
Im Mittel stimmten die Annotatoren in ihrer zugewiesenen Zählbarkeitsklasse in 81%
aller zu annotierenden Fälle überein, wobei eine Übereinstimmung natürlich nicht
zwangsläufig auch als korrekte Annotation zu betrachten ist. Die verbleibenden 19%
umfassen nicht nur Abweichungen in der zugewiesenen Zählbarkeitsklasse, sondern
auch diejenigen Fälle, in denen ein Annotator das Substantiv nicht klassifizieren
konnte, es als Eigenname oder fremdsprachliches Material markierte während der
zweite Annotator eine reguläre Klasse festhielt.
Die in Tabelle 4 dargestellten Häufigkeiten zeigen die Verteilung der zugewiesenen