Stadtfeld, Tobias (2013) - Sprachwissenschaftliches Institut - Ruhr ...

38 Kapitel 3: Erste Annotationsiteration
In diesem Abschnitt soll daher eine Analyse und Diskussion der Probleme und
Fragen stattfinden, die während der Annotation auftraten. Hierbei ist die erhaltene
Rückmeldung der Annotatoren von größter Bedeutung. Zusätzlich erscheint auch eine
statistische Betrachtung der am häufigsten abweichend annotierten
Zählbarkeitsklassen-Paare sinnvoll.
Generell kann festgehalten werden, dass die Annotatoren die Bestimmung der
Zählbarkeitsklasse keineswegs als trivial einstuften. Bereits in der Annotationsphase
gab es Rückmeldung zu schwierig zu bewertenden Testkontexten und
möglicherweise im Widerspruch stehenden Testergebnissen.
Aufgrund fehlender Richtlinien konnten diese Widersprüche von jedem Annotator
auf die eine oder andere Art behandelt werden, was (unter anderem) zu den
beobachteten Differenzen in der zugewiesenen Zählbarkeit eines Substantivs zweier
Annotatoren führte.
Tabelle 5 zeigt die Häufigkeit abweichender Annotationen von zwei Annotatoren je
aufgetretenen Zählbarkeitsklassen-Paarungen.
Paarung
Häufigkeit
zählbar/nicht-zählbar 625 (33%)
zählbar/Dual-Life 608 (32%)
Dual-Life/nicht-zählbar 249 (13%)
zählbar/nur-Plural 9 (0%)
nur-Plural/nicht-zählbar 9 (0%)
Dual-Life/nur-Plural 0 (0%)
Sonstiges (?/FM/NE) 408 (21%)
∑ 1908 (100%)
Tabelle 5: Abweichend annotierte Zählbarkeitsklassen-Paarungen
Auffällig ist, dass die Klasse der nur im Plural auftretenden Substantive offenbar gut
von anderen Zählbarkeitsklassen unterscheidbar ist, was sich in der sehr geringen
Häufigkeit entsprechender Paarungen dieser Klasse mit anderen Zählbarkeitsklassen
zeigt. Die über 400 Fälle von Substantiven, die von mindestens einem Annotator als
unbekannt, fremdsprachliches Material oder aber als Eigennamen annotiert wurden,
bieten zunächst nur wenig Informationsgewinn.
Wesentlich hilfreicher und interessanter ist dagegen ein Blick auf die Paarungen
der zählbaren, nicht-zählbaren und Dual-Life-Substantive in Hinblick auf die Frage,
warum Annotatoren diese jeweils unterschiedlich einstuften. Im Folgenden sollen die
als systematisch einzustufenden Fehlerquellen näher untersucht werden.
3.4.1 Fehlerquelle 1: Plural ist nicht gleich Plural
Ein Drittel aller abweichenden Klassifizierungen treten in der Paarung der zählbaren