Stadtfeld, Tobias (2013) - Sprachwissenschaftliches Institut - Ruhr ...

42 Kapitel 3: Erste Annotationsiteration
So lässt sich zumindest teilweise die Menge von als Dual-Life und als nichtzählbar
klassifizierten Substantive erklären. Immerhin in ca. 13% aller abweichend
klassifizierten Fälle entschied sich ein Annotator dafür, dass ein Lemma nicht-zählbar
sei (Kuchen als Substanz konzeptualisiert), während ein zweiter Annotator zusätzlich
auch eine zählbare Lesart ausmachen konnte (Kuchen auch als Objekt
konzeptualisiert) und entsprechend das Substantiv als Dual-Life klassifizierte.
Es ist anzunehmen, dass in vielen dieser Fälle ein Annotator eine nicht-zählbare
Lesart vermutete, auf diese hin testete, und dies bei einem positiven Ausgang
entsprechend vermerkte. Sollte dieser Annotator unmittelbar zum nächsten zu
klassifizierenden Substantiv übergegangen sein, entging ihm/ihr womöglich die
zweite Lesart gänzlich, während sie einem zweiten Annotator durch Anwendung der
verbleibenden Testumgebungen offenkundig wurde.
Diese Fehlerquelle lässt sich, in der Theorie, durch die Anweisung zu jedem Test
auch das Ergebnis zu vermerken, leicht ausräumen. Dies führt in der Praxis jedoch zu
einer extremen Steigerung des Arbeitsaufwandes für die Annotatoren, da diese für
mutmaßlich „eindeutige“ Fälle nicht mehr den Annotationsprozess verkürzen können.
Diese vorgeschlagene Vorgehensweise wird aber wohl letztlich kaum vermeidbar
sein, da die erörterte Problematik nicht nur für die soeben genannte Paarung
abweichend klassifizierter Substantive verantwortlich ist. Stattdessen handelt es sich
hierbei um ein globales, d. h. ein alle Zählbarkeitsklassen betreffendes Problem und
könnte somit bei korrekter Handhabung zu generell weniger falschen
Klassifikationen führen.
Testet ein Annotator beispielsweise auf die allgemeine Pluralfähigkeit und die
Kompatibilität mit einem indefiniten Artikel, so könnte er schnell festhalten, dass
Kuchen zählbar sei. Nur wenn er auch die verbleibenden Tests durchführt, wird er
feststellen, dass Kuchen auch in für nicht-zählbare Substantive votierender Syntax
verwendet werden kann. Offenkundig ist eine Festschreibung von allgemeinen
Annotationsrichtlinien für die Zukunft daher durchaus ratsam.
3.4.5 Fehlerquelle 5: Substantive, die nicht ins Schema passen wollen
Während der Annotation wiesen die Annotatoren außerdem bereits darauf hin, dass
nicht alle Substantive optimal in das Schema der vier Zählbarkeitsklassen passen
würden. Die bereits in Kapitel 2 erwähnte Menge der Kollektiva wurde von Allan,
und somit auch in den Testumgebungen für das Deutsche, nicht berücksichtigt.
Während gewisse Kollektiva sich syntaktisch wie nicht-zählbare Substantive
verhalten, und den Tests nach Allan folgend als nicht-zählbar einzustufen sind,
äußerten die Annotatoren bereits während des Annotationsprozesses erste Zweifel an
der Richtigkeit dieser Entscheidung. Insbesondere die semantischen Kriterien der
Kumulativität, Distributivität und Homogenität standen nach Meinung der