Stadtfeld, Tobias (2013) - Sprachwissenschaftliches Institut - Ruhr ...

3.3: Durchführung und erste Ergebnisse der Annotation 35
aller als Substantiv kategorisierter Lemmata aus dem Korpus extrahiert. Als
Substantiv wurde hierbei jedes Wort gewertet, dass sowohl vom TreeTagger als auch
vom Regression-forest-Tagger als reguläres Nomen identifiziert wurde und
entsprechend mit dem POS-Tag NN bzw. N versehen wurde. Aus dieser Menge aller
potenziellen Kandidaten für eine Annotation wurden zufällig 10.000 Substantive mit
einem Mindestvorkommen in der NZZ von mehr als zehn gewählt.
Zwar besitzen beide Tagger die Fähigkeit, Eigennamen zu erkennen, jedoch
geschieht dies nicht fehlerfrei, sodass in der erstellten Liste eine gewisse Menge
Eigennamen zu erwarten sind.
Die vier für die Annotation ausgewählten Annotatoren wurden in zwei Teams je
zwei Personen aufgeteilt. Jedes Teammitglied eines Teams erhielt jeweils die gleichen
5.000 Substantive, d. h. Lemmata zur Annotation, um Abweichungen in der
Annotation einzelner Substantive später zu identifizieren und entsprechend
analysieren zu können. Die Annotatoren, allesamt Muttersprachler des Deutschen,
sollten die ihnen zugeteilten 5.000 Substantive innerhalb einer einfachen Textdatei
möglichst autonom annotieren. Rücksprachen bezüglich der mutmaßlichen
Zählbarkeit einzelner Lemmata mit weiteren Annotatoren waren untersagt.
Die Annotatoren waren nicht ausschließlich an die Verwendung der von Allan
definierten Testumgebungen beziehungsweise an die jeweiligen deutschen Versionen
dieser Testumgebungen gebunden. Stattdessen konnten auch
konzeptuelle/semantische Kriterien in die Bestimmung der Zählbarkeit einzelner
Lemmata einfließen, sofern es der Annotator im Einzelfall für angemessen erachtete.
Ferner war es dem Annotator gestattet eine Internetrecherche für Substantive zu
starten, um im Zweifelsfall ein besseres Sprachverständnis für diese zu erhalten.
Strikte Richtlinien, an die sich die Annotatoren im Fall von widersprüchlichen
Zählbarkeitsklassen hätten halten können, gab es zu diesem Zeitpunkt nicht.
Annotiert wurden die bereits genannten Klassen zählbar, Dual-Life, nur-Plural
und nicht-zählbar. Zusätzlich konnten die Annotatoren Eigennamen und
fremdsprachliches Material als solches markieren (POS-Tags: NE, FM). Sofern ein
Annotator keine Entscheidung bezüglich der Zählbarkeitsklasse treffen konnte, wurde
das jeweilige Lemma mit einem entsprechenden Tag (?) versehen.
Wenn möglich sollten die Annotatoren mutmaßlich polyseme und/oder homonyme
Substantive zusätzlich markieren. Dies stellte sich jedoch bereits nach kurzer Zeit als
nicht durchführbar heraus, da entsprechende Ambiguitäten erst in konkret gegebenen
Kontexten ersichtlich werden, die aber den Annotatoren zum Zeitpunkt der
Annotation nicht zur Verfügung standen. Des Weiteren stellt sich die Frage, inwieweit
gewisse Lesarten eines ambigen Substantivs überhaupt im Korpus auftreten und
somit die Ergebnisse beeinflussen würden. Würde ein Kontext zur Verfügung gestellt