Testwerkstatt: Alternative Aufgabentypen entwickeln

Weitere Magazine

Empfehlungen

Info

zwangsläufig einfache Aufgaben, wie die Ergebnisse des vorgestellten Tests zeigen. Mehrfachwahlaufgaben formulieren Bei der Formulierung von Mehrfachwahlaufgaben sind ein paar „Faustregeln“ zu beachten. Je mehr Antworten (Distraktoren) zur Wahl gestellt werden, desto geringer ist die Gefahr, dass die richtige Antwort nur durch Zufall angekreuzt wird. Im Test zu Schnitzlers „Krawatte“ wurden jeweils vier mögliche Antworten angeboten. Mit dieser Zahl erreicht man bereits eine recht geringe Zufallswahrscheinlichkeit. Gleichzeitig bleibt das Problem lösbar, die nötige Menge gleich plausibler Distraktoren zu formulieren. Grundsätzlich gilt, dass eine Mehrfachwahlaufgabe umso schwieriger zu lösen ist, je mehr sich die einzelnen Distraktoren ähneln. Liegen die Distraktoren weit auseinander, vereinfacht das die Aufgabe. Wichtig ist auch, dass die Distraktoren in derselben Kategorie liegen. Für Aufgabe 1 bedeutet das etwa, dass alle Distraktoren eine „Lehre“ formulieren müssen. Die Antwort „… welche Bedeutung die grüne Krawatte im Leben von Herrn Cleophas hat“ würde z. B. nicht in diese durch die einführende Frage festgelegte Kategorie passen. Aufgabe 1, die auf übergeordnetes Textverständnis zielt, wurde an den Anfang des Tests gestellt, um für die folgenden auf verschiedene Einzelaspekte bezogenen Fragen einen allgemeinen Verständnisrahmen vorzugeben, in den die Lernenden die Detailbeobachtungen einordnen können. Innerhalb des gesamten Tests ist die Position der richtigen Antworten von Aufgabe zu Aufgabe zu variieren. Schwierigkeiten einschätzen Ein Test sollte wenige sehr schwierige und sehr einfache Aufgaben und in der Mehrzahl Aufgaben mittleren Schwierigkeitsgrades enthalten. Dies ist erforderlich, damit die Ergebnisse aussagekräf- Deutschunterricht 5 / 2005 tig sind. Wenn nämlich sehr viele Aufgaben so einfach (schwierig) sind, dass alle (so gut wie keine) Teilnehmenden sie lösen können, schneiden alle annähernd gleich gut (schlecht) ab. Der Test lässt dann keine Rückschlüsse zu auf das tatsächliche Leistungsvermögen der einzelnen Lernenden. Um den Schwierigkeitsgrad einer Aufgabe zum Leseverstehen vorab theoretisch zu bestimmen, sind u. a. folgende Kriterien nützlich: ● bei Mehrfachwahlaufgaben: der Ähnlichkeitsgrad der Distraktoren (s. o.); ● die Anforderungen an das Vorwissen (speziell, komplex oder eher allgemein?); ● der Entscheidungsspielraum, den eine Aufgabe eröffnet (ist die Zahl der möglichen Antworten unbegrenzt – auf wenige reduziert – auf eine klar bestimmte Information beschränkt?); ● der geforderte Präzisionsgrad (detaillierte, fokussierende oder überfliegende Lektüre?); ● der notwendige Integrationsgrad (sind viele, voneinander entfernt liegende Informationen aus dem Text sinnvoll aufeinander zu beziehen oder wenige dicht beieinander liegende Informationen?). 5 Dabei ist das Zusammenspiel der genannten Einflussfaktoren zu be- rücksichtigen. So macht ein niedriger Entscheidungsspielraum eine Aufgabe noch nicht einfach, wenn z. B. der geforderte Integrationsgrad sehr hoch ist (s. Abb. 3). Aufg. Nr. Standardbezug geforderte vorab eingeschätzter (vgl. (vgl. Bildungs- Teilkompetenz Schwierigkeitsgrad Material- standards für den und Begründung seiten) Mittleren Schulabschluss) 2 wesentliche Elemente Textbezogenes mittel eines Textes erfassen: Interpretieren (Entscheidungsspielraum Konliktverlauf (S. 16) gering bis mittel, Präzisionsgrad mittel, Integrationsgrad hoch; weit auseinander liegende Distraktoren) 7 wesentliche Elemente Informationen mittel eines Textes erfassen: ermitteln (Entscheidungsspielraum Figuren (S. 16) gering bis mittel, Präzisionsgrad mittel bis hoch, Integrationsgrad gering; relativ ähnliche Distraktoren) 9 eigene Deutungen Reflektieren hoch des Textes <strong>entwickeln</strong>, und Bewerten (Entscheidungsspielraum am Text belegen (S. 17) hoch, Präzisionsgrad mittel, Integrationsgrad hoch) Abb. 3: Aufgaben aus dem Test zum Text von Schnitzler mit einer Einschätzung ihrer Schwierigkeit. 41
STANDARDS Testauswertung: Aufgaben überprüfen Wie sieht die tatsächliche Schwierigkeit der Aufgaben aus, gemessen an der Lösungswahrscheinlichkeit der jeweiligen Aufgabe? Bestimmt wird die Lösungswahrscheinlichkeit über den Mittelwert der aufgetretenen Aufgabenlösungen. Dazu wird pro Schüler und Aufgabe jeweils der Wert „1“ für gelöst, der Wert „0“ für nicht gelöst vergeben, bei den offenen Aufgaben „0,5“ für teilweise gelöst (vgl. Kasten mit Lösungserwartungen). Einfach ist die Berechnung mit Statistikprogrammen wie SPSS, doch auch die Berechnung mit Taschenrechner ist problemlos möglich (dazu pro Aufgabe die Summe der vergebenen Werte ermitteln und durch die Anzahl der Schüler dividieren, die die Aufgabe bearbeitet haben). 6 Abb. 4 zeigt die auf diese Weise bestimmten tatsächlichen Aufgabenschwierigkeiten des durchgeführten Tests 7 , für die Gesamtstichprobe und differenziert nach den Schularten der teilnehmenden Schüler. So sind die Aufgaben 1 (Lösungswahrscheinlichkeit 33,85%) und 9 (32,31%) insgesamt die schwierigsten Aufgaben im Test. Besonders hervorzuheben ist, dass Aufgabe 1 diesen Schwierigkeitsgrad trotz der Vorgabe von Antwortmöglichkeiten erreicht. Ungeeignete Aufgaben aufspüren Die ermittelten Lösungswahrscheinlichkeiten ermöglichen auch, untaugliche Aufgaben aufzuspüren. Für die am Test teilnehmenden Klassen – Spezialschüler, „Durchschnitts“-Gymnasiasten und Regelschüler – sind begründet verschiedene Leistungsniveaus anzunehmen. Die „normalen“ Gymnasiasten müssten die Aufgaben demnach häufiger lösen können als die Regelschüler, aber weniger häufig als die hochbegabten Spezialschüler. Verdächtig sind also zum einen Aufgaben, bei de- Mittel- Gesamt- Gymnasium Gymnasium Regelschule werte stichprobe ‚spezial’ ‚normal’ ‚Realschulzweig’ Aufgabe Nr. (n = 66) (n1 = 15) (n2 = 35) (n3 = 16) 1 ,3385 ,4667 ,4118 ,0625 2 ,7273 ,8667 ,7714 ,5000 3 ,5234 ,5333 ,6000 ,3214 4 ,8939 1,000 ,9429 ,6875 5 ,8030 1,000 ,8000 ,6250 6 ,4308 ,6667 ,4706 ,1250 7 ,6615 ,9333 ,6765 ,3750 8 ,6462 ,8667 ,6324 ,4688 9 ,3231 ,5000 ,3529 ,0938 10 ,7121 ,7667 ,7000 ,6875 Abb. 4: Bei einer systematischen Testauswertung geben die Mittelwerte der Testteilnehmer Auskunft über die Schwierigkeit der Aufgaben. Je niedriger der Wert, umso schwieriger ist die Aufgabe. 42 nen alle drei Gruppen (innerhalb einer Lerngruppe: leistungsstärkste und leistungsschwächste Lernende) in etwa gleich gut antworten. Solche Aufgaben differenzieren zu wenig und wurden deshalb aus dem Test entfernt. Ebenso misstrauisch zu betrachten sind Aufgaben, bei denen die Lernenden mit dem insgesamt besten Testergebnis deutlich schlechter abschneiden als die Lernenden mit dem insgesamt schlechtesten Testergebnis. Auch diese Aufgaben eignen sich offensichtlich nicht zur Feststellung des tatsächlichen Leistungsvermögens und müssen bei einer künftigen Verwendung des Test weggelassen oder modifiziert werden. Genauer zu prüfen sind schließlich auch Mehrfachwahlaufgaben, bei denen einzelne Distraktoren überhaupt nicht gewählt wurden. Diese Distraktoren sind für die Lernenden offenbar nicht hinreichend plausibel und müssen ggf. ersetzt oder verändert werden. Schlussfolgerungen für die Lernenden ziehen Wie lässt sich ein solcher Test für die weitere Unterrichtsplanung und die Förderung der Lernenden nutzen? Hierzu ist es nötig, die Ergebnisse noch etwas genauer zu betrachten und z. B. zu erheben, wie häufig welche Antwortmöglichkeiten gewählt wurden. Für die Aufgaben 5 und 7 ergibt sich dabei folgendes Bild: Sechs von sechzehn Regelschülern wählen Antwort 5a und 5b, ein Viertel der Regelschüler/innen kreuzt Antwort 7a an. Damit offenbaren diese Lernenden deutliche Defizite im Wortschatzwissen. „Gemein“ verstehen sie im Sinne von „fies“, „unangenehm“; „erlauben“ hat für sie mit „dürfen“ zu tun. Hier bestehen also allem Anschein nach ganz grundlegende Hürden für das Verstehen literarischer Texte. Eine Konsequenz aus dem Ergebnis könnte gezielte Wortschatzarbeit sein (Wortfelder bilden, Synonyme finden, mit Stilebenen experimentieren). Interessant ist auch die Beobachtung, dass die meisten Lernenden offensichtlich die eigene Lebenswirklichkeit mit der literarischen Wirklichkeit identifizieren. Nur so erklärt sich u. a., dass bei Aufgabe 1 die Antworten b, c und d für die Mehrzahl der Schülerinnen und Schüler wählbar waren. Diese Distraktoren bieten Antworten an, die verstärkt die eigenen Erfahrungen der Lernenden widerspiegeln. Die Ergebnisse zu Aufgabe 10 stützen gleichfalls die angeführte These. Diese Aufgabe konnte unabhängig von der Wahl der Antwortmöglichkeit a oder b gelöst werden. Maßgeblich war die Qualität der Begründung (vgl. Kasten). Die meisten Teilnehmenden entschieden sich für Antwort a. Diejenigen, die a gewählt haben, begründen diese Wahl zum Deutschunterricht 5 / 2005
Seite 1: Foto: Lutz Pape STANDARDS Viele ken
Seite 5 und 6: 44 LEISTUNGSMESSUNG I COPY Deutschu
Seite 7: 5 5 10 15 20 25 30 35 LEICHT ODER S

Testwerkstatt: Alternative Aufgabentypen entwickeln

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?