Der Portfolio-Ansatz in der Schülerbeurteilung der USA und seine ...

242
wenn man davon ausgeht, dass ein Korrelationskoeffizient von 0.7 für summative
Schülerbeurteilungen als Minimum betrachtet wird (Novak, Herman & Gearhart,
1996, S. 12).
Reliabilitätsstudien des American College Testing (ACT)
Im Rahmen ihres Projektes zur Entwicklung von nationalen Portfolios in den Fächern
Sprache, Mathematik und Naturwissenschaft erforschte das American College Testing
(ACT) auch die Reliabilität der Ergebnisse ihres Portfolio-Ansatzes. In einer ersten
Studie für das Schuljahr 1994−95 (Wolfe, 1996b) wurden jeweils über 400 Portfolios
pro Fach von zwei verschiedenen, fachlich qualifizierten und geschulten Korrektoren
unabhängig voneinander mit Hilfe einer 6 Punkte-Skala bewertet. Zur Bestimmung der
Reliabilität wurden wie zuvor bei Novak, Herman und Gearhart (1996) die Korrektorenübereinstimmung
in Prozent (interrater reliability), die Korrelation zwischen den
Ergebnissen der Korrektoren (correlations between raters) und die Verallgemeinerungskoeffizienten
(generalizability coefficients) berechnet. Die Analysen von Wolfe
(1996b, S. 7−14) führten zu folgenden Ergebnissen:
• Für das Sprach-Portfolio reichte die Bandbreite für die perfekte Übereinstimmung
der Korrektoren je nach Kategorie (work sample description; vgl. Abschnitt
3.2.4.1.1) des Portfolio-Eintrags von 34 % bis 61 %. Abweichungen von mehr als
einem Punkt waren selten (7 % bis 16 %), d.h. zu 80 % und mehr unterschieden
sich die Bewertungen der Korrektoren um nicht mehr als 1 Punkt. Die Korrelationskoeffizienten
bewegten sich zwischen 0.47 bis 0.79 je nach Kategorie des
Portfolio-Eintrags, was eine durchschnittliche Interrater-Korrelation von 0.66 ergab.
Der durchschnittliche Generalisierungskoeffizient lag bei einem Wert von 0.73.
• Für das Mathematik-Portfolio lag die perfekte Übereinstimmung der Korrektoren je
nach Kategorie des Portfolio-Eintrags zwischen 43 % bis 91 %. Abweichungen um
mehr als einen Punkt waren bis auf zwei Ausnahmen (17 % bzw. 20 % mehr als 1
Punkt Unterschied) selten (0 % bis 12 %). Die Korrelationskoeffizienten reichten
von 0.46 bis 0.96, was zu einer durchschnittlichen Interrater-Korrelation von 0.62
führte. Der durchschnittliche Generalisierungskoeffizient entsprach einem Wert von
0.33.
• Für das Naturwissenschafts-Portfolio zeigte sich die perfekte Übereinstimmung
zwischen den Korrektoren je nach Kategorie der Portfolio-Inhalte in 33 % bis 64 %
aller Fälle. Unterschiede in der Bewertung um mehr als einen Punkt waren selten
und entsprachen 2 % bis 13 % der Fälle in einer Inhaltskategorie. Überraschend
fielen die Korrelationsberechnungen aus, wo die Interrater-Korrelation von -0.04
bis zu 0.55 reichte, so dass ein Durchschnitt von 0.44 entstand. Als durchschnittlicher
Generalisierungskoeffizient konnte ein Wert von 0.31 ermittelt werden.
Wolfe (1996b, S. 15) kam aufgrund dieser Resultate zum Schluss, dass nur gerade die
Reliabilitätswerte des Sprach-Portfolios angemessen hoch ausgefallen seien, während
sowohl für das Portfolio in der Mathematik und insbesondere für dasjenige in der
Naturwissenschaft die Werte nicht befriedigten. Die mangelnde Reliabilität der Portfolio-Ergebnisse
führte Wolfe (1996b, S. 15−16) auf die Tatsache zurück, dass sich in
den Bewertungen der Portfolios keine für die Reliabilitätsberechnungen brauchbare
Streuung eingestellt hatte. Er begründete dies erstens damit, dass die Bewertungs-