Der Portfolio-Ansatz in der Schülerbeurteilung der USA und seine ...

238
hoch erschienen, blieben jene in Vermont unter dem akzeptablen Niveau. Umso interessanter
ist es daher, welche Resultate aus anderen Reliabilitätsstudien vorliegen.
Reliabilitätsstudien der Dallas Public Schools
Shapley und Pinto (1996) untersuchten für die im Schuljahr 1994−95 im Kindergarten
sowie in der 1. und 2. Klasse (1 st , 2 nd grade) erstellten Schreib-Portfolios die Übereinstimmung
der Bewertungen der Klassenlehrer mit jener von neutralen Beurteilern, die
als Lehrpersonen der Dallas Public Schools jedoch sowohl mit dem Portfolio-Prozess
vertraut und für die Portfolio-Beurteilung entsprechend ausgebildet und trainiert waren.
Aus ökonomischen Gründen konnten Shapley und Pinto (1996, S. 18) nur eine relativ
kleine Stichprobe von 45 Portfolios ihren Reliabilitätsuntersuchungen zugrunde
legen. Dies schränkt die Aussagekraft der Ergebnisse zwar ein, dennoch liessen sich
interessante Tendenzen erkennen. Für die Stufe Kindergarten konnte eine Übereinstimmung
zwischen den Bewertungen der Klassenlehrer und der neutralen Korrigierenden
von knapp 25 %, für die 1. und 2. Klasse noch 13 % bei leistungsstarken Lernenden
(English Proficient) und gar nur 6 % bei leistungsschwächeren Lernenden
(Limited English Proficient) festgestellt werden. Diese sehr tiefen Übereinstimmungswerte
erklärten sich gemäss Shapley und Pinto (1996, S. 20) einerseits aus der Tendenz
der Klassenlehrer, die Portfolios höher zu bewerten als die Zweitkorrektoren, andererseits
konnte für sehr viele Lernziele, welche die Portfolios abdecken sollten, gar
kein Übereinstimmungswert berechnet werden, weil entweder die Lehrpersonen das
entsprechende Lernziel nicht bewertet hatten oder aber sich die Zweitkorrektoren aufgrund
der Materialien im Portfolio ausserstande sahen, eine für den Vergleich nötige
Bewertung vorzunehmen. Letzteres ergab sich zum Einen, weil einzelne Lernziele
nicht oder nicht ausreichend dokumentiert wurden, zum Andern, weil die Zweitkorrektoren
schlicht keinen Zusammenhang zwischen den Lernzielen und den Portfolio-Inhalten
herstellen konnten. Es fehlten hier die notwendigen Erklärungen der Lehrpersonen.
Zu den wichtigsten Erkenntnissen der Reliabilitätsstudie von Shapely und Pinto
(1996) gehörte deshalb, dass trotz entsprechender Richtlinien für die Lehrpersonen die
Portfolios von den einzelnen Lehrpersonen so unterschiedlich umgesetzt wurden, dass
sinnvolle Reliabilitätsuntersuchungen grösstenteils verunmöglicht wurden. Nicht nur
die Reliabilitätsergebnisse, sondern auch die Grundlagen für diese Studie waren also
insgesamt höchst unbefriedigend.
Eine ausführlichere Reliabilitätsstudie führten Shapley und Bush (1999, S. 111−132)
für das im Schuljahr 1995−96 erstellte Sprach-Portfolio durch, bei der eine repräsentative
Stichprobe von insgesamt 150 Portfolios für die drei Schulstufen vom Kindergarten
bis zur 2. Klasse (2 nd grade) die Grundlage bildete. Wiederum wurde verglichen,
inwieweit die Bewertungen der Klassenlehrer mit jenen von Zweitkorrektoren
übereinstimmten. Zu diesem Zweck berechneten sie für jedes zu bewertende Lernziel
des Portfolios drei Grössen (Shapley & Pinto, 1999, S. 118): (1) die Abweichungen
bei den Mittelwerten, (2) die in Prozent ausgedrückte Übereinstimmung der Punktwerte
und (3) die Korrelation der Bewertungen. Die Berechnungen für diese drei Grössen
führten zu folgenden Ergebnissen:
• Die Resultate der Mittelwertsanalysen bestätigten die bereits zuvor festgestellte
Tendenz, dass Klassenlehrer, unabhängig auf welcher Schulstufe, die Portfolios
höher bewerten als neutrale Zweitkorrektoren. Die dabei festgestellten Unterschiede