Der Portfolio-Ansatz in der Schülerbeurteilung der USA und seine ...

40
2.3.2.3.2 Gütekriterium Zuverlässigkeit (Reliabilität)
Ausgangspunkt für die Konzeption des Gütekriteriums Zuverlässigkeit (Reliabilität) ist
die Vorstellung (siehe z.B. AERA, APA & NCME, 1999, S. 25; Feldt & Brennan,
1989, S. 105), dass idealerweise eine wiederholt durchgeführte Schülerbeurteilung
sowohl für jeden einzelnen Lerner als auch für die Gruppe der Lernenden stets zu denselben
Ergebnissen führt. Denn nur dann ist sichergestellt, dass die Ergebnisse der
Schülerbeurteilung nicht ein Zufallsprodukt darstellen und dass deshalb den Interpretationen
vertraut werden kann, die auf diesen Ergebnissen beruhen, und dass sie
auch für verschiedene gleichartige Situationen wie auch für einen bestimmten zeitlichen
Horizont verallgemeinert werden dürfen (siehe AERA, APA & NCME, 1999,
S. 27). In der Realität zeigt sich aber, dass jede Schülerbeurteilung unabhängig von der
gewählten Erfassungsmethode bei wiederholter Durchführung zu Ergebnissen führt,
die von Durchführung zu Durchführung mehr oder weniger stark voneinander abweichen
(AERA, APA & NCME, 1999, S. 25; Traub & Rowley, 1994, S. 171). Es ist
deshalb nicht eindeutig feststellbar, welches der vorliegenden Ergebnisse das Richtige
ist, also das Lernen bzw. den Lernfortschritt am besten wiedergibt. Dementsprechend
entsteht eine Unsicherheit, wie vertrauenswürdig die auf solchen Ergebnissen beruhenden
Interpretationen tatsächlich sind und wie weit sie auch verallgemeinert werden
dürfen. Diese Unsicherheit lässt sich jedoch um so mehr reduzieren, je geringer die
Unterschiede zwischen den Ergebnissen der wiederholt durchgeführten Schülerbeurteilungen
sind, d.h. das Vertrauen in die Interpretation der Ergebnisse und ihre Verallgemeinerung
steigt, wenn sich die Abweichungen der Ergebnisse in einer möglichst
engen Bandbreite bewegen (Traub & Rowley, 1994, S. 171). Das Gütekriterium Zuverlässigkeit
(Reliabilität) informiert nun genau darüber, wie gross bzw. wie gering die
Abweichungen der Ergebnisse sind, wenn eine Schülerbeurteilung ein- oder mehrmals
wiederholt würde. Es gibt Auskunft über das Mass an Konsistenz bzw. Stabilität, über
das die Ergebnisse der Schülerbeurteilung verfügen, die zu verschiedenen Zeitpunkten
oder unter verschiedenen gleichartigen Bedingungen entstanden sind (AERA, APA &
NCME, 1999, S. 25; Feldt & Brennan, 1994, S. 105). Konkret handelt es sich beim
Gütekriterium Zuverlässigkeit (Reliabilität) um eine Schätzung des Messfehlers, mit
dem die Ergebnisse der Schülerbeurteilung behaftet sind. Hinter dem Begriff „Messfehler“
verbergen sich alle denkbaren zufälligen und damit unvorhersehbaren Einflüsse,
welche dafür verantwortlich sind, dass das ermittelte Messergebnis vom „Wahren
Messwert“ 9 abweicht (Feldt & Brennan, 1989, S. 105; siehe auch AERA, APA &
NCME, 1999, S. 26–27). Nach Hanna (1993, S. 423–427) existieren bei der Schülerbeurteilung
vier Hauptquellen für derartige Messfehler (siehe auch AERA, APA &
NCME, 1999, S. 26–27; Feldt & Brennan, 1989, S. 107–108):
(1) Messfehler aufgrund der Aufgabenzusammenstellung
Da in den wenigsten Fällen ein Fachgebiet umfassend geprüft werden kann, wird
eine möglichst repräsentative Stichprobe an Aufgaben zusammengestellt. Selbst
9 Die Vorstellung vom „Wahren Messwert“ beruht dabei auf der Annahme, dass das messbare Verhalten einer
Person bzw. Personengruppe zumindest über eine bestimmte Zeit hinweg relativ stabil ist, so dass sich durch
wiederholte gleichartige Messungen Verhaltenskonstanten feststellen lassen (siehe hierzu ausführlich und
kritisch Meier, 1994). Mathematisch ausgedrückt entspricht der „Wahre Messwert“ dem hypothetischen
Durchschnittswert, der sich aus der mehrfachen Durchführung einer Messung ergibt (Traub & Rowley, 1994,
S. 173–175).