Evaluation und Evaluationsforschung - Universität Bremen

Ursula Carle / Heinz Metzen
Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste
Die Verbreitung der erarbeiteten Produkte wirft viele Fragen auf: Wie müssen hilfreiche
Produkte aus den Schulversuchen gestaltet sein? Ist ein Tutorsystem erforderlich, um den
Einsatz in nichtbeteiligten Schulen zu stützen? Was kann getan werden, damit andere Schulen
das entwickelte Produkt annehmen ohne es unreflektiert rezepthaft zu übernehmen?
Wird die wissenschaftliche Begleitung folglich als formative Evaluation des gesamten
Entwicklungsprojektes in Verbindung mit einer simultanen Prozessgestaltung durchgeführt,
so hat das Auswirkungen auf die Erhebungsmethoden. Neben den üblichen qualitativen und
quantitativen Forschungsmethoden sind dafür vor allem neue komplexe Prozessgestaltungsund
-erhebungsmethoden erforderlich (vgl. Carle 2000, Kap. 10). Die Schulen sind bereits
ohne Begleitung mit der zusätzlichen Entwicklungsarbeit stark ausgelastet. Alle Methoden
müssen an den konkreten Fall angepasst werden, d.h. an die Ebene, auf der erhoben wird und
die aktuell drängende Entwicklungsaufgaben zu lösen sind – z.B. Intensität von Lernprozessen
der Kinder, Binnendifferenzierung im Unterricht, Kooperation im LehrerInnenteam, Zielplanung
im Kollegium, Kommunikation der Entwicklungen nach außen und innen etc. Aus
Modellversuchen in Schulen ist vor allem eines zu lernen, dass Reformen sehr viel bessere
Unterstützungssysteme benötigen, ehe an den Aufbau aufwändiger Evaluationssysteme zu
denken ist. Andererseits bleibt das Wissen von schulischen Entwicklungsprojekten ohne Evaluation
verborgen.
3 Die methodische Struktur und Strategie der Evaluation
und der Evaluationsforschung
Wie schon gesagt, verfügen die Evaluationsprofession und die Evaluationsforschung über
keine eigenen Methoden und Erhebungsinstrumente. Was das Evaluieren auszeichnet, ist ihr –
historisch gesehen (zur historischen Entwicklung siehe Stockmann 2000; Mertens 2000; Leeuw
2000) neuartiger Gegenstand, die handlungs- und entscheidungsunterstützende Informationsbeschaffung
in umfangreichen und deshalb ebenso komplexen (kontingenten) wie unübersichtlichen
Entwicklungsprojekten. Sinn des Evaluierens ist die Schaffung einer Informationsgrundlage
für expedetionale Projekte auf allen Ebenen der institutionellen Strukturleiter.
Die Strategie des Evaluierens folgt dieser Sinnstellung und geht ihrer Methodik voraus.
Es gibt inzwischen übergeordnete Handlungsprinzipien, der die Strategie eines konkreten
Evaluationssystems folgen kann, so die Programm-Evaluations-Standards des "Joint Committee
on Standards for Educational Evaluation" für Evaluationsvorhaben im Bildungsbereich,
wie sie von der Deutschen Gesellschaft für Evaluation (DeGEval) übersetzt und veröffentlicht
wurden (Joint Committee on Standards for Educational Evaluation / Sanders 1999). Danach
sollen Evaluationen vier grundlegende Eigenschaften aufweisen: Nützlichkeit - Durchführbarkeit
- Fairness 10 - Genauigkeit:
Nützlichkeits- (Utility) Standards: Die Nützlichkeitsstandards sollen sicherstellen,
dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf
der vorgesehenen Nutzer und Nutzerinnen ausrichtet.
Durchführbarkeits- (Feasibility) Standards: Die Durchführbarkeitsstandards sollen
sicherstellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst
geplant und ausgeführt wird.
10 Im englischen Original "Propriety" (Schicklichkeit, Anstand, Benehmen), im Handbuch der Evaluationsstandards
noch unkorrekt mit "Korrektheit" (Joint Committee… 1999, 7, in neueren Veröffentlichungen (siehe
DeGEval-URL: ) besser mit dem neudeutschen "Fairness"
übersetzt.
camz2003evaluation_service.docx Seite 18 von 38