Evaluation und Evaluationsforschung - Universität Bremen

Ursula Carle / Heinz Metzen
Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste
Die Intervention des evaluationsunterstützten Projektes muss also im besten Falle einer wissenschaftlich
fundierten Wirkungsprognose folgen, die das Evaluationssystem dann ebenso
professionell im Projektverlauf abzubilden versucht. Dies könnte man aus amerikanischpragmatischer
Sicht in Anlehnung an Rossi / Freeman / Lipsey (1999, zuerst 1985) die "Theoretische
Wende" in der Evaluationsforschung nennen (s.a. Chen 1999; Bamberg 2000). Evaluation
wird zu einem von mehreren wichtigen Serviceprozessen für das Entwicklungsprojekt.
Ich schlage deshalb aus der europäischen, eher theorielastigen Position vor, die konzeptionelle
Koppelung zwischen Projekt und Evaluation einer "Systemischen Wende" der Evaluationsforschung
zuzuschreiben. Die obige Abbildung versucht, die Verschränkung und Parallelität
der beiden Hälften erfolgversprechender Evaluationsprojekte zu veranschaulichen. Die hier
skizzierte Systemverschränkung setzt allerdings mehr als nur konzeptionelle Anknüpfungspunkte
voraus, nämlich die Fähigkeit zur strukturellen Koppelung auf beiden Systemseiten
voraus – dazu später mehr.
In der systemischen Evaluationsforschung oder – bezogen auf Schule – der "Systemischen
Schulbegleitforschung" (Carle 2002) folgen Struktur und Methodik der Evaluationsstudie
dem Sinn, der Struktur und der Methodik des Gestaltungsprojektes. Das Evaluationssystem
muss also das Wirkungsmodell des Entwicklungssystems "verstanden" haben. Somit sind
sozialwissenschaftliche Forschungsmethoden für erfolgreiche Evaluation nur eine notwendige,
bei weitem aber keine hinreichende Bedingung. Hinzu kommt, dass die Art und Weise der
Evaluationskommunikation für den Wissensgewinn und den Lernerfolg der Gestaltenden eine
nicht minder wichtige Rolle spielt – zur schriftlichen Gestaltung von Evaluations-Exposees, -
Berichten und –Artikeln siehe Isaac / Michael 1997, 237 ff). Felderfahrung und fundierte theoretische
Feldmodellierung einschließlich der Feldsprachenbeherrschung bilden also mindestens
ebenso wichtige Erfolgsbedingungen wie die Kenntnis sozialwissenschaftlicher Erhebungsmethoden
–zur Methodik später mehr in Kapitel 4.3.
1.2 Zur Annäherung von Entwicklungsprojekt und
Evaluationssystem
Auch die Väter der amerikanischen Evaluationsforschung Donald T. Campbell (1988), Michael
Scriven (Donaldson / Scriven (Eds.) 2003), Lee J. Cronbach, Daniel L. Stufflebeam
(Stufflebeam / Madaus / Kellaghan) 2001) Peter F. Rossi (Rossi / Freeman / Lipsey 1999),
Ernest R. House 6 (1999) und andere unterstreichen alle die "dienende" Funktion der Evaluation
(Evaluationsforschung als Serviceprozess für den Kernprozess der Systemgestaltung) und
die Notwendigkeit der paradigmatischen Verwandtschaft zwischen Gestaltungsprojektansatz
und Evaluationsansatz. Nicht verwandt sind beispielsweise ein schulisches Entwicklungsprojekt,
z.B. der Versuch einer Einbeziehung der Eltern in die pädagogisch-didaktische Arbeit
der Schule und ein behördliches Testvorhaben zur Ermittlung der Schülerleistungen. Paradigmatische
Verwandtschaft läge vor, wenn die Behörde das Projekt der Schule durch ein Unterstützungssystem
fördern will und den gesamten Entwicklungsverlauf mittels einer begleitenden
Evaluation erfassen und dokumentieren will.
Was beide dann trotz dieser Projektsympathie im Detail unterscheidet ist die Arbeits- und
Forschungsmethodik sowie der "Fachdialekt", zumindest so lange bis die Gestaltung der Projekte
– wie es Patton (1998) nennen würde – von der "Evaluationskultur" durchdrungen ist,
bis also Evaluationsforschungskompetenz ein integraler Bestandteil der Systemgestaltungskompetenz
geworden ist. Erst wenn eine ausreichende Evaluationskompetenz im Entwicklungssystem
selbst ausgebildet ist und wenn diese in die Planung und Gestaltung des Ent-
6 Prof. House, School of Education, University of Colorado, Boulder ist vielleicht der kompetenteste Kenner der
Evaluationsforschung im schulischen Bildungssektor weltweit
camz2003evaluation_service.docx Seite 8 von 38