Evaluation und Evaluationsforschung - Universität Bremen

Weitere Magazine

Empfehlungen

Info

Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste Die Intervention des evaluationsunterstützten Projektes muss also im besten Falle einer wissenschaftlich fundierten Wirkungsprognose folgen, die das Evaluationssystem dann ebenso professionell im Projektverlauf abzubilden versucht. Dies könnte man aus amerikanischpragmatischer Sicht in Anlehnung an Rossi / Freeman / Lipsey (1999, zuerst 1985) die "Theoretische Wende" in der Evaluationsforschung nennen (s.a. Chen 1999; Bamberg 2000). Evaluation wird zu einem von mehreren wichtigen Serviceprozessen für das Entwicklungsprojekt. Ich schlage deshalb aus der europäischen, eher theorielastigen Position vor, die konzeptionelle Koppelung zwischen Projekt und Evaluation einer "Systemischen Wende" der Evaluationsforschung zuzuschreiben. Die obige Abbildung versucht, die Verschränkung und Parallelität der beiden Hälften erfolgversprechender Evaluationsprojekte zu veranschaulichen. Die hier skizzierte Systemverschränkung setzt allerdings mehr als nur konzeptionelle Anknüpfungspunkte voraus, nämlich die Fähigkeit zur strukturellen Koppelung auf beiden Systemseiten voraus – dazu später mehr. In der systemischen Evaluationsforschung oder – bezogen auf Schule – der "Systemischen Schulbegleitforschung" (Carle 2002) folgen Struktur und Methodik der Evaluationsstudie dem Sinn, der Struktur und der Methodik des Gestaltungsprojektes. Das Evaluationssystem muss also das Wirkungsmodell des Entwicklungssystems "verstanden" haben. Somit sind sozialwissenschaftliche Forschungsmethoden für erfolgreiche Evaluation nur eine notwendige, bei weitem aber keine hinreichende Bedingung. Hinzu kommt, dass die Art und Weise der Evaluationskommunikation für den Wissensgewinn und den Lernerfolg der Gestaltenden eine nicht minder wichtige Rolle spielt – zur schriftlichen Gestaltung von Evaluations-Exposees, - Berichten und –Artikeln siehe Isaac / Michael 1997, 237 ff). Felderfahrung und fundierte theoretische Feldmodellierung einschließlich der Feldsprachenbeherrschung bilden also mindestens ebenso wichtige Erfolgsbedingungen wie die Kenntnis sozialwissenschaftlicher Erhebungsmethoden –zur Methodik später mehr in Kapitel 4.3. 1.2 Zur Annäherung von Entwicklungsprojekt und Evaluationssystem Auch die Väter der amerikanischen Evaluationsforschung Donald T. Campbell (1988), Michael Scriven (Donaldson / Scriven (Eds.) 2003), Lee J. Cronbach, Daniel L. Stufflebeam (Stufflebeam / Madaus / Kellaghan) 2001) Peter F. Rossi (Rossi / Freeman / Lipsey 1999), Ernest R. House 6 (1999) und andere unterstreichen alle die "dienende" Funktion der Evaluation (Evaluationsforschung als Serviceprozess für den Kernprozess der Systemgestaltung) und die Notwendigkeit der paradigmatischen Verwandtschaft zwischen Gestaltungsprojektansatz und Evaluationsansatz. Nicht verwandt sind beispielsweise ein schulisches Entwicklungsprojekt, z.B. der Versuch einer Einbeziehung der Eltern in die pädagogisch-didaktische Arbeit der Schule und ein behördliches Testvorhaben zur Ermittlung der Schülerleistungen. Paradigmatische Verwandtschaft läge vor, wenn die Behörde das Projekt der Schule durch ein Unterstützungssystem fördern will und den gesamten Entwicklungsverlauf mittels einer begleitenden Evaluation erfassen und dokumentieren will. Was beide dann trotz dieser Projektsympathie im Detail unterscheidet ist die Arbeits- und Forschungsmethodik sowie der "Fachdialekt", zumindest so lange bis die Gestaltung der Projekte – wie es Patton (1998) nennen würde – von der "Evaluationskultur" durchdrungen ist, bis also Evaluationsforschungskompetenz ein integraler Bestandteil der Systemgestaltungskompetenz geworden ist. Erst wenn eine ausreichende Evaluationskompetenz im Entwicklungssystem selbst ausgebildet ist und wenn diese in die Planung und Gestaltung des Ent- 6 Prof. House, School of Education, University of Colorado, Boulder ist vielleicht der kompetenteste Kenner der Evaluationsforschung im schulischen Bildungssektor weltweit camz2003evaluation_service.docx Seite 8 von 38
Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste wicklungsprojektes als integraler Bestandteil verankert ist, kann die fruchtbringende strukturelle Koppelung zum Evaluationssystem gelingen. Die folgende Abbildung bietet zur schematischen Einschätzung der Evaluationskompetenz und der Feldkompetenz auf Seiten des Entwicklungssystems wie. des Evaluationssystems einen ersten Überblick. In den USA und den angelsächsischen Ländern ist die Evaluation von Bildungseinrichtungen bereits eine zunehmend alltägliche Praxis. Die 'Organisation für wirtschaftliche Zusammenarbeit und Entwicklung', die OECD (Organization for Economic Cooperation and Development) forciert die weltweite Verbreitung dieser institutionellen Bewertungspraxis. Dem liegt die Annahme zugrunde, dass sich nationale Bildungssysteme ohne Messen und Bewerten nicht verbessern lassen – die Ergebnisse der PISA 2000-Studie bestätigen diese Auffassung im Großen und Ganzen (Baumert, Jürgen (Hrsg.) 2001: PISA 2000), auch wenn es sich hierbei nicht um eine Evaluationsstudie, sondern allenfalls um ein Systemmonitoring im Sinne "vergleichender Leistungsmessung" (Baumert 2002; BMBWK 2000) handelt, denn es fehlt das Gestaltungsprojekt. Abbildung 4: Stufenschema zur Entwicklung struktureller Koppelungsfähigkeit zwischen Evaluationsprofession und Entwicklungsfeld Inzwischen hat sich weltweit eine veritable Profession der EvaluatorInnen und der sie empirisch tragenden Evaluationsforschung etabliert. Wobei der Begriff der Evaluationsforschung cum grano salis in vier Wortbedeutungen gebraucht wird – im Sinne einer Methodologie (Forschung über Forschung), im Sinne einer Methodik (Verfahren und Regeln der Evaluationsforschung), im Sinne einer methodisch orientierten Praxis (Evaluationsagenturen mit feldspezifischen Anwendungserfahrungen) und schließlich im Sinne der konkreten Evaluationsstudien selbst: Forschung über Evaluation (Methodologie der Evaluation, Metaevaluation, z.B. Widmer 1996) camz2003evaluation_service.docx Seite 9 von 38
Seite 1 und 2: Ursula Carle / Heinz Metzen (2003):
Seite 3 und 4: Ursula Carle / Heinz Metzen Evaluat
Seite 7: hoch innovative und trotzdem gesich

Evaluation und Evaluationsforschung - Universität Bremen

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?