Evaluation und Evaluationsforschung - Universität Bremen

Weitere Magazine

Empfehlungen

Info

Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste Michael 1997, 13; Campbell 1969 und 1988), ist aber aus heutiger Sicht nur noch ein notwendiger, keineswegs hinreichender Teilaspekt von Evaluation. Zweitens: Die Evaluationsforschung kennt keine eigenen Erhebungsmethoden. Spezifisch hingegen ist ihr historisch entwickelter Anwendungsbereich, Handlungs- und entscheidungsunterstützende Informationsbeschaffung in umfangreichen und deshalb ebenso komplexen (kontingenten) wie unübersichtlichen Entwicklungsprojekten bzw. –programmen und die dazu passende Methodenvielfalt und Methodenstruktur (zur Geschichte: Stockmann 2000; Mertens 2000; Leeuw 2000). Das Besondere an der Evaluationsforschung ist daher vor allem die anwendungsorientierte Felderfahrung der ForscherInnen und die Routine in der Zuordnung von Problemstellungen zu Instrumenten. Letztere zählen zig bis hunderte Varianten und finden sich in allen gängigen Methodenlehrbüchern für Pädagogen, Ökonomen, Soziologen, Politologen und Ethologen. Dort findet sich auch das grundsätzliche Wissensgenerierungs- und –überprüfungsmuster von Thematisierung, Problemeingrenzung, Fragestellung, Wirkungsmodellierung, Indikatorenbildung, Erhebung, Auswertung, Interpretation, erneuter Thematisierung und allen in dieser Kette möglichen kleinen und großen Zwischenschleifen, Sprüngen und Wiederholungen (z.B. Kromrey 1990; Bortz / Döring 2002). 1 Entwicklungslinien der Evaluation Die folgenden Überlegungen sind insoweit auch methodischer Natur, als sie die zukünftige Entwicklung der grundsätzlichen Vorgehensweise (Methode = lat.-gr. "Weg oder Gang einer Untersuchung…") von Evaluationen im Bildungsbereich zu skizzieren versuchen, dabei aber weniger die einzelne Erhebungsform und das zugehörige Erhebungsinstrument im Blick haben als die gesamte Vorgehensstruktur und -logik. Diese Bemerkung ist an dieser Stelle wichtig, weil Evaluation keine "eigenen" Forschungsmethoden besitzt, Evaluationsforschung also das Methodenrepertoire der Sozialwissenschaften nutzt. Evaluationsforschung als tertiärer Serviceprozess Entwicklungsprojekt Kernprozess Unterstützungssystem Evaluationssystem Evaluationsforschung 3. Serviceprozess 2. Serviceprozess 1. Serviceprozess Kompetenzüberschuss des Forschungssystems Kompetenzüberschuss des Evaluationssystems Kompetenzüberschuss des Unterstützungssystems evaluation_als_service.ppt U. Carle 2002-12 Abbildung 1: Stellenwert der Evaluationsforschung im Evaluationsprozess camz2003evaluation_service.docx Seite 2 von 38
Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste Diese evaluationsspezifische Methodenstruktur soll mit Blick auf ein hierzu entwickelndes systemisches Evaluationsverständnis im weiteren Verlauf dieser Abhandlungen noch um weitere Methoden und Instrumente erweitert werden. Dieses neue Evaluationsparadigma hat dabei noch eher prognostischen Charakter als dass es die gängige Praxis der Profession wider gibt. Insofern aber Prognosen niemals "richtig" sein können, sie aber trotzdem die Entwicklung dessen beeinflussen, was sie vorhersagen, ist die hier folgende Diskussion eines systemisch-evolutionären Evaluationskonzeptes vor allem das Bekenntnis zu einem für Schulentwicklung besonders zukunftsträchtigen Entwicklungsparadigma. Die obige Abbildung "Stellenwert der Evaluationsforschung im Evaluationsprozess" zeigt die Gewichtsverhältnisse zwischen realem (Schul-) Gestaltungsprojekt – auf welcher Strukturebene auch immer – und der sozialwissenschaftlichen Begleitforschung. Im Kern jeder Evaluation geht es um die Schaffung eines phasenspezifisches Prozessmonitoring- Systems: Klärung der Zielstellung => Ableitung von Indikatoren => Auswahl und Entwicklung von Erhebungsinstrumenten => Planung, Gestaltung und Durchführung entsprechender Erhebungen => Auswertung der Befunde => Interpretation der Ergebnisse => Kommunikation der Schlussfolgerungen und Initiierung bzw. Bereicherung eines strategischen Diskurses im Gestaltungsfeld. Das sich bereits in der obigen Abbildung andeutende Evaluationsverständnis von einer Evaluationsforschung als tertiärem (drittrangigem) Serviceprozess hebt sich deutlich aus dem breiten Feld der augenblicklich publizierten und ventilierten Begriffsverwendungen zwischen Schülerbeurteilung und Weltbildungsbericht ab. Die Differenzen im Wortgebrauch kommen nicht von Ungefähr und sind auch nicht auf eine typisch deutsche Evaluationsfeindlichkeit zurück zu führen. Vielmehr gibt es auch im angelsächsischen pädagogischen Kontext zwei, mittlerweile völlig verschiedene Begriffskontexte mit dem Namen "Evaluation". Auf der einen Seite steht der alte Begriff Evaluation-1 mit der Bedeutung "schulische Leistungsbewertung" – angewandt auf Schüler, Lehrer, gar ganze Schulen (das, was PISA 2000 maß). Dieser Evaluationsbegriff ist retrospektiv. Entsprechende Studien ermitteln mit punktuellen Erhebungen einen Indikator für zurück liegende Leistungsveränderungen (Längsschnitt). Sie lassen im Querschnitt Leistungsvergleiche zwischen unterschiedlichen Systemen zu. Die zugrunde liegende testtheoretisch fundierte Messmethodik ist international hoch entwickelt und technisch so weit standardisiert, dass großflächiger Einsatz möglich ist. Die Aussagefähigkeit solcher Untersuchungen lässt sich also statistisch gut absichern. Sie hängt jedoch außerdem wesentlich davon ab, was der Indikator sicher repräsentiert, d. h. davon, in wie weit das der Testkonstruktion zugrunde liegende Wirkfaktorenmodell die realen Zusammenhänge abbildet. Auf der anderen Seite steht der (historisch gesehen) neue Begriff der sozialwissenschaftlichen Evaluation(-2), Evaluationsforschung oder Systementwicklungsevaluation – das "Joint Committee on Standards for Educational Evaluation" nennt seine diesbezüglichen Standards auch "Program Evaluation" (zur Unterscheidung von "Student Evaluation") als ein professionelles Verfahren und Wissensmanagementsystem zur informativen Versorgung von Unterstützungssystemen für umfassende (Um-) Gestaltungsprojekte ("Programs") sozialer Systeme. Hierbei handelt es sich um prozessnahe, meist prozessbegleitende Forschung. Ziel ist die Arbeit an einer systematischen Verbesserung des Lernens, Unterrichtens, Schule Gestaltens oder einer konkreten Erneuerung im Bildungswesen. In größeren sozialen Systemen kann Evaluation-2 und Unterstützung nicht von ein und derselben Person geleistet werden. Daher ist Systementwicklungsevaluation deutlicher auf Kooperation angewiesen als Evaluation mit Testcharakter. Was sich als Trend bei der sozialwissenschaftlichen Evaluation abzeichnet, nämlich die konstruktive Zielrichtung, Evaluationen vor allem zur informativen Unterstützung systematischer Entwicklungen einzusetzen, gewinnt auch für die schulische Leistungsbewertung zu- camz2003evaluation_service.docx Seite 3 von 38
Seite 1: Ursula Carle / Heinz Metzen (2003):
Seite 5 und 6: Ursula Carle / Heinz Metzen Evaluat
Seite 7 und 8: hoch innovative und trotzdem gesich

Evaluation und Evaluationsforschung - Universität Bremen

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?