Evaluation und Evaluationsforschung - Universität Bremen

Ursula Carle / Heinz Metzen
Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste
Diese evaluationsspezifische Methodenstruktur soll mit Blick auf ein hierzu entwickelndes
systemisches Evaluationsverständnis im weiteren Verlauf dieser Abhandlungen noch um weitere
Methoden und Instrumente erweitert werden. Dieses neue Evaluationsparadigma hat dabei
noch eher prognostischen Charakter als dass es die gängige Praxis der Profession wider
gibt. Insofern aber Prognosen niemals "richtig" sein können, sie aber trotzdem die Entwicklung
dessen beeinflussen, was sie vorhersagen, ist die hier folgende Diskussion eines systemisch-evolutionären
Evaluationskonzeptes vor allem das Bekenntnis zu einem für Schulentwicklung
besonders zukunftsträchtigen Entwicklungsparadigma.
Die obige Abbildung "Stellenwert der Evaluationsforschung im Evaluationsprozess"
zeigt die Gewichtsverhältnisse zwischen realem (Schul-) Gestaltungsprojekt – auf welcher
Strukturebene auch immer – und der sozialwissenschaftlichen Begleitforschung. Im Kern jeder
Evaluation geht es um die Schaffung eines phasenspezifisches Prozessmonitoring-
Systems: Klärung der Zielstellung => Ableitung von Indikatoren => Auswahl und Entwicklung
von Erhebungsinstrumenten => Planung, Gestaltung und Durchführung entsprechender
Erhebungen => Auswertung der Befunde => Interpretation der Ergebnisse => Kommunikation
der Schlussfolgerungen und Initiierung bzw. Bereicherung eines strategischen Diskurses
im Gestaltungsfeld.
Das sich bereits in der obigen Abbildung andeutende Evaluationsverständnis von einer
Evaluationsforschung als tertiärem (drittrangigem) Serviceprozess hebt sich deutlich aus dem
breiten Feld der augenblicklich publizierten und ventilierten Begriffsverwendungen zwischen
Schülerbeurteilung und Weltbildungsbericht ab. Die Differenzen im Wortgebrauch kommen
nicht von Ungefähr und sind auch nicht auf eine typisch deutsche Evaluationsfeindlichkeit zurück
zu führen. Vielmehr gibt es auch im angelsächsischen pädagogischen Kontext zwei,
mittlerweile völlig verschiedene Begriffskontexte mit dem Namen "Evaluation".
Auf der einen Seite steht der alte Begriff Evaluation-1 mit der Bedeutung "schulische
Leistungsbewertung" – angewandt auf Schüler, Lehrer, gar ganze Schulen (das, was PISA
2000 maß). Dieser Evaluationsbegriff ist retrospektiv. Entsprechende Studien ermitteln mit
punktuellen Erhebungen einen Indikator für zurück liegende Leistungsveränderungen (Längsschnitt).
Sie lassen im Querschnitt Leistungsvergleiche zwischen unterschiedlichen Systemen
zu. Die zugrunde liegende testtheoretisch fundierte Messmethodik ist international hoch entwickelt
und technisch so weit standardisiert, dass großflächiger Einsatz möglich ist. Die Aussagefähigkeit
solcher Untersuchungen lässt sich also statistisch gut absichern. Sie hängt jedoch
außerdem wesentlich davon ab, was der Indikator sicher repräsentiert, d. h. davon, in
wie weit das der Testkonstruktion zugrunde liegende Wirkfaktorenmodell die realen Zusammenhänge
abbildet.
Auf der anderen Seite steht der (historisch gesehen) neue Begriff der sozialwissenschaftlichen
Evaluation(-2), Evaluationsforschung oder Systementwicklungsevaluation – das
"Joint Committee on Standards for Educational Evaluation" nennt seine diesbezüglichen
Standards auch "Program Evaluation" (zur Unterscheidung von "Student Evaluation") als ein
professionelles Verfahren und Wissensmanagementsystem zur informativen Versorgung von
Unterstützungssystemen für umfassende (Um-) Gestaltungsprojekte ("Programs") sozialer
Systeme. Hierbei handelt es sich um prozessnahe, meist prozessbegleitende Forschung. Ziel
ist die Arbeit an einer systematischen Verbesserung des Lernens, Unterrichtens, Schule Gestaltens
oder einer konkreten Erneuerung im Bildungswesen. In größeren sozialen Systemen
kann Evaluation-2 und Unterstützung nicht von ein und derselben Person geleistet werden.
Daher ist Systementwicklungsevaluation deutlicher auf Kooperation angewiesen als Evaluation
mit Testcharakter.
Was sich als Trend bei der sozialwissenschaftlichen Evaluation abzeichnet, nämlich die
konstruktive Zielrichtung, Evaluationen vor allem zur informativen Unterstützung systematischer
Entwicklungen einzusetzen, gewinnt auch für die schulische Leistungsbewertung zu-
camz2003evaluation_service.docx Seite 3 von 38