Evaluation und Evaluationsforschung - Universität Bremen

Weitere Magazine

Empfehlungen

Info

Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste verläuft gute Evaluation? Im methodischen Detail folgen gute Evaluationsvorhaben folgen zumindest den folgenden fünf tätigkeitsspezifischen Logiken. Diese wurden - bis auf die erste - allesamt bei anderen und zum Teil etwas älteren Professionen als die Evaluation entwickelt und sind dort auch zu lernen (siehe die entsprechenden Literaturangaben): der inhaltlichen Programmlogik von Entwicklungsprojekten (z.B. Lee 2000) der zeitlichen Prozesslogik von Produkt- und Prozessentwicklungen (z.B. Bösenberg / Metzen 1997, 167 ff) der Erhebungslogik explorativer und sozialwissenschaftlicher Studien (z.B. Kromrey 1990) der Zielfindungs- und Entscheidungslogik von Entwicklungsprozessen (z.B. Wottowa / Thierau 1998, 83 ff) der Programmlogik umfangreicher Entwicklungsprojekte (z.B. Hobbs 2001) Bereits seit den frühen siebziger Jahren wurden in den USA versucht, ein Modell, eine Theorie dessen zu entwickeln, was Evaluation für das evaluierte System leistet (Mertens 2000). Das erste und populärste ist das "CIPP-Modell" von Stufflebeam u.a. 1971 (siehe die folgende Abbildung). CIPP-Prozessmodell der Evaluationsforschung Daniel L. Stufflebeam u a. (1971): Educational Evaluation and Decision Making Context-Evaluation Welchen Einfluss hat das Umfeld auf Verlauf und Ergebnis des Projektes? Input-Evaluation Was tragen die beteiligten Projektfaktoren zum Projektablauf und zu den Projektergebnissen bei? Process-Evaluation Was tragen die realen Prozessbedingungen zum Verlauf und Gelingen des Projektes bei? Product-Evaluation Wie werden die realen Ergebnisse gesichert und von Beteiligten wie Umfeld aufgenommen? Projekt-Rahmenbedingungen: Soziale, kulturelle, individuelle materielle und organisatorische Bedingungen im Projektumfeld , z.B. Erwartungen an, aber auch Leistungen für das Projekt, so etwa verfügbare Zeiten, Hilfsmittel, Unterstützung… Projekt-Ausgangssituation: Erwartungen an das Projekt und seine Zielstellungen, Teilnehmervoraussetzungen, technisch-organisatorischer Stand, Planungen, Medien, Inhalte… Projekt-Verlauf: („Formative Evaluation“) Verlaufs- und ergebnisrelevante Faktoren bzw. Entwicklungen, die erst im Verlauf des Vorhabens auftauchen – förderliche wie störende Projekt-Ergebnis: („Summative Evaluation“) Feststellung, Abschätzung, Zugänglichmachung bzw. Eindämmung und Sicherung kurz-, mittel- und langfristiger Wirkungen – erwarteten wie unerwarteten cipp_evaluationsprozess.ppt U. Carle 2002-12 Abbildung 5: CIPP-Evaluationsmodell der Wissensgenerierung in Entwicklungsprojekten von Stufflebeam u.a. 1971 Der Grundgedanke des CIPP-Modells der Evaluation, die Evaluationsarbeit entlang der Entwicklungsstufen des Projektes zu definieren - Context (Projektkontext), Input (Projektausgangsbedingungen), Process (Projektverlauf) und Product (Projektergebnisse und – wirkungen) - entspricht dem in den sechziger Jahren auch in den Sozialwissenschaften populären kybernetischen Modell der sozialen Systeme als Informationsverarbeitungsaggregate. camz2003evaluation_service.docx Seite 20 von 38
Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste Danach besteht Evaluation in einem kontinuierlichen Wissensverarbeitungsprozess, der Fragen und Probleme aufgreift, dazu Zahlen, Daten und Fakten erhebt und diese dann zu entscheidungsrelevanten Informationen für die ProjektgestalterInnen weiter verarbeitet (siehe Isaac / Michael 1997, 12 ff). Da das CIPP-Prozessmodell der Evaluation auch den "Standards" des Joint Committee zugrunde liegt, soll dessen kurze Darstellung hier genügen. Weitere Evaluationstheorien oder -modelle finden sich bei Isaac / Michael 1997, bei Lee und Caracelli im Stockmann-Band von 2000. Caracelli's Evaluationsmodell des "USA General Accounting Office (GAO)" weist einen etwas höheren Komplexitätsgrad als das CIPP-Modell auf (GAO… 1991; weitere GAO- Publikationen zum Evaluationsdesign siehe GAO… 2002). Für die Veranschaulichung der allgemeinen inhaltsbezogenen Programmlogik von Evaluation mag das CIPP-Modell genügen, zumal im weiteren Verlauf ein weiter führendes Evaluationsmodell entwickelt wird. Im Unterschied zum Prozessmodell der Evaluierung versuchen summative Evaluationen typischerweise, etwa die Wirkung eines mehrjährigen Schulversuches durch groß angelegte Vorher-Nachher-Massentests bei Schülern und/oder Befragungen bei Lehrern bzw. Eltern in einer großen Erhebung zu erfassen. Im Prinzip haben die PISA-Tests etwas von diesem Prinzip, wenn man (nicht ganz unberechtigt) unterstellt, dass sie die Ergebnisse der seit den frühen achtziger Jahren in vielen OECD-Ländern durchgeführten grundlegenden Schulreformen nun abschließend "auf die Waage" stellen (vergleiche dazu das Coverfoto auf Wottawa / Thierau 1998). Der Nachteil eines solchen Vorgehens liegt auf der Hand: Man erfährt nur das DASS und nie das WIE, was also bei welchem Land warum zu diesen abschließenden Ergebnissen geführt hat (dazu Carle 2000, 67 ff). Diesem Nachteil versucht das Konzept der formativen Evaluation gerecht zu werden, indem sie programmbegleitende Zwischenuntersuchungen durchführt, quasi portionierte phasen-summative Evaluationen. Das ergibt prozessnähere Zwischenbefunde und erlaubt so rechtzeitiges Nachsteuern und Korrigieren. Wie aber wird dann die Wirkung der Korrekturen im Verhältnis zu den ursprünglichen Zielen erhoben? Manche Autoren versuchen darauf eine planerische Antwort: Modellierung und Planung des Entwicklungsvorhabens müssen verbessert werden (so etwa bei Wottawa / Thierau 1998, 83 ff), Evaluation und Erhebung müssen projektspezifischer arbeiten. 3.2 Enwicklungsorientierte Evaluation Das Lernenwollen aus dem realen Projektverlauf wird dadurch zwar erheblich verbessert, aber auch erheblich verteuert: "Qualität hat eben ihren Preis!" Entwicklungen in der industriellen Projektgestaltung, Qualitätsverbesserung und Entwicklungsbeschleunigung (etwa Bösenberg / Metzen 1994) erbrachten zusammen gesehen einen völlig neuen Ansatz "systemischer Schulbegleitforschung". Dieser kombiniert eine angepasstere Erhebungsstrategie mit einer höheren Methodenflexibilität zu einem völlig neuen oder zu Ende gedachten Evaluationskonzept: Nicht mehr das Überprüfen der geplanten Zukunftsentwicklung steht im Vordergrund, sondern das Versorgen des Entwicklungssystems mit den notwendigen Bedingungsund Wirkungsinformationen. Diese Informationen über entwicklungsrelevante Bedingungsund Wirkungsmomente finden sich auf mindestens fünf verschränkten Gestaltungsebenen: Soziale Strukturebenen: individuell, kollektiv, organisatorisch, institutionell, regional, global Zeitliche Entwicklungsphasen (chronosystemische Ebenen): langfristig, mittelfristig, kurzfristig, situativ Regulative Handlungsebenen: kulturell-normativ, strukturell, operativ camz2003evaluation_service.docx Seite 21 von 38
Seite 1 und 2: Ursula Carle / Heinz Metzen (2003):
Seite 3 und 4: Ursula Carle / Heinz Metzen Evaluat
Seite 7 und 8: hoch innovative und trotzdem gesich
Seite 19: Ursula Carle / Heinz Metzen Evaluat

Evaluation und Evaluationsforschung - Universität Bremen

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?