Evaluation und Evaluationsforschung - Universität Bremen

Weitere Magazine

Empfehlungen

Info

Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste hältnis zu den Trägerinteressen oder die Trägerinteressen in Bezug auf die Politikinteressen. Zielführungs- und Unterstützungssysteme einschließlich der Evaluation können diese Interessendifferenzen intelligent nutzen. Dafür steht unsere Formel von der Integration von interner und externer Evaluation. Diese Integration von interner und externer Evaluation auf den wichtigsten Strukturebenen von Sozialprojekten lässt sich anhand eines kybernetischen Mehrebenenmodells theoretisch und praktisch erläutern. Dieses soziologische Mehrebenenmodell 11 geht davon aus, dass sich jede Entwicklung in einer mitgestaltenden Umgebung ("Ökosystem") vollzieht und umgekehrt bezieht sich jede selbstgesteuerte Entwicklung auf diese mitwirkenden Umfelder. Abbildung 6: Mehrebenenmodell der Verbindung von interner und externer Evaluation In der o. a. Abbildung modellieren die inneren Regelkreise die ebenenspezifische „interne Evaluation“ 12 und die äußeren Verbindungslinien zwischen den Ebenen die „externe Evaluation“. Extern bezieht sich dabei auf die Rechenschaft der jeweiligen Strukturebene gegenüber der ihr übergeordneten Strukturebene - im Beispiel etwa die Kindergarten-Ebene gegenüber dem lokalen Träger. Diese Ebenen können zusammengefasst oder auch differenziert werden. Wichtig ist alleine die Bedeutsamkeit der evaluierenden / evaluierten Ebenen für den interessierenden Entwicklungsprozess. Die interne Evaluation dient der Selbstvergewisserung der Ebenen-Akteure, die externe Evaluation der Beratung der Zielvereinbarungserreichung. Die Evaluationsziele leiten sich aus den Zielvereinbarungen zwischen den Ebenen ab. Durch diese 11 Das sozialogische Mehrebenenmodell sollte nicht verwechselt werden mit der statistischen Mehrebenenanalyse. Die statistische Mehrebenenanalyse (engl. Multilevel Analysis; Multilevel Modelling), auch "Hierarchisch Lineare Modellierung" (engl. Hierarchical Linear Modeling) bezeichnet, gehört zu den multivariaten statistischen Verfahren zur statistischen Analyse hierarchisch gruppierter Daten ("Clustern" wie Familien, Berufsgruppen, Kindergartengruppen etc.). In der empirischen Sozialforschung dient sie zum Herausrechnen von Gruppierungseffekten auf das individuelle Verhalten (z. B. Bildungsstand, soziökonomische Schicht, Arbeitslosigkeit etc.). Ein Paradebeispiel für dieses Herausrechnen soziaökonomischer Hintergrunddaten aus den Lernerfolgsdaten in Kindergarten und Schule bietet die englische Längsschnittstudie "Effective Provision of Pre-school Education Project (EPPE)" (Sylva et al. 2001); zur Einführung siehe Ditton 1998; ders. 2002. 12 „Interne Evaluation ist der in unserem Evaluationskontext treffendere Ausdruck für „Selbstevaluation“; siehe hierzu DeGEVal 2002 (Standardsadaptation zur Selbstevalution, Buhren / Killus, / Müller 1998, Burkard 1999. camz2003evaluation_service.docx Seite 24 von 38
Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste evaluativen Verknüpfungen und Separierungen gewinnen die "Kunden" der Evaluation auf den verschiedenen Strukturebenen ein Eigeninteresse an der Konzertierung (Abstimmung und Ko-Produktion) von Entwicklungsprozessen, Projektmanagement und Evaluationen. Zurück zur Evaluationsmethodik: Aus welchem Schatz an Erhebungsmethoden man dann im konkreten Fall schöpft und welches Erhebungsdesign jeweils zur Geltung kommt ergibt sich aus dem Studium grundlegender Methodenbücher (etwa Kromrey 1990 oder Lamnek 1995), aus der Lektüre evaluationsbezogener Methodenbücher (etwa Isaac / Michael 1997; Bortz / Döring 2002; Widmer 1996), aus bereichsspezifischen Anwendungsdokumentationen (etwa Bamberg u.a. 2000, Beywl u.a. Hrsg. 2001; Carle 2002; Demorgon u.a. 2001; Heiner Hrsg. 1998; Knox 2002, Reischmann 2003; Stockmann 2000 etc.) und natürlich aus der eigenen reichen Anwendungserfahrung – der eigentlichen Profession von EvaluatorInnen. Diese Andeutungen mögen ausreichen zur weiteren Vertiefung in die Probleme der Erhebungslogik explorativer und sozialwissenschaftlicher Studien in der Evaluationsforschung. Wichtig bei der Auswahl und / oder Entwicklung geeigneter Erhebungsinstrumente ist die Spezifität für die Strukturebenen einerseits wie auch die jeweiligen Evaluationskunden besonders interessierenden Tätigkeitsebenen der Entwicklungsprojekte. Die folgende Abbildung aus dem pädagogischen Bereich gibt eine übliche Unterscheidung der zentralen Handlungsregulationsmomente in eine Normenebene, eine Strukturebene und eine Operationsebene („Ausführungsweisen). Abbildung 7: Drei Ebenen der Methodo-Logie der Evaluationsforschung Welche Veränderungen auf welcher Ebene besonders betrachtet werden, hängt nicht nur vom Interesse der Evaluationskunden ab, sondern auch von der Entwicklungszeit, die erfasst werden kann und soll. Die schnellsten Veränderungen sind auf der operativen Ebene feststellbar. Veränderungen auf der strukturellen Ebene bedürfen in Bildungseinrichtungen - je nach Strukturebene - Monate bis Jahre. Auf der übergeordneten normativen Ebene braucht es sogar Generationen für nachhaltige und signifikante Veränderungen. Diese Überlegungen fließen in die Methoden- und Instrumentenwahl ein. - Das war früher einfacher: Am Anfang der Evaluation stand ja das Gutachten, das seinerseits einem von „Oben“ vorgegebenen Bewertungsmo- camz2003evaluation_service.docx Seite 25 von 38
Seite 1 und 2: Ursula Carle / Heinz Metzen (2003):
Seite 3 und 4: Ursula Carle / Heinz Metzen Evaluat
Seite 7 und 8: hoch innovative und trotzdem gesich
Seite 23: Ursula Carle / Heinz Metzen Evaluat

Evaluation und Evaluationsforschung - Universität Bremen

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?