Evaluation und Evaluationsforschung - Universität Bremen

Weitere Magazine

Empfehlungen

Info

Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste Planungssichere Gestaltungshorizonte: Grobentwicklung plus phasenweise Feinentwicklung („Simultaneous Engineering) Kontinuierliche Im-Prozess Verbesserungen Evaluation als professionelle informatorische Begleitung von sich planmäßig verändernden sozialen Systemen gibt im Prozess der Umgestaltung Hinweise auf entwicklungsrelevante Veränderungen und deren Bedingungen. Dazu bedarf es eines systemadäquaten Ziel-, Wirkungs-, Handlungs- und Indikatorenmodells (zur Strukturperspektive sozialer Organisationen siehe Carle 2000, 339 ff). Diese Modelle und die zugehörigen Indikatoren variieren mit der Handlungsebene und mit der Entwicklungsperspektive. Die Ausarbeitung eines Modell- und Indikatorensystems für die gesamte Entwicklungsphase eines Veränderungsprojektes setzt erstens voraus, dass man bereits alle Entwicklungsmomente und –bedingungen kennt (dann aber wäre es kein Entwicklungs- sondern ein Produktionsprogramm) und es verlangt zweitens einen immensen Planungs- und Programmierungsaufwand. 3.2.1 Planungs- und Projektsteuerungskonsequenzen Kluge Entwicklungsplanung und –begleitung geht einen anderen, ökonomischeren und lernoffeneren Weg der hierarchisch-sequentiellen Planung (Carle 2000, 418 ff). Zuerst wird das übergeordnete Entwicklungsziel skizziert. Dabei sollten durchaus sehr ehrgeizige Ziele gesetzt werden, damit durch diese apriori Ausweitung des Zielhorizontes später unerwartet auftauchende Zusatzwirkungen verortet werden können. Entsprechend dieser übergeordneten, langfristigen, qualitativ definierten Ziele werden grobe Indikatoren formuliert – quasi das Basismodell der summativen Systementwicklungsevaluation. Detaillierter geplant wird im Hinblick auf die übergeordneten Ziele die erste überschaubare Entwicklungsphase. Hierfür können nun realistische strategische Ziel-, Wirkungs-, Handlungs- und Indikatorenmodelle ausgearbeitet werden. Die Möglichkeiten zur realistischen Planung dieser Phase definieren die Entwicklungsspanne, nicht abstrakte Zeitziele. Für diese erste Phase werden nun die detaillierten Entwicklungsbedingungen erhoben und erst auf dieser Basis die detaillierten Entwicklungsarbeiten und Evaluationsmaßnahmen geplant. Zu den vorgesehenen Indikatoren werden die passenden Erhebungsinstrumente ausgesucht bzw. entwickelt sowie ein Nutzenbestimmungs- und Entscheidungsmodell für die Handlungskonsequenzen aus erwartete bzw. unerwartete Befunde ("Bewertungsmodell"). Die Planung der jeweils folgenden Phase erfolgt dann, wenn genügend phasenspezifisches Systemwissen vorhanden ist. Dieses Wissen über die nächste Phase wird parallel zur Durchführung der vorherigen Phase erhoben. Denkbar ist sogar die zeitweise Parallelität von Gestaltung (Phase X), Planung (Phase X+1) und Grundlagenerhebung (Phase X+2). Es ergibt sich also eine simultan-sequentielle Planung und Evaluierung – quasi als Basismodell für die formative Systementwicklungsevaluation. Die Ergebnisse der jeweiligen Phase werden auf die übergeordnete Zielstellung bezogen, denn die Gesamtzielstellung der Phasen hängt ja vor allem am übergeordneten Entwicklungsziel. So ergibt sich eine phasenweise zunehmende Klarheit über die Gesamtentwicklung und die Entwicklungsdetails (zu weiteren Einzelheiten dieses "Simultaneous Engineering" siehe Bösenberg / Metzen 1994, 167 ff). Der ökonomische Effekt dieses phasenweisen Planens und Handelns ergibt sich daraus, dass nur das detailliert werden muss, was in naher Zukunft realisierbar und notwendig erscheint. Diese Art der Planung ist nicht nur weniger teuer, sondern sogar produktiv, da die Teilevaluationen sich auf die Dinge konzentrieren kann, die für das Entwicklungsvorhaben besonders relevant sind. Aus evaluatorischer Sicht hat dieses hierarchisch-sequentielle Vorgehen einen weiteren Vorteil: Gegenüber den häufig sehr teuren und aufwändigen Großevaluationen leiden "Kurzevaluationen", also einfachere und kleinere Evaluationen (Widmer / Rothmayr / Serdült 1996) - bei allen Handhabungsvorteilen, die sie haben – vor allem an unzu- camz2003evaluation_service.docx Seite 22 von 38
Ursula Carle / Heinz Metzen Evaluationsforschung: Entwicklungsservice statt Werkzeugkiste reichenden Informations- und Entscheidungsgrundlagen. Die phasenbezogenen (Kurz-) Evaluationen unterliegen durch ihren Bezug auf das übergeordnete Entwicklungsvorhaben unter dieser Beschränkung nicht. Entwicklungen leben ja vom Unerwarteten. Dieses äußert sich in der Regel nicht in großartigen Glücksgriffen oder schwerwiegenden Entwicklungshemmnissen, sondern tauchen zumeist – wie die Spitze eines Eisberges – in winzigen Abweichungen oder Problemen bei der alltäglichen Entwicklungsarbeit auf. Was aber unterscheidet ein unbekanntes aber relevantes Entwicklungsmoment aber von einer zufälligen Abweichung? Erst die längerfristige Weiterentwicklung! Auf die kann aber nicht gewartet werden, da sonst eine Vielzahl von zusätzlichen Varianten mit entwickelt und beobachtet werden müssten. Hier hilft nur die situative Minievaluation, eine erste Schnellerhebung, die ihre methodische Rechtfertigung nur aus dem Bezug zur Phasenzielstellung und dem korrespondierenden Nutzenmessungs- und Entscheidungsmodell erhält. Eine Minievaluation kann auch plötzlich auftauchende Handlungs- und Entscheidungsschwierigkeiten der Entwicklungsarbeiter lösen helfen. Dieses quasi spontane Eingehen auf alltägliche Entwicklungsprobleme ist allerdings nur dann sinnvoll, wenn das Entwicklungsvorhaben auch der grundsätzlichen Strategie der "Kontinuierlichen Verbesserung" folgt (siehe Bösenberg / Metzen 1994, 108 ff), wenn also jede Möglichkeit des Lernens in einer Optimierung der Arbeitsbedingungen und einer Verbreiterung der Wissensbasis aller Beteiligten im Entwicklungsprojekt mündet. Soweit zur neuen zeitlichen Prozesslogik des Entwickelns und Evaluierens, die ein sehr viel ökonomischeres und flexibleres methodisches Vorgehen ermöglicht und damit erst eine erfolgsförderliche Unterstützung des Entwicklungsvorhabens durch das Evaluationssystem erlaubt. Evaluation folgt damit einer professionellen Entwicklung wie sie sich im industriellen Qualitätsmanagement vollzog: Weg von der aufwendigen und teuren Prüfung am Ende der Leistungskette ("Qualitätssicherung") und hin zur produktiven und kreativen Integration der ständigen Qualitätsverbesserung in den Leistungsprozess ("Total Quality Management") – siehe Bösenberg / Metzen 1995, 153 ff. Die Energie zum Wandel weht aus Richtung der vitalen Eigeninteressen. Es ist also falsch, diese Egoismen hinter der Mauer eines vordergründigen Gemeininteresses zu sperren. Energetisch sinnvoller ist es, die in einem großen Entwicklungsvorhaben divergierenden Akteursinteressen zu konzertieren. Institutionelle Reformen unterscheiden zwischen vertikalen Strukturebenen und horizontale verteilten Subsystemen auf einer Strukturebene. Ein Beispiel für die Spezifität der vertikalen Ebeneninteressen sind etwa die Einrichtungsinteressen im Verhältnis zu den Trägerinteressen oder die Trägerinteressen in Bezug auf die Politikinteressen. Zielführungs- und Unterstützungssysteme einschließlich der Evaluation können diese Interessendifferenzen intelligent nutzen. Dafür steht unsere Formel von der Integration von interner und externer Evaluation. Diese Integration von interner und externer Evaluation auf den wichtigsten Strukturebenen von Sozialprojekten lässt sich anhand eines kybernetischen Mehrebenenmodells theoretisch und praktisch erläutern. Dieses Mehrebenenmodell geht davon aus, dass sich jede Entwicklung in einer mitgestaltenden Umgebung ("Ökosystem") vollzieht und umgekehrt bezieht sich jede selbstgesteuerte Entwicklung auf diese mitwirkenden Umfelder. 3.2.2 Methodische Konsequenzen Die Energie zum Wandel weht aus Richtung der vitalen Eigeninteressen. Es ist also falsch, diese Egoismen hinter der Mauer eines vordergründigen Gemeininteresses zu sperren. Energetisch sinnvoller ist es, die in einem gro0en Entwicklungsvorhaben divergierenden Akteursinteressen zu konzertieren. Institutionelle Reformen unterscheiden zwischen vertikalen Strukturebenen und horizontale verteilten Subsystemen auf einer Strukturebene. Ein Beispiel für die Spezifität der vertikalen Ebeneninteressen sind etwa die Einrichtungsinteressen im Ver- camz2003evaluation_service.docx Seite 23 von 38
Seite 1 und 2: Ursula Carle / Heinz Metzen (2003):
Seite 3 und 4: Ursula Carle / Heinz Metzen Evaluat
Seite 7 und 8: hoch innovative und trotzdem gesich
Seite 21: Ursula Carle / Heinz Metzen Evaluat

Evaluation und Evaluationsforschung - Universität Bremen

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

Template löschen?

Als Template speichern?