Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

118 Axel Borrmann & Reinhard Stockmann
Evaluation vor große Herausforderungen. Deshalb ist es nicht überraschend, dass die
allgemeine Neuausrichtung auf Wirkungen in scharfem Kontrast zu dem Wissen über die
verursachten Wirkungen steht. Dies hängt vor allem damit zusammen, dass diese bisher
nicht zu einer gravierenden Veränderung der durchgeführten Evaluationen geführt hat.
Trotz des Primats, Wirkungen zu untersuchen (und ihren Ursachen zuzuschreiben) und
der damit verbundenen deutlich anspruchsvolleren Aufgabenstellung wird weitgehend
mit den bisher üblichen Formen evaluiert. Diese reichen dafür jedoch nicht aus. Auch der
bisher für einzelne Evaluationen übliche Zeitrahmen und das dafür zur Verfügung stehende
Finanzvolumen müssten aufgestockt werden.
Untersuchungsdesigns, Erhebungs- und Auswertungsmethoden
Generell ist zu beobachten, dass die Untersuchungsdesigns zur Evaluation in der EZ von
einigen Ausnahmen abgesehen, dem sogenannten „Gutachtenmodell“ (Judgmental
Approach) folgen, bei dem Experten damit beauftragt werden, die Wirkungen eines
Programms zu überprüfen (vgl. Stockmann 2006: 237). Dies geschieht dann in der Regel
durch den Besuch der programmdurchführenden Organisation, deren Mitarbeiter sowie
Zielgruppenmitglieder befragt werden. Deren Bewertungen (judgements) werden dann
zur Schätzung der Programmwirkungen herangezogen. Diese Form der Wirkungsmessung
wird von Rossi, Freeman und Lipsey (1999: 269) „the shakiest of all impact
assesssment techniques“ genannt.
Da eine Wirkung die Veränderung zwischen zwei Zeitpunkten darstellt, müsste es
zumindest zwei Messzeitpunkte geben, idealerweise vor und nach der Programmintervention.
Doch die dafür notwendigen Baselinestudien 39 existieren in der EZ-Evaluation
kaum. 40 Auch die Durchführung einer parallelen Vergleichsmessung bei einer Kontrollgruppe
findet in der Regel nicht statt.
Dies wäre jedoch notwendig, um alternative Erklärungen ausschließen zu können.
Hierfür ist bei vielen EZ-Organisationen jedoch kein ausreichendes Problembewusstsein
vorhanden, so dass vielfach noch davon ausgegangen wird, dass darauf verzichtet werden
kann. Häufig werden dafür auch Kostenargumente oder ethische Bedenken ins Feld
geführt, die es nicht erlauben würden, Kontroll- oder Vergleichsgruppen (die keine Hilfe
erhalten) zu bilden. Auch wenn es selbstverständlich ethisch nicht vertretbare Fälle gibt,
sollten diese nicht dazu verwendet werden, Kontroll- oder Vergleichsgruppen in der EZ
grundsätzlich abzulehnen. In pharmakologischen Experimenten sind Kontrollgruppenvergleiche
trotz ebenfalls möglicher ethischer Bedenken natürlich streng vorgeschrieben.
Wie sonst sollte die Wirksamkeit eines Medikaments nachgewiesen werden?
In der EZ wird unterschätzt, dass viele beobachtete Veränderungen nicht die Folgen
von Programminterventionen sind, sondern von anderen Ursachen stammen. So können
z.B. endogene Gründe vorliegen, wenn ein krisenhafter Zustand, der durch bestimmte
39 Das Fehlen von Baselinestudien ist zugleich ein gravierendes konzeptionelles Defizit der Planung
von EZ-Vorhaben, die ohne detaillierte Untersuchung der Bedarfslage unzureichend begründet
und mit überprüfbaren Zielen versehen sind.
40 Um ein besonders innovatives Projekt zur Wirkungsmessung handelt es sich bei dem GTZ-
Programm „Wettbewerbsfähigkeit und Umwelt“ in Costa Rica. Aufbauend auf eine Baselinestudie
ist ein Panel organisiert, das in einer Längsschnittperspektive systematisch Veränderungen im
Umweltbereich anhand von Wirkungsindikatoren misst. Zu den Vorteilen von Panelstudien vgl.
Stockmann 2006.