Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Hintergrund und Ziele der Untersuchung 51
Beobachtung und aussagekräftigen Berichterstattung über die Wirkung der Entwicklungszusammenarbeit“
verfügt (DAC 2005: 81).
Die Diskussion um adäquate Untersuchungsansätze für die Messung und Erklärung
von Wirkungen der EZ hat auch in Deutschland begonnen. Das BMZ und verschiedene
EZ-Organisationen (z.B. GTZ, KfW, DWHH und Misereor) bemühen sich um die Entwicklung
und Anwendung robuster Evaluationsansätze für Wirkungsanalysen. Diese
Ansätze dürften es in Deutschland nach wie vor schwer haben sich durchzusetzen. Zum
einen weil solche Studien, da sie deutlich aufwendiger sind, mehr kosten als die bisherigen
Evaluationen. Zum anderen weil „Rigorous Impact Evaluations“ immer mit dem
Einsatz quantitativer Methoden (wenn natürlich nicht ausschließlich!) einhergehen. Viele
EZ-Organisationen wenden jedoch – auch für Wirkungsevaluationen – nur partizipative
qualitative Methoden an. Diese sind jedoch – auch ein Ergebnis der oben beschriebenen
Auswertung vorliegender Studien – hierfür kaum geeignet. Impact Evaluationen ohne
systematische Befragung der Zielgruppe werden einheitlich nicht mehr als ausreichend
angesehen. Einige Gespräche mit Zielgruppenvertretern im Rahmen von Vor-Ort Besuchen
genügen nicht: „It is all too common-place to restrict data collection to key informant
interviews and perhaps a few focus groups“ (White 2006a: 20).
Hier ist in Deutschland noch ein erheblicher Diskussionsbedarf zu erkennen, um Anschluss
an die internationale Methodenentwicklung im Bereich Rigorous Impact Evaluations
zu finden. Dabei ist es keinesfalls erforderlich, darunter nur statistischökonometrisch
basierte Methoden zu verstehen. Die empirische Sozialforschung bietet
eine Vielfalt von Untersuchungsdesigns für die Evaluation von Wirkungen an (vgl. die
vergleichenden Ausführungen von Stockmann (2006: 224ff.) hierzu).
Darüber hinaus ist zu bedenken, dass eine noch so akkurate Wirkungserfassung (what
difference did this program make?) noch keine Antwort auf die Frage liefert warum eine
Maßnahme unter welchen Bedingungen Wirkungen entfaltet hat (what works, under what
conditions?). Hierfür ist neben einem adäquaten Untersuchungsdesign die vorherige
Aufstellung von Ursache-Wirkungs-Hypothesen notwendig. Die von der GTZ im Rahmen
von AURA entwickelten Wirkungsketten reichen für diesen Zweck nicht aus, da sie
keine Aussagen über die zugrundeliegenden Hypothesen, also die theoretisch vermuteten
Wirkungszusammenhänge liefern. Ohne programmtheoretische Unterfütterung kann
jedoch kaum ein adäquates Untersuchungsdesign für die Wirkungsanalyse entwickelt
werden. Deshalb dürfte sich der Evaluationsansatz für Wirkungsanalysen der Zukunft vor
allem durch die Ableitung von vermuteten Ursache-Wirkungsbeziehungen und ihrer
adäquaten empirischen Überprüfung auszeichnen.
1.6 Ziel der Untersuchung
Vor dem Hintergrund der letzten Systemprüfungen und der beschriebenen Entwicklungen
hat das BMZ Ende 2006 beschlossen, eine erneute Systemprüfung in Auftrag zu
geben. Ziel der Untersuchung sollte es sein zu überprüfen, ob das Evaluationssystem der
bilateralen deutschen EZ unter strategisch-konzeptionellen, organisatorischen, Management-
und methodischen Gesichtspunkten den an die Evaluationen heute zu stellenden
Ansprüchen adäquat Rechnung trägt (vgl. Anhang 1). Als Referenz für die Beurteilung
sollten insbesondere die OECD/DAC-Prinzipien, -Kriterien und -Standards für gute
Evaluation, die Bundeshaushaltsordnung und die einschlägigen Verwaltungsvorschriften