Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluationssysteme deutscher EZ-Organisationen 119
Interventionsmaßnahmen beseitigt werden sollte, von alleine wieder verschwindet. So ist
z.B. aus der Medizin bekannt, dass viele Menschen sich von akuten Krankheiten erholen,
ohne dass sie vom Arzt behandelt wurden. Würde man nur die „Treatment“-Gruppe (also
diejenigen, die vom Arzt behandelt wurden) untersuchen – wie in der EZ üblich – würde
dieser Effekt nicht aufgedeckt. Veränderungen können zudem Folgen exogenen Wandels
sein, z.B. allgemeiner struktureller Trends (konjunkturelle Auf- und Abschwungphasen)
oder plötzlich auftretender Ereignisse.
Wer die Orientierung auf Wirkungen ernst nimmt, muss deshalb seine Untersuchungsdesigns
entsprechend anpassen. In der Evaluation der deutschen EZ werden in der
Regel bisher jedoch weder feldexperimentelle Designs noch Längsschnittdesigns wie
Panel- oder Zeitreihenanalysen eingesetzt. Dieses Defizits sind sich einige EZ-
Organisationen durchaus bewusst. So ist BMZ-E an der internationalen Diskussion um
„robuste“ Evaluationen beteiligt und hat eigene Forschungsprojekte gestartet. Auch GTZ,
KfW und DWHH überlegen sich, wie sie tiefer gehende Analysen in ihr Evaluationsportfolio
einbinden können. In vielen anderen EZ-Organisationen ist jedoch in dieser Hinsicht
noch kein ausreichendes Problembewusstsein festzustellen.
Die Wirkungserfassung wird zudem dadurch erschwert, dass in vielen Partnerländern
keine oder nur unzureichende statistische Daten oder gar umfassende Monitoringsysteme
vorhanden sind, wie sie in vielen entwickelten Staaten Standard sind. Die Chancen, die
Qualität von Wirkungsevaluationen, aber auch von Evaluation generell zu verbessern,
würden dadurch steigen, dass in den Partnerländern – mit Unterstützung der EZ – die
amtliche Statistik ausgebaut und aussagefähige wirkungsbezogene Monitoringsysteme
entwickelt würden.
Bei den von den EZ-Organisationen eingesetzten Datenerhebungsmethoden zeigt sich
eine deutliche Kluft zwischen den wenigen Organisationen, die mit einem Methodenmix
aus quantitativen und qualitativen Verfahren arbeiten und solchen, die weitgehend nur
auf qualitative Methoden vertrauen.
Bei BMZ- und GTZ-Evaluationen (bezogen auf die Fremdevaluationen) wird häufig
ein Methodenmix angewendet, bei dem allerdings qualitative sozialwissenschaftliche
Verfahren dominieren. Kosten-Nutzen- oder wenigstens Kosten-Wirksamkeitsanalysen
kommen nur selten zum Einsatz. Bei der KfW ist es umgekehrt, dort werden häufig
Verfahren zur Ermittlung der einzel- und gesamtwirtschaftlichen Wirtschaftlichkeit und
gesamtwirtschaftlicher Effekte, aber kaum qualitative sozialwissenschaftliche Instrumente
eingesetzt. Die auf PriME basierenden Evaluationen von InWEnt befinden sich noch
im Versuchsstadium und der DED kann mit seinem Mini-Evaluationsbudget kaum
anspruchsvolle Evaluationsverfahren einsetzen. Bei den nicht-staatlichen EZ-Organisationen
konzentriert sich die Datenerhebung bis auf wenige Ausnahmen, wie z.B. bei
der DWHH auf qualitative Verfahren.
Auch bei der Wirkungsmessung greifen insbesondere die kirchlichen EZ-Organisationen
gerne auf sogenannte partizipative Methoden zurück, bei denen vor allem das
Urteil der Teilnehmer zur Bewertung der Wirksamkeit von Programmen herangezogen
wird. Die Zielgruppen (Nutzer) eines Programms zu befragen, klingt besonders plausibel,
denn wer sollte besser über die Wirkungen eines Programms Bescheid wissen, als diejenigen,
die den Gegenstand der Untersuchung aus eigener Erfahrung kennen. Die Nutzer
einer Dienstleistung oder die Betroffenen einer Maßnahme könnten deshalb leicht für die
,eigentlichen‘ Experten gehalten werden. Doch Rossi, Freeman und Lipsey (1999: 269)