VERFAHREN DER WIRKUNGSANALYSE Eine Landkarte für die ...

Analyse von Wirkungen zur Verfügung stehen, die richtige Balance zwischen der
notwendigen Tiefe (im Sinne einer wissenschaftlichen Ansprüchen genügenden Hypothesenprüfung)
und Breite (im Sinne der möglichst weitgehenden Erfassung von relevanten
Veränderungen) zu finden. Es sollen z. T. komplexe Wirkungshypothesen überprüft
sowie gleichzeitig unbeabsichtigte Wirkungen und äußere Einflussfaktoren berücksichtigt
werden. Letztere finden oft zu wenig Beachtung, da zur Überprüfung der Wirkungshypothesen
ausreichend große Stichproben bei Zielgruppen und evtl. auch Kontrollgruppen
erforderlich sind, was sehr zeitintensiv ist. Die Erfahrung zeigt, dass externe
Wirkungsanalysen (etwa im Rahmen von Evaluierungen) üblicherweise bezüglich
ihrer zeitlichen und finanziellen Ressourcen erheblichen Beschränkungen unterliegen,
die sich zwangsläufig im analytischen Design niederschlagen. Insgesamt werden oft
sehr hohe Anforderungen an die Evaluierer/-innen gestellt, die innerhalb des zur Verfügung
stehenden Zeitrahmens nicht immer erfüllt werden können. 45
In der Regel besteht ein Wirkungsanalyse-Team aus zumindest je einem/einer Evaluierer/-in
aus dem Geber- und dem Partnerland. Das stellt eine Chance dar, denn die lokalen
Evaluierer/-innen können als kulturelle Brücke dienen, durch die manche Zusammenhänge,
die sich durch den fremdkulturellen Kontext ergeben, schneller und besser
deutlich werden, während entsandte Evaluierer/-innen nicht nur Erfahrungen aus anderen
Zusammenhängen einbringen, sondern auch mit externem Blick „Selbstverständlichkeiten“
leichter in Frage stellen können. Eine gemeinsame Abstimmung des Verfahrens,
das zur Anwendung kommen soll, setzt voraus, dass alle Mitglieder des Teams
die notwendigen Informationen und eine geteilte Verantwortung haben. 46
Um die notwendigen Untersuchungen durchführen zu können, ist mitunter auch die
Einbeziehung von einheimischem Personal oder von Mitarbeiter/-innen, die in der
Durchführung der Entwicklungsmaßnahme tätig sind, als „Türöffner“ und notfalls auch
als Interviewer/-innen notwendig. 47 Sie ist auch insofern sinnvoll, als sie die Aneignung
und Nutzung der Ergebnisse durch die Partnerorganisation bzw. das Partnerland fördern
kann. Insbesondere bei Partnern ohne Erfahrung in der Wirkungsanalyse ist dieses
Personal jedoch oft nicht in Analyseverfahren ausgebildet. Dies verlangt vor der Datenerhebung
häufig eine entsprechende Schulung und kommt damit capacity-building-
Zielen entgegen. Bei der aktiven Einbeziehung von Akteuren, die in die Durchführung
involviert sind, ist jedoch darauf zu achten, dass die Unabhängigkeit der Wirkungsanalyse
nicht beeinträchtigt wird („Bias Problem“). Auch die Qualität der Arbeit (speziell der
Datenerhebung) ist bei soeben erst ausgebildetem Personal nicht immer sichergestellt.
Gegen externe Wirkungsanalysen wie auch gegen den Aufbau von wirkungsorientierten
Monitoringsystemen bestehen in Partnerländern und -organisationen oft Vorbehalte,
weil diese häufig noch nicht bekannt sind und Befürchtungen sowohl hinsichtlich der
Ergebnisse als auch der Konsequenzen bestehen, die die Geberorganisationen ziehen
45
Vgl. dazu auch Englert (2006). Ein Problem besteht auch darin, dass einige Auftraggeber keine oder
zu geringe Kenntnisse in empirischer Sozialforschung besitzen um realistische ToR erstellen zu können.
46
Häufig trägt der oder die vom Geber beauftragte und entsandte Gutachter/-in die alleinige Verantwortung
für das Gelingen der Wirkungsanalyse.
47
Unabdingbar ist dies z. B. in Fällen, in denen für die lokalen Sprachen keine unabhängigen Übersetzer
gefunden werden können.
- 20 -