Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluationssysteme deutscher EZ-Organisationen 129
andere Untersuchungsdesigns angewendet werden, hauptsächlich einfache qualitative
(bei den kirchlichen EZ-Organisationen partizipative) Erhebungsinstrumente zum Einsatz
kommen, und viele Auswertungen über die Ermittlung von Prozentwerten nicht hinauskommen,
ist eine vertiefte Methoden- und Evaluationskenntnis auch bei den Gutachtern
nicht erforderlich. Doch der bereits mehrfach hervorgehobene Wandel in der EZ (Komplexität,
Programme statt Projekte, MDG, EZ aus einem Guss, Wirkungsorientierung, um
nur noch einmal ein paar Stichworte in Erinnerung zu rufen) sowie die Veränderung der
Verwaltungsvorschriften der BHO werden zunehmend komplexere Evaluationen erforderlich
machen. Das BMZ empfiehlt seinen Zuwendungsempfängern explizit die Beauftragung
von professionellen externen Gutachtern (Einzelpersonen oder Firmen) für
Evaluation, mit der Begründung:
„Wirkungs- und Wirtschaftlichkeitskontrollen stellen hohe fachliche und methodische
Anforderungen. Gleichzeitig erfordert die Beurteilung der Ursächlichkeit und Geeignetheit
von Maßnahmen für die Zielerreichung sowie die Identifizierung unbeabsichtigter –
auch etwaiger negativer – Auswirkungen der Entwicklungsmaßnahme einen möglichst
unabhängigen Blick“ (BMZ 2007c: 8).
Wie bereits im letzten Kapitel dargestellt machen zudem die Glaubwürdigkeit und
auch die potenzielle Nützlichkeit von Evaluationsergebnissen eine Qualitätssteigerung
der Evaluation erforderlich. Während BMZ und GTZ diese Entwicklung deutlich erkannt
haben und bereits die Qualitätsmerkmale für Evaluation sowie dementsprechend die
Anforderungsprofile der eingesetzten Gutachter und Experten geändert haben, ist in den
übrigen staatlichen wie nicht-staatlichen EZ-Organisationen von wenigen Ausnahmen
abgesehen noch nichts von einem grundlegenden Wandel zu bemerken. Ein deutliches
Indiz dafür ist, welche Bedeutung dem Inception Report im Rahmen einer Evaluation
zukommt. Nur BMZ und GTZ verlangen bisher eine genaue Darlegung des methodischen
Ansatzes. Selbst wenn auch diese Berichte mehr einer Darstellung des Evaluationsablaufs
dienen als einer abwägenden Methodendiskussion, in der die Auswahl der
verwendeten Untersuchungsdesigns, der Stichprobenziehung, der eingesetzten Erhebungsmethoden
und Auswertungsverfahren begründet werden, stellen sie einen Schritt in
Richtung Qualitätsverbesserung dar. In den Evaluationen vieler anderer Organisationen
haben evaluationsmethodische Überlegungen nach wie vor keinen besonders hohen
Stellenwert.
3.8 Nutzung
Nützlichkeit ist einer der zentralen Standards der DeGEval-Gesellschaft für Evaluation
und des DAC (Usefulness). Hier wird die Nutzung von Evaluation dahingehend untersucht,
für welche Zwecke Evaluationen von den EZ-Organisationen eingesetzt werden,
welche Evaluationsprodukte in der Regel angefertigt werden,
wie die internen Nutzungsprozesse organisiert sind,
wie die Umsetzung von Evaluationsempfehlungen geregelt und
ob und wie eine externe Nutzung von Evaluationen vorgesehen ist.