Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluationssysteme deutscher EZ-Organisationen 97
Bei InWEnt sollen die erstmals in 2007 zum Einsatz kommenden Wirkungsanalysen
zukünftig grundsätzlich extern durchgeführt werden. Das Ausschreibungsverfahren liegt
dabei in der Hand der Abteilung 1.04. Hier hat die Abteilung 1.04 die ausschließliche
Federführung und eine formal geregelte Entscheidungsbefugnis. In allen anderen Fällen
erstellen die programmführenden Abteilungen die ToR und sind für die Auswahl von
geeigneten Gutachterteams zuständig.
BMZ und KfW praktizieren eine freihändige Vergabe mit öffentlichem Teilnahmewettbewerb.
Dazu stellt sie vor der Auftragsvergabe an externe Gutachter ihr Angebot
üblicherweise ins Internet.
Beim EED fällt die Vergabe der Einzelprojektevaluationen an externe Gutachter weitgehend
in die Verantwortung der Partner, wobei Rücksprache mit den beteiligten operativen
Einheiten des EED genommen und häufig gemeinsam nach geeigneten Personen
gesucht wird. An der endgültigen Auswahl ist der EED zudem immer beteiligt. Die
Auftragsvergabe erfolgt in der Regel freihändig innerhalb des Partnerlandes bzw. der
Region, wobei es auch Einzelfälle gab, in denen der Partner eine nationale Ausschreibung
vornahm.
Während die evaluationsverantwortlichen Einheiten und Personen in die Gutachterauswahl
für ihre selbst gesteuerte Evaluationen eingeschaltet sind, haben sie in rd. der
Hälfte der untersuchten EZ-Organisationen nur einen eingeschränkten oder keinen qualitätssichernden
Einfluss. In stark dezentralisierten und kleineren EZ-Organisationen
erfolgt die Qualitätssicherung durch die operative und die oberste Leitungsebene. Bei
beschränkten Ausschreibungen und freihändiger Vergabe wird meist auf interne, aber
auch auf Gutachterdatenbanken anderer Organisationen zurückgegriffen.
Inceptionphase und Vor-Ort-Untersuchungen
Qualitätsrelevant sind schließlich zwei weitere Aspekte des Gutachtereinsatzes: Die
Inception Phase und die Aufenthaltsdauer vor Ort. Die Einschaltung einer Inception
Phase in den Evaluationsablauf scheint zugenommen zu haben. Etwa die Hälfte der EZ-
Organisationen sieht heute zumindest gelegentlich einen solchen Zwischenschritt vor, in
dem die Gutachter eine angepasste Evaluationsmethode entwickeln sollen. Bis jetzt
haben aber nur wenige EZ-Organisationen dies zu einem obligatorischen Bestandteil des
Evaluationsablaufes gemacht (z.B. BMZ, GTZ, DWHH, hbs und Ci; vgl. insbesondere
zur methodischen Qualität der Evaluationen die Kapitel 3.6 und 3.7). Die geführten
Interviews haben die seit langem geäußerte Kritik bestätigt, dass die EZ-Organisationen
im Allgemeinen die Aufenthaltsdauer vor Ort mit ein bis zwei Wochen so restriktiv
gestalten, dass anspruchsvolle Evaluationsmethoden gar nicht zum Einsatz kommen
können. (vgl. auch dazu wieder 3.6 und 3.7). Diese Ansicht wird nicht nur von Gutachtern
selbst, sondern auch von vielen Mitarbeitern der untersuchten EZ-Organisationen
und den von uns befragten externen Experten (Wissenschaftler und Gutachter) geteilt; sie
verwiesen aber zugleich auf die finanziellen Rahmenbedingungen, die zu eng gesteckt
seien, um komplexere und zeitaufwändigere Untersuchungsmethoden einzusetzen.
Zusammenfassende Bewertung
Die Planung vor allem projektbezogener Evaluationen ist in den untersuchten EZ-
Organisationen weitgehend Routine und durch Arbeitshilfen im Allgemeinen gut unter-