Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Evaluationssysteme deutscher EZ-Organisationen 107 Erkennbar ist eine Verschiebung der projektübergreifenden Evaluationen zu immer höheren Aggregationsniveaus mit dem Ziel, den gesamten Entwicklungsbeitrag von EZ- Organisationen, Gebern und Gebergruppen zu erfassen. Dazu gehören die Länderprogrammevaluationen (LPE), mit denen das BMZ 2005 verstärkt begonnen hat. In Gang gekommen ist eine Diskussion über die Entwicklung geeigneter Methoden für hochaggregierte Querschnittsevaluationen für Programmorientierte Gemeinschaftsfinanzierung (PGF) (Güldner et al. 2007). Gemeinschaftsevaluationen Themenstellungen aus den neuen entwicklungspolitischen Agenden wie die PGF implizieren eine immer stärkere Zusammenarbeit von EZ-Organisationen im Rahmen nationaler und internationaler Gemeinschaftsevaluationen (vgl. dazu nochmals Abschnitt 3.4). Seit 2000 hat sich BMZ-E an 13 internationalen Gemeinschaftsevaluationen beteiligt: Sie sind im Zusammenhang mit der neuen entwicklungspolitischen Agenda (Harmonisierung) zu sehen. Aus der im Rahmen der AG „Evaluierung aus einem Guss“ bereits vereinbarten, koordinierten Evaluation gemeinsamer Themen durch die staatlichen deutschen EZ- Organisationen wird ein gemeinsamer zweijährlicher Evaluationsbericht entstehen. Es bleibt offen, ob dieser Bericht die Tradition von Querschnittsevaluationen der GTZ und KfW ablöst. Es wäre bedauerlich, wenn aufgrund der Breite des neuen gemeinsamen Berichts die detaillierten Hinweise zur Ermittlung der Projekteinstufungen und die ausführliche Besprechung ausgewählter Projekte in den unterschiedlichen Erfolgsstufen wie in der KfW verloren ginge. Übergangsprobleme Die Unterschiede in der Verwendung der verschiedenen Evaluationsformen erklären sich neben den bereits angesprochenen Gründen zum Teil auch aus der Tatsache, dass sich einige EZ-Organisationen in einer Umbruchphase befinden. Das wird besonders deutlich bei InWEnt. Durch die Fusion von CDG und DSE musste auch der Evaluationsbereich neu gestaltet werden. Das neu entwickelte PriME-System befindet sich erst am Anfang seiner Implementierungsphase. Folglich sind auch noch nicht alle geplanten Evaluationsformen im Einsatz. Andere Organisationen wie die hbs befinden sich reformbedingt in einer ähnlichen Situation; die RLS steht in der Entwicklung ihres Evaluationssystems noch am Anfang. Die vom BMZ angestoßene stärkere Wirkungsorientierung, die entsprechenden neuen Vorgaben für wirkungsorientiertes Projektmanagement und die daran ausgerichteten Evaluationen sind immer noch nicht überall und vollständig implementiert. Auch das erklärt Unterschiede zwischen den EZ-Organisationen. Größe & Finanzierung Hinzu kommen die enormen Größenunterschiede zwischen ihnen. EZ-Organisationen mit einem großen Portfolio weisen zwar eine größere Bandbreite auf. Kleinere zeigen aber, dass alle Evaluationsformen bei allen EZ-Organisationen grundsätzlich anwendbar sind. Nachvollziehbar ist es jedoch, wenn Evaluationen nicht in derselben zeitlichen Intensität vorgenommen werden. So bedarf es natürlich einer größeren Anzahl von Einzelevaluati-

108 Axel Borrmann & Reinhard Stockmann onen, um darauf Metaauswertungen zu gründen. Eine ausreichende Anzahl auswertbarer Einzelevaluationen fällt deshalb nur in größeren Abständen an. Kleine EZ-Organisationen sind größeren gegenüber somit nicht nur aus finanziellen Gründen im Nachteil. Zudem ergeben sich Unterschiede durch die typische Projektgröße. Bei einem Kleinprojekt sind die Evaluationskosten als Anteil der Projektkosten höher (bei gleicher Evaluationsqualität). Dadurch sind Organisationen mit vielen Kleinprojekten (z.B. MISEREOR) im Nachteil. Diese Kleinteiligkeit ergibt sich offenbar vor allem, wenn Projekte weitgehend über private Spenden finanziert werden. 3.5.3 Ressourcen Abschließend ist hier noch ein Blick auf die Mittel zu werfen, die die EZ-Organisationen in die Evaluation ihrer Projekte und Programme investieren. Um deren Angemessenheit zu beurteilen, wird vor allem das Verhältnis der Evaluationsaufwendungen zum Portfolio untersucht. Es wird ferner gefragt, ob die Mittelbereitstellung so institutionalisiert ist, dass die Durchführbarkeit von Evaluationen abgesichert ist. Ob das für Evaluationsmanagement und Durchführung erforderliche Personal ausreicht, wird vertieft in Abschnitt 3.7 behandelt. Auch die finanzielle Analyse der Evaluationstätigkeit wird durch eine schwierige Datenlage beeinträchtigt. Eine Reihe von EZ-Organisationen sah sich nicht in der Lage, Angaben zum Umfang und zur Zusammensetzung ihrer Evaluationsausgaben zu machen. Tatsächlich bestehen Erfassungsprobleme z.B. im Bereich der Selbstevaluation, bei der die Evaluationsaktivitäten von den operativen Tätigkeiten zeitlich und finanziell kaum zu trennen seien. Ähnlich verhielte es sich mit evaluationsverantwortlichem Personal, das zugleich mit anderen Aufgaben z.B. im Bereich des Qualitätsmanagements betraut ist. Einen weißen Fleck bilden auch die Evaluationskosten auf der Partnerseite. Dennoch haben viele EZ-Organisationen zumindest Schätzwerte zur Verfügung gestellt oder Teilangaben gemacht, z.B. zu den Kosten des Einsatzes externer Gutachter. Von daher sind die vorliegenden Informationen mit großer Vorsicht, insbesondere beim horizontalen Vergleich zwischen den EZ-Organisationen zu verwenden. Die Finanzierung projektbezogener Evaluationen stellt prinzipiell kein Problem dar, da Evaluationen in der Projektplanung berücksichtigt und die dafür erforderlichen Mittel kalkuliert werden können. Es war im Rahmen der vorliegenden Untersuchung allerdings nicht zu ermitteln, in welchem Umfang dies auch effektiv geschieht. Anders verhält es sich mit projektübergreifenden und Ex-post Evaluationen. Hierfür stehen zum einen ggf. interne Mittel aus dem Grundhaushalt oder aus den über Projekte erwirtschafteten Gemeinkosten zur Verfügung. Zum anderen können ggf. externe Finanzierungsquellen genutzt werden. Ihre interne Finanzierung ist dann in besonderer Weise gesichert, wenn ein separates Budget für Evaluationen vorgesehen ist, das von einer unabhängigen Evaluationseinheit oder einem Evaluationsbeauftragten verwaltet wird. Neun der 20 untersuchten EZ- Organisationen verfügen heute über ein solches Evaluationsbudget. Es handelt sich vor allem um größere Organisationen. Kleinere EZ-Organisationen stehen bei der Planung übergreifender und Ex-post Evaluationen vor besonderen Finanzierungsproblemen. Sie lassen sich ebenso wenig aus Mitteln laufender Projekte wie aus ihrem bescheidenen „Gemeinkostenaufkommen“ oder aus Überschüssen finanzieren. Sie sind daher in aller Regel auf eine externe Finanzierung

108 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />

onen, um darauf Metaauswertungen zu gründen. E<strong>in</strong>e ausreichende Anzahl auswertbarer<br />

E<strong>in</strong>zelevaluationen fällt deshalb nur <strong>in</strong> größeren Abständen an. Kle<strong>in</strong>e EZ-Organisationen<br />

s<strong>in</strong>d größeren gegenüber somit nicht nur aus f<strong>in</strong>anziellen Gründen im Nachteil.<br />

Zudem ergeben sich Unterschiede durch die typische Projektgröße. Bei e<strong>in</strong>em Kle<strong>in</strong>projekt<br />

s<strong>in</strong>d die <strong>Evaluation</strong>skosten als Anteil <strong>der</strong> Projektkosten höher (bei gleicher <strong>Evaluation</strong>squalität).<br />

Dadurch s<strong>in</strong>d Organisationen mit vielen Kle<strong>in</strong>projekten (z.B. MISEREOR)<br />

im Nachteil. Diese Kle<strong>in</strong>teiligkeit ergibt sich offenbar vor allem, wenn Projekte weitgehend<br />

über private Spenden f<strong>in</strong>anziert werden.<br />

3.5.3 Ressourcen<br />

Abschließend ist hier noch e<strong>in</strong> Blick auf die Mittel zu werfen, die die EZ-Organisationen<br />

<strong>in</strong> die <strong>Evaluation</strong> ihrer Projekte und Programme <strong>in</strong>vestieren. Um <strong>der</strong>en Angemessenheit<br />

zu beurteilen, wird vor allem das Verhältnis <strong>der</strong> <strong>Evaluation</strong>saufwendungen zum Portfolio<br />

untersucht. Es wird ferner gefragt, ob die Mittelbereitstellung so <strong>in</strong>stitutionalisiert ist,<br />

dass die Durchführbarkeit von <strong>Evaluation</strong>en abgesichert ist. Ob das für <strong>Evaluation</strong>smanagement<br />

und Durchführung erfor<strong>der</strong>liche Personal ausreicht, wird vertieft <strong>in</strong> Abschnitt<br />

3.7 behandelt.<br />

Auch die f<strong>in</strong>anzielle Analyse <strong>der</strong> <strong>Evaluation</strong>stätigkeit wird durch e<strong>in</strong>e schwierige Datenlage<br />

bee<strong>in</strong>trächtigt. E<strong>in</strong>e Reihe von EZ-Organisationen sah sich nicht <strong>in</strong> <strong>der</strong> Lage,<br />

Angaben zum Umfang und zur Zusammensetzung ihrer <strong>Evaluation</strong>sausgaben zu machen.<br />

Tatsächlich bestehen Erfassungsprobleme z.B. im Bereich <strong>der</strong> Selbstevaluation, bei <strong>der</strong><br />

die <strong>Evaluation</strong>saktivitäten von den operativen Tätigkeiten zeitlich und f<strong>in</strong>anziell kaum zu<br />

trennen seien. Ähnlich verhielte es sich mit evaluationsverantwortlichem Personal, das<br />

zugleich mit an<strong>der</strong>en Aufgaben z.B. im Bereich des Qualitätsmanagements betraut ist.<br />

E<strong>in</strong>en weißen Fleck bilden auch die <strong>Evaluation</strong>skosten auf <strong>der</strong> Partnerseite. Dennoch<br />

haben viele EZ-Organisationen zum<strong>in</strong>dest Schätzwerte zur Verfügung gestellt o<strong>der</strong><br />

Teilangaben gemacht, z.B. zu den Kosten des E<strong>in</strong>satzes externer Gutachter. Von daher<br />

s<strong>in</strong>d die vorliegenden Informationen mit großer Vorsicht, <strong>in</strong>sbeson<strong>der</strong>e beim horizontalen<br />

Vergleich zwischen den EZ-Organisationen zu verwenden.<br />

Die F<strong>in</strong>anzierung projektbezogener <strong>Evaluation</strong>en stellt pr<strong>in</strong>zipiell ke<strong>in</strong> Problem dar,<br />

da <strong>Evaluation</strong>en <strong>in</strong> <strong>der</strong> Projektplanung berücksichtigt und die dafür erfor<strong>der</strong>lichen Mittel<br />

kalkuliert werden können. Es war im Rahmen <strong>der</strong> vorliegenden Untersuchung allerd<strong>in</strong>gs<br />

nicht zu ermitteln, <strong>in</strong> welchem Umfang dies auch effektiv geschieht. An<strong>der</strong>s verhält es<br />

sich mit projektübergreifenden und Ex-post <strong>Evaluation</strong>en. Hierfür stehen zum e<strong>in</strong>en ggf.<br />

<strong>in</strong>terne Mittel aus dem Grundhaushalt o<strong>der</strong> aus den über Projekte erwirtschafteten Geme<strong>in</strong>kosten<br />

zur Verfügung. Zum an<strong>der</strong>en können ggf. externe F<strong>in</strong>anzierungsquellen<br />

genutzt werden.<br />

Ihre <strong>in</strong>terne F<strong>in</strong>anzierung ist dann <strong>in</strong> beson<strong>der</strong>er Weise gesichert, wenn e<strong>in</strong> separates<br />

Budget für <strong>Evaluation</strong>en vorgesehen ist, das von e<strong>in</strong>er unabhängigen <strong>Evaluation</strong>se<strong>in</strong>heit<br />

o<strong>der</strong> e<strong>in</strong>em <strong>Evaluation</strong>sbeauftragten verwaltet wird. Neun <strong>der</strong> 20 untersuchten EZ-<br />

Organisationen verfügen heute über e<strong>in</strong> solches <strong>Evaluation</strong>sbudget. Es handelt sich vor<br />

allem um größere Organisationen.<br />

Kle<strong>in</strong>ere EZ-Organisationen stehen bei <strong>der</strong> Planung übergreifen<strong>der</strong> und Ex-post <strong>Evaluation</strong>en<br />

vor beson<strong>der</strong>en F<strong>in</strong>anzierungsproblemen. Sie lassen sich ebenso wenig aus<br />

Mitteln laufen<strong>der</strong> Projekte wie aus ihrem bescheidenen „Geme<strong>in</strong>kostenaufkommen“ o<strong>der</strong><br />

aus Überschüssen f<strong>in</strong>anzieren. Sie s<strong>in</strong>d daher <strong>in</strong> aller Regel auf e<strong>in</strong>e externe F<strong>in</strong>anzierung

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!