Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Die Qualität der Evaluationssysteme 155 vor allem EZ-Erfahrung zählt. Da in den meisten der untersuchten Organisationen Personalrotation vorgesehen ist, ist das Kompetenzniveau, das in einem Referat vorherrscht, einem ständigen Wechsel unterworfen. Über die Zeit hinweg in der Evaluation „gereifte“ und damit mit den Anforderungen und Aufgaben der Evaluation vertraute Personen werden immer wieder durch Newcomer ersetzt. Da für eine systematische Weiterbildung vor Dienstantritt und allzu oft auch danach kaum Zeit bleibt, kann es lange dauern, bis ein hohes Kompetenzniveau erreicht wird. Das nationale wie internationale Weiterbildungsangebot wird von vielen EZ-Organisationen nicht ausreichend genutzt. Die meisten EZ-Organisationen setzen in ihren Evaluationen auch externe Experten ein. Bei der Rekrutierung wird auf eine Vielzahl von Qualifikationen Wert gelegt. Doch intensive Methoden- und Evaluationskenntnisse werden nur von wenigen EZ- Organisationen explizit gefordert. Statt dessen wird Wert auf EZ- und Evaluationserfahrung gelegt. Dieses Vorgehen ist mit der derzeit vorhandenen Evaluationspraxis durchaus systemkonform, da anspruchsvollere Untersuchungsdesigns und Erhebungsmethoden quantitativer wie qualitativer Art noch die Ausnahme sind. Ein Indiz dafür ist auch, welche Bedeutung dem Inception Report im Rahmen einer Evaluation zugemessen wird. Ein solcher wird bisher nur von BMZ und GTZ regelmäßig verlangt. Allerdings dürfte sich dies mit der Zeit ändern. Wenn die Evaluation die an sie gestellten Anforderungen in Zukunft adäquat bewältigen soll, muss auch das Anspruchsniveau an die Gutachter steigen. Für die Unabhängigkeit und Glaubwürdigkeit eines Evaluationssystems ist der Einsatz kompetenter externer Gutachter von großer Bedeutung. Fast alle Organisationen nutzen die Expertise von externen Fachkräften, allerdings ohne ihnen immer auch die volle Berichtsverantwortung zuzubilligen (so z.B. die KfW). Insbesondere in den Organisationen, in denen Evaluation stark dezentral organisiert ist, findet häufig keine Qualitätssicherung der Gutachtereinsätze durch die Evaluationseinheiten statt. Da es bei den meisten Evaluationsaufträgen um niedrige Auftragssummen geht, können sie freihändig an einzelne Gutachter vergeben werden. Für die Qualität des Systems wäre es jedoch vorteilhaft, wenn Ausschreibungen kompetitiv vorgenommen würden. GTZ und teilweise auch BMZ beschreiten diesen Weg zunehmend. Die Prozessqualität, also die Qualität der Planungs- und Durchführungsprozesse stellt ein weiteres wichtiges Merkmal für ein qualitativ hochwertiges Evaluationssystem dar. Auch hierzu liefert die Untersuchung ein recht heterogenes Bild. Das Gros der von den evaluierten Organisationen durchgeführten Evaluationen leitet sich aus dem Projektverlauf und seinen Notwendigkeiten ab und wird häufig von den operativen Einheiten veranlasst. Den projektübergreifenden und Ex-post Evaluationen liegen in der Regel diskretionäre Entscheidungen und eine selektive Auswahl zugrunde und sind nicht repräsentativ. Positiv hervorzuheben ist, dass fast alle Organisationen über Handreichungen, Arbeitshilfen und Formulare für die Strukturierung der Planungs- und Ablaufprozesse verfügen. Negativ wirkt sich aus, dass in vielen Organisationen die Qualitätssicherung (zu der auch die Überprüfung der Einhaltung der Regeln gehört) stark zersplittert ist; insbesondere dann, wenn die Evaluation dezentral organisiert ist, was überwiegend der Fall ist. Nur im BMZ ist das Evaluationsreferat für die Durchführung und Qualitätssicherung aller Evaluationen zuständig (die gilt weitgehend auch für die KfW und zum Teil die GTZ). Bei den nicht-staatlichen Organisationen sind jedoch bis auf wenige Ausnah-

156 Axel Borrmann & Reinhard Stockmann men die operativen Einheiten selbst für die Qualitätssicherung von Evaluation verantwortlich. Dadurch kann jedoch keine einheitliche Qualitätssicherung betrieben werden. Über die Evaluationsdichte liegen den einzelnen EZ-Organisationen kaum fundierte Daten vor, was zum Teil mit dem dezentralen Charakter der Evaluation in vielen Organisationen zu tun hat. Der überwiegende Anteil von allen durchgeführten Evaluationen bezieht sich (mit Ausnahme des BMZ) auf den Projektverlauf und dient dem unmittelbaren Zweck der Projektsteuerung. Schluss- und insbesondere Ex-post Evaluationen konnten sich in der deutschen EZ (mit Ausnahme der KfW) bisher kaum durchsetzen. Da das deutsche EZ-Evaluationssystem vor allem auf instrumentelles Lernen ausgerichtet ist, finden Evaluationsformen, die mehr dem konzeptionellen Lernen dienen, bisher noch nicht genügend Akzeptanz. (Vgl. die Ausführungen in Kapitel 4.2). Generell leidet das deutsche EZ-Evaluationssystem an einem Mangel an vergleichenden empirischen Evaluationen 50 , sowohl innerhalb einzelner Sektoren oder Länder als auch zwischen EZ-Organisationen. Diese von EZ-Experten immer wieder geforderten Evaluationsformen (vgl. Ex-Int 1, Ex-Int 4, Stockmann 2000) würden einen erheblichen Erkenntnisnutzen mit sich bringen, sind jedoch aufwendig und schwieriger zu organisieren. Der Vergleich von ähnlichen Programmen verschiedener Durchführungsorganisationen würde geradezu einen Tabubruch darstellen und wird von einigen Vertretern der EZ- Organisationen mit dem Argument der nicht gegebenen Vergleichbarkeit strikt abgelehnt. Doch dies ist eine Schutzbehauptung! Evaluationen, die Projekte der kirchlichen Organisationen, der politischen Stiftungen aber auch der staatlichen DO untereinander und sogar zwischen diesen Gruppierungen vergleichen, sind möglich. Dies hat nicht zuletzt eine schon Ende der 90er Jahre durchgeführte Wirkungsevaluation über die Berufsbildungszusammenarbeit in der VR China geprüft, bei der Projekte der GTZ mit solchen der HSS verglichen wurden (vgl. Stockmann, Meyer u.a. 2000). 4.5 Partnerschaftlichkeit Wie im Abschnitt „Qualität“ dargelegt, ist die Umsetzung von Evaluationsergebnissen u.a. davon abhängig, ob und inwieweit die wichtigsten Stakeholder in die Planungs- und Berichtsphasen eingebunden sind. Hierzu zeigt diese Evaluation ein ernüchterndes Bild, das keine wesentlichen Änderungen zu vorangegangenen Systemprüfungen erkennen lässt. Nach wie vor legen lediglich die kirchlichen EZ-Organisationen, Ci und DWHH auf eine sehr hohe Einbindung der Partnerorganisationen Wert. KfW und die meisten politischen Stiftungen stellen die andere Seite des Spektrums dar, indem sie ihre Partnerorganisationen kaum beteiligen, und zwar mit dem Argument, dass diese Gegenstand der Evaluation seien. Dies erklärt allerdings nicht, warum in der Regel auch keine einheimischen (lokalen) unabhängigen Gutachter eingesetzt werden, wie dies bei den meisten anderen staatlichen wie nicht-staatlichen EZ-Organisationen der Fall ist. 50 Jahresquerschnittsauswertungen, die nachträglich versuchen, nach bestimmten Kriterien zusammenfassende Vergleiche zu ziehen, fallen hier nicht darunter und wurden über Jahre vor allem von GTZ und KfW dazu genutzt, die Öffentlichkeit mit nicht nachvollziehbaren Erfolgsquoten ihrer EZ-Arbeit zu erstaunen (vgl. Stockmann 1993 und 1998).

156 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />

men die operativen E<strong>in</strong>heiten selbst für die Qualitätssicherung von <strong>Evaluation</strong> verantwortlich.<br />

Dadurch kann jedoch ke<strong>in</strong>e e<strong>in</strong>heitliche Qualitätssicherung betrieben werden.<br />

Über die <strong>Evaluation</strong>sdichte liegen den e<strong>in</strong>zelnen EZ-Organisationen kaum fundierte<br />

Daten vor, was zum Teil mit dem dezentralen Charakter <strong>der</strong> <strong>Evaluation</strong> <strong>in</strong> vielen Organisationen<br />

zu tun hat. Der überwiegende Anteil von allen durchgeführten <strong>Evaluation</strong>en<br />

bezieht sich (mit Ausnahme des BMZ) auf den Projektverlauf und dient dem unmittelbaren<br />

Zweck <strong>der</strong> Projektsteuerung. Schluss- und <strong>in</strong>sbeson<strong>der</strong>e Ex-post <strong>Evaluation</strong>en konnten<br />

sich <strong>in</strong> <strong>der</strong> <strong>deutschen</strong> EZ (mit Ausnahme <strong>der</strong> KfW) bisher kaum durchsetzen. Da das<br />

deutsche EZ-<strong>Evaluation</strong>ssystem vor allem auf <strong>in</strong>strumentelles Lernen ausgerichtet ist,<br />

f<strong>in</strong>den <strong>Evaluation</strong>sformen, die mehr dem konzeptionellen Lernen dienen, bisher noch<br />

nicht genügend Akzeptanz. (Vgl. die Ausführungen <strong>in</strong> Kapitel 4.2).<br />

Generell leidet das deutsche EZ-<strong>Evaluation</strong>ssystem an e<strong>in</strong>em Mangel an vergleichenden<br />

empirischen <strong>Evaluation</strong>en 50 , sowohl <strong>in</strong>nerhalb e<strong>in</strong>zelner Sektoren o<strong>der</strong> Län<strong>der</strong> als<br />

auch zwischen EZ-Organisationen. Diese von EZ-Experten immer wie<strong>der</strong> gefor<strong>der</strong>ten<br />

<strong>Evaluation</strong>sformen (vgl. Ex-Int 1, Ex-Int 4, Stockmann 2000) würden e<strong>in</strong>en erheblichen<br />

Erkenntnisnutzen mit sich br<strong>in</strong>gen, s<strong>in</strong>d jedoch aufwendig und schwieriger zu organisieren.<br />

Der Vergleich von ähnlichen Programmen verschiedener Durchführungsorganisationen<br />

würde geradezu e<strong>in</strong>en Tabubruch darstellen und wird von e<strong>in</strong>igen Vertretern <strong>der</strong> EZ-<br />

Organisationen mit dem Argument <strong>der</strong> nicht gegebenen Vergleichbarkeit strikt abgelehnt.<br />

Doch dies ist e<strong>in</strong>e Schutzbehauptung! <strong>Evaluation</strong>en, die Projekte <strong>der</strong> kirchlichen<br />

Organisationen, <strong>der</strong> politischen Stiftungen aber auch <strong>der</strong> staatlichen DO untere<strong>in</strong>an<strong>der</strong><br />

und sogar zwischen diesen Gruppierungen vergleichen, s<strong>in</strong>d möglich. Dies hat nicht<br />

zuletzt e<strong>in</strong>e schon Ende <strong>der</strong> 90er Jahre durchgeführte Wirkungsevaluation über die<br />

Berufsbildungszusammenarbeit <strong>in</strong> <strong>der</strong> VR Ch<strong>in</strong>a geprüft, bei <strong>der</strong> Projekte <strong>der</strong> GTZ mit<br />

solchen <strong>der</strong> HSS verglichen wurden (vgl. Stockmann, Meyer u.a. 2000).<br />

4.5 Partnerschaftlichkeit<br />

Wie im Abschnitt „Qualität“ dargelegt, ist die Umsetzung von <strong>Evaluation</strong>sergebnissen<br />

u.a. davon abhängig, ob und <strong>in</strong>wieweit die wichtigsten Stakehol<strong>der</strong> <strong>in</strong> die Planungs- und<br />

Berichtsphasen e<strong>in</strong>gebunden s<strong>in</strong>d. Hierzu zeigt diese <strong>Evaluation</strong> e<strong>in</strong> ernüchterndes Bild,<br />

das ke<strong>in</strong>e wesentlichen Än<strong>der</strong>ungen zu vorangegangenen Systemprüfungen erkennen<br />

lässt. Nach wie vor legen lediglich die kirchlichen EZ-Organisationen, Ci und DWHH<br />

auf e<strong>in</strong>e sehr hohe E<strong>in</strong>b<strong>in</strong>dung <strong>der</strong> Partnerorganisationen Wert. KfW und die meisten<br />

politischen Stiftungen stellen die an<strong>der</strong>e Seite des Spektrums dar, <strong>in</strong>dem sie ihre Partnerorganisationen<br />

kaum beteiligen, und zwar mit dem Argument, dass diese Gegenstand <strong>der</strong><br />

<strong>Evaluation</strong> seien. Dies erklärt allerd<strong>in</strong>gs nicht, warum <strong>in</strong> <strong>der</strong> Regel auch ke<strong>in</strong>e e<strong>in</strong>heimischen<br />

(lokalen) unabhängigen Gutachter e<strong>in</strong>gesetzt werden, wie dies bei den meisten<br />

an<strong>der</strong>en staatlichen wie nicht-staatlichen EZ-Organisationen <strong>der</strong> Fall ist.<br />

50 Jahresquerschnittsauswertungen, die nachträglich versuchen, nach bestimmten Kriterien zusammenfassende<br />

Vergleiche zu ziehen, fallen hier nicht darunter und wurden über Jahre vor allem von<br />

GTZ und KfW dazu genutzt, die Öffentlichkeit mit nicht nachvollziehbaren Erfolgsquoten ihrer<br />

EZ-Arbeit zu erstaunen (vgl. Stockmann 1993 und 1998).

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!