Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Die Qualität der Evaluationssysteme 155 vor allem EZ-Erfahrung zählt. Da in den meisten der untersuchten Organisationen Personalrotation vorgesehen ist, ist das Kompetenzniveau, das in einem Referat vorherrscht, einem ständigen Wechsel unterworfen. Über die Zeit hinweg in der Evaluation „gereifte“ und damit mit den Anforderungen und Aufgaben der Evaluation vertraute Personen werden immer wieder durch Newcomer ersetzt. Da für eine systematische Weiterbildung vor Dienstantritt und allzu oft auch danach kaum Zeit bleibt, kann es lange dauern, bis ein hohes Kompetenzniveau erreicht wird. Das nationale wie internationale Weiterbildungsangebot wird von vielen EZ-Organisationen nicht ausreichend genutzt. Die meisten EZ-Organisationen setzen in ihren Evaluationen auch externe Experten ein. Bei der Rekrutierung wird auf eine Vielzahl von Qualifikationen Wert gelegt. Doch intensive Methoden- und Evaluationskenntnisse werden nur von wenigen EZ- Organisationen explizit gefordert. Statt dessen wird Wert auf EZ- und Evaluationserfahrung gelegt. Dieses Vorgehen ist mit der derzeit vorhandenen Evaluationspraxis durchaus systemkonform, da anspruchsvollere Untersuchungsdesigns und Erhebungsmethoden quantitativer wie qualitativer Art noch die Ausnahme sind. Ein Indiz dafür ist auch, welche Bedeutung dem Inception Report im Rahmen einer Evaluation zugemessen wird. Ein solcher wird bisher nur von BMZ und GTZ regelmäßig verlangt. Allerdings dürfte sich dies mit der Zeit ändern. Wenn die Evaluation die an sie gestellten Anforderungen in Zukunft adäquat bewältigen soll, muss auch das Anspruchsniveau an die Gutachter steigen. Für die Unabhängigkeit und Glaubwürdigkeit eines Evaluationssystems ist der Einsatz kompetenter externer Gutachter von großer Bedeutung. Fast alle Organisationen nutzen die Expertise von externen Fachkräften, allerdings ohne ihnen immer auch die volle Berichtsverantwortung zuzubilligen (so z.B. die KfW). Insbesondere in den Organisationen, in denen Evaluation stark dezentral organisiert ist, findet häufig keine Qualitätssicherung der Gutachtereinsätze durch die Evaluationseinheiten statt. Da es bei den meisten Evaluationsaufträgen um niedrige Auftragssummen geht, können sie freihändig an einzelne Gutachter vergeben werden. Für die Qualität des Systems wäre es jedoch vorteilhaft, wenn Ausschreibungen kompetitiv vorgenommen würden. GTZ und teilweise auch BMZ beschreiten diesen Weg zunehmend. Die Prozessqualität, also die Qualität der Planungs- und Durchführungsprozesse stellt ein weiteres wichtiges Merkmal für ein qualitativ hochwertiges Evaluationssystem dar. Auch hierzu liefert die Untersuchung ein recht heterogenes Bild. Das Gros der von den evaluierten Organisationen durchgeführten Evaluationen leitet sich aus dem Projektverlauf und seinen Notwendigkeiten ab und wird häufig von den operativen Einheiten veranlasst. Den projektübergreifenden und Ex-post Evaluationen liegen in der Regel diskretionäre Entscheidungen und eine selektive Auswahl zugrunde und sind nicht repräsentativ. Positiv hervorzuheben ist, dass fast alle Organisationen über Handreichungen, Arbeitshilfen und Formulare für die Strukturierung der Planungs- und Ablaufprozesse verfügen. Negativ wirkt sich aus, dass in vielen Organisationen die Qualitätssicherung (zu der auch die Überprüfung der Einhaltung der Regeln gehört) stark zersplittert ist; insbesondere dann, wenn die Evaluation dezentral organisiert ist, was überwiegend der Fall ist. Nur im BMZ ist das Evaluationsreferat für die Durchführung und Qualitätssicherung aller Evaluationen zuständig (die gilt weitgehend auch für die KfW und zum Teil die GTZ). Bei den nicht-staatlichen Organisationen sind jedoch bis auf wenige Ausnah-
156 Axel Borrmann & Reinhard Stockmann men die operativen Einheiten selbst für die Qualitätssicherung von Evaluation verantwortlich. Dadurch kann jedoch keine einheitliche Qualitätssicherung betrieben werden. Über die Evaluationsdichte liegen den einzelnen EZ-Organisationen kaum fundierte Daten vor, was zum Teil mit dem dezentralen Charakter der Evaluation in vielen Organisationen zu tun hat. Der überwiegende Anteil von allen durchgeführten Evaluationen bezieht sich (mit Ausnahme des BMZ) auf den Projektverlauf und dient dem unmittelbaren Zweck der Projektsteuerung. Schluss- und insbesondere Ex-post Evaluationen konnten sich in der deutschen EZ (mit Ausnahme der KfW) bisher kaum durchsetzen. Da das deutsche EZ-Evaluationssystem vor allem auf instrumentelles Lernen ausgerichtet ist, finden Evaluationsformen, die mehr dem konzeptionellen Lernen dienen, bisher noch nicht genügend Akzeptanz. (Vgl. die Ausführungen in Kapitel 4.2). Generell leidet das deutsche EZ-Evaluationssystem an einem Mangel an vergleichenden empirischen Evaluationen 50 , sowohl innerhalb einzelner Sektoren oder Länder als auch zwischen EZ-Organisationen. Diese von EZ-Experten immer wieder geforderten Evaluationsformen (vgl. Ex-Int 1, Ex-Int 4, Stockmann 2000) würden einen erheblichen Erkenntnisnutzen mit sich bringen, sind jedoch aufwendig und schwieriger zu organisieren. Der Vergleich von ähnlichen Programmen verschiedener Durchführungsorganisationen würde geradezu einen Tabubruch darstellen und wird von einigen Vertretern der EZ- Organisationen mit dem Argument der nicht gegebenen Vergleichbarkeit strikt abgelehnt. Doch dies ist eine Schutzbehauptung! Evaluationen, die Projekte der kirchlichen Organisationen, der politischen Stiftungen aber auch der staatlichen DO untereinander und sogar zwischen diesen Gruppierungen vergleichen, sind möglich. Dies hat nicht zuletzt eine schon Ende der 90er Jahre durchgeführte Wirkungsevaluation über die Berufsbildungszusammenarbeit in der VR China geprüft, bei der Projekte der GTZ mit solchen der HSS verglichen wurden (vgl. Stockmann, Meyer u.a. 2000). 4.5 Partnerschaftlichkeit Wie im Abschnitt „Qualität“ dargelegt, ist die Umsetzung von Evaluationsergebnissen u.a. davon abhängig, ob und inwieweit die wichtigsten Stakeholder in die Planungs- und Berichtsphasen eingebunden sind. Hierzu zeigt diese Evaluation ein ernüchterndes Bild, das keine wesentlichen Änderungen zu vorangegangenen Systemprüfungen erkennen lässt. Nach wie vor legen lediglich die kirchlichen EZ-Organisationen, Ci und DWHH auf eine sehr hohe Einbindung der Partnerorganisationen Wert. KfW und die meisten politischen Stiftungen stellen die andere Seite des Spektrums dar, indem sie ihre Partnerorganisationen kaum beteiligen, und zwar mit dem Argument, dass diese Gegenstand der Evaluation seien. Dies erklärt allerdings nicht, warum in der Regel auch keine einheimischen (lokalen) unabhängigen Gutachter eingesetzt werden, wie dies bei den meisten anderen staatlichen wie nicht-staatlichen EZ-Organisationen der Fall ist. 50 Jahresquerschnittsauswertungen, die nachträglich versuchen, nach bestimmten Kriterien zusammenfassende Vergleiche zu ziehen, fallen hier nicht darunter und wurden über Jahre vor allem von GTZ und KfW dazu genutzt, die Öffentlichkeit mit nicht nachvollziehbaren Erfolgsquoten ihrer EZ-Arbeit zu erstaunen (vgl. Stockmann 1993 und 1998).
- Seite 105 und 106: 104 Axel Borrmann & Reinhard Stockm
- Seite 107 und 108: 106 Axel Borrmann & Reinhard Stockm
- Seite 109 und 110: 108 Axel Borrmann & Reinhard Stockm
- Seite 111 und 112: 110 Axel Borrmann & Reinhard Stockm
- Seite 113 und 114: 112 Axel Borrmann & Reinhard Stockm
- Seite 115 und 116: 114 Axel Borrmann & Reinhard Stockm
- Seite 117 und 118: 116 Axel Borrmann & Reinhard Stockm
- Seite 119 und 120: 118 Axel Borrmann & Reinhard Stockm
- Seite 121 und 122: 120 Axel Borrmann & Reinhard Stockm
- Seite 123 und 124: 122 Axel Borrmann & Reinhard Stockm
- Seite 125 und 126: 124 Axel Borrmann & Reinhard Stockm
- Seite 127 und 128: 126 Axel Borrmann & Reinhard Stockm
- Seite 129 und 130: 128 Axel Borrmann & Reinhard Stockm
- Seite 131 und 132: 130 Axel Borrmann & Reinhard Stockm
- Seite 133 und 134: 132 Axel Borrmann & Reinhard Stockm
- Seite 135 und 136: 134 Axel Borrmann & Reinhard Stockm
- Seite 137 und 138: 136 Axel Borrmann & Reinhard Stockm
- Seite 139 und 140: 138 Axel Borrmann & Reinhard Stockm
- Seite 141 und 142: 140 Axel Borrmann & Reinhard Stockm
- Seite 143 und 144: 142 Axel Borrmann & Reinhard Stockm
- Seite 146 und 147: Die Qualität der Evaluationssystem
- Seite 148 und 149: Die Qualität der Evaluationssystem
- Seite 150 und 151: Die Qualität der Evaluationssystem
- Seite 152 und 153: Die Qualität der Evaluationssystem
- Seite 154 und 155: Die Qualität der Evaluationssystem
- Seite 158 und 159: Die Qualität der Evaluationssystem
- Seite 160 und 161: Die Qualität der Evaluationssystem
- Seite 162 und 163: Die Qualität der Evaluationssystem
- Seite 164 und 165: Die Qualität der Evaluationssystem
- Seite 166 und 167: Empfehlungen zur Reform der Evaluat
- Seite 168 und 169: Empfehlungen zur Reform der Evaluat
- Seite 170: Empfehlungen zur Reform der Evaluat
- Seite 173 und 174: 172 Axel Borrmann & Reinhard Stockm
- Seite 175 und 176: 174 Axel Borrmann & Reinhard Stockm
- Seite 177 und 178: 176 Axel Borrmann & Reinhard Stockm
- Seite 179 und 180: 178 Axel Borrmann & Reinhard Stockm
- Seite 181 und 182: 180 Axel Borrmann & Reinhard Stockm
- Seite 183 und 184: 182 Axel Borrmann & Reinhard Stockm
- Seite 185 und 186: 184 Axel Borrmann & Reinhard Stockm
- Seite 187 und 188: 186 Axel Borrmann & Reinhard Stockm
- Seite 189 und 190: 188 Axel Borrmann & Reinhard Stockm
- Seite 191 und 192: 190 Axel Borrmann & Reinhard Stockm
- Seite 193 und 194: 192 Axel Borrmann & Reinhard Stockm
- Seite 195 und 196: 194 Axel Borrmann & Reinhard Stockm
- Seite 197 und 198: 196 Axel Borrmann & Reinhard Stockm
- Seite 199 und 200: 198 Axel Borrmann & Reinhard Stockm
- Seite 201 und 202: 200 Axel Borrmann & Reinhard Stockm
- Seite 203 und 204: 202 Axel Borrmann & Reinhard Stockm
- Seite 205 und 206: 204 Axel Borrmann & Reinhard Stockm
156 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />
men die operativen E<strong>in</strong>heiten selbst für die Qualitätssicherung von <strong>Evaluation</strong> verantwortlich.<br />
Dadurch kann jedoch ke<strong>in</strong>e e<strong>in</strong>heitliche Qualitätssicherung betrieben werden.<br />
Über die <strong>Evaluation</strong>sdichte liegen den e<strong>in</strong>zelnen EZ-Organisationen kaum fundierte<br />
Daten vor, was zum Teil mit dem dezentralen Charakter <strong>der</strong> <strong>Evaluation</strong> <strong>in</strong> vielen Organisationen<br />
zu tun hat. Der überwiegende Anteil von allen durchgeführten <strong>Evaluation</strong>en<br />
bezieht sich (mit Ausnahme des BMZ) auf den Projektverlauf und dient dem unmittelbaren<br />
Zweck <strong>der</strong> Projektsteuerung. Schluss- und <strong>in</strong>sbeson<strong>der</strong>e Ex-post <strong>Evaluation</strong>en konnten<br />
sich <strong>in</strong> <strong>der</strong> <strong>deutschen</strong> EZ (mit Ausnahme <strong>der</strong> KfW) bisher kaum durchsetzen. Da das<br />
deutsche EZ-<strong>Evaluation</strong>ssystem vor allem auf <strong>in</strong>strumentelles Lernen ausgerichtet ist,<br />
f<strong>in</strong>den <strong>Evaluation</strong>sformen, die mehr dem konzeptionellen Lernen dienen, bisher noch<br />
nicht genügend Akzeptanz. (Vgl. die Ausführungen <strong>in</strong> Kapitel 4.2).<br />
Generell leidet das deutsche EZ-<strong>Evaluation</strong>ssystem an e<strong>in</strong>em Mangel an vergleichenden<br />
empirischen <strong>Evaluation</strong>en 50 , sowohl <strong>in</strong>nerhalb e<strong>in</strong>zelner Sektoren o<strong>der</strong> Län<strong>der</strong> als<br />
auch zwischen EZ-Organisationen. Diese von EZ-Experten immer wie<strong>der</strong> gefor<strong>der</strong>ten<br />
<strong>Evaluation</strong>sformen (vgl. Ex-Int 1, Ex-Int 4, Stockmann 2000) würden e<strong>in</strong>en erheblichen<br />
Erkenntnisnutzen mit sich br<strong>in</strong>gen, s<strong>in</strong>d jedoch aufwendig und schwieriger zu organisieren.<br />
Der Vergleich von ähnlichen Programmen verschiedener Durchführungsorganisationen<br />
würde geradezu e<strong>in</strong>en Tabubruch darstellen und wird von e<strong>in</strong>igen Vertretern <strong>der</strong> EZ-<br />
Organisationen mit dem Argument <strong>der</strong> nicht gegebenen Vergleichbarkeit strikt abgelehnt.<br />
Doch dies ist e<strong>in</strong>e Schutzbehauptung! <strong>Evaluation</strong>en, die Projekte <strong>der</strong> kirchlichen<br />
Organisationen, <strong>der</strong> politischen Stiftungen aber auch <strong>der</strong> staatlichen DO untere<strong>in</strong>an<strong>der</strong><br />
und sogar zwischen diesen Gruppierungen vergleichen, s<strong>in</strong>d möglich. Dies hat nicht<br />
zuletzt e<strong>in</strong>e schon Ende <strong>der</strong> 90er Jahre durchgeführte Wirkungsevaluation über die<br />
Berufsbildungszusammenarbeit <strong>in</strong> <strong>der</strong> VR Ch<strong>in</strong>a geprüft, bei <strong>der</strong> Projekte <strong>der</strong> GTZ mit<br />
solchen <strong>der</strong> HSS verglichen wurden (vgl. Stockmann, Meyer u.a. 2000).<br />
4.5 Partnerschaftlichkeit<br />
Wie im Abschnitt „Qualität“ dargelegt, ist die Umsetzung von <strong>Evaluation</strong>sergebnissen<br />
u.a. davon abhängig, ob und <strong>in</strong>wieweit die wichtigsten Stakehol<strong>der</strong> <strong>in</strong> die Planungs- und<br />
Berichtsphasen e<strong>in</strong>gebunden s<strong>in</strong>d. Hierzu zeigt diese <strong>Evaluation</strong> e<strong>in</strong> ernüchterndes Bild,<br />
das ke<strong>in</strong>e wesentlichen Än<strong>der</strong>ungen zu vorangegangenen Systemprüfungen erkennen<br />
lässt. Nach wie vor legen lediglich die kirchlichen EZ-Organisationen, Ci und DWHH<br />
auf e<strong>in</strong>e sehr hohe E<strong>in</strong>b<strong>in</strong>dung <strong>der</strong> Partnerorganisationen Wert. KfW und die meisten<br />
politischen Stiftungen stellen die an<strong>der</strong>e Seite des Spektrums dar, <strong>in</strong>dem sie ihre Partnerorganisationen<br />
kaum beteiligen, und zwar mit dem Argument, dass diese Gegenstand <strong>der</strong><br />
<strong>Evaluation</strong> seien. Dies erklärt allerd<strong>in</strong>gs nicht, warum <strong>in</strong> <strong>der</strong> Regel auch ke<strong>in</strong>e e<strong>in</strong>heimischen<br />
(lokalen) unabhängigen Gutachter e<strong>in</strong>gesetzt werden, wie dies bei den meisten<br />
an<strong>der</strong>en staatlichen wie nicht-staatlichen EZ-Organisationen <strong>der</strong> Fall ist.<br />
50 Jahresquerschnittsauswertungen, die nachträglich versuchen, nach bestimmten Kriterien zusammenfassende<br />
Vergleiche zu ziehen, fallen hier nicht darunter und wurden über Jahre vor allem von<br />
GTZ und KfW dazu genutzt, die Öffentlichkeit mit nicht nachvollziehbaren Erfolgsquoten ihrer<br />
EZ-Arbeit zu erstaunen (vgl. Stockmann 1993 und 1998).