Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Die Qualität der Evaluationssysteme 163 dadurch hergestellt werden, dass der Leiter von BMZ-E beratendes (jedoch nicht stimmberechtigtes) Mitglied des Evaluationsbeirats ist. In Kombination mit Variante B sollte der Leiter der unabhängigen Evaluationsagentur beratendes (aber nicht stimmberechtigtes) Mitglied des Beirats sein. Der Evaluationsbeirat könnte wie im britischen Evaluationssystem vor allem strategische, qualitätssichernde und kontrollierende Funktionen wahrnehmen. Hierfür sollte er mit einem eigenen Evaluationsbudget ausgestattet werden, um selbst Evaluationen zu diesem Zweck in Auftrag geben zu können. Er sollte nicht nur auf die Informationen aus dem BMZ und seinen DO angewiesen sein, sondern in der Lage sein, Fragestellungen, die die Unabhängigkeit, Qualität und das Evaluationssystem an sich betreffen, untersuchen zu lassen. Inhaltlich motivierte Evaluationen (zu Themen, Instrumenten, Länderstrategien der EZ etc.) sollten nicht dazu gehören. Dies ist weiterhin die Aufgabe von BMZ-E. Ein besonderes Augenmerk sollte der Beirat auf die Weiterentwicklung des deutschen Evaluationssystems legen, um die in dieser Studie und vom DAC immer wieder dargelegten Defizite zu überwinden. Im einzelnen könnte der Evaluationsbeirat folgende Aufgaben übernehmen: Strategische Ausrichtung des Evaluationsprogramms der staatlichen EZ unter Berücksichtigung der zivilgesellschaftlichen Organisationen mit Hilfe staatlicher EZ- Mittel, Erarbeitung von Vorschlägen für die Weiterentwicklung des deutschen EZ- Evaluationssystems (staatlicher wie nicht-staatlicher Bereich), turnusmäßige Vorlage eines Berichts über die Weiterentwicklung des EZ- Evaluationssystems (z.B. alle fünf Jahre), turnusmäßige Vorlage eines unabhängigen Evaluationsberichts über die Wirksamkeit der deutschen EZ (z.B. zweijährig), turnusmäßige Vorlage eines unabhängigen Berichts über die Qualität der von den EZ- Organisationen (Durchführungsorganisationen und zivilgesellschaftlichen Organisationen) durchgeführten Evaluationen sowie die Nutzung der Evaluationsergebnisse (z.B. zwei- bis dreijährig). In einer Kombination mit Variante B könnte das unabhängige Evaluationsinstitut einerseits für die Entwicklungsaufgaben und andererseits für die unabhängige Qualitätskontrolle genutzt werden. In Kombination mit Variante A wären diese Aufgaben auszuschreiben und könnten von wechselnden unabhängigen Akteuren übernommen werden. Der Glaubwürdigkeitsgewinn, der durch die Schaffung einer unabhängigen Evaluationsagentur und/oder die Etablierung eines unabhängigen Evaluationsbeirats erzielt werden könnte, ist kaum zu überschätzen. Nach wie vor herrscht bei vielen Experten der EZ, der Politik und der Öffentlichkeit ein tiefes Misstrauen gegenüber den von EZ- Organisationen veröffentlichten Berichten, auch wenn diese von unabhängigen Gutachtern erstellt wurden. So äußerten etliche der im Rahmen der Evaluationsstudie befragten Experten zum Teil massive Zweifel an der Glaubwürdigkeit von Ergebnissen und der tatsächlichen Unabhängigkeit von Gutachtern. Alle befragten Wissenschaftler sowie eine Reihe der befragten Gutachter verwiesen auf Beeinflussungsversuche durch Auftraggeber, die sie selbst in der einen oder anderen Form erlebt haben (z.B. Ex-Int 1, Ex-Int 3, Ex-Int 6, Ex-Int 8). Dafür werden manchmal sogar die Empfindlichkeiten der Partneror-
164 Axel Borrmann & Reinhard Stockmann ganisationen verantwortlich gemacht, obwohl diese doch in den meisten Fällen gar keinen Evaluationsbericht in Landessprache erhalten: „Formulierungen werden (von den Auftraggebern) massiv beeinflusst, oft mit dem Hinweis auf die Partner, die eine herbe Kritik nicht vertragen könnten, so dass die Harmonie vor Ort gestört würde“ (Ex-Int 5). Andere geben zu bedenken, dass Gefälligkeitsgutachten zwar nicht die Regel sind, aber die Abhängigkeitsverhältnisse der Gutachter Anlass zur Sorge geben (Ex-Int 4). Allerdings wiesen einige der befragten Gutachter im Unterschied dazu darauf hin, dass sie „meist sehr unabhängig evaluieren“ können (Ex-Int 9, Ex-Int 7). Aber auch diese Gutachter wussten von Fällen zu berichten, in denen Gutachter wegen kritischer Berichte keine weiteren Aufträge mehr bekommen haben (Ex-Int 9, Ex-Int 7). Die Frage, welche der hier nur skizzenhaft entworfenen Varianten in welcher Kombination und Ausprägung verwirklicht werden sollten, müsste einer eingehenden Prüfung auf der Basis des vorliegenden Berichts unterzogen werden, um die Vor- und Nachteile sowie politischen Umsetzungschancen genau abzuwägen. Die im Rahmen der Studie durchgeführten Interviews geben Anlass zu der Vermutung, dass die Veränderungsbereitschaft bei den zentralen Akteuren vor dem Hintergrund eines großen Handlungsdrucks derzeit relativ hoch einzuschätzen ist. So verlangen nicht nur die Paris Declaration und zahlreiche weitere Abkommen einen grundlegenden Wandel der Evaluation, sondern auch der DAC, der in seinem neuesten Prüfbericht über die deutsche EZ (DAC 2006) zwar die großen individuellen Anstrengungen zum Aufbau von Evaluierungssystemen positiv hervorhebt, aber die schon im Prüfbericht von 2001 aufgeworfene Frage „inwieweit dieses lose koordinierte Netzwerk der Erfolgskontrolle zusammengeführt werden kann, um den kollektiven Lernprozess und ein effektiveres EZ-Management auf Systemebene zu fördern“ (DAC 2006: 69) nach wie vor für unbeantwortet hält. Letztlich spiegelt diese Parzellierung des deutschen EZ-Evaluierungssystems ja nur die Segmentierung der deutschen EZ wider sowie die Schieflage zwischen BMZ und seinen DO, die bereits zu grundlegenden Überlegungen einer Institutionenreform führten. Die Frage ist deshalb genereller Natur, nämlich ob überhaupt eine grundlegende Systementwicklung im Bereich Evaluation möglich ist, bevor eine Institutionenreform durchgeführt wurde. Die hier skizzierten Varianten bieten jedenfalls Handlungschancen, die es nach genauer Prüfung angesichts des Reformbedarfs des deutschen EZ-Evaluationssystems und einer insgesamt eher positiven Reformstimmung von politischer Seite rasch zu nutzen gilt.
- Seite 113 und 114: 112 Axel Borrmann & Reinhard Stockm
- Seite 115 und 116: 114 Axel Borrmann & Reinhard Stockm
- Seite 117 und 118: 116 Axel Borrmann & Reinhard Stockm
- Seite 119 und 120: 118 Axel Borrmann & Reinhard Stockm
- Seite 121 und 122: 120 Axel Borrmann & Reinhard Stockm
- Seite 123 und 124: 122 Axel Borrmann & Reinhard Stockm
- Seite 125 und 126: 124 Axel Borrmann & Reinhard Stockm
- Seite 127 und 128: 126 Axel Borrmann & Reinhard Stockm
- Seite 129 und 130: 128 Axel Borrmann & Reinhard Stockm
- Seite 131 und 132: 130 Axel Borrmann & Reinhard Stockm
- Seite 133 und 134: 132 Axel Borrmann & Reinhard Stockm
- Seite 135 und 136: 134 Axel Borrmann & Reinhard Stockm
- Seite 137 und 138: 136 Axel Borrmann & Reinhard Stockm
- Seite 139 und 140: 138 Axel Borrmann & Reinhard Stockm
- Seite 141 und 142: 140 Axel Borrmann & Reinhard Stockm
- Seite 143 und 144: 142 Axel Borrmann & Reinhard Stockm
- Seite 146 und 147: Die Qualität der Evaluationssystem
- Seite 148 und 149: Die Qualität der Evaluationssystem
- Seite 150 und 151: Die Qualität der Evaluationssystem
- Seite 152 und 153: Die Qualität der Evaluationssystem
- Seite 154 und 155: Die Qualität der Evaluationssystem
- Seite 156 und 157: Die Qualität der Evaluationssystem
- Seite 158 und 159: Die Qualität der Evaluationssystem
- Seite 160 und 161: Die Qualität der Evaluationssystem
- Seite 162 und 163: Die Qualität der Evaluationssystem
- Seite 166 und 167: Empfehlungen zur Reform der Evaluat
- Seite 168 und 169: Empfehlungen zur Reform der Evaluat
- Seite 170: Empfehlungen zur Reform der Evaluat
- Seite 173 und 174: 172 Axel Borrmann & Reinhard Stockm
- Seite 175 und 176: 174 Axel Borrmann & Reinhard Stockm
- Seite 177 und 178: 176 Axel Borrmann & Reinhard Stockm
- Seite 179 und 180: 178 Axel Borrmann & Reinhard Stockm
- Seite 181 und 182: 180 Axel Borrmann & Reinhard Stockm
- Seite 183 und 184: 182 Axel Borrmann & Reinhard Stockm
- Seite 185 und 186: 184 Axel Borrmann & Reinhard Stockm
- Seite 187 und 188: 186 Axel Borrmann & Reinhard Stockm
- Seite 189 und 190: 188 Axel Borrmann & Reinhard Stockm
- Seite 191 und 192: 190 Axel Borrmann & Reinhard Stockm
- Seite 193 und 194: 192 Axel Borrmann & Reinhard Stockm
- Seite 195 und 196: 194 Axel Borrmann & Reinhard Stockm
- Seite 197 und 198: 196 Axel Borrmann & Reinhard Stockm
- Seite 199 und 200: 198 Axel Borrmann & Reinhard Stockm
- Seite 201 und 202: 200 Axel Borrmann & Reinhard Stockm
- Seite 203 und 204: 202 Axel Borrmann & Reinhard Stockm
- Seite 205 und 206: 204 Axel Borrmann & Reinhard Stockm
- Seite 207 und 208: 206 Axel Borrmann & Reinhard Stockm
- Seite 209 und 210: 208 Axel Borrmann & Reinhard Stockm
- Seite 211 und 212: 210 Axel Borrmann & Reinhard Stockm
- Seite 213 und 214: 212 Die Autoren der Systemprüfung
164 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />
ganisationen verantwortlich gemacht, obwohl diese doch <strong>in</strong> den meisten Fällen gar<br />
ke<strong>in</strong>en <strong>Evaluation</strong>sbericht <strong>in</strong> Landessprache erhalten: „Formulierungen werden (von den<br />
Auftraggebern) massiv bee<strong>in</strong>flusst, oft mit dem H<strong>in</strong>weis auf die Partner, die e<strong>in</strong>e herbe<br />
Kritik nicht vertragen könnten, so dass die Harmonie vor Ort gestört würde“ (Ex-Int 5).<br />
An<strong>der</strong>e geben zu bedenken, dass Gefälligkeitsgutachten zwar nicht die Regel s<strong>in</strong>d, aber<br />
die Abhängigkeitsverhältnisse <strong>der</strong> Gutachter Anlass zur Sorge geben (Ex-Int 4). Allerd<strong>in</strong>gs<br />
wiesen e<strong>in</strong>ige <strong>der</strong> befragten Gutachter im Unterschied dazu darauf h<strong>in</strong>, dass sie<br />
„meist sehr unabhängig evaluieren“ können (Ex-Int 9, Ex-Int 7). Aber auch diese Gutachter<br />
wussten von Fällen zu berichten, <strong>in</strong> denen Gutachter wegen kritischer Berichte<br />
ke<strong>in</strong>e weiteren Aufträge mehr bekommen haben (Ex-Int 9, Ex-Int 7).<br />
Die Frage, welche <strong>der</strong> hier nur skizzenhaft entworfenen Varianten <strong>in</strong> welcher Komb<strong>in</strong>ation<br />
und Ausprägung verwirklicht werden sollten, müsste e<strong>in</strong>er e<strong>in</strong>gehenden Prüfung<br />
auf <strong>der</strong> Basis des vorliegenden Berichts unterzogen werden, um die Vor- und Nachteile<br />
sowie politischen Umsetzungschancen genau abzuwägen. Die im Rahmen <strong>der</strong> Studie<br />
durchgeführten Interviews geben Anlass zu <strong>der</strong> Vermutung, dass die Verän<strong>der</strong>ungsbereitschaft<br />
bei den zentralen Akteuren vor dem H<strong>in</strong>tergrund e<strong>in</strong>es großen Handlungsdrucks<br />
<strong>der</strong>zeit relativ hoch e<strong>in</strong>zuschätzen ist. So verlangen nicht nur die Paris Declaration<br />
und zahlreiche weitere Abkommen e<strong>in</strong>en grundlegenden Wandel <strong>der</strong> <strong>Evaluation</strong>, son<strong>der</strong>n<br />
auch <strong>der</strong> DAC, <strong>der</strong> <strong>in</strong> se<strong>in</strong>em neuesten Prüfbericht über die deutsche EZ (DAC 2006)<br />
zwar die großen <strong>in</strong>dividuellen Anstrengungen zum Aufbau von Evaluierungssystemen<br />
positiv hervorhebt, aber die schon im Prüfbericht von 2001 aufgeworfene Frage „<strong>in</strong>wieweit<br />
dieses lose koord<strong>in</strong>ierte Netzwerk <strong>der</strong> Erfolgskontrolle zusammengeführt werden<br />
kann, um den kollektiven Lernprozess und e<strong>in</strong> effektiveres EZ-Management auf Systemebene<br />
zu för<strong>der</strong>n“ (DAC 2006: 69) nach wie vor für unbeantwortet hält.<br />
Letztlich spiegelt diese Parzellierung des <strong>deutschen</strong> EZ-Evaluierungssystems ja nur<br />
die Segmentierung <strong>der</strong> <strong>deutschen</strong> EZ wi<strong>der</strong> sowie die Schieflage zwischen BMZ und<br />
se<strong>in</strong>en DO, die bereits zu grundlegenden Überlegungen e<strong>in</strong>er Institutionenreform führten.<br />
Die Frage ist deshalb genereller Natur, nämlich ob überhaupt e<strong>in</strong>e grundlegende Systementwicklung<br />
im Bereich <strong>Evaluation</strong> möglich ist, bevor e<strong>in</strong>e Institutionenreform durchgeführt<br />
wurde.<br />
Die hier skizzierten Varianten bieten jedenfalls Handlungschancen, die es nach genauer<br />
Prüfung angesichts des Reformbedarfs des <strong>deutschen</strong> EZ-<strong>Evaluation</strong>ssystems und<br />
e<strong>in</strong>er <strong>in</strong>sgesamt eher positiven Reformstimmung von politischer Seite rasch zu nutzen<br />
gilt.