Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Die Qualität der Evaluationssysteme 163 dadurch hergestellt werden, dass der Leiter von BMZ-E beratendes (jedoch nicht stimmberechtigtes) Mitglied des Evaluationsbeirats ist. In Kombination mit Variante B sollte der Leiter der unabhängigen Evaluationsagentur beratendes (aber nicht stimmberechtigtes) Mitglied des Beirats sein. Der Evaluationsbeirat könnte wie im britischen Evaluationssystem vor allem strategische, qualitätssichernde und kontrollierende Funktionen wahrnehmen. Hierfür sollte er mit einem eigenen Evaluationsbudget ausgestattet werden, um selbst Evaluationen zu diesem Zweck in Auftrag geben zu können. Er sollte nicht nur auf die Informationen aus dem BMZ und seinen DO angewiesen sein, sondern in der Lage sein, Fragestellungen, die die Unabhängigkeit, Qualität und das Evaluationssystem an sich betreffen, untersuchen zu lassen. Inhaltlich motivierte Evaluationen (zu Themen, Instrumenten, Länderstrategien der EZ etc.) sollten nicht dazu gehören. Dies ist weiterhin die Aufgabe von BMZ-E. Ein besonderes Augenmerk sollte der Beirat auf die Weiterentwicklung des deutschen Evaluationssystems legen, um die in dieser Studie und vom DAC immer wieder dargelegten Defizite zu überwinden. Im einzelnen könnte der Evaluationsbeirat folgende Aufgaben übernehmen: Strategische Ausrichtung des Evaluationsprogramms der staatlichen EZ unter Berücksichtigung der zivilgesellschaftlichen Organisationen mit Hilfe staatlicher EZ- Mittel, Erarbeitung von Vorschlägen für die Weiterentwicklung des deutschen EZ- Evaluationssystems (staatlicher wie nicht-staatlicher Bereich), turnusmäßige Vorlage eines Berichts über die Weiterentwicklung des EZ- Evaluationssystems (z.B. alle fünf Jahre), turnusmäßige Vorlage eines unabhängigen Evaluationsberichts über die Wirksamkeit der deutschen EZ (z.B. zweijährig), turnusmäßige Vorlage eines unabhängigen Berichts über die Qualität der von den EZ- Organisationen (Durchführungsorganisationen und zivilgesellschaftlichen Organisationen) durchgeführten Evaluationen sowie die Nutzung der Evaluationsergebnisse (z.B. zwei- bis dreijährig). In einer Kombination mit Variante B könnte das unabhängige Evaluationsinstitut einerseits für die Entwicklungsaufgaben und andererseits für die unabhängige Qualitätskontrolle genutzt werden. In Kombination mit Variante A wären diese Aufgaben auszuschreiben und könnten von wechselnden unabhängigen Akteuren übernommen werden. Der Glaubwürdigkeitsgewinn, der durch die Schaffung einer unabhängigen Evaluationsagentur und/oder die Etablierung eines unabhängigen Evaluationsbeirats erzielt werden könnte, ist kaum zu überschätzen. Nach wie vor herrscht bei vielen Experten der EZ, der Politik und der Öffentlichkeit ein tiefes Misstrauen gegenüber den von EZ- Organisationen veröffentlichten Berichten, auch wenn diese von unabhängigen Gutachtern erstellt wurden. So äußerten etliche der im Rahmen der Evaluationsstudie befragten Experten zum Teil massive Zweifel an der Glaubwürdigkeit von Ergebnissen und der tatsächlichen Unabhängigkeit von Gutachtern. Alle befragten Wissenschaftler sowie eine Reihe der befragten Gutachter verwiesen auf Beeinflussungsversuche durch Auftraggeber, die sie selbst in der einen oder anderen Form erlebt haben (z.B. Ex-Int 1, Ex-Int 3, Ex-Int 6, Ex-Int 8). Dafür werden manchmal sogar die Empfindlichkeiten der Partneror-

164 Axel Borrmann & Reinhard Stockmann ganisationen verantwortlich gemacht, obwohl diese doch in den meisten Fällen gar keinen Evaluationsbericht in Landessprache erhalten: „Formulierungen werden (von den Auftraggebern) massiv beeinflusst, oft mit dem Hinweis auf die Partner, die eine herbe Kritik nicht vertragen könnten, so dass die Harmonie vor Ort gestört würde“ (Ex-Int 5). Andere geben zu bedenken, dass Gefälligkeitsgutachten zwar nicht die Regel sind, aber die Abhängigkeitsverhältnisse der Gutachter Anlass zur Sorge geben (Ex-Int 4). Allerdings wiesen einige der befragten Gutachter im Unterschied dazu darauf hin, dass sie „meist sehr unabhängig evaluieren“ können (Ex-Int 9, Ex-Int 7). Aber auch diese Gutachter wussten von Fällen zu berichten, in denen Gutachter wegen kritischer Berichte keine weiteren Aufträge mehr bekommen haben (Ex-Int 9, Ex-Int 7). Die Frage, welche der hier nur skizzenhaft entworfenen Varianten in welcher Kombination und Ausprägung verwirklicht werden sollten, müsste einer eingehenden Prüfung auf der Basis des vorliegenden Berichts unterzogen werden, um die Vor- und Nachteile sowie politischen Umsetzungschancen genau abzuwägen. Die im Rahmen der Studie durchgeführten Interviews geben Anlass zu der Vermutung, dass die Veränderungsbereitschaft bei den zentralen Akteuren vor dem Hintergrund eines großen Handlungsdrucks derzeit relativ hoch einzuschätzen ist. So verlangen nicht nur die Paris Declaration und zahlreiche weitere Abkommen einen grundlegenden Wandel der Evaluation, sondern auch der DAC, der in seinem neuesten Prüfbericht über die deutsche EZ (DAC 2006) zwar die großen individuellen Anstrengungen zum Aufbau von Evaluierungssystemen positiv hervorhebt, aber die schon im Prüfbericht von 2001 aufgeworfene Frage „inwieweit dieses lose koordinierte Netzwerk der Erfolgskontrolle zusammengeführt werden kann, um den kollektiven Lernprozess und ein effektiveres EZ-Management auf Systemebene zu fördern“ (DAC 2006: 69) nach wie vor für unbeantwortet hält. Letztlich spiegelt diese Parzellierung des deutschen EZ-Evaluierungssystems ja nur die Segmentierung der deutschen EZ wider sowie die Schieflage zwischen BMZ und seinen DO, die bereits zu grundlegenden Überlegungen einer Institutionenreform führten. Die Frage ist deshalb genereller Natur, nämlich ob überhaupt eine grundlegende Systementwicklung im Bereich Evaluation möglich ist, bevor eine Institutionenreform durchgeführt wurde. Die hier skizzierten Varianten bieten jedenfalls Handlungschancen, die es nach genauer Prüfung angesichts des Reformbedarfs des deutschen EZ-Evaluationssystems und einer insgesamt eher positiven Reformstimmung von politischer Seite rasch zu nutzen gilt.

164 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />

ganisationen verantwortlich gemacht, obwohl diese doch <strong>in</strong> den meisten Fällen gar<br />

ke<strong>in</strong>en <strong>Evaluation</strong>sbericht <strong>in</strong> Landessprache erhalten: „Formulierungen werden (von den<br />

Auftraggebern) massiv bee<strong>in</strong>flusst, oft mit dem H<strong>in</strong>weis auf die Partner, die e<strong>in</strong>e herbe<br />

Kritik nicht vertragen könnten, so dass die Harmonie vor Ort gestört würde“ (Ex-Int 5).<br />

An<strong>der</strong>e geben zu bedenken, dass Gefälligkeitsgutachten zwar nicht die Regel s<strong>in</strong>d, aber<br />

die Abhängigkeitsverhältnisse <strong>der</strong> Gutachter Anlass zur Sorge geben (Ex-Int 4). Allerd<strong>in</strong>gs<br />

wiesen e<strong>in</strong>ige <strong>der</strong> befragten Gutachter im Unterschied dazu darauf h<strong>in</strong>, dass sie<br />

„meist sehr unabhängig evaluieren“ können (Ex-Int 9, Ex-Int 7). Aber auch diese Gutachter<br />

wussten von Fällen zu berichten, <strong>in</strong> denen Gutachter wegen kritischer Berichte<br />

ke<strong>in</strong>e weiteren Aufträge mehr bekommen haben (Ex-Int 9, Ex-Int 7).<br />

Die Frage, welche <strong>der</strong> hier nur skizzenhaft entworfenen Varianten <strong>in</strong> welcher Komb<strong>in</strong>ation<br />

und Ausprägung verwirklicht werden sollten, müsste e<strong>in</strong>er e<strong>in</strong>gehenden Prüfung<br />

auf <strong>der</strong> Basis des vorliegenden Berichts unterzogen werden, um die Vor- und Nachteile<br />

sowie politischen Umsetzungschancen genau abzuwägen. Die im Rahmen <strong>der</strong> Studie<br />

durchgeführten Interviews geben Anlass zu <strong>der</strong> Vermutung, dass die Verän<strong>der</strong>ungsbereitschaft<br />

bei den zentralen Akteuren vor dem H<strong>in</strong>tergrund e<strong>in</strong>es großen Handlungsdrucks<br />

<strong>der</strong>zeit relativ hoch e<strong>in</strong>zuschätzen ist. So verlangen nicht nur die Paris Declaration<br />

und zahlreiche weitere Abkommen e<strong>in</strong>en grundlegenden Wandel <strong>der</strong> <strong>Evaluation</strong>, son<strong>der</strong>n<br />

auch <strong>der</strong> DAC, <strong>der</strong> <strong>in</strong> se<strong>in</strong>em neuesten Prüfbericht über die deutsche EZ (DAC 2006)<br />

zwar die großen <strong>in</strong>dividuellen Anstrengungen zum Aufbau von Evaluierungssystemen<br />

positiv hervorhebt, aber die schon im Prüfbericht von 2001 aufgeworfene Frage „<strong>in</strong>wieweit<br />

dieses lose koord<strong>in</strong>ierte Netzwerk <strong>der</strong> Erfolgskontrolle zusammengeführt werden<br />

kann, um den kollektiven Lernprozess und e<strong>in</strong> effektiveres EZ-Management auf Systemebene<br />

zu för<strong>der</strong>n“ (DAC 2006: 69) nach wie vor für unbeantwortet hält.<br />

Letztlich spiegelt diese Parzellierung des <strong>deutschen</strong> EZ-Evaluierungssystems ja nur<br />

die Segmentierung <strong>der</strong> <strong>deutschen</strong> EZ wi<strong>der</strong> sowie die Schieflage zwischen BMZ und<br />

se<strong>in</strong>en DO, die bereits zu grundlegenden Überlegungen e<strong>in</strong>er Institutionenreform führten.<br />

Die Frage ist deshalb genereller Natur, nämlich ob überhaupt e<strong>in</strong>e grundlegende Systementwicklung<br />

im Bereich <strong>Evaluation</strong> möglich ist, bevor e<strong>in</strong>e Institutionenreform durchgeführt<br />

wurde.<br />

Die hier skizzierten Varianten bieten jedenfalls Handlungschancen, die es nach genauer<br />

Prüfung angesichts des Reformbedarfs des <strong>deutschen</strong> EZ-<strong>Evaluation</strong>ssystems und<br />

e<strong>in</strong>er <strong>in</strong>sgesamt eher positiven Reformstimmung von politischer Seite rasch zu nutzen<br />

gilt.

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!