Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Evaluationssysteme deutscher EZ-Organisationen 69 Dabei liegt das Schwergewicht auf Querschnittsfragen und der Untersuchung von größeren Programmen. Die Basis dafür sollen auch die Evaluationen der übrigen EZ- Organisationen liefern. Die neuen TZ/FZ-Leitlinien werden ergänzt durch weitere Bemühungen, die Heterogenität der Evaluationssysteme, die sich trotz bisheriger Vorgaben bei den EZ- Organisationen herausgebildet hat, abzubauen und Begrifflichkeiten, Instrumente, Verfahren und Bewertungsmaßstäbe anzugleichen, um auf diese Weise auch die horizontale Vergleichbarkeit von Evaluationsergebnissen zu verbessern. Ziel ist es, zumindest für den staatlichen Teil der deutschen EZ „Evaluation aus einem Guss“ zu erreichen, d.h. die Evaluationen des BMZ und seiner DO zu einem komplementären, arbeitsteiligen und konsistenten deutschen Evaluationssystem weiterzuentwickeln und darüber hinaus die Harmonisierung mit den zivilgesellschaftlichen Organisationen im Evaluationsbereich zu verstärken und die Zusammenarbeit auf Ressortebene zu verbessern. 18 Diese Bemühungen hatten bereits erste Erfolge. 19 Die eigens vom BMZ eingerichtete AG „Evaluierung aus einem Guss“ legte u.a. Orientierungslinien für gemeinsame Evaluationskriterien und Evaluationsbegriffe vor (BMZ 2006a). Darin wird die Anwendung von fünf Kriterien für alle bilateralen Durchführungsorganisationen für verbindlich erklärt: Relevanz, Effektivität und Effizienz sowie entwicklungspolitische Wirkungen und Nachhaltigkeit. Die Prüfung der Kohärenz, Komplementarität und Koordination soll als Einzelkriterium oder integriert in anderen Kriterien erfolgen. GTZ und KfW haben auf dieser Grundlage inzwischen ihre Bewertungsraster für Projektevaluierungen vereinheitlicht. Wenngleich die nichtstaatlichen EZ-Organisationen (kirchliche Einrichtungen, politische Stiftungen und andere private Träger) rechtlich selbstständig sind, unterliegen sie – wie schon erwähnt – dennoch staatlichen Regelungen und zwar in dem Maße, in dem sie öffentliche Mittel zur Durchführung von EZ-Vorhaben erhalten. Darüber hinaus haben sie ihre Evaluationssysteme natürlich auch aus ihrem eigenen Selbstverständnis und Kontext heraus entwickelt. Im März 2006 wurden veränderte Verwaltungsvorschriften zu den §§ 23 und 44 der BHO für Zuwendungsempfänger erlassen, die auch die nichtstaatlichen EZ-Organisationen sowie die staatlichen Zuwendungsempfänger InWEnt und DED zu wirkungsorientierten laufenden und abschließenden Evaluationen verpflichten. Das BMZ ist zur Zeit damit befasst, interne Handlungsanleitungen für die Umsetzung dieser neuen Vorschriften zu entwickeln. Der Entwurf einer Handreichung zur Erfolgskontrolle bei Projektförderung liegt vor (BMZ 2007b). Einzelne Förderrichtlinien werden sukzessive den neuen Vorgaben angepasst. Vor einigen Jahren wurde überdies in einer gemeinsamen Arbeitsgruppe der politischen Stiftungen und des BMZ eine Annäherung von Qualitätskriterien und Standards u.a. im Bereich der Evaluation versucht (zu den vorläufigen Ergebnissen vgl. Kapitel 3.10). Im Rahmen der jährlichen Treffen der Evaluationsleiter der deutschen EZ-Organisationen bindet das BMZ schließlich seit 1998 die nichtstaatlichen Organisationen in einen informellen interinstitutionellen Dialogmechanismus ein. Er soll 18 Die TZ/FZ-Richtlinie und die darin enthaltenen Evaluationsvorgaben gelten auch für die staatlichen Durchführungsorganisationen PTB und BGR, die anderen Bundesministerien unterstellt sind. 19 Zu den Ergebnissen vgl. Kapitel 3.10.1.
70 Axel Borrmann & Reinhard Stockmann ebenfalls zu einer Annäherung der unterschiedlichen Evaluationssysteme beitragen (vgl. Kapitel 3.10). Grundlagen in den einzelnen EZ-Organisationen Das BMZ ist dabei, Rahmenbedingungen für das gesamte Evaluationssystem der deutschen EZ zu setzen, die die Arbeitsteilung zwischen den beteiligten EZ-Organisationen regeln und versucht heute stärker als früher, Evaluation der staatlichen EZ zu koordinieren und an gemeinsamen Zielen auszurichten (Evaluierung aus einem Guss) und auch in anderen Bereichen zu harmonisieren. Das Evaluationssystem des BMZ selbst zeigt eine konsequente Orientierung an den DAC-Prinzipien, eine klare Wirkungsorientierung sowie den Anspruch, Wirkungen auch auf höheren Aggregatebenen (Sektoren, Länder) nachzuweisen. Es erscheint konsistent und überzeugend und stellt gegenüber der letzten Systemprüfung einen erheblichen Fortschritt dar. Es ist zudem transparent, da das BMZ ausführlich über sein Evaluationssystem, seine Evaluationsplanung und -tätigkeit im Internet und in seinen Publikationen berichtet. Es fehlt allerdings weiterhin eine geschlossene Gesamtdarstellung. Das BMZ arbeitet aber an einer Zusammenfassung seiner ansonsten vielfältigen und inhaltsreichen Einzeldokumente zu einem Handbuch für EZ-Evaluationen. Neben dem BMZ zeigen auch die übrigen staatlichen EZ-Organisationen in aller Regel systematisch gut bis sehr gut entwickelte, differenzierte, strukturierte und dokumentierte Evaluationssysteme, die ihre Ziele, institutionellen Strukturen, Instrumente und Verfahren erkennen lassen. Gleichwohl sind die einzelnen Elemente in unterschiedlichem Maße ausdifferenziert, dokumentiert und nach außen transparent gemacht. Bei den meisten Organisationen mangelt es zudem an einer geschlossenen Darstellung der verschiedenen Einzelregelungen. Diese fehlt zwar auch bei der GTZ; diese Organisation ist aber dennoch hervorzuheben, weil ihr Evaluationsverständnis, ihre Begrifflichkeiten, Instrumente, Methoden, Verfahren und Handlungsanweisungen sehr gut dokumentiert sind und im Kreis der deutschen EZ-Organisationen große Beachtung und Nachahmung erfahren haben, worin ein nicht unbedeutender Beitrag zur Systembildung zu sehen ist. Sie gehört zu einer Gruppe von EZ-Organisationen, die ihr Evaluationssystem auch der Öffentlichkeit – online 20 oder gedruckt – zumindest überblicksmäßig sehr gut zugänglich machen. MISEREOR und die DWHH publizieren neuerdings jährlich einen Evaluationsbericht mit Informationen über ihr Evaluationssystem und Ergebnissen ihrer Evaluationstätigkeit. Sie sind darin sogar dem BMZ voraus, das jedoch 2008 beabsichtigt nachzuziehen. Traditionell publizieren GTZ und KfW im zweijährigen Rhythmus die Ergebnisse ihre Evaluationstätigkeit. 21 Einige, gerade erst entwickelte oder reformierte Evaluationssysteme ließen sich zum gegenwärtigen Zeitpunkt noch nicht abschließend bewerten. Das gilt z.B. für das nach der Fusion von DSE und CDG neu entwickelte Evaluationssystem (PriMe) von InWEnt 20 Im Internet präsentieren 14 der untersuchten 20 EZ-Organisationen ihr Evaluationssystem, zehn besonders ausführlich, neun stellen dort zumindest Kurzfassungen ihrer Evaluationsberichte zur Verfügung. 21 vgl. zur Praxis der Veröffentlichung von Evaluationsberichten auch 3.8.
- Seite 20 und 21: Zusammenfassung 19 Evaluationspraxi
- Seite 22 und 23: Zusammenfassung 21 Nützlichkeit In
- Seite 24 und 25: Zusammenfassung 23 ein hohes Kompet
- Seite 26 und 27: Zusammenfassung 25 Organisationen,
- Seite 28 und 29: Zusammenfassung 27 Um die Unabhäng
- Seite 30 und 31: Zusammenfassung 29 Robuste Methoden
- Seite 32 und 33: Hintergrund und Ziele der Untersuch
- Seite 34 und 35: Hintergrund und Ziele der Untersuch
- Seite 36 und 37: Hintergrund und Ziele der Untersuch
- Seite 38 und 39: Hintergrund und Ziele der Untersuch
- Seite 40 und 41: Hintergrund und Ziele der Untersuch
- Seite 42 und 43: Hintergrund und Ziele der Untersuch
- Seite 44 und 45: Hintergrund und Ziele der Untersuch
- Seite 46 und 47: Hintergrund und Ziele der Untersuch
- Seite 48 und 49: Hintergrund und Ziele der Untersuch
- Seite 50 und 51: Hintergrund und Ziele der Untersuch
- Seite 52 und 53: Hintergrund und Ziele der Untersuch
- Seite 54 und 55: Untersuchungsdesign 53 2 Untersuchu
- Seite 56 und 57: Untersuchungsdesign 55 2.2 Untersuc
- Seite 58 und 59: Untersuchungsdesign 57 Nur sieben d
- Seite 60 und 61: Untersuchungsdesign 59 Für diese E
- Seite 62 und 63: Untersuchungsdesign 61 2.5 Gutachte
- Seite 64: Untersuchungsdesign 63 Ein besonder
- Seite 67 und 68: 66 Axel Borrmann & Reinhard Stockma
- Seite 69: 68 Axel Borrmann & Reinhard Stockma
- Seite 73 und 74: 72 Axel Borrmann & Reinhard Stockma
- Seite 75 und 76: 74 Axel Borrmann & Reinhard Stockma
- Seite 77 und 78: 76 Axel Borrmann & Reinhard Stockma
- Seite 79 und 80: 78 Axel Borrmann & Reinhard Stockma
- Seite 81 und 82: 80 Axel Borrmann & Reinhard Stockma
- Seite 83 und 84: 82 Axel Borrmann & Reinhard Stockma
- Seite 85 und 86: 84 Axel Borrmann & Reinhard Stockma
- Seite 87 und 88: 86 Axel Borrmann & Reinhard Stockma
- Seite 89 und 90: 88 Axel Borrmann & Reinhard Stockma
- Seite 91 und 92: 90 Axel Borrmann & Reinhard Stockma
- Seite 93 und 94: 92 Axel Borrmann & Reinhard Stockma
- Seite 95 und 96: 94 Axel Borrmann & Reinhard Stockma
- Seite 97 und 98: 96 Axel Borrmann & Reinhard Stockma
- Seite 99 und 100: 98 Axel Borrmann & Reinhard Stockma
- Seite 101 und 102: 100 Axel Borrmann & Reinhard Stockm
- Seite 103 und 104: 102 Axel Borrmann & Reinhard Stockm
- Seite 105 und 106: 104 Axel Borrmann & Reinhard Stockm
- Seite 107 und 108: 106 Axel Borrmann & Reinhard Stockm
- Seite 109 und 110: 108 Axel Borrmann & Reinhard Stockm
- Seite 111 und 112: 110 Axel Borrmann & Reinhard Stockm
- Seite 113 und 114: 112 Axel Borrmann & Reinhard Stockm
- Seite 115 und 116: 114 Axel Borrmann & Reinhard Stockm
- Seite 117 und 118: 116 Axel Borrmann & Reinhard Stockm
- Seite 119 und 120: 118 Axel Borrmann & Reinhard Stockm
70 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />
ebenfalls zu e<strong>in</strong>er Annäherung <strong>der</strong> unterschiedlichen <strong>Evaluation</strong>ssysteme beitragen<br />
(vgl. Kapitel 3.10).<br />
Grundlagen <strong>in</strong> den e<strong>in</strong>zelnen EZ-Organisationen<br />
Das BMZ ist dabei, Rahmenbed<strong>in</strong>gungen für das gesamte <strong>Evaluation</strong>ssystem <strong>der</strong> <strong>deutschen</strong><br />
EZ zu setzen, die die Arbeitsteilung zwischen den beteiligten EZ-Organisationen<br />
regeln und versucht heute stärker als früher, <strong>Evaluation</strong> <strong>der</strong> staatlichen EZ zu koord<strong>in</strong>ieren<br />
und an geme<strong>in</strong>samen Zielen auszurichten (Evaluierung aus e<strong>in</strong>em Guss) und auch <strong>in</strong><br />
an<strong>der</strong>en Bereichen zu harmonisieren.<br />
Das <strong>Evaluation</strong>ssystem des BMZ selbst zeigt e<strong>in</strong>e konsequente Orientierung an den<br />
DAC-Pr<strong>in</strong>zipien, e<strong>in</strong>e klare Wirkungsorientierung sowie den Anspruch, Wirkungen auch<br />
auf höheren Aggregatebenen (Sektoren, Län<strong>der</strong>) nachzuweisen. Es ersche<strong>in</strong>t konsistent<br />
und überzeugend und stellt gegenüber <strong>der</strong> letzten Systemprüfung e<strong>in</strong>en erheblichen<br />
Fortschritt dar. Es ist zudem transparent, da das BMZ ausführlich über se<strong>in</strong> <strong>Evaluation</strong>ssystem,<br />
se<strong>in</strong>e <strong>Evaluation</strong>splanung und -tätigkeit im Internet und <strong>in</strong> se<strong>in</strong>en Publikationen<br />
berichtet. Es fehlt allerd<strong>in</strong>gs weiterh<strong>in</strong> e<strong>in</strong>e geschlossene Gesamtdarstellung. Das BMZ<br />
arbeitet aber an e<strong>in</strong>er Zusammenfassung se<strong>in</strong>er ansonsten vielfältigen und <strong>in</strong>haltsreichen<br />
E<strong>in</strong>zeldokumente zu e<strong>in</strong>em Handbuch für EZ-<strong>Evaluation</strong>en.<br />
Neben dem BMZ zeigen auch die übrigen staatlichen EZ-Organisationen <strong>in</strong> aller Regel<br />
systematisch gut bis sehr gut entwickelte, differenzierte, strukturierte und dokumentierte<br />
<strong>Evaluation</strong>ssysteme, die ihre Ziele, <strong>in</strong>stitutionellen Strukturen, Instrumente und<br />
Verfahren erkennen lassen. Gleichwohl s<strong>in</strong>d die e<strong>in</strong>zelnen Elemente <strong>in</strong> unterschiedlichem<br />
Maße ausdifferenziert, dokumentiert und nach außen transparent gemacht. Bei den<br />
meisten Organisationen mangelt es zudem an e<strong>in</strong>er geschlossenen Darstellung <strong>der</strong> verschiedenen<br />
E<strong>in</strong>zelregelungen.<br />
Diese fehlt zwar auch bei <strong>der</strong> GTZ; diese Organisation ist aber dennoch hervorzuheben,<br />
weil ihr <strong>Evaluation</strong>sverständnis, ihre Begrifflichkeiten, Instrumente, Methoden,<br />
Verfahren und Handlungsanweisungen sehr gut dokumentiert s<strong>in</strong>d und im Kreis <strong>der</strong><br />
<strong>deutschen</strong> EZ-Organisationen große Beachtung und Nachahmung erfahren haben, wor<strong>in</strong><br />
e<strong>in</strong> nicht unbedeuten<strong>der</strong> Beitrag zur Systembildung zu sehen ist. Sie gehört zu e<strong>in</strong>er<br />
Gruppe von EZ-Organisationen, die ihr <strong>Evaluation</strong>ssystem auch <strong>der</strong> Öffentlichkeit –<br />
onl<strong>in</strong>e 20 o<strong>der</strong> gedruckt – zum<strong>in</strong>dest überblicksmäßig sehr gut zugänglich machen.<br />
MISEREOR und die DWHH publizieren neuerd<strong>in</strong>gs jährlich e<strong>in</strong>en <strong>Evaluation</strong>sbericht<br />
mit Informationen über ihr <strong>Evaluation</strong>ssystem und Ergebnissen ihrer <strong>Evaluation</strong>stätigkeit.<br />
Sie s<strong>in</strong>d dar<strong>in</strong> sogar dem BMZ voraus, das jedoch 2008 beabsichtigt nachzuziehen.<br />
Traditionell publizieren GTZ und KfW im zweijährigen Rhythmus die Ergebnisse ihre<br />
<strong>Evaluation</strong>stätigkeit. 21<br />
E<strong>in</strong>ige, gerade erst entwickelte o<strong>der</strong> reformierte <strong>Evaluation</strong>ssysteme ließen sich zum<br />
gegenwärtigen Zeitpunkt noch nicht abschließend bewerten. Das gilt z.B. für das nach<br />
<strong>der</strong> Fusion von DSE und CDG neu entwickelte <strong>Evaluation</strong>ssystem (PriMe) von InWEnt<br />
20 Im Internet präsentieren 14 <strong>der</strong> untersuchten 20 EZ-Organisationen ihr <strong>Evaluation</strong>ssystem, zehn<br />
beson<strong>der</strong>s ausführlich, neun stellen dort zum<strong>in</strong>dest Kurzfassungen ihrer <strong>Evaluation</strong>sberichte zur<br />
Verfügung.<br />
21 vgl. zur Praxis <strong>der</strong> Veröffentlichung von <strong>Evaluation</strong>sberichten auch 3.8.
Change language