Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Evaluationssysteme deutscher EZ-Organisationen 79 antwortung des Grundsatzreferates evaluiert, auch nicht die zwei bereits abgeschlossenen. Auf höheren, nicht operativen Leitungsebenen kommt das breite Feld von Managementaufgaben hinzu, das u.U. zu wenig Zeit lässt für die Wahrnehmung der Evaluationsfunktion, vor allem für die Qualitätssicherung und die Entwicklung ausreichender Evaluationskompetenz. Weiterhin fallen in EZ-Organisationen ohne institutionelle Alleinstellung Defizite im Regelwerk und beim Einsatz externer Gutachter auf (BGR, HSS, RLS, Ci). Allein SEK international und IIZ/dvv betonen bei den operativ zu verantwortenden Evaluationen den Einsatz externer Gutachter (80% bzw. 60%). Andererseits bietet die Einrichtung von Evaluationseinheiten und Evaluationsbeauftragten nicht in allen EZ-Organisationen automatisch eine Gewähr für hohe Unabhängigkeit des Evaluationssystems und des Evaluationsgeschehens. Auf den Fall der hbs wurde bereits hingewiesen. Das Problem liegt aber auch bei DED und FES vor. Diese Fälle unterstreichen, dass es für die Unabhängigkeit und die Gesamtqualität des Evaluationssystems neben der separaten Verortung der allgemeinen Evaluationsfunktion im organisatorischen Gefüge mitentscheidend darauf ankommt, wie die Rechte und Pflichten (Kompetenzen) auf die verschiedenen Akteure verteilt und wie diese effektiv wahrgenommen werden. Die Verortung ist also nur eine notwendige, jedoch keine hinreichende Bedingung für Unabhängigkeit. Kompetenzen Im Folgenden soll die Verteilung zentraler Evaluationskompetenzen in den vom BMZ finanzierten EZ-Organisationen dargestellt werden, bevor in den weiteren Abschnitten auf die Wahrnehmung dieser Kompetenzen in der Evaluationspraxis eingegangen wird. Betrachtet werden in diesem Abschnitt insbesondere Regelsetzung, Planung und Durchführung unabhängiger interner oder externer Evaluationen und die Qualitätssicherung. Die Aspekte Nutzung der Evaluationsergebnisse sowie Vernetzung werden in den späteren Abschnitten behandelt. Regelungskompetenz: Die Evaluationseinheiten, die Evaluationsbeauftragten und auch die Grundsatzreferate mit Evaluationsfunktion sind wesentlich verantwortlich für die Gestaltung des Evaluationssystems, die Entwicklung seiner Regeln und Methoden sowie für deren Einführung und Fortentwicklung (vgl. Kapitel 3.2). Dies gilt insbesondere für das Evaluierungsreferat des BMZ, das die Richtlinien für die Evaluation von EZ- Vorhaben auch durch die Mittelempfänger vorgibt oder vorgeben kann, Die Wahrnehmung der Regelungskompetenz erfolgt in allen EZ-Organisationen naturgemäß in enger Zusammenarbeit mit den Leitungsgremien und den operativen Bereichen und teilweise auch unterstützt durch externe Beratung (z.B. GTZ, hbs, InWEnt; vgl. Abschnitt 3.10.2). Ein Beispiel für einen besonders partizipativen Reformprozess bietet die PTB mit ihrem neuen PME-System, das über zwei Jahre gemeinsam entwickelt und erprobt wurde. Auch das neue PME-System der hbs wurde in einem gemeinsamen Prozess erarbeitet. U.a. nutzte die hbs hierbei die Expertise des Fachbeirats – eines internen Beratungsgremiums –, deren Mitglieder Vertreter aus Wissenschaft, NRO und Politik sind. Bedingt durch Reformen der letzten Jahre sind derzeit zahlreiche Evaluationsverantwortliche mit der Implementierung und Anpassung ihrer neuen Systeme und Regeln befasst; sie können deshalb gegenwärtig nicht alle Funktionen wahrnehmen, die ihnen an sich in ihrem Evaluationssystem zugewiesen wurden; sie sind sehr stark mit der einführenden Beratung der Anwender befasst. Das ist u.a. bei DED, InWEnt, PTB, EED und RLS der Fall. Fast

80 Axel Borrmann & Reinhard Stockmann alle Evaluationsverantwortlichen sind derzeit zudem – mehr oder weniger intensiv – mit der Entwicklung und Einführung wirkungsorientierter Evaluationsmethoden beschäftigt (vgl. Kapitel 3.6.4). Planungskompetenz: Das Regelwerk gibt die Modalitäten für die durchzuführenden Evaluationen vor. Somit ist auch festgelegt, welche Evaluationen von wem, wann und wie zu initiieren und durchzuführen sind. Die projekt- und programmbezogenen Evaluationen ergeben sich weitgehend aus dem Projektzyklus. Ihre Planung liegt in den untersuchten EZ-Organisationen überwiegend in der Hand der operativ Verantwortlichen. Die Evaluationseinheiten und -beauftragten monitoren diese Evaluationen ggf. Für eigenverantwortliche, projektbezogene, vor allem aber projektübergreifende Evaluationen stellen die Evaluationsverantwortlichen Evaluationspläne auf, die sie in aller Regel mit der Leitung abzustimmen haben. Durchführungskompetenz: Die Verantwortlichkeit für die Durchführung von Evaluationen ist in den untersuchten BMZ-finanzierten EZ-Organisationen sehr weitreichend in die Hände der operativen Bereiche gelegt. Mit der Projekt- und Programmverantwortung ist diesen zugleich auch die Verpflichtung zur Evaluation ihrer Vorhaben im Projektzyklus übertragen worden, ganz überwiegend in Form der Selbstevaluation, zu einem Teil aber auch als externe Evaluationen (vgl. Abschnitt 3.5). Für die Steuerung laufender Projekte sind Monitoring und Evaluation auf der operativen Ebene unverzichtbar und heute in den meisten EZ-Organisationen Bestandteil des Projektmanagements. Sie sollen die Ausrichtung der Maßnahmen an den Zielen gewährleisten, Wirkungsorientierung und -erreichung sicherstellen, Ziel-Mittel-Anpassungen ermöglichen und individuelles und institutionelles Lernen fördern. In den deutschen EZ- Organisationen sind in den vergangenen Jahren große Anstrengungen unternommen worden, professionelle, wirkungsorientierte M&E-Systeme aufzubauen. Einige von ihnen sind noch in der Erprobungsphase und sollen entsprechend den Erfahrungen angepasst werden (z.B. InWEnt, DWHH, hbs), andere befinden sich im Aufbau (z.B. RLS), oder stehen vor ihrer Einführung. Die operativ zu verantwortenden Evaluationen machen erwartungsgemäß den größten Teil des gesamten Evaluationsvolumens aus (vgl. dazu Kapitel 3.5.2). In einigen EZ- Organisationen wie dem DED führt die Betonung der Partnergedankens zu einer besonders starken Dezentralisierung nicht nur der Durchführungs-, sondern auch der Qualitätssicherungsverantwortung für Evaluationen. Der DED weist überdies darauf hin, selbst keine Projekte durchzuführen, sondern lediglich Fachpersonal für Projekte anderer Trägerorganisationen zu vermitteln. Evaluation sei daher primär Aufgabe des Projektträgers, also der Partnerorganisationen (zu denen je nach Fall auch GTZ und KfW gehören). Die GTZ ist zur Zeit die einzige deutsche EZ-Organisationen, die ihren dezentralisierten Evaluationen ein alle Phasen des Projektzyklus abdeckendes Programm externer Evaluationen in der Verantwortung ihrer unabhängigen Stabsstelle Evaluation entgegensetzt, die darüber hinaus auch projektübergreifend evaluieren soll. Die Evaluationseinheiten und Evaluationsbeauftragten der übrigen EZ-Organisationen haben in aller Regel nur ein Mandat für ausgewählte projektbezogene und/oder projektübergreifende Evaluationsformen. Sie befassen sich darüber hinaus mehr oder weniger stark mit der Qualitätssicherung des operativen Evaluationsgeschehens, der Evaluationsberatung und der Unterstützung der Evaluationsplanung und -vorbereitung. Hierbei tragen sie zum Teil eine selektive Mitverantwortung, z.B. für die Terms of Reference und den Gutachtereinsatz.

80 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />

alle <strong>Evaluation</strong>sverantwortlichen s<strong>in</strong>d <strong>der</strong>zeit zudem – mehr o<strong>der</strong> weniger <strong>in</strong>tensiv – mit<br />

<strong>der</strong> Entwicklung und E<strong>in</strong>führung wirkungsorientierter <strong>Evaluation</strong>smethoden beschäftigt<br />

(vgl. Kapitel 3.6.4).<br />

Planungskompetenz: Das Regelwerk gibt die Modalitäten für die durchzuführenden<br />

<strong>Evaluation</strong>en vor. Somit ist auch festgelegt, welche <strong>Evaluation</strong>en von wem, wann und<br />

wie zu <strong>in</strong>itiieren und durchzuführen s<strong>in</strong>d. Die projekt- und programmbezogenen <strong>Evaluation</strong>en<br />

ergeben sich weitgehend aus dem Projektzyklus. Ihre Planung liegt <strong>in</strong> den untersuchten<br />

EZ-Organisationen überwiegend <strong>in</strong> <strong>der</strong> Hand <strong>der</strong> operativ Verantwortlichen. Die<br />

<strong>Evaluation</strong>se<strong>in</strong>heiten und -beauftragten monitoren diese <strong>Evaluation</strong>en ggf. Für eigenverantwortliche,<br />

projektbezogene, vor allem aber projektübergreifende <strong>Evaluation</strong>en stellen<br />

die <strong>Evaluation</strong>sverantwortlichen <strong>Evaluation</strong>spläne auf, die sie <strong>in</strong> aller Regel mit <strong>der</strong><br />

Leitung abzustimmen haben.<br />

Durchführungskompetenz: Die Verantwortlichkeit für die Durchführung von <strong>Evaluation</strong>en<br />

ist <strong>in</strong> den untersuchten BMZ-f<strong>in</strong>anzierten EZ-Organisationen sehr weitreichend <strong>in</strong><br />

die Hände <strong>der</strong> operativen Bereiche gelegt. Mit <strong>der</strong> Projekt- und Programmverantwortung<br />

ist diesen zugleich auch die Verpflichtung zur <strong>Evaluation</strong> ihrer Vorhaben im Projektzyklus<br />

übertragen worden, ganz überwiegend <strong>in</strong> Form <strong>der</strong> Selbstevaluation, zu e<strong>in</strong>em Teil<br />

aber auch als externe <strong>Evaluation</strong>en (vgl. Abschnitt 3.5).<br />

Für die Steuerung laufen<strong>der</strong> Projekte s<strong>in</strong>d Monitor<strong>in</strong>g und <strong>Evaluation</strong> auf <strong>der</strong> operativen<br />

Ebene unverzichtbar und heute <strong>in</strong> den meisten EZ-Organisationen Bestandteil des<br />

Projektmanagements. Sie sollen die Ausrichtung <strong>der</strong> Maßnahmen an den Zielen gewährleisten,<br />

Wirkungsorientierung und -erreichung sicherstellen, Ziel-Mittel-Anpassungen<br />

ermöglichen und <strong>in</strong>dividuelles und <strong>in</strong>stitutionelles Lernen för<strong>der</strong>n. In den <strong>deutschen</strong> EZ-<br />

Organisationen s<strong>in</strong>d <strong>in</strong> den vergangenen Jahren große Anstrengungen unternommen<br />

worden, professionelle, wirkungsorientierte M&E-Systeme aufzubauen. E<strong>in</strong>ige von ihnen<br />

s<strong>in</strong>d noch <strong>in</strong> <strong>der</strong> Erprobungsphase und sollen entsprechend den Erfahrungen angepasst<br />

werden (z.B. InWEnt, DWHH, hbs), an<strong>der</strong>e bef<strong>in</strong>den sich im Aufbau (z.B. RLS), o<strong>der</strong><br />

stehen vor ihrer E<strong>in</strong>führung.<br />

Die operativ zu verantwortenden <strong>Evaluation</strong>en machen erwartungsgemäß den größten<br />

Teil des gesamten <strong>Evaluation</strong>svolumens aus (vgl. dazu Kapitel 3.5.2). In e<strong>in</strong>igen EZ-<br />

Organisationen wie dem DED führt die Betonung <strong>der</strong> Partnergedankens zu e<strong>in</strong>er beson<strong>der</strong>s<br />

starken Dezentralisierung nicht nur <strong>der</strong> Durchführungs-, son<strong>der</strong>n auch <strong>der</strong> Qualitätssicherungsverantwortung<br />

für <strong>Evaluation</strong>en. Der DED weist überdies darauf h<strong>in</strong>, selbst<br />

ke<strong>in</strong>e Projekte durchzuführen, son<strong>der</strong>n lediglich Fachpersonal für Projekte an<strong>der</strong>er<br />

Trägerorganisationen zu vermitteln. <strong>Evaluation</strong> sei daher primär Aufgabe des Projektträgers,<br />

also <strong>der</strong> Partnerorganisationen (zu denen je nach Fall auch GTZ und KfW gehören).<br />

Die GTZ ist zur Zeit die e<strong>in</strong>zige deutsche EZ-Organisationen, die ihren dezentralisierten<br />

<strong>Evaluation</strong>en e<strong>in</strong> alle Phasen des Projektzyklus abdeckendes Programm externer<br />

<strong>Evaluation</strong>en <strong>in</strong> <strong>der</strong> Verantwortung ihrer unabhängigen Stabsstelle <strong>Evaluation</strong> entgegensetzt,<br />

die darüber h<strong>in</strong>aus auch projektübergreifend evaluieren soll. Die <strong>Evaluation</strong>se<strong>in</strong>heiten<br />

und <strong>Evaluation</strong>sbeauftragten <strong>der</strong> übrigen EZ-Organisationen haben <strong>in</strong> aller Regel nur<br />

e<strong>in</strong> Mandat für ausgewählte projektbezogene und/o<strong>der</strong> projektübergreifende <strong>Evaluation</strong>sformen.<br />

Sie befassen sich darüber h<strong>in</strong>aus mehr o<strong>der</strong> weniger stark mit <strong>der</strong> Qualitätssicherung<br />

des operativen <strong>Evaluation</strong>sgeschehens, <strong>der</strong> <strong>Evaluation</strong>sberatung und <strong>der</strong> Unterstützung<br />

<strong>der</strong> <strong>Evaluation</strong>splanung und -vorbereitung. Hierbei tragen sie zum Teil e<strong>in</strong>e selektive<br />

Mitverantwortung, z.B. für die Terms of Reference und den Gutachtere<strong>in</strong>satz.

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!