Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Evaluationssysteme deutscher EZ-Organisationen 79 antwortung des Grundsatzreferates evaluiert, auch nicht die zwei bereits abgeschlossenen. Auf höheren, nicht operativen Leitungsebenen kommt das breite Feld von Managementaufgaben hinzu, das u.U. zu wenig Zeit lässt für die Wahrnehmung der Evaluationsfunktion, vor allem für die Qualitätssicherung und die Entwicklung ausreichender Evaluationskompetenz. Weiterhin fallen in EZ-Organisationen ohne institutionelle Alleinstellung Defizite im Regelwerk und beim Einsatz externer Gutachter auf (BGR, HSS, RLS, Ci). Allein SEK international und IIZ/dvv betonen bei den operativ zu verantwortenden Evaluationen den Einsatz externer Gutachter (80% bzw. 60%). Andererseits bietet die Einrichtung von Evaluationseinheiten und Evaluationsbeauftragten nicht in allen EZ-Organisationen automatisch eine Gewähr für hohe Unabhängigkeit des Evaluationssystems und des Evaluationsgeschehens. Auf den Fall der hbs wurde bereits hingewiesen. Das Problem liegt aber auch bei DED und FES vor. Diese Fälle unterstreichen, dass es für die Unabhängigkeit und die Gesamtqualität des Evaluationssystems neben der separaten Verortung der allgemeinen Evaluationsfunktion im organisatorischen Gefüge mitentscheidend darauf ankommt, wie die Rechte und Pflichten (Kompetenzen) auf die verschiedenen Akteure verteilt und wie diese effektiv wahrgenommen werden. Die Verortung ist also nur eine notwendige, jedoch keine hinreichende Bedingung für Unabhängigkeit. Kompetenzen Im Folgenden soll die Verteilung zentraler Evaluationskompetenzen in den vom BMZ finanzierten EZ-Organisationen dargestellt werden, bevor in den weiteren Abschnitten auf die Wahrnehmung dieser Kompetenzen in der Evaluationspraxis eingegangen wird. Betrachtet werden in diesem Abschnitt insbesondere Regelsetzung, Planung und Durchführung unabhängiger interner oder externer Evaluationen und die Qualitätssicherung. Die Aspekte Nutzung der Evaluationsergebnisse sowie Vernetzung werden in den späteren Abschnitten behandelt. Regelungskompetenz: Die Evaluationseinheiten, die Evaluationsbeauftragten und auch die Grundsatzreferate mit Evaluationsfunktion sind wesentlich verantwortlich für die Gestaltung des Evaluationssystems, die Entwicklung seiner Regeln und Methoden sowie für deren Einführung und Fortentwicklung (vgl. Kapitel 3.2). Dies gilt insbesondere für das Evaluierungsreferat des BMZ, das die Richtlinien für die Evaluation von EZ- Vorhaben auch durch die Mittelempfänger vorgibt oder vorgeben kann, Die Wahrnehmung der Regelungskompetenz erfolgt in allen EZ-Organisationen naturgemäß in enger Zusammenarbeit mit den Leitungsgremien und den operativen Bereichen und teilweise auch unterstützt durch externe Beratung (z.B. GTZ, hbs, InWEnt; vgl. Abschnitt 3.10.2). Ein Beispiel für einen besonders partizipativen Reformprozess bietet die PTB mit ihrem neuen PME-System, das über zwei Jahre gemeinsam entwickelt und erprobt wurde. Auch das neue PME-System der hbs wurde in einem gemeinsamen Prozess erarbeitet. U.a. nutzte die hbs hierbei die Expertise des Fachbeirats – eines internen Beratungsgremiums –, deren Mitglieder Vertreter aus Wissenschaft, NRO und Politik sind. Bedingt durch Reformen der letzten Jahre sind derzeit zahlreiche Evaluationsverantwortliche mit der Implementierung und Anpassung ihrer neuen Systeme und Regeln befasst; sie können deshalb gegenwärtig nicht alle Funktionen wahrnehmen, die ihnen an sich in ihrem Evaluationssystem zugewiesen wurden; sie sind sehr stark mit der einführenden Beratung der Anwender befasst. Das ist u.a. bei DED, InWEnt, PTB, EED und RLS der Fall. Fast

80 Axel Borrmann & Reinhard Stockmann alle Evaluationsverantwortlichen sind derzeit zudem – mehr oder weniger intensiv – mit der Entwicklung und Einführung wirkungsorientierter Evaluationsmethoden beschäftigt (vgl. Kapitel 3.6.4). Planungskompetenz: Das Regelwerk gibt die Modalitäten für die durchzuführenden Evaluationen vor. Somit ist auch festgelegt, welche Evaluationen von wem, wann und wie zu initiieren und durchzuführen sind. Die projekt- und programmbezogenen Evaluationen ergeben sich weitgehend aus dem Projektzyklus. Ihre Planung liegt in den untersuchten EZ-Organisationen überwiegend in der Hand der operativ Verantwortlichen. Die Evaluationseinheiten und -beauftragten monitoren diese Evaluationen ggf. Für eigenverantwortliche, projektbezogene, vor allem aber projektübergreifende Evaluationen stellen die Evaluationsverantwortlichen Evaluationspläne auf, die sie in aller Regel mit der Leitung abzustimmen haben. Durchführungskompetenz: Die Verantwortlichkeit für die Durchführung von Evaluationen ist in den untersuchten BMZ-finanzierten EZ-Organisationen sehr weitreichend in die Hände der operativen Bereiche gelegt. Mit der Projekt- und Programmverantwortung ist diesen zugleich auch die Verpflichtung zur Evaluation ihrer Vorhaben im Projektzyklus übertragen worden, ganz überwiegend in Form der Selbstevaluation, zu einem Teil aber auch als externe Evaluationen (vgl. Abschnitt 3.5). Für die Steuerung laufender Projekte sind Monitoring und Evaluation auf der operativen Ebene unverzichtbar und heute in den meisten EZ-Organisationen Bestandteil des Projektmanagements. Sie sollen die Ausrichtung der Maßnahmen an den Zielen gewährleisten, Wirkungsorientierung und -erreichung sicherstellen, Ziel-Mittel-Anpassungen ermöglichen und individuelles und institutionelles Lernen fördern. In den deutschen EZ- Organisationen sind in den vergangenen Jahren große Anstrengungen unternommen worden, professionelle, wirkungsorientierte M&E-Systeme aufzubauen. Einige von ihnen sind noch in der Erprobungsphase und sollen entsprechend den Erfahrungen angepasst werden (z.B. InWEnt, DWHH, hbs), andere befinden sich im Aufbau (z.B. RLS), oder stehen vor ihrer Einführung. Die operativ zu verantwortenden Evaluationen machen erwartungsgemäß den größten Teil des gesamten Evaluationsvolumens aus (vgl. dazu Kapitel 3.5.2). In einigen EZ- Organisationen wie dem DED führt die Betonung der Partnergedankens zu einer besonders starken Dezentralisierung nicht nur der Durchführungs-, sondern auch der Qualitätssicherungsverantwortung für Evaluationen. Der DED weist überdies darauf hin, selbst keine Projekte durchzuführen, sondern lediglich Fachpersonal für Projekte anderer Trägerorganisationen zu vermitteln. Evaluation sei daher primär Aufgabe des Projektträgers, also der Partnerorganisationen (zu denen je nach Fall auch GTZ und KfW gehören). Die GTZ ist zur Zeit die einzige deutsche EZ-Organisationen, die ihren dezentralisierten Evaluationen ein alle Phasen des Projektzyklus abdeckendes Programm externer Evaluationen in der Verantwortung ihrer unabhängigen Stabsstelle Evaluation entgegensetzt, die darüber hinaus auch projektübergreifend evaluieren soll. Die Evaluationseinheiten und Evaluationsbeauftragten der übrigen EZ-Organisationen haben in aller Regel nur ein Mandat für ausgewählte projektbezogene und/oder projektübergreifende Evaluationsformen. Sie befassen sich darüber hinaus mehr oder weniger stark mit der Qualitätssicherung des operativen Evaluationsgeschehens, der Evaluationsberatung und der Unterstützung der Evaluationsplanung und -vorbereitung. Hierbei tragen sie zum Teil eine selektive Mitverantwortung, z.B. für die Terms of Reference und den Gutachtereinsatz.

<strong>Evaluation</strong>ssysteme deutscher EZ-Organisationen 79<br />

antwortung des Grundsatzreferates evaluiert, auch nicht die zwei bereits abgeschlossenen.<br />

Auf höheren, nicht operativen Leitungsebenen kommt das breite Feld von Managementaufgaben<br />

h<strong>in</strong>zu, das u.U. zu wenig Zeit lässt für die Wahrnehmung <strong>der</strong> <strong>Evaluation</strong>sfunktion,<br />

vor allem für die Qualitätssicherung und die Entwicklung ausreichen<strong>der</strong> <strong>Evaluation</strong>skompetenz.<br />

Weiterh<strong>in</strong> fallen <strong>in</strong> EZ-Organisationen ohne <strong>in</strong>stitutionelle Alle<strong>in</strong>stellung<br />

Defizite im Regelwerk und beim E<strong>in</strong>satz externer Gutachter auf (BGR, HSS, RLS,<br />

Ci). Alle<strong>in</strong> SEK <strong>in</strong>ternational und IIZ/dvv betonen bei den operativ zu verantwortenden<br />

<strong>Evaluation</strong>en den E<strong>in</strong>satz externer Gutachter (80% bzw. 60%).<br />

An<strong>der</strong>erseits bietet die E<strong>in</strong>richtung von <strong>Evaluation</strong>se<strong>in</strong>heiten und <strong>Evaluation</strong>sbeauftragten<br />

nicht <strong>in</strong> allen EZ-Organisationen automatisch e<strong>in</strong>e Gewähr für hohe Unabhängigkeit<br />

des <strong>Evaluation</strong>ssystems und des <strong>Evaluation</strong>sgeschehens. Auf den Fall <strong>der</strong> hbs wurde<br />

bereits h<strong>in</strong>gewiesen. Das Problem liegt aber auch bei DED und FES vor. Diese Fälle<br />

unterstreichen, dass es für die Unabhängigkeit und die Gesamtqualität des <strong>Evaluation</strong>ssystems<br />

neben <strong>der</strong> separaten Verortung <strong>der</strong> allgeme<strong>in</strong>en <strong>Evaluation</strong>sfunktion im organisatorischen<br />

Gefüge mitentscheidend darauf ankommt, wie die Rechte und Pflichten<br />

(Kompetenzen) auf die verschiedenen Akteure verteilt und wie diese effektiv wahrgenommen<br />

werden. Die Verortung ist also nur e<strong>in</strong>e notwendige, jedoch ke<strong>in</strong>e h<strong>in</strong>reichende<br />

Bed<strong>in</strong>gung für Unabhängigkeit.<br />

Kompetenzen<br />

Im Folgenden soll die Verteilung zentraler <strong>Evaluation</strong>skompetenzen <strong>in</strong> den vom BMZ<br />

f<strong>in</strong>anzierten EZ-Organisationen dargestellt werden, bevor <strong>in</strong> den weiteren Abschnitten<br />

auf die Wahrnehmung dieser Kompetenzen <strong>in</strong> <strong>der</strong> <strong>Evaluation</strong>spraxis e<strong>in</strong>gegangen wird.<br />

Betrachtet werden <strong>in</strong> diesem Abschnitt <strong>in</strong>sbeson<strong>der</strong>e Regelsetzung, Planung und Durchführung<br />

unabhängiger <strong>in</strong>terner o<strong>der</strong> externer <strong>Evaluation</strong>en und die Qualitätssicherung.<br />

Die Aspekte Nutzung <strong>der</strong> <strong>Evaluation</strong>sergebnisse sowie Vernetzung werden <strong>in</strong> den späteren<br />

Abschnitten behandelt.<br />

Regelungskompetenz: Die <strong>Evaluation</strong>se<strong>in</strong>heiten, die <strong>Evaluation</strong>sbeauftragten und auch<br />

die Grundsatzreferate mit <strong>Evaluation</strong>sfunktion s<strong>in</strong>d wesentlich verantwortlich für die<br />

Gestaltung des <strong>Evaluation</strong>ssystems, die Entwicklung se<strong>in</strong>er Regeln und Methoden sowie<br />

für <strong>der</strong>en E<strong>in</strong>führung und Fortentwicklung (vgl. Kapitel 3.2). Dies gilt <strong>in</strong>sbeson<strong>der</strong>e für<br />

das Evaluierungsreferat des BMZ, das die Richtl<strong>in</strong>ien für die <strong>Evaluation</strong> von EZ-<br />

Vorhaben auch durch die Mittelempfänger vorgibt o<strong>der</strong> vorgeben kann, Die Wahrnehmung<br />

<strong>der</strong> Regelungskompetenz erfolgt <strong>in</strong> allen EZ-Organisationen naturgemäß <strong>in</strong> enger<br />

Zusammenarbeit mit den Leitungsgremien und den operativen Bereichen und teilweise<br />

auch unterstützt durch externe Beratung (z.B. GTZ, hbs, InWEnt; vgl. Abschnitt 3.10.2).<br />

E<strong>in</strong> Beispiel für e<strong>in</strong>en beson<strong>der</strong>s partizipativen Reformprozess bietet die PTB mit ihrem<br />

neuen PME-System, das über zwei Jahre geme<strong>in</strong>sam entwickelt und erprobt wurde. Auch<br />

das neue PME-System <strong>der</strong> hbs wurde <strong>in</strong> e<strong>in</strong>em geme<strong>in</strong>samen Prozess erarbeitet. U.a.<br />

nutzte die hbs hierbei die Expertise des Fachbeirats – e<strong>in</strong>es <strong>in</strong>ternen Beratungsgremiums<br />

–, <strong>der</strong>en Mitglie<strong>der</strong> Vertreter aus Wissenschaft, NRO und Politik s<strong>in</strong>d. Bed<strong>in</strong>gt durch<br />

Reformen <strong>der</strong> letzten Jahre s<strong>in</strong>d <strong>der</strong>zeit zahlreiche <strong>Evaluation</strong>sverantwortliche mit <strong>der</strong><br />

Implementierung und Anpassung ihrer neuen Systeme und Regeln befasst; sie können<br />

deshalb gegenwärtig nicht alle Funktionen wahrnehmen, die ihnen an sich <strong>in</strong> ihrem<br />

<strong>Evaluation</strong>ssystem zugewiesen wurden; sie s<strong>in</strong>d sehr stark mit <strong>der</strong> e<strong>in</strong>führenden Beratung<br />

<strong>der</strong> Anwen<strong>der</strong> befasst. Das ist u.a. bei DED, InWEnt, PTB, EED und RLS <strong>der</strong> Fall. Fast

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!