Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Hintergrund und Ziele der Untersuchung 31 1 Hintergrund und Ziele der Untersuchung 1.1 Zur Notwendigkeit einer erneuten Systemprüfung Im Jahre 1997/98 ließ das BMZ erstmals eine systematische Untersuchung der Evaluation in der deutschen Entwicklungszusammenarbeit durchführen (Borrmann et al. 1999). Das Ziel bestand darin, die Evaluationssysteme des BMZ und der staatlichen und nichtstaatlichen EZ-Institutionen im Hinblick auf ihre Organisation, Konzeption, Methoden und Verfahren sowie Umfang und Struktur zu bewerten und Ansatzpunkte für die Fortentwicklung zu unterbreiten. Im Jahre 2000 fand eine Folgeuntersuchung statt, die die bis Ende der 90er Jahre erfolgten Veränderungen und Fortschritte analysierte (Borrmann et al. 2001). Die vom HWWA-Institut für Wirtschaftsforschung in Hamburg durchgeführten Untersuchungen zeigten, dass die deutschen EZ-Institutionen zum Teil erhebliche Anstrengungen unternommen hatten, ihre Evaluationssysteme weiterzuentwickeln. Positiv bewertet wurde sowohl die systemweite Akzeptanz der DAC-Prinzipien und -kriterien für die Evaluation von Entwicklungsvorhaben als gemeinsamer Maßstab für professionelle Evaluation als auch die zum Teil weit reichenden, aufbau- und ablauforganisatorischen Veränderungen bei einer Reihe von EZ-Organisationen. Ebenso waren bei mehreren deutliche Bemühungen feststellbar, die Qualität ihrer Evaluationsarbeit durch den Einsatz differenzierterer Evaluationsmethoden zu verbessern und ihre Evaluationsaktivitäten in zum Teil noch in der Entstehung befindliche Qualitäts-, Informations- und Wissensmanagementsysteme zu integrieren. Beide Untersuchungen verdeutlichten aber auch, dass trotz aller Fortschritte nach wie vor erheblicher Handlungsbedarf, besonders in den Kernbereichen Wirksamkeit und Nachhaltigkeit sowie Partizipation und Lernprozesse bestand und der eingeschlagene Reformkurs keineswegs abgeschlossen war. Knapp zehn Jahre nach der ersten Systemprüfung stellt sich schon wegen dieser unerledigten Reformagenda die Notwendigkeit einer erneuten Untersuchung – ganz im Sinne von Evaluation als Beitrag zu einem periodischen Lern- und Veränderungsprozess. Ein zusätzlicher Druck, eine erneute Systemprüfung durchführen zu lassen, ging auch vom Development Asssistance Committee der OECD aus. Es hatte sich in seinen Prüfungsberichten 2001 und 2005 kritisch zur Fragmentierung der deutschen EZ-Institutionen geäußert und erneut die schon in der ersten Systemprüfung gestellte Frage aufgeworfen, inwieweit das dadurch entstandene, nur lose koordinierte Netzwerk der Evaluation zusammengeführt werden könnte, um den kollektiven Lernprozess und ein effektiveres EZ- Management auf der Systemebene zu fördern (OECD/DAC 2001; OECD/DAC 2005). Wiederholte Evaluationen sind aber ganz allgemein auch deshalb geboten, um zwischenzeitlich eingetretenen Veränderungen Rechnung zu tragen. Die Tatsache, dass sich Ziele und Instrumente der Entwicklungszusammenarbeit auf nationaler und internationaler Ebene stark gewandelt haben und in der Folge die Anforderungen zur Rechenschaftslegung ganz erheblich gewachsen sind, macht es umso dringlicher, das deutsche EZ- Evaluationssystem erneut „auf den Prüfstand“ zu stellen. Hinzu kommt, dass EZrelevante Fortschritte im Bereich der Evaluationsmethoden erzielt werden konnten, der Evaluationsdiskurs gerade in Deutschland durch Institutionalisierung sowohl auf der wissenschaftlichen als auch auf der praktischen Ebene erheblich intensiviert wurde und

32 Axel Borrmann & Reinhard Stockmann die Professionalisierung der Evaluationspraxis durch verbesserte Aus- und Fortbildungsmöglichkeiten deutlich vorangekommen ist. Diese veränderten Rahmenbedingungen haben das BMZ 2006 veranlasst, eine erneute Systemprüfung vornehmen zu lassen. Im Folgenden soll auf sie näher eingegangen werden, bevor die Ziele der vorliegenden Untersuchung und die Vorgehensweise im Einzelnen beschrieben werden. 1.2 Bilanz der bisherigen Systemprüfungen und Reformagenda Die beiden vorangegangenen Systemprüfungen der Jahre 1998 und 2000 hatten ergeben, dass die deutsche Entwicklungszusammenarbeit bereits sehr früh damit begonnen hat, ihre Aktivitäten regelmäßigen und systematischen Evaluationen zu unterziehen. Das Politikfeld Entwicklungszusammenarbeit gehörte zu den wenigen, in denen sich auf der Ebene der Bundesressorts bisher überhaupt systematische Evaluation entwickelt hatte. Und auch im Vergleich zu anderen Geberländern schnitt das deutsche EZ-Evaluationssystem recht gut ab. Es wurde indes auch ein beachtliches Gefälle zwischen den EZ-Institutionen festgestellt. Dies erklärte sich nicht nur aus ihrer unterschiedlichen Größe und der spezifischen Evaluierbarkeit ihrer Aktivitäten, sondern auch aus der Tatsache, dass sie der Evaluation bis dahin in unterschiedlichem Maße Beachtung geschenkt hatten. Verfügbare Prinzipien und Methoden der Evaluation wurden in unterschiedlichem Maße aufgenommen und an ihre Verhältnisse angepasst und fortentwickelt, außerdem hatten die Institutionen bei der Umsetzung der vorhandenen Evaluierungskonzeptionen und -methoden mehr oder weniger große Lücken zwischen Anspruch und Wirklichkeit entstehen lassen. Gemessen an den DAC-Prinzipien wies die Mehrzahl der untersuchten Organisationen besonders in drei Kernbereichen der Evaluation erhebliche Defizite auf: Unabhängigkeit und Unparteilichkeit: Die Vorfeldorganisationen verließen sich sehr stark auf die Selbstkontrolle der Projektbeteiligten. Viele vernachlässigten dabei die nicht-operative, unparteiische Evaluation. Die Evaluierungseinheiten waren in der Mehrheit der Organisationen nicht – wie vom DAC gefordert – von den durchführenden Stellen getrennt. Ex-Post-Untersuchungen von Wirksamkeit und Nachhaltigkeit: Die Erfolgsmessung war in starkem Maße von input-output-orientierten Soll-Ist-Vergleichen geprägt. Wirkungs- und nachhaltigkeitsorientierte Evaluationen wurden bei vielen EZ-Institutionen nicht oder nur in Ansätzen angetroffen. Die KfW war die einzige EZ-Institution, die ihre Projekte und Programme flächendeckend nach rd. fünf Jahren Ex-Post-Kontrollen unterzog und dies auf einem hohen Qualitätsniveau. Partizipation: Zwar wurden die Partner bei projektbezogenen Evaluationen fast immer als Resource-Persons beteiligt, selten jedoch als gleichberechtigte Gutachter im gesamten Evaluationsprozess. NRO praktizierten eine deutlich partizipativere Evaluation als staatliche EZ-Organisationen. Das BMZ und seine Vorfeldorganisationen wurden in den beiden Vorgutachten aufgefordert, ihre Evaluationssysteme an die vom DAC gesetzten Mindeststandards anzupassen. Davon hing auch die Tragfähigkeit des neuen Evaluierungskonzepts des BMZ ab, das eine weitgehende Verlagerung von Projekteinzelevaluationen auf die EZ-

H<strong>in</strong>tergrund und Ziele <strong>der</strong> Untersuchung 31<br />

1 H<strong>in</strong>tergrund und Ziele <strong>der</strong> Untersuchung<br />

1.1 Zur Notwendigkeit e<strong>in</strong>er erneuten Systemprüfung<br />

Im Jahre 1997/98 ließ das BMZ erstmals e<strong>in</strong>e systematische Untersuchung <strong>der</strong> <strong>Evaluation</strong><br />

<strong>in</strong> <strong>der</strong> <strong>deutschen</strong> <strong>Entwicklungszusammenarbeit</strong> durchführen (Borrmann et al. 1999).<br />

Das Ziel bestand dar<strong>in</strong>, die <strong>Evaluation</strong>ssysteme des BMZ und <strong>der</strong> staatlichen und nichtstaatlichen<br />

EZ-Institutionen im H<strong>in</strong>blick auf ihre Organisation, Konzeption, Methoden<br />

und Verfahren sowie Umfang und Struktur zu bewerten und Ansatzpunkte für die Fortentwicklung<br />

zu unterbreiten.<br />

Im Jahre 2000 fand e<strong>in</strong>e Folgeuntersuchung statt, die die bis Ende <strong>der</strong> 90er Jahre erfolgten<br />

Verän<strong>der</strong>ungen und Fortschritte analysierte (Borrmann et al. 2001). Die vom<br />

HWWA-Institut für Wirtschaftsforschung <strong>in</strong> Hamburg durchgeführten Untersuchungen<br />

zeigten, dass die <strong>deutschen</strong> EZ-Institutionen zum Teil erhebliche Anstrengungen unternommen<br />

hatten, ihre <strong>Evaluation</strong>ssysteme weiterzuentwickeln. Positiv bewertet wurde<br />

sowohl die systemweite Akzeptanz <strong>der</strong> DAC-Pr<strong>in</strong>zipien und -kriterien für die <strong>Evaluation</strong><br />

von Entwicklungsvorhaben als geme<strong>in</strong>samer Maßstab für professionelle <strong>Evaluation</strong> als<br />

auch die zum Teil weit reichenden, aufbau- und ablauforganisatorischen Verän<strong>der</strong>ungen<br />

bei e<strong>in</strong>er Reihe von EZ-Organisationen. Ebenso waren bei mehreren deutliche Bemühungen<br />

feststellbar, die Qualität ihrer <strong>Evaluation</strong>sarbeit durch den E<strong>in</strong>satz differenzierterer<br />

<strong>Evaluation</strong>smethoden zu verbessern und ihre <strong>Evaluation</strong>saktivitäten <strong>in</strong> zum Teil noch <strong>in</strong><br />

<strong>der</strong> Entstehung bef<strong>in</strong>dliche Qualitäts-, Informations- und Wissensmanagementsysteme zu<br />

<strong>in</strong>tegrieren. Beide Untersuchungen verdeutlichten aber auch, dass trotz aller Fortschritte<br />

nach wie vor erheblicher Handlungsbedarf, beson<strong>der</strong>s <strong>in</strong> den Kernbereichen Wirksamkeit<br />

und Nachhaltigkeit sowie Partizipation und Lernprozesse bestand und <strong>der</strong> e<strong>in</strong>geschlagene<br />

Reformkurs ke<strong>in</strong>eswegs abgeschlossen war.<br />

Knapp zehn Jahre nach <strong>der</strong> ersten Systemprüfung stellt sich schon wegen dieser unerledigten<br />

Reformagenda die Notwendigkeit e<strong>in</strong>er erneuten Untersuchung – ganz im S<strong>in</strong>ne<br />

von <strong>Evaluation</strong> als Beitrag zu e<strong>in</strong>em periodischen Lern- und Verän<strong>der</strong>ungsprozess. E<strong>in</strong><br />

zusätzlicher Druck, e<strong>in</strong>e erneute Systemprüfung durchführen zu lassen, g<strong>in</strong>g auch vom<br />

Development Asssistance Committee <strong>der</strong> OECD aus. Es hatte sich <strong>in</strong> se<strong>in</strong>en Prüfungsberichten<br />

2001 und 2005 kritisch zur Fragmentierung <strong>der</strong> <strong>deutschen</strong> EZ-Institutionen<br />

geäußert und erneut die schon <strong>in</strong> <strong>der</strong> ersten Systemprüfung gestellte Frage aufgeworfen,<br />

<strong>in</strong>wieweit das dadurch entstandene, nur lose koord<strong>in</strong>ierte Netzwerk <strong>der</strong> <strong>Evaluation</strong> zusammengeführt<br />

werden könnte, um den kollektiven Lernprozess und e<strong>in</strong> effektiveres EZ-<br />

Management auf <strong>der</strong> Systemebene zu för<strong>der</strong>n (OECD/DAC 2001; OECD/DAC 2005).<br />

Wie<strong>der</strong>holte <strong>Evaluation</strong>en s<strong>in</strong>d aber ganz allgeme<strong>in</strong> auch deshalb geboten, um zwischenzeitlich<br />

e<strong>in</strong>getretenen Verän<strong>der</strong>ungen Rechnung zu tragen. Die Tatsache, dass sich<br />

Ziele und Instrumente <strong>der</strong> <strong>Entwicklungszusammenarbeit</strong> auf nationaler und <strong>in</strong>ternationaler<br />

Ebene stark gewandelt haben und <strong>in</strong> <strong>der</strong> Folge die Anfor<strong>der</strong>ungen zur Rechenschaftslegung<br />

ganz erheblich gewachsen s<strong>in</strong>d, macht es umso dr<strong>in</strong>glicher, das deutsche EZ-<br />

<strong>Evaluation</strong>ssystem erneut „auf den Prüfstand“ zu stellen. H<strong>in</strong>zu kommt, dass EZrelevante<br />

Fortschritte im Bereich <strong>der</strong> <strong>Evaluation</strong>smethoden erzielt werden konnten, <strong>der</strong><br />

<strong>Evaluation</strong>sdiskurs gerade <strong>in</strong> Deutschland durch Institutionalisierung sowohl auf <strong>der</strong><br />

wissenschaftlichen als auch auf <strong>der</strong> praktischen Ebene erheblich <strong>in</strong>tensiviert wurde und

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!