Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Die Qualität der Evaluationssysteme 151 Insgesamt erscheinen die meisten Evaluationssysteme unterfinanziert. Auch wenn es keine verbindlichen Vorgaben oder Standards gibt, so existieren doch Anhaltspunkte, die einen Richtwert von 1% des Portfolios für unabhängige Evaluationen nahe legen (vgl. Abschnitt 3.5.3). Die meisten deutschen EZ-Organisationen sind von einem solchen Anteil noch weit entfernt. Bei den meisten liegt er im niedrigen Promillebereich. Leider liegen in vielen Organisationen keine oder nur unsichere Daten vor. Die meisten Evaluationseinheiten haben offensichtlich keinen vollständigen Überblick über das Evaluationsgeschehen in ihrer jeweiligen Organisationen, weil sie in der Regel nur für einen kleinen Teil die Verantwortung tragen. 4.3 Nützlichkeit Die Nützlichkeit von Evaluation ist nicht nur ein zentraler DAC-Standard, sondern stellt ein konstitutives Merkmal von Evaluation dar. Eine Evaluation kann noch so glaubwürdig, wissenschaftlich fundiert und von noch so guter Qualität sein, doch wenn die Ergebnisse nicht genutzt werden, hat sie ihren eigentlichen Zweck verfehlt (vgl. Stockmann 2006 u. Stockmann 2007). Der Nutzen von Evaluation lässt sich analytisch auf drei Ebenen verorten: (1) Direkter (instrumenteller) Nutzen entsteht, wenn Evaluationsergebnisse durch das Management direkt verwendet werden. (2) Von einem konzeptionellen Nutzen wird gesprochen, wenn Evaluationsergebnisse das generelle Denken über Problemstellungen beeinflussen. Und ein (3) Überzeugungsnutzen (persuasive use) stellt sich ein, wenn Evaluationsergebnisse zur Untermauerung oder Widerlegung fundamentaler (politischer) Positionen dienen (vgl. Fitzpatrick u.a. 2004: 421). In der deutschen EZ werden Evaluationen vor allem für die unmittelbare Projekt- /Programmsteuerung genutzt. Andere Evaluationsziele wie Rechenschaftslegung (Legitimierung, Außendarstellung) und Kontrolle sind deutlich nachgeordnet und haben gegenüber früher weiter an Bedeutung verloren – auch im BMZ als dem politiksteuernden Ministerium. Themen-, strategie- und instrumentenbezogene Evaluationen, bei denen eher ein konzeptioneller oder gar Überzeugungsnutzen im Vordergrund stehen, sind in den Portfolios der EZ-Organisationen eher selten zu finden. Mit Ausnahme des BMZ, das sich auf diese Formen der Evaluation konzentriert. Dies ist insoweit erstaunlich, als „Lernen“ von allen untersuchten EZ-Organisationen als das dominante Evaluationsmotiv genannt wurde. In der Evaluationspraxis der meisten EZ-Organisationen reduziert sich dieser Anspruch jedoch auf unmittelbare instrumentelle Lernprozesse. Mit dieser Einschätzung steht der Evaluationsbefund im Einklang, dass Evaluationsergebnisse weitgehend nur von den unmittelbar Betroffenen, häufig sogar nur von den Projekt-/Programmverantwortlichen genutzt werden. Selbst in diesem Kernbereich fehlen in vielen EZ-Organisationen überzeugende Umsetzungsmechanismen. In kaum einer Organisation endet der Evaluationsprozess in einem „Management Response“, bei dem geregelt wird, welche Evaluationsempfehlungen von wem in welchen Zeiträumen umgesetzt werden sollen und welche aus welchen Gründen schlicht abgelehnt werden. Auch ein formalisiertes Umsetzungsmonitoring, mit dem der Umsetzungsprozess überprüft wird, existiert kaum. In den Fällen, in denen es implementiert ist (z.B. BMZ), fehlt es an

152 Axel Borrmann & Reinhard Stockmann Ressourcen zur konsequenten Auswertung sowie an Sanktionsmitteln bei Nicht- Umsetzung. Obwohl der Wert institutionellen Lernens von vielen der evaluierten EZ-Organisationen hoch eingestuft wird, scheint dies nur ungenügend zu gelingen. Trotz zum Teil aufwendiger Wissensmanagementsysteme (z.B. GTZ) und trotz intensiver Bemühungen (z.B. in der GTZ) findet ein über das einzelne Projekt oder Programm hinausgehendes Lernen kaum statt. Hierzu trägt sicherlich bei, dass es keine verpflichtenden Auflagen gibt. So ist z.B. in keiner der untersuchten EZ-Organisationen vorgeschrieben, in neu geplanten Projekten nachzuweisen, welche Evaluationsbefunde aus vorangegangenen Projekten bei der Neukonzeption genutzt wurden. Ein besonders interessanter Ansatz für das institutionelle Lernen stellt das „Abgeordnetensystem“ der KfW dar. Durch die Abordnung von Mitarbeitern, die an den Projekten und Programmen, die sie evaluieren, in keiner Phase beteiligt gewesen sein dürfen, wird umfassendes Wissen generiert, das nicht nur den Blick für den Nutzen von Evaluationsergebnissen aus Evaluationen „anderer“ Programme und Projekte weitet, sondern die Evaluationsergebnisse können auch inhaltlich für die weitere eigene Arbeit genutzt werden. Eine wesentliche Ursache für den geringen Nutzungsgrad stellt auch die Form der Evaluation dar. Wenn fast alle Evaluationen (bis auf BMZ) auf Einzelprojekte in spezifischen situativen Kontextbedingungen rekurrieren, kann es kaum überraschen, wenn Zweifel dahingehend bestehen, wie die Erkenntnisse aus solchen Evaluationen für „eigene“ wiederum unter sehr spezifischen Bedingungen implementierte Projekte genutzt werden können. Die externe Nutzung von Evaluationsergebnissen wird vor allem durch die fehlende Transparenz eingeschränkt. Nur die Evaluationsberichte des BMZ sind seit einigen Jahren öffentlich zugänglich. Darunter leidet nicht nur die Glaubwürdigkeit der Arbeit der EZ sondern mitunter auch die Qualität der Evaluationsberichte, die durch diese Praxis jedweder externen Kritik und fachlicher Diskussion entzogen ist. Aufgrund der insgesamt (bis auf die kirchlichen Organisationen) geringen Einbindung der Partnerorganisationen in den Entwicklungsprozess, steht vor allem das Lernen der Geberorganisation im Vordergrund. Partnerorganisationen, die zudem häufig nicht an der Planung von Evaluation, der Formulierung der ToRs oder der Gutachterauswahl etc. beteiligt sind und in vielen Fällen noch nicht einmal den kompletten Evaluationsbericht zu lesen bekommen, sondern häufig nur im Rahmen eines Debriefings am Ende einer Evaluation über die ersten (naturgemäß vorläufigen) Evaluationsergebnisse informiert werden und später eine Kurzzusammenfassung der Befunde erhalten, können vermutlich aus den Evaluationen bisher nur wenig Nutzen ziehen. Zusammenfassend kann festgehalten werden, dass die Nützlichkeit von Evaluation in der deutschen EZ vor allem instrumenteller Art ist. Die Ergebnisse von Evaluationen werden vorwiegend im Kontext von Programmplanungs- und Steuerungsaktivitäten genutzt. Evaluationsformen, die ein über das einzelne Programm hinausgehendes Lernen, sowie organisatorische Mechanismen, die ein institutionelles Lernen ermöglichen, sind nach wie vor selten anzutreffen. Überinstitutionelles Lernen wird durch fehlende Transparenz erschwert. Nicht zu vernachlässigen ist die Tatsache, dass nicht nur aus den Ergebnissen von Evaluation gelernt werden kann, sondern dass allein die Planung und Durchführung von Evaluation Lerneffekte generiert Ein solcher „Prozessnutzen“ ent-

152 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />

Ressourcen zur konsequenten Auswertung sowie an Sanktionsmitteln bei Nicht-<br />

Umsetzung.<br />

Obwohl <strong>der</strong> Wert <strong>in</strong>stitutionellen Lernens von vielen <strong>der</strong> evaluierten EZ-Organisationen<br />

hoch e<strong>in</strong>gestuft wird, sche<strong>in</strong>t dies nur ungenügend zu gel<strong>in</strong>gen. Trotz zum Teil<br />

aufwendiger Wissensmanagementsysteme (z.B. GTZ) und trotz <strong>in</strong>tensiver Bemühungen<br />

(z.B. <strong>in</strong> <strong>der</strong> GTZ) f<strong>in</strong>det e<strong>in</strong> über das e<strong>in</strong>zelne Projekt o<strong>der</strong> Programm h<strong>in</strong>ausgehendes<br />

Lernen kaum statt. Hierzu trägt sicherlich bei, dass es ke<strong>in</strong>e verpflichtenden Auflagen<br />

gibt. So ist z.B. <strong>in</strong> ke<strong>in</strong>er <strong>der</strong> untersuchten EZ-Organisationen vorgeschrieben, <strong>in</strong> neu<br />

geplanten Projekten nachzuweisen, welche <strong>Evaluation</strong>sbefunde aus vorangegangenen<br />

Projekten bei <strong>der</strong> Neukonzeption genutzt wurden.<br />

E<strong>in</strong> beson<strong>der</strong>s <strong>in</strong>teressanter Ansatz für das <strong>in</strong>stitutionelle Lernen stellt das „Abgeordnetensystem“<br />

<strong>der</strong> KfW dar. Durch die Abordnung von Mitarbeitern, die an den Projekten<br />

und Programmen, die sie evaluieren, <strong>in</strong> ke<strong>in</strong>er Phase beteiligt gewesen se<strong>in</strong> dürfen, wird<br />

umfassendes Wissen generiert, das nicht nur den Blick für den Nutzen von <strong>Evaluation</strong>sergebnissen<br />

aus <strong>Evaluation</strong>en „an<strong>der</strong>er“ Programme und Projekte weitet, son<strong>der</strong>n die<br />

<strong>Evaluation</strong>sergebnisse können auch <strong>in</strong>haltlich für die weitere eigene Arbeit genutzt<br />

werden.<br />

E<strong>in</strong>e wesentliche Ursache für den ger<strong>in</strong>gen Nutzungsgrad stellt auch die Form <strong>der</strong><br />

<strong>Evaluation</strong> dar. Wenn fast alle <strong>Evaluation</strong>en (bis auf BMZ) auf E<strong>in</strong>zelprojekte <strong>in</strong> spezifischen<br />

situativen Kontextbed<strong>in</strong>gungen rekurrieren, kann es kaum überraschen, wenn<br />

Zweifel dah<strong>in</strong>gehend bestehen, wie die Erkenntnisse aus solchen <strong>Evaluation</strong>en für „eigene“<br />

wie<strong>der</strong>um unter sehr spezifischen Bed<strong>in</strong>gungen implementierte Projekte genutzt<br />

werden können.<br />

Die externe Nutzung von <strong>Evaluation</strong>sergebnissen wird vor allem durch die fehlende<br />

Transparenz e<strong>in</strong>geschränkt. Nur die <strong>Evaluation</strong>sberichte des BMZ s<strong>in</strong>d seit e<strong>in</strong>igen<br />

Jahren öffentlich zugänglich. Darunter leidet nicht nur die Glaubwürdigkeit <strong>der</strong> Arbeit<br />

<strong>der</strong> EZ son<strong>der</strong>n mitunter auch die Qualität <strong>der</strong> <strong>Evaluation</strong>sberichte, die durch diese Praxis<br />

jedwe<strong>der</strong> externen Kritik und fachlicher Diskussion entzogen ist.<br />

Aufgrund <strong>der</strong> <strong>in</strong>sgesamt (bis auf die kirchlichen Organisationen) ger<strong>in</strong>gen E<strong>in</strong>b<strong>in</strong>dung<br />

<strong>der</strong> Partnerorganisationen <strong>in</strong> den Entwicklungsprozess, steht vor allem das Lernen <strong>der</strong><br />

Geberorganisation im Vor<strong>der</strong>grund. Partnerorganisationen, die zudem häufig nicht an <strong>der</strong><br />

Planung von <strong>Evaluation</strong>, <strong>der</strong> Formulierung <strong>der</strong> ToRs o<strong>der</strong> <strong>der</strong> Gutachterauswahl etc.<br />

beteiligt s<strong>in</strong>d und <strong>in</strong> vielen Fällen noch nicht e<strong>in</strong>mal den kompletten <strong>Evaluation</strong>sbericht<br />

zu lesen bekommen, son<strong>der</strong>n häufig nur im Rahmen e<strong>in</strong>es Debrief<strong>in</strong>gs am Ende e<strong>in</strong>er<br />

<strong>Evaluation</strong> über die ersten (naturgemäß vorläufigen) <strong>Evaluation</strong>sergebnisse <strong>in</strong>formiert<br />

werden und später e<strong>in</strong>e Kurzzusammenfassung <strong>der</strong> Befunde erhalten, können vermutlich<br />

aus den <strong>Evaluation</strong>en bisher nur wenig Nutzen ziehen.<br />

Zusammenfassend kann festgehalten werden, dass die Nützlichkeit von <strong>Evaluation</strong> <strong>in</strong><br />

<strong>der</strong> <strong>deutschen</strong> EZ vor allem <strong>in</strong>strumenteller Art ist. Die Ergebnisse von <strong>Evaluation</strong>en<br />

werden vorwiegend im Kontext von Programmplanungs- und Steuerungsaktivitäten<br />

genutzt. <strong>Evaluation</strong>sformen, die e<strong>in</strong> über das e<strong>in</strong>zelne Programm h<strong>in</strong>ausgehendes Lernen,<br />

sowie organisatorische Mechanismen, die e<strong>in</strong> <strong>in</strong>stitutionelles Lernen ermöglichen, s<strong>in</strong>d<br />

nach wie vor selten anzutreffen. Über<strong>in</strong>stitutionelles Lernen wird durch fehlende Transparenz<br />

erschwert. Nicht zu vernachlässigen ist die Tatsache, dass nicht nur aus den<br />

Ergebnissen von <strong>Evaluation</strong> gelernt werden kann, son<strong>der</strong>n dass alle<strong>in</strong> die Planung und<br />

Durchführung von <strong>Evaluation</strong> Lerneffekte generiert E<strong>in</strong> solcher „Prozessnutzen“ ent-

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!