Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI
Die Qualität der Evaluationssysteme 151 Insgesamt erscheinen die meisten Evaluationssysteme unterfinanziert. Auch wenn es keine verbindlichen Vorgaben oder Standards gibt, so existieren doch Anhaltspunkte, die einen Richtwert von 1% des Portfolios für unabhängige Evaluationen nahe legen (vgl. Abschnitt 3.5.3). Die meisten deutschen EZ-Organisationen sind von einem solchen Anteil noch weit entfernt. Bei den meisten liegt er im niedrigen Promillebereich. Leider liegen in vielen Organisationen keine oder nur unsichere Daten vor. Die meisten Evaluationseinheiten haben offensichtlich keinen vollständigen Überblick über das Evaluationsgeschehen in ihrer jeweiligen Organisationen, weil sie in der Regel nur für einen kleinen Teil die Verantwortung tragen. 4.3 Nützlichkeit Die Nützlichkeit von Evaluation ist nicht nur ein zentraler DAC-Standard, sondern stellt ein konstitutives Merkmal von Evaluation dar. Eine Evaluation kann noch so glaubwürdig, wissenschaftlich fundiert und von noch so guter Qualität sein, doch wenn die Ergebnisse nicht genutzt werden, hat sie ihren eigentlichen Zweck verfehlt (vgl. Stockmann 2006 u. Stockmann 2007). Der Nutzen von Evaluation lässt sich analytisch auf drei Ebenen verorten: (1) Direkter (instrumenteller) Nutzen entsteht, wenn Evaluationsergebnisse durch das Management direkt verwendet werden. (2) Von einem konzeptionellen Nutzen wird gesprochen, wenn Evaluationsergebnisse das generelle Denken über Problemstellungen beeinflussen. Und ein (3) Überzeugungsnutzen (persuasive use) stellt sich ein, wenn Evaluationsergebnisse zur Untermauerung oder Widerlegung fundamentaler (politischer) Positionen dienen (vgl. Fitzpatrick u.a. 2004: 421). In der deutschen EZ werden Evaluationen vor allem für die unmittelbare Projekt- /Programmsteuerung genutzt. Andere Evaluationsziele wie Rechenschaftslegung (Legitimierung, Außendarstellung) und Kontrolle sind deutlich nachgeordnet und haben gegenüber früher weiter an Bedeutung verloren – auch im BMZ als dem politiksteuernden Ministerium. Themen-, strategie- und instrumentenbezogene Evaluationen, bei denen eher ein konzeptioneller oder gar Überzeugungsnutzen im Vordergrund stehen, sind in den Portfolios der EZ-Organisationen eher selten zu finden. Mit Ausnahme des BMZ, das sich auf diese Formen der Evaluation konzentriert. Dies ist insoweit erstaunlich, als „Lernen“ von allen untersuchten EZ-Organisationen als das dominante Evaluationsmotiv genannt wurde. In der Evaluationspraxis der meisten EZ-Organisationen reduziert sich dieser Anspruch jedoch auf unmittelbare instrumentelle Lernprozesse. Mit dieser Einschätzung steht der Evaluationsbefund im Einklang, dass Evaluationsergebnisse weitgehend nur von den unmittelbar Betroffenen, häufig sogar nur von den Projekt-/Programmverantwortlichen genutzt werden. Selbst in diesem Kernbereich fehlen in vielen EZ-Organisationen überzeugende Umsetzungsmechanismen. In kaum einer Organisation endet der Evaluationsprozess in einem „Management Response“, bei dem geregelt wird, welche Evaluationsempfehlungen von wem in welchen Zeiträumen umgesetzt werden sollen und welche aus welchen Gründen schlicht abgelehnt werden. Auch ein formalisiertes Umsetzungsmonitoring, mit dem der Umsetzungsprozess überprüft wird, existiert kaum. In den Fällen, in denen es implementiert ist (z.B. BMZ), fehlt es an
152 Axel Borrmann & Reinhard Stockmann Ressourcen zur konsequenten Auswertung sowie an Sanktionsmitteln bei Nicht- Umsetzung. Obwohl der Wert institutionellen Lernens von vielen der evaluierten EZ-Organisationen hoch eingestuft wird, scheint dies nur ungenügend zu gelingen. Trotz zum Teil aufwendiger Wissensmanagementsysteme (z.B. GTZ) und trotz intensiver Bemühungen (z.B. in der GTZ) findet ein über das einzelne Projekt oder Programm hinausgehendes Lernen kaum statt. Hierzu trägt sicherlich bei, dass es keine verpflichtenden Auflagen gibt. So ist z.B. in keiner der untersuchten EZ-Organisationen vorgeschrieben, in neu geplanten Projekten nachzuweisen, welche Evaluationsbefunde aus vorangegangenen Projekten bei der Neukonzeption genutzt wurden. Ein besonders interessanter Ansatz für das institutionelle Lernen stellt das „Abgeordnetensystem“ der KfW dar. Durch die Abordnung von Mitarbeitern, die an den Projekten und Programmen, die sie evaluieren, in keiner Phase beteiligt gewesen sein dürfen, wird umfassendes Wissen generiert, das nicht nur den Blick für den Nutzen von Evaluationsergebnissen aus Evaluationen „anderer“ Programme und Projekte weitet, sondern die Evaluationsergebnisse können auch inhaltlich für die weitere eigene Arbeit genutzt werden. Eine wesentliche Ursache für den geringen Nutzungsgrad stellt auch die Form der Evaluation dar. Wenn fast alle Evaluationen (bis auf BMZ) auf Einzelprojekte in spezifischen situativen Kontextbedingungen rekurrieren, kann es kaum überraschen, wenn Zweifel dahingehend bestehen, wie die Erkenntnisse aus solchen Evaluationen für „eigene“ wiederum unter sehr spezifischen Bedingungen implementierte Projekte genutzt werden können. Die externe Nutzung von Evaluationsergebnissen wird vor allem durch die fehlende Transparenz eingeschränkt. Nur die Evaluationsberichte des BMZ sind seit einigen Jahren öffentlich zugänglich. Darunter leidet nicht nur die Glaubwürdigkeit der Arbeit der EZ sondern mitunter auch die Qualität der Evaluationsberichte, die durch diese Praxis jedweder externen Kritik und fachlicher Diskussion entzogen ist. Aufgrund der insgesamt (bis auf die kirchlichen Organisationen) geringen Einbindung der Partnerorganisationen in den Entwicklungsprozess, steht vor allem das Lernen der Geberorganisation im Vordergrund. Partnerorganisationen, die zudem häufig nicht an der Planung von Evaluation, der Formulierung der ToRs oder der Gutachterauswahl etc. beteiligt sind und in vielen Fällen noch nicht einmal den kompletten Evaluationsbericht zu lesen bekommen, sondern häufig nur im Rahmen eines Debriefings am Ende einer Evaluation über die ersten (naturgemäß vorläufigen) Evaluationsergebnisse informiert werden und später eine Kurzzusammenfassung der Befunde erhalten, können vermutlich aus den Evaluationen bisher nur wenig Nutzen ziehen. Zusammenfassend kann festgehalten werden, dass die Nützlichkeit von Evaluation in der deutschen EZ vor allem instrumenteller Art ist. Die Ergebnisse von Evaluationen werden vorwiegend im Kontext von Programmplanungs- und Steuerungsaktivitäten genutzt. Evaluationsformen, die ein über das einzelne Programm hinausgehendes Lernen, sowie organisatorische Mechanismen, die ein institutionelles Lernen ermöglichen, sind nach wie vor selten anzutreffen. Überinstitutionelles Lernen wird durch fehlende Transparenz erschwert. Nicht zu vernachlässigen ist die Tatsache, dass nicht nur aus den Ergebnissen von Evaluation gelernt werden kann, sondern dass allein die Planung und Durchführung von Evaluation Lerneffekte generiert Ein solcher „Prozessnutzen“ ent-
- Seite 101 und 102: 100 Axel Borrmann & Reinhard Stockm
- Seite 103 und 104: 102 Axel Borrmann & Reinhard Stockm
- Seite 105 und 106: 104 Axel Borrmann & Reinhard Stockm
- Seite 107 und 108: 106 Axel Borrmann & Reinhard Stockm
- Seite 109 und 110: 108 Axel Borrmann & Reinhard Stockm
- Seite 111 und 112: 110 Axel Borrmann & Reinhard Stockm
- Seite 113 und 114: 112 Axel Borrmann & Reinhard Stockm
- Seite 115 und 116: 114 Axel Borrmann & Reinhard Stockm
- Seite 117 und 118: 116 Axel Borrmann & Reinhard Stockm
- Seite 119 und 120: 118 Axel Borrmann & Reinhard Stockm
- Seite 121 und 122: 120 Axel Borrmann & Reinhard Stockm
- Seite 123 und 124: 122 Axel Borrmann & Reinhard Stockm
- Seite 125 und 126: 124 Axel Borrmann & Reinhard Stockm
- Seite 127 und 128: 126 Axel Borrmann & Reinhard Stockm
- Seite 129 und 130: 128 Axel Borrmann & Reinhard Stockm
- Seite 131 und 132: 130 Axel Borrmann & Reinhard Stockm
- Seite 133 und 134: 132 Axel Borrmann & Reinhard Stockm
- Seite 135 und 136: 134 Axel Borrmann & Reinhard Stockm
- Seite 137 und 138: 136 Axel Borrmann & Reinhard Stockm
- Seite 139 und 140: 138 Axel Borrmann & Reinhard Stockm
- Seite 141 und 142: 140 Axel Borrmann & Reinhard Stockm
- Seite 143 und 144: 142 Axel Borrmann & Reinhard Stockm
- Seite 146 und 147: Die Qualität der Evaluationssystem
- Seite 148 und 149: Die Qualität der Evaluationssystem
- Seite 150 und 151: Die Qualität der Evaluationssystem
- Seite 154 und 155: Die Qualität der Evaluationssystem
- Seite 156 und 157: Die Qualität der Evaluationssystem
- Seite 158 und 159: Die Qualität der Evaluationssystem
- Seite 160 und 161: Die Qualität der Evaluationssystem
- Seite 162 und 163: Die Qualität der Evaluationssystem
- Seite 164 und 165: Die Qualität der Evaluationssystem
- Seite 166 und 167: Empfehlungen zur Reform der Evaluat
- Seite 168 und 169: Empfehlungen zur Reform der Evaluat
- Seite 170: Empfehlungen zur Reform der Evaluat
- Seite 173 und 174: 172 Axel Borrmann & Reinhard Stockm
- Seite 175 und 176: 174 Axel Borrmann & Reinhard Stockm
- Seite 177 und 178: 176 Axel Borrmann & Reinhard Stockm
- Seite 179 und 180: 178 Axel Borrmann & Reinhard Stockm
- Seite 181 und 182: 180 Axel Borrmann & Reinhard Stockm
- Seite 183 und 184: 182 Axel Borrmann & Reinhard Stockm
- Seite 185 und 186: 184 Axel Borrmann & Reinhard Stockm
- Seite 187 und 188: 186 Axel Borrmann & Reinhard Stockm
- Seite 189 und 190: 188 Axel Borrmann & Reinhard Stockm
- Seite 191 und 192: 190 Axel Borrmann & Reinhard Stockm
- Seite 193 und 194: 192 Axel Borrmann & Reinhard Stockm
- Seite 195 und 196: 194 Axel Borrmann & Reinhard Stockm
- Seite 197 und 198: 196 Axel Borrmann & Reinhard Stockm
- Seite 199 und 200: 198 Axel Borrmann & Reinhard Stockm
- Seite 201 und 202: 200 Axel Borrmann & Reinhard Stockm
152 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />
Ressourcen zur konsequenten Auswertung sowie an Sanktionsmitteln bei Nicht-<br />
Umsetzung.<br />
Obwohl <strong>der</strong> Wert <strong>in</strong>stitutionellen Lernens von vielen <strong>der</strong> evaluierten EZ-Organisationen<br />
hoch e<strong>in</strong>gestuft wird, sche<strong>in</strong>t dies nur ungenügend zu gel<strong>in</strong>gen. Trotz zum Teil<br />
aufwendiger Wissensmanagementsysteme (z.B. GTZ) und trotz <strong>in</strong>tensiver Bemühungen<br />
(z.B. <strong>in</strong> <strong>der</strong> GTZ) f<strong>in</strong>det e<strong>in</strong> über das e<strong>in</strong>zelne Projekt o<strong>der</strong> Programm h<strong>in</strong>ausgehendes<br />
Lernen kaum statt. Hierzu trägt sicherlich bei, dass es ke<strong>in</strong>e verpflichtenden Auflagen<br />
gibt. So ist z.B. <strong>in</strong> ke<strong>in</strong>er <strong>der</strong> untersuchten EZ-Organisationen vorgeschrieben, <strong>in</strong> neu<br />
geplanten Projekten nachzuweisen, welche <strong>Evaluation</strong>sbefunde aus vorangegangenen<br />
Projekten bei <strong>der</strong> Neukonzeption genutzt wurden.<br />
E<strong>in</strong> beson<strong>der</strong>s <strong>in</strong>teressanter Ansatz für das <strong>in</strong>stitutionelle Lernen stellt das „Abgeordnetensystem“<br />
<strong>der</strong> KfW dar. Durch die Abordnung von Mitarbeitern, die an den Projekten<br />
und Programmen, die sie evaluieren, <strong>in</strong> ke<strong>in</strong>er Phase beteiligt gewesen se<strong>in</strong> dürfen, wird<br />
umfassendes Wissen generiert, das nicht nur den Blick für den Nutzen von <strong>Evaluation</strong>sergebnissen<br />
aus <strong>Evaluation</strong>en „an<strong>der</strong>er“ Programme und Projekte weitet, son<strong>der</strong>n die<br />
<strong>Evaluation</strong>sergebnisse können auch <strong>in</strong>haltlich für die weitere eigene Arbeit genutzt<br />
werden.<br />
E<strong>in</strong>e wesentliche Ursache für den ger<strong>in</strong>gen Nutzungsgrad stellt auch die Form <strong>der</strong><br />
<strong>Evaluation</strong> dar. Wenn fast alle <strong>Evaluation</strong>en (bis auf BMZ) auf E<strong>in</strong>zelprojekte <strong>in</strong> spezifischen<br />
situativen Kontextbed<strong>in</strong>gungen rekurrieren, kann es kaum überraschen, wenn<br />
Zweifel dah<strong>in</strong>gehend bestehen, wie die Erkenntnisse aus solchen <strong>Evaluation</strong>en für „eigene“<br />
wie<strong>der</strong>um unter sehr spezifischen Bed<strong>in</strong>gungen implementierte Projekte genutzt<br />
werden können.<br />
Die externe Nutzung von <strong>Evaluation</strong>sergebnissen wird vor allem durch die fehlende<br />
Transparenz e<strong>in</strong>geschränkt. Nur die <strong>Evaluation</strong>sberichte des BMZ s<strong>in</strong>d seit e<strong>in</strong>igen<br />
Jahren öffentlich zugänglich. Darunter leidet nicht nur die Glaubwürdigkeit <strong>der</strong> Arbeit<br />
<strong>der</strong> EZ son<strong>der</strong>n mitunter auch die Qualität <strong>der</strong> <strong>Evaluation</strong>sberichte, die durch diese Praxis<br />
jedwe<strong>der</strong> externen Kritik und fachlicher Diskussion entzogen ist.<br />
Aufgrund <strong>der</strong> <strong>in</strong>sgesamt (bis auf die kirchlichen Organisationen) ger<strong>in</strong>gen E<strong>in</strong>b<strong>in</strong>dung<br />
<strong>der</strong> Partnerorganisationen <strong>in</strong> den Entwicklungsprozess, steht vor allem das Lernen <strong>der</strong><br />
Geberorganisation im Vor<strong>der</strong>grund. Partnerorganisationen, die zudem häufig nicht an <strong>der</strong><br />
Planung von <strong>Evaluation</strong>, <strong>der</strong> Formulierung <strong>der</strong> ToRs o<strong>der</strong> <strong>der</strong> Gutachterauswahl etc.<br />
beteiligt s<strong>in</strong>d und <strong>in</strong> vielen Fällen noch nicht e<strong>in</strong>mal den kompletten <strong>Evaluation</strong>sbericht<br />
zu lesen bekommen, son<strong>der</strong>n häufig nur im Rahmen e<strong>in</strong>es Debrief<strong>in</strong>gs am Ende e<strong>in</strong>er<br />
<strong>Evaluation</strong> über die ersten (naturgemäß vorläufigen) <strong>Evaluation</strong>sergebnisse <strong>in</strong>formiert<br />
werden und später e<strong>in</strong>e Kurzzusammenfassung <strong>der</strong> Befunde erhalten, können vermutlich<br />
aus den <strong>Evaluation</strong>en bisher nur wenig Nutzen ziehen.<br />
Zusammenfassend kann festgehalten werden, dass die Nützlichkeit von <strong>Evaluation</strong> <strong>in</strong><br />
<strong>der</strong> <strong>deutschen</strong> EZ vor allem <strong>in</strong>strumenteller Art ist. Die Ergebnisse von <strong>Evaluation</strong>en<br />
werden vorwiegend im Kontext von Programmplanungs- und Steuerungsaktivitäten<br />
genutzt. <strong>Evaluation</strong>sformen, die e<strong>in</strong> über das e<strong>in</strong>zelne Programm h<strong>in</strong>ausgehendes Lernen,<br />
sowie organisatorische Mechanismen, die e<strong>in</strong> <strong>in</strong>stitutionelles Lernen ermöglichen, s<strong>in</strong>d<br />
nach wie vor selten anzutreffen. Über<strong>in</strong>stitutionelles Lernen wird durch fehlende Transparenz<br />
erschwert. Nicht zu vernachlässigen ist die Tatsache, dass nicht nur aus den<br />
Ergebnissen von <strong>Evaluation</strong> gelernt werden kann, son<strong>der</strong>n dass alle<strong>in</strong> die Planung und<br />
Durchführung von <strong>Evaluation</strong> Lerneffekte generiert E<strong>in</strong> solcher „Prozessnutzen“ ent-