Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Weitere Magazine

Empfehlungen

Info

Evaluationssysteme deutscher EZ-Organisationen 127 externen Gutachtern besonderen Wert legen, dann fällt – wie schon bei dem EZ- Organisations-internen Evaluationspersonal – auf, dass explizite Methoden- und Evaluationskenntnisse nur selten gefordert werden. Am nachdrücklichsten werden diese vom BMZ gefordert, das eine vertiefte Methodenkompetenz, vor allem im Bereich der empirischen Sozialforschung und Wirkungsanalyse verlangt. Nicht weniger wichtig ist dem BMZ neben dem üblichen projektbezogenen EZ-Knowhow eine grundlegende Kenntnis der aktuellen entwicklungstheoretischen und -politischen Debatten in der deutschen und internationalen EZ, genaue Kenntnisse über die Organisation und Funktionsweise bi- und multilateraler EZ-Institutionen sowie Fähigkeiten zum Management komplexer Evaluationsprozesse. Bei der Suche nach geeigneten Gutachtern stellt das BMZ fest, dass dieses gegenüber dem früher vorherrschenden „klassischen Fachgutachter“ veränderte Anforderungsprofil zu deutlichen Engpässen auf dem Gutachtermarkt geführt hat, so dass es manchmal schwierig sein kann, geeignete Experten zu finden. Auch die GTZ, die im Rahmen ihrer Fremdevaluierungen die Gutachtersuche an die Forschungsinstitute und Consultings ausgelagert hat, mit denen sie Rahmenverträge abgeschlossen hat, berichtet davon, dass nicht alle vorgeschlagenen Gutachter ihren Vorstellungen entsprachen: Die GTZ legt Wert auf Evaluationskenntnisse und -erfahrungen und besonders auf die wirkungsorientierten Verfahren der GTZ, Fachgebietskenntnisse, Auslandserfahrung und Regionenkenntnisse. Die KfW setzt bei der Auswahl ihrer externen Gutachter vor allem sektorspezifische Kenntnisse und Erfahrungen voraus, Evaluationsfachkenntnisse spielen hingegen keine besondere Rolle. Es wird lediglich „Erfahrung“ im Evaluationsbereich verlangt. In den übrigen staatlichen EZ-Organisationen ist kaum etwas über die Qualifikationsanforderungen der Gutachter bekannt, weil diese entweder dezentral von den operativen Einheiten ausgewählt werden oder selten oder gar nicht eingesetzt werden. Im nicht-staatlichen Bereich ist der Kanon der Qualifikationsanforderungen recht heterogen, aber auch hier fällt auf, dass besondere Methoden- oder vertiefte Evaluationskenntnisse selten dazugehören. Statt dessen wird häufig „Evaluationserfahrung“ verlangt, bei den kirchlichen EZ-Organisationen allenfalls noch Kenntnisse partizipativer Methoden und Moderationstechniken (EED), da sowohl Beratungs- als auch Evaluationseinsätze durchgeführt werden. Neben den von allen geforderten sektoralen Fach-, Landes- und Sprachenkenntnissen verlangen viele nicht-staatliche EZ-Organisationen vor allem auch interkulturelle Kompetenzen, Gendersensibilität und manchmal auch weltanschauliche Nähe, vor allem bei politischen Stiftungen. Bei diesen fällt zudem auf, dass einige gerne auf frühere Mitarbeiter zurückgreifen. So waren z.B. rund die Hälfte der zwischen 2004 und 2006 von der FNF eingesetzten externen Gutachter früher einmal bei der Stiftung beschäftigt. Weiterbildungsangebote für Gutachter werden durch die EZ-Organisationen nicht angeboten. Das BMZ weist zwar darauf hin, dass es die Teilnahme von Gutachtern an Weiterbildungsveranstaltungen bei der Rekrutierung positiv bewertet, unterstützt oder bietet selbst aber keine Weiterbildungen an. Dies wird vom BMZ primär als Aufgabe der Wissenschaft und Consultingwirtschaft angesehen. Die GTZ ist dazu übergegangen, die für sie im Rahmen der Fremdevaluation tätig werdenden Gutachter in eintägigen Seminaren vorzubereiten. Doch diese Workshops dienen vor allem dazu, die unternehmenseigenen Konzepte und das Instrumentarium, das
128 Axel Borrmann & Reinhard Stockmann möglichst optimal eingesetzt werden soll, zu vermitteln. Ansonsten herrscht in allen EZ- Organisationen ein mehr oder minder ausführliches Briefing vor, das im Wesentlichen der Auftragsklärung dient. Gutachterrekrutierung, Diversifizierung und Unparteilichkeit Wie aus Kapitel 4.3.2 zu entnehmen ist, erfolgt die Gutachterrekrutierung zumeist freihändig. Nur wenige Organisationen wie BMZ, GTZ oder InWEnt und Ci schreiben Evaluationsvorhaben zumindest teilweise aus. Bis auf SEK, dvv international und Ci verfügen alle anderen EZ-Organisationen über eine Gutachterdatei oder zumindest Liste. Der Zugang zu diesen Listen (wer sich eintragen lassen kann), der Umfang, die Aussagefähigkeit (erfassten Merkmale) sowie die Aktualität der Eintragungen schwanken von Organisation zu Organisation sehr. Zwar sind z.B. in der Gutachterdatei der KfW 33.000 Eintragungen vorhanden, doch wird nur ein sehr kleiner Teil davon genutzt. Bei den anderen EZ-Organisationen schwanken die Eintragungen zwischen (10: BGR) und (740: Misereor). Alle Organisationen legen nach eigenem Bekunden großen Wert auf eine hohe Gutachterrotation. Soweit bekannt verfügt nur Misereor über eine formelle Regelung, die Gutachtern nicht mehr als 100 Honorartage pro Jahr zubilligt, um Abhängigkeiten zu vermeiden. Doch auch alle anderen Organisationen wiesen darauf hin, dass sie auf eine ausreichende Gutachter-Diversifizierung achten würden. Da die GTZ für ihre Fremdevaluationen keine Einzelgutachter mehr beschäftigt, sondern über Ausschreibungsverfahren Institute auswählt und mit diesen auf zwei Jahre befristete Rahmenverträge abschließt, kommt sie ohne Gutachterdatei aus und kann ein hohes Maß an Unparteilichkeit sicherstellen. Inwieweit dies in Organisationen gelingt, die Evaluationsvorhaben nicht ausschreiben, ist nur bedingt nachprüfbar. Die Unparteilichkeit der Gutachter dürfte insbesondere in den Organisationen, bei denen die unabhängige Evaluationseinheit die Gutachter auswählt (z.B. BMZ, Misereor) gestärkt werden. In den meisten Organisationen erfolgt die Gutachterauswahl jedoch durch die operativen Abteilungen und die Evaluationseinheiten haben allenfalls ein Mitspracherecht. Die Bewertung der Gutachter erfolgt zumeist informell. In den Organisationen, in denen es ein formalisiertes Verfahren gibt (z.B. KfW, InWEnt), wird dieses jedoch zumeist nicht konsequent und durchgängig angewendet und in die Gutachterdatenbanken eingespeist. Zumeist spielen mündliche Beurteilungen und Kollegenempfehlungen eine größere Rolle bei der Weitergabe von Einschätzungen über die Qualität von Gutachtern. Zusammenfassung Im Hinblick auf die Qualifikationsanforderungen ist demnach insgesamt festzuhalten, dass weder beim internen, für Evaluation zuständigen Personal noch bei der Auswahl externer Gutachter (bis auf wenige Institutionen wie BMZ und GTZ abgesehen) vertiefte Methoden- und Evaluationskenntnisse eingefordert werden. Lediglich das Kriterium „Evaluationserfahrung“ stellt neben einer Vielzahl weiterer Kompetenzen ein von jeder EZ-Organisation berücksichtigtes Merkmal dar. Die bei den meisten EZ-Organisationen zu beobachtende Vernachlässigung expliziter fachlicher Methoden- und Evaluationskenntnisse ist mit der derzeit vorherrschenden Evaluationspraxis durchaus systemkonform. Da außer dem „Gutachtenmodell“ kaum
Seite 2 und 3:
Evaluation in der deutschen Entwick
Seite 4 und 5:
Axel Borrmann Reinhard Stockmann Ev
Seite 6 und 7:
Vorwort Evaluation in der Entwicklu
Seite 8 und 9:
Inhaltsübersicht Band 1: Systemana
Seite 10 und 11:
Inhalt Abkürzungsverzeichnis......
Seite 12:
4 Die Qualität der Evaluationssyst
Seite 15 und 16:
14 HIPC Heavily Indebted Poor Count
Seite 18 und 19:
Zusammenfassung 17 0 Zusammenfassun
Seite 20 und 21:
Zusammenfassung 19 Evaluationspraxi
Seite 22 und 23:
Zusammenfassung 21 Nützlichkeit In
Seite 24 und 25:
Zusammenfassung 23 ein hohes Kompet
Seite 26 und 27:
Zusammenfassung 25 Organisationen,
Seite 28 und 29:
Zusammenfassung 27 Um die Unabhäng
Seite 30 und 31:
Zusammenfassung 29 Robuste Methoden
Seite 32 und 33:
Hintergrund und Ziele der Untersuch
Seite 34 und 35:
Seite 36 und 37:
Seite 38 und 39:
Seite 40 und 41:
Seite 42 und 43:
Seite 44 und 45:
Seite 46 und 47:
Seite 48 und 49:
Seite 50 und 51:
Seite 52 und 53:
Seite 54 und 55:
Untersuchungsdesign 53 2 Untersuchu
Seite 56 und 57:
Untersuchungsdesign 55 2.2 Untersuc
Seite 58 und 59:
Untersuchungsdesign 57 Nur sieben d
Seite 60 und 61:
Untersuchungsdesign 59 Für diese E
Seite 62 und 63:
Untersuchungsdesign 61 2.5 Gutachte
Seite 64:
Untersuchungsdesign 63 Ein besonder
Seite 67 und 68:
66 Axel Borrmann & Reinhard Stockma
Seite 69 und 70:
Seite 71 und 72:
Seite 73 und 74:
Seite 75 und 76:
Seite 77 und 78: 76 Axel Borrmann & Reinhard Stockma
Seite 101 und 102: 100 Axel Borrmann & Reinhard Stockm
Seite 127: 126 Axel Borrmann & Reinhard Stockm
Seite 146 und 147: Die Qualität der Evaluationssystem
Seite 166 und 167: Empfehlungen zur Reform der Evaluat
Seite 168 und 169: Empfehlungen zur Reform der Evaluat
Seite 170: Empfehlungen zur Reform der Evaluat
Seite 179 und 180:
178 Axel Borrmann & Reinhard Stockm
Seite 181 und 182:
Seite 183 und 184:
Seite 185 und 186:
Seite 187 und 188:
Seite 189 und 190:
Seite 191 und 192:
Seite 193 und 194:
Seite 195 und 196:
Seite 197 und 198:
Seite 199 und 200:
Seite 201 und 202:
Seite 203 und 204:
Seite 205 und 206:
Seite 207 und 208:
Seite 209 und 210:
Seite 211 und 212:
Seite 213 und 214:
212 Die Autoren der Systemprüfung
Alle anzeigen

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Erfolgreiche ePaper selbst erstellen

Template löschen?

Als Template speichern?