Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

03.10.2013 Aufrufe

Untersuchungsdesign 59 Für diese Erhebungsmethoden wurden die entsprechenden Erhebungsinstrumente entwickelt. Der Untersuchungsleitfaden ist in Anhang 2 wiedergegeben. Die Datenerhebung erfolgte auf der Grundlage der einschlägigen DeGEval-Standards für die Informationsgewinnung. Sie deckt den Zeitraum 2001 bis Oktober 2007 ab. Die mit den genannten Instrumenten erhobenen Informationen wurden auf der Grundlage der oben genannten Standards und Vorgaben sowie anhand nationaler und internationaler Erfahrungswerte beurteilt. Wo anerkannte Normen für Systemmerkmale fehlten, wurden relative Bewertungen durch kontextspezifische horizontale Vergleiche der untersuchten EZ-Organisationen (Benchmarking) vorgenommen. 2.4 Ablauf der Untersuchung Bei den von den einzelnen Gutachtern und der Gutachterin vorgenommenen Bewertungen wurde so vorgegangen, dass diese in enger Abstimmung mit der Leitung der Studie im Vergleich zu allen anderen Organisationen vorgenommen wurden. Es handelt sich also nicht um absolute, sondern relative Bewertungen. Alle Berichte haben eine mehrfache Qualitätskontrolle durchlaufen. Bei den Organisationen, in denen die Peers an den Interviews teilgenommen haben, sind die Berichte auch von diesen kommentiert und ergänzt worden. Die Systemprüfung umfasste sechs Phasen: Vorbereitungsphase Abstimmung der Evaluationskonzeption mit den EZ-Organisationen Auftragsvergabe Inception-Phase Präzisierung des Evaluationsansatzes und der Untersuchungsfelder Entwicklung der Evaluationsmethodik (Untersuchungsleitfaden, Self-Assessment- Fragebögen, Interviewleitfäden etc.) Erstellung eines Arbeitsprogramms für die Durchführungsphase Entwicklung eines Gliederungsentwurfes für Evaluationsbericht Abstimmung mit dem BMZ Briefing der Gutachter Self-Assessment der EZ-Evaluationseinheiten Darstellung des Evaluationssystems und Evaluationsaktivitäten nach vorgegebenem Leitfaden Aufzeigen von Veränderungen seit den letzten beiden Systemprüfungen 1999/2001 Bereitstellung grundlegender Dokumente und Statistiken

60 Axel Borrmann & Reinhard Stockmann Auswertungs- und Interviewphase Auswertung der Self-Assessments der EZ-Organisationen Interviews zur Ergänzung der Informationen aus der Dokumentenanalyse und den Self-Assessments mit den Evaluationsverantwortlichen, der Leitung und dem Management sowie den operativen Einheiten der EZ-Organisationen schriftliche Befragungen und/oder Telefon-/Vor-Ort-Interviews u.a. mit AwZ, Bundesrechnungshof, Wissenschaftlern, Gutachtern, PwC, DeGEval, VENRO. 16 Berichtserstellung Dokumentenauswertung zur Analyse des internationalen Kontexts, der nationalen Rahmenbedingungen Entwurf der Fallstudien für die ausgewählten EZ-Organisationen durch die Gutachter Abstimmung der Entwürfe mit den Co-Gutachtern und den beteiligten Peers Qualitätssicherung der Entwürfe durch die Leitung der Systemprüfung Schriftliche und mündliche Abstimmung der Entwürfe mit den EZ-Organisationen Überarbeitung der Fallstudien Entwurf des Syntheseberichts Abstimmung des Syntheseberichts mit Gutachtern und Peers im Rahmen eines Workshops Überarbeitung des Syntheseberichts und Rückspiegelung seiner Ergebnisse in die Fallstudien Versand der Fallstudien und des Syntheseberichts an das BMZ und die EZ-Organisationen Diskussion des Syntheseberichts auf einem Workshop mit allen beteiligten Institutionen Endfassung des Syntheseberichts und der Fallstudien Follow-up-Phase Publikation des Berichts auf Deutsch (ganz) und in Englisch (Synthesebericht) Vorstellung der Ergebnisse der Evaluation in den Medien Stellungnahmen des BMZ und der EZ-Organisationen zum Bericht (Management Response) Organisation eines Prozesses zur Umsetzung der Evaluationsergebnisse auf der Basis der Management Responses 16 Den Interviewpartnern wurde Anonymität zugesichert. Als eigenständige Quellen wurden sie nicht in das Literaturverzeichnis aufgenommen.

60 Axel Borrmann & Re<strong>in</strong>hard Stockmann<br />

Auswertungs- und Interviewphase<br />

Auswertung <strong>der</strong> Self-Assessments <strong>der</strong> EZ-Organisationen<br />

Interviews zur Ergänzung <strong>der</strong> Informationen aus <strong>der</strong> Dokumentenanalyse und den<br />

Self-Assessments mit den <strong>Evaluation</strong>sverantwortlichen, <strong>der</strong> Leitung und dem Management<br />

sowie den operativen E<strong>in</strong>heiten <strong>der</strong> EZ-Organisationen<br />

schriftliche Befragungen und/o<strong>der</strong> Telefon-/Vor-Ort-Interviews u.a. mit AwZ, Bundesrechnungshof,<br />

Wissenschaftlern, Gutachtern, PwC, DeGEval, VENRO. 16<br />

Berichtserstellung<br />

Dokumentenauswertung zur Analyse des <strong>in</strong>ternationalen Kontexts, <strong>der</strong> nationalen<br />

Rahmenbed<strong>in</strong>gungen<br />

Entwurf <strong>der</strong> Fallstudien für die ausgewählten EZ-Organisationen durch die Gutachter<br />

Abstimmung <strong>der</strong> Entwürfe mit den Co-Gutachtern und den beteiligten Peers<br />

Qualitätssicherung <strong>der</strong> Entwürfe durch die Leitung <strong>der</strong> Systemprüfung<br />

Schriftliche und mündliche Abstimmung <strong>der</strong> Entwürfe mit den EZ-Organisationen<br />

Überarbeitung <strong>der</strong> Fallstudien<br />

Entwurf des Syntheseberichts<br />

Abstimmung des Syntheseberichts mit Gutachtern und Peers im Rahmen e<strong>in</strong>es<br />

Workshops<br />

Überarbeitung des Syntheseberichts und Rückspiegelung se<strong>in</strong>er Ergebnisse <strong>in</strong> die<br />

Fallstudien<br />

Versand <strong>der</strong> Fallstudien und des Syntheseberichts an das BMZ und die EZ-Organisationen<br />

Diskussion des Syntheseberichts auf e<strong>in</strong>em Workshop mit allen beteiligten Institutionen<br />

Endfassung des Syntheseberichts und <strong>der</strong> Fallstudien<br />

Follow-up-Phase<br />

Publikation des Berichts auf Deutsch (ganz) und <strong>in</strong> Englisch (Synthesebericht)<br />

Vorstellung <strong>der</strong> Ergebnisse <strong>der</strong> <strong>Evaluation</strong> <strong>in</strong> den Medien<br />

Stellungnahmen des BMZ und <strong>der</strong> EZ-Organisationen zum Bericht (Management<br />

Response)<br />

Organisation e<strong>in</strong>es Prozesses zur Umsetzung <strong>der</strong> <strong>Evaluation</strong>sergebnisse auf <strong>der</strong> Basis<br />

<strong>der</strong> Management Responses<br />

16 Den Interviewpartnern wurde Anonymität zugesichert. Als eigenständige Quellen wurden sie nicht<br />

<strong>in</strong> das Literaturverzeichnis aufgenommen.

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!