Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Untersuchungsdesign 53
2 Untersuchungsdesign
2.1 Definitionen und Abgrenzungen
Der Untersuchung liegen einheitlich die Definitionen des DAC zugrunde, die den DAC-
Evaluationsprinzipien / DAC Principles (DAC 1992) (Vgl. Anhang 3), den DAC Evaluation
Quality Standards (OECD/DAC 2006c) (vgl. Anhang 5) und dem DAC Glossar
(DAC 2002) zu entnehmen sind. Unter DAC-Criteria/-Kriterien werden die folgenden, in
den DAC-Principles genannten Evaluationskriterien verstanden: Relevance, Efficiency,
Effectiviness, Impact und Sustainability.
Unter Evaluation wird in der vorliegenden Untersuchung verstanden „The systematic
and objective assessment of an on-going or completed project, programme or policy, its
design, implementation and results. The aim is to determine the relevance and fulfilment
of objectives, development efficiency, effectiveness, impact and sustainability. An evaluation
should provide information that is credible and useful, enabling the incorporation of
lessons learned into the decision-making process of both recipients and donors.“ (DAC
2002 nach DAC 1992, Ziff. 456).
Als konstitutives Element von Evaluation wird eine möglichst umfassende Datenerhebung
vor Ort angesehen, die gewährleistet, dass unterschiedliche Interessen, Bedürfnisse
und Wahrnehmungen möglichst vieler, am untersuchten Projekt oder Programm
beteiligter, aber auch nicht unmittelbar beteiligter Personen und Institutionen auf der
Geber- wie auf der Partnerseite berücksichtigt werden. 9 Die Notwendigkeit von Erhebungen
vor Ort ergibt sich ferner aus dem Erfordernis, auch nicht intendierte Wirkungen
der zu evaluierenden EZ-Maßnahmen zu erfassen. 10 Die Anwendung dieses Kriteriums
führt in der vorliegenden Systemprüfung zum Ausschluss der sog. „Schreibtischprüfungen“
als Evaluationen sowie von Untersuchungen mit solchen Feldaufenthalten, deren
Dauer, Fokus und Intensität eine solche Erfassung nicht möglich erscheinen lassen.
Im Gegensatz zur vorangegangenen Systemprüfung erfolgt in der vorliegenden Untersuchung
eine deutlichere Abgrenzung der Evaluation von der Erfolgskontrolle. Erfolgskontrolle
wird – in Abstimmung mit dem Auftraggeber – verstanden als ein hoheitliches,
nicht delegierbares, von der mittelbereitstellenden Behörde anzuwendendes Instrument
der öffentlichen Verwaltungspraxis für die systematische, begleitende und abschließende
Prüfung der Zielerreichung, Wirksamkeit und Wirtschaftlichkeit finanzwirksamer Maßnahmen
(BMZ 2007c; BMZ 2006d). EZ-Organisationen, die mit Mitteln des BMZ und
teilweise in dessen Auftrag EZ-Maßnahmen durchführen, nehmen in diesem Sinne keine
Erfolgskontrollen vor, wenngleich dieser Begriff von einigen Organisationen durchaus
verwendet wird. Ihre Prüfungen, Kontrollen und/oder Evaluationen sollen das BMZ in
9 Hierbei wird Bezug genommen auf Ziffer 472 der DAC-Principles. „(…) evaluations findings (…)
should fully reflect the different interests and needs of the many parties involved in development
co-operation“ (vgl. Anhang 3). Auch die neuen DAC Evaluation Quality Standards betonen die
Notwendigkeit, relevante Stakeholder einzubeziehen: “Relevant stakeholders consulted: Relevant
stakeholders are involved in the evaluation process to identify issues and provide input for the
evaluation. Both donors and partners are consulted” (vgl. Anhang 5).
10 „The examination should be concerned with both intended and unintended results“ (vgl. Anhang
3, Ziff. 486).