Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

Evaluationssysteme deutscher EZ-Organisationen 99
3.5 Formen der Evaluation
3.5.1 Einleitung
Bedeutung des Kriteriums
Im folgenden Abschnitt sollen die in den EZ-Organisationen gebräuchlichen Evaluationen
nach Formen, Diversität und Häufigkeit ihres Einsatzes untersucht werden, ergänzt
um eine Analyse des Umfangs der dafür eingesetzten Mittel. Struktur, Breite und Häufigkeit
geben Aufschluss darüber, ob das Potential, das in systematischer Evaluation
steckt, von den Organisationen tatsächlich genutzt wird; sie zeigen, ob und wie sie die
verschiedenen Evaluationsformen für sich nutzen, um Erkenntnisse für Steuerungszwecke
zu gewinnen, um zu Lernen, Kontrolle auszuüben und um Rechenschaft abzulegen
(vgl. zum Erfolg dieses Bemühens auch Abschnitt 3.8). Da sich die Nützlichkeit von
Evaluationen nicht alleine danach bemisst, ob und wann sie im Projektzyklus und darüber
hinaus durchgeführt werden, soll auch untersucht werden, wer sie vornimmt, d.h. in
welcher Relation Selbst- und unabhängige interne und externe Evaluationen zueinander
stehen. Es ist aus verschiedenen Gründen extrem schwierig, eine Bewertung der Angemessenheit
des Evaluationsumfangs für die untersuchten EZ-Organisationen und das
Gesamtsystem in quantitativer Form vorzunehmen. Auf einige Gründe soll einleitend
eingegangen werden.
Datenmangel
Die Reihe der Probleme beginnt mit der schwierigen Datenlage. Nicht nur kleine, sondern
auch größere EZ-Organisationen hatten im Rahmen dieser Systemprüfung oft
Schwierigkeiten, über das Evaluationsgeschehen in der wünschenswerten Strukturierung
Auskunft zu geben. Teilweise lagen die Informationen über die Häufigkeit einzelner
Evaluationsformen in den EZ-Organisationen zentral nicht vor und hätten nur mit großem
Aufwand ermittelt werden können. Das galt besonders für stark dezentralisierte
Organisationen, deren umfängliche Selbstevaluationen oft geschätzt werden mussten.
Aus diesem Grund konnte die zentrale Frage, in welcher Relation unabhängige interne
und externe Evaluationen zum Selbstevaluationsgeschehen stehen, vielfach nicht oder
nur näherungsweise beantwortet werden. Gerade in diesem entscheidenden Bereich gibt
es große Informationslücken. Einige EZ-Organisationen empfinden diese Informationslücke
selbst als unbefriedigend und unternehmen verstärkte Anstrengungen, das Monitoring
des Evaluationsgeschehens zu verbessern. In einigen Fällen waren eine Trennung
von Evaluationsformen und eine Abgrenzung zu Maßnahmen des Finanzcontrolling nicht
möglich. Im Allgemeinen gut dokumentiert sind aber die Evaluationen, die in der Verantwortung
der Evaluationseinheiten und -beauftragten durchgeführt wurden. Dabei
handelt es sich aber um den deutlich kleineren Teil aller Evaluationen.
Vorgaben
Das zweite Problem, die Angemessenheit der durchgeführten Evaluationen zu beurteilen,
besteht in den Bewertungsmaßstäben. Was den erforderlichen Umfang und die nötige
Häufigkeit betrifft, so finden sich im EZ-System keine allgemeinverbindlichen oder
konsensual vereinbarten quantitativen Vorgaben für unabhängige Evaluationen, auf die