Evaluation in der deutschen Entwicklungszusammenarbeit - HWWI

120 Axel Borrmann & Reinhard Stockmann
geben zu bedenken: „However, it is usually difficult, if not impossible, for participants to
make judgements about net impact because they ordinarily lack appropriate knowledge
for making such judgements“.
Kromrey (2002: 103) geht mit seiner Kritik zu solchen Verfahren noch einen Schritt
weiter, indem er darauf hinweist, dass die erhobenen Einschätzungen „weder den Status
von Bewertungen im Sinne ,technologischer‘ Evaluationen noch von Bewertungen
neutraler Experten haben“. Stattdessen handelt es sich „um individuell parteiische Werturteile
von Personen, die in einer besonderen Beziehung – eben als Nutzer als Betroffene
– zum Untersuchungsgegenstand stehen“. Diese Befragungen der „Teilnehmerzufriedenheit“
sind zwar ein wichtiges Merkmal bei der Beurteilung von Programmen, doch sie
reichen für eine Evaluation nicht aus (vgl. Stockmann 2006: 238).
Deshalb können Verfahren wie MAPP nicht als vollwertige Evaluationsinstrumente
akzeptiert werden. Stattdessen handelt es sich um Verfahren zur Erfassung der Programmzufriedenheit.
Doch darin allein darf sich Evaluation nicht erschöpfen, schon gar
nicht, wenn sie eine Wirkungsperspektive verfolgt.
Erschwerend kommt hinzu, dass weder bei MAPP (noch z.B. den im Rahmen der
NGO-IDEAS-Initiative entwickelten Instrumenten) repräsentative Befragungen der
potenziellen Nutznießer eines Programms vorgesehen sind. Befragt werden auch nicht
die einer Zielgruppe angehörenden Personen (also z.B. alle Anspruchsberechtigten)
sondern nur die tatsächlichen Nutzer. Doch dies macht einen gravierenden Unterschied,
der an einem Beispiel deutlich gemacht werden kann: So ist leicht nachvollziehbar, dass
z.B. die Sozialhilfeempfänger, die staatliche Leistungen in Anspruch nehmen, diese
anders bewerten werden als diejenigen, die sie (z.B. aus Scham, Unwissenheit oder
anderen Gründen) nicht in Anspruch genommen haben.
Trotz des sehr komplexen und sensiblen Programmumfelds begnügen sich viele EZ-
Organisationen, wie z.B. die politischen Stiftungen, bei ihren Evaluationen zumeist mit
einmaligen Vor-Ort-Besuchen. In der Regel werden keine Vorher-Nachher-Vergleiche,
keine standardisierten Verfahren, Zielgruppenbefragungen oder ähnliche Instrumente
anwendet. Das Problem der Repräsentativität kleiner Fallzahlen bei qualitativen Erhebungen
wird teilweise völlig ignoriert. Stattdessen werden erneut „Plausibilitätsüberlegungen“
ins Feld geführt, die als methodisch ausreichend bezeichnet werden. In einigen
Fällen wird die Methodenfrage an die Gutachter „wegdelegiert“, die über die Methodenanwendung
zu entscheiden hätten (z.B. KAS, DED, dvv international und teilweise sogar
bei DWHH und InWEnt). Bei einigen politischen Stiftungen scheint – neben den kleineren
ZGO – der größte Nachholbedarf im Bereich Methoden der Evaluation gegeben zu
sein.
Im Hinblick auf die Erhebungsmethoden ist festzuhalten, dass bei den meisten deutschen
EZ-Organisationen einfache qualitative Verfahren verwendet werden, die sich
zuweilen sogar nur im Führen von Gesprächen (ohne Leitfäden) erschöpfen. Dementsprechend
bewegen sich auch die Auswertungsmethoden auf einem sehr simplen Niveau.
Nur wenige EZ-Organisationen setzen sowohl quantitative als auch qualitative Verfahren
ein. Insgesamt kommt quantitativen Methoden nur ein geringes Gewicht zu.