08.01.2015 Aufrufe

WISSEN, WAS WIRKT - Stiftung Mercator Schweiz

WISSEN, WAS WIRKT - Stiftung Mercator Schweiz

WISSEN, WAS WIRKT - Stiftung Mercator Schweiz

MEHR ANZEIGEN
WENIGER ANZEIGEN

Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.

YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.

Dokumentation <strong>Mercator</strong>-Workshop 2012<br />

wissen,<br />

was WIrkt<br />

Beim <strong>Mercator</strong>-Workshop 2012 präsentierten Referenten<br />

aus Praxis und Wissenschaft konkrete Fallbeispiele und gaben<br />

Impulse zum Thema Wirkungsmessung<br />

Inhalt<br />

referat<br />

Wird schon wirken! Non-Profit-Organisationen<br />

und das Wissen um Erfolg<br />

WERKSTATTBERICHT<br />

Evaluation der Ausstellung ‹2 Grad›<br />

Workshop a<br />

Evaluation von inter- und transdisziplinärer<br />

Forschung<br />

workshop b<br />

Evaluation des Projekts ChagALL<br />

workshop c<br />

Evaluationen in der Kinder- und<br />

Jugendförderung<br />

workshop d<br />

Wirkungsmessung in Natur- und<br />

Umweltschutz<br />

Rückblick<br />

Resümee in Bildern


Impressionen


Impressionen


vorwort<br />

Liebe Freunde und Partner der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong>,<br />

liebe Leserinnen und Leser<br />

Eine private <strong>Stiftung</strong> wie die <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> hat begrenzte<br />

Möglichkeiten, aber grosse Freiheiten: Wir können unsere<br />

Kontakte dafür einsetzen, unterschiedliche Interessengruppen<br />

miteinander ins Gespräch zu bringen. Wir können innovative Projekte<br />

unterstützen und dabei Organisationen und Institutionen<br />

stärken, die neue Wege gehen. Durch unsere Projekte können wir<br />

Politik, Wirtschaft und Gesellschaft Informationen und Methoden<br />

für zukunftsorientierte Entscheidungen zur Verfügung stellen.<br />

Diese Möglichkeiten möchten wir verantwortungsvoll nutzen –<br />

wobei ‹verantwortungsvoll› heisst, dass wir immer wieder hinterfragen,<br />

ob wir unsere Mittel wirkungsvoll einsetzen. Dass wir<br />

schlussendlich ‹wissen, was wirkt›.<br />

Doch was wirkt Wie kann man Wirkung messen Wie müssen<br />

Projekte ausgestaltet sein, damit sie optimal Wirkung entfalten<br />

Im <strong>Mercator</strong>-Workshop ‹Wissen, was wirkt› näherten wir uns am<br />

20. Januar 2012 gemeinsam mit unseren Projektpartnern diesen<br />

und weiteren Fragen zum Thema Wirkungsmessung. Der <strong>Mercator</strong>-<br />

Workshop hatte Werkstatt-Charakter: Nachdem Professor Georg<br />

von Schnurbein von der Universität Basel mit einem Impuls-Referat<br />

ins Thema eingeführt hatte, stellte Annette Jenny von der Firma<br />

econcept AG die Evaluation der Ausstellung ‹2 Grad› vor. In vier<br />

Workshops diskutierten die rund 60 Teilnehmer anschliessend mit<br />

Referenten aus Praxis und Wissenschaft – mehrheitlich Projektpartner<br />

der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> – konkrete Fallbeispiele aus<br />

den Bereichen der inter- und transdisziplinären Forschung,<br />

der Schulentwicklung, der Kinder- und Jugendförderung und des<br />

Umweltschutzes.<br />

Die Inhalte der Vorträge und Workshops haben wir in dieser<br />

Dokumentation zusammengefasst. Wir wünschen Ihnen eine<br />

interessante Lektüre – und freuen uns bereits jetzt auf spannende<br />

Diskussionen beim <strong>Mercator</strong>-Workshop 2013!<br />

Albert Kesseli,<br />

Geschäftsführer


Referat<br />

Wird schon wirken!<br />

NON-Profit-organisationen<br />

und das Wissen um Erfolg<br />

Referent<br />

Prof. Georg von Schnurbein, Leiter des ‹Centre<br />

for Philanthropy Studies› (CEPS) der Universität Basel<br />

⁄ georg.vonschnurbein@unibas.ch<br />

Centre for Philanthropy Studies<br />

Das ‹Centre for Philanthropy Studies› (CEPS) der Universität<br />

Basel ist ein interdisziplinäres Forschungs- und<br />

Weiterbildungszentrum für das <strong>Schweiz</strong>er <strong>Stiftung</strong>swesen.<br />

Es wurde 2008 auf Initiative von SwissFoundations,<br />

dem Verband der <strong>Schweiz</strong>er Förderstiftungen, gegründet<br />

und ist ein universitärer Think Tank zum vielfältigen<br />

Themenbereich Philanthropie. Dazu gehören alle<br />

Formen des privaten, gemeinnützigen Handelns, insbesondere<br />

die Gründung und Führung von <strong>Stiftung</strong>en.<br />

⁄ www.ceps.unibas.ch<br />

«Bringt das, was wir tun, eine Veränderung<br />

für die Gesellschaft» Als Professor Georg<br />

von Schnurbein diese Frage in die Runde<br />

stellte, erwartete er keine Antwort. Denn er<br />

wusste: Wohl alle Teilnehmer des <strong>Mercator</strong>-<br />

Workshops ‹Wissen, was wirkt› hat genau<br />

diese Frage schon beschäftigt. Der Leiter des<br />

‹Centre for Philanthropy Studies› der Universität<br />

Basel näherte sich in seinem Vortrag<br />

dem Thema Wirkungsmessung auf theoretischer<br />

Ebene und ermöglichte den Zuhörern,<br />

Rückschlüsse auf ihre eigene Arbeit zu<br />

ziehen. Gehören sie zur Gruppe von Akteuren,<br />

die «weiss, was wirkt» und die Arbeit ihrer<br />

Organisation entsprechend ausrichtet Oder<br />

handeln sie (noch) nach dem Motto «wird<br />

schon wirken»<br />

Häufige Erfolgsmeldungen ⁄ «Der WWF ist<br />

die erfolgreichste NPO im Web: 30 000 Fans<br />

auf Facebook.» «100 Prozent der Spenden<br />

fliessen in die Projekte.» «Die Fundraising-<br />

Erträge wurden um 7 Prozent gesteigert.»<br />

«Der Präsident wurde mit 95 Prozent der<br />

Stimmen gewählt.» «Im letzten Jahr wurden<br />

2500 Hektar Regenwald aufgeforstet.»<br />

Oft höre man Erfolgsmeldungen wie diese von<br />

Non-Profit-Organisationen (NPOs), erklärte<br />

Georg von Schnurbein. «Aber was ist die<br />

Wirkung», fragte der Wissenschaftler.<br />

«Wann ist eine NPO erfolgreich»<br />

Diese Fragen sind gar nicht so leicht<br />

zu beantworten, wie im Verlauf des Referats<br />

deutlich wurde: Während Unternehmen<br />

ökonomische Leistungsfähigkeit als Ziel<br />

haben und auf Gewinnerwirtschaftung ausgerichtet<br />

sind, sind die obersten Ziele<br />

einer NPO eine definierte Mission und ein<br />

bestimmter Zweck. Ihre Aktivitäten dienen<br />

allein der Zweckerreichung. Die ökonomische<br />

Leistungsfähigkeit ist im Gegensatz<br />

zu Unternehmen nicht das Ziel, sondern<br />

die Basis des Engagements. Während sich<br />

der Gewinn eines Unternehmens durch<br />

einfache Rechnungen ermitteln lässt, reicht<br />

Mathematik bei der Erfolgsmessung von<br />

NPOs nicht aus. Denn wie misst man gesellschaftliche<br />

Veränderungen Vor allem,<br />

wenn man bedenkt, dass diese nicht von<br />

heute auf morgen erkenn- und nachweisbar<br />

sind.<br />

Ungemütliche Wahrheiten ⁄ Einiger «ungemütlicher<br />

Wahrheiten» müsse man<br />

sich beim Thema Wirkungsmessung bei<br />

NPOs bewusst sein, betonte Georg von<br />

Schnurbein. So sei der Erfolg von Non-<br />

Profit-Organisationen<br />

— immer vergleichend: Den Erfolg einer<br />

NPO kann man nur im Vergleich zu<br />

anderen NPOs mit ähnlichen Leistungsangeboten<br />

beurteilen.<br />

— immer multidimensional und<br />

vielschichtig: NPO-Erfolg lässt sich<br />

nicht auf einen einzigen Aspekt<br />

(wie beispielsweise Finanzerfolg)<br />

reduzieren. Das Primat des Sachziels<br />

erschwert eine eindeutige Definition<br />

von Erfolg.<br />

Wann ist eine Non-Profit-Organisation erfolgreich<br />

Professor Georg von Schnurbein zeigte in seinem<br />

Referat Herausforderungen der Wirkungsmessung auf.


Referat<br />

Viele Notizen und Eindrücke nahmen die Workhopteilnehmer<br />

mit nach Hause.<br />

— nicht direkt messbar: NPO-Erfolg lässt<br />

sich nur mit Hilfe von selbst gewählten<br />

Indikatoren messen.<br />

— abhängig vom Blickwinkel: Unterschiedliche<br />

Stakeholder werden den Erfolg<br />

der gleichen NPO je nach ihren eigenen<br />

Erwartungen sehr unterschiedlich<br />

beurteilen.<br />

— abhängig von gutem Management:<br />

Gutes Management trägt zum<br />

NPO-Erfolg bei, jedoch gibt es für dieses<br />

keine allgemein gültige Lösung.<br />

— nicht für alle NPOs gleichbedeutend:<br />

Je nach Tätigkeitsfeld, Finanzierung<br />

und Stakeholdern ist die Überprüfung<br />

ihres Erfolgs für NPOs unterschiedlich<br />

wichtig, was die Vergleichbarkeit<br />

der Ergebnisse erschwert.<br />

Grosse Herausforderung ⁄ Input, Output,<br />

Outcome, Impact – wer sich mit Wirkungsmessung<br />

beschäftigt, ist diesen vier Begriffen<br />

bereits begegnet: Welche Ressourcen<br />

wenden wir für die Verwirklichung unseres<br />

Projekts auf (Input) Was sind die messbaren<br />

Ergebnisse (Output) Was ist der unmittelbare<br />

Nutzen des Projekts (Outcome) Und<br />

was ist sein gesellschaftlicher Mehrwert<br />

(Impact) Diese vier Fragen stehen im Mittelpunkt<br />

jeder Wirkungsmessung. Doch komplexe<br />

Wirkungszusammenhänge erschweren<br />

diese für NPOs. Während Input und Output<br />

relativ leicht zu ermitteln sind, bedarf es bei<br />

der Bestimmung des Outcome bereits<br />

aufwendigerer Tests. Und um den Impact<br />

zu messen, sind wir häufig auf Schätzungen,<br />

Vermutungen und Hochrechnungen angewiesen.<br />

Trotzdem ist es möglich (und wichtig)<br />

für NPOs, die Wirkung ihrer Aktivitäten zu<br />

messen. Und dafür gibt es verschiedene<br />

Methoden – eine sehr praktikable ist das so<br />

genannte ‹Program Outcome Model›, das<br />

Georg von Schnurbein beim <strong>Mercator</strong>-Workshop<br />

vorstellte. Auf systematische Weise<br />

werden in diesem Modell Input, Process<br />

(Projektaktivitäten), Output, Outcome und<br />

Impact analysiert. Entscheidend in diesem<br />

Modell ist es nicht nur, messbare Ziele zu<br />

formulieren, sondern auch passende Indikatoren<br />

und Messmethoden zu definieren,<br />

um die Zielerreichung optimal kontrollieren<br />

zu können.<br />

Erfolg von anderen ⁄ Dreh- und Angelpunkt<br />

für die Wirkungsmessung sind konkrete<br />

Ziele. «Jede NPO muss ihr eigenes Zielsystem<br />

definieren», betonte Georg von Schnurbein<br />

abschliessend und gab den Zuhörern<br />

noch einige Hinweise mit auf den Weg: Die<br />

einzelnen Ziele müssen vorab festgelegt<br />

und anschliessend überprüft werden. Zudem<br />

sollte NPO-Erfolg wenn immer möglich<br />

langfristig gemessen werden, schliesslich<br />

erstrecken sich auch gesellschaftliche Veränderungen<br />

über einen längeren Zeitraum.<br />

Sein Referat zum Thema Wirkungsmessung<br />

schloss Georg von Schnurbein mit einem<br />

Appell: «NPO-Erfolg ist nie ein Selbstzweck,<br />

sondern immer auch ein Erfolg von anderen<br />

– insbesondere der Leistungsempfänger.»<br />

Text ⁄ Nadine Fieke


werkstattbericht<br />

Evaluation der<br />

Ausstellung ‹2 Grad›<br />

Referentin<br />

Annette Jenny, econcept AG<br />

⁄ annette.jenny@econcept.ch<br />

Econcept AG<br />

Die econcept AG ist ein unabhängiges Beratungsund<br />

Forschungsunternehmen, das vor allem in den<br />

Themenbereichen Energie, Klima und Umwelt,<br />

Public Management, Markt und Wettbewerb, Soziale<br />

Sicherheit sowie Bildung und Wissenschaft tätig ist.<br />

Die Zürcher Firma erarbeitet Entscheidungsgrundlagen<br />

für Politik, Wirtschaft und Gesellschaft, ein Schwerpunkt<br />

sind unter anderem Evaluationen. Die Mitarbeiter<br />

setzen ihre Kompetenzen aus den Bereichen Naturwissenschaften<br />

und Ingenieurwesen, Ökonomie und<br />

Sozialwissenschaften interdisziplinär ein.<br />

⁄ www.econcept.ch<br />

Mit der Ausstellung ‹2 Grad – Das Wetter,<br />

der Mensch und sein Klima› wollte die<br />

<strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> die Besucher für<br />

die globale Herausforderung Klimawandel<br />

sensibilisieren. Sie wollte ihnen umfassendes<br />

Wissen zum Thema vermitteln und sie<br />

motivieren, selbst etwas zum Schutz des<br />

Klimas zu tun. Hat die <strong>Stiftung</strong> diese<br />

Ziele erreicht Wie haben die Besucher die<br />

Ausstellung wahrgenommen Um Antworten<br />

auf diese und weitere Fragen zu erhalten,<br />

liess die <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> die Ausstellung<br />

umfassend evaluieren. Vor allem<br />

wollte sie aus den Evaluationsergebnissen<br />

auch für zukünftige Projekte lernen.<br />

Den Auftrag für die Evaluation hatte<br />

das Zürcher Unternehmen econcept AG,<br />

federführend war Annette Jenny für die<br />

Umsetzung verantwortlich. In einem Werkstattbericht<br />

erklärte sie beim <strong>Mercator</strong>-<br />

Workshop, wo sie bei der Evaluation der<br />

Ausstellung auf Herausforderungen stiess<br />

– und wie sie diesen methodisch begegnete.<br />

«Gut war, dass wir schon frühzeitig<br />

in das Projekt einbezogen wurden», betonte<br />

Annette Jenny. «Nur so konnten wir die<br />

Evaluation optimal planen.» Dies war umso<br />

wichtiger, weil diese nicht nur eine Bilanz<br />

ziehen (summative Evaluation), sondern<br />

schon während der Ausstellung Daten generieren<br />

sollte, um bei Bedarf steuernd eingreifen<br />

zu können (formative Evaluation).<br />

390 Exponate ⁄ Ein kurzer Rückblick: Ein Trägerverein<br />

aus acht Institutionen zeigte<br />

unter Leitung der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong><br />

vom 21. August 2010 bis zum 20. Februar<br />

2011 die Ausstellung ‹2 Grad› auf dem Basler<br />

Dreispitzareal. 390 Exponate aus aller Welt<br />

machten in vier Ausstellungsteilen (Die<br />

Macht der Atmosphäre, Beobachten und<br />

Berechnen, Abwehr und Anpassung, Wetter<br />

machen) die vielschichtigen Beziehungen<br />

zwischen Wetter, Mensch und Klima deutlich.<br />

Unter den Ausstellungsstücken waren<br />

nicht nur historische und moderne Messinstrumente.<br />

Ein vom Blitz zerstörter Baum<br />

und ein sturmbeschädigtes Boot machten<br />

die Kraft der Urgewalten deutlich. Animationen<br />

erklärten Wind und Wetter, Filme zeigten<br />

sturmgebeutelte Wetterreporter, interaktive<br />

Installationen luden zum Mitmachen<br />

ein. Mit der Basler Klimareihe war eine der<br />

ältesten Messreihen der Welt ausgestellt.<br />

Und den Kopf des Bööggs, der beim Zürcher<br />

Sechseläuten den Sommer vorhersagt,<br />

konnten die Besucher in Basel aus der Nähe<br />

betrachten. 36 Veranstaltungen vertieften<br />

im Rahmenprogramm das Ausstellungsthema<br />

und ermöglichten einen Dialog<br />

zwischen Wissenschaft und Öffentlichkeit.<br />

Für Schulklassen gab es spezielle Führungen<br />

und thematische Workshops.<br />

Annette Jenny stand mit Blick auf<br />

die umfassenden Evaluationsziele vor drei<br />

wesentlichen Herausforderungen: Sie<br />

brauchte verschiedene Datenquellen, um<br />

die vielschichtigen Fragestellungen zu<br />

beantworten. Es waren mehrere Erhebungs-<br />

zeitpunkte nötig, damit die Evaluation sowohl<br />

steuernd als auch bilanzierend wirken<br />

konnte. Zudem mussten repräsentative<br />

Stichproben der Besucher in die Evaluation<br />

einbezogen werden, wobei die Grundgesamtheit<br />

(die schlussendliche Besucherzahl<br />

und Zusammensetzung der Besucher) noch<br />

unbekannt war. Diesen Herausforderungen<br />

begegnete das Team um Annette Jenny durch<br />

folgendes Evaluationsdesign:<br />

— Befragung einer Auswahl von Kollektivbesuchern<br />

(also Personen, die in<br />

Gruppen kamen) sowie einer Zufallsauswahl<br />

von Individualbesuchern<br />

während der Ausstellung<br />

— Nachbefragungen in beiden Gruppen<br />

nach der Ausstellung<br />

— Medienanalyse und Besucherzahlerhebung<br />

während der gesamten Ausstellungsdauer<br />

— Formativer Zwischenbericht nach der<br />

Hälfte der Ausstellungslaufzeit<br />

— Summativer Schlussbericht nach Ausstellungsende<br />

Wichtigste Erhebungsinstrumente waren<br />

neben einer Medienanalyse und der Betriebsstatistik<br />

eine teilnehmende Beobachtung<br />

und Fragebögen, wobei diese für Schüler und<br />

Lehrer, für Individualbesucher, für Gruppenund<br />

Workshopbesucher sowie für die<br />

Nachbefragung unterschiedlich ausgestaltet<br />

waren. In der ersten Erhebungsphase von<br />

September 2010 bis Februar 2011 wurden<br />

1050 Fragebögen zu Ausstellung und<br />

Führung (158 Kinder, 306 Jugendliche, 415<br />

Erwachsene, 171 ohne Alters- oder Geschlechtsangabe)<br />

sowie 276 Kurzfragebögen<br />

von Workshop-Besuchern ausgewertet.<br />

An der Nachbefragung zwischen April und<br />

Mai 2011 nahmen 185 Personen (14 Kinder,


werkstattbericht<br />

71 Jugendliche, 98 Erwachsene, 2 ohne<br />

Alters- oder Geschlechtsangabe) teil.<br />

«Der Rücklauf der Fragebögen war sehr<br />

positiv», sagte Annette Jenny zufrieden<br />

und stellte den Zuhörern einige Ergebnisse<br />

der Evaluation vor.<br />

Ergebnisse der Evaluation ⁄ 31 357 Personen<br />

haben die Ausstellung ‹2 Grad› gesehen,<br />

38 Prozent von ihnen waren Schüler. Der<br />

grossen Mehrheit (über 70 Prozent) hat<br />

die Ausstellung (sehr) gut gefallen. Die Ausstellung<br />

wurde mehrheitlich als verständlich,<br />

anschaulich und aktuell wahrgenommen;<br />

auch von den Kindern. Jugendliche bewerteten<br />

die Ausstellung tendenziell etwas schlechter.<br />

Die Qualität der Führungen wurde<br />

insgesamt gut bewertet, die Workshops sehr<br />

gut. Die Sachkundigkeit der Leitenden<br />

und die Zeit für Diskussionen fielen den Teilnehmern<br />

besonders positiv auf.<br />

Über die Hälfte der Befragten gaben<br />

an, dass ihnen die Ausstellung die Probleme<br />

rund um den Klimawandel (sehr) stark<br />

bewusst gemacht hat. «Damit hatte die Ausstellung<br />

eine generell sensibilisierende<br />

Wirkung», erklärte Annette Jenny. ‹2 Grad›<br />

konnte gewisse Einstellungen verändern<br />

oder verstärken – bei Kindern und Jugendlichen<br />

mehr als bei Erwachsenen. So hat sich<br />

beispielsweise das Bewusstsein, dass viele<br />

Menschen auf der ganzen Welt vom Klimawandel<br />

betroffen sind, bei der Mehrheit der<br />

Besucher durch die Ausstellung erhöht.<br />

Der Wissenszuwachs durch den Ausstellungsbesuch<br />

war eher moderat – was laut<br />

Expertin daran lag, dass die erwachsenen<br />

Besucher grösstenteils bereits über Vorwissen<br />

verfügten. Jeweils rund ein Drittel der<br />

Befragten hat (sehr) viel beziehungsweise<br />

(eher) wenig gelernt. Bei Kindern war<br />

der Wissenszuwachs am stärksten. Fast 40<br />

Prozent der Befragten motivierte der Ausstellungsbesuch<br />

(sehr) stark, selbst etwas<br />

gegen den Klimawandel zu unternehmen.<br />

Vor allem wollten sie im Haushalt<br />

Strom und Energie sparen; ein Vorsatz,<br />

der ziemlich gut umgesetzt wurde, wie die<br />

Nachbefragung zeigte.<br />

Dank formativer Evaluation konnten<br />

die Ausstellungsmacher nach Vorliegen des<br />

Zwischenberichts kleinere Anpassungen<br />

vornehmen: So achtete zum Beispiel das<br />

Vermittlungspersonal verstärkt darauf, dass<br />

Führungen mit Schulklassen nicht zu lange<br />

dauerten. Da einige Besucher das permanente<br />

Abspielen des Alpsegens als störend<br />

empfunden hatten, wurde der entsprechende<br />

Ausstellungsraum mit einem Bewegungsmelder<br />

versehen, womit der Gesang nur<br />

noch zu hören war, wenn neue Besucher eintraten.<br />

Zudem sollten kostenlose Führungen<br />

am Samstag die Entwicklung der Besucherzahlen<br />

ankurbeln.<br />

Frühzeitige Planung ⁄ Was bedeuten die Erfahrungen<br />

aus ‹2 Grad› für die Teilnehmer<br />

des <strong>Mercator</strong>-Workshops Bei länger andauernden<br />

Projekten empfiehlt Annette<br />

Jenny ihnen, immer zusätzlich eine formative<br />

Evaluation vorzunehmen. Denn nur so<br />

könne man zielgerichtete Anpassungen<br />

während des Projektverlaufs machen. Zudem<br />

sollten sie eine Evaluation frühzeitig planen,<br />

um ein optimales Evaluationsdesign zu<br />

ermöglichen. Auch Annahmen über Wirkungszusammenhänge<br />

sollten die Projektverantwortlichen<br />

bereits früh skizzieren.<br />

Einen Aspekt dürfe man beim Thema Evaluation<br />

nicht vergessen: «Der Aufwand für<br />

die beteiligten Personen ist nicht zu unterschätzen»,<br />

sagte Annette Jenny. Bei der<br />

Ausstellung ‹2 Grad› war das ganze Betriebspersonal<br />

in die Evaluation eingespannt. Auch<br />

die Kosten müssten entsprechend im Vorhinein<br />

kalkuliert werden. Diese liegen gemäss<br />

Empfehlungen der <strong>Schweiz</strong>erischen Gesellschaft<br />

für Evaluation bei 1 bis 10 Prozent der<br />

Projektkosten für Selbstevaluationen und<br />

bei 5 bis 10 Prozent für externe Evaluationen.<br />

Text ⁄ Nadine Fieke<br />

Wie sie den wesentlichen Herausforderungen bei<br />

der Evaluation der Ausstellung ‹2 Grad› begegnet ist,<br />

erklärte Annette Jenny in ihrem Vortrag.


workshop a<br />

Evaluation von interund<br />

transdisziplinärer<br />

Forschung<br />

In die anspruchsvolle Welt der inter- und transdisziplinären<br />

Forschung führte Christian Pohl ein.<br />

Workshopleiter<br />

Christian Pohl, td-net<br />

⁄ christian.pohl@scnat.ch<br />

Td-net<br />

Das ‹Network for Transdisciplinary Research› ist ein<br />

Projekt der Akademien der Wissenschaften <strong>Schweiz</strong>.<br />

Lanciert wurde es im Jahr 2000 von der <strong>Schweiz</strong>erischen<br />

Akademischen Gesellschaft für Umweltforschung<br />

und Ökologie. Im Jahr 2003 wurde das td-net von der<br />

Akademie der Naturwissenschaften <strong>Schweiz</strong> übernommen.<br />

Das Netzwerk wurde initiiert, um die transdisziplinäre<br />

Ausrichtung in verschiedenen Bereichen<br />

der Forschung zu fördern. Ausgangspunkt bilden dabei<br />

die in der Umwelt- und Nachhaltigkeitsforschung<br />

gemachten Erfahrungen.<br />

⁄ www.transdisciplinarity.ch<br />

Inter- und transdisziplinäre Forschung ist<br />

anspruchsvoll – insbesondere für die<br />

Projektleitung. Wie sind die verschiedenen<br />

Forschungsstränge zusammenzuführen<br />

Wie kann gewährleistet werden, dass die<br />

Teammitglieder aus verschiedenen wissenschaftlichen<br />

Disziplinen und aus der Praxis<br />

einander verstehen Wie können die Zusammenarbeit<br />

und der Austausch über Fortschritte<br />

und Ergebnisse organisiert werden,<br />

damit sie zu einem guten Gesamtresultat<br />

beitragen Wie werden die Ergebnisse von<br />

den Beteiligten und von aussen bewertet<br />

Und wie können diese, da sie doch quer<br />

zu disziplinären Qualitätsmassstäben liegen,<br />

in der Wissenschaft bestehen und gleichzeitig<br />

in die Praxis integriert werden Diese<br />

und viele andere Fragen sind typisch für<br />

komplexe, fächerübergreifende und praxisbezogene<br />

Forschungsprojekte. Der Workshop<br />

unter Leitung von Christian Pohl bot<br />

den Teilnehmern eine gute Gelegenheit,<br />

Erfahrungen und Ideen auszutauschen.<br />

In seiner kurzen Einführung erklärte<br />

der Workshopleiter, was inter- und transdisziplinäre<br />

Forschung ausmacht: Energieversorgung<br />

und Klimaschutz verlangen<br />

genauso nach zukunftsfähigen Lösungen wie<br />

Fragen der Gesundheit und des demografischen<br />

Wandels. Mehr denn je sind wir zur<br />

Lösung dieser Fragen auf wegweisende<br />

Erkenntnisse der Wissenschaft angewiesen.<br />

Dabei gilt es einerseits, das spezifische<br />

Wissen verschiedener wissenschaftlicher<br />

Fächer miteinander zu verbinden und anschlussfähig<br />

zu machen (interdisziplinäre<br />

Forschung). Andererseits muss wissenschaftliches<br />

Wissen mit Alltagswissen verknüpft<br />

werden, um die Vielfalt der Sichtweisen zu<br />

gesellschaftlichen Herausforderungen<br />

zu berücksichtigen und zu einer am Gemeinwohl<br />

orientierten praktischen Lösung beizutragen<br />

(transdisziplinäre Forschung).<br />

Wichtig ist zudem, über Folgen bestimmter<br />

Handlungen oder Technologien nachzudenken.<br />

Wie das Beispiel der Nanotechnologie<br />

zeigt, ist eine adäquate Beurteilung aber oft<br />

schwierig, wenn noch wenige Forschungsergebnisse<br />

vorliegen, die aussagekräftige<br />

Risikoevaluationen zulassen.<br />

Drei Gruppen – drei Themen ⁄ In drei Gruppen<br />

diskutierten die Workshopteilnehmer Kriterien<br />

zur Evaluation inter- und transdisziplinärer<br />

Projekte. Im Plenum präsentierten<br />

sie schliesslich die Resultate der Gruppenarbeit.<br />

Die erste Gruppe erarbeitete Kriterien,<br />

die es erlauben, inter- und transdisziplinäre<br />

Projekte überhaupt als solche zu erkennen.<br />

Sie unterschieden drei Arten von Vorhaben:<br />

Projekte, die offensichtlich die Grenzen<br />

wissenschaftlicher Disziplinen nicht überschreiten.<br />

Projekte, die arbeitsteilig vorgehen<br />

und additiv an der gemeinsamen<br />

Forschungsfrage arbeiten. Und schliesslich<br />

Projekte, die schon während des Forschungsprozesses<br />

fächerübergreifend sind und<br />

ihr wissenschaftliches Wissen mit Praxiswissen<br />

verknüpfen. Dazu müssen geeignete


workshop a<br />

Methoden und Arbeitsweisen der transdisziplinären<br />

Integration entwickelt und<br />

angewendet werden, betonten die Workshopteilnehmer.<br />

Diese integrative Herangehensweise<br />

ermögliche es, ein Problem<br />

ganzheitlich zu verstehen. «Gerade in der<br />

Forschungspraxis erfordert das eine intensive<br />

Kommunikations- und Koordinationsarbeit.<br />

Insbesondere braucht es auch<br />

Zeit, um unter den Forscherinnen und<br />

Forschern ein gemeinsames Verständnis mit<br />

entsprechenden theoretischen Verortungen<br />

zu entwickeln», sagte Professor Stephan<br />

Huber von der Pädagogischen Hochschule<br />

Zentralschweiz Zug.<br />

Faktor Zeit ⁄ Die zweite Gruppe beschäftigte<br />

sich mit der Frage, wie Wissenschaft zur<br />

Lösung gesellschaftlicher Herausforderungen<br />

beitragen kann. Entscheidend sei es, das<br />

Projekt von Anfang an inter- und transdisziplinär<br />

zu denken. Wichtige Voraussetzung<br />

sei auch, bei der Initiierung wissenschaftlicher<br />

Projekte die gesellschaftliche Relevanz<br />

umfassend zu berücksichtigen, betonte Jost<br />

Hamschmidt von oikos St. Gallen. Interund<br />

transdisziplinäre Forschung müsse auf<br />

die Gestaltung von realen Prozessen und<br />

nicht nur auf deren Beobachtung und theoretische<br />

Modellierung zielen. Wichtig sei<br />

zudem, dass die Forschung die Erkenntnisse<br />

der unterschiedlichen Disziplinen integriere.<br />

Den Faktor Zeit beurteilt die Gruppe kritisch:<br />

«Wirkung kann man nicht schon nach<br />

drei Jahren messen!»<br />

Wie man mit Werten, Risiken und<br />

Folgen von Innovationen umgeht, diskutierte<br />

die dritte Gruppe. Für Bruno Hofer, Koordinator<br />

des Projekts ‹Personalisiertes Lernen›<br />

der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong>, ist es wichtig,<br />

«dass den unterschiedlichen Interessen<br />

in allen Phasen des Forschungsprozesses<br />

genügend Beachtung geschenkt wird».<br />

Dies fördere man am besten durch die Definition<br />

eines verbindlichen Werte-Kodexes<br />

oder die Bildung eines Werte-Bewusstseins<br />

durch geeignete Reflexionsverfahren.<br />

Der Workshop machte deutlich, wie<br />

anspruchsvoll inter- und transdisziplinäre<br />

Forschung ist. Die partizipativen Prozesse<br />

inter- und transdisziplinärer Praxis können<br />

jedoch einen Mehrwert schaffen, wenn<br />

mit Hilfe von Methoden des wechselseitigen<br />

Lernens gearbeitet wird, und wenn die<br />

Beteiligten in produktive Beziehung zueinander<br />

gesetzt werden.<br />

Text ⁄ Beno Baumberger<br />

transdisziplinäre forschung<br />

Literaturtipps zur transdisziplinären Forschung:<br />

∕ Darbellay, Frédéric; Paulsen, Theres (Hg.):<br />

Herausforderung Inter- und Transdisziplinarität.<br />

Konzepte, Methoden und innovative Umsetzung in<br />

Lehre und Forschung. Lausanne 2008<br />

∕ Hirsch Hadorn, Gertrude et al. (Hg.): Handbook<br />

of Transdisciplinary Research. Berlin 2008<br />

In Gruppen diskutierten die Workshopteilnehmer<br />

Kriterien zur Evaluation inter- und transdisziplinärer<br />

Projekte. Die Ergebnisse stellten sie anschliessend<br />

im Plenum vor.


workshop B<br />

Evaluation des<br />

projekts ChagALL<br />

Workshopleiter<br />

Prof. Jürg Schoch, Direktor unterstrass.edu<br />

⁄ juerg.schoch@unterstrass.edu<br />

unterstrass.edu<br />

Die private, staatlich anerkannte Institution bildet seit<br />

mehr als 140 Jahren Primarlehrpersonen und Kindergärtnerinnen<br />

aus – seit 2002 als privatrechtlich organisiertes,<br />

mit der Pädagogischen Hochschule Zürich<br />

kooperierendes Hochschulinstitut. Daneben führt die<br />

Schule ein Kurzgymnasium mit musischem Profil und<br />

dem Schwerpunkt Philosophie ⁄ Pädagogik ⁄ Psychologie.<br />

Als Schule in evangelischer Trägerschaft gilt ein<br />

besonderes Augenmerk dem schulischen Erfolg von<br />

unter privilegierten Jugendlichen.<br />

⁄ www.unterstrass.edu<br />

Jürg Schoch gab eine interessante Einführung in die<br />

Ziele des Förderprogramms ‹ChagALL›.<br />

«Junge Migranten aus bildungsfernen Familien<br />

haben in der Regel nur geringe Chancen,<br />

eine Mittelschule zu besuchen – selbst<br />

wenn sie talentiert und motiviert sind»,<br />

erklärte Jürg Schoch, Direktor des Gymnasiums<br />

Unterstrass, und verwies auf entsprechende<br />

Schulstatistiken des Kantons Zürich.<br />

Diese Feststellung war Motivation für das<br />

private Zürcher Gymnasium, das Förderprogramm<br />

ChagALL (Chancengerechtigkeit<br />

durch Arbeit an der Lernlaufbahn) zu entwickeln.<br />

Seit dem Schuljahr 2008 ⁄ 2009<br />

fördern Sekundar- und Gymnasiallehrer im<br />

Rahmen von ChagALL jedes Jahr zwölf<br />

Jugendliche mit Migrationshintergrund, um<br />

ihnen einen schulischen und damit auch<br />

einen beruflichen Aufstieg zu ermöglichen.<br />

Ziele des Programms ⁄ Doch wie wirkt<br />

ChagALL eigentlich Dieser Frage ging Jürg<br />

Schon in seinem Workshop nach. «Wir<br />

messen die Wirkung am Ziel», erklärte er.<br />

50 Prozent der Programmteilnehmer sollen<br />

die Aufnahmeprüfung für die Mittelschule<br />

schaffen, so das klare Ziel des ersten Durchführungsjahrs.<br />

Für die folgenden Jahre<br />

wurde die Zielvorgabe auf 66 Prozent erhöht.<br />

Während es für viele soziale Projekte oftmals<br />

bereits eine Herausforderung sei, überhaupt<br />

messbare Ziele zu definieren, sei<br />

die Wirkungsmessung von ChagALL auf den<br />

ersten Blick sehr einfach, meinte Jürg<br />

Schoch: «Sie lässt sich anhand des Prüfungserfolgs<br />

– bestanden oder nicht bestanden –<br />

beuteilen.» Das zweite Ziel von ChagALL ist<br />

es, dass die jungen Migranten nach der<br />

Aufnahme in die Mittelschule diese auch<br />

erfolgreich abschliessen.<br />

Alle Programmteilnehmer haben einen<br />

Migrationshintergrund und leben in bescheidenen<br />

finanziellen Verhältnissen. Sie<br />

wurden von ihren Klassenlehrern in der<br />

Sekundarschule für das Programm empfohlen,<br />

zudem haben sie das Einverständnis<br />

der Eltern und auch die moralische Unterstützung,<br />

um am Programm teilzunehmen.<br />

Bei der letztendlichen Auswahl der zwölf<br />

Programmteilnehmer werden sowohl das<br />

Empfehlungsschreiben der Lehrer, die<br />

Ergebnisse verschiedener Tests, das persönliche<br />

Motivationsschreiben der Jugendlichen<br />

sowie ein persönliches Aufnahmegespräch<br />

berücksichtigt. Die regelmässige und engagierte<br />

Teilnahme an den Fachtrainings in<br />

Deutsch, Französisch und Mathe sowie an<br />

den Persönlichkeitstrainings verlangen von<br />

den Programmteilnehmern eine hohe Motivation<br />

und Leistungsbereitschaft, denn diese<br />

finden von August bis April jeden Mittwochnachmittag<br />

und am Samstagvormittag statt;<br />

also in der Freizeit der Jugendlichen.<br />

Frage nach der Zielerreichung ⁄ Hat unser<br />

Tun die Wirkung, die wir uns vorgenommen<br />

haben Und wenn die Ziele nicht erreicht<br />

werden Was können wir machen, um<br />

herauszufinden, woran das liegt Wie kann<br />

man erfolgversprechende Verbesserungsmassnahmen<br />

entwickeln Diese Fragen<br />

diskutierten die Workshopteilnehmer in drei<br />

Arbeitsgruppen. Zusammenfassend sagen<br />

die Ergebnisse der Gruppenarbeit: Es ist<br />

zentral, das Gespräch mit allen Beteiligten zu<br />

suchen, wenn Ziele nicht erreicht werden.<br />

Aber auch ein externer Blick durch objektive<br />

Dritte oder durch Experten kann helfen,<br />

Verbesserungsmassnahmen zu finden. Ebenso<br />

wichtig kann es sein, die Ziele zu hinterfragen<br />

und gegebenenfalls anzupassen.<br />

Im Rahmen von ChagALL werden zwei<br />

Formen der Evaluation durchgeführt. Die<br />

formative Selbstevaluation geschieht laufend:<br />

Die Beobachtungen der Trainer werden<br />

zusammengetragen, und in regelmässigen


workshop B<br />

Sitzungen reflektiert die Projektleitung, ob<br />

der aktuelle Projektverlauf zur Zielerreichung<br />

führen wird. Die Fremdevaluation<br />

durch das Institut für Bildungsevaluation<br />

der Universität Zürich ist summativ; dabei<br />

steht die Frage im Vordergrund: Wurden<br />

die Ziele des Projekts erreicht – und falls ja,<br />

dank welcher Elemente Während sich die<br />

Lehrer bei der laufenden Evaluation auf ihre<br />

subjektiven Theorien stützen, arbeiten die<br />

Wissenschaftler bei der externen Evaluation<br />

mit einem theoretischen Konzeptrahmen.<br />

Das so genannte ‹Angebot-Nutzen-Modell›<br />

nach Andreas Helmke bildet das Zusammenspiel<br />

zwischen Lehrpersonen, Unterricht,<br />

Lernaktivität, Lernpotenzial, Familie und<br />

Wirkungen modellhaft ab.<br />

Bei ChagALL habe sich herausgestellt,<br />

dass die Fachpersonen aus der Praxis oftmals<br />

intuitiv zu ähnlichen Schlüssen gekommen<br />

sind wie die anschliessende externe Evaluation.<br />

So hat die externe Evaluation beispielsweise<br />

gezeigt, dass sich die beiden<br />

Faktoren ‹Lernpotenzial› und ‹Motivation›,<br />

denen beim ChagALL-Aufnahmeverfahren<br />

grosses Gewicht beigemessen wird, tatsächlich<br />

entscheidend für den erfolgreichen<br />

Abschluss von ChagALL und der Mittelschulprüfungen<br />

sind.<br />

Nebenwirkungen von Projekten ⁄ «Projekte<br />

haben immer auch Nebenwirkungen»,<br />

betonte Jürg Schoch. Diese könnten beabsichtigt<br />

und erwünscht sein – wie etwa<br />

vertieftes Know-how im Bereich des individualisierten<br />

Lernens und Coachings auf<br />

Seiten der Lehrer oder bessere Zeugnisnoten<br />

der ChagALL-Schüler, auch wenn<br />

beide Aspekte nicht per se Ziele des Projekts<br />

sind. Nebenwirkungen können aber auch<br />

unerwünscht sein. So haben beispielsweise<br />

bei einer ChagALL-Absolventin die Eltern<br />

aufgrund des schulischen Aufstiegs ihrer<br />

Tochter auf einmal Angst entwickelt, den<br />

Einfluss auf sie zu verlieren. «In diesem<br />

Fall haben wir eine Wirkung ausgelöst, die<br />

wir nicht wollten», erklärte Jürg Schoch.<br />

erstes ziel erreicht ⁄ Die Wirkungsmessung<br />

und der Prüfungserfolg der ChagALL-<br />

Schüler machen deutlich: Das erste Ziel<br />

von ChagALL konnte bisher immer erreicht<br />

werden. Bei den ChagALL-Absolventen<br />

zeigt sich inzwischen aber, dass der erfolgreiche<br />

Mittelschulabschluss (also das zweite<br />

Ziel des Programms) für viele eine Herausforderung<br />

ist. «Die Gymnasien verlassen<br />

sich darauf, dass Eltern zu Hause mit ihren<br />

Kindern lernen», erklärte Jürg Schoch.<br />

Doch Migranten können ihre Kinder oft aufgrund<br />

fehlender Ausbildung in dieser Hinsicht<br />

nicht unterstützten. Deshalb werden<br />

ChagALL-Schüler und ihre Eltern auch<br />

während der ersten zwei Jahre in der Mittelschule<br />

weiter durch das Förderprogramm<br />

begleitet. «Aber wir merken, dass diese<br />

Begleitung oft nicht ausreicht», bedauerte<br />

Jürg Schoch im Workshop.<br />

Nach dieser Erkenntnis stellen sich<br />

für das Projektteam nun entscheidende<br />

Fragen: Welche Faktoren beeinflussen einen<br />

erfolgreichen Mittelschulabschluss Und wo<br />

müssen wir ansetzen und unterstützend<br />

wirken, damit die ChagALL-Absolventen die<br />

Mittelschule erfolgreich abschliessen Die<br />

Projektverantwortlichen erarbeiten zurzeit<br />

Antworten. Dazu nehmen sie nun auch<br />

bereits bei der laufenden Evaluation das<br />

besagte ‹Angebot-Nutzen-Modell› als theoretisches<br />

Konzept zur Hilfe.<br />

Text ⁄ Sara Fink<br />

Wenn ein Projekt seine Ziele nicht erreicht, sollte die<br />

Projektleitung reagieren. Aber wie Die Workshopteilnehmer<br />

sammelten Ideen.


workshop C<br />

Evaluationen in der Kinderund<br />

Jugendförderung<br />

Workshopleiter<br />

Markus Gander, Geschäftsführer Infoklick.ch<br />

⁄ markus.gander@infoklick.ch<br />

Rafael Wyser, wissenschaftlicher Mitarbeiter<br />

Universität Basel<br />

⁄ rafael.wyser@unibas.ch<br />

Infoklick.ch<br />

Infoklick.ch ist eine direkte Anlaufstelle für Kinder und<br />

Jugendliche, die sich aktiv, mit eigenen Ideen sowie<br />

ihren persönlichen Ressourcen engagieren wollen.<br />

Zudem bietet der Verein für Kinder- und Jugendförderung<br />

leicht verständliche Informationen und konkrete<br />

Hilfestellungen für sämtliche Lebensbereiche von<br />

Kindern und Jugendlichen und deren Bezugspersonen.<br />

Diese Dienstleistung nehmen jährlich knapp<br />

60 000 Menschen und rund 500 Jugendprojekte und<br />

Jugendinitiativen in Anspruch.<br />

⁄ www.infoklick.ch<br />

Die Bedeutung von Evaluation und Wirkungsmessung<br />

im Kinder- und Jugendbereich<br />

hat in den vergangenen Jahren kontinuierlich<br />

zugenommen. Doch es ist schwierig,<br />

ein Evaluationsdesign zu finden, das allen<br />

Ansprüchen gerecht wird. Gerade bei Projekten,<br />

an denen die Zielgruppe freiwillig<br />

teilnimmt, treten Herausforderungen auf,<br />

die Evaluationen erschweren und die<br />

Interpretierbarkeit der Ergebnisse einschränken.<br />

Am Beispiel des Förderprogramms<br />

BIGSTEP, das Infoklick.ch demnächst starten<br />

will, zeigten Markus Gander, Geschäftsführer<br />

des Vereins für Kinder- Jugendförderung,<br />

und Rafael Wyser, wissenschaftlicher<br />

Mitarbeiter der Universität Basel, in<br />

ihrem Workshop einige Tücken der Evaluation<br />

im Bereich der Kinder- und Jugendförderung<br />

auf.<br />

Integration in die Gesellschaft ⁄ Das vierjährige<br />

Förderprogramm BIGSTEP soll jungen<br />

Müttern den Zugang zu Bildung ermöglichen<br />

und ihnen bessere Chancen geben, sich<br />

in die Gesellschaft zu integrieren und an<br />

dieser teilzuhaben. Die Teilnehmerinnen er-<br />

halten materielle Unterstützung in Form von<br />

Bildungsgeld. Sie profitieren von individueller<br />

Beratung und erhalten durch Pflicht- und<br />

Wahlkurse zu Themen wie Beruf, Demokratie<br />

und Engagement eine gezielte Förderung.<br />

Durch die Teilnahme an den Kursen sollen<br />

die jungen Mütter in neue soziale und fördernde<br />

Umfelder gelangen und neue Kontakte<br />

knüpfen. Zudem werden ihnen Kinderbetreuungsplätze<br />

zur Verfügung gestellt.<br />

Markus Gander ist überzeugt, dass die<br />

freiwillige Teilnahme an Programmen unabhängig<br />

ihrer thematischen Ausrichtung<br />

immer zu einer positiven Selektion führt –<br />

und das ist ein Problem mit Blick auf die<br />

Wirkungsmessung. «Insbesondere interessierte,<br />

engagierte und aktive Personen<br />

nehmen an freiwilligen Programmen teil.»<br />

Es sei deshalb nicht erstaunlich, dass die<br />

überwiegende Mehrheit der Evaluationen<br />

zu positiven Ergebnissen kommt, erklärte<br />

Markus Gander. «Ob in erster Linie die<br />

Personen oder das Programm für den Erfolg<br />

verantwortlich sind, ist jedoch nicht klar.»<br />

Einsatz von Kontrollgruppen ⁄ In der Evaluationspraxis<br />

werden oft Kontrollgruppen<br />

eingesetzt, um dieser Herausforderung zu<br />

begegnen. Die Personen der Kontrollgruppe<br />

nehmen nicht an den Massnahmen teil und<br />

können entsprechend als Massstab dienen.<br />

Ein Vergleich zwischen den zwei Gruppen<br />

sollte eine differenziertere Aussage über die<br />

Wirksamkeit des evaluierten Programms<br />

ermöglichen – theoretisch. Denn tatsächlich<br />

führt auch dieser Vergleich auf Grund des so<br />

genannten ‹Selektionsproblems› häufig zu<br />

einer Verzerrung: Die Kontrollgruppe unterscheidet<br />

sich bezüglich Einstellung, Verhalten<br />

und Motivation von den Teilnehmern. Mit<br />

dieser Herausforderung musste auch Rafael<br />

Wyser bei der Erstellung des Evaluations-<br />

Auf welche Herausforderungen stösst wohl die Evaluation<br />

des Projekts BIGSTEP Rafael Wyser teilte die<br />

Antworten der Workshopteilnehmer unterschiedlichen<br />

Kategorien zu.<br />

konzepts von BIGSTEP zurechtkommen:<br />

«Voraussichtlich werden sich vorwiegend motivierte<br />

junge Mütter melden, die über einen<br />

gewissen Durchhaltewillen verfügen.<br />

Andere Mütter, die weniger engagiert sind,<br />

werden dem Programm fernbleiben.» Dadurch<br />

entstehe eine positive Auswahl, die die<br />

Aussagekraft der Ergebnisse einschränkt.<br />

Gelöst werden könnte dieses Problem<br />

nur durch eine obligatorische Teilnahme<br />

an der Massnahme. Einer Investorengruppe<br />

in Grossbritannien ist dies mit einem Programm<br />

für Gefängnisinsassen gelungen. Alle<br />

Insassen mussten an den untersuchten<br />

Massnahmen teilnehmen, dies ermöglichte<br />

eine Untersuchung der Wirksamkeit ohne<br />

Selektionsverzerrung. Tatsächlich ist eine


workshop C<br />

obligatorische Teilnahme jedoch ohne staatliche<br />

Unterstützung nicht möglich – und<br />

entsprechend für gemeinnützige Projekte<br />

keine Lösung des Selektionsproblems.<br />

Eine weitere Herausforderung, der die<br />

Evaluation des Programms BIGSTEP begegnet,<br />

ist der Umgang mit Programmabbrüchen.<br />

Wie soll man diese bewerten Sind sie<br />

als Misserfolg zu werten «Nicht zwangsläufig»,<br />

sagte Markus Gander. Denn ein Abbruch<br />

könnte auch bedeuten, dass die junge Mutter<br />

eine neue Ausbildung oder einen neuen<br />

Job in Angriff genommen hat. Eine klare Trennung<br />

zwischen ungewollten und gewollten<br />

Abbrüchen und den sich daraus ergebenden<br />

Konsequenzen sei deshalb unerlässlich.<br />

Bei grossen Projekten wie BIGSTEP, die<br />

mehrere Massnahmen gleichzeitig bündeln,<br />

wird die Evaluation zusätzlich durch die<br />

Vielschichtigkeit des Vorhabens erschwert,<br />

betonten die beiden Workshopleiter. So<br />

verhindert die Komplexität des Programms<br />

die Beurteilung einzelner Massnahmen.<br />

Dabei wäre gerade dies für die Projektträger<br />

und Geldgeber besonders interessant. Denn<br />

diese möchten natürlich wissen, welche<br />

Massnahmen erfolgreich sind und welche<br />

nicht, um nicht unnötige Ressourcen<br />

in unwirksame Massnahmen zu investieren;<br />

oder noch schlimmer: um nicht zu wenige<br />

Ressourcen in effektive Programmpunkte zu<br />

stecken.<br />

Projekte in der Kinder- und Jugendförderung<br />

sein. Letztlich gilt es, die Herausforderungen<br />

frühzeitig zu erfassen, sich ihrer bewusst<br />

zu werden und mit allen Beteiligten (Teilnehmende,<br />

Geldgeber, Kooperationspartner,<br />

etc.) darüber zu diskutieren und mögliche<br />

Lösungsansätze zu finden.<br />

fester bestandteil des Projekts ⁄ Der Aufwand,<br />

der für die Evaluation betrieben<br />

werden sollte, hängt stark vom Charakter<br />

des Projekts ab, machten die beiden<br />

Workshopleiter deutlich. Bei kleineren<br />

Projekten kann eine punktuelle Wirkungsmessung<br />

genügen; bei längerfristigen<br />

Programmen empfiehlt es sich hingegen,<br />

die Evaluation als festen Bestandteil mitzuplanen.<br />

«Vor allem bei Projekten, die<br />

langfristig von der öffentlichen Hand übernommen<br />

werden sollen, ist die Evaluation<br />

mitunter entscheidend für den langfristigen<br />

Erfolg», betonte Markus Gander. Denn nur<br />

eine überzeugende Wirkungsmessung<br />

könne den Staat zur Übernahme einzelner<br />

Massnahmen bewegen.<br />

Text ⁄ Tobias Oetiker<br />

Viele Vertreter aus der Kinder- und Jugendförderung<br />

trafen sich im Workshop von Markus Gander und Rafael<br />

Wyser. In einer Gruppenarbeit waren ihre Ideen gefragt:<br />

Die eigenen Erfahrungen übertrugen sie auf das<br />

Beispielprojekt BIGSTEP.<br />

Wichtige Evaluationsbausteine ⁄ «Ein Patentrezept<br />

für all diese Herausforderungen gibt<br />

es nicht», erklärte Markus Gander. «Jedes<br />

Programm birgt andere Tücken und bedingt<br />

andere Lösungsansätze.» Gängige Wirkungsmessinstrumente<br />

wie ‹Logic Models›,<br />

‹Monitoring› und ‹Outcome Evaluation›<br />

mit Kontrollgruppen können aber wichtige<br />

Bauteile eines Evaluationskonzepts für


workshop D<br />

Wirkungsmessung in<br />

Natur- und Umweltschutz<br />

Workshopleiter<br />

Thomas Vellacott, WWF <strong>Schweiz</strong>, Leiter ‹Programm›<br />

(ab Mai 2012 Geschäftsführer)<br />

⁄ thomas.vellacott@wwf.ch<br />

wwf schweiz<br />

Der WWF <strong>Schweiz</strong> ist die grösste Umweltorganisation<br />

der <strong>Schweiz</strong>. Er gehört zum globalen WWF-Netzwerk,<br />

das mit rund 1000 Projekten in über 100 Ländern<br />

der Welt präsent ist. Gleichzeitig ist er mit seinen 23<br />

Sektionen in der ganzen <strong>Schweiz</strong> verankert. Gemeinsam<br />

ist allen WWF-Projekten ein grosses Ziel: Die weltweite<br />

Zerstörung der Umwelt stoppen und eine Zukunft<br />

gestalten, in der Mensch und Natur in Harmonie miteinander<br />

leben. Dafür gilt es, Tiere, Pflanzen und<br />

ihre Lebensräume zu schützen und unseren Ressourcenverbrauch<br />

in nachhaltige Bahnen zu lenken.<br />

⁄ www.wwf.ch<br />

Gründe für Evaluationen und zielgerichtete<br />

Wirkungsmessungen gibt es viele: Organisationen<br />

möchten ihre Arbeit verbessern,<br />

sie möchten ihre Tätigkeiten strategisch<br />

ausrichten und mit Wirkungsmessungen zur<br />

eigenen Positionierung und Legitimation<br />

beitragen, sagten die Workshopteilnehmer.<br />

Zudem wollen sie knappes Geld möglichst<br />

effektiv verwenden. Workshopleiter Thomas<br />

Vellacott hält Wirkungsmessungen zudem<br />

für ein wichtiges Instrument, um die Mitarbeiter<br />

zu motivieren und in ihrem Engagement<br />

zu bestärken. Denn auch wenn viele<br />

Mitarbeiter des WWF den neuen Wirkungsmessungsinstrumenten<br />

zunächst skeptisch<br />

gegenüberstanden, wurde ihnen bald klar:<br />

«Evaluationen bringen sowohl den Projekten<br />

als auch uns selbst etwas.» Sie erfuhren<br />

dank der Evaluationsergebnisse, dass ihre<br />

Arbeit nachweisbar etwas bewirkt, erklärte<br />

der Programmleiter des WWF <strong>Schweiz</strong>.<br />

Viele Herausforderungen ⁄ Der WWF hat<br />

ein umfassendes Wirkungsmessungssystem<br />

aufgebaut, das die Workshopteilnehmer<br />

durch seinen ausgereiften Ansatz und seine<br />

konsequente Umsetzung beeindruckte;<br />

schliesslich ist so eine durchgängige Umsetzung<br />

der Wirkungsmessung im Umweltbereich<br />

eher selten anzutreffen. Und das liegt<br />

an einigen Herausforderungen, denen die<br />

Akteure begegnen: Viele Projekte sind (zu)<br />

kurz. Exakte Ziele zu formulieren und diese<br />

zu überprüfen, ist schwierig. Hinzu kommen<br />

die Evaluationskosten und die Frage ihrer<br />

Finanzierung. Zudem liegen gerade im<br />

Bereich der Umweltbildung komplexe Wirkungsketten<br />

vor – und Verhaltensänderungen<br />

sind generell schwierig zu messen.<br />

analyse und korrekturen ⁄ «Der WWF investiert<br />

zwar viel Engagement, Zeit und Ressourcen<br />

in die Umweltbildung», erläuterte<br />

Thomas Vellacott. Die langfristige Wirkung<br />

von Umweltbildung sei aber noch viel zu<br />

wenig erforscht, effektive Wirkzusammenhänge<br />

seien noch zu wenig bekannt. Viele<br />

Instrumente der Wirkungsmessung könnten<br />

zwar Richtungen aufzeigen – «aber detaillierte<br />

Aussagen sind noch nicht möglich»,<br />

bedauerte der Workshopleiter. Trotzdem ist<br />

Thomas Vellacott von der Wirkungsmessung<br />

in Umweltschutz und -bildung überzeugt:<br />

Sie macht den Fortschritt von Projekten<br />

ersichtlich und hilft, ungünstige und ungeplante<br />

Entwicklungen rechtzeitig zu<br />

erkennen. So kann ein Projekt auf idealem<br />

Zielkurs sein und trotzdem die Wirkung<br />

nicht optimal entfalten. Evaluationen helfen,<br />

dies zu erkennen und vor allem auch, die<br />

Gründe zu analysieren und Korrekturmassnahmen<br />

zu ergreifen.<br />

Der WWF prüft bereits im Frühstadium<br />

der Projektplanung, ob das jeweilige Projekt<br />

tatsächlich zu seinen (Mehr-)Jahreszielen<br />

passt und stimmt es auf diese ab. Um<br />

auch Raum für explizit innovative und<br />

frische Ideen zu öffnen, vergibt der WWF das<br />

Der WWF <strong>Schweiz</strong> hat ein umfassendes Wirkungsmessungssystem<br />

aufgebaut. Thomas Vellacott stellte<br />

die wesentlichen Eckpunkte vor.


workshop D<br />

‹Hub Zürich WWF Fellowship›. Gemeinsam<br />

mit dem Hub Zürich sucht die Umweltorganisation<br />

innovative Projektideen zum<br />

Thema ‹Biodiversität und Ressourceneffizienz›,<br />

der Gewinner hat die Möglichkeit,<br />

sein Vorhaben zu einem nachhaltigen Projekt<br />

weiterzuentwickeln und umzusetzen.<br />

Dafür erhält er neben finanzieller Unterstützung<br />

Beratung und die Möglichkeit, die<br />

modernen Hub-Räumlichkeiten im Viadukt<br />

in Zürich zu nutzen und vom Hub-Netzwerk<br />

zu profitieren. Durch das Fellowship öffnet<br />

der WWF seinen Fokus für Neues, wobei<br />

die Aktivitäten gleichzeitig auf die gesetzten<br />

Ziele fokussieren.<br />

Im Rahmen der Wirkungsmessung<br />

reflektiert der WWF laufend Prozesse, um<br />

Optimierungen an den Projekten und der<br />

eigenen Arbeit vornehmen zu können.<br />

«Eine Feinabstimmung zwischen Automatisierung<br />

und Handarbeit ist wichtig, um<br />

auch unvorhergesehene Entwicklungen zu<br />

erkennen», sagte Thomas Vellacott. Wirkungsmessung<br />

sei ein anspruchsvoller<br />

Dialog, der idealerweise eine Mischung aus<br />

internen und externen Evaluationen sowie<br />

qualitativen und quantitativen Ansätzen<br />

darstellt. Indem der WWF seine Wirkungsmessung<br />

auf mehrere Instrumente und<br />

Herangehensweisen abstützt, gewinnt diese<br />

an Qualität – und damit an Wirkung, die<br />

nicht zuletzt der Umwelt zu Gute kommt.<br />

Konstruktiver Umgang mit Fehlern ⁄ Essenziell<br />

für eine erfolgreiche Wirkungsmessung ist<br />

eine gute Berichterstattung. Darin müssen<br />

auch Misserfolge thematisiert werden. Deshalb<br />

sollten Organisationen eine entsprechende<br />

Kultur im Umgang mit Fehlern und<br />

Misserfolgen aufbauen. «Bei uns werden<br />

die Leute bei Misserfolgen nicht geköpft»,<br />

sagte Thomas Vellacott schmunzelnd. Ein<br />

offener Umgang mit ungünstigen Entwicklungen<br />

stärke zudem die Glaubwürdigkeit der<br />

ganzen Organisation. Wer sich für eine<br />

konsequente Umsetzung der Wirkungsmessung<br />

entscheidet, benötigt neben einem<br />

fehlertoleranten Arbeitsumfeld ein gutes<br />

Coaching sowie eine gute Zusammenarbeit<br />

aller Beteiligten. «Der Aufwand ist nicht<br />

zu unterschätzen», gibt Thomas Vellacott zu,<br />

«trotzdem lohnt sich die Arbeit.»<br />

Er machte den Workshopteilnehmern<br />

deutlich, wie wichtig es ist, sich als Organisation<br />

ständig weiterzuentwickeln und zu<br />

lernen. In Zukunft möchte der WWF die<br />

Öffentlichkeit noch stärker in einen Dialog<br />

über Projektfortschritte einbeziehen und<br />

ihr Einblick in seine Aktivitäten geben.<br />

Eine solch weitreichende Transparenz ist in<br />

der <strong>Schweiz</strong> noch nicht üblich – und gerade<br />

deshalb innovativ.<br />

Text ⁄ Regula von Büren<br />

Living Planet Report<br />

Die Menschheit braucht fast eineinhalb Mal so viele<br />

Ressourcen, wie die Erde auf Dauer bieten kann.<br />

Das ist die wichtigste Aussage des ‹Living Planet Report›,<br />

des umfassendsten Berichts zum Zustand der Erde.<br />

Er wird alle zwei Jahre vom WWF, dem Global Footprint<br />

Network und der Zoological Society of London herausgegeben<br />

und hat zwei Haupt-Kennzahlen: den Fussabdruck<br />

für den Ressourcenverbrauch und den ‹Living<br />

Planet Index› für die Naturvielfalt. Der ‹Living Planet<br />

Report› ist ein wirkungsvolles Instrument zur Beurteilung<br />

des aktuellen Zustands der Erde, zudem zeigt<br />

er wichtige Entwicklungen und Tendenzen auf.


ückblick<br />

Resümee in Bildern<br />

Playback-Theater Zürich<br />

Das Playback-Theater Zürich bietet Unternehmen,<br />

Privatpersonen und Institutionen professionelles, interaktives<br />

Theater an. Seine Spezialität ist das Playback-<br />

Theater. Beim Playback-Theater bestimmen die Anwesenden,<br />

was gespielt wird. Aus spontanen Beiträgen<br />

gestalten die Schauspieler lebendige Theaterszenen,<br />

die das Wesentliche humorvoll auf den Punkt bringen.<br />

⁄ www.playback-theater.ch<br />

«Welche Erkenntnisse nehmen Sie vom<br />

<strong>Mercator</strong>-Workshop mit Wie fühlen Sie<br />

sich nach dem intensiven und gehaltvollen<br />

Tag Was ist wichtig in der Projektarbeit»<br />

Drei Schauspieler des Playback-Theaters<br />

Zürich haben die Workshopteilnehmer am<br />

Ende des Tages nach ihren Eindrücken<br />

gefragt – und diese schauspielerisch dargestellt.<br />

Entstanden ist ein Veranstaltungsresümee<br />

in Bildern.<br />

«Gemeinsam sind wir stark. Gemeinsam können wir<br />

etwas erreichen!»<br />

«Man muss alle wichtigen Partner ins Projekt<br />

einbeziehen – und vor allem auch auf die Bedürfnisse<br />

der Zielgruppen achten.»<br />

«Ein tolles Konzept alleine reicht nicht aus,<br />

damit ein Projekt erfolgreich ist.»<br />

«Als Workshopleiter lernt man viel von den Teilnehmern:<br />

Man kommt mit einem bestimmten Konzept in seinen<br />

Workshop – und am Ende zeigen die Teilnehmer einem<br />

viele neue Wege und Möglichkeiten.»<br />

«Wir haben viele interessante Menschen kennen gelernt.<br />

Es ist wichtig, ein Netzwerk zu haben, in dem man<br />

gemeinsame Interessen verfolgt und sich gegenseitig<br />

unterstützen kann.»


Dokumentation <strong>Mercator</strong>-Workshop 2012<br />

über uns<br />

Im Sinne ihres Namensgebers Gerhard<br />

<strong>Mercator</strong> möchte die <strong>Stiftung</strong> <strong>Mercator</strong><br />

<strong>Schweiz</strong> den Austausch von Wissen<br />

und Kultur anregen. Ihr Engagement<br />

gilt einer lernbereiten und weltoffenen<br />

Gesellschaft, die verantwortungsvoll<br />

mit der Umwelt umgeht. Mit innovativen<br />

Projekten an Hochschulen trägt die<br />

<strong>Stiftung</strong> zur Stärkung des Forschungsplatzes<br />

<strong>Schweiz</strong> bei. Sie unterstützt<br />

die Wissenschaft, Antworten auf gesellschaftsrelevante<br />

Fragen zu finden.<br />

Insbesondere fördert sie auch den Erkenntnisgewinn<br />

zum Schutz der<br />

Umwelt. Um Kindern und Jugendlichen<br />

optimale Entwicklungschancen zu<br />

bieten, setzt sich die <strong>Stiftung</strong> für bessere<br />

Bildungsmöglichkeiten innerhalb und<br />

ausserhalb der Schule ein. Mit ihren<br />

Projekten möchte sie Impulse geben,<br />

damit alle jungen Menschen ihre Persönlichkeit<br />

entfalten, Engagement entwickeln<br />

und ihre Chancen nutzen können.<br />

Impressum<br />

Herausgeber<br />

<strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong><br />

Gartenstrasse 33<br />

CH – 8002 Zürich<br />

Tel. +41 (0)44 206 55 80<br />

mercator@stiftung-mercator.ch<br />

www.stiftung-mercator.ch<br />

redaktion<br />

Nadine Fieke<br />

bilder<br />

Jonas Jäggy<br />

gESTALTUNG<br />

Rob & Rose Zürich<br />

© <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> 2012

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!