WISSEN, WAS WIRKT - Stiftung Mercator Schweiz
WISSEN, WAS WIRKT - Stiftung Mercator Schweiz
WISSEN, WAS WIRKT - Stiftung Mercator Schweiz
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
Dokumentation <strong>Mercator</strong>-Workshop 2012<br />
wissen,<br />
was WIrkt<br />
Beim <strong>Mercator</strong>-Workshop 2012 präsentierten Referenten<br />
aus Praxis und Wissenschaft konkrete Fallbeispiele und gaben<br />
Impulse zum Thema Wirkungsmessung<br />
Inhalt<br />
referat<br />
Wird schon wirken! Non-Profit-Organisationen<br />
und das Wissen um Erfolg<br />
WERKSTATTBERICHT<br />
Evaluation der Ausstellung ‹2 Grad›<br />
Workshop a<br />
Evaluation von inter- und transdisziplinärer<br />
Forschung<br />
workshop b<br />
Evaluation des Projekts ChagALL<br />
workshop c<br />
Evaluationen in der Kinder- und<br />
Jugendförderung<br />
workshop d<br />
Wirkungsmessung in Natur- und<br />
Umweltschutz<br />
Rückblick<br />
Resümee in Bildern
Impressionen
Impressionen
vorwort<br />
Liebe Freunde und Partner der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong>,<br />
liebe Leserinnen und Leser<br />
Eine private <strong>Stiftung</strong> wie die <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> hat begrenzte<br />
Möglichkeiten, aber grosse Freiheiten: Wir können unsere<br />
Kontakte dafür einsetzen, unterschiedliche Interessengruppen<br />
miteinander ins Gespräch zu bringen. Wir können innovative Projekte<br />
unterstützen und dabei Organisationen und Institutionen<br />
stärken, die neue Wege gehen. Durch unsere Projekte können wir<br />
Politik, Wirtschaft und Gesellschaft Informationen und Methoden<br />
für zukunftsorientierte Entscheidungen zur Verfügung stellen.<br />
Diese Möglichkeiten möchten wir verantwortungsvoll nutzen –<br />
wobei ‹verantwortungsvoll› heisst, dass wir immer wieder hinterfragen,<br />
ob wir unsere Mittel wirkungsvoll einsetzen. Dass wir<br />
schlussendlich ‹wissen, was wirkt›.<br />
Doch was wirkt Wie kann man Wirkung messen Wie müssen<br />
Projekte ausgestaltet sein, damit sie optimal Wirkung entfalten<br />
Im <strong>Mercator</strong>-Workshop ‹Wissen, was wirkt› näherten wir uns am<br />
20. Januar 2012 gemeinsam mit unseren Projektpartnern diesen<br />
und weiteren Fragen zum Thema Wirkungsmessung. Der <strong>Mercator</strong>-<br />
Workshop hatte Werkstatt-Charakter: Nachdem Professor Georg<br />
von Schnurbein von der Universität Basel mit einem Impuls-Referat<br />
ins Thema eingeführt hatte, stellte Annette Jenny von der Firma<br />
econcept AG die Evaluation der Ausstellung ‹2 Grad› vor. In vier<br />
Workshops diskutierten die rund 60 Teilnehmer anschliessend mit<br />
Referenten aus Praxis und Wissenschaft – mehrheitlich Projektpartner<br />
der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> – konkrete Fallbeispiele aus<br />
den Bereichen der inter- und transdisziplinären Forschung,<br />
der Schulentwicklung, der Kinder- und Jugendförderung und des<br />
Umweltschutzes.<br />
Die Inhalte der Vorträge und Workshops haben wir in dieser<br />
Dokumentation zusammengefasst. Wir wünschen Ihnen eine<br />
interessante Lektüre – und freuen uns bereits jetzt auf spannende<br />
Diskussionen beim <strong>Mercator</strong>-Workshop 2013!<br />
Albert Kesseli,<br />
Geschäftsführer
Referat<br />
Wird schon wirken!<br />
NON-Profit-organisationen<br />
und das Wissen um Erfolg<br />
Referent<br />
Prof. Georg von Schnurbein, Leiter des ‹Centre<br />
for Philanthropy Studies› (CEPS) der Universität Basel<br />
⁄ georg.vonschnurbein@unibas.ch<br />
Centre for Philanthropy Studies<br />
Das ‹Centre for Philanthropy Studies› (CEPS) der Universität<br />
Basel ist ein interdisziplinäres Forschungs- und<br />
Weiterbildungszentrum für das <strong>Schweiz</strong>er <strong>Stiftung</strong>swesen.<br />
Es wurde 2008 auf Initiative von SwissFoundations,<br />
dem Verband der <strong>Schweiz</strong>er Förderstiftungen, gegründet<br />
und ist ein universitärer Think Tank zum vielfältigen<br />
Themenbereich Philanthropie. Dazu gehören alle<br />
Formen des privaten, gemeinnützigen Handelns, insbesondere<br />
die Gründung und Führung von <strong>Stiftung</strong>en.<br />
⁄ www.ceps.unibas.ch<br />
«Bringt das, was wir tun, eine Veränderung<br />
für die Gesellschaft» Als Professor Georg<br />
von Schnurbein diese Frage in die Runde<br />
stellte, erwartete er keine Antwort. Denn er<br />
wusste: Wohl alle Teilnehmer des <strong>Mercator</strong>-<br />
Workshops ‹Wissen, was wirkt› hat genau<br />
diese Frage schon beschäftigt. Der Leiter des<br />
‹Centre for Philanthropy Studies› der Universität<br />
Basel näherte sich in seinem Vortrag<br />
dem Thema Wirkungsmessung auf theoretischer<br />
Ebene und ermöglichte den Zuhörern,<br />
Rückschlüsse auf ihre eigene Arbeit zu<br />
ziehen. Gehören sie zur Gruppe von Akteuren,<br />
die «weiss, was wirkt» und die Arbeit ihrer<br />
Organisation entsprechend ausrichtet Oder<br />
handeln sie (noch) nach dem Motto «wird<br />
schon wirken»<br />
Häufige Erfolgsmeldungen ⁄ «Der WWF ist<br />
die erfolgreichste NPO im Web: 30 000 Fans<br />
auf Facebook.» «100 Prozent der Spenden<br />
fliessen in die Projekte.» «Die Fundraising-<br />
Erträge wurden um 7 Prozent gesteigert.»<br />
«Der Präsident wurde mit 95 Prozent der<br />
Stimmen gewählt.» «Im letzten Jahr wurden<br />
2500 Hektar Regenwald aufgeforstet.»<br />
Oft höre man Erfolgsmeldungen wie diese von<br />
Non-Profit-Organisationen (NPOs), erklärte<br />
Georg von Schnurbein. «Aber was ist die<br />
Wirkung», fragte der Wissenschaftler.<br />
«Wann ist eine NPO erfolgreich»<br />
Diese Fragen sind gar nicht so leicht<br />
zu beantworten, wie im Verlauf des Referats<br />
deutlich wurde: Während Unternehmen<br />
ökonomische Leistungsfähigkeit als Ziel<br />
haben und auf Gewinnerwirtschaftung ausgerichtet<br />
sind, sind die obersten Ziele<br />
einer NPO eine definierte Mission und ein<br />
bestimmter Zweck. Ihre Aktivitäten dienen<br />
allein der Zweckerreichung. Die ökonomische<br />
Leistungsfähigkeit ist im Gegensatz<br />
zu Unternehmen nicht das Ziel, sondern<br />
die Basis des Engagements. Während sich<br />
der Gewinn eines Unternehmens durch<br />
einfache Rechnungen ermitteln lässt, reicht<br />
Mathematik bei der Erfolgsmessung von<br />
NPOs nicht aus. Denn wie misst man gesellschaftliche<br />
Veränderungen Vor allem,<br />
wenn man bedenkt, dass diese nicht von<br />
heute auf morgen erkenn- und nachweisbar<br />
sind.<br />
Ungemütliche Wahrheiten ⁄ Einiger «ungemütlicher<br />
Wahrheiten» müsse man<br />
sich beim Thema Wirkungsmessung bei<br />
NPOs bewusst sein, betonte Georg von<br />
Schnurbein. So sei der Erfolg von Non-<br />
Profit-Organisationen<br />
— immer vergleichend: Den Erfolg einer<br />
NPO kann man nur im Vergleich zu<br />
anderen NPOs mit ähnlichen Leistungsangeboten<br />
beurteilen.<br />
— immer multidimensional und<br />
vielschichtig: NPO-Erfolg lässt sich<br />
nicht auf einen einzigen Aspekt<br />
(wie beispielsweise Finanzerfolg)<br />
reduzieren. Das Primat des Sachziels<br />
erschwert eine eindeutige Definition<br />
von Erfolg.<br />
Wann ist eine Non-Profit-Organisation erfolgreich<br />
Professor Georg von Schnurbein zeigte in seinem<br />
Referat Herausforderungen der Wirkungsmessung auf.
Referat<br />
Viele Notizen und Eindrücke nahmen die Workhopteilnehmer<br />
mit nach Hause.<br />
— nicht direkt messbar: NPO-Erfolg lässt<br />
sich nur mit Hilfe von selbst gewählten<br />
Indikatoren messen.<br />
— abhängig vom Blickwinkel: Unterschiedliche<br />
Stakeholder werden den Erfolg<br />
der gleichen NPO je nach ihren eigenen<br />
Erwartungen sehr unterschiedlich<br />
beurteilen.<br />
— abhängig von gutem Management:<br />
Gutes Management trägt zum<br />
NPO-Erfolg bei, jedoch gibt es für dieses<br />
keine allgemein gültige Lösung.<br />
— nicht für alle NPOs gleichbedeutend:<br />
Je nach Tätigkeitsfeld, Finanzierung<br />
und Stakeholdern ist die Überprüfung<br />
ihres Erfolgs für NPOs unterschiedlich<br />
wichtig, was die Vergleichbarkeit<br />
der Ergebnisse erschwert.<br />
Grosse Herausforderung ⁄ Input, Output,<br />
Outcome, Impact – wer sich mit Wirkungsmessung<br />
beschäftigt, ist diesen vier Begriffen<br />
bereits begegnet: Welche Ressourcen<br />
wenden wir für die Verwirklichung unseres<br />
Projekts auf (Input) Was sind die messbaren<br />
Ergebnisse (Output) Was ist der unmittelbare<br />
Nutzen des Projekts (Outcome) Und<br />
was ist sein gesellschaftlicher Mehrwert<br />
(Impact) Diese vier Fragen stehen im Mittelpunkt<br />
jeder Wirkungsmessung. Doch komplexe<br />
Wirkungszusammenhänge erschweren<br />
diese für NPOs. Während Input und Output<br />
relativ leicht zu ermitteln sind, bedarf es bei<br />
der Bestimmung des Outcome bereits<br />
aufwendigerer Tests. Und um den Impact<br />
zu messen, sind wir häufig auf Schätzungen,<br />
Vermutungen und Hochrechnungen angewiesen.<br />
Trotzdem ist es möglich (und wichtig)<br />
für NPOs, die Wirkung ihrer Aktivitäten zu<br />
messen. Und dafür gibt es verschiedene<br />
Methoden – eine sehr praktikable ist das so<br />
genannte ‹Program Outcome Model›, das<br />
Georg von Schnurbein beim <strong>Mercator</strong>-Workshop<br />
vorstellte. Auf systematische Weise<br />
werden in diesem Modell Input, Process<br />
(Projektaktivitäten), Output, Outcome und<br />
Impact analysiert. Entscheidend in diesem<br />
Modell ist es nicht nur, messbare Ziele zu<br />
formulieren, sondern auch passende Indikatoren<br />
und Messmethoden zu definieren,<br />
um die Zielerreichung optimal kontrollieren<br />
zu können.<br />
Erfolg von anderen ⁄ Dreh- und Angelpunkt<br />
für die Wirkungsmessung sind konkrete<br />
Ziele. «Jede NPO muss ihr eigenes Zielsystem<br />
definieren», betonte Georg von Schnurbein<br />
abschliessend und gab den Zuhörern<br />
noch einige Hinweise mit auf den Weg: Die<br />
einzelnen Ziele müssen vorab festgelegt<br />
und anschliessend überprüft werden. Zudem<br />
sollte NPO-Erfolg wenn immer möglich<br />
langfristig gemessen werden, schliesslich<br />
erstrecken sich auch gesellschaftliche Veränderungen<br />
über einen längeren Zeitraum.<br />
Sein Referat zum Thema Wirkungsmessung<br />
schloss Georg von Schnurbein mit einem<br />
Appell: «NPO-Erfolg ist nie ein Selbstzweck,<br />
sondern immer auch ein Erfolg von anderen<br />
– insbesondere der Leistungsempfänger.»<br />
Text ⁄ Nadine Fieke
werkstattbericht<br />
Evaluation der<br />
Ausstellung ‹2 Grad›<br />
Referentin<br />
Annette Jenny, econcept AG<br />
⁄ annette.jenny@econcept.ch<br />
Econcept AG<br />
Die econcept AG ist ein unabhängiges Beratungsund<br />
Forschungsunternehmen, das vor allem in den<br />
Themenbereichen Energie, Klima und Umwelt,<br />
Public Management, Markt und Wettbewerb, Soziale<br />
Sicherheit sowie Bildung und Wissenschaft tätig ist.<br />
Die Zürcher Firma erarbeitet Entscheidungsgrundlagen<br />
für Politik, Wirtschaft und Gesellschaft, ein Schwerpunkt<br />
sind unter anderem Evaluationen. Die Mitarbeiter<br />
setzen ihre Kompetenzen aus den Bereichen Naturwissenschaften<br />
und Ingenieurwesen, Ökonomie und<br />
Sozialwissenschaften interdisziplinär ein.<br />
⁄ www.econcept.ch<br />
Mit der Ausstellung ‹2 Grad – Das Wetter,<br />
der Mensch und sein Klima› wollte die<br />
<strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> die Besucher für<br />
die globale Herausforderung Klimawandel<br />
sensibilisieren. Sie wollte ihnen umfassendes<br />
Wissen zum Thema vermitteln und sie<br />
motivieren, selbst etwas zum Schutz des<br />
Klimas zu tun. Hat die <strong>Stiftung</strong> diese<br />
Ziele erreicht Wie haben die Besucher die<br />
Ausstellung wahrgenommen Um Antworten<br />
auf diese und weitere Fragen zu erhalten,<br />
liess die <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> die Ausstellung<br />
umfassend evaluieren. Vor allem<br />
wollte sie aus den Evaluationsergebnissen<br />
auch für zukünftige Projekte lernen.<br />
Den Auftrag für die Evaluation hatte<br />
das Zürcher Unternehmen econcept AG,<br />
federführend war Annette Jenny für die<br />
Umsetzung verantwortlich. In einem Werkstattbericht<br />
erklärte sie beim <strong>Mercator</strong>-<br />
Workshop, wo sie bei der Evaluation der<br />
Ausstellung auf Herausforderungen stiess<br />
– und wie sie diesen methodisch begegnete.<br />
«Gut war, dass wir schon frühzeitig<br />
in das Projekt einbezogen wurden», betonte<br />
Annette Jenny. «Nur so konnten wir die<br />
Evaluation optimal planen.» Dies war umso<br />
wichtiger, weil diese nicht nur eine Bilanz<br />
ziehen (summative Evaluation), sondern<br />
schon während der Ausstellung Daten generieren<br />
sollte, um bei Bedarf steuernd eingreifen<br />
zu können (formative Evaluation).<br />
390 Exponate ⁄ Ein kurzer Rückblick: Ein Trägerverein<br />
aus acht Institutionen zeigte<br />
unter Leitung der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong><br />
vom 21. August 2010 bis zum 20. Februar<br />
2011 die Ausstellung ‹2 Grad› auf dem Basler<br />
Dreispitzareal. 390 Exponate aus aller Welt<br />
machten in vier Ausstellungsteilen (Die<br />
Macht der Atmosphäre, Beobachten und<br />
Berechnen, Abwehr und Anpassung, Wetter<br />
machen) die vielschichtigen Beziehungen<br />
zwischen Wetter, Mensch und Klima deutlich.<br />
Unter den Ausstellungsstücken waren<br />
nicht nur historische und moderne Messinstrumente.<br />
Ein vom Blitz zerstörter Baum<br />
und ein sturmbeschädigtes Boot machten<br />
die Kraft der Urgewalten deutlich. Animationen<br />
erklärten Wind und Wetter, Filme zeigten<br />
sturmgebeutelte Wetterreporter, interaktive<br />
Installationen luden zum Mitmachen<br />
ein. Mit der Basler Klimareihe war eine der<br />
ältesten Messreihen der Welt ausgestellt.<br />
Und den Kopf des Bööggs, der beim Zürcher<br />
Sechseläuten den Sommer vorhersagt,<br />
konnten die Besucher in Basel aus der Nähe<br />
betrachten. 36 Veranstaltungen vertieften<br />
im Rahmenprogramm das Ausstellungsthema<br />
und ermöglichten einen Dialog<br />
zwischen Wissenschaft und Öffentlichkeit.<br />
Für Schulklassen gab es spezielle Führungen<br />
und thematische Workshops.<br />
Annette Jenny stand mit Blick auf<br />
die umfassenden Evaluationsziele vor drei<br />
wesentlichen Herausforderungen: Sie<br />
brauchte verschiedene Datenquellen, um<br />
die vielschichtigen Fragestellungen zu<br />
beantworten. Es waren mehrere Erhebungs-<br />
zeitpunkte nötig, damit die Evaluation sowohl<br />
steuernd als auch bilanzierend wirken<br />
konnte. Zudem mussten repräsentative<br />
Stichproben der Besucher in die Evaluation<br />
einbezogen werden, wobei die Grundgesamtheit<br />
(die schlussendliche Besucherzahl<br />
und Zusammensetzung der Besucher) noch<br />
unbekannt war. Diesen Herausforderungen<br />
begegnete das Team um Annette Jenny durch<br />
folgendes Evaluationsdesign:<br />
— Befragung einer Auswahl von Kollektivbesuchern<br />
(also Personen, die in<br />
Gruppen kamen) sowie einer Zufallsauswahl<br />
von Individualbesuchern<br />
während der Ausstellung<br />
— Nachbefragungen in beiden Gruppen<br />
nach der Ausstellung<br />
— Medienanalyse und Besucherzahlerhebung<br />
während der gesamten Ausstellungsdauer<br />
— Formativer Zwischenbericht nach der<br />
Hälfte der Ausstellungslaufzeit<br />
— Summativer Schlussbericht nach Ausstellungsende<br />
Wichtigste Erhebungsinstrumente waren<br />
neben einer Medienanalyse und der Betriebsstatistik<br />
eine teilnehmende Beobachtung<br />
und Fragebögen, wobei diese für Schüler und<br />
Lehrer, für Individualbesucher, für Gruppenund<br />
Workshopbesucher sowie für die<br />
Nachbefragung unterschiedlich ausgestaltet<br />
waren. In der ersten Erhebungsphase von<br />
September 2010 bis Februar 2011 wurden<br />
1050 Fragebögen zu Ausstellung und<br />
Führung (158 Kinder, 306 Jugendliche, 415<br />
Erwachsene, 171 ohne Alters- oder Geschlechtsangabe)<br />
sowie 276 Kurzfragebögen<br />
von Workshop-Besuchern ausgewertet.<br />
An der Nachbefragung zwischen April und<br />
Mai 2011 nahmen 185 Personen (14 Kinder,
werkstattbericht<br />
71 Jugendliche, 98 Erwachsene, 2 ohne<br />
Alters- oder Geschlechtsangabe) teil.<br />
«Der Rücklauf der Fragebögen war sehr<br />
positiv», sagte Annette Jenny zufrieden<br />
und stellte den Zuhörern einige Ergebnisse<br />
der Evaluation vor.<br />
Ergebnisse der Evaluation ⁄ 31 357 Personen<br />
haben die Ausstellung ‹2 Grad› gesehen,<br />
38 Prozent von ihnen waren Schüler. Der<br />
grossen Mehrheit (über 70 Prozent) hat<br />
die Ausstellung (sehr) gut gefallen. Die Ausstellung<br />
wurde mehrheitlich als verständlich,<br />
anschaulich und aktuell wahrgenommen;<br />
auch von den Kindern. Jugendliche bewerteten<br />
die Ausstellung tendenziell etwas schlechter.<br />
Die Qualität der Führungen wurde<br />
insgesamt gut bewertet, die Workshops sehr<br />
gut. Die Sachkundigkeit der Leitenden<br />
und die Zeit für Diskussionen fielen den Teilnehmern<br />
besonders positiv auf.<br />
Über die Hälfte der Befragten gaben<br />
an, dass ihnen die Ausstellung die Probleme<br />
rund um den Klimawandel (sehr) stark<br />
bewusst gemacht hat. «Damit hatte die Ausstellung<br />
eine generell sensibilisierende<br />
Wirkung», erklärte Annette Jenny. ‹2 Grad›<br />
konnte gewisse Einstellungen verändern<br />
oder verstärken – bei Kindern und Jugendlichen<br />
mehr als bei Erwachsenen. So hat sich<br />
beispielsweise das Bewusstsein, dass viele<br />
Menschen auf der ganzen Welt vom Klimawandel<br />
betroffen sind, bei der Mehrheit der<br />
Besucher durch die Ausstellung erhöht.<br />
Der Wissenszuwachs durch den Ausstellungsbesuch<br />
war eher moderat – was laut<br />
Expertin daran lag, dass die erwachsenen<br />
Besucher grösstenteils bereits über Vorwissen<br />
verfügten. Jeweils rund ein Drittel der<br />
Befragten hat (sehr) viel beziehungsweise<br />
(eher) wenig gelernt. Bei Kindern war<br />
der Wissenszuwachs am stärksten. Fast 40<br />
Prozent der Befragten motivierte der Ausstellungsbesuch<br />
(sehr) stark, selbst etwas<br />
gegen den Klimawandel zu unternehmen.<br />
Vor allem wollten sie im Haushalt<br />
Strom und Energie sparen; ein Vorsatz,<br />
der ziemlich gut umgesetzt wurde, wie die<br />
Nachbefragung zeigte.<br />
Dank formativer Evaluation konnten<br />
die Ausstellungsmacher nach Vorliegen des<br />
Zwischenberichts kleinere Anpassungen<br />
vornehmen: So achtete zum Beispiel das<br />
Vermittlungspersonal verstärkt darauf, dass<br />
Führungen mit Schulklassen nicht zu lange<br />
dauerten. Da einige Besucher das permanente<br />
Abspielen des Alpsegens als störend<br />
empfunden hatten, wurde der entsprechende<br />
Ausstellungsraum mit einem Bewegungsmelder<br />
versehen, womit der Gesang nur<br />
noch zu hören war, wenn neue Besucher eintraten.<br />
Zudem sollten kostenlose Führungen<br />
am Samstag die Entwicklung der Besucherzahlen<br />
ankurbeln.<br />
Frühzeitige Planung ⁄ Was bedeuten die Erfahrungen<br />
aus ‹2 Grad› für die Teilnehmer<br />
des <strong>Mercator</strong>-Workshops Bei länger andauernden<br />
Projekten empfiehlt Annette<br />
Jenny ihnen, immer zusätzlich eine formative<br />
Evaluation vorzunehmen. Denn nur so<br />
könne man zielgerichtete Anpassungen<br />
während des Projektverlaufs machen. Zudem<br />
sollten sie eine Evaluation frühzeitig planen,<br />
um ein optimales Evaluationsdesign zu<br />
ermöglichen. Auch Annahmen über Wirkungszusammenhänge<br />
sollten die Projektverantwortlichen<br />
bereits früh skizzieren.<br />
Einen Aspekt dürfe man beim Thema Evaluation<br />
nicht vergessen: «Der Aufwand für<br />
die beteiligten Personen ist nicht zu unterschätzen»,<br />
sagte Annette Jenny. Bei der<br />
Ausstellung ‹2 Grad› war das ganze Betriebspersonal<br />
in die Evaluation eingespannt. Auch<br />
die Kosten müssten entsprechend im Vorhinein<br />
kalkuliert werden. Diese liegen gemäss<br />
Empfehlungen der <strong>Schweiz</strong>erischen Gesellschaft<br />
für Evaluation bei 1 bis 10 Prozent der<br />
Projektkosten für Selbstevaluationen und<br />
bei 5 bis 10 Prozent für externe Evaluationen.<br />
Text ⁄ Nadine Fieke<br />
Wie sie den wesentlichen Herausforderungen bei<br />
der Evaluation der Ausstellung ‹2 Grad› begegnet ist,<br />
erklärte Annette Jenny in ihrem Vortrag.
workshop a<br />
Evaluation von interund<br />
transdisziplinärer<br />
Forschung<br />
In die anspruchsvolle Welt der inter- und transdisziplinären<br />
Forschung führte Christian Pohl ein.<br />
Workshopleiter<br />
Christian Pohl, td-net<br />
⁄ christian.pohl@scnat.ch<br />
Td-net<br />
Das ‹Network for Transdisciplinary Research› ist ein<br />
Projekt der Akademien der Wissenschaften <strong>Schweiz</strong>.<br />
Lanciert wurde es im Jahr 2000 von der <strong>Schweiz</strong>erischen<br />
Akademischen Gesellschaft für Umweltforschung<br />
und Ökologie. Im Jahr 2003 wurde das td-net von der<br />
Akademie der Naturwissenschaften <strong>Schweiz</strong> übernommen.<br />
Das Netzwerk wurde initiiert, um die transdisziplinäre<br />
Ausrichtung in verschiedenen Bereichen<br />
der Forschung zu fördern. Ausgangspunkt bilden dabei<br />
die in der Umwelt- und Nachhaltigkeitsforschung<br />
gemachten Erfahrungen.<br />
⁄ www.transdisciplinarity.ch<br />
Inter- und transdisziplinäre Forschung ist<br />
anspruchsvoll – insbesondere für die<br />
Projektleitung. Wie sind die verschiedenen<br />
Forschungsstränge zusammenzuführen<br />
Wie kann gewährleistet werden, dass die<br />
Teammitglieder aus verschiedenen wissenschaftlichen<br />
Disziplinen und aus der Praxis<br />
einander verstehen Wie können die Zusammenarbeit<br />
und der Austausch über Fortschritte<br />
und Ergebnisse organisiert werden,<br />
damit sie zu einem guten Gesamtresultat<br />
beitragen Wie werden die Ergebnisse von<br />
den Beteiligten und von aussen bewertet<br />
Und wie können diese, da sie doch quer<br />
zu disziplinären Qualitätsmassstäben liegen,<br />
in der Wissenschaft bestehen und gleichzeitig<br />
in die Praxis integriert werden Diese<br />
und viele andere Fragen sind typisch für<br />
komplexe, fächerübergreifende und praxisbezogene<br />
Forschungsprojekte. Der Workshop<br />
unter Leitung von Christian Pohl bot<br />
den Teilnehmern eine gute Gelegenheit,<br />
Erfahrungen und Ideen auszutauschen.<br />
In seiner kurzen Einführung erklärte<br />
der Workshopleiter, was inter- und transdisziplinäre<br />
Forschung ausmacht: Energieversorgung<br />
und Klimaschutz verlangen<br />
genauso nach zukunftsfähigen Lösungen wie<br />
Fragen der Gesundheit und des demografischen<br />
Wandels. Mehr denn je sind wir zur<br />
Lösung dieser Fragen auf wegweisende<br />
Erkenntnisse der Wissenschaft angewiesen.<br />
Dabei gilt es einerseits, das spezifische<br />
Wissen verschiedener wissenschaftlicher<br />
Fächer miteinander zu verbinden und anschlussfähig<br />
zu machen (interdisziplinäre<br />
Forschung). Andererseits muss wissenschaftliches<br />
Wissen mit Alltagswissen verknüpft<br />
werden, um die Vielfalt der Sichtweisen zu<br />
gesellschaftlichen Herausforderungen<br />
zu berücksichtigen und zu einer am Gemeinwohl<br />
orientierten praktischen Lösung beizutragen<br />
(transdisziplinäre Forschung).<br />
Wichtig ist zudem, über Folgen bestimmter<br />
Handlungen oder Technologien nachzudenken.<br />
Wie das Beispiel der Nanotechnologie<br />
zeigt, ist eine adäquate Beurteilung aber oft<br />
schwierig, wenn noch wenige Forschungsergebnisse<br />
vorliegen, die aussagekräftige<br />
Risikoevaluationen zulassen.<br />
Drei Gruppen – drei Themen ⁄ In drei Gruppen<br />
diskutierten die Workshopteilnehmer Kriterien<br />
zur Evaluation inter- und transdisziplinärer<br />
Projekte. Im Plenum präsentierten<br />
sie schliesslich die Resultate der Gruppenarbeit.<br />
Die erste Gruppe erarbeitete Kriterien,<br />
die es erlauben, inter- und transdisziplinäre<br />
Projekte überhaupt als solche zu erkennen.<br />
Sie unterschieden drei Arten von Vorhaben:<br />
Projekte, die offensichtlich die Grenzen<br />
wissenschaftlicher Disziplinen nicht überschreiten.<br />
Projekte, die arbeitsteilig vorgehen<br />
und additiv an der gemeinsamen<br />
Forschungsfrage arbeiten. Und schliesslich<br />
Projekte, die schon während des Forschungsprozesses<br />
fächerübergreifend sind und<br />
ihr wissenschaftliches Wissen mit Praxiswissen<br />
verknüpfen. Dazu müssen geeignete
workshop a<br />
Methoden und Arbeitsweisen der transdisziplinären<br />
Integration entwickelt und<br />
angewendet werden, betonten die Workshopteilnehmer.<br />
Diese integrative Herangehensweise<br />
ermögliche es, ein Problem<br />
ganzheitlich zu verstehen. «Gerade in der<br />
Forschungspraxis erfordert das eine intensive<br />
Kommunikations- und Koordinationsarbeit.<br />
Insbesondere braucht es auch<br />
Zeit, um unter den Forscherinnen und<br />
Forschern ein gemeinsames Verständnis mit<br />
entsprechenden theoretischen Verortungen<br />
zu entwickeln», sagte Professor Stephan<br />
Huber von der Pädagogischen Hochschule<br />
Zentralschweiz Zug.<br />
Faktor Zeit ⁄ Die zweite Gruppe beschäftigte<br />
sich mit der Frage, wie Wissenschaft zur<br />
Lösung gesellschaftlicher Herausforderungen<br />
beitragen kann. Entscheidend sei es, das<br />
Projekt von Anfang an inter- und transdisziplinär<br />
zu denken. Wichtige Voraussetzung<br />
sei auch, bei der Initiierung wissenschaftlicher<br />
Projekte die gesellschaftliche Relevanz<br />
umfassend zu berücksichtigen, betonte Jost<br />
Hamschmidt von oikos St. Gallen. Interund<br />
transdisziplinäre Forschung müsse auf<br />
die Gestaltung von realen Prozessen und<br />
nicht nur auf deren Beobachtung und theoretische<br />
Modellierung zielen. Wichtig sei<br />
zudem, dass die Forschung die Erkenntnisse<br />
der unterschiedlichen Disziplinen integriere.<br />
Den Faktor Zeit beurteilt die Gruppe kritisch:<br />
«Wirkung kann man nicht schon nach<br />
drei Jahren messen!»<br />
Wie man mit Werten, Risiken und<br />
Folgen von Innovationen umgeht, diskutierte<br />
die dritte Gruppe. Für Bruno Hofer, Koordinator<br />
des Projekts ‹Personalisiertes Lernen›<br />
der <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong>, ist es wichtig,<br />
«dass den unterschiedlichen Interessen<br />
in allen Phasen des Forschungsprozesses<br />
genügend Beachtung geschenkt wird».<br />
Dies fördere man am besten durch die Definition<br />
eines verbindlichen Werte-Kodexes<br />
oder die Bildung eines Werte-Bewusstseins<br />
durch geeignete Reflexionsverfahren.<br />
Der Workshop machte deutlich, wie<br />
anspruchsvoll inter- und transdisziplinäre<br />
Forschung ist. Die partizipativen Prozesse<br />
inter- und transdisziplinärer Praxis können<br />
jedoch einen Mehrwert schaffen, wenn<br />
mit Hilfe von Methoden des wechselseitigen<br />
Lernens gearbeitet wird, und wenn die<br />
Beteiligten in produktive Beziehung zueinander<br />
gesetzt werden.<br />
Text ⁄ Beno Baumberger<br />
transdisziplinäre forschung<br />
Literaturtipps zur transdisziplinären Forschung:<br />
∕ Darbellay, Frédéric; Paulsen, Theres (Hg.):<br />
Herausforderung Inter- und Transdisziplinarität.<br />
Konzepte, Methoden und innovative Umsetzung in<br />
Lehre und Forschung. Lausanne 2008<br />
∕ Hirsch Hadorn, Gertrude et al. (Hg.): Handbook<br />
of Transdisciplinary Research. Berlin 2008<br />
In Gruppen diskutierten die Workshopteilnehmer<br />
Kriterien zur Evaluation inter- und transdisziplinärer<br />
Projekte. Die Ergebnisse stellten sie anschliessend<br />
im Plenum vor.
workshop B<br />
Evaluation des<br />
projekts ChagALL<br />
Workshopleiter<br />
Prof. Jürg Schoch, Direktor unterstrass.edu<br />
⁄ juerg.schoch@unterstrass.edu<br />
unterstrass.edu<br />
Die private, staatlich anerkannte Institution bildet seit<br />
mehr als 140 Jahren Primarlehrpersonen und Kindergärtnerinnen<br />
aus – seit 2002 als privatrechtlich organisiertes,<br />
mit der Pädagogischen Hochschule Zürich<br />
kooperierendes Hochschulinstitut. Daneben führt die<br />
Schule ein Kurzgymnasium mit musischem Profil und<br />
dem Schwerpunkt Philosophie ⁄ Pädagogik ⁄ Psychologie.<br />
Als Schule in evangelischer Trägerschaft gilt ein<br />
besonderes Augenmerk dem schulischen Erfolg von<br />
unter privilegierten Jugendlichen.<br />
⁄ www.unterstrass.edu<br />
Jürg Schoch gab eine interessante Einführung in die<br />
Ziele des Förderprogramms ‹ChagALL›.<br />
«Junge Migranten aus bildungsfernen Familien<br />
haben in der Regel nur geringe Chancen,<br />
eine Mittelschule zu besuchen – selbst<br />
wenn sie talentiert und motiviert sind»,<br />
erklärte Jürg Schoch, Direktor des Gymnasiums<br />
Unterstrass, und verwies auf entsprechende<br />
Schulstatistiken des Kantons Zürich.<br />
Diese Feststellung war Motivation für das<br />
private Zürcher Gymnasium, das Förderprogramm<br />
ChagALL (Chancengerechtigkeit<br />
durch Arbeit an der Lernlaufbahn) zu entwickeln.<br />
Seit dem Schuljahr 2008 ⁄ 2009<br />
fördern Sekundar- und Gymnasiallehrer im<br />
Rahmen von ChagALL jedes Jahr zwölf<br />
Jugendliche mit Migrationshintergrund, um<br />
ihnen einen schulischen und damit auch<br />
einen beruflichen Aufstieg zu ermöglichen.<br />
Ziele des Programms ⁄ Doch wie wirkt<br />
ChagALL eigentlich Dieser Frage ging Jürg<br />
Schon in seinem Workshop nach. «Wir<br />
messen die Wirkung am Ziel», erklärte er.<br />
50 Prozent der Programmteilnehmer sollen<br />
die Aufnahmeprüfung für die Mittelschule<br />
schaffen, so das klare Ziel des ersten Durchführungsjahrs.<br />
Für die folgenden Jahre<br />
wurde die Zielvorgabe auf 66 Prozent erhöht.<br />
Während es für viele soziale Projekte oftmals<br />
bereits eine Herausforderung sei, überhaupt<br />
messbare Ziele zu definieren, sei<br />
die Wirkungsmessung von ChagALL auf den<br />
ersten Blick sehr einfach, meinte Jürg<br />
Schoch: «Sie lässt sich anhand des Prüfungserfolgs<br />
– bestanden oder nicht bestanden –<br />
beuteilen.» Das zweite Ziel von ChagALL ist<br />
es, dass die jungen Migranten nach der<br />
Aufnahme in die Mittelschule diese auch<br />
erfolgreich abschliessen.<br />
Alle Programmteilnehmer haben einen<br />
Migrationshintergrund und leben in bescheidenen<br />
finanziellen Verhältnissen. Sie<br />
wurden von ihren Klassenlehrern in der<br />
Sekundarschule für das Programm empfohlen,<br />
zudem haben sie das Einverständnis<br />
der Eltern und auch die moralische Unterstützung,<br />
um am Programm teilzunehmen.<br />
Bei der letztendlichen Auswahl der zwölf<br />
Programmteilnehmer werden sowohl das<br />
Empfehlungsschreiben der Lehrer, die<br />
Ergebnisse verschiedener Tests, das persönliche<br />
Motivationsschreiben der Jugendlichen<br />
sowie ein persönliches Aufnahmegespräch<br />
berücksichtigt. Die regelmässige und engagierte<br />
Teilnahme an den Fachtrainings in<br />
Deutsch, Französisch und Mathe sowie an<br />
den Persönlichkeitstrainings verlangen von<br />
den Programmteilnehmern eine hohe Motivation<br />
und Leistungsbereitschaft, denn diese<br />
finden von August bis April jeden Mittwochnachmittag<br />
und am Samstagvormittag statt;<br />
also in der Freizeit der Jugendlichen.<br />
Frage nach der Zielerreichung ⁄ Hat unser<br />
Tun die Wirkung, die wir uns vorgenommen<br />
haben Und wenn die Ziele nicht erreicht<br />
werden Was können wir machen, um<br />
herauszufinden, woran das liegt Wie kann<br />
man erfolgversprechende Verbesserungsmassnahmen<br />
entwickeln Diese Fragen<br />
diskutierten die Workshopteilnehmer in drei<br />
Arbeitsgruppen. Zusammenfassend sagen<br />
die Ergebnisse der Gruppenarbeit: Es ist<br />
zentral, das Gespräch mit allen Beteiligten zu<br />
suchen, wenn Ziele nicht erreicht werden.<br />
Aber auch ein externer Blick durch objektive<br />
Dritte oder durch Experten kann helfen,<br />
Verbesserungsmassnahmen zu finden. Ebenso<br />
wichtig kann es sein, die Ziele zu hinterfragen<br />
und gegebenenfalls anzupassen.<br />
Im Rahmen von ChagALL werden zwei<br />
Formen der Evaluation durchgeführt. Die<br />
formative Selbstevaluation geschieht laufend:<br />
Die Beobachtungen der Trainer werden<br />
zusammengetragen, und in regelmässigen
workshop B<br />
Sitzungen reflektiert die Projektleitung, ob<br />
der aktuelle Projektverlauf zur Zielerreichung<br />
führen wird. Die Fremdevaluation<br />
durch das Institut für Bildungsevaluation<br />
der Universität Zürich ist summativ; dabei<br />
steht die Frage im Vordergrund: Wurden<br />
die Ziele des Projekts erreicht – und falls ja,<br />
dank welcher Elemente Während sich die<br />
Lehrer bei der laufenden Evaluation auf ihre<br />
subjektiven Theorien stützen, arbeiten die<br />
Wissenschaftler bei der externen Evaluation<br />
mit einem theoretischen Konzeptrahmen.<br />
Das so genannte ‹Angebot-Nutzen-Modell›<br />
nach Andreas Helmke bildet das Zusammenspiel<br />
zwischen Lehrpersonen, Unterricht,<br />
Lernaktivität, Lernpotenzial, Familie und<br />
Wirkungen modellhaft ab.<br />
Bei ChagALL habe sich herausgestellt,<br />
dass die Fachpersonen aus der Praxis oftmals<br />
intuitiv zu ähnlichen Schlüssen gekommen<br />
sind wie die anschliessende externe Evaluation.<br />
So hat die externe Evaluation beispielsweise<br />
gezeigt, dass sich die beiden<br />
Faktoren ‹Lernpotenzial› und ‹Motivation›,<br />
denen beim ChagALL-Aufnahmeverfahren<br />
grosses Gewicht beigemessen wird, tatsächlich<br />
entscheidend für den erfolgreichen<br />
Abschluss von ChagALL und der Mittelschulprüfungen<br />
sind.<br />
Nebenwirkungen von Projekten ⁄ «Projekte<br />
haben immer auch Nebenwirkungen»,<br />
betonte Jürg Schoch. Diese könnten beabsichtigt<br />
und erwünscht sein – wie etwa<br />
vertieftes Know-how im Bereich des individualisierten<br />
Lernens und Coachings auf<br />
Seiten der Lehrer oder bessere Zeugnisnoten<br />
der ChagALL-Schüler, auch wenn<br />
beide Aspekte nicht per se Ziele des Projekts<br />
sind. Nebenwirkungen können aber auch<br />
unerwünscht sein. So haben beispielsweise<br />
bei einer ChagALL-Absolventin die Eltern<br />
aufgrund des schulischen Aufstiegs ihrer<br />
Tochter auf einmal Angst entwickelt, den<br />
Einfluss auf sie zu verlieren. «In diesem<br />
Fall haben wir eine Wirkung ausgelöst, die<br />
wir nicht wollten», erklärte Jürg Schoch.<br />
erstes ziel erreicht ⁄ Die Wirkungsmessung<br />
und der Prüfungserfolg der ChagALL-<br />
Schüler machen deutlich: Das erste Ziel<br />
von ChagALL konnte bisher immer erreicht<br />
werden. Bei den ChagALL-Absolventen<br />
zeigt sich inzwischen aber, dass der erfolgreiche<br />
Mittelschulabschluss (also das zweite<br />
Ziel des Programms) für viele eine Herausforderung<br />
ist. «Die Gymnasien verlassen<br />
sich darauf, dass Eltern zu Hause mit ihren<br />
Kindern lernen», erklärte Jürg Schoch.<br />
Doch Migranten können ihre Kinder oft aufgrund<br />
fehlender Ausbildung in dieser Hinsicht<br />
nicht unterstützten. Deshalb werden<br />
ChagALL-Schüler und ihre Eltern auch<br />
während der ersten zwei Jahre in der Mittelschule<br />
weiter durch das Förderprogramm<br />
begleitet. «Aber wir merken, dass diese<br />
Begleitung oft nicht ausreicht», bedauerte<br />
Jürg Schoch im Workshop.<br />
Nach dieser Erkenntnis stellen sich<br />
für das Projektteam nun entscheidende<br />
Fragen: Welche Faktoren beeinflussen einen<br />
erfolgreichen Mittelschulabschluss Und wo<br />
müssen wir ansetzen und unterstützend<br />
wirken, damit die ChagALL-Absolventen die<br />
Mittelschule erfolgreich abschliessen Die<br />
Projektverantwortlichen erarbeiten zurzeit<br />
Antworten. Dazu nehmen sie nun auch<br />
bereits bei der laufenden Evaluation das<br />
besagte ‹Angebot-Nutzen-Modell› als theoretisches<br />
Konzept zur Hilfe.<br />
Text ⁄ Sara Fink<br />
Wenn ein Projekt seine Ziele nicht erreicht, sollte die<br />
Projektleitung reagieren. Aber wie Die Workshopteilnehmer<br />
sammelten Ideen.
workshop C<br />
Evaluationen in der Kinderund<br />
Jugendförderung<br />
Workshopleiter<br />
Markus Gander, Geschäftsführer Infoklick.ch<br />
⁄ markus.gander@infoklick.ch<br />
Rafael Wyser, wissenschaftlicher Mitarbeiter<br />
Universität Basel<br />
⁄ rafael.wyser@unibas.ch<br />
Infoklick.ch<br />
Infoklick.ch ist eine direkte Anlaufstelle für Kinder und<br />
Jugendliche, die sich aktiv, mit eigenen Ideen sowie<br />
ihren persönlichen Ressourcen engagieren wollen.<br />
Zudem bietet der Verein für Kinder- und Jugendförderung<br />
leicht verständliche Informationen und konkrete<br />
Hilfestellungen für sämtliche Lebensbereiche von<br />
Kindern und Jugendlichen und deren Bezugspersonen.<br />
Diese Dienstleistung nehmen jährlich knapp<br />
60 000 Menschen und rund 500 Jugendprojekte und<br />
Jugendinitiativen in Anspruch.<br />
⁄ www.infoklick.ch<br />
Die Bedeutung von Evaluation und Wirkungsmessung<br />
im Kinder- und Jugendbereich<br />
hat in den vergangenen Jahren kontinuierlich<br />
zugenommen. Doch es ist schwierig,<br />
ein Evaluationsdesign zu finden, das allen<br />
Ansprüchen gerecht wird. Gerade bei Projekten,<br />
an denen die Zielgruppe freiwillig<br />
teilnimmt, treten Herausforderungen auf,<br />
die Evaluationen erschweren und die<br />
Interpretierbarkeit der Ergebnisse einschränken.<br />
Am Beispiel des Förderprogramms<br />
BIGSTEP, das Infoklick.ch demnächst starten<br />
will, zeigten Markus Gander, Geschäftsführer<br />
des Vereins für Kinder- Jugendförderung,<br />
und Rafael Wyser, wissenschaftlicher<br />
Mitarbeiter der Universität Basel, in<br />
ihrem Workshop einige Tücken der Evaluation<br />
im Bereich der Kinder- und Jugendförderung<br />
auf.<br />
Integration in die Gesellschaft ⁄ Das vierjährige<br />
Förderprogramm BIGSTEP soll jungen<br />
Müttern den Zugang zu Bildung ermöglichen<br />
und ihnen bessere Chancen geben, sich<br />
in die Gesellschaft zu integrieren und an<br />
dieser teilzuhaben. Die Teilnehmerinnen er-<br />
halten materielle Unterstützung in Form von<br />
Bildungsgeld. Sie profitieren von individueller<br />
Beratung und erhalten durch Pflicht- und<br />
Wahlkurse zu Themen wie Beruf, Demokratie<br />
und Engagement eine gezielte Förderung.<br />
Durch die Teilnahme an den Kursen sollen<br />
die jungen Mütter in neue soziale und fördernde<br />
Umfelder gelangen und neue Kontakte<br />
knüpfen. Zudem werden ihnen Kinderbetreuungsplätze<br />
zur Verfügung gestellt.<br />
Markus Gander ist überzeugt, dass die<br />
freiwillige Teilnahme an Programmen unabhängig<br />
ihrer thematischen Ausrichtung<br />
immer zu einer positiven Selektion führt –<br />
und das ist ein Problem mit Blick auf die<br />
Wirkungsmessung. «Insbesondere interessierte,<br />
engagierte und aktive Personen<br />
nehmen an freiwilligen Programmen teil.»<br />
Es sei deshalb nicht erstaunlich, dass die<br />
überwiegende Mehrheit der Evaluationen<br />
zu positiven Ergebnissen kommt, erklärte<br />
Markus Gander. «Ob in erster Linie die<br />
Personen oder das Programm für den Erfolg<br />
verantwortlich sind, ist jedoch nicht klar.»<br />
Einsatz von Kontrollgruppen ⁄ In der Evaluationspraxis<br />
werden oft Kontrollgruppen<br />
eingesetzt, um dieser Herausforderung zu<br />
begegnen. Die Personen der Kontrollgruppe<br />
nehmen nicht an den Massnahmen teil und<br />
können entsprechend als Massstab dienen.<br />
Ein Vergleich zwischen den zwei Gruppen<br />
sollte eine differenziertere Aussage über die<br />
Wirksamkeit des evaluierten Programms<br />
ermöglichen – theoretisch. Denn tatsächlich<br />
führt auch dieser Vergleich auf Grund des so<br />
genannten ‹Selektionsproblems› häufig zu<br />
einer Verzerrung: Die Kontrollgruppe unterscheidet<br />
sich bezüglich Einstellung, Verhalten<br />
und Motivation von den Teilnehmern. Mit<br />
dieser Herausforderung musste auch Rafael<br />
Wyser bei der Erstellung des Evaluations-<br />
Auf welche Herausforderungen stösst wohl die Evaluation<br />
des Projekts BIGSTEP Rafael Wyser teilte die<br />
Antworten der Workshopteilnehmer unterschiedlichen<br />
Kategorien zu.<br />
konzepts von BIGSTEP zurechtkommen:<br />
«Voraussichtlich werden sich vorwiegend motivierte<br />
junge Mütter melden, die über einen<br />
gewissen Durchhaltewillen verfügen.<br />
Andere Mütter, die weniger engagiert sind,<br />
werden dem Programm fernbleiben.» Dadurch<br />
entstehe eine positive Auswahl, die die<br />
Aussagekraft der Ergebnisse einschränkt.<br />
Gelöst werden könnte dieses Problem<br />
nur durch eine obligatorische Teilnahme<br />
an der Massnahme. Einer Investorengruppe<br />
in Grossbritannien ist dies mit einem Programm<br />
für Gefängnisinsassen gelungen. Alle<br />
Insassen mussten an den untersuchten<br />
Massnahmen teilnehmen, dies ermöglichte<br />
eine Untersuchung der Wirksamkeit ohne<br />
Selektionsverzerrung. Tatsächlich ist eine
workshop C<br />
obligatorische Teilnahme jedoch ohne staatliche<br />
Unterstützung nicht möglich – und<br />
entsprechend für gemeinnützige Projekte<br />
keine Lösung des Selektionsproblems.<br />
Eine weitere Herausforderung, der die<br />
Evaluation des Programms BIGSTEP begegnet,<br />
ist der Umgang mit Programmabbrüchen.<br />
Wie soll man diese bewerten Sind sie<br />
als Misserfolg zu werten «Nicht zwangsläufig»,<br />
sagte Markus Gander. Denn ein Abbruch<br />
könnte auch bedeuten, dass die junge Mutter<br />
eine neue Ausbildung oder einen neuen<br />
Job in Angriff genommen hat. Eine klare Trennung<br />
zwischen ungewollten und gewollten<br />
Abbrüchen und den sich daraus ergebenden<br />
Konsequenzen sei deshalb unerlässlich.<br />
Bei grossen Projekten wie BIGSTEP, die<br />
mehrere Massnahmen gleichzeitig bündeln,<br />
wird die Evaluation zusätzlich durch die<br />
Vielschichtigkeit des Vorhabens erschwert,<br />
betonten die beiden Workshopleiter. So<br />
verhindert die Komplexität des Programms<br />
die Beurteilung einzelner Massnahmen.<br />
Dabei wäre gerade dies für die Projektträger<br />
und Geldgeber besonders interessant. Denn<br />
diese möchten natürlich wissen, welche<br />
Massnahmen erfolgreich sind und welche<br />
nicht, um nicht unnötige Ressourcen<br />
in unwirksame Massnahmen zu investieren;<br />
oder noch schlimmer: um nicht zu wenige<br />
Ressourcen in effektive Programmpunkte zu<br />
stecken.<br />
Projekte in der Kinder- und Jugendförderung<br />
sein. Letztlich gilt es, die Herausforderungen<br />
frühzeitig zu erfassen, sich ihrer bewusst<br />
zu werden und mit allen Beteiligten (Teilnehmende,<br />
Geldgeber, Kooperationspartner,<br />
etc.) darüber zu diskutieren und mögliche<br />
Lösungsansätze zu finden.<br />
fester bestandteil des Projekts ⁄ Der Aufwand,<br />
der für die Evaluation betrieben<br />
werden sollte, hängt stark vom Charakter<br />
des Projekts ab, machten die beiden<br />
Workshopleiter deutlich. Bei kleineren<br />
Projekten kann eine punktuelle Wirkungsmessung<br />
genügen; bei längerfristigen<br />
Programmen empfiehlt es sich hingegen,<br />
die Evaluation als festen Bestandteil mitzuplanen.<br />
«Vor allem bei Projekten, die<br />
langfristig von der öffentlichen Hand übernommen<br />
werden sollen, ist die Evaluation<br />
mitunter entscheidend für den langfristigen<br />
Erfolg», betonte Markus Gander. Denn nur<br />
eine überzeugende Wirkungsmessung<br />
könne den Staat zur Übernahme einzelner<br />
Massnahmen bewegen.<br />
Text ⁄ Tobias Oetiker<br />
Viele Vertreter aus der Kinder- und Jugendförderung<br />
trafen sich im Workshop von Markus Gander und Rafael<br />
Wyser. In einer Gruppenarbeit waren ihre Ideen gefragt:<br />
Die eigenen Erfahrungen übertrugen sie auf das<br />
Beispielprojekt BIGSTEP.<br />
Wichtige Evaluationsbausteine ⁄ «Ein Patentrezept<br />
für all diese Herausforderungen gibt<br />
es nicht», erklärte Markus Gander. «Jedes<br />
Programm birgt andere Tücken und bedingt<br />
andere Lösungsansätze.» Gängige Wirkungsmessinstrumente<br />
wie ‹Logic Models›,<br />
‹Monitoring› und ‹Outcome Evaluation›<br />
mit Kontrollgruppen können aber wichtige<br />
Bauteile eines Evaluationskonzepts für
workshop D<br />
Wirkungsmessung in<br />
Natur- und Umweltschutz<br />
Workshopleiter<br />
Thomas Vellacott, WWF <strong>Schweiz</strong>, Leiter ‹Programm›<br />
(ab Mai 2012 Geschäftsführer)<br />
⁄ thomas.vellacott@wwf.ch<br />
wwf schweiz<br />
Der WWF <strong>Schweiz</strong> ist die grösste Umweltorganisation<br />
der <strong>Schweiz</strong>. Er gehört zum globalen WWF-Netzwerk,<br />
das mit rund 1000 Projekten in über 100 Ländern<br />
der Welt präsent ist. Gleichzeitig ist er mit seinen 23<br />
Sektionen in der ganzen <strong>Schweiz</strong> verankert. Gemeinsam<br />
ist allen WWF-Projekten ein grosses Ziel: Die weltweite<br />
Zerstörung der Umwelt stoppen und eine Zukunft<br />
gestalten, in der Mensch und Natur in Harmonie miteinander<br />
leben. Dafür gilt es, Tiere, Pflanzen und<br />
ihre Lebensräume zu schützen und unseren Ressourcenverbrauch<br />
in nachhaltige Bahnen zu lenken.<br />
⁄ www.wwf.ch<br />
Gründe für Evaluationen und zielgerichtete<br />
Wirkungsmessungen gibt es viele: Organisationen<br />
möchten ihre Arbeit verbessern,<br />
sie möchten ihre Tätigkeiten strategisch<br />
ausrichten und mit Wirkungsmessungen zur<br />
eigenen Positionierung und Legitimation<br />
beitragen, sagten die Workshopteilnehmer.<br />
Zudem wollen sie knappes Geld möglichst<br />
effektiv verwenden. Workshopleiter Thomas<br />
Vellacott hält Wirkungsmessungen zudem<br />
für ein wichtiges Instrument, um die Mitarbeiter<br />
zu motivieren und in ihrem Engagement<br />
zu bestärken. Denn auch wenn viele<br />
Mitarbeiter des WWF den neuen Wirkungsmessungsinstrumenten<br />
zunächst skeptisch<br />
gegenüberstanden, wurde ihnen bald klar:<br />
«Evaluationen bringen sowohl den Projekten<br />
als auch uns selbst etwas.» Sie erfuhren<br />
dank der Evaluationsergebnisse, dass ihre<br />
Arbeit nachweisbar etwas bewirkt, erklärte<br />
der Programmleiter des WWF <strong>Schweiz</strong>.<br />
Viele Herausforderungen ⁄ Der WWF hat<br />
ein umfassendes Wirkungsmessungssystem<br />
aufgebaut, das die Workshopteilnehmer<br />
durch seinen ausgereiften Ansatz und seine<br />
konsequente Umsetzung beeindruckte;<br />
schliesslich ist so eine durchgängige Umsetzung<br />
der Wirkungsmessung im Umweltbereich<br />
eher selten anzutreffen. Und das liegt<br />
an einigen Herausforderungen, denen die<br />
Akteure begegnen: Viele Projekte sind (zu)<br />
kurz. Exakte Ziele zu formulieren und diese<br />
zu überprüfen, ist schwierig. Hinzu kommen<br />
die Evaluationskosten und die Frage ihrer<br />
Finanzierung. Zudem liegen gerade im<br />
Bereich der Umweltbildung komplexe Wirkungsketten<br />
vor – und Verhaltensänderungen<br />
sind generell schwierig zu messen.<br />
analyse und korrekturen ⁄ «Der WWF investiert<br />
zwar viel Engagement, Zeit und Ressourcen<br />
in die Umweltbildung», erläuterte<br />
Thomas Vellacott. Die langfristige Wirkung<br />
von Umweltbildung sei aber noch viel zu<br />
wenig erforscht, effektive Wirkzusammenhänge<br />
seien noch zu wenig bekannt. Viele<br />
Instrumente der Wirkungsmessung könnten<br />
zwar Richtungen aufzeigen – «aber detaillierte<br />
Aussagen sind noch nicht möglich»,<br />
bedauerte der Workshopleiter. Trotzdem ist<br />
Thomas Vellacott von der Wirkungsmessung<br />
in Umweltschutz und -bildung überzeugt:<br />
Sie macht den Fortschritt von Projekten<br />
ersichtlich und hilft, ungünstige und ungeplante<br />
Entwicklungen rechtzeitig zu<br />
erkennen. So kann ein Projekt auf idealem<br />
Zielkurs sein und trotzdem die Wirkung<br />
nicht optimal entfalten. Evaluationen helfen,<br />
dies zu erkennen und vor allem auch, die<br />
Gründe zu analysieren und Korrekturmassnahmen<br />
zu ergreifen.<br />
Der WWF prüft bereits im Frühstadium<br />
der Projektplanung, ob das jeweilige Projekt<br />
tatsächlich zu seinen (Mehr-)Jahreszielen<br />
passt und stimmt es auf diese ab. Um<br />
auch Raum für explizit innovative und<br />
frische Ideen zu öffnen, vergibt der WWF das<br />
Der WWF <strong>Schweiz</strong> hat ein umfassendes Wirkungsmessungssystem<br />
aufgebaut. Thomas Vellacott stellte<br />
die wesentlichen Eckpunkte vor.
workshop D<br />
‹Hub Zürich WWF Fellowship›. Gemeinsam<br />
mit dem Hub Zürich sucht die Umweltorganisation<br />
innovative Projektideen zum<br />
Thema ‹Biodiversität und Ressourceneffizienz›,<br />
der Gewinner hat die Möglichkeit,<br />
sein Vorhaben zu einem nachhaltigen Projekt<br />
weiterzuentwickeln und umzusetzen.<br />
Dafür erhält er neben finanzieller Unterstützung<br />
Beratung und die Möglichkeit, die<br />
modernen Hub-Räumlichkeiten im Viadukt<br />
in Zürich zu nutzen und vom Hub-Netzwerk<br />
zu profitieren. Durch das Fellowship öffnet<br />
der WWF seinen Fokus für Neues, wobei<br />
die Aktivitäten gleichzeitig auf die gesetzten<br />
Ziele fokussieren.<br />
Im Rahmen der Wirkungsmessung<br />
reflektiert der WWF laufend Prozesse, um<br />
Optimierungen an den Projekten und der<br />
eigenen Arbeit vornehmen zu können.<br />
«Eine Feinabstimmung zwischen Automatisierung<br />
und Handarbeit ist wichtig, um<br />
auch unvorhergesehene Entwicklungen zu<br />
erkennen», sagte Thomas Vellacott. Wirkungsmessung<br />
sei ein anspruchsvoller<br />
Dialog, der idealerweise eine Mischung aus<br />
internen und externen Evaluationen sowie<br />
qualitativen und quantitativen Ansätzen<br />
darstellt. Indem der WWF seine Wirkungsmessung<br />
auf mehrere Instrumente und<br />
Herangehensweisen abstützt, gewinnt diese<br />
an Qualität – und damit an Wirkung, die<br />
nicht zuletzt der Umwelt zu Gute kommt.<br />
Konstruktiver Umgang mit Fehlern ⁄ Essenziell<br />
für eine erfolgreiche Wirkungsmessung ist<br />
eine gute Berichterstattung. Darin müssen<br />
auch Misserfolge thematisiert werden. Deshalb<br />
sollten Organisationen eine entsprechende<br />
Kultur im Umgang mit Fehlern und<br />
Misserfolgen aufbauen. «Bei uns werden<br />
die Leute bei Misserfolgen nicht geköpft»,<br />
sagte Thomas Vellacott schmunzelnd. Ein<br />
offener Umgang mit ungünstigen Entwicklungen<br />
stärke zudem die Glaubwürdigkeit der<br />
ganzen Organisation. Wer sich für eine<br />
konsequente Umsetzung der Wirkungsmessung<br />
entscheidet, benötigt neben einem<br />
fehlertoleranten Arbeitsumfeld ein gutes<br />
Coaching sowie eine gute Zusammenarbeit<br />
aller Beteiligten. «Der Aufwand ist nicht<br />
zu unterschätzen», gibt Thomas Vellacott zu,<br />
«trotzdem lohnt sich die Arbeit.»<br />
Er machte den Workshopteilnehmern<br />
deutlich, wie wichtig es ist, sich als Organisation<br />
ständig weiterzuentwickeln und zu<br />
lernen. In Zukunft möchte der WWF die<br />
Öffentlichkeit noch stärker in einen Dialog<br />
über Projektfortschritte einbeziehen und<br />
ihr Einblick in seine Aktivitäten geben.<br />
Eine solch weitreichende Transparenz ist in<br />
der <strong>Schweiz</strong> noch nicht üblich – und gerade<br />
deshalb innovativ.<br />
Text ⁄ Regula von Büren<br />
Living Planet Report<br />
Die Menschheit braucht fast eineinhalb Mal so viele<br />
Ressourcen, wie die Erde auf Dauer bieten kann.<br />
Das ist die wichtigste Aussage des ‹Living Planet Report›,<br />
des umfassendsten Berichts zum Zustand der Erde.<br />
Er wird alle zwei Jahre vom WWF, dem Global Footprint<br />
Network und der Zoological Society of London herausgegeben<br />
und hat zwei Haupt-Kennzahlen: den Fussabdruck<br />
für den Ressourcenverbrauch und den ‹Living<br />
Planet Index› für die Naturvielfalt. Der ‹Living Planet<br />
Report› ist ein wirkungsvolles Instrument zur Beurteilung<br />
des aktuellen Zustands der Erde, zudem zeigt<br />
er wichtige Entwicklungen und Tendenzen auf.
ückblick<br />
Resümee in Bildern<br />
Playback-Theater Zürich<br />
Das Playback-Theater Zürich bietet Unternehmen,<br />
Privatpersonen und Institutionen professionelles, interaktives<br />
Theater an. Seine Spezialität ist das Playback-<br />
Theater. Beim Playback-Theater bestimmen die Anwesenden,<br />
was gespielt wird. Aus spontanen Beiträgen<br />
gestalten die Schauspieler lebendige Theaterszenen,<br />
die das Wesentliche humorvoll auf den Punkt bringen.<br />
⁄ www.playback-theater.ch<br />
«Welche Erkenntnisse nehmen Sie vom<br />
<strong>Mercator</strong>-Workshop mit Wie fühlen Sie<br />
sich nach dem intensiven und gehaltvollen<br />
Tag Was ist wichtig in der Projektarbeit»<br />
Drei Schauspieler des Playback-Theaters<br />
Zürich haben die Workshopteilnehmer am<br />
Ende des Tages nach ihren Eindrücken<br />
gefragt – und diese schauspielerisch dargestellt.<br />
Entstanden ist ein Veranstaltungsresümee<br />
in Bildern.<br />
«Gemeinsam sind wir stark. Gemeinsam können wir<br />
etwas erreichen!»<br />
«Man muss alle wichtigen Partner ins Projekt<br />
einbeziehen – und vor allem auch auf die Bedürfnisse<br />
der Zielgruppen achten.»<br />
«Ein tolles Konzept alleine reicht nicht aus,<br />
damit ein Projekt erfolgreich ist.»<br />
«Als Workshopleiter lernt man viel von den Teilnehmern:<br />
Man kommt mit einem bestimmten Konzept in seinen<br />
Workshop – und am Ende zeigen die Teilnehmer einem<br />
viele neue Wege und Möglichkeiten.»<br />
«Wir haben viele interessante Menschen kennen gelernt.<br />
Es ist wichtig, ein Netzwerk zu haben, in dem man<br />
gemeinsame Interessen verfolgt und sich gegenseitig<br />
unterstützen kann.»
Dokumentation <strong>Mercator</strong>-Workshop 2012<br />
über uns<br />
Im Sinne ihres Namensgebers Gerhard<br />
<strong>Mercator</strong> möchte die <strong>Stiftung</strong> <strong>Mercator</strong><br />
<strong>Schweiz</strong> den Austausch von Wissen<br />
und Kultur anregen. Ihr Engagement<br />
gilt einer lernbereiten und weltoffenen<br />
Gesellschaft, die verantwortungsvoll<br />
mit der Umwelt umgeht. Mit innovativen<br />
Projekten an Hochschulen trägt die<br />
<strong>Stiftung</strong> zur Stärkung des Forschungsplatzes<br />
<strong>Schweiz</strong> bei. Sie unterstützt<br />
die Wissenschaft, Antworten auf gesellschaftsrelevante<br />
Fragen zu finden.<br />
Insbesondere fördert sie auch den Erkenntnisgewinn<br />
zum Schutz der<br />
Umwelt. Um Kindern und Jugendlichen<br />
optimale Entwicklungschancen zu<br />
bieten, setzt sich die <strong>Stiftung</strong> für bessere<br />
Bildungsmöglichkeiten innerhalb und<br />
ausserhalb der Schule ein. Mit ihren<br />
Projekten möchte sie Impulse geben,<br />
damit alle jungen Menschen ihre Persönlichkeit<br />
entfalten, Engagement entwickeln<br />
und ihre Chancen nutzen können.<br />
Impressum<br />
Herausgeber<br />
<strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong><br />
Gartenstrasse 33<br />
CH – 8002 Zürich<br />
Tel. +41 (0)44 206 55 80<br />
mercator@stiftung-mercator.ch<br />
www.stiftung-mercator.ch<br />
redaktion<br />
Nadine Fieke<br />
bilder<br />
Jonas Jäggy<br />
gESTALTUNG<br />
Rob & Rose Zürich<br />
© <strong>Stiftung</strong> <strong>Mercator</strong> <strong>Schweiz</strong> 2012