10.02.2013 Aufrufe

Dokument 1.pdf - OPUS - Friedrich-Alexander-Universität Erlangen ...

Dokument 1.pdf - OPUS - Friedrich-Alexander-Universität Erlangen ...

Dokument 1.pdf - OPUS - Friedrich-Alexander-Universität Erlangen ...

MEHR ANZEIGEN
WENIGER ANZEIGEN

Erfolgreiche ePaper selbst erstellen

Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

a<br />

8<br />

Analyse der Wirksamkeit und Möglichkeiten<br />

der Weiterentwicklung externer Evaluationen<br />

Melanie Buichl |<br />

Texte zur Wirtschaftspädagogik und<br />

Personalentwicklung<br />

Herausgegeben von Karl Wilbers<br />

Band 8<br />

Analyse der Wirksamkeit und<br />

Möglichkeiten der Weiterentwicklung<br />

externer Evaluationen<br />

Melanie Buichl


Texte zur Wirtschaftspädagogik und<br />

Personalentwicklung<br />

Herausgegeben von Karl Wilbers<br />

Band 8<br />

Analyse der Wirksamkeit und<br />

Möglichkeiten der Weiterentwicklung<br />

externer Evaluationen<br />

Melanie Buichl


Bibliografische Information der Deutschen Bibliothek<br />

Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;<br />

detaillierte bibliografische Daten sind im Internet unter http://dnb.ddb.de abrufbar.<br />

Eine digitale Version dieses Werkes steht unter http://www.opus.ub.uni-erlangen.de/opus/<br />

im Adobe Portable <strong>Dokument</strong> Format (PDF) zum kostenfreien Download bereit.<br />

Texte zur Wirtschaftspädagogik und Personalentwicklung<br />

Band 8<br />

Autor des Band 8:<br />

Melanie Buichl, Dr. rer. pol., Diplom-Handelslehrerin<br />

Wissenschaftliche Mitarbeiterin am Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung<br />

der <strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg (Prof. Dr. Karl Wilbers)<br />

Texte zur Wirtschaftspädagogik und Personalentwicklung<br />

Hrsg. von Prof. Dr. Karl Wilbers<br />

Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung<br />

Fachbereich Wirtschaftswissenschaften<br />

Rechts- und Wirtschaftswissenschaftliche Fakultät<br />

<strong>Friedrich</strong>-<strong>Alexander</strong>-<strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg<br />

Lange Gasse 20<br />

D-90403 Nürnberg<br />

www.wirtschaftspaedagogik.de<br />

Information zu weiteren Bänden der Reihe:<br />

www.wirtschaftspaedagogik.de/texte/<br />

ISBN: 978-3-8440-0941-5<br />

ISSN: 1867–1365<br />

Layout und Satz:<br />

Werner Henning<br />

E-Mail: wernerhenning1@gmail.com<br />

Copyright Shaker Verlag 2012<br />

Alle Rechte, auch das des auszugsweisen Nachdruckes, der auszugsweisen oder vollständigen<br />

Wiedergabe, der Speicherung in Datenverarbeitungsanlagen und der Übersetzung vorbehalten.<br />

Printed in Germany<br />

Shaker Verlag GmbH | Postfach 101818 | 52018 Aachen<br />

Telefon: 02407 / 95 96 – 0 | Telefax: 02407 / 95 96 – 9<br />

Internet: www.shaker.de | E-Mail: info@shaker.de


Zum Geleit<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Seit Jahren werden international und auch in den verschiedenen Bundesländern Deutschlands Qua-<br />

litätsmanagementsysteme in beruflichen Schulen implementiert. Dahinter steht die Vorstellung, dass<br />

nicht nur das Bildungssystem selbst, sondern auch die einzelne Schule ein wichtiger Ansatzpunkt zur<br />

Gestaltung beruflicher Bildung ist. Das Qualitätsmanagement soll die Schule bei der systematischen<br />

Weiterentwicklung der Lern-, Lehr- und Arbeitsbedingungen in der Schule unterstützen.<br />

In den letzten Jahren haben sich verschiedene Qualitätsmanagementsysteme herausgebildet und<br />

etabliert. Diese kombinieren meist Formen interner und externer Evaluation: Bei einer internen<br />

Evaluation bestimmt die Schule selbst den Ablauf und die Instrumente der Evaluation. Typische<br />

Formen sind die Befragung der Ausbildungsbetriebe, der Auszubildenden oder der Lehrkräfte der<br />

Schule. Bei einer externen Evaluation erfolgt der Ablauf nach einem von der Schule nicht oder nur<br />

begrenzt gestaltbaren Ablauf. Typisch ist dabei, dass die Schule zunächst sich selbst und die für<br />

die Evaluation relevanten Aktivitäten in einem Selbstbericht beschreibt. Dieser Selbstbericht wird<br />

von einer Gruppe schulexterner Expertinnen und Experten studiert, die dann auf dieser Grundlage<br />

die Schule besuchen und dabei in Interviews und Beobachtungen ihre Einschätzung vertiefen. Die<br />

Gruppe fertigt dann einen Abschlussbericht an, der der Schule übergeben wird. Auf der Basis des<br />

Abschlussberichts sollen sich Entwicklungsaktivitäten in der Schule anschließen: Das Follow-Up.<br />

Die Autorin konzentriert sich auf diese typische Bruchstelle im Qualitätsmanagement. Nicht selten ist<br />

nämlich eine externe Evaluation so aufwändig, dass den Schulen ‚fast die Luft ausgeht‘, d. h. sie nach<br />

einer externen Evaluation nur zögerlich an die Aufarbeitung der Konsequenzen gehen.<br />

Externe Evaluationen sind mit einem hohen Aufwand verbunden, sowohl für die Schule als auch für<br />

externe Expertinnen und Experten. Ob sich dieser Aufwand lohnt, ist daher eine wichtige Frage, die<br />

das Zentrum der vorliegenden Arbeit ausmacht. Diese einfache Frage ist allerdings nur schwierig<br />

zu beantworten. Die Autorin wählt daher ein aufwändiges Design, das qualitative und quantitative<br />

Untersuchungselemente kombiniert. Als empirisches Feld wird das Peer Review in European VET<br />

gewählt, d. h. eine externe Evaluation, die in das Qualitätsmanagementsystem „Qualitätsinitiative<br />

Berufsbildung (QIBB)“ für berufliche Schulen in Österreich eingebunden ist.<br />

Die Untersuchung führt zu interessanten Ergebnissen zur Gestaltung des österreichischen Peer<br />

Review in European VET. Gleichzeitig werden die Ergebnisse – theoriegeleitet und sorgfältig kontrolliert<br />

– auf weitere Qualitätsmanagementsysteme übertragen. Die Arbeit stellt damit einen wichtigen<br />

Schritt zur Diskussion um die Wirksamkeit von Qualitätsmanagementsystemen in der beruflichen<br />

Bildung dar.<br />

Karl Wilbers, Februar 2012<br />

1


Inhaltsübersicht<br />

2<br />

Inhaltsübersicht<br />

Zum Geleit ............................................................................................................... 1<br />

Inhaltsübersicht ...................................................................................................... 2<br />

Inhaltsverzeichnis .................................................................................................. 3<br />

1. Hintergründe der Untersuchung .................................................................... 10<br />

1.1 Die Frage der Wirksamkeit von Qualitätsmanagementsystemen ..................................... 10<br />

1.2 Eingrenzung des Untersuchungsgegenstandes .................................................................. 10<br />

1.3 Ziel und Vorgehensweise bei der Untersuchung ..................................................................11<br />

2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext ....... 12<br />

2.1 Schulen im Wandel der Zeit ..................................................................................................... 12<br />

2.2 Evaluation als Teil des Qualitätsmanagements der Schule ............................................... 35<br />

2.3 Ausgewählte Qualitätsmanagementsysteme in Schulen ................................................... 46<br />

2.4 Wirksamkeit externer Evaluationen ....................................................................................... 88<br />

3. Empirisches Forschungsdesign ....................................................................112<br />

3.1 Kontext dieser Erhebung: Das Peer Review in European VET ..........................................112<br />

3.2 Anlage der Erhebung...............................................................................................................118<br />

4. Ergebnisse der Erhebung .............................................................................. 138<br />

4.1 Ergebnisse des quantitativen Erhebungsteils.................................................................... 138<br />

4.2 Ergebnisse des qualitativen Erhebungsteils ...................................................................... 148<br />

5. Empfehlungen zur Gestaltung externer Evaluationen .............................. 151<br />

5.1 Empfehlungen zur Gestaltung von Peer Review in QIBB (Pilotversuch) ........................ 151<br />

5.2 Weitere Empfehlungen zur Gestaltung externer Evaluationen ...................................... 158<br />

6. Zusammenfassung und Ausblick ................................................................. 176<br />

7. Anhang ............................................................................................................. 179


Inhaltsverzeichnis<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Zum Geleit ............................................................................................................... 1<br />

Inhaltsübersicht ...................................................................................................... 2<br />

Inhaltsverzeichnis .................................................................................................. 3<br />

1. Hintergründe der Untersuchung .................................................................... 10<br />

1.1 Die Frage der Wirksamkeit von Qualitätsmanagementsystemen ..................................... 10<br />

1.2 Eingrenzung des Untersuchungsgegenstandes .................................................................. 10<br />

1.3 Ziel und Vorgehensweise bei der Untersuchung ..................................................................11<br />

2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext ....... 12<br />

2.1 Schulen im Wandel der Zeit ..................................................................................................... 12<br />

2.1.1 Aktualität der Debatte um Qualität ............................................................................................12<br />

2.1.2 Die Bedeutung des Qualitätsmanagements .............................................................................14<br />

2.1.2.1 Begriffliche Definitionen .....................................................................................................14<br />

2.1.2.1.1 Qualität .........................................................................................................................14<br />

2.1.2.1.2 Qualitätsmanagement ................................................................................................ 18<br />

2.1.2.1.3 Schulentwicklung ....................................................................................................... 20<br />

2.1.2.2 Lernende Schule als Voraussetzung für Qualitätsmanagement ..................................... 22<br />

2.1.2.3 Qualitätsmanagement als Ergebnis von Veränderungen ............................................... 24<br />

2.1.2.4 Qualitätsmanagementsysteme in Schulen: Eine Übersicht ............................................. 26<br />

2.1.2.5 Bedeutsame Qualitätsmanagementsysteme ................................................................... 29<br />

2.1.2.5.1 DIN EN ISO Modell ..................................................................................................... 29<br />

2.1.2.5.2 EFQM-Modell ............................................................................................................. 32<br />

2.2 Evaluation als Teil des Qualitätsmanagements der Schule ............................................... 35<br />

2.2.1 Definition des Begriffs Evaluation ............................................................................................ 35<br />

3


Inhaltsverzeichnis<br />

4<br />

2.2.2 Typen der Evaluation ................................................................................................................ 37<br />

2.2.2.1 Formative versus summative Evaluation .......................................................................... 37<br />

2.2.2.2 Interne versus externe Evaluation .................................................................................... 37<br />

2.2.3 Externe Evaluation als Teil des Qualitätsmanagements der Schule ...................................... 39<br />

2.2.3.1 Bedeutung der Externen Evaluation als Teil des Qualitätsmanagements der Schule ... 39<br />

2.2.3.2 Hintergrund externer Evaluationen ................................................................................. 39<br />

2.2.3.3 Verlauf externer Evaluationen ........................................................................................... 40<br />

2.2.3.4 Ebenen externer Evaluationen ...........................................................................................41<br />

2.2.3.5 Funktionen, Ziele bzw. Wirkungsbereiche externer Evaluationen .................................. 42<br />

2.2.3.6 Referenzrahmen externer Evaluationen ........................................................................... 45<br />

2.3 Ausgewählte Qualitätsmanagementsysteme in Schulen ................................................... 46<br />

2.3.1 Q2E-basierte Qualitätsmanagementsysteme ......................................................................... 46<br />

2.3.1.1 Qualität durch Evaluation und Entwicklung (Q2E) ........................................................... 46<br />

2.3.1.1.1 Entwicklung und Ziele von Q2E .................................................................................. 46<br />

2.3.1.1.2 Das Modell Q2E .......................................................................................................... 47<br />

2.3.1.1.2.1 Das Qualitätsleitbild............................................................................................. 50<br />

2.3.1.1.2.2 Individualfeedback und persönliche Qualitätsentwicklung ............................... 52<br />

2.3.1.1.2.3 Selbstevaluation und Qualitätsentwicklung der Schule .................................... 52<br />

2.3.1.1.2.4 Steuerung der Q-Prozesse durch die Schulleitung ........................................... 54<br />

2.3.1.1.2.5 Externe Schulevaluation ..................................................................................... 54<br />

2.3.1.1.2.6 Die Q2E-Zertifizierung ......................................................................................... 56<br />

2.3.1.1.3 Grenzen und Schwierigkeiten des Q2E-Modells ....................................................... 56


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

2.3.1.2 Qualitätsmanagement an beruflichen Schulen (QmbS) .................................................. 57<br />

2.3.1.2.1 Entwicklung und Ziele von QmbS .............................................................................. 57<br />

2.3.1.2.2 Das Modell QmbS ...................................................................................................... 59<br />

2.3.1.2.2.1 Schulspezifisches Qualitätsverständnis ............................................................ 61<br />

2.3.1.2.2.2 Individualfeedback .............................................................................................. 63<br />

2.3.1.2.2.3 Interne Evaluation ............................................................................................... 64<br />

2.3.1.2.2.4 Steuerung der Qualitätsprozesse....................................................................... 64<br />

2.3.1.2.2.5 Externe Evaluation .............................................................................................. 66<br />

2.3.1.2.3 Grenzen und Schwierigkeiten des QmbS-Modells ................................................... 68<br />

2.3.1.3 Nürnberger Qualitätsmanagement an beruflichen Schulen (NQS) ................................. 70<br />

2.3.1.3.1 Entwicklung und Ziele von NQS ................................................................................ 70<br />

2.3.1.3.2 Das Modell NQS ......................................................................................................... 72<br />

2.3.1.3.2.1 Das Qualitätsleitbild ............................................................................................ 72<br />

2.3.1.3.2.2 Das Individualfeedback und persönliche Qualitätsentwicklung ....................... 73<br />

2.3.1.3.2.3 Selbstevaluation der Schule ............................................................................... 73<br />

2.3.1.3.2.4 Die Steuerung der NQS-Prozesse ..................................................................... 73<br />

2.3.1.3.2.5 Externe Schulevaluation ..................................................................................... 77<br />

2.3.1.3.3 Grenzen und Schwierigkeiten des NQS-Modells ..................................................... 81<br />

2.3.2 Die Qualitätsinitiative Berufsbildung (QIBB) ........................................................................... 83<br />

2.3.2.1 Das Modell QIBB ............................................................................................................... 83<br />

2.3.2.2 Entstehung des Peer Reviews .......................................................................................... 84<br />

2.3.2.3 Ziele des Peer Review ....................................................................................................... 84<br />

5


Inhaltsverzeichnis<br />

6<br />

2.3.2.4 Phasen des Peer Reviews ................................................................................................ 85<br />

2.3.2.4.1 Erste Phase: Vorbereitung ......................................................................................... 85<br />

2.3.2.4.2 Zweite Phase: Peer Besuch....................................................................................... 86<br />

2.3.2.4.3 Dritte Phase: Peer Review Bericht ............................................................................ 86<br />

2.3.2.4.4 Vierte Phase: Umsetzung von Maßnahmen .............................................................. 87<br />

2.3.2.5 Pilotversuch an berufsbildenden Schulen im Rahmen der österreichischen Qualitätsini-<br />

tiative Berufsbildung (QIBB) ..................................................................................................... 88<br />

2.4 Wirksamkeit externer Evaluationen ....................................................................................... 88<br />

2.4.1 Definition des Begriffs Wirksamkeit ......................................................................................... 88<br />

2.4.2 Modelle zur Wirksamkeit externer Evaluationen ..................................................................... 90<br />

2.4.3 Empirische Untersuchungen zur Wirksamkeit externer Evaluationen ................................... 96<br />

2.4.4 Wirksamkeit externer Evaluation von Schulen: Zugrundegelegtes Modell...........................101<br />

2.4.4.1 Das Modell der Wirksamkeitsanalyse externer Evaluation in der Übersicht .................101<br />

2.4.4.2 Detaillierung der Untersuchungsebenen ....................................................................... 104<br />

2.4.4.2.1 Die erste Ebene: Zufriedenheit mit der externen Evaluation .................................. 104<br />

2.4.4.2.2 Die zweite Ebene: Schulische Innovationen als Folge der externen Evaluation ... 104<br />

2.4.4.2.3 Die dritte Ebene: Änderung des Outputs der Institution in Folge der externen<br />

Evaluation .............................................................................................................................110<br />

2.4.4.2.4 Die vierte Ebene: Änderung des Outcome der Institution in Folge der externen<br />

Evaluation .............................................................................................................................110<br />

2.4.4.2.5 Die fünfte Ebene: Return on Investment .................................................................110<br />

3. Empirisches Forschungsdesign ....................................................................112<br />

3.1 Kontext dieser Erhebung: Das Peer Review in European VET ..........................................112<br />

3.1.1 Wirkungsbereich des Peer Review in European VET .............................................................112<br />

3.1.2 Ziel der Erhebung ....................................................................................................................113<br />

3.1.3 Quantitative und qualitative Forschung ..................................................................................114


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

3.1.4 Forschungsrahmen ..................................................................................................................115<br />

3.1.5 Forschungsfragen....................................................................................................................117<br />

3.2 Anlage der Erhebung...............................................................................................................118<br />

3.2.1 Der Pretest ...............................................................................................................................119<br />

3.2.2 Der quantitative Erhebungsteil ...............................................................................................119<br />

3.2.2.1 Erhebungsziele des quantitativen Teils ...........................................................................119<br />

3.2.2.2 Auswahl der Schulen .......................................................................................................119<br />

3.2.2.3 Datenerhebung und -auswertung .................................................................................. 120<br />

3.2.2.3.1 Quantitative Befragung des erweiterten Qualitätsteams ....................................... 120<br />

3.2.2.3.2 Quantitative Befragung der Lehrkräfte ....................................................................121<br />

3.2.2.3.2.1 Übersicht ............................................................................................................121<br />

3.2.2.3.2.2 Messung der Stages of Concern und der Levels of Use ................................ 122<br />

3.2.2.3.2.2.1 Messung der Stages of Concern............................................................. 122<br />

3.2.2.3.2.2.2 Messung der Levels of Use ..................................................................... 123<br />

3.2.2.3.2.2.3 Auswertung der Daten zu den Stages of Concern und den Levels of Use .<br />

125<br />

3.2.2.3.2.3 Erfassung der Einschätzung zu den Lernleistungen (output) ......................... 132<br />

3.2.2.3.2.4 Einschätzung der Wirtschaftlichkeit (ROI) ....................................................... 132<br />

3.2.3 Der qualitative Erhebungsteil ................................................................................................. 133<br />

3.2.3.1 Erhebungsziele des qualitativen Teils ............................................................................ 133<br />

3.2.3.2 Auswahl der Schulen ...................................................................................................... 133<br />

3.2.3.3 Datenerhebung und -auswertung .................................................................................. 134<br />

3.2.4 Kombination quantitativer und qualitativer Forschung ......................................................... 136<br />

7


Inhaltsverzeichnis<br />

8<br />

4. Ergebnisse der Erhebung .............................................................................. 138<br />

4.1 Ergebnisse des quantitativen Erhebungsteils.................................................................... 138<br />

4.1.1 Ablauf der quantitativen Erhebungen..................................................................................... 138<br />

4.1.2 Ergebnisse zu den einzelnen Erhebungsebenen .................................................................. 138<br />

4.1.2.1 Erste Ebene (Reaktion): Die Zufriedenheit mit der externen Evaluation ........................ 138<br />

4.1.2.2 Zweite Ebene: schulische Innovationen als Folge der externen Evaluation.................. 143<br />

4.1.2.3 Dritte Ebene (Output): Änderung des Outputs der Institution in Folge der externen<br />

Evaluation ................................................................................................................................ 145<br />

4.1.2.4 Vierte Ebene (Outcome): Resultate der Änderung des Outcome der Institution in Folge<br />

der externen Evaluation .......................................................................................................... 146<br />

4.1.2.5 Fünfte Ebene (Return on Investment): Return on Investment der externen Evaluation 146<br />

4.2 Ergebnisse des qualitativen Erhebungsteils ...................................................................... 148<br />

4.2.1 Ablauf der qualitativen Erhebung........................................................................................... 148<br />

4.2.2 Ergebnisse der qualitativen Erhebung .................................................................................. 148<br />

5. Empfehlungen zur Gestaltung externer Evaluationen .............................. 151<br />

5.1 Empfehlungen zur Gestaltung von Peer Review in QIBB (Pilotversuch) ........................ 151<br />

5.1.1 Empfehlungen zu den einzelnen Phasen des Peer Reviews ..................................................151<br />

5.1.1.1 Empfehlungen für die erste Phase des Peer Reviews .....................................................151<br />

5.1.1.2 Empfehlungen für die zweite Phase des Peer Reviews .................................................. 152<br />

5.1.1.3 Empfehlungen für die dritte Phase des Peer Reviews.................................................... 153<br />

5.1.1.4 Empfehlungen für die vierte Phase des Peer Reviews ................................................... 153<br />

5.1.2 Stärken und Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens ..................... 156<br />

5.1.2.1 Stärken des Peer Review Verfahrens .............................................................................. 156<br />

5.1.2.2 Konzeptionelle Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens ......... 156<br />

5.1.3 Empfehlungen zur Weiterentwicklung für die teilnehmenden Schulen .................................157


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

5.2 Weitere Empfehlungen zur Gestaltung externer Evaluationen ...................................... 158<br />

5.2.1 Allgemeine Empfehlungen zur Gestaltung externer Evaluationen aufgrund der Erfahrungen<br />

aus dem Peer Review .................................................................................................................. 158<br />

5.2.2 Spezielle Empfehlungen zur Gestaltung externer Evaluationen aufgrund der Übertragung<br />

der Ergebnisse aus dem Peer Review ........................................................................................ 160<br />

5.2.2.1 Methodik der Übertragung auf Basis der vorliegenden Ergebnisse ............................. 160<br />

5.2.2.2 Kriterienorientierte Gegenüberstellung externer Evaluationen in der BRD und in<br />

ausgewählten Systemen ......................................................................................................... 162<br />

5.2.2.3 Gestaltungsvorschläge für externe Evaluationen in der BRD und in ausgewählten<br />

Systemen ..................................................................................................................................172<br />

6. Zusammenfassung und Ausblick ................................................................. 176<br />

7. Anhang ............................................................................................................. 179<br />

7.1 Literaturverzeichnis ................................................................................................................ 179<br />

7.2 Abbildungsverzeichnis ........................................................................................................... 191<br />

7.3 Tabellenverzeichnis ................................................................................................................ 193<br />

7.4 Abkürzungen ............................................................................................................................ 194<br />

7.5 Footnotes ................................................................................................................................. 195<br />

9


1. Hintergründe der Untersuchung<br />

10<br />

1. Hintergründe der Untersuchung<br />

1.1 Die Frage der Wirksamkeit von Qualitätsmanagementsystemen<br />

In außerschulischen Einrichtungen wird die Frage nach der Wirksamkeit von Qualitätsmanage-<br />

mentsystemen bereits seit längerem diskutiert. So bezieht sich beispielsweise die Konzeption<br />

von ISO 9001 auf die „[...] Verbesserung der Wirksamkeit eines Qualitätsmanagementsystems, um<br />

die Kundenzufriedenheit durch die Erfüllung der Kundenforderungen zu erhöhen (DIN Deutsches<br />

Institut für Normung e. V., 2008, S. 6). In schulischen Organisationen werden die Diskussionen<br />

zum Qualitätsmanagement in den nächsten Jahren noch weiter an Bedeutung gewinnen (Kempfert<br />

et al., 2008, S. 7). Offen blieb bislang insbesondere die Frage hinsichtlich der Wirksamkeit von<br />

Qualitätsmanagementsystemen in Bildungseinrichtungen. Dieser Aspekt war bislang noch nicht<br />

Inhalt bildungspolitischer Debatten, obwohl bereits erste Erkenntnisse vorliegen und Folgen von<br />

Evaluationen den Fokus empirischer Untersuchungen bilden.<br />

1.2 Eingrenzung des Untersuchungsgegenstandes<br />

Die externe Evaluation ist Teil eines ganzheitlichen Qualitätsmanagements an Schulen (vgl. 2.2.3;<br />

Brägger et al., 2005, S. 36). Die Frage hinsichtlich der Wirksamkeit dieser Verfahren kann trotz einer<br />

Fülle an Studien in diesem Gebiet nicht abschließend beantwortet werden (vgl. 2.4.3; Husfeldt,<br />

2011, S. 13). Döbert et al. konstatieren, dass hinsichtlich der externen Evaluation viele Informationen<br />

notwendig sind, um eine Antwort darauf zu erhalten, ob externe Evaluationen wirksam sind bzw.<br />

wie deren Vorzüge und Nachteile aussehen (Döbert et al., 2008, S. 150). Derzeit ist eine verstärkte<br />

Auseinandersetzung mit dem Thema der Wirksamkeit von externen Evaluationen erkennbar. So<br />

ist beispielsweise in diesem Jahr ein Sammelwerk mit dem Titel „Wirkungen und Wirksamkeit der<br />

externen Evaluation“ herausgegeben worden, das auf der Basis einer Tagung entstanden ist, die im<br />

Juli 2010 gemeinsam von der der Arbeitsgemeinschaft Externer Evaluationen von Schulen (ARGEV),<br />

der Pädagogischen Hochschule der Fachhochschule Nordwestschweiz und dem Forum Bildung in<br />

Baden durchgeführt wurde. Darüber hinaus beschäftigte sich die Frühjahrstagung 2011 des Arbeitskreises<br />

Schule der DeGEval (Gesellschaft für Evaluation) mit dem Thema der wirkungsorientierten<br />

Steuerung von Schulentwicklung durch Qualitätsmanagement, externe und interne Evaluation. Eine<br />

zunehmende Fokussierung des Themas ist derzeit ersichtlich. Vor diesem Hintergrund stellt diese<br />

wissenschaftliche Arbeit eine Wirksamkeitsanalyse vor, die den Nutzen von externen Evaluationen<br />

in das Zentrum der Untersuchung stellt. Dabei werden folgende Schwerpunkte gesetzt (vgl. 2.4.4):<br />

• Zufriedenheit der Betroffenen mit der externen Evaluation<br />

• Schulische Innovationen als Folge der externen Evaluation<br />

• Änderung des Outputs der Institution in Folge der externen Evaluation<br />

• Resultate der Änderung des Outcome der Institution in Folge der externen Evaluation<br />

• Return on Investment der externen Evaluation.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Die Auswirkungen von externen Evaluationen auf andere Komponenten eines Qualitätsmanagement-<br />

systems, wie beispielsweise die Steuerung von Qualitätsprozessen, werden in diesem Zusammen-<br />

hang nicht näher beleuchtet.<br />

1.3 Ziel und Vorgehensweise bei der Untersuchung<br />

Externe Evaluationen verfolgen das Ziel, die Qualität einer Bildungseinrichtung zu sichern und zu<br />

erhöhen (vgl. 2.2.3.1). Letztendlich ist dieser Anspruch mit weitreichenden Veränderungen und Folgemaßnahmen<br />

innerhalb einer Schule verbunden, die insgesamt eine qualitative Verbesserung in<br />

den jeweiligen Bereichen der Organisation erwirken sollen. Grundsätzlich stellt sich hier die zentrale<br />

Frage, wie die Wirksamkeit von externen Evaluationen erhöht werden kann und wie die bestehenden<br />

Verfahren weiterentwickelt werden können.<br />

Aus diesem Grund erfolgt zunächst in Kapitel 2 eine Einordnung von Qualitätsmanagement in schulischen<br />

Einrichtungen und Beschreibung zentraler Qualitätsmanagementsysteme. Auch die Aspekte<br />

von externen Evaluationen als Teil des Qualitätsmanagements der Schule, wie beispielswiese<br />

deren Bedeutung, Hintergrund oder Funktionen werden näher erläutert (vgl. 2.2). Mit Blick auf den<br />

zugrundeliegenden Untersuchungsgegenstand erfolgt eine Darlegung bereits entwickelter Modelle<br />

zur Untersuchung der Wirksamkeit externer Evaluationen sowie eine Übersicht der Ergebnisse von<br />

bereits durchgeführten empirischen Studien (vgl. 2.4).<br />

Der Forschungsprozess (vgl. 3.2) der hier zugrunde liegenden Wirksamkeitsuntersuchung ist in drei<br />

Phasen untergliedert. Zunächst werden auf der Basis der Erfahrungen des Pretests alle Personen mit<br />

direktem Bezug zum Verfahren befragt (vgl. 3.2.2.3.1), um Rückmeldungen über vorhandene Probleme<br />

bei der Durchführung der externen Evaluation zu erhalten. Ein weiterer Untersuchungsschritt<br />

bindet alle Lehrkräfte der Pilotschulen ein und dient dazu, die Adaptierung von Maßnahmen einschätzen<br />

zu können (vgl. 3.2.2.3.2). Diese Ergebnisse bilden die Basis für die Auswahl von Pilotschulen,<br />

die anschließend qualitativ untersucht werden (vgl. 3.2.3), um weitergehende Erkenntnisse und<br />

Verbesserungsvorschläge für die Optimierung externer Evaluationen zu erhalten (vgl. 4) und diese in<br />

weitere Empfehlungen einarbeiten zu können (vgl. 5). Auf der Basis vorliegender Ergebnisse werden<br />

zunächst Empfehlungen für das European Peer Review abgeleitet, das anhand der Erfahrungen<br />

der österreichischen Pilotstudie untersucht wurde (vgl. 5.1). Eine anschließende kriterienorientierte<br />

Gegenüberstellung externer Evaluationen ermöglicht eine Übertragung der Änderungsvorschläge<br />

auf weitere externe Verfahren (vgl. 5.2).<br />

11


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

12<br />

2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

2.1 Schulen im Wandel der Zeit<br />

2.1.1 Aktualität der Debatte um Qualität<br />

Die Debatte um die Qualität von Schulen und deren Weiterentwicklung ist nicht neu. Bis Ende der<br />

70er Jahre ist dieser Prozess allerdings eher verdeckt und unbewusst abgelaufen. Dabei stand die<br />

Hoffnung im Vordergrund, „[...] dass veränderte Schulstrukturen nicht nur zu mehr Chancengleichheit,<br />

sondern auch zu verändertem Unterricht führen [...]“ (Wenzel, 2004, S. 391). Im folgenden<br />

Jahrzehnt stand erstmalig die Frage nach der ‚Qualität‘ von Bildungseinrichtungen im Raum. In<br />

diesem Zusammenhang wurden zahlreiche notwendige Bestimmungsfaktoren diskutiert, die eine<br />

gute Schule, einen guten Unterricht oder eine gute Lehrkraft begründen (Temme, 2002, S. 8), um<br />

nur einen kleinen Auszug zu nennen. Daraufhin wurde deutlich, dass die Reformbewegungen der<br />

70er und 80er Jahre wenig Erfolg erzielten, da überarbeitete Lehrpläne oder Rahmenrichtlinien den<br />

Unterricht in Bezug auf Inhalt und Methoden nur geringfügig veränderten. Dies fokussierte den Blick<br />

auf den Prozess einzelschulspezifischer Entwicklungsstrategien, der inzwischen weit fortgeschritten<br />

ist (Wenzel, 2004, S. 392).<br />

Die Frage nach ‚guten Schulen‘ beschäftigte die Bundesländer der Bundesrepublik Deutschland<br />

auch schon vor dem ‚PISA-Schock-Jahr 2002‘, wobei internationale Leistungserhebungen die<br />

Aspekte wie Schulqualität und Schülerleistungen noch weiter in den Vordergrund rückten und zu<br />

einer Entwicklung der sog. ‚school-effectivness-Forschung‘ führten. Hierfür bildeten Begriffe wie<br />

Schulethos, Schulklima, Schulgeist oder auch Schulkultur die Basis für einen merkmalsbasierten<br />

Qualitätsunterschied zwischen einzelnen Schulen. Diese ermittelten Merkmale wurden in eine<br />

innere Schulreform integriert und als normative Orientierung verstanden. Die Konsequenzen aus der<br />

‚school-effectivness-Forschung‘ wurden durch organisationstheoretische Erkenntnisse unterstützt,<br />

die eine zentrale Steuerung pädagogischer Einrichtungen anhand administrativer Maßnahmen als<br />

beinahe ungeeignet einschätzten. Anschließende Kritik bezog sich auf die Ansätze, die Organisationen<br />

als Bürokratien betrachtet. Im Ergebnis sehen die neuere Organisationstheorie und die Resultate<br />

der empirischen Schulforschung eine differenzierte Unterscheidung an Qualitätsmerkmalen einzelner<br />

Schulen vor, wobei die Einzelschule die Basis der Schulentwicklung bilden sollte (Wenzel, 2004,<br />

S. 393 ff.). Dadurch ist der Anspruch an Qualitätsentwicklung und -sicherung umfassender geworden<br />

(Schratz, Iby & Radnitzky, 2000, S. 9) und die Betrachtung der Schule als Ganzes rückte während<br />

der ‚neuen‘ Qualitätsdiskussion weiter in den Fokus (Maritz et al., 2006, S. 17). In den 90er Jahren<br />

ist diese Dynamik systematisiert worden, in dem den Einzelschulen eine erweiterte Verantwortung<br />

zugesprochen wurde (Wenzel, 2004, S. 395), um mehr Spielraum innerhalb der Qualitätsdebatte<br />

zu erhalten. Die Eigenverantwortung bezieht sich insbesondere auf die Bereiche der Personal- und<br />

Finanzverwaltung sowie auf die Gestaltung pädagogischer Konzepte (Bräu, 2009, S. 316). Spaenle<br />

erläutert, dass „[...] mehr Freiheit und mehr Eigenverantwortung für die einzelnen Schulen die Qualität<br />

der Bildung der jungen Leute [erhöht]. Durch ein System der systematischen Qualitätsförderung,


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

eines Qualitätsmanagements, wurden bei einem Schulversuch an beruflichen Schulen die Motivation<br />

und Kreativität der Schüler und Lehrkräfte gesteigert und nachhaltig mehr Bildungserfolge an der<br />

gesamten Schule generiert“ (Pressemitteilung des Bayerischen Staatsministeriums für Unterricht<br />

und Kultus, 2009, S. 10).<br />

Diese Entwicklung beschreibt eine Umorientierung der Bildungspolitik, indem Schulen mehr Autonomie<br />

erhalten, die allerdings gleichzeitig mit einer erhöhten Rechenschaftspflicht verbunden ist<br />

(Maritzen, 1998, S. 632). Der schulische Handlungsspielraum wird insoweit begrenzt, da für die<br />

jeweiligen Schulen Bildungsstandards als Rahmenvorgabe eingeführt wurden. Dennoch ergeben<br />

sich für die Bildungseinrichtungen eigene Handlungs- und Gestaltungsmöglichkeiten, da die Definition<br />

von Rahmenbedingungen den Staat aus seiner direkten Kontrollfunktion entbindet. Die Schulen<br />

gewinnen so an Autonomie, wodurch die notwendigen Selbstbestimmungsmöglichkeiten für eine<br />

Schul- und Qualitätsentwicklung geschaffen werden (Rützel & Basel, 2006, S. 10 ff.).<br />

Diese umfassenden Veränderungen rücken das Thema ‚Qualität‘ auch zunehmend in den Fokus der<br />

Öffentlichkeit. Eine Bildungseinrichtung sollte auf Veränderungen gesellschaftlicher Bedingungen<br />

oder Situationen durch entsprechende interne Maßnahmen angemessen reagieren können, indem<br />

auf Grund- und Vorkenntnisse der SchülerInnen (Inputqualität) bzw. veränderte Anforderungen in<br />

der Berufswelt (Outputqualität) durch entsprechende Reaktionen innerhalb der Bildungseinrichtung<br />

(Prozessqualität Schule und Unterricht) eingegangen wird (Dubs, 2005, S. 205 f.). Das Ergebnis<br />

ist eine kontinuierliche Schulentwicklung, die durch veränderte Rahmenbedingungen und einer<br />

Weiterentwicklung der beteiligten Akteure als fortlaufender und kontinuierlicher Entwicklungs- bzw.<br />

Verbesserungsprozess bezeichnet werden kann.<br />

In den letzten Jahren wurden verschiedenste Tagungen zum Thema Qualität einberufen. So auch die<br />

15. Hochschultage Berufliche Bildung 2008, die sich mit ‚Qualität in Schule und Betrieb‘ beschäftigten<br />

und in diesem Bereich vielfältige Ergebnisse liefern (Bals, Hegmann & Wilbers, 2009). FuSSStetter<br />

erläutert beispielsweise in seinem Vortrag, dass noch kein gemeinsames Verständnis zu guter Schule<br />

und gutem Unterricht vorliegt (Fußstetter, 14. März 2008, S. 2). WilberS verdeutlicht hierbei, dass<br />

Qualitätsmanagement die Antwort auf die Suche nach einer ‚neuen‘ Steuerung von Schulen ist,<br />

um Bildungseinrichtungen einerseits mit mehr Autonomie auszustatten, die andererseits aber eine<br />

höhere Rechenschaftspflicht impliziert (Wilbers, 2008, S. 48).<br />

Seit etwa einem Jahrzehnt genießt das Thema ‚Qualität‘ im Bildungswesen eine hohe Aktualität. Gonon<br />

et al. haben für diese Entwicklung einige Gründe aufgeführt, indem u. a. ein beschleunigter gesellschaftlicher<br />

Wandel, der Abbau von staatlicher Autorität, die Schwierigkeit einer zentralen Steuerung<br />

in komplexen Systemen, Bildung als Wettbewerbsfaktor sowie zunehmende Leistungs- und Qualitätsansprüche<br />

genannt werden (Gonon, 2001, S. 9 ff.). Aber auch globale Veränderungen erfordern eine<br />

fundierte Weiterentwicklung schulischer Bildungseinrichtungen (Rahm, 2010, S. 109). In Anbetracht<br />

einer strategischen und routinierten Weiterentwicklung einer pädagogischen Organisation, deren<br />

Rahmenbedingungen sowie deren Akteure sollte die Diskussion um das Thema ‚Qualität‘ nie enden,<br />

da diese letztendlich eine stetige Qualitätsentwicklung durch eine Synchronisation von Ansichtsweisen<br />

und Einstellungen eine Weiterentwicklung der Beteiligten und der Bildungseinrichtung selbst fördert.<br />

13


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

14<br />

2.1.2 Die Bedeutung des Qualitätsmanagements<br />

2.1.2.1 Begriffliche Definitionen<br />

2.1.2.1.1 Qualität<br />

Im Folgenden wird der Begriff ‚Qualität‘ für die vorliegende Arbeit konkretisiert. In diesem Zusammenhang<br />

werden zunächst einige Definitionen auf der Basis verschiedener Autoren und verbreiteter<br />

Qualitätsmanagementsysteme dargelegt, um einen Überblick zu erzielen. Des Weiteren werden<br />

relevante Eckpunkte skizziert, die diesbezüglich für Bildungseinrichtungen von Bedeutung sind.<br />

Der Fokus der Erläuterungen bezieht sich auf das Peer Review in European VET, das den Kontext<br />

der vorliegenden Erhebung bildet (vgl. 3.1). Hierbei wird die vorhandene Begriffsdefinition feiner<br />

untergliedert und anschließend erweitert.<br />

Der Begriff ‚Qualität‘ hat seinen Ursprung in der lateinischen Sprache und wurde von dem Wort ‚qualitas‘<br />

abgeleitet, das für Beschaffenheit, Güte und Werthaltigkeit steht (Kempfert et al., 2008, S. 11).<br />

Zu dem Begriff ‚Qualität‘ gibt es in der Literatur eine Vielzahl von Definitionen, da er in nahezu allen<br />

Bereichen der Wissenschaft, insbesondere in allen Bereichen des täglichen Lebens, verwendet wird.<br />

Eine häufig zitierte Definition ist die DIN EN ISO (vgl. 2.1.2.5.1), eine europäische Normenreihe, die<br />

Grundlagen und Begriffe für Maßnahmen zum Qualitätsmanagement durch die internationale Organisation<br />

für Standardisierung sowie auf nationaler Ebene durch das Deutsche Institut für Normung<br />

festlegt. In der Norm 9000:2005 wird ‚Qualität‘ als „Grad, in dem ein Satz inhärenter Merkmale<br />

Anforderungen erfüllt“ (S. 18), definiert. Qualität bedeutet also, in welchem Maße ein Produkt (Ware<br />

oder Dienstleistung) den bestehenden Anforderungen entspricht, die anhand objektiv messbarer<br />

Merkmale ermittelt werden können (S. 18 f.). Durch die Definition einer Zielgruppe und die Ermittlung<br />

des subjektiven Empfindens dieser Zielgruppe wird ein inhärentes Merkmal definiert, das somit als<br />

messbarer Bestandteil der Qualität gilt (Schmidt, 26.11.2010, S. 2). Die vorgenannte Definition basiert<br />

auf der Annahme, Qualität an bestimmten Merkmalen und Anforderungen deklarieren zu können.<br />

Die Konkretisierung von Anforderungen übernehmen in den Bereichen Wirtschaft und Verwaltung<br />

vor allem Personen, die eine Kundenperspektive repräsentieren. Fraglich ist nun, wer im Bildungsbereich<br />

als Kunde zu definieren ist. Denkbar wäre, hierunter die SchülerInnen zu subsumieren.<br />

„Aber die Schülerinnen und Schüler sind nicht Kunden, »sondern Koproduzenten des Lernens«,<br />

und sie bestimmen auch nicht die Anforderungen“ (Kempfert et al., 2008, S. 11). Nach rolFF sind die<br />

Anforderungen an eine Bildungseinrichtung in folgenden Eckpunkten verankert:<br />

• „staatliche Lehrpläne, neuerdings Bildungsstandards<br />

• gesellschaftliche und wirtschaftliche Erwartungen<br />

• der Wissenschaft<br />

• der Bildungs- und Erziehungstheorie und<br />

• dem Leitbild/Schulprogramm“ (Rolff, 28./29. August 2009, S. 10).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

bohlinGer beschreibt Qualität als eine deskriptive Entität, die einem Gegenstand zuzuschreiben<br />

ist (Bohlinger & Münk, 2009, S. 127), wobei diese technische Definition nur begrenzt auf Bildungs-<br />

einrichtungen übertragen werden kann, da Schüler eben keine Produkte sondern Individuen sind<br />

und die Lehrkräfte entsprechende Bildungsaufträge umzusetzen haben. Qualität in der Schule ist<br />

vielmehr als „[...] Ergebnis eines sozialen Aushandlungsprozesses [zu betrachten]“ (Bohlinger et al.,<br />

2009, S. 127), in dem eine zielgerichtete Verbesserung von Schule und Unterricht durch die Institution<br />

selbst und deren beteiligten Akteuren entsteht, indem unter Berücksichtigung der oben aufgeführten<br />

Anforderungen die Einzelschule in den Fokus der Betrachtung gestellt wird. SteFFenS bezeichnet<br />

Schulqualität als ein Ergebnis, „[...] das auf der Handlungsebene der einzelnen Schule entsteht“ (Steffens,<br />

2007, S. 27 ff.). Qualität ist dabei „[...] nie eine stabile, dem Objekt »an sich« zukommende, sondern<br />

eine auf einer implizierten oder explizierten Beurteilung beruhende zugeschriebene Eigenschaft<br />

oder Eigenschaftskombination und insofern immer beobachter- bzw. beurteilerrelativ» (Terhart,<br />

2000, S. 814, 815). Nach der Schweizerischen Konferenz der kantonalen Erziehungsdirektoren wird<br />

Schulqualität erzielt, «[...] wenn motivierte Lehrkräfte und Lernende in einer gut geführten und sinnvoll<br />

organisierten Institution gute Lehr- und Lernleistungen erbringen» (Schweizerische Konferenz der<br />

kantonalen Erziehungsdirektoren, 2008, S. 10).<br />

Vor diesem Hintergrund wundert es nicht, dass das Wort ‹Qualität› in der Diskussion sehr unterschiedlich<br />

verwendet wird. Das Europäische Peer Review für die berufliche Erstausbildung ist<br />

beispielsweise als externe Evaluation in das Qualitätsmanagementsystem QIBB eingebunden (vgl.<br />

2.3.2) und bezeichnet ‹Qualität› als allgemeinen Begriff, der kontextabhängig ist, d. h. «der konkrete<br />

Kontext muss bekannt sein, um Qualität zu definieren» (Gutknecht-Gmeiner & Österreichisches Institut<br />

für Berufsbildungsforschung, 2007, S. 34). Qualität wird hierbei als Quotient zwischen «Erfahrung<br />

(Wirklichkeit) und Erwartungen (Ziele)» betrachtet (Gutknecht-Gmeiner et al., 2007, S. 34). Qualität ist<br />

also ein Ergebnis aus dem Vergleich von Realität und den gesetzten Zielen einer Bildungseinrichtung.<br />

Es stellt sich nun die Frage, wie Dividend (Wirklichkeit) und Divisor (Ziele) ermittelt werden können.<br />

Die ‹Wirklichkeit›, also der aktuelle Zustand der Bildungseinrichtung, betrifft insbesondere das<br />

Agieren aller Akteure in Prozessen, Verfahren, Abläufen und Situationen im Schulalltag. Beteiligte<br />

Personen können in diesem Zusammenhang Lehrkräfte, Schulleitung, SchülerInnen, Eltern, Ausbildungsbetriebe<br />

und andere schulspezifische Statusgruppen sein, die mit der Bildungseinrichtung<br />

verbunden sind. Eine Erfassung dieser Meinungen kann im Rahmen eines funktionierenden Qualitätsmanagementsystems<br />

durch Evaluationen in Form von Rückmeldungen durch die Akteure an die<br />

Schule als Ganzes (Ist-Aussagen) erfolgen. Im Rahmen von QIBB, dem Qualitätsmanagementsystem<br />

für berufsbildende Schulen in Österreich (vgl. 2.3.2), existieren im Bereich der ‹Ziele› folgende Anforderungen<br />

an die Bildungseinrichtung (Bundesministerium für Unterricht, 2011, S. 3):<br />

• Leitbild der Sektion II Berufsbildung, die für die Verwaltung und Weiterentwicklung des berufsbildenden<br />

Schulwesens zuständig ist<br />

• Leitbild der Schulart<br />

• Qualitätsmatrix, die Schlüsselprozesse, lang- und mittelfristige Ziele, Umsetzungsmaßnahmen,<br />

Ergebnisse, Indikatoren und Evaluierungsmethoden enthält<br />

15


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

16<br />

• Basisübereinstimmung hinsichtlich Schulprogramm, Management & Performance Review und<br />

der Evaluationsinstrumente<br />

• eine abgestimmte Unterstützung durch die Pädagogischen Institute.<br />

Diese Eckpunkte bilden für die berufsbildenden Schulen in Österreich die Basis für ein schulinternes<br />

Leitbild bzw. Schulprogramm, in dem die Schule eigene Werte, Normen und Standards (Soll-<br />

Aussagen) sowie Qualitätsansprüche definiert. Somit sind auch auf dieser Ebene die o. g. Akteure<br />

beteiligt, da die beteiligten Statusgruppen die Ziele der Bildungseinrichtung definieren und das<br />

weitere Vorgehen in der Schulentwicklung bestimmen. Die Qualität einer Bildungseinrichtung ist also<br />

unmittelbar mit der Qualität der Akteure und der Qualität der Ziele verbunden.<br />

Überträgt man die Formel (Gutknecht-Gmeiner et al., 2007, S. 34)<br />

in ein funktionierendes Qualitätsmanagementsystem, so wird der mathematisch ausgedrückte<br />

Wert 1 nie erzielt werden können, da eine ständige Weiterentwicklung der Ziele auf Basis der o. g.<br />

Anforderungen an Qualität, beispielsweise infolge veränderter gesellschaftlicher und wirtschaftlicher<br />

Erwartungen oder wissenschaftlicher Erkenntnisse, eine fortwährende Diskrepanz zwischen<br />

Wirklichkeit und Ziele bedeutet. Diese Aussage trifft allerdings nur zu, sofern Wirklichkeit und Ziele<br />

zu einem gleichen Zeitpunkt betrachtet werden. Qualität ist also ein ‚dynamischer Begriff‘, da seine<br />

Definition durch eine permanente Entwicklung des schuleigenen Verständnisses nicht über Jahre<br />

hinweg unverändert bleiben kann.<br />

Bezüglich der ‚Ziele‘ können auf nationaler Ebene bildungspolitische Ziele und Lehrpläne genannt<br />

werden. Übergreifend gilt der europäische Qualifikationsrahmen (EQR), der berufliche Qualifikationen<br />

und Kompetenzen in Europa vergleichbarer machen soll. Darüber hinaus dient der Common<br />

Quality Assurance Framework (CQAF) „[...] den Mitgliedsstaaten als Referenz bei der Entwicklung<br />

und der Reform von Qualitätssystemen in der beruflichen Bildung und basiert auf den Grundprinzipien<br />

der wichtigsten Qualitätssicherungsmodelle“ (Bundesinstitut für Berufsbildung, 01.01.2011).<br />

Daneben existiert der Europäische Bezugsrahmen für die Qualitätssicherung in der beruflichen Ausund<br />

Weiterbildung (EQARF), der „[...] die Mitgliedstaaten dabei unterstützen soll, die kontinuierliche<br />

Verbesserung ihrer Berufsbildungssysteme mittels gemeinsamer europäischer Bezugsgrößen zu<br />

fördern und zu beobachten. Zu den wesentlichen Zielen, die mit dem EQARF verfolgt werden, gehören<br />

die Steigerung der Qualität der Berufsbildung und die Schaffung von Transparenz und Kohärenz<br />

sowie gegenseitigem Vertrauen zwischen den Mitgliedstaaten“ (Bundesinstitut für Berufsbildung,<br />

01.01.2011). Die im Verlauf genannten Eckpunkte bilden die Basis für ein schulinternes Leitbild bzw.<br />

Schulprogramm, in dem die Schule eigene Werte, Normen und Standards (Soll-Aussagen) sowie<br />

Qualitätsansprüche definiert. Somit sind auch auf dieser Ebene die o. g. Akteure beteiligt, da die<br />

beteiligten Statusgruppen die Ziele der Bildungseinrichtung definieren und das weitere Vorgehen in<br />

der Schulentwicklung bestimmen. Wie bereits oben erwähnt, wird die Qualität einer Bildungseinrichtung<br />

also eindeutig durch die Qualität der Akteure und die Qualität der Ziele bestimmt.<br />

Den verschiedenen schulischen Qualitätsmanagementsystemen in Schulen, wie beispielsweise<br />

Q2E (Qualität durch Evaluation und Entwicklung), unterliegt ein eigenes Qualitätsverständnis. Das<br />

Modell Q2E verfolgt hierbei einen anderen Ansatz, indem ein Qualitätsdefizit als Ergebnis einer<br />

Subtraktion zwischen Soll- und Istzustand definiert wird, da Ist-Soll-Vergleiche zwischen der


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

festgestellten Qualitätsdiagnose und dem Qualitätsleitbild die Grundlage für die Erarbeitung von<br />

Maßnahmen zur Optimierung der Qualitätsentwicklung bilden (Landwehr & Steiner, 2007, S. 43).<br />

Das Projekt Q2E orientiert sich allerdings dabei an einem ‚neuen‘ Qualitätsverständnis, das auf dem<br />

Total-Quality-Management basiert (vgl. 2.3.1.1.2), wobei „[...] die Entstehung von Qualität als eine<br />

Folge von Entwicklungs- und Optimierungsschritten gesehen [wird]“ (Steiner & Landwehr, 2007, S. 7).<br />

Qualität wird somit nicht mehr als ‚Grad der Vollkommenheit‘, sondern umfassender definiert, indem<br />

der Qualitätsbegriff auf eine Gesamteinrichtung projiziert wird und die Anforderungen von Kunden,<br />

Mitarbeitern bzw. Unternehmensleitung berücksichtigt werden (Landwehr et al., 2007, S. 6 f.).<br />

Ähnlich zu Q2E, bildet das schulspezifische Qualitätsverständnis (vgl. 2.3.1.2.2.1) das Zentrum des<br />

Modells QmbS (Qualitätsmanagementsystem an beruflichen Schulen in Bayern) (vgl. 2.3.1.2.1). Dabei<br />

legt jede Bildungseinrichtung selbst fest, was die Definition des Begriffs ‚Qualität‘ beinhaltet, indem<br />

Qualitätsziele anhand der schulinternen Bedarfslage und den schulischen Wertvorstellungen auf<br />

der Basis des zugrundeliegenden Qualitätsrahmens festgelegt werden. Diese Zielperspektive stellt<br />

den Ausgangspunkt für eine schulische Qualitätsentwicklung anhand weiterer Maßnahmen sowie<br />

einer Feststellung von Qualitätsverbesserungen dar (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 11).<br />

Eine Steigerung von Qualität würde im Q2E-Ansatz eine Verringerung der Differenz zwischen den<br />

gesetzten Zielen und der Realität bzw. eine Erhöhung des Quotienten bezüglich der aufgestellten<br />

Formel von Gutknecht-Gmeiner bedeuten. Dies gilt allerdings nur bis zu dem Zeitpunkt, bis die Ziele<br />

einer Bildungseinrichtung (Soll-Zustand) im Sinne eines kontinuierlichen Qualitätsregelkreises neu<br />

ausgerichtet und definiert werden. Ein weiteres Voranschreiten in der Qualitätsarbeit würde zwar<br />

als weitere Optimierung zum Ausdruck kommen, insgesamt wird ein mathematischer Mehrwert aus<br />

der Verbesserung der Qualität allerdings nicht deutlich. Aus diesem Grund könnte die Formel von<br />

Gutknecht-Gmeiner auch weiter ausgebaut und als dreidimensionale Darstellung mit Berücksichtigung<br />

der zeitlichen Dimension überdacht werden. Die Funktion müsste neben den Bedingungen Erfahrung<br />

und Erwartung auch die zeitliche Dimension beinhalten. Durch die permanente Weiterentwicklung der<br />

Wirklichkeit und der Ziele erfolgt im Zeitverlauf eine positive Rückkoppelung (Regelkreis) mit stetiger<br />

Neuausrichtung der Erfahrungen und Erwartungen. Ziel ist weiterhin die ‚Maximierung‘ der Qualität.<br />

Die Funktion stellt sich wie folgt dar:<br />

Empfehlenswert ist darüber hinaus, die zugrundeliegenden Begriffe weiter auszudifferenzieren, da<br />

zum Beispiel die Erfahrung eines Akteurs von Faktoren wie Alter, Ausbildung, Beschäftigungsdauer,<br />

Wissensumfang, Charaktereigenschaften, Klassengröße, Lerninhalte etc. abhängt, um nur einen<br />

Ausschnitt zu nennen. Auch die Ziele wären durch den Ansatz von SenGe im Sinne der drei Aspekte<br />

eines Leitbildes zu erweitern, indem eine Vision als Bild der (erhofften) Zukunft der Organisation, die<br />

Mission durch die Definition der gemeinsamen Aufgabe und gesetzte Ziele in Form von Meilensteinen<br />

definiert werden. Hauptaufgabe bei der Entwicklung einer Vision ist schließlich die Förderung des<br />

Diskurses zwischen den beteiligten Personen einer Organisation, um unterschiedliche Vorstellungen,<br />

Ansichtsweisen, Handlungsweisen, etc. zu synchronisieren (Senge, 1994, S. 345 ff.). kempFert und<br />

rolFF bezeichnen ein Leitbild als pädagogisches Selbstverständnis, „auf das sich (fast) alle Lehrkräfte<br />

einigen müssen“ (Kempfert et al., 2008, S. 45).<br />

17


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

18<br />

SchmiDt bezeichnet Qualität schließlich als Ergebnis eines diskursiven Prozesses (Steiner et al., 2007,<br />

S. 3), da der Austausch individueller Einstellungen beteiligter Akteure einer Bildungseinrichtung eine<br />

Reflexion nach sich zieht und Divergenzen bei der Definition von Zielen in einen Konsens zu bringen<br />

sind. rolFF skizziert die Einzelschule in diesem Zusammenhang als „Motor der Entwicklung“, die<br />

„sich nur entwickelt, wenn die Akteure innerhalb einer Schule dies wollen und sie dabei unterstützt<br />

werden (Kempfert et al., 2008, S. 10)“. Die Qualität einer Bildungseinrichtung wird also beeinflusst<br />

von integrierten Menschen, deren Wertorientierung und Handlungen (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2007, S. 46). Da die Qualität entscheidend von der Qualitätsvorstellung der<br />

involvierten Akteure bestimmt wird, existieren keine ‚einzig wahren‘ Qualitätsziele (Landwehr et al.,<br />

2007, S. 128). Diese sind auf der Basis der Einstellungen und Meinungen der beteiligten Akteure von<br />

der Bildungseinrichtung in einem diskursiven Prozess selbst zu erarbeiten. Basis der Qualitätsarbeit<br />

ist also das zugrundeliegende schulspezifische Qualitätsverständnis, das im Rahmen der Qualitätssicherung,<br />

den fortwährenden Aktivitäten zum Erhalt aktueller Qualität und der Qualitätsentwicklung<br />

den laufenden Bemühungen zur Erreichung festgesetzter Qualitätsziele, Anwendung findet. Um<br />

Qualität zu erlangen, „verlangt [es] einen kontinuierlichen Reflexionsprozess und die Einführung<br />

eines funktionierenden Regelkreises auf allen Ebenen“ (Bundesministerium für Unterricht, 2011, S. 2).<br />

Der Qualitätskreislauf basiert auf dem PDCA-Kreislauf und wird durch folgende Schritte definiert:<br />

• Planen von Verbesserungsmaßnahmen<br />

• umsetzen von Verbesserungsmaßnahmen<br />

• überprüfen der Verbesserungsmaßnahmen<br />

• Optimierung der Verbesserungsmaßnahmen (Steiner et al., 2007, S. 7).<br />

Die Definition von Qualität in einer Bildungseinrichtung bildet den zentralen Ausgangspunkt im Qualitätsmanagement<br />

für alle weiteren Maßnahmen in der Qualitätsarbeit (Schweizerische Konferenz<br />

der kantonalen Erziehungsdirektoren, 2008, S. 9). De facto bedeutet dies, dass klar definierte Ziele,<br />

die mit Hilfe qualitativer oder quantitativer Kriterien zu erfassen und zu skalieren sind, durch das<br />

Umsetzen von festgelegten Maßnahmen erfolgt, mit der Durchführung von Evaluationen überprüft<br />

und Verbesserungen aufgrund der erzielten Ergebnisse integriert werden müssen.<br />

carStenSen erläutert, dass die „[...] wichtigste Info zur Qualität der Schule [...] über Folgeuntersuchungen<br />

[erfolgt], indem Absolventen zu ihrer beruflichen Weiterentwicklung sowie zur Anwendung in<br />

der Schule erworbener Qualifikationen befragt werden (Carstensen, September 1997, S. 40). Diese<br />

Thematik wird in Kapitel 2.4.4.2 weiter aufgegriffen.<br />

2.1.2.1.2 Qualitätsmanagement<br />

Grundsätzlich lässt sich das Wort Qualitätsmanagement in den oben definierten Begriff ‚Qualität‘<br />

und das Nomen ‚Management‘ unterteilen. büloW-Schramm spricht bei Management von<br />

einer „zielorientierte[n] Planung (Zielbildung und deren Operationalisierung), Steuerung und<br />

Kontrolle von Leistungsprozessen in Organisationen“ (Bülow-Schramm, 2006, S. 16). Im<br />

Bildungsbereich kann der Begriff Management auf die gesamte Schule übertragen werden<br />

und dabei Bereiche wie Personalführung und Organisationsleitung umfassen (Horster, 1995,


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

S. 37). Übergreifend bezeichnet DubS die Einzelschritte der Qualitätsdefinition, -sicherung und<br />

-entwicklung als Qualitätsmanagement (Dubs, 2009, S. 1209). Die Qualitätssicherung und -entwick-<br />

lung basieren idealerweise auf einem zugrundeliegenden Prozess, „[...] dessen Ausgangspunkt eine<br />

klare Vorstellung über Qualitätsziele und den zu gestaltenden Gegenstand bilden würde“ (Bohlinger<br />

et al., 2009, S. 128).<br />

Qualitätsmanagement kann insbesondere als „[...] alle aufeinander abgestimmten Tätigkeiten [...] zur<br />

Leitung und Lenkung einer Organisation bezüglich Qualität [aufgefasst werden]. Sie umfassen üblicherweise<br />

die Festlegung der Qualitätspolitik, der Ziele und Verantwortungen und deren Verwirklichung<br />

durch u. a. Qualitätsplanung, -lenkung, -sicherung und -verbesserung“ (Bayerisches Staatsministerium<br />

für Unterricht und Kultus, 14.06.2011, S. 16). Ähnlich definieren Seitz & capaul Qualitätsmanagement als<br />

„[...] eingesetzte[s] Verfahren, mit denen Bereiche der Schulqualität systematisch erfasst, verbessert<br />

und gesichert werden. Ziel ist die Qualitätserfassung, -entwicklung und -sicherung“ (Seitz & Capaul,<br />

2007, S. 548). kempFert geht bei der Definition einen Schritt weiter, indem „modernes Qualitätsmanagement<br />

[...] als kontinuierlicher Verbesserungs- und damit als Lern-Prozess [deklariert wird]“ (Helmke,<br />

Hornstein & Terhart, S. 41). Somit kann eine übergreifende Weiterentwicklung auf allen Ebenen einer<br />

Organisation erzielt werden.<br />

Vergleicht man diese Definitionen, ist eine starke Kongruenz in der inhaltlichen Thematik ersichtlich.<br />

Übergreifend kann daher festgestellt werden, dass Qualitätsmanagement eine systematische<br />

Methode ist, die „[...] Qualität erfasst, verbessert und sichert“ (Dubs, 2009, S. 1209).<br />

cuttance unterscheidet hierbei zwischen den Begriffen<br />

• Qualitätsmanagement, als Maßnahme zur Erhebung, Sicherung und Verbesserung der ablaufenden<br />

Prozesse<br />

• Qualitätssicherung, als Prävention von Qualitätsmängeln durch systematische geplante Handlungen<br />

• Qualitätskontrolle, als Maßnahme zur Bestimmung der Güte eines Produktes (Cuttance, 1994,<br />

S. 100 f.).<br />

„Qualitätsmanagement benötigt Daten als Grundlage für die Ist-Diagnose, für Steuerungswissen<br />

und für Bewertungen [...]“ (Kempfert & Rolff, 2002, S. 23). Evaluationen bilden also die Basis für<br />

ein Qualitätsmanagement, um anhand der erhobenen Werte Qualitätszustände, -verbesserungen<br />

oder -rückschritte zu ermitteln. Diese stellen wiederum den Ausgangspunkt für entsprechende<br />

Steuerungsmechanismen und weitere Folgemaßnahmen dar, damit Qualitätsdefizite beseitigt und<br />

gewünschte Effekte erzielt werden können.<br />

Qualitätsmanagementsysteme werden gemäß der DIN EN ISO 9000:2005 als „Managementsystem<br />

zum Leiten und Lenken einer Organisation bezüglich der Qualität definiert“ (S. 20). Qualitätsmanagementsysteme<br />

beschreiben das Zusammenwirken verschiedener Komponenten und Akteure<br />

innerhalb einer Organisation, verbunden mit dem Ziel, die Qualität der Einrichtung zu erhöhen.<br />

19


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

20<br />

Qualitätsmanagement wird, mit Blick auf die vorliegende Untersuchung externer Evaluationen, als Instrument<br />

verstanden, gesetzte Ziele innerhalb des Leitbilds und der implementierten Prozesse auf ihre<br />

Realisierung bzw. Funktionalität zu überprüfen. Jeder Evaluation liegen dabei untergeordnete Ziele<br />

zugrunde, um die Diskrepanz zwischen den Qualitätszielen der Bildungseinrichtung und dem momentanen<br />

Zustand zu ermitteln. In einem weiteren Schritt ist es Aufgabe des Qualitätsmanagements,<br />

durch eine systematische Steuerung die Soll-Ist-Abweichungen anhand geeigneter Maßnahmen zu<br />

reduzieren. Die eigentliche Qualitätsverbesserung durch eine Erhöhung der Qualität wird dabei als<br />

Schulentwicklung definiert (vgl. 2.1.2.1.3). Qualitätsmanagement ist also ein routiniertes sowie funktionierendes<br />

Feedbacksystem zur weiteren Schulentwicklung, das vor dem Hintergrund verfolgt wird,<br />

Abläufe zu optimieren und die Qualität der Bildungseinrichtung sowie seiner Akteure zu verbessern.<br />

Im Bereich des Qualitätsmanagements gibt es allerdings zahlreiche Erfolgsfaktoren, die für eine<br />

erfolgreiche Anwendung essentiell sind. Die Schulleitung nimmt beispielsweise beim Aufbau eines<br />

Qualitätsmanagementsystems eine zentrale Rolle ein, indem eine klare und zielorientierte Führung<br />

notwendig ist (Kurz & Schmid, 2009, S. 154). brunnhuber verdeutlicht, dass Qualitätsmanagement<br />

in zentraler Weise von dem Engagement der Schulleitung abhängt, indem die Qualitätsarbeit kontinuierlich<br />

weiter verfolgt wird und Mitarbeiter entsprechend motiviert werden (Brunnhuber, 2009,<br />

S. 23). Die Aktivität und Kreativität einer jeden Lehrkraft nimmt somit ebenfalls Einfluss auf den<br />

Prozess der Qualitätsentwicklung. Damit schließlich eine Verbesserungswirkung erzielt werden kann,<br />

ist diese wiederum davon abhängig, ob für die Mehrzahl des Lehrerkollegiums1 langfristig ein Nutzen<br />

aus der Qualitätsarbeit erkennbar ist (Lorenz, 2007, S. 2). Das Engagement einer Lehrkraft kann<br />

insofern geweckt werden, wenn Inhalte aus dem Qualitätsmanagement mit dem Alltagsgeschäft,<br />

also hauptsächlich mit dem Unterricht in Verbindung gebracht bzw. Problembereiche zielführend<br />

bereinigt werden können (Capaul, 14.12.2009). Ein weiterer Bereich bildet die Ressourcenplanung<br />

bzw. -bereitstellung, die hauptsächlich bei der Implementierung eines Qualitätsmanagements, aber<br />

auch bei einer weiteren Anwendung erforderlich ist, um das System in der Bildungseinrichtung<br />

erfolgreich anwenden zu können (Ruf, 2009, S. 7 f.). Die genannten Faktoren für eine erfolgreiche<br />

Anwendung eines Qualitätsmanagements stellen keinen Anspruch auf Vollständigkeit dar, da jedes<br />

System bzw. jede Organisation individuelle Bedingungen bzw. Schwerpunkte implizieren würde.<br />

2.1.2.1.3 Schulentwicklung<br />

Schulen entwickeln sich aufgrund von Veränderungen im Umfeld, bei den Beteiligten oder den Rahmenbedingungen.<br />

Die eigentliche Schulentwicklung bezieht sich allerdings auf eine systematische<br />

Weiterentwicklung einer einzelnen Bildungseinrichtung (Rolff, 1999, S. 13). In den vergangenen zwei<br />

Jahrzehnten bildete der Begriff ‚Schulentwicklung‘ verstärkt den Fokus bildungspolitischer Diskussionen<br />

in der Bundesrepublik Deutschland (Schimitzek, 2008, S. 32). Diese Tatsache lässt sich auf<br />

die Erkenntnis zurückführen, dass zentral gesteuerte Entwicklungsprogramme wenig Wirkung auf<br />

einzelne Schulen zeigten. Aus diesem Grund muss die individuelle Schule selbst Entwicklungen<br />

vorantreiben und als ‚Motor‘ der Reformen fungieren (Rolff, 2009, S. 298). In diesem Zusammenhang<br />

wird die Einrichtung von Steuergruppen „[...] als bedeutendste Schulinnovation des letzten<br />

1 Personen- und Funktionsbezeichnungen gelten übergreifend für beide Geschlechter.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Jahrhunderts [bezeichnet], da sich Bildungseinrichtungen nun auf dem Weg einer ‚lernenden Schule‘<br />

befinden und Qualitätsziele durch Leitbilder und Schulprogramme selbst erarbeiten bzw. umsetzen“<br />

(Kempfert et al., 2008, S. 10). Steuergruppen fungieren in schulischen Reformen als Akteure, die<br />

sich mit aktuellen Themen im Bereich der Schulentwicklung auseinandersetzen und die Realisierung<br />

schulischer Ziele verfolgen (Berkemeyer & Holtappels, 2006, S. 184).<br />

müller konstatiert, dass der Begriff Schulentwicklung vielseitig interpretiert werden kann und in<br />

der Theorie derzeit nur knapp dargestellt wird (Müller, 2010, S. 12). Aus diesem Grund werden im<br />

Folgenden bisherige Definitionen und Aspekte im Bereich der Schulentwicklung erläutert:<br />

Grundsätzlich kann die Entwicklung eines Leitbilds, die Definition von Qualitätszielen und die<br />

anschließende Durchführung von Maßnahmen zur Zielerreichung als Schulentwicklungsmodell<br />

bezeichnet werden, wobei die Konzepte zur Verwirklichung in der Regel als Schulentwicklungsprogramme<br />

bezeichnet werden (Kempfert et al., 2008, S. 10). In Abgrenzung zu anderen Organisationen<br />

verfolgen Bildungseinrichtungen eine pädagogische Zielorientierung, wobei das Lernen der SchülerInnen<br />

den zentralen Ausgangspunkt darstellt (Rolff, 2009, S. 314). Pädagogische Qualitätsentwicklung<br />

wird durch den Kernprozess Unterrichtsentwicklung (UE) sowie durch Personalentwicklung (PE)<br />

und Organisationsentwicklung (OE) erzeugt (Kempfert et al., 2008, S. 10). müller präzisiert, dass die<br />

Interdependenz dieser drei Bereiche oftmals unzureichende Berücksichtigung erfährt, die Begriffe<br />

in Verbindung mit einzelnen Aktivitäten stehen und durch fehlende Zielsetzungen bzw. Maßnahmen<br />

somit angestrebte Wirkungen häufig nicht eintreten (Müller, 2010, S. 12, 13).<br />

keller bezieht sich in seinen Ausführungen auf die ‚interne Schulentwicklung‘, die sich auf eine „[...]<br />

gemeinsame und systematische Selbsterneuerung des Klimas, der Inhalte und der Formen pädagogischer<br />

Arbeit [bezieht]“ (Keller, 2002, S. 5). Darüber hinaus sind eine Integration aller Beteiligten und<br />

eine gezielte Erhebung von Daten sowie die Planung und Umsetzung von Änderungen vorgesehen.<br />

kempFert & rolFF hingegen differenzieren Schulentwicklung bezüglich der drei folgenden Ebenen:<br />

• intentionale Schulentwicklung, die sich auf die bewusste und systematische Weiterentwicklung<br />

einer Einzelschule erstreckt<br />

• institutionelle Schulentwicklung, die das Ziel der Entwicklung einer lernenden Schule mit eigenständiger<br />

Reflexion, Organisation und Steuerung verfolgt<br />

• komplexe Schulentwicklung, die eine Steuerung des Gesamtzusammenhangs im Sinne einer<br />

Festlegung von Rahmenbedingungen, Unterstützung der Einzelschulen bei der Schulentwicklung<br />

sowie beim Aufbau eines Evaluationssystems umfasst (Kempfert et al., 2008, S. 40).<br />

Eine Qualitätssicherung und -verbesserung im Sinne eines systematischen Qualitätsmanagements<br />

beinhaltet Schulentwicklung auf diesen drei Ebenen (Kempfert et al., 2002, S. 22). Seitz & capaul<br />

beziehen die zentralen Aspekte der Schulentwicklung auf die drei Ebenen der normativen, strategischen<br />

und operativen Schulführung. Die normative Ebene umfasst das Leitbild der Organisation,<br />

das die Philosophie der Organisation, also Ziel- und Wertvorstellungen, beinhaltet und damit<br />

die Begründung des Handelns darstellt. Das Leitbild wird auf der strategischen Ebene durch das<br />

21


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

22<br />

Schulprogramm konkretisiert, indem Prioritäten und Schwerpunkte für die Schulentwicklung definiert<br />

werden. Schließlich bezieht sich die operative Schulführung auf Aktionspläne, die eine Umsetzung<br />

des Schulprogramms durch entsprechende Projekt- und Arbeitspläne sicherstellen sollen (Seitz et<br />

al., 2007, S. 118–120).<br />

Schulentwicklung umfasst also durch das Leitbild die übergeordnete Ausrichtung der Schule, indem<br />

unter Einbeziehung aller Akteure gemeinsame Ziel- und Wertvorstellungen als Vision erarbeitet und<br />

operationalisiert werden. Diese bilden sowohl die Basis für eine weitere Qualitätsarbeit als auch die<br />

Grundlage für eine kontinuierliche Qualitätsentwicklung und notwendige Evaluationen, um anhand<br />

dieser gewonnenen Daten die entscheidenden Verbesserungspotentiale zu identifizieren. rahm erläutert,<br />

dass „Schulentwicklung eine datengestützte Verbesserung der Qualität von Schule [intendiert]“<br />

(Rahm, 2005, S. 39). Die systematische Erhebung von Daten mit einer anschließenden Ableitung von<br />

Folgemaßnahmen begründet ein funktionierendes Qualitätsmanagementsystem, das auf der Basis<br />

einer kontinuierlicher Anwendung des DeminG-Kreises (vgl. 2.3.1.1) Bestandteil der Schulentwicklung<br />

wird, indem durch die einzelnen Zielsetzungen entsprechende Daten ermittelt werden, die eine Grundlage<br />

für die weitere Ausrichtung der Entscheidungen in der Qualitätsarbeit bilden. Auf die Verbindung<br />

zwischen Schulentwicklung und Qualitätsmanagement (QM) bezieht sich auch müller in seinem<br />

Verständnis von Schulentwicklung: „Unter Schulentwicklung wird hier ein bewusster, systematischer,<br />

zielgerichteter Entwicklungsprozess verstanden, der die Bereiche UE, OE und PE umfasst, die es<br />

durch ein praktikables schulisches QM zu verbinden gilt“ (Müller, 2010, S. 16).<br />

Das Ausmaß der Veränderung einer Bildungseinrichtung kann maßgeblich durch das Engagement<br />

des Lehrerkollegiums in einem dialogischen Prozess beeinflusst werden (Kempfert<br />

et al., 2008, S. 261). Übergreifend ist der selbstgesteuerte Wandel einer Schule wesentlich, um<br />

eigene pädagogische, qualifikatorische oder auch personelle Interessen durchsetzen zu können<br />

(Buchen, Horster & Rolff, 1995, S. 6). Aus diesem Grund ist es von essentieller Bedeutung,<br />

Beteiligte als Betroffene in die Qualitätsarbeit zu integrieren, um sich auf die Schule als Ganzes<br />

fokussieren zu können. Andererseits bedeutet Schulentwicklung eine Qualitätsverbesserung bzw.<br />

-erhöhung in den einzelnen Bereichen der Bildungseinrichtung, die durch eine systematische und<br />

kontinuierliche Anwendung von Qualitätslenkung erzielt werden kann, indem auf der Basis entsprechender<br />

Evaluations- bzw. Qualitätsergebnisse individuelle Folgemaßnahmen initiiert werden, um im<br />

weiteren Verlauf einen höheren Qualitätslevel erzielen zu können.<br />

2.1.2.2 Lernende Schule als Voraussetzung für Qualitätsmanagement<br />

rolFF & kempFert beschreiben die Entwicklung eines Leitbilds mit der Definition von Qualitätszielen,<br />

der anschließenden Durchführung von Maßnahmen zur Erreichung der Ziele als Entwicklungs- und<br />

Lernmodell. Für die Entwicklungsperspektive ist allerdings die Gründung einer Steuergruppe von<br />

essentieller Bedeutung, da „[...] die innerschulischen Akteure von vornherein [nicht] in der Lage sind,<br />

ihre eigene Entwicklung selbst zu steuern [...] (Kempfert et al., 2008, S. 10)“. Die Einrichtung von Steu-<br />

ergruppen bezeichnen rolFF & kempFert als bedeutendste Schulinnovation des letzten Jahrhunderts,<br />

da sich Bildungseinrichtungen nun auf dem Weg einer ‚lernenden Schule‘ befinden und Qualitätsziele


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

durch Leitbilder und Schulprogramme selbst erarbeiten bzw. umsetzen (Kempfert et al., 2008, S. 10).<br />

Als lernende Schule werden die Bildungseinrichtungen definiert, „[...] die sich bewusst entwickeln,<br />

Ziele und Normen klären, schuleigene Schwerpunkte und Curriculum herausarbeiten, gemeinsam<br />

Analysen und Diagnosen der Schulsituation durchführen [...]“ (Holtappels, 2003, S. 112). Das ‚Lernen‘<br />

betrifft dabei die Schule als Ganzes. Fullan verdeutlicht, dass lernende Organisationen „[...] in die<br />

Qualität des Denkens, in die Fähigkeit zur Reflexion und zum Team-Lernen, in den Aufbau gemeinsamer<br />

Visionen und in die gemeinsame Erkenntnis von komplexen Unternehmensfragen [investieren]“<br />

(Fullan, 1999, S. 166). In diesem Zusammenhang stehen Erfolge von Institutionen mit der Tatsache<br />

in Verbindung, ob die Organisation aus auftretenden Problemen Konsequenzen zieht und aus den<br />

erzielten Erfahrungen lernt (Fullan, 1999, S. 170).<br />

Fullan umschreibt dabei „Fähigkeiten, die als produktive Grundlage für den Aufbau einer größeren<br />

Veränderungskapazität erforderlich sind: die Entwicklung einer persönlichen Vision, ein ständiges<br />

Nachfragen, das individuelle Streben nach Meisterschaft und die Zusammenarbeit mit anderen.<br />

Jedes dieser Elemente hat ein Gegenstück auf institutioneller Ebene: die gemeinsame Visionsentwicklung;<br />

organisatorische Strukturen, Normen und Methoden eines permanenten Nachfragens;<br />

Organisationsentwicklung und Know-how; und eine kooperative Arbeitsumwelt [...]“ (Fullan, 1999,<br />

S. 32, 33). Diese Interdependenz verdeutlicht, dass sowohl eine individuelle als auch eine institutionelle<br />

Entwicklung gegeben sein muss, um einen Wandel innerhalb einer Bildungseinrichtung zu<br />

erzielen. Voraussetzung für das institutionelle Lernen sind Individualität und Kollektivität sowie eine<br />

dynamische Verbindung der Organisation mit der Außenwelt, um den permanenten Veränderungen<br />

gerecht zu werden. Mit Blick auf anstehende Veränderung ist ein lernendes Unternehmen auf einen<br />

steten Austausch mit seinem Umfeld angewiesen, um sich an diesen Entwicklungen orientieren<br />

und auf dieser Basis eigene Fortschritte planen zu können (Fullan, 1999, S. 142). Eine dynamische<br />

Umsetzung und das intensive Lernen von anderen Organisationen sowie von der Umwelt ist ein<br />

Wettbewerbsvorteil gegenüber Mitbewerbern (Fullan, 1999, S. 143).<br />

Die Basis für das Lernen der Einrichtung bildet „[...] das forschende und lernende Individuum; das<br />

Streben nach Meisterschaft und Know-how als zentrale Strategien; die Führungskraft, die Wertvorstellungen<br />

ausdrückt, aber auch erweitert und andere Menschen in die Lage versetzt, das gleiche<br />

zu tun“ (Fullan, 1999, S. 10). Fullan sieht dabei den Ansatzpunkt im Individuum, da Organisationen<br />

schließlich durch Menschen verändert werden (Fullan, 1999, S. 162): „Jeder einzelne Pädagoge muss<br />

bestrebt sein, ein erfolgreicher Mittler des Wandels zu werden“ (Fullan, 1999, S. 33). Veränderungen<br />

einer Schule betreffen aber nicht nur die Lehrkräfte, sondern auch SchülerInnen, Eltern, Ausbildungsbetriebe<br />

aber auch die Gesellschaft, um nur einen Auszug zu nennen. Dabei ist herauszustellen, dass<br />

sich eine lernende Organisation erst realisiert, wenn Regelsysteme, Abläufe oder Prozesse wirksam<br />

verändert werden und schließlich eine Erweiterung des Wissens im System implizieren. SenGe hebt<br />

hervor, dass sich eine lernende Organisation mit dem einfachen Überleben nicht zufrieden gibt. Vielmehr<br />

durchläuft diese Einrichtung produktive Entwicklungsprozesse, die von hoher Selbstreflexion<br />

und sensibler Wahrnehmung gekennzeichnet sind (Senge & Klostermann, 1998, S. 24 ff.).<br />

23


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

24<br />

Den Kern einer Veränderung von Bildung bildet dabei eine erfolgreiche Verknüpfung eines ethisch<br />

begründeten Erziehungsauftrags mit einer effektiven Vermittlung des Wandels (Fullan, 1999, S. 26).<br />

Erfolgreicher Wandel kann primär durch erzielte Erfahrung und entsprechendes Know-how erzielt<br />

werden (Fullan, 1999, S. 39). Nach GooDlaD lautet eines der vier ethischen Zielsetzungen ‚aktives<br />

Dienen und Begleiten‘. Eine gezielte und engagierte Mitwirkung der Lehrer am Erneuerungsprozess<br />

ist mit Hinblick auf eine offene, sich selbst erneuernde Institution unumgänglich (Goodlad, 1991,<br />

S. 25). Fullan geht in diesem Zusammenhang noch einen Schritt weiter, indem er behauptet, dass<br />

Menschen andere Personen brauchen, um zu lernen und effektiv zu handeln. „Das Lernen in Gruppen<br />

ist deutlich effektiver, als im Vergleich zum individuellen Lernen“ (Fullan, 1999, S. 41). Eine Schule<br />

besteht letztendlich aus Menschen in verschiedensten Positionen, die mit Blick auf eine erfolgreiche<br />

Weiterentwicklung vernetzt werden müssen.<br />

Nach cox und DeFeeS (zitiert nach Fullan) gibt es kein eindeutig definierbares Vorgehen, Umstruktu-<br />

rierungen erfolgreich zu gestalten. Sie haben allerdings vier Eckpunkte ausgearbeitet, die Beachtung<br />

finden sollten:<br />

1. Eine klare Vorstellung vom Zweck der Veränderungen<br />

2. Bemühung um einen organisatorischen und systemischen Wandel<br />

3. Effektives Management des laufenden Veränderungsprozesses<br />

4. Nutzung zweckgebundener staatlicher Restrukturierungszuschüsse als Ansporn für Veränderungen<br />

(Fullan, 1999, S. 105 ff.).<br />

Abschließend ist zu erwähnen, dass eine lernende Gesellschaft im Fokus des gesellschaftlichen<br />

Bestrebens stehen soll und dazu ein lernendes Schulsystem allein nicht ausreicht. Dabei muss sich<br />

„[...] das Engagement für das Lernen und die Praxis des Lernens [...] in allen Arten von Organisationen<br />

und Institutionen ausbreiten, wenn es irgendeine gesamtgesellschaftliche Wirkung entfalten soll“<br />

(Fullan, 1999, S. 219).<br />

2.1.2.3 Qualitätsmanagement als Ergebnis von Veränderungen<br />

Aufgrund der Ergebnisse internationaler Leistungsvergleiche wurde dem Qualitätsmanagement von<br />

Seiten der Bildungspolitik ein höherer Stellenwert zugesprochen, da dieses System als Möglichkeit<br />

betrachtet wurde, Leistungsdefizite der Schüler zu beheben (Kempfert et al., 2008, S. 9). Den Schulen<br />

wurde Anfang der 90er Jahre eine höhere Eigenverantwortung zugesprochen (Bülow-Schramm,<br />

2006, S. 62), um auf der Basis eigener Schulprogramme und einer erhöhten Selbständigkeit eine<br />

höhere Qualität erzielen zu können. Das Qualitätsmanagement hat hier speziell die Aufgabe, schuleigene<br />

Standards zu ermitteln (Pressemitteilung des Bayerischen Staatsministeriums für Unterricht<br />

und Kultus, 2009, S. 11). Die erhöhte Autonomie einer Bildungseinrichtung impliziert „[...] auch eine<br />

größere Verantwortung für ihre professionelle Weiterentwicklung“ (Schnoor, Mietens & Lange, 2006,<br />

S. 32) und beansprucht die Bereitstellung an nötigem Instrumentarium zur Qualitätssicherung (Pressemitteilung<br />

des Bayerischen Staatsministeriums für Unterricht und Kultus, 2009, S. 11). Sowohl<br />

euler als auch Gonon et al. nennen neben den internationalen Leistungsvergleichen weitere Gründe<br />

für eine Implementierung von Qualitätsmanagementsystemen, die im Folgenden erläutert werden.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Die ökonomische Sicht beinhaltet die Ansicht, „[...] dass eine Verlagerung von Kompetenz und Verantwortung<br />

zu einem Abbau von Bürokratie führe, das Bildungssystem von unproduktiven Bereichen<br />

befreie und insofern die Ressourceneffizienz erhöhe“ (Euler, 2004, S. 3). Ein weiterer Vorteil stellt<br />

die Finanzsteuerung über Globalbudgets dar, da bei Mittelkürzungen die Bildungseinrichtung die<br />

Bereiche bezüglich finanzieller Einsparungen selbst festsetzen kann (Euler, 2004, S. 3). Qualitätsmanagementsysteme<br />

bieten die Möglichkeit, begrenzte Ressourcen gezielt und effektiv einzusetzen.<br />

Dieser Ansatz orientiert sich am marktwirtschaftlichen Modell und verfolgt die Perspektive, auch an<br />

staatlichen Institutionen von der Input- zur Outputsteuerung zu wechseln. Darüber hinaus gilt Bildung<br />

als Wettbewerbsfaktor, der eine entscheidende Voraussetzung für das wirtschaftliche Überleben im<br />

globalisierten Wettbewerb darstellt. Mit der Einführung der Qualitätsmanagementsysteme sollen<br />

deshalb Bildung und Ausbildung modernisiert und eine längerfristige Optimierung des Bildungswesens<br />

sichergestellt werden (Gonon, 2001, S. 10).<br />

Die bildungsorganisatorische Sicht bezieht sich darauf, dass zentrale Steuerungssysteme in Zeiten<br />

„[...] eines rasanten Wandels eine geringere Innovationskraft, eine geringere Anpassungsfähigkeit an<br />

veränderte Rahmenbedingungen und ein niedrigeres Motivationspotential für ihre Mitarbeiter bieten“<br />

(Euler, 2004, S. 3). Aus diesem Grund ist eine autonome Steuerung von Bildungseinrichtungen<br />

notwendig. Hierbei werden von der übergeordneten Behörde strategische Ziele vorgegeben, die<br />

letztendlich für die Bildungseinrichtung Möglichkeiten für eine operative Umsetzung bieten. Dieser<br />

Ansatz impliziert neue Formen der Evaluation und Kontrolle, um eine Basis für die entsprechenden<br />

Entscheidungen zu begründen bzw. belegen zu können (Gonon, 2001, S. 10).<br />

Die pädagogische Sicht bezieht sich auf die Entwicklung von qualitativ guten Schulen im Rahmen<br />

einer höheren Autonomie, da schließlich Freiräume auch zu Verantwortung führen (Lorenz, 2007,<br />

S. 2). Das Verhältnis zwischen der Verantwortung von Politik und Eigenverantwortung muss allerdings<br />

gewahrt bleiben. Mögliche Kriterien einer guten Schule sind u. a. ein hohes Schulethos, eine<br />

bewusst gestaltete Schulkultur, eine gute Kommunikation und Zusammenarbeit, die Fähigkeit zur<br />

Selbstentwicklung und Selbstbeurteilung sowie eine ausgeprägte Leistungsorientierung. Diese sollte<br />

vor allem durch ein bottom up-Verfahren, also einer Entwicklung ‚von unten nach oben‘ und durch<br />

eine Übertragung von Verantwortung an Personen gekennzeichnet sein (Euler, 2004, S. 2). Gonon<br />

et al. erwähnen in diesem Zusammenhang, dass bezüglich der Merkmale der neuen Qualität auch<br />

Bereiche wie Mitarbeiterqualifizierung, Organisationsführung und umfassende Feedbacksysteme zu<br />

berücksichtigen sind (Gonon, 2001, S. 8 f.).<br />

Die bildungspolitische Sicht beinhaltet hinsichtlich veränderter Rahmenbedingungen eine Reform der<br />

Berufsausbildung, indem sich die Berufsschule zu einem regionalen Kompetenzzentrum entwickelt<br />

und attraktive Bildungsangebote bereitstellt. Die Organisation soll moderne Managementprinzipien<br />

aufweisen, um als Motor der Strukturentwicklung innerhalb einer Lernenden Region und flexibler<br />

Dienstleister agieren zu können. Darüber hinaus soll die Berufsschule die Lückenbüßer-Rolle bezüglich<br />

der Bereitstellung von vollzeitschulischen Ausbildungsplätzen in Zeiten fehlender Ausbildungsplätze<br />

oder der Qualitätssicherung von Ausbildungsplätzen mit einer unzulänglichen betrieblichen<br />

Ausbildung zurückweisen (Euler, 2004, S. 2 f.).<br />

25


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

26<br />

WilberS verdeutlicht, dass Qualitätsmanagement die Antwort auf die Frage einer neuen Steuerung<br />

ist, indem Organisationen mehr Autonomie und gleichzeitig aber die Pflicht erhalten, Rechenschaft<br />

abzulegen (Wilbers, 2008, S. 48). Schulen werden in Zukunft mit neuen Aufgaben konfrontiert, indem<br />

innovative Formen der Qualitätssicherung und Qualitätsentwicklung anzuwenden sind (Brunnhuber,<br />

2009). Qualitätsmanagement bietet die Möglichkeit, neue Freiräume zu schaffen, die Zufriedenheit<br />

von Beteiligten zu steigern, das Profil der Bildungseinrichtung zu stärken sowie Nachhaltigkeiten zu<br />

optimieren (Kennerknecht, 08.11.2008, S. 3). Derzeit wird für das Qualitätsmanagement ein hoher<br />

Aufwand betrieben, um das Lernen in den Bildungseinrichtungen zu optimieren (Lorenz, 2007, S. 2).<br />

lorenz stellt allerdings in Frage, ob Bildungseinrichtungen mit größerer Autonomie systematische<br />

Feedbackprozesse benötigen bzw. deren SchülerInnen höhere Lernerfolge erzielen (Lorenz, 2007,<br />

S. 2). Diese Überlegung führt schließlich zur Frage nach der Wirksamkeit von Qualitätsmanagementsystemen.<br />

Grundsätzlich wird aufgrund einer schulischen Qualitätsarbeit, durch die Entwicklung eines<br />

Leitbildes und eines Schulprogramms, in den Bildungseinrichtungen eine klare Struktur erarbeitet,<br />

die anhand eines diskursiven und partizipativen Prozesses die innere und äußere Kommunikation<br />

erhöht. Darüber hinaus werden auf der Basis von Evaluationsergebnissen in allen Bereichen der Bildungseinrichtung<br />

anhand geeigneter Steuerungsmaßnahmen Optimierungen vorgenommen. Auch<br />

die Funktion der Repräsentation nach außen darf nicht außer Acht gelassen werden. Übergreifend<br />

erläutert Greubel, dass „die Implementierung eines gut funktionierenden Qualitätsmanagements mit<br />

dem Ziel der Qualitätssicherung und -entwicklung [...] für die beruflichen Schulen immer wichtiger<br />

[wird]“ (Greubel, 2010).<br />

2.1.2.4 Qualitätsmanagementsysteme in Schulen: Eine Übersicht<br />

Neben einem gesellschaftlichen Wandel, der verändernde Umstände und Erwartungen mit sich<br />

bringt, sind Bildungseinrichtungen von einem Paradigmenwechsel betroffen, der eine Reform der<br />

Verwaltung beinhaltet. Darüber hinaus stehen Schulen vor der Aufgabe, Probleme zu identifizieren<br />

und zu lösen sowie Verbesserungsvorschläge von Lehrkräften zielführend umzusetzen. Dies beinhaltet<br />

ebenso eine Definition von Verantwortlichkeiten und Zuständigkeiten (Temme, 2002, S. 10 ff.).<br />

Schließlich führen zunehmend finanzielle Restriktionen im öffentlichen Etat auch im Schulbereich zu<br />

der Frage nach einer effektiven und effizienten Organisationsführung (Bülow-Schramm, 2006, S. 61).<br />

Qualität wird dabei „[...] nicht mehr allein an guten Absichten, sondern an den erzielten Wirkungen<br />

sowie schließlich am Verhältnis von Aufwand und Ertrag bemessen“ (Terhart, 2000, S. 812). Folglich<br />

finden auch Themen wie Qualitätssicherung, Qualitätsentwicklung und Qualitätsmanagementkonzepte<br />

Einzug in die Bildungsdebatte (Gonon, 2001, S. 7). Gegenwärtig werden Bildungseinrichtungen<br />

eine größere Autonomie sowie verstärkte Kompetenzen zugesprochen und erhalten dadurch die<br />

Möglichkeit, Probleme selbst zu lösen (Wilbers, 2011, S. 34 ff.). Dies hat wiederum zur Folge, dass<br />

sich die Qualität einer Schule nicht mehr auf die Einhaltung zentraler Vorschriften und Zielvorgaben<br />

allein begrenzt. Vielmehr sind umfassende Qualitätsmanagementsysteme notwendig, um das Qualitätsverständnis<br />

individuell definieren und umfassende Überprüfungen der Qualitätsarbeit durchführen<br />

zu können (Gonon, 2001, S. 11). Eine Implementierung eines Qualitätsmanagementsystems in<br />

einer Bildungseinrichtung bildet darüber hinaus die Möglichkeit, einzelne Schulentwicklungstätigkeiten<br />

zielgerichtet zu verknüpfen und Einzelmaßnahmen in einem systematischen Gesamtkonzept zu


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

verbinden (Brunnhuber, 2009, S. 21). Qualitätsmanagement kann den Anforderungen des Bildungs-<br />

bereichs dann gerecht werden, wenn eine Qualitätsentwicklung auf verschiedenen Ebenen erfolgt:<br />

im übergeordneten Bildungssystem, in der Schule selbst und im pädagogischen Bereich innerhalb<br />

der Einrichtung (Bülow-Schramm, 2006, S. 64). Eine Implementierung von Qualitätsmanagementsystemen<br />

in der Schule allein ist damit nicht ausreichend. Vielmehr ist eine Verknüpfung der Qualitätsarbeit<br />

auf den verschiedenen Ebenen erforderlich, um nicht nur eine einheitliche Ausrichtung der<br />

Organisationen, sondern auch ein vernetztes Feedbacksystem zu erhalten und Einzelmaßnahmen in<br />

das Gesamtkonzept integrieren zu können.<br />

DubS unterscheidet Qualitätsmanagementsysteme hinsichtlich ihrer Zielvorstellungen, welche in<br />

Berechtigungs- bzw. Anerkennungsverfahren, Überwachungsverfahren sowie in Schulentwicklungsmaßnahmen<br />

gruppiert werden können. Berechtigungs- bzw. Anerkennungsverfahren beinhalten<br />

eine Akkreditierung oder Zertifizierung, die eine externe Überprüfung des Qualitätsmanagements<br />

bzw. Bescheinigung von Qualitätsstandards beinhaltet (Dubs, 2009, S. 1230). Eine Zertifizierung von<br />

beruflichen Schulen in Bayern ist derzeit nicht geplant. Die zweite Kategorie, das Überwachungsverfahren,<br />

beschreibt DubS im Sinne einer Meta-Evaluation als Überprüfung eines internen Qualitätsmanagements<br />

und dessen Handhabung durch eine staatliche Behörde, um die Zielgerichtetheit und<br />

Zweckmäßigkeit der schulischen Maßnahmen zu überwachen (Dubs, 2009, S. 1230). Der externen<br />

Evaluation des Nürnberger Qualitätsmanagementsystems (vgl. 2.3.1.3.2.5) liegt als Meta-Evaluation<br />

nicht der Kontrollgedanke zugrunde. Vielmehr richtet sich der Fokus auf ‚Entwickeln und Lernen‘,<br />

indem durch die sogenannte Peer-Review-Logik eine Bewertung der Schule durch kritische Freunde<br />

(‚Peers‘) erfolgt und anhand der Ermittlung verschiedener Verbesserungspotentiale eine Weiterentwicklung<br />

des Qualitätsmanagements erzielt wird. Vor diesem Hintergrund wird die Meta-Evaluation<br />

dem Verfahren zugeordnet, das eine Qualitätsverbesserung im Hinblick auf eine weitere Schulentwicklung<br />

verfolgt. Weitere externe Verfahren, die zur Rechenschaftslegung dienen und die Basis<br />

für weitere Zielvereinbarungen bilden, werden den Kontrollverfahren zugeordnet. Anhand dieser<br />

Überlegungen wird folgende Tabelle zugrunde gelegt:<br />

27


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

28<br />

Abbildung 1: Ziele von Qualitätsmanagementsystemen erweitert nach (Dubs, 2009, S. 1230)<br />

Die folgende Tabelle verdeutlicht, dass in Deutschland überwiegend das Modell Q2E als Basis<br />

der Qualitätsarbeit dient. Aus diesem Grund wird dieses Qualitätsmanagementsystem, das in der<br />

Schweiz als Gegenbewegung zur DIN EN ISO entwickelt wurde (Capaul, 14.12.2009), in Kapitel<br />

2.3.1.1 näher beschrieben. Beispielsweise ist dieses System auch die Grundlage für QmbS, das<br />

Qualitätsmanagementsystem für berufliche Schulen in Bayern, das neben dem NQS, dem Nürnberger<br />

Qualitätsmanagementsystem, mit Blick auf die regionale Gültigkeit und Relevanz in Kapitel<br />

2.3 dargelegt wird. Im Folgenden werden auch die Qualitätsmanagementmodelle der Normenreihe<br />

DIN EN ISO 9000:2000 ff. und das EFQM-Modell erläutert, da diese beiden Systeme den TQM Ansatz<br />

(vgl. 2.3.1.1.2) unterstützen, eine hohe internationale Bedeutsamkeit aufweisen und zudem – vor allem<br />

an beruflichen Schulen – als stark verbreitete Qualitätsmanagementmodelle gelten (Dubs, 2007,<br />

S. 516; Brunnhuber, 2009, S. 66, Capaul, 14.12.2009).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Tabelle 1: Systematische Qualitätsentwicklung an beruflichen Schulen verändert nach Zöller, 2007a,<br />

S. 6; Wilbers, 23.06.2009<br />

2.1.2.5 Bedeutsame Qualitätsmanagementsysteme<br />

2.1.2.5.1 DIN EN ISO Modell<br />

DIN EN ISO ist eine europäische Norm (EN), die 1987 vom Deutschen Institut für Normung e. V. (DIN)<br />

begründet wurde (Bülow-Schramm, 2006, S. 40). Auf internationaler Ebene werden Normen durch die<br />

International Organisation of Standardisation (ISO) erarbeitet und herausgegeben. Die DIN EN ISO<br />

9000:2000 ff. basiert auf einem ingenieurswissenschaftlichen Ansatz und gehört zu einer Normenfamilie,<br />

die das Ziel eines kontinuierlichen Verbesserungsprozesses verfolgt (Gonon, 2001, S. 18).<br />

Die Normenreihe der ISO-9000 dient Organisationen bei der Implementierung und Anwendung von<br />

Qualitätsmanagementsystemen, die wie folgt beschrieben werden:<br />

• Die ISO 9000:2005 beschreibt die Grundlagen für Qualitätsmanagementsysteme und definiert<br />

die Begriffe des Qualitätsmanagements (DIN Deutsches Institut für Normung e. V., 2005, S. 4).<br />

• Die ISO 9001:2008 beschreibt die Anforderungen an ein Qualitätsmanagementsystem, die eine<br />

Organisation bei einer Produkt- oder Dienstleistungserbringung zu erfüllen hat. Die Norm ist auf<br />

die Wirksamkeit des Qualitätsmanagementsystems bei der Erfüllung der Kundenanforderungen<br />

gerichtet und verfolgt das Ziel, die Kundenzufriedenheit stetig zu erhöhen. Die ISO 9001 ist für<br />

Zertifizierungs- und Vertragszwecke geeignet (DIN Deutsches Institut für Normung e. V., 2008,<br />

S. 5–11).<br />

29


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

30<br />

• Die ISO 9004:2009 ist eine Anleitung zur Unterstützung einer Organisation bei der Erzielung<br />

eines nachhaltigen Erfolges im schnelllebigen Umfeld mit Hilfe eines Qualitätsmanagementansatzes<br />

und fokussiert auf die Erhöhung der Zufriedenheit von Kunden und anderer interessierter<br />

Parteien. Darin ist die Selbstbewertung ein wesentlicher Ansatz der Weiterentwicklung<br />

bezüglich der Bereiche Organisation, Führung, Strategie, Managementsystem, Ressourcen und<br />

Prozesse. Die ISO 9004:2009 ist nicht für Zertifizierungs- und Vertragszwecke vorgesehen (DIN<br />

Deutsches Institut für Normung e. V., 2009, S. 5–13).<br />

• Die ISO 19011 beinhaltet eine Anleitung für das Auditieren von Qualitäts- und Umweltmanagementsystemen<br />

(DIN Deutsches Institut für Normung e. V., 2005, S. 4).<br />

Diese oben genannten Elemente bilden einen zusammenhängenden Satz von Qualitätsmanagementsystemnormen,<br />

um das gegenseitige Verständnis im nationalen und besonders im internationalen<br />

Handel zu erleichtern. Das ISO-Modell beinhaltet zahlreiche Erfahrungen über optimale Funktionszusammenhänge<br />

in Organisationen und synchronisiert das Qualitätsverständnis im nationalen und<br />

internationalen Bereich (Temme, 2002, S. 15).<br />

Abbildung 2: Darstellung eines prozessorientierten Qualitätsmanagementsystems (DIN Deutsches<br />

Institut für Normung e. V., 2009)


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Wie die Abbildung verdeutlicht, geht der wichtigste Regelkreis des Prozessmodells über das Unter-<br />

nehmen hinaus und schließt den Kunden bzw. alle Interessenspartner mit ein. Die Qualität der<br />

Kernprozesse bestimmt die Zufriedenheit der Interessenpartner, die hierüber einen Bericht an das<br />

Management der Organisation liefern. Resultierende Anschlussmaßnahmen zur Erhöhung der Kundenzufriedenheit<br />

und der Wirksamkeit des Managements stoßen wiederum einen erneuten Durchlauf<br />

des Regelkreises an. Daneben bezieht sich der innere Regelkreis auf das Management, dessen<br />

Aufgabe es ist, unter Förderung der internen Kommunikation die Prozesse zu steuern. Dabei stellt<br />

das Management alle erforderlichen Mittel (Personal, Produktionsmittel, Arbeitsumgebung) für einen<br />

reibungslosen Ablauf der Kernprozesse zur Verfügung. Einzelne Teilprozesse werden durch messende<br />

und überwachende Tätigkeiten unterstützt. Das Management erhält verdichtete Informationen<br />

aus Datenanalysen, um die Kernprozesse optimal steuern und Verbesserungen erzielen zu können<br />

(DIN Deutsches Institut für Normung e. V., 2009).<br />

Die ISO 9000 ist auf einen prozessorientierten Ansatz begründet, in dem Abläufe und Strukturen<br />

identifiziert, definiert und gesteuert werden. Dabei werden Verantwortlichkeiten zu einzelnen Prozessen<br />

sowie Verfahren und Mittel zur Steuerung festgelegt. Als Prozess wird jede einzelne oder<br />

aufeinanderfolgende Tätigkeit verstanden, indem Ressourcen in Ergebnisse umgewandelt werden.<br />

Mit Blick auf eine wirksame Organisationsführung sind zahlreiche Prozesse zu definieren. „Das systematische<br />

Erkennen sowie Handhaben dieser verschiedenen Prozesse innerhalb einer Organisation,<br />

vor allem aber der Wechselwirkungen zwischen solchen Prozessen, wird als „prozessorientierter<br />

Ansatz“ bezeichnet“ (DIN Deutsches Institut für Normung e. V., 2005, S. 8).<br />

Die erfolgreiche Führung einer Organisation ist mit einer systematischen Leitung verbunden. Diese<br />

kann anhand eines Managementsystems gewährleistet werden, das eine permanente Leistungsverbesserung<br />

anstrebt, indem die Ansprüche aller interessierten Parteien Berücksichtigung finden. Eine<br />

Organisationsleitung umfasst somit auch das Qualitätsmanagement, um die Leistungsfähigkeit der<br />

Organisation zu verbessern. Für die ISO-9000-Reihe bilden nachfolgende Grundsätze die Basis für<br />

Qualitätsmanagement. Diese sind in der ISO 9000: 2005 wie folgt definiert:<br />

a) Kundenorientierung: Die Organisation soll gegenwärtige und zukünftige Anforderungen der Kunden<br />

erfüllen bzw. deren Erwartungen übertreffen<br />

b) Führung: Die Führungskräfte sollen die Definition von Zweck und Ausrichtung der Organisation<br />

gewährleisten, damit Betroffene entsprechende Ziele verfolgen können<br />

c) Einbeziehung der Personen: Mit Blick auf einen hohen Nutzen sind alle Beteiligten mit ihren<br />

Fähigkeiten vollständig in die Organisation einzubeziehen<br />

d) Prozessorientierter Ansatz: Zur Effizienzsteigerung werden Tätigkeiten und dazugehörige Ressourcen<br />

als Prozess gesteuert<br />

e) Systemorientierter Managementansatz: Die Steuerung von korrelierenden Prozessen bedingen<br />

eine höhere Wirksamkeit und Effizienz der Organisation bei einer Zielerreichung<br />

31


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

32<br />

f) Ständige Verbesserung: Die permanente Optimierung der Gesamtleistung der Organisation ist ein<br />

fortwährendes Ziel<br />

g) Sachbezogener Ansatz zur Entscheidungsfindung: Wirksame Entscheidungen basieren auf der<br />

Analyse von Daten und Informationen<br />

h) Lieferantenbeziehungen zum gegenseitigen Nutzen: Um die Wertschöpfungsfähigkeit zu erhöhen,<br />

sind Beziehungen zum gegenseitigen Nutzen zwischen der Organisation und Lieferanten anzu-<br />

streben (DIN Deutsches Institut für Normung e. V., 2005, S. 5–6).<br />

poSch et al. bezeichnen die Implementierung der ISO-Standards in den 90er Jahren als ‚quanti-<br />

tative Erfolgsstory‘, da eine Vielzahl von Unternehmen nach diesem Qualitätsmanagementsystem<br />

zertifiziert wurden. Allerdings gibt seit dieser Zeit kritische Diskussionen, die sich auf eine unpräzise<br />

Formulierung und das unzureichende Niveau der Qualitätsstandards beziehen. Darüber hinaus<br />

werden die hohen Zertifizierungskosten sowie die zunehmende Bürokratie bemängelt, die sich aus<br />

einer übermäßigen <strong>Dokument</strong>ation und dem Qualitätsmanagementhandbuch ergibt. Erstaunlich ist<br />

allerdings, dass sich die Qualität zertifizierter Unternehmen im Gegensatz zu anderen Firmen nicht<br />

deutlich verbessert (Posch, Altrichter & Rauscher, 1997, S. 57 ff.). Die ISO-9000-Reihe bezieht sich auf<br />

Standards für Qualitätssysteme in Betrieben und fokussiert die Qualität von Prozessen. Das Qualitätsmanagementsystem<br />

nimmt dabei keinen Bezug zur Qualität von Bildung selbst. Einige Versuche, die<br />

Qualitätsstandards auf Bildungseinrichtungen zu übertragen, nennen Akzeptanzprobleme von Seiten<br />

der Lehrkräfte. Darüber hinaus besteht im Bildungsbereich die Schwierigkeit, die Rolle der KundInnen<br />

sowie das intendierte Ergebnis bzw. den Output von Bildung zu definieren (Hügli, 1998, S. 21 ff.). Auch<br />

ein erfolgreicher Ablauf von Prozessen ist in schulischen Einrichtungen unter erschwerten Bedingungen<br />

zu überprüfen, da bezüglich einer Dienstleistung nur begrenzte Erfolgsindikatoren definiert werden<br />

können. Ferner ist die Zusammenarbeit von Operationsebenen in Bildungseinrichtungen nicht mit<br />

dem hierarchischen Aufbau von Unternehmen vergleichbar. Eine Standardisierung kann in Schulen<br />

insofern nur bedingt erfolgen, da gerade „[...] die Qualität im Bildungsprozess vom Eingehen auf die<br />

Besonderheiten der am Bildungsprozess Beteiligten in hohem Maße abhängig ist“ (Posch, Altrichter<br />

& Rauscher, 1997, S. 62). Letztlich ergibt sich der Nutzen für die Lernenden neben der Fachkompetenz<br />

der Lehrkraft und den physischen Rahmenbedingungen des Lerners auch aus dessen eigener,<br />

selbstbestimmten Aktivität. Aus den genannten Gründen wird in Bildungseinrichtungen oftmals eine<br />

organisatorische Implementierung begutachtet (Posch, Altrichter & Rauscher, 1997, S. 62).<br />

2.1.2.5.2 EFQM-Modell<br />

Die Europäische Gemeinschaft begann 1988 unter der Berücksichtigung des TQM (vgl. 2.3.1.1.2) ein<br />

Kriterienmodell für Dienstleistungsbereiche zu entwerfen. Daraufhin wurde die European Foundation<br />

for Quality Management (EFQM) durch die Europäische Gemeinschaft gegründet, um ganzheitliche<br />

Qualitätsmanagementkonzepte zu fördern und Unternehmen bei deren Umsetzung zu unterstützen.<br />

Seit 1992 können Unternehmen, die hervorragendes TQM praktizieren, mit dem European Quality<br />

Award (EQA) ausgezeichnet werden. Auf nationaler Ebene dient in Deutschland der Ludwig-Erhard-<br />

Preis zur Auszeichnung von Spitzenleistungen (Bülow-Schramm, 2006, S. 32).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Das EFQM Excellence Modell ist die neueste Version des europäischen Modells und stellt eine<br />

Grundstruktur zur Bewertung und Verbesserung von Organisationen dar, um Nachhaltigkeit erzielen<br />

zu können (European Foundation for Quality Management & Deutsche Gesellschaft für Qualität,<br />

2003, S. 3). Das EFQM-Modell basiert auf acht Grundkonzepten, die im Folgenden kurz erläutert<br />

werden (European Foundation for Quality Management et al., 2003, S. 5–7):<br />

• Ergebnisorientierung: Exzellenz bedingt eine ausgewogene Berücksichtigung der Interessen<br />

aller Anspruchsgruppen<br />

• Ausrichtung auf den Kunden: Exzellenz impliziert nachhaltigen Kundennutzen, indem eine eindeutige<br />

Ausrichtung in Bezug auf die Bedürfnisse gegenwärtiger und potenzieller Kunden erfolgt<br />

• Führung und Zielkonsequenz: Exzellenz beinhaltet eine visionäre und begeisternde Organisationsführung<br />

mit klaren und konsensfähigen Unternehmenszielen, um seitens der Einrichtung<br />

sowie ihrer Mitarbeiter überragende Leistungen erzielen zu können<br />

• Management mittels Prozessen und Fakten: Exzellenz wird durch eine Definition bzw. Steuerung<br />

von Systemen und Prozessen erzielt, wobei Entscheidungen auf umfassende Informationen<br />

basieren<br />

• Mitarbeiterentwicklung und -beteiligung: Exzellenz begründet das maximale Potenzial der Mitarbeiter,<br />

das durch deren Integration und Weiterentwicklung sowie durch gemeinsame Werte<br />

und einer Kultur des Vertrauens erreicht wird<br />

• Kontinuierliches Lernen, Innovation und Verbesserung: Exzellenz bezieht sich auf einen kontinuierlichen<br />

Prozess des Lernens, der Implementierung von Innovationen und Verbesserungen<br />

• Entwicklung von Partnerschaften: Exzellenz einer Organisation bezieht sich auf die Entwicklung<br />

und den Erhalt wertschöpfender Beziehungen zu deren Partnern<br />

• Soziale Verantwortung: Exzellenz bedeutet, bestehende Gesetze und Regelungen bezüglich<br />

ihrer Anforderungen zu übertreffen.<br />

Das EFQM-Modell bezieht sich auf die Prämisse, dass „exzellente Ergebnisse im Hinblick auf Leistung,<br />

Kunden, Mitarbeiter und Gesellschaft durch eine Führung erzielt werden, die Politik und Strategie,<br />

Mitarbeiter, Partnerschaften, Ressourcen und Prozesse auf ein hohes Niveau hebt“ (EFQM,<br />

1999, S. 8). Das Modell gliedert sich in neun Kriterien, die unterschiedlich gewichtet werden und in<br />

fünf Befähiger- und vier Ergebnisfaktoren unterteilt sind. Nachstehende Befähigerfaktoren beschreiben<br />

das Vorgehen einer Organisation und die Potenziale, die den strukturellen sowie humanen Input<br />

für eine optimale Ergebniserzielung begründen (EFQM, 1999, S. 8–29):<br />

• Führung: Führungskräfte entwickeln eine Vision und Mission der Organisation und fördern deren<br />

Erreichung. Darüber hinaus erarbeiten Führungskräfte erforderliche Werte für den langfristigen<br />

Erfolg des Unternehmens und verfolgen durch persönliches Engagement die Entwicklung und<br />

Implementierung eines Qualitätsmanagementsystems<br />

33


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

34<br />

• Politik und Strategie: Die Umsetzung der entwickelten Vision und Mission ist durch eine klare<br />

Strategie gekennzeichnet, die sämtliche Interessengruppen berücksichtigt. Das Vorgehen wird<br />

durch entsprechende Politik, Pläne, Ziele, Teilziele und Prozesse unterstützt<br />

• Mitarbeiterorientierung: Das organisationale Wissen und gesamte Potenzial der Mitarbeiter ist<br />

auf individueller, teamorientierter und organisationsweiter Ebene durch Management, Entwicklung<br />

und Entfaltung gekennzeichnet<br />

• Partnerschaften und Ressourcen: Externe Partnerschaften und interne Ressourcen sind durch<br />

Planungen und Management gekennzeichnet<br />

• Prozesse: Die Gestaltung, Steuerung und Verbesserung von Prozessen ist auf eine Erfüllung der<br />

Anforderungen aller Interessensgruppen sowie die Erhöhung der Wertschöpfung ausgerichtet.<br />

Folgende Ergebnisfaktoren beziehen sich auf erzielte Resultate der Organisation:<br />

• Kundenbezogene Ergebnisse: Organisationen ermitteln die Kundenzufriedenheit und -beziehungen<br />

anhand verschiedener Indikatoren.<br />

• Mitarbeiterbezogene Ergebnisse: Organisationen erheben verschiedenste Wahrnehmungen<br />

der Mitarbeiter anhand unterschiedlicher Kriterien.<br />

• Gesellschaftsbezogene Ergebnisse: Organisationen evaluieren die lokale, nationale und internationale<br />

Gesellschaft bezüglich der Meinung über das Unternehmen.<br />

• Schlüsselergebnisse: Organisationen führen in Bezug auf ihre Schlüsselleistungen, ihrer Politik<br />

und ihrer Strategie umfangreiche Erhebungen durch.<br />

Abbildung 3: Das EFQM Modell 2010 (Deutsche Gesellschaft zur Zertifizierung von Managementsystemen)


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Die Pfeile des Modells verdeutlichen die Dynamik des Modells, in dem Lernen, Kreativität und Inno-<br />

vation die Befähiger und schließlich auch die Ergebnisse optimiert (EFQM, 1999, S. 9). Das Modell<br />

wurde 1999 auf den neuesten Stand der Managementlehre gebracht und durch eine systematische<br />

Bewertungsmethode erweitert. Dieses erweiterte Kernstück des Modells ist die sog. RADAR-Logik,<br />

die sich aus den Elementen Results (Ergebnisse), Approach (Vorgehen), Deployment (Umsetzung),<br />

Assessment and Review (Bewertung und Überprüfung) bezieht (EFQM, 1999, S. 10 f.). Die Befähigerkriterien<br />

werden dabei anhand von Vorgehen, Umsetzung, Bewertung und Überprüfung bewertet,<br />

die Ergebnisse werden in Zahlen ausgedrückt (EFQM, 1999, S. 32 f.). Mit dieser Revision des Modells<br />

wird die zu Grunde liegende Philosophie nicht mehr nur auf Total Quality Management beschränkt,<br />

sondern lässt jede Art von Excellence zu. Excellence ist dabei als überragende Praxis beim Managen<br />

einer Organisation und beim Erzielen von Ergebnissen definiert (EFQM, 1999, S. 5).<br />

Die Anwendung des EFQM-Modells setzt allerdings ein umfassendes Unternehmensmanagement<br />

voraus, da die Methode der Selbstbewertung eine hohe Komplexität aufweist und die philosophische<br />

und begriffliche Konzeption des Modells ein gewisses Niveau an Managementkenntnissen<br />

erfordert. Einen weiteren Nachteil von EFQM bilden die Kriterien des Modells, die «[...] nicht für<br />

alle Unternehmen gleichermaßen aussagekräftig [sind]», beispielsweise bei Non-Profit-Unternehmen<br />

(Posch, Altrichter & Rauscher, 1997, S. 69). EFQM ist im Bildungsbereich anhand einer branchenspezifischen<br />

Version adaptiert und wurde im Rahmen des dreijährigen Modellversuchs ‚Quabs‘ zur<br />

Qualitätsentwicklung an beruflichen Schulen eingesetzt. Die Anwendung von EFQM brachte in den<br />

beruflichen Schulen allerdings auch einige Schwierigkeiten mit sich. So bestand beispielswiese<br />

das erste Problem darin, „[...] die bewusst abstrakt gehaltenen Inhalte des EFQM-Modells auf die<br />

Institution »Schule« zu übertragen. [...] Das Modellvorhaben zeigte weiter, dass die Forderung des<br />

EFQM-Modells, alle relevanten Strukturen und insbesondere (Schlüssel-)Prozesse zu messen, zu<br />

bewerten und zu überprüfen und die Systematik dieser Elemente transparent zu machen, von vielen<br />

beteiligten Schulen für den Schlüsselprozess »Unterricht« als nicht erfüllbar angesehen wurde» (Behrens<br />

& Esser, 2003, S. 42, 43). Die Methodik der Selbstbewertung bietet allerdings die Möglichkeit,<br />

zentrale Themen der Unterrichtsystematik zu diskutieren und zu verbessern (Behrens & Esser, 2003,<br />

S. 43). Derzeit findet das EFQM-Modell in Deutschland in den beruflichen Schulen im Bundesland<br />

Niedersachsen Anwendung (Wilbers, 23.06.2009).<br />

2.2 Evaluation als Teil des Qualitätsmanagements der Schule<br />

2.2.1 Definition des Begriffs Evaluation<br />

Das Wort ‚Evaluation‘ wird seit den sechziger Jahren in der Curriculumforschung verwendet und<br />

ist mittlerweile als fester Begriff in den Diskussionen um die Qualitätsarbeit in sämtlichen Bildungseinrichtungen<br />

(Schratz, 1995, S. 116 f.) sowie übergreifend in Bezug auf die Gestaltung des<br />

deutschen Bildungswesens eingebunden (Bauer, 2004, S. 161). Als Synonym zu Evaluation werden<br />

oftmals Nomen wie Erfolgs-, Wirkungs- oder Qualitätskontrolle bzw. Begleit-, Effizienz- oder Bewertungsforschung<br />

verwendet (Ditton, 2009, S. 607). Dieser Begriff Evaluation verbirgt verschiedene<br />

Bedeutungen und wird grundsätzlich als Bewertung und Bestimmung eines Wertes bzw. Beurteilung<br />

35


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

36<br />

[von Lehrplänen und Unterrichtsprogrammen] (Baer & Wermke, 2002, S. 287), Sachverhalten oder<br />

Objekten auf der Basis von Informationen definiert (Stockmann, 2010, S. 64). Präziser formuliert, ist<br />

eine Evaluation ein systematisches, professionelles Verfahren, das<br />

• „die Angemessenheit und Wirksamkeit von Bildungsprozessen und -systemen beurteilt;<br />

• die vorgefundene Qualität von Bildung im Vergleich mit den Qualitätsansprüchen ermittelt und<br />

dokumentiert;<br />

• Steuerungswissen liefert und dadurch<br />

• Schul- und Unterrichtsentwicklung fördert“ (Schweizerische Konferenz der kantonalen Erziehungsdirektoren,<br />

2008, S. 10).<br />

Auch bauer verdeutlicht, dass eine „[...] Evaluation nicht nur als empirisch wissenschaftlich fundierte<br />

Bewertung von Maßnahmen und Programmen in Verbindung mit Wirksamkeitszuschreibungen<br />

betrachtet [werden kann], sondern auch als eine Form der Intervention und Steuerung,<br />

das heißt des gezielten Eingriffs in Handlungsprozesse und pädagogisch geplante Lernarrangements“<br />

(Bauer, 2004, S. 161). Evaluation muss also in jedem Fall mehr bedeuten, als eine<br />

Datensammlung (Balzer, 2009, S. 198). Zunächst ergeben sich für die Bildungseinrichtung<br />

quantitative und qualitative Daten, um einen aktuellen Nachweis über vorhandene Qualitätslevel<br />

oder Hinweise für relevante Weiterentwicklungsoptionen zu erhalten und als lernende Institution<br />

einen kontinuierlichen Verbesserungsprozess zu initiieren. Diese sozialwissenschaftliche Forschungsmethode<br />

überprüft institutionelles und individuelles Handeln (Ernst, 2008, S. 15) und ist<br />

„[...] ein notwendiges Element jedes Konzepts zur Qualitätssicherung und -entwicklung“ (Schweizerische<br />

Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 9). Evaluationen machen<br />

eine Aussage über die Qualität einer Schule möglich (Gonon, 2001, S. 13) und gestalten sich im<br />

Schulsektor oftmals anspruchsvoll und schwierig, um die vielfältigen Qualitätsansprüche bzw.<br />

-anforderungen (vgl. 2.1.2.1.1) abzudecken (Schweizerische Konferenz der kantonalen Erziehungsdi-<br />

rektoren, 2008, S. 10). Nach kempFert & rolFF wird Evaluation „[...] als ein Prozess des systematischen<br />

Sammelns und Analysieren von Daten/Informationen [verstanden], um Bewertungsurteile zu ermöglichen,<br />

die auf begründeter Evidenz beruhen“ (Kempfert et al., 2002, S. 23). Ähnlich dazu bezeichnet<br />

Stockmann Evaluation als „[...] ein Instrument zur empirischen Generierung von Wissen, das mit einer<br />

Bewertung verknüpft wird, um zielgerichtete Entscheidungen zu treffen“ (Stockmann, 2010, S. 64).<br />

Stockmann stellt fest, dass diese drei Aspekte in verbreiteten Definitionen enthalten sind. Weitere in<br />

die Begriffsbestimmung integrierte Themen bilden die Bereiche wie Bewertung, Zweck, Verfahren<br />

und Methoden (Stockmann, 2010, S. 64 f.). Übergreifend kann festgestellt werden, dass eine Evaluation<br />

eine Entscheidungshilfe für weitere Maßnahmen begründet, wobei vor allem im Bildungsbereich<br />

die Auswertung und Interpretation der Daten von zentraler Bedeutung ist (Bauer, 2004, S. 163). Hohe<br />

oder niedrige Werte bzw. gute oder schlechte Ergebnisse ermöglichen noch keine Aussage über<br />

zugrundeliegende Ursachen. Aus diesem Grund ist eine umfassende Analyse von Daten erforderlich,<br />

um ganzheitliche Zusammenhänge erschließen zu können und auf dieser Basis sowie unter Berücksichtigung<br />

schulspezifischer Ziele (vgl. 2.1.2.1.3) weitere Schritte zu initiieren.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Stockmann stellt eine weitere Unterscheidung zwischen sog. Alltags- und wissenschaftlichen Evalua-<br />

tionen dar. Letztere kennzeichnet sich dadurch, „[...] dass sie (1) auf einen klar definierten Gegenstand<br />

[...] bezogen sind, (2) für die Informationsgenerierung objektivierende empirische Datenerhebungsmethoden<br />

eingesetzt und (3) die Bewertung anhand präzise festgelegter und offengelegter Kriterien<br />

(4) mit Hilfe systematisch vergleichender Verfahren vorgenommen wird. Die Evaluation wird (5) in<br />

der Regel von dafür besonders befähigten Personen (Evaluatoren) durchgeführt (6) mit dem Ziel,<br />

auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen“ (Stockmann, 2010, S. 66).<br />

Mit Blick auf die Planung einer Evaluation sind also die Fragen des Gegenstandes, dem Zweck, der<br />

Kriterien sowie der Methoden zu beantworten und verantwortliche Personen festzulegen. Bezüglich<br />

der vorliegenden Untersuchung der Wirksamkeit externer Evaluationen werden diese Themen in den<br />

Kapiteln 2.4, 3.1 und 3.2 beantwortet.<br />

2.2.2 Typen der Evaluation<br />

In der Literatur sind unter dem Begriff Evaluationsformen verschiedenste Definitionen und Typisierungen<br />

zu verzeichnen. Grundsätzlich kann festgestellt werden, dass für eine Klassifizierung „[...]<br />

die Verortung und Nutzung der Evaluation ausschlaggebend [ist]“ (Ernst, 2008, S. 17). Im Folgenden<br />

werden die für die vorliegende Untersuchung relevanten Begriffe definiert und erläutert.<br />

2.2.2.1 Formative versus summative Evaluation<br />

Evaluationen können grundsätzlich anhand einer formativen oder summativen Ausrichtung erfolgen<br />

und werden in der vorliegenden Arbeit als Evaluationsart bezeichnet. Formative Evaluationen dienen<br />

der Qualitätssicherung, in dem das Ziel der Weiterentwicklung und Optimierung einer Maßnahme<br />

verfolgt sowie Schwachstellen in der Umsetzung einer Maßnahme identifiziert werden (Scriven, 1972,<br />

S. 62). Das Ergebnis dieser Evaluation sind Empfehlungen für eine Optimierung des untersuchten<br />

Vorgangs (Tergan, 2000, S. 25). Eine formative Evaluation impliziert also Handlungen und Aktivitäten,<br />

um einen „Prozess kontinuierlich zu verbessern“ (Moser, 1999, S. 207). Summative Evaluationen<br />

beziehen sich auf die Überprüfung eines abgeschlossenen Programms und ermitteln dessen<br />

Ergebnisse (Scriven, 1972, S. 62). Diese Evaluationsart richtet sich eher an Entscheidungsträger<br />

wie beispielsweise die Schulleitung, da Interventions- oder Verbesserungsmaßnahmen nicht mehr<br />

initiiert werden können (Schimitzek, 2008, S. 23).<br />

2.2.2.2 Interne versus externe Evaluation<br />

Darüber hinaus unterscheiden sich Evaluationen in die interne Evaluation sowie die externe Evaluation,<br />

die Teil des Qualitätsmanagements der Schule sind (Dubs, 2009, S. 1210) und sich darin<br />

unterscheiden, wer die Hoheit über das Verfahren trägt (Dubs, 2004, S. 9). Interne Evaluation bedeutet,<br />

dass die Schule selbst ‚Herr‘ des Verfahrens ist. Sie entscheidet über die Ziele der Evaluation,<br />

den Einsatz von Instrumenten und den Zeitpunkt der Durchführung. Typische Verfahren der internen<br />

Evaluation sind die Befragung der eigenen Lehrkräfte, der SchülerInnen, der Betriebe oder der Eltern.<br />

Eine interne Evaluation erfolgt in mehreren Schritten (Keller, Landwehr & Steiner, 2003). Als Synonym<br />

37


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

38<br />

zur internen Evaluation wird häufig der Begriff Selbstevaluation verwendet. „Als Selbstevaluationen<br />

werden Verfahren bezeichnet, bei denen die Praxis gestaltenden Fachleute identisch sind mit den<br />

Evaluatorinnen bzw. Evaluatoren. D. h. die Akteure überprüfen ihre eigene Tätigkeit und deren Konsequenzen“<br />

(Müller-Kohlenberg & Beywl, 2003, S. 65). Im Gegensatz dazu bezeichnet bauer die interne<br />

Evaluation als Verfahren, in dem eine Tätigkeit von Organisationsmitgliedern durch andere Personen<br />

der Organisation (meist Organisationsexperten) untersucht werden (Bauer, 2004, S. 165).<br />

Das Pendant der internen Evaluation bildet die externe Evaluation. Interne Evaluationen einer<br />

Bildungseinrichtung „[...] bilden schliesslich auch die Voraussetzungen dafür, dass eine spätere<br />

Fremdevaluation ertragreich wird und deren Ergebnisse ebenfalls als Grundlage für weitere Entwicklungsschritte<br />

akzeptiert werden können“ (Schweizerische Konferenz der kantonalen Erziehungsdirektoren,<br />

2008, S. 12). Auch internationale Erfahrungen belegen, dass die Verwendbarkeit von<br />

Evaluationsergebnissen erhöht werden kann, wenn der externen eine interne Evaluation vorausgeht<br />

(Brägger et al., 2005, S. 73). „Externe Evaluationen werden von Personen durchgeführt, die<br />

nicht dem Fördermittelgeber oder der Durchführungsorganisation angehören. In der Regel weisen<br />

externe Evaluatoren deshalb eine größere Unabhängigkeit, eine profunde Methodenkompetenz und<br />

professionelles Evaluationswissen auf und kennen das Fachgebiet, in dem das Programm bzw.<br />

das Projekt angesiedelt ist“ (Stockmann, 2007, S. 62). Externe Untersuchungen können allerdings<br />

durch die Beurteilung von außenstehenden Personen auch Angstgefühle und Abwehrreaktionen mit<br />

sich bringen, die wiederum einen hemmenden Faktor für die Umsetzung der Evaluationsergebnisse<br />

darstellen (Stockmann, 2007, S. 62). Um diesen Tatsachen vorzubeugen, gelten folgende Prinzipien<br />

für die Durchführung externer Evaluationen:<br />

• Fairness gegenüber allen Beteiligten, Betrachtung der EvaluatorInnen als kritische Freunde<br />

• Diskretion, kein Blamieren beteiligter Personen<br />

• Symmetrische Kommunikation zwischen EvaluatorInnen und Evaluierten (Schießl, 2005, S. 5 f.).<br />

In Bezug auf eine zeitliche Abfolge ist die interne gegenüber der externen Evaluationen zu priorisieren,<br />

da diese „[...] erst den Boden bereitet, auf dem [Qualitätsmanagement] gedeihen und<br />

externe Evaluation wirken kann. Findet externe Evaluation statt, ohne dass in der Schule eine<br />

Evaluationskultur entstanden ist, »verpufft« sie: Sie wird von den Lehrpersonen nicht verstanden<br />

und schon allein deshalb nicht akzeptiert» (Kempfert et al., 2008, S. 13). Erst die Tatsache einer<br />

bestehenden Evaluationskultur sowie ein routinierter Umgang mit Untersuchungsergebnissen bzw.<br />

das Bewusstsein für die Nützlichkeit von Befragungen ermöglichen hilfreiche Anreize für die Bereiche<br />

der Unterrichts- Personal- und Organisationsentwicklung, die in die Schulentwicklung münden<br />

(Kempfert et al., 2008, S. 13).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

2.2.3 Externe Evaluation als Teil des Qualitätsmanagements der Schule<br />

2.2.3.1 Bedeutung der Externen Evaluation als Teil des Qualitätsmanagements der Schule<br />

Externe Evaluation ist Teil eines ganzheitlichen Qualitätsmanagements an Schulen (Brägger et<br />

al., 2005, S. 36). Qualitätsmanagement umfasst dabei die Einzelschritte der Qualitätsdefinition,<br />

-sicherung und -entwicklung (Dubs, 2006, S. 1209) (vgl. 2.1.2.1.2). Insbesondere kann Qualitätsmanagement<br />

als „[...] alle aufeinander abgestimmten Tätigkeiten [...] zur Leitung und Lenkung einer<br />

Organisation bezüglich Qualität [aufgefasst werden]. Sie umfassen üblicherweise die Festlegung der<br />

Qualitätspolitik, der Ziele und Verantwortungen und deren Verwirklichung durch u. a. Qualitätsplanung,<br />

-lenkung, -sicherung und -verbesserung“ (Bülow-Schramm, 2006, S. 16). Der Plan, Do, Check,<br />

Act-Kreislauf (PDCA-Zyklus) muss übergreifend auf das gesamte System übertragen werden, da „[...]<br />

modernes Qualitätsmanagement [...] als kontinuierlicher Verbesserungs- und damit als Lern-Prozess<br />

[verstanden wird]“ (Kempfert & Rolff, 2008, S. 41). Somit wird eine übergreifende Weiterentwicklung<br />

auf allen Ebenen einer Organisation erzielt, in dem Ziele festgelegt und Maßnahmen geplant (Plan),<br />

Programme umgesetzt (Do), Wirkungen gemessen (Check) und Korrekturen vorgenommen werden<br />

(Act) (Maritz et al., 2006, S. 22).<br />

Ein Evaluationsverfahren soll das schuleigene Qualitätsmanagement sowie die Schul- und Unterrichtsqualität<br />

extern überprüfen (Landwehr et al., 2007, S. 4). Ziel der Evaluation ist es also, die<br />

Qualität der Institution zu erfassen sowie Stärken und Schwächen in diesen Bereichen aufzudecken.<br />

Dies erfolgt, neben der Erstellung des Selbstberichts durch die Bildungseinrichtung selbst, mit Hilfe<br />

einer externen Begehung durch ein Evaluationsteam. Im Hinblick auf ein funktionierendes Qualitätsmanagement<br />

sowie einer exzellenten Schul- und Unterrichtsqualität sollen aufgedeckte Schwächen<br />

behoben und identifizierte Stärken ausgebaut werden (Carstensen, September 1997, S. 4–5). Dies<br />

kann einerseits dadurch erfolgen, dass die Bildungseinrichtung während des Verfahrens, zum<br />

Beispiel bei Erstellung des Selbstberichts, Defizite aufdeckt und unmittelbar Handlungen zur Beseitigung<br />

initiiert. Die andere Möglichkeit besteht darin, dass Verbesserungsmaßnahmen durch das<br />

Evaluationsteam deklariert werden. Eine Evaluation kann somit als „[...] Bindeglied zwischen Schulentwicklung<br />

und Qualitätssicherung“ (Müller, 2002, S. 9) bezeichnet werden und ist als Instrument<br />

in ein Qualitätsmanagementsystem eingebunden, um einer Bildungseinrichtung Rückmeldung zur<br />

Schul- und Unterrichtsqualität zu erteilen.<br />

2.2.3.2 Hintergrund externer Evaluationen<br />

In den letzten Jahren hat sich eine Reihe von Verfahren in Bezug auf die externe Evaluation von<br />

Schulen herausgebildet. Sie unterscheiden sich vor allem bezüglich der Zusammenstellung der EvaluatorInnen,<br />

der Rolle der Schulaufsicht und der damit verbundenen Vorstellung von der Zielsetzung<br />

der externen Evaluation (Kempfert et al., 2008, S. 217 ff.):<br />

• Audit: Bei einem Audit laden Schulen unabhängige ExpertInnen ein, die Schule zu beurteilen.<br />

Die eingeladenen ExpertInnen stammen in der Regel von einer Agentur bzw. werden von einer<br />

Agentur vermittelt (Salzbrenner, 2001, S. 45 f.).<br />

39


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

40<br />

• Peer-Review: Bei einem Peer-Review werden kritische Freunde (‚critical friends‘) eingeladen,<br />

einen kritischen Blick auf die Schule zu werfen. Die Schule sucht die Peers aus. Dies können<br />

Lehrkräfte oder Schulleitungen aus anderen Schulen, WissenschaftlerInnen und Personen aus<br />

Betrieben sein. Ein Peer-Review ist auf der institutionellen Ebene das, was das Individualfeedback<br />

auf der individuellen Ebene ist. Hier geht es vor allem um die Unterstützung von<br />

institutionellen Lernprozessen und nicht um Kontrolle (Gutknecht-Gmeiner, 2006, S. 118 ff.).<br />

• Schulberatung: Der Schulberatungsbesuch ist dem Peer-Review ähnlich. Allerdings ist bei<br />

einem Schulberatungsbesuch auch ein Vertreter der Schulaufsicht integriert. Dabei steht allerdings<br />

der Beratungsaspekt und nicht der Kontrollaspekt im Vordergrund.<br />

• Inspektion: Bei der Inspektion handelt es sich um eine Pflichtvisitation. Hierbei hat die zu<br />

evaluierende Schule kein oder nur sehr begrenztes Mitspracherecht hinsichtlich der Personen,<br />

die eine externe Evaluation durchführen. Die Schulaufsichtsbehörde meldet sich regelmäßig<br />

bei der Schule, um zuvor angekündigte Bereiche zu visitieren. Ein weiterer Indikator für eine<br />

zugrundeliegende Schulinspektion ist der Abschluss von Zielvereinbarungen auf der Basis der<br />

Evaluationsergebnisse. Das Inspektionsmodell ist Ausdruck eines starken Kontrollbedürfnisses<br />

des Staates und durch das hierarchische Prinzip gekennzeichnet (Müller, 2010a, S. 290 ff.).<br />

Diese verschiedenen Möglichkeiten werden als Hintergrund der Evaluation klassifiziert.<br />

2.2.3.3 Verlauf externer Evaluationen<br />

Bei aller Unterschiedlichkeit der Verfahren haben externe Evaluationen einen typischen Verlauf<br />

(Wilbers, 2007, S. 6):<br />

• Vorbereitung: In der Vorbereitungsphase wird die externe Evaluation innerhalb der Schule sowie<br />

mit den Schulexternen vorbereitet.<br />

• Selbstbewertung: Die Schule erstellt nach den Vorgaben des Qualitätsmanagementsystems<br />

einen Selbstbericht, in dem sie sich selbst in Bezug auf die Qualitätskriterien einschätzt.<br />

• Fremdbewertung: Der Selbstbewertung schließt sich eine Fremdbewertung durch die Evaluatorengruppe<br />

an. Im Regelfall werden dabei ein- bis zweitägige Schulbesuche vorgesehen. Die<br />

EvaluatorInnen berücksichtigen dabei vor allem die Angaben der Schule im Selbstbericht.<br />

• Feedback: Die Bildungseinrichtung erhält eine Rückmeldung auf der Basis der vorangehenden<br />

Bewertungen.<br />

• Nachbereitung: Nach der Vor-Ort-Begehung erstellt die Evaluatorengruppe einen Evaluationsbericht,<br />

der häufig mit der Schule abgestimmt wird (Wilbers, 2007, S. 6).


2.2.3.4 Ebenen externer Evaluationen<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Eine Primärevaluation bezieht sich auf die Kernprozesse einer Bildungseinrichtung und begutachtet<br />

„einen oder zwei Aspekte der Schul- und Unterrichtsqualität“ (Steiner et al., 2007, S. 27). Insbesondere<br />

ist die Qualität der Lehr-Lern-Prozesse und der unterstützenden Prozesse zu überprüfen, die<br />

im schulischen Alltag von der Schulleitung oder dem Kollegium übernommen werden (Brägger et al.,<br />

2005, S. 38). Im Mittelpunkt stehen Bedingungen, Prozesse und Ergebnisse der Schule (Staatsinstitut<br />

für Schulqualität und Bildungsforschung, 2007, S. 22), in dem Fragen zur Effektivität der Strukturen<br />

sowie der Wirksamkeit getroffener Maßnahmen begutachtet werden.<br />

Eine Metaevaluation hingegen ist eine Evaluation einer vorangehenden Evaluation oder eine Evaluation<br />

eines einzelnen Evaluationsprojektes. Diese Methode beschäftigt sich mit den festgesetzten<br />

Zielen der Untersuchung sowie deren Erreichung, dem zugrundeliegenden Forschungsdesign, den<br />

ausgewählten Zielgruppen und den Effekten der Untersuchung. Hierbei wird der Nutzen bzw. die<br />

Effektivität einer Evaluation nachweisbar (Bauer, 2004, S. 166 f.). Steiner & lanDWehr haben den<br />

Begriff der externen Evaluation weiter gefasst und bezeichnen hierbei eine Evaluation des gesamten<br />

Qualitätsmanagements. In diesem Zusammenhang werden Prozesse hinsichtlich der Aufrechterhaltung<br />

und Verbesserung der Schul- und Unterrichtsqualität überprüft. Insbesondere geht es um ein<br />

funktionierendes Qualitätsmanagementsystem, das alle wichtigen Voraussetzungen, Prozesse und<br />

Ergebnisse anhand von Soll-Ist-Vergleichen überprüft und laufend optimiert (Landwehr et al., 2007,<br />

S. 31). Die Implementierung eines Qualitätsmanagementsystems ist also die Voraussetzung für die<br />

Durchführung einer Metaevaluation, wobei diese Anforderung die Aussage erlaubt, dass die Qualität<br />

des Schul- und Unterrichtsbetriebs bereits ein gewisses Niveau erreicht haben muss, da gravierende<br />

Defizite bzw. Ist-Soll-Diskrepanzen bereits kontinuierlich ermittelt und angegangen werden (Brägger<br />

et al., 2005, S. 38). Eine Metaevaluation kann nur im Rahmen einer externen Evaluation erfolgen, da<br />

die zu untersuchenden Themen eine Untersuchung von externen Personen bedingen (Bauer, 2004,<br />

S. 166).<br />

bräGGer et al. bezeichnen Primärevaluationen anspruchsvoller als Metaevaluationen, „[...] weil ihr<br />

Gegenstand [bei umfassender Beurteilung der schulischen Qualität] komplexer und aufwändiger ist<br />

[...] und das Problem der verbindlichen Kriterien und Standards im Bereich des Unterrichts schwieriger<br />

zu lösen ist als im Bereich des Qualitätsmanagements“ (Brägger et al., 2005, S. 38). Darüber<br />

hinaus sprechen die Autoren der Primärevaluation eine höhere Relevanz zu, da hierbei die Kernaufgabe<br />

der Schule im Fokus steht und die Öffentlichkeit ein höheres Interesse an den Ergebnissen<br />

zu Primärqualitäten von Bildungseinrichtungen aufweist als im Bereich des Qualitätsmanagements<br />

(Brägger et al., 2005, S. 38). Dieser Argumentation kann insoweit widersprochen werden, da die<br />

Bescheinigung eines funktionierenden Qualitätsmanagementsystems für eine Bildungseinrichtung<br />

eine ebenso wertvolle Aussage darstellen kann und schließlich eine routinierte Qualitätsarbeit unter<br />

Berücksichtigung relevanter Steuerungs- und Feedbackmechanismen belegt. Mit Blick auf eine<br />

übergreifende Qualitätserhöhung der Bildungseinrichtung würde ein Wechsel zwischen Primär- und<br />

Metaevaluationen möglicherweise die optimale Gestaltungsform begründen, in dem beispielsweise<br />

initiierte Anschlussmaßnahmen an eine Metaevaluation nach gewissem Zeitabstand durch eine<br />

41


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

42<br />

Primärevaluation untersucht werden. Im Gegensatz dazu könnte die Verankerung überarbeiteter<br />

Prozesse oder Strukturen und das Zusammenspiel innerhalb des Qualitätsmanagements durch eine<br />

Metaevaluation erfolgen.<br />

2.2.3.5 Funktionen, Ziele bzw. Wirkungsbereiche externer Evaluationen<br />

Externe Evaluation verfolgt – zum Teil mit unterschiedlicher Gewichtung – verschiedene Ziele,<br />

die jedoch keineswegs immer klar sind. „Es gibt neben den offiziellen Deklarationen der Evaluationsagenturen<br />

eine Reihe von eher diffusen Erwartungen auf Seiten der verschiedenen Akteure“<br />

(Husfeldt, 2010, S. 3). Externe Evaluationen implizieren neben einem kritischen Blick von außen die<br />

Möglichkeit, ‚blinde Flecken‘ aufzudecken und Entwicklungsimpulse zu geben, indem auch gesetzte<br />

Ziele des Schulprogramms sowie definierte Qualitätsansprüche reflektiert werden (Schweizerische<br />

Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 12). Der ‚äußere Blickwinkel‘ auf die<br />

Bildungseinrichtung bildet auch die Möglichkeit, Chancen und Risiken zu identifizieren und von<br />

anderen Schulen zu lernen (Vaccaro, 2010, S. 169). bräGGer et al. erläutern weitere Funktionen, die im<br />

Folgenden kurz dargestellt werden:<br />

• Kritische Untersuchung der Bildungseinrichtung und Analyse vorhandener Stärken und Schwächen<br />

• Beurteilung der Schulqualität im Bereich der Vor- und Nachteile gegenüber anderen Schulen<br />

sowie des Profils<br />

• Durchführung einer umfassenden Qualitätsrecherche anhand eines umfassenden Fachwissens<br />

im Evaluationsbereich<br />

• Ermittlung von Qualitätsdefiziten in der Bildungseinrichtung<br />

• Erhöhung der Verbindlichkeit bezüglich der Umsetzung von Maßnahmen zur Optimierung der<br />

Schul- und Unterrichtsqualität<br />

• Professionelle Erhebung sinnvoller bzw. notwendiger Entwicklungsschwerpunkte zur Bekräftigung<br />

der Schulstrategie (Brägger et al., 2005, S. 36).<br />

Der Aspekt externer Evaluationsfunktionen wird in der Literatur auch mit der Perspektive der<br />

Wirksamkeit in Verbindung gebracht. So erläuterte die Schweizerische Konferenz der kantonalen<br />

Erziehungsdirektoren im Jahr 2008 zwei Funktionen von Evaluationen, die Schulentwicklung und die<br />

Rechenschaftslegung, da einerseits die Ergebnisse einer Evaluation als Rückmeldung bezüglich der<br />

Erfüllung des Bildungsauftrages, der Gestaltung der Rahmenbedingungen und der Zuteilung bzw.<br />

Verwendung von Ressourcen als belastbares Datenmaterial nach außen dienen (Schweizerische<br />

Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 10), beispielsweise für die Schulaufsicht,<br />

die Gesellschaft oder externen Akteure. Die Funktion der Rechenschaftslegung wird dabei<br />

hauptsächlich durch die Evaluation von Prozessen und Maßnahmen erfüllt (Schnoor et al., 2006,<br />

S. 32 f.). Andererseits werden innerhalb der Bildungseinrichtung durch die Ermittlung von Stärken<br />

und Schwächen Informationen für eine weitere Qualitätsentwicklung aufgedeckt (Schweizerische<br />

Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 10). Vor allem im Bereich der externen


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Evaluationen sind bei den unterschiedlichen Konzeptionen diese beiden Gegenpoole weiterhin stark<br />

zu erkennen. Die Aufgaben der externen Evaluation bewegen sich dabei „[...] im Spannungsfeld<br />

zwischen Rechenschaftslegung und Entwicklungsorientierung“ (Brägger et al., 2005, S. 35).<br />

Evaluationskonzepte, die den Schwerpunkt der Rechenschaftslegung verfolgen werden als<br />

‚pressure‘-Ansatz bezeichnet. Im Gegensatz dazu dient der ‚support‘-Ansatz „[...] auf die direkte<br />

Initiierung von Schulentwicklung durch die vertrauliche Rückmeldung von Informationen an Schulen“<br />

(Ackeren, 2003, S. 276). Die Kombination der beider Zielrichtungen bildet der ‚pressure and support‘-<br />

Ansatz, der mit Blick auf die Schulentwicklung die höchste Effektivität erzielt, da hierbei ein gewisser<br />

Wettbewerbsdruck zwischen den Schulen entsteht (Ackeren, 2003, S. 276). Liegt der Fokus im<br />

Wirkungsbereich der Rechenschaftslegung, so bemühen sich Schulen oftmals um eine vorteilhafte<br />

Darstellung der Bildungseinrichtung oder um eine Verheimlichung von Defiziten bzw. Schwachstellen.<br />

Erfolge hingegen werden in den Vordergrund gestellt. Im Gegensatz dazu neigen Einrichtungen<br />

im Bereich schulischer Entwicklungsfunktion zu einer realistischen Darstellungsweise, einer offenen<br />

Kommunikation von Fehlern und gezielten Analyse von Misserfolgen (Galetzka, 17.03.2008, S. 8).<br />

lanDWehr erweiterte die beiden genannten Funktionen externer Evaluationen durch die Entwicklung<br />

eines ganzheitlichen Wirkungsmodells, das die externe Schulevaluation in ein differenzierteres und<br />

komplexeres Wirkungsgefüge integriert und dabei mindestens vier Hauptfunktionen vorsieht (Landwehr,<br />

2011, S. 39):<br />

• Externe Evaluation als Instrument der Erkenntnisgewinnung, um Aufschluss über Ist-Soll-<br />

Differenzen zu erhalten<br />

• Externe Evaluation als Instrument der Schulentwicklung, um Schul- und Unterrichtsentwicklung<br />

zur Beseitigung von Qualitätsdefiziten anzustoßen und profilbildende Stärken zu intensivieren<br />

• Externe Evaluation als Instrument der Rechenschaftslegung, um eine glaubwürdige Datengrundlage<br />

für einen datengestützten Qualitätsnachweis zu erhalten<br />

• Externe Evaluation als Instrument der Normendurchsetzung, um Normen durch den Evaluationsprozess<br />

durchzusetzen.<br />

lanDWehr erläutert, dass zwischen diesen vier Hauptfunktionen externer Evaluation eine Interdependenz<br />

besteht, da „[...] beispielsweise das Wissen über den qualitativen Zustand der Schule<br />

gleichzeitig die Grundlage für das Anstossen von Entwicklungsprozessen und für den bilanzierenden<br />

Qualitätsnachweis [bildet]. Oder: Die Rechenschaftslegung selbst ist ein wichtiger Einflussfaktor<br />

sowohl für die Entwicklungsfunktion [...] als auch die Normendurchsetzung“ (Landwehr, 2011, S. 40).<br />

Aus diesem Grund fordert lanDWehr, dass ein Wirkungsmodell auch die wichtigsten Interaktionseffekte<br />

zwischen den Bereichen berücksichtigen muss, die im folgenden Modell abgebildet sind:<br />

43


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

44<br />

Abbildung 4: Wirkungsbereiche der externen Schulevaluation und ihre Interaktionseffekte nach<br />

lanDWehr (Landwehr, 2011, S. 41)<br />

ehren & ViSScher erläutern, dass externe Evaluationen, die das primäre Ziel der Schulentwicklung<br />

verfolgen, besser durch ‚kritische Freunde‘ durchgeführt werden (Ehren & Visscher, 2006, S. 53).<br />

Daraus lässt sich die These ableiten, dass Peer Reviews für die Entwicklung von Schulen geeigneter<br />

sind als beispielsweise die Schulinspektion (vgl. 2.2.3.2). burkharD fordert, die Funktionen externer<br />

Evaluationen nicht isoliert voneinander zu betrachten, da ein modernes Steuerungssystem eine Integration<br />

der genannten Wirkungsbereiche beansprucht. Aus diesem Grund werden der externen Evaluation<br />

sowohl normierende und kontrollierende als auch unterstützende und stimulierende Aufgaben<br />

abverlangt (Burkhard, 2005, S. 95). In diesem Zusammenhang wird allerdings die Unterstützung der<br />

Schulentwicklung meist als zentrale Zielsetzung gesehen. Auf dieses Ziel konzentrieren sich Ausführungen<br />

und Annahmen zur Wirksamkeit, die in Kapitel 2.4 weiter erläutert werden. Externe Evaluation<br />

ist in diesem Verständnis ein Katalysator für Schulentwicklung bzw. Schulevaluation. Die externe<br />

Evaluation führt zu Veränderungsvorschlägen von Seiten der EvaluatorInnen, die in der Schule nicht<br />

einfach übernommen, sondern adaptiert werden, also Innovationen auslösen, die selbst wieder zu<br />

Änderungen in den Leistungen der Schule bzw. den Änderungen in den kurz- und langfristigen<br />

Wirkungen von Schule führen sollen.<br />

Mit Blick auf die Funktion der Rechenschaftslegung wird in der vorliegenden Arbeit die Tatsache<br />

verbunden, dass auf der Basis der externen Evaluation Zielvereinbarungen mit der Schulaufsicht<br />

folgen. Hierbei werden hierarchisch übergeordnete Instanzen in den Prozess der externen Evaluation<br />

integriert, in dem am Ende des Verfahrens Folgemaßnahmen vereinbart werden oder auch bereits


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

während des Schulbesuchs die Teilnahme an der Ergebnispräsentation erfolgt. Die unterschiedlichen<br />

Wirkungsbereiche werden in Kapitel 5.2 weiter aufgegriffen, in dem die verschiedenen Konzepte<br />

externer Evaluationen gegenübergestellt und deren Wirkungen diagnostiziert werden. In diesem<br />

Zusammenhang sind primär die Funktionen der Rechenschaftslegung bzw. der Schulentwicklungsfunktion<br />

festzustellen (vgl. 5.2.2.2).<br />

2.2.3.6 Referenzrahmen externer Evaluationen<br />

Evaluationen sollten sich auf einen Referenzrahmen beziehen, die einen anzustrebenden Soll-<br />

Zustand definieren, um anhand der ermittelten Ergebnisse einen Soll-Ist-Vergleich durchführen zu<br />

können. Als Referenzrahmen dienen u. a. Vorgaben der Bildungspolitik in Form von Lehrplänen,<br />

selbst entwickelte Qualitätsansprüche anhand eines Schulprogramms oder Leitbild, internationale<br />

Standards durch Bildungsstandards bzw. internationale Tests sowie Standards, die das jeweilige<br />

Qualitätsmanagementsystem vorgeben (Schweizerische Konferenz der kantonalen Erziehungsdirektoren,<br />

2008, S. 16). Ein zugrundeliegender Referenzrahmen sorgt für Transparenz innerhalb des<br />

externen Verfahrens, da die Bildungseinrichtung auf dieser Basis im Vorfeld in der Lage ist, mögliche<br />

Untersuchungsfelder abzustecken. Liegt einer externen Evaluation ein Referenzrahmen zugrunde,<br />

wird von einer kriteriengeleiteten in anderen Fällen von einer beobachtend-beschreibenden bzw.<br />

explorativen Evaluation gesprochen.<br />

Im Rahmen der vorliegenden Arbeit wird ein Referenzrahmen in Bezug auf eine Meta-Evaluation als<br />

Grundlage für die anschließende externe Evaluation verstanden, in dem eine Selbsteinschätzung<br />

der einzelnen Komponenten des Qualitätsmanagements erfolgt, um eine Aussage bezüglich des<br />

Soll-Zustands der jeweiligen Qualitätsbereiche zu erhalten. Übergreifend bietet diese schulinterne<br />

Bewertung auch die Möglichkeit, eine Aussage über die Qualität der Bildungseinrichtung als Ganzes<br />

zu treffen. Sowohl die detaillierten Angaben einzelner Qualitätsbereiche als auch die ganzheitliche<br />

Aussage hinsichtlich des Qualitätslevels bilden die Grundlage für das anstehende externe Verfahren.<br />

Auf der Ebene einer Primärevaluation bildet ein Referenzrahmen ebenso die Basis für eine externe<br />

Evaluation. Allerdings beziehen sich diese Eckpunkte auf Prozesse innerhalb der Bildungseinrichtung.<br />

Hierbei sind zunächst Managementprozesse einzuordnen, die neben der Führung von MitarbeiterInnen<br />

(Seitz & Capaul, 2007, S. 297 ff.) auch eine strategische, normative und operative Ausrichtung<br />

der Einrichtung betreffen (Buichl, Heinrich, Wilbers & Wittmann, 2010, S. 4). Daneben beinhalten<br />

die Kern- bzw. Geschäftsprozesse die Schule als Organisationseinheit sowie den Unterricht.<br />

Supportprozesse unterstützen die anderen Prozesse und beinhalten beispielsweise die Bereiche<br />

Umwelt, Personalwesen, Gesundheit, Sicherheit, Wissensmanagement, Finanzwesen, Beschaffung,<br />

Prozess- und Informationsmanagement oder Kommunikation (Feldmayer et al., 2005, S. 21).<br />

45


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

46<br />

2.3 Ausgewählte Qualitätsmanagementsysteme in Schulen<br />

2.3.1 Q2E-basierte Qualitätsmanagementsysteme<br />

Im Folgenden werden verschiedene Qualitätsmanagementsysteme (QMS) auf dem Entwicklungs-<br />

stand des Jahres 2009 beschrieben.<br />

2.3.1.1 Qualität durch Evaluation und Entwicklung (Q2E)<br />

2.3.1.1.1 Entwicklung und Ziele von Q2E<br />

Das Q2E-Modell basiert auf einem Projekt, in dem einerseits die Thematik des Begriffs Qualität<br />

auf Schulen übertragen werden sollte, um betriebliche und technische Ideen, Instrumente und<br />

Konzepte in Bildungseinrichtungen zu testen. Andererseits sollten die Erfahrungen im Bereich der<br />

Zusammenfügung zwischen Schul- und Unterrichtsentwicklung aus dem vorangegangenen Projekt<br />

‚Erweiterte Lernformen‘ der Nordwestschweizerischen Erziehungsdirektorenkonferenz (NW EDK) auf<br />

die Sekundarstufe II übertragen werden, wobei sich der Fokus des Projekts zunehmend auf den<br />

Aufbau eines schulinternen Qualitätsmanagements richtete (Steiner et al., 2007, S. 14). Der Einsatz<br />

bereits bestehender Qualitätssysteme wurde auf der Grundlage der Projektziele geprüft (Landwehr,<br />

2004). Allerdings konnten diese Modelle aufgrund der spezifischen Ausgangslage nicht realisiert<br />

werden, was zu einem Aufbau des Qualitätsmodells Q2E führte (Steiner et al., 2007, S. 17). Das Projekt<br />

‚Qualitätsentwicklung auf der Sekundarstufe II‘ wurde im Rahmen in den Jahren 1996 bis 2002<br />

an insgesamt 16 Schulen entwickelt und von der NW EDK in Auftrag gegeben (Steiner et al., 2007,<br />

S. 2, 3), um „die Möglichkeiten und Grenzen einer Qualitätsentwicklung und -sicherung zu erkunden,<br />

die sich an dem «neuen» Qualitätsverständnis Total-Quality-Managements (TQM) orientiert […]“<br />

(Steiner et al., 2007, S. 6). Steiner übernahm hierbei die Projektleitung (Steiner et al., 2007, S. 2, 3),<br />

lanDWehr fungierte als Beratungsorgan in den Schulen (Steiner et al., 2007, S. 47). Steuergruppen<br />

wurden sowohl auf globaler und lokaler Ebene gegründet, die übergreifend bzw. schulintern die<br />

Verantwortung und Organisation übernahmen (Steiner et al., 2007, S. 52 f.). Zur Unterstützung des<br />

erfolgreichen Projektverlaufs wurden Meilensteine, wie Aufbau einer Feedbackkultur, Einführung<br />

einer Evaluation, Erarbeitung einer Qualitätsdokumentation und Durchführung einer externen<br />

Evaluation herausgearbeitet (Steiner et al., 2007, S. 53). Projektpläne mit individuellen -zielen und<br />

-schwerpunkten mussten im Bereich der Schulen von den Bildungseinrichtungen selbständig erarbeitet<br />

werden, um die einzelnen Handlungsspielräume zu erhöhen, was wiederum zu einer höheren<br />

Akzeptanz unter den Beteiligten führte (Steiner et al., 2007, S. 15). Bereits am Ende des Projekts<br />

stand die Ausweitung in andere Schulformen und Weiterverfolgung des Systems außer Frage. Es<br />

wurde sogar eine Verpflichtung zum Aufbau eines schulinternen Qualitätsmanagements und eine<br />

flächendeckende Entwicklung angedacht (Steiner et al., 2007, S. 69).<br />

Q2E verfolgt das Ziel, „Schulen beim Aufbau eines schulinternen Qualitätsmanagements zu unterstützen“<br />

(Landwehr et al., 2007, S. 8) sowie eine Feedbackkultur zu schaffen. capaul bezeichnet Q2E<br />

als Gegenbewegung zu ISO und anderen lohnwirksamen Qualitätsmanagementsystemen, die in den


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

90iger Jahren in der Schweiz implementiert wurden, da hierbei der Unterricht, also das Lehren bzw.<br />

Lernen und nicht nur Verwaltungsprozesse fokussiert werden. Darüber hinaus erfolgen durch Q2E<br />

keine finanziellen Auswirkungen auf die Besoldung einer Lehrkraft (Capaul, 14.12.2009). Im weiteren<br />

Verlauf entwickelte sich Q2E in Deutschland als Basismodell, da es für zahlreiche Bundesländer<br />

wie Bayern, Baden-Württemberg, Bremen, Hessen und Mecklenburg-Vorpommern als Orientierung<br />

dient und sich gegenüber anderen Systemen wie EFQM oder ISO behauptete (Zöller, 2007a, S. 6 f.).<br />

2.3.1.1.2 Das Modell Q2E<br />

Q2E ist die Abkürzung für ‚Qualität durch Evaluation und Entwicklung‘ (Steiner et al., 2007) und<br />

symbolisiert ein Rahmenmodell für den Aufbau eines ganzheitlichen Qualitätsmanagements (Landwehr,<br />

2004), das der Schul- und Organisationsentwicklung dient. Es verfolgt das Ziel, „Schulen beim<br />

Aufbau eines schulinternen Qualitätsmanagements zu unterstützen“ (Landwehr et al., 2007, S. 8)<br />

sowie eine Feedbackkultur zu schaffen.<br />

Dem Modell liegt das Total Quality Management (TQM) zugrunde. TQM ist eine „umfassende<br />

Managementkonzeption, nach der sich das gesamte Management verpflichtet, TQM vorzuleben.<br />

Einbezogen sind alle Mitarbeiter, die in der Organisation permanent lernen und verbessern. Die<br />

Ausrichtung der Organisation erfolgt auf den Kunden, wobei die Tatsachen zählen, d. h. Maßnahmen<br />

sind mit Daten zu belegen, einfach Begründungen reichen nicht. Prozesse stehen in der Organisation<br />

im Mittelpunkt und wirken als Katalysator zwischen Input und Output. Die externen und internen<br />

Kunden-/Lieferantenbeziehungen sind Bestandteil von TQM“ (Bülow-Schramm, 2006, S. 26). TQM<br />

begründet ein Qualitätsmanagement, das alle Bereiche und Ebenen einer Organisation integriert, um<br />

kontinuierliche Steigerungen der Qualität, weitere Erschließungen von Potentialen sowie eine Erfüllung<br />

der Kundenanforderungen erzielen zu können (Hirsch-Kreinsen, 1997, S. 3). Der Grundgedanke<br />

des TQM ist in der folgenden Graphik verdeutlicht, da Qualität im Sinne einer permanenten Prozessoptimierung<br />

durch die Schritte ‚Plan‘, ‚Do‘, ‚Check‘, ‚Act‘ (PDCA) definiert wird, um Ergebnisse und<br />

Verbesserungen permanent in einen Prozess einzuarbeiten (Steiner et al., 2007, S. 7). Dieser Zyklus<br />

wird als PDCA-Zyklus oder DeminG-Kreis bezeichnet, der aus den Teilschritten der folgenden Graphik<br />

basiert und sich auf die Grundannahme bezieht, dass jeder Vorgang als Prozess identifiziert und<br />

optimiert werden kann.<br />

47


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

48<br />

Abbildung 5: Deming-Kreis (Steiner et al., 2007, S. 7)<br />

Der erste Schritt besteht aus der Entwicklung eines Plans (plan), um eine effektive Optimierung<br />

erzielen zu können. Dabei werden wichtige Ergebnisse und mögliche Probleme, relevante Änderun-<br />

gen oder neue Erfahrungen berücksichtigt. Im Folgenden erfolgt eine Umsetzung des Plans (do).<br />

Danach werden relevante Daten gesichtet, um die Effekte der Maßnahme zu überprüfen (check).<br />

Schließlich werden anhand der Ergebnisse Möglichkeiten für weitere Optimierungen erarbeitet (act),<br />

die in den nächsten PDCA-Zyklus einfließen. DeminG erläutert, dass dieser Kreislauf ursprünglich von<br />

seinem Lehrer SheWart entwickelt wurde (Kamiske & Brauer, 2008, S. 305–306). Q2E internalisiert<br />

den DeminG-Kreis im Sinne eines neuen Qualitätsverständnisses. Das Modell besteht aus sechs Komponenten,<br />

die den schulinternen Gestaltungsspielraum darstellen (Steiner et al., 2007, S. 18). Den<br />

Kern des Modells bildet der Baustein Qualitätsleitbild, der die Qualitätsziele einer Schule beinhaltet.<br />

Die vier folgenden Komponenten stehen in direktem Zusammenhang mit dem Qualitätsleitbild und<br />

bilden die Eckpunkte des Systems:<br />

• Individualfeedback und persönliche Qualitätsentwicklung<br />

• Selbstevaluation und Qualitätsentwicklung der Schule<br />

• Steuerung der Q-Prozesse durch die Schulleitung<br />

• externe Evaluation.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Diese Komponenten ermöglichen einerseits das Erkennen etwaiger Diskrepanzen zwischen der<br />

gegenwärtigen Praxis und dem angestrebten Qualitätsanspruch. Andererseits ist es zum Aufbau<br />

eines Qualitätsmanagements notwendig, regulierende Veränderungsprozesse zu durchlaufen (Steiner<br />

et al., 2007, S. 19–30), um eine Verbesserung von Qualität zu erhalten. Der sechste Baustein,<br />

die Zertifizierung, wurde auf Verlangen der Projektschulen nachträglich entwickelt und bescheinigt<br />

neben einer Erreichung der Qualitätsziele ein funktionierendes Qualitätsmanagement (Landwehr &<br />

Steiner, 2007, S. 7). Im Folgenden werden die einzelnen Elemente kurz beschrieben.<br />

Abbildung 6: Die Komponenten des Q2E-Modells nach Steiner/Landwehr (Steiner et al., 2007, S. 18)<br />

49


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

50<br />

2.3.1.1.2.1 Das Qualitätsleitbild<br />

Das Qualitätsleitbild dient als zentraler Ausgangspunkt für alle Aktivitäten im Bereich Qualität, da<br />

hierbei Schulen eigene Werte, Normen und Standards (Soll-Aussagen) sowie Qualitätsansprüche<br />

definieren, um sie anschließend mit der realen Praxis (Ist-Zustand) zu vergleichen. Eventuelle Diskrepanzen<br />

(Soll-Ist-Unterschiede) sollen mit Hilfe des internen Qualitätsmanagements kontinuierlich<br />

geschlossen werden.<br />

Ziel dieser Komponente ist neben der Weiterentwicklung der Schul- und Unterrichtsqualität die<br />

Erfüllung der Rechenschaftslegung durch einen umfassenden Qualitätsnachweis (Steiner et al.,<br />

2007, S. 19). Das Leitbild wird mit Hilfe eines Basisinstruments entworfen, das die fünf Qualitätsbereiche<br />

‚Inputqualität‘, ‚Prozessqualität Schule‘, ‚Prozessqualität Unterricht‘, ‚Outcomequalität‘<br />

und ‚Qualitätsmanagement‘ mit insgesamt 15 Qualitätsdimensionen umfasst (Landwehr, 2007, S. 4).<br />

Übergreifend erstreckt sich der Bereich Qualitätsmanagement über die Input-, Prozess- und Outputqualitäten,<br />

da hierbei zentrale Funktionen verankert sind. Das Basisinstrument fungiert bei der<br />

Implementierung und Anwendung von Q2E als Hilfsmittel, in dem es neben der Entwicklung eines<br />

schulinternen Leitbilds als Ausgangspunkt zur Erarbeitung von eigenen Selbst- oder Fremdevaluationsinstrumenten<br />

dient (Landwehr, 2007, S. 5).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Abbildung 7: Basisinstrument zur Schulqualität (Landwehr, 2007)<br />

51


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

52<br />

Die Schule fixiert im Leitbild einzelne Leistungsstandards und Qualitätsaussagen, die fortlaufend zu<br />

aktualisieren und zu ergänzen sind, um ‚blinde Flecken‘ im schuleigenen Qualitätsverständnis und<br />

neue -ansprüche aufzudecken (Landwehr, 2007, S. 6–13). Dies dient einerseits zur Offenlegung der<br />

Ziele für sämtliche Stakeholder der Bildungseinrichtung sowie als Vision für die weitere Schulentwicklung.<br />

Darüber hinaus bildet diese Q2E-Komponente einen normativen Rahmen für Evaluationen<br />

und Beurteilungen, da es innerhalb des Lehrerkollegiums zu entwickeln ist und dadurch eine hohe<br />

Akzeptanz genießt (Steiner et al., 2007, S. 19).<br />

2.3.1.1.2.2 Individualfeedback und persönliche Qualitätsentwicklung<br />

Qualität kann in einer Bildungseinrichtung durch zwei Wege her- bzw. sichergestellt werden: ‚institutionelles<br />

Lernen‘ überprüft mit Hilfe der Selbstevaluation institutionelle Rahmenvorgaben und Prozesse<br />

(vgl. 2.3.1.1.2.3). Eine weitere Möglichkeit bildet das ‚individuelle Lernen‘ in Form einer individuellen<br />

Praxisreflexion, das von Feedbackprozessen unterstützt ist (Landwehr, 2007, S. 6). D. h. die Lehrkraft<br />

erhält über das Individualfeedback eine subjektive Rückmeldung über das persönliche Handeln und<br />

kann so Ist-Soll-Abweichungen bezüglich der Handlungsziele bzw. Qualitätsansprüche ermitteln und<br />

anschließend eine Optimierung von Verhaltensweisen vornehmen (Landwehr, 2007, S. 19).<br />

Das Individualfeedback dient als Anstoß zum Veränderungsprozess hinsichtlich der Verbesserung<br />

des Unterrichts, dem Kerngeschäft eines Pädagogen sowie der persönlichen Weiterentwicklung der<br />

Lehrkraft (Steiner et al., 2007, S. 21) und sollte deshalb besonderen Stellenwert erlangen. In erster<br />

Linie werden hierbei Schüler, Kollegen und Schulleitung, aber auch Bildungspartner, wie Eltern oder<br />

Abnehmerschulen, angesprochen, den Unterricht zu reflektieren (Landwehr, 2007, S. 14). Dieses sog.<br />

360°-Feedback verdeutlicht die Notwendigkeit vielfältiger Datenerhebungen, um eine annähernd<br />

realistische Einschätzung des eigenen Handelns zu erhalten (Landwehr, 2004). Überwiegend dienen<br />

schriftliche oder mündliche Befragungen, in manchen Fällen auch Unterrichtsbeobachtungen zur<br />

Datenerhebung (Landwehr, 2007, S. 49–59).<br />

Die Ergebnisse ermöglichen dem Lehrer, einerseits seine persönlichen Stärken und Schwächen<br />

bzw. die Effizienz und Effektivität seines Handelns im Berufsalltag zu identifizieren. Andererseits<br />

erfährt er, wie von den Beteiligten der Unterricht wahrgenommen wird (Landwehr, 2007, S. 9). Diese<br />

Fremdeinschätzung soll dem Anstoß der eigenen Reflexion und der Ermittlung von Abweichungen im<br />

Hinblick auf die Eigenwahrnehmung dienen, um anschließend Maßnahmen zur Optimierung treffen<br />

zu können (Landwehr, 2007, S. 19).<br />

Hervorzuheben ist, dass Individualfeedback keine qualifizierende Beurteilung im Sinne eines Mitarbeitergespräches<br />

ist, da ausschließlich die Weiterentwicklung der einzelnen Lehrkraft und seines<br />

Unterrichts im Vordergrund steht (Landwehr, 2007, S. 10).<br />

2.3.1.1.2.3 Selbstevaluation und Qualitätsentwicklung der Schule<br />

Die Qualität einer Bildungseinrichtung kann in Form des ‚institutionellen Lernens‘ durch die Überprüfung<br />

der institutionellen Rahmenvorgaben und Prozesse sichergestellt werden (Landwehr, 2007, S. 6).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Hierbei wird die Logik des Individualfeedbacks auf die komplette Bildungseinrichtung übertragen, in<br />

dem regelmäßig durchgeführte Selbstevaluationen eine Rückmeldung an die Schule als Ganzes<br />

ermöglichen (vgl. 2.2.2.2). Q2E betrachtet hierbei die Bereiche der ‚Schulführung‘, ‚Schulorganisation<br />

und Schuladministration‘ sowie ‚kollegiale Zusammenarbeit und Schulkultur‘. Die möglichst wirklichkeitsnahe<br />

Qualitätserfassung der Institution im Hinblick auf die Prozesse zur Qualitätssicherung und<br />

-entwicklung ermöglichen eine schrittweise Weiterentwicklung der Schule (Steiner et al., 2007, S. 23),<br />

da Ist-Soll-Vergleiche zwischen der am Ende festgestellten Qualitätsdiagnose und dem Qualitätsleitbild<br />

die Grundlage für die Erarbeitung von Maßnahmen zur Optimierung der Qualitätsentwicklung<br />

bilden (Landwehr, 2004).<br />

Die Selbstevaluation kann sowohl in einzelnen Qualitätsbereichen, sog. Fokusevaluationen als auch<br />

in der kompletten Einrichtung durch eine Breitbandevaluation erfolgen (Steiner et al., 2007, S. 23). Für<br />

dieses Vorgehen sind neun Einzelschritte konzipiert, die sich von der Festlegung des Evaluationsauftrages<br />

bis zum Verfassen eines Evaluationsberichts erstrecken (Landwehr, Steiner & Keller, 2007, S. 7).<br />

Die Datenerhebung ist mit quantitativen Methoden in Form strukturierter Fragebögen und Beobachtungen<br />

oder einer Analyse von Daten möglich. Als Alternative stehen im qualitativen Bereich Fragebögen<br />

mit offenen Antworten oder verschiedene Formen des Interviews zur Verfügung (Landwehr et<br />

al., 2007, S. 58).<br />

Die Einbeziehung des Kollegiums bei der Dateninterpretation bildet die Basis für ‚institutionelles<br />

Lernen‘ und ist von elementarer Bedeutung, um eine hohe Identifikation der Pädagogen mit der<br />

Schule und eine gemeinsame Qualitätsentwicklung zu erzielen (Steiner et al., 2007, S. 23). Eine<br />

gemeinsame Betrachtung der Ergebnisse von verschiedenen Seiten des Kollegiums impliziert eine<br />

umfassende Problem- und Lösungssicht sowie eine breite Unterstützung des Kollegiums bei der<br />

Umsetzung von Maßnahmen, die wiederum zentrale Voraussetzung für eine erfolgreiche Optimierung<br />

der Qualitätsdefizite darstellt.<br />

Neben institutionellem Lernen durch eine schrittweise Verbesserung der Schule aufgrund der Behebung<br />

von Qualitätsdefiziten hat die Selbstevaluation weitere Aufgaben: Förderung der Transparenz<br />

von individueller und institutioneller Verantwortlichkeiten, da unklare Positionen und Sachverhalte<br />

definiert werden. Daneben dient eine Veröffentlichung von Ergebnissen der Rechenschaftslegung,<br />

da externe Personen durch objektiv erhobene Daten eine klare Einsicht in die Schulqualität erhalten<br />

(Steiner et al., 2007, S. 23).<br />

Nach Steiner & lanDWehr erhöht die interne Evaluation die Leistungsfähigkeit der Schule, da hierbei<br />

institutionelle Rahmenbedingungen, unterrichtsübergreifende Prozesse sowie schulkulturelle Eigenheiten<br />

kontinuierlich untersucht und optimiert werden (Steiner et al., 2007, S. 23). Darüber hinaus<br />

impliziert diese Q2E-Komponente eine stärkere Identifikation des Kollegiums mit der Bildungseinrichtung<br />

als Ganzes, da sich die Beteiligten „für die Qualität der Schule mitverantwortlich“ (Steiner<br />

et al., 2007, S. 23) fühlen.<br />

53


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

54<br />

2.3.1.1.2.4 Steuerung der Q-Prozesse durch die Schulleitung<br />

Der Aufbau und die Umsetzung von qualitätssichernden und -entwickelnden Prozessen im Hinblick<br />

auf ein schulinternes Qualitätsmanagement (Steiner et al., 2007, S. 25) sowie die Gewährleistung von<br />

Unterstützung in diesem Vorgehen mit der Sicherstellung von Verbindlichkeit und Kontinuität sind<br />

Aufgaben der Schulleitung (Landwehr, 2004). Diese hat sowohl im strategischen Bereich im Hinblick<br />

auf die Definition grundlegender Ziele und leitender Werte als auch im operativen Gebiet in Form von<br />

konzeptioneller Festlegung der Qualitätsprozesse und Beseitigung von Qualitätsdefiziten Aufgaben<br />

zu bewältigen (Steiner et al., 2007, S. 25). Daneben trägt die Schulleitung bei der Implementierung<br />

und Institutionalisierung des Qualitätsmanagements eine entscheidende Rolle, da ein regulierendes<br />

Eingreifen für das erfolgreiche Bestehen des Systems unmittelbar notwendig ist (Landwehr et al.,<br />

2007, S. 7). Dieser Aufbau kann in zwei Hauptphasen gegliedert werden:<br />

Die erste Phase beinhaltet die Entwicklung und überzeugende Kommunikation des Qualitätsmanagements<br />

sowie die Initiierung, Umsetzung und Evaluierung der Entwicklungsprozesse. Eine<br />

Projektsteuergruppe fungiert hierbei als Beratungs- und Unterstützungsorgan, in dem sie die Institutionalisierung<br />

verschiedener Q2E-Komponenten sowie Verfahren für die Entwicklung und Einführung<br />

von Qualitätsinstrumenten plant. Die Schulleitung definiert in dieser Phase die konzeptionellen<br />

Grundlagen für die Qualitätsmanagementprozesse und sorgt für deren verbindliche Einführung<br />

(Steiner et al., 2007, S. 25).<br />

In der zweiten Phase, die eine Steuerung des Institutionalisierungsprozesses und eine Gewährleistung<br />

eines funktionsfähigen Qualitätsmanagementbetriebs beinhaltet (Landwehr et al., 2007, S. 6),<br />

stellt die Schulleitung eine angemessene Anwendung von Qualitätsverfahren und -instrumenten<br />

sowie eine eventuelle Unterstützung der Lehrkräfte sicher. Ferner ist in der sog. Betriebsphase die<br />

Einhaltung von Verbindlichkeiten in Form von getroffenen Abmachungen und der Ausweitung des<br />

Qualitätsmanagementsystems im Hinblick auf eine institutionalisierende Qualitätskultur zu überprüfen<br />

(Steiner et al., 2007, S. 25).<br />

2.3.1.1.2.5 Externe Schulevaluation<br />

Die Qualität des schuleigenen Qualitätsmanagements sowie die Schul- und Unterrichtsqualität werden<br />

neben schulinternen Erhebungen durch die externe Evaluation ermittelt (vgl. 2.2.2.2; Landwehr et<br />

al., 2007, S. 4). Eine Gruppe von drei bis vier außenstehenden Personen, die sich sowohl aus ExpertInnen<br />

und Peers zusammensetzt, besucht die Einrichtung und stellt mit Hilfe von verschiedenen<br />

Instrumenten den Ist-Zustand der Institution fest, um ein unabhängiges Qualitätsurteil der ‚Schule<br />

als Ganzes‘ zu verfassen (Steiner et al., 2007, S. 27).<br />

Die externe Schulevaluation ist in acht Einzelschritte gegliedert (Landwehr et al., 2007, S. 11) und<br />

beginnt mit einem vorbereitenden Gespräch zwischen der Kontaktgruppe und der Leitung der Evaluation,<br />

in dem „ […] die Erwartungen der Schule gegenüber der externe Schulevaluation sowie<br />

Fragen der Mitwirkung im Evaluationsprozess geklärt [werden]“ (Landwehr et al., 2007, S. 12). Im<br />

nächsten Schritt erstrecken sich die Vorbereitungsarbeiten der Schule von der Aktualisierung des


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Qualitätshandbuchs über die Selbsteinschätzung des Qualitätsmanagements bis hin zur Beschrei-<br />

bung der zusätzlichen Evaluationsschwerpunkte (Landwehr et al., 2007, S. 12). Im weiteren Ablauf<br />

bereitet das externe Evaluationsteam auf der Grundlage der angefertigten <strong>Dokument</strong>e die Begehung<br />

vor. Die Sichtung der <strong>Dokument</strong>ation der Schule ermöglicht das Formulieren von Hypothesen und<br />

vertiefenden Evaluationsfragen zur Qualität des Qualitätsmanagements. In diesem Zusammenhang<br />

wird auch der Bedarf an Daten ersichtlich und vorbereitet. Den vierten Prozessschritt bildet ein<br />

Planungsgespräch mit der schulinternen Kontaktgruppe und der Leitung des Evaluationsteams, um<br />

den endgültigen Evaluationsplan, insbesondere Zeitplan, Auswahl der Evaluationsschwerpunkte und<br />

-aktivitäten abzustimmen (Landwehr et al., 2007, S. 13).<br />

Darauf aufbauend erfolgt der Evaluationsbesuch, in dem verschiedene Gespräche, Unterrichtsbesuche<br />

und Beobachtungen durchgeführt werden. Hieraus gewonnene Wahrnehmungen und Eindrücke<br />

sind im nächsten Schritt im Evaluationsteam auszutauschen, um möglichst umfassende Informationen<br />

über die Schule zu erhalten. Einzelne Kernaussagen und Empfehlungen zur Schulentwicklung<br />

sowie zur Beseitigung von Qualitätsdefiziten werden neben einer Reflexion der Selbsteinschätzung<br />

des Qualitätsmanagements bereits fixiert (Landwehr et al., 2007, S. 14), um sie im Folgenden in<br />

mündlicher Form dem Lehrerkollegium mitteilen zu können. Dies ermöglicht, unklare Aussagen,<br />

eventuelle Missverständnisse oder Fragen zu klären. Schließlich verdichtet das Evaluationsteam die<br />

Wahrnehmungen und Beurteilungen zu einem schriftlichen Evaluationsbericht, der die Ausgangslage<br />

der Schule und das Evaluationskonzept mit dem -vorgehen beschreibt und sämtliche Evaluationsergebnisse<br />

enthält. Nach Sichtung des Berichts nimmt die Schule hierzu Stellung, informiert die<br />

Schulbehörde über zentrale Evaluationsergebnisse und leitet den Evaluationsbericht an die Zertifizierungsstelle<br />

(Landwehr et al., 2007, S. 15).<br />

Q2E hat den Begriff der externen Evaluation weiter gefasst und konzipierte die ‚Metaevaluation‘, eine<br />

Evaluation des Qualitätsmanagements (vgl. 2.2.3.4). In diesem Zusammenhang werden Prozesse<br />

hinsichtlich der Aufrechterhaltung und Verbesserung der Schul- und Unterrichtsqualität überprüft.<br />

Insbesondere geht es um ein funktionierendes Qualitätsmanagementsystem, das alle wichtigen<br />

Voraussetzungen, Prozesse und Ergebnisse an Hand von Soll-Ist-Vergleichen überprüft und laufend<br />

optimiert (Landwehr et al., 2007, S. 31). Als Instrument dienen hierbei drei Bewertungstabellen zur<br />

‚Steuerung der Q-Prozesse durch die Schulleitung‘, ‚Individualfeedback und persönliche Qualitätsentwicklung‘<br />

sowie ‚Praxis der Schulevaluation‘, um die Qualität der Schule als Ganzes zu erfassen<br />

(Landwehr et al., 2007, S. 17–23). Darüber hinaus beinhaltet die externe Komponente von Q2E eine<br />

Primärevaluation, die „einen oder zwei Aspekte der Schul- und Unterrichtsqualität“ begutachtet.<br />

Hierbei wird der Entwicklungsaspekt der Bildungseinrichtung fokussiert und der Schule selbst Feedback<br />

gegeben. Notwendige Bewertungsinstrumente sind hierfür von Evaluationsexperten selbst zu<br />

entwerfen (Steiner et al., 2007, S. 27).<br />

Die Aufgaben der externen Evaluation beziehen sich zum einen auf die Entwicklungsorientierung<br />

der Schule, indem sie Anstöße zur Schulentwicklung erhalten soll. Zum anderen dient dieser Baustein<br />

des Q2E zur Rechenschaftslegung, da die Institution ihr Qualitätsmanagement gegenüber den<br />

Schulbehörden und der Zertifizierungsinstanz belegt (Landwehr et al., 2007, S. 4).<br />

55


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

56<br />

2.3.1.1.2.6 Die Q2E-Zertifizierung<br />

Die Q2E-Zertifizierung ist der abschließende Baustein des Modells. Freiwillig kann eine Schule ihr<br />

Qualitätsmanagement durch Auditoren prüfen lassen. Diese Möglichkeit wird insbesondere von Institutionen<br />

mit Erwachsenenbildung und zunehmendem Wettbewerbsdruck in Anspruch genommen<br />

(Steiner et al., 2007, S. 29). Hierbei ist zu belegen, dass eine Verankerung und Einbindung der<br />

ersten vier Q2E-Komponenten in der Schulpraxis vorliegt, die auch Wirkung und Wirksamkeit zeigen<br />

(Landwehr et al., 2007, S. 30).<br />

Ausgangspunkt für die Zertifizierung begründet die externe Evaluation, die im Evaluationsbericht<br />

ein Erreichen des vorgegebenen Qualitätsstandards bescheinigt. Eine Zulassung zur Zertifizierung<br />

erfolgt, soweit die Mehrheit der QM-Standards erfüllt ist (Landwehr et al., 2007, S. 30).<br />

Nach der Anmeldung zur Zertifizierung werden Qualitätshandbuch und Selbsteinschätzung der<br />

schuleigenen Qualität durch das Auditorenteam analysiert. Ein weiteres Hearing in der Schule vertieft<br />

einerseits diese Angaben, in dem die Schulleitung Aufbau, Konzepte und Umsetzung des schulinternen<br />

Qualitätsmanagements erläutert. Andererseits klären die Auditoren in einer anschließenden<br />

Diskussion mit den Vertretern der Schule offene Fragen, resultierend aus der <strong>Dokument</strong>enanalyse.<br />

Das Ergebnis des Verfahrens wird in einem Bericht festgehalten und führt bei positiver Entscheidung<br />

zur Ausstellung eines Zertifikats. Dies bescheinigt der Institution ein funktionierendes und ausgereiftes<br />

Qualitätsmanagement auf hohem Niveau und kann zur Außendarstellung verwendet werden<br />

(Steiner et al., 2007, S. 29).<br />

Die Zertifizierung wurde auf Wunsch der Schulen implementiert, um den Institutionen eine öffentlichkeitswirksame<br />

Anerkennung der Qualitätsarbeit zu bescheinigen. Im weiteren Verlauf entwickelte<br />

sich das Zertifikat als Ansporn, das Qualitätsmanagement weiter auszubauen (Landwehr, 2004). Die<br />

Beurkundung ist sechs Jahre gültig. Anschließend wird nach drei Jahren eine einfache, nach sechs<br />

Jahren eine umfassende Rezertifizierung vorgenommen (Steiner et al., 2007, S. 29).<br />

2.3.1.1.3 Grenzen und Schwierigkeiten des Q2E-Modells<br />

Im Q2E-Modell ist die Steuerung des schulinternen Qualitätsmanagements primäre Aufgabe der<br />

Schulleitung (Steiner et al., 2007, S. 25). Diese enge Verbindung kann bei Problemen und Qualitätsdefiziten<br />

innerhalb der Schulleitung insoweit zu Schwierigkeiten führen, da ungelöste Sachverhalte<br />

unmittelbar auf den Bereich des Qualitätsmanagements übertragen werden (Landwehr et al., 2007,<br />

S. 5). Die Qualität der Schulleitung nimmt somit direkten Einfluss auf das Qualitätsmanagement der<br />

Schule. Dies kann in Form von fehlender Gewährleistung und Unterstützung seitens der Schulleitung<br />

sowie mangelnder Sicherstellung von Verbindlichkeit und Kontinuität der Qualitätsprozesse<br />

auftreten. Die Bereiche Qualitätsmanagement und Schulleitung werden miteinander verflochten,<br />

was sowohl Chance als auch Risiko bedeuten kann, da einerseits der Aufbau der Institution und die<br />

Aufgaben der Schulleitung anhand des Qualitätsmanagements organisiert werden. Andererseits<br />

bedeuten Defizite der Schulleitung in Form von ungelösten Steuerungsproblemen auch automatisch<br />

Mängel im Qualitätsmanagement (Landwehr et al., 2007, S. 4).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Ein weiteres Problem in Q2E resultiert durch eine ganzheitliche Einführung des Qualitätsmanage-<br />

mentsystems, indem alle Qualitätsbereiche (vgl. 2.3.1.1.2.1) gleichzeitig Anwendung finden und somit<br />

evaluiert werden. Eine Verarbeitung aller erhobenen Daten führt allerdings zu einer hohen Belastung<br />

der schulischen Qualitätsarbeit, da eine Fülle von Evaluationsdaten auszuwerten ist. Darüber hinaus<br />

ist die Auswertung gewonnener Daten oftmals defizitär, wobei eine Ableitung von Maßnahmen im<br />

Sinne einer zukünftigen Veränderung erst zu einer Qualitätsentwicklung führen. Aus diesem Grund<br />

müsste die Steuergruppe die geplanten Evaluationen inhaltlich und zeitlich priorisieren, um einer<br />

Überforderung bezüglich der Qualitätsarbeit entgegenzuwirken. Darüber hinaus sollte eine umfassende<br />

Verarbeitung der Ergebnisse sichergestellt werden, damit eine Qualitätsentwicklung erzielt<br />

werden kann (Capaul, 14.12.2009).<br />

2.3.1.2 Qualitätsmanagement an beruflichen Schulen (QmbS)<br />

2.3.1.2.1 Entwicklung und Ziele von QmbS<br />

Das Bayerische Staatsministerium für Unterricht und Kultus erteilte am 19.07.2006 dem ISB den Auftrag,<br />

ein Qualitätsmanagementsystem für berufliche Schulen in Bayern zu entwickeln (Brunnhuber &<br />

Kennerknecht, 13.03.2008). Q2E wurde hierbei als Basissystem gewählt, da dieses Modell individuell<br />

auf spezielle Situationen einer Bildungseinrichtung reagieren kann und pädagogische Praxisfelder<br />

berücksichtigt. Darüber hinaus hat es sich bereits mehrere Jahre in der Schulpraxis bewährt (Staatsinstitut<br />

für Schulqualität und Bildungsforschung, 2007, S. 6). Neben den Erfahrungen aus der<br />

Schweiz wurden sowohl „[…] eine enge Anbindung zum Modellvorhaben OES in Baden-Württemberg<br />

gewünscht“ als auch Erfahrungen, Ergebnisse und Instrumente aus den Projekten zur internen und<br />

externen Evaluation integriert (Zöller, 2007, S. 19). In Bayern wurde die ‚externe Evaluation‘ im Jahr<br />

2004 allerdings vor der ‚internen Evaluation‘ in den Schulen implementiert (Kurz et al., 2009, S. 151).<br />

D. h. in den evaluierten Schulen existierte weder ein funktionierendes Qualitätsmanagementsystem<br />

noch eine Projektsteuergruppe, die Aufbau und Implementierung eines Modells vorantrieb.<br />

Die initiierte Qualitätsagentur am ISB entwickelte für die externe Evaluation einen verbindlichen<br />

Qualitätsrahmen, der als Bezugsrahmen für das Verfahren dient und die Ergebnisse internationaler<br />

Qualitätsforschung in Schule und Unterricht integriert. Erst im Jahr 2006/2007 wurde die interne<br />

Evaluation als Gegenstück zur externen Evaluation eingeführt (Brunnhuber, 2009, S. 66 ff.).<br />

Auf der Basis des vorliegenden Auftrags des Bayerischen Staatsministeriums für Unterricht und<br />

Kultus erarbeitete ein Projektteam der Grundsatzabteilung des ISB ein QmbS-Konzept (Zöller, 2007,<br />

S. 19), das an den 18 Berufsschulen des Modellprojekts Profil 21 (Projekt Berufliche Schule in<br />

Eigenverantwortung – im 21. Jahrhundert) in den Jahren 2007 und 2008 erprobt wurde (Brunnhuber<br />

et al., 2007, S. 44).<br />

Profil 21 ist ein Projekt der ‚Stiftung Bildungspakt Bayern‘, einer experimentellen Entwicklungsabteilung<br />

des Bayerischen Staatsministeriums für Unterricht und Kultus, die am 12.10.2000 gegründet<br />

wurde und von zahlreichen Firmen der bayerischen Wirtschaft und dem Freistaat Bayern Unterstützung<br />

erhält. Sie verfolgt das Ziel, durch Motivation, Anerkennung und handfeste Unterstützung in den<br />

Schulen neue Lehr- und Lernformen, neue Unterrichtsqualität, neues Qualitätsbewusstsein und mehr<br />

57


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

58<br />

Eigenverantwortung zu initiieren. Das konstruktive Zusammenwirken aller gesellschaftlichen Gruppen<br />

sowie die Bündelung von Erfahrungen und Wissen aller Beteiligten sollen das geistige Kapital<br />

eines Landes bestmöglich entwickeln und fördern. Dies wird durch die Realisierung verschiedener<br />

Projekte zum Ausdruck gebracht, in dem die Stiftung u. a. Projekte im Rahmen der inneren Schulentwicklung<br />

unterstützend begleitet, Ergebnisse auswertet und neben der Bereitstellung verschiedener<br />

Netzwerke auch Know-how- und Erfahrungstransfer leistet (Bayerisches Staatsministerium für<br />

Unterricht und Kultus, 14.06.2011).<br />

Das Modellprojekt Profil 21 bedeutet für beruflichen Schulen eine höhere Eigenverantwortung, um<br />

dem dynamischen Wandel der Berufs- und Arbeitswelt gerecht zu werden (Bayerisches Staatsministerium<br />

für Unterricht und Kultus, 14.06.2011) 2 . „Ziel des Schulversuchs ist die Erprobung von<br />

Reformmaßnahmen in den Bereichen Unterrichts-, Personal- und Organisationsentwicklung sowie<br />

Finanz- und Bildungsverantwortung“ (Bayerische Staatsministerien für Unterricht und Kultus und<br />

Wissenschaft, Forschung und Kunst, 2006, S. 101). QmbS kann in diesem Zusammenhang als<br />

Ergebnis des Schulversuchs Profil 21 gesehen werden, da das Qualitätsmanagementmodell an den<br />

18 teilnehmenden Profilschulen erprobt wurde.<br />

Kultusminister Spaenle bezeichnete diese Schulen nach Abschluss des Pilotverfahrens „als Pioniere<br />

der Entwicklungsarbeit der Schul- und Bildungsqualität“, die mit der Implementierung von QmbS<br />

die Qualität der Bildung verbessert haben (Pressemitteilung des Bayerischen Staatsministeriums für<br />

Unterricht und Kultus, 2009, S. 10). Professor euler von der <strong>Universität</strong> Sankt Gallen unterstützte das<br />

Projekt im Hinblick auf seine wissenschaftliche Begleitung (Brunnhuber et al., 13.03.2008).<br />

QmbS verfolgt das Ziel, „[...] die komplexe und verantwortungsvolle Arbeit beruflicher Schulen in<br />

Bayern zu systematisieren und zu professionalisieren. Insbesondere gilt dies im Hinblick auf die<br />

Wirksamkeit und Nachhaltigkeit von Entwicklungsmaßnahmen in den folgenden zentralen Bereichen:<br />

Unterricht und Erziehung, Bildung und Ausbildung, Organisations- und Personalentwicklung sowie<br />

Zusammenarbeit mit externen Akteuren der beruflichen Bildung“ (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2007, S. 5). Die Einführung der QmbS-Komponenten erfolgte systematisch,<br />

in dem die Bausteine Steuerung des Qualitätsprozesses, Qualitätsverständnis, interne Evaluation<br />

und Individualfeedback mit vierwöchigem Abstand durch einzelne Startworkshops des ISB an die<br />

QmbS-Teams der Schulen herangetragen worden sind, in denen Grundlagen für die konkrete Umsetzung<br />

vermittelt wurden. Anschließende Reflexionsworkshops gaben die Möglichkeit, spezifische<br />

Fragestellungen aus dem Projekt zu vertiefen und Erfahrungen auszutauschen (Staatsinstitut für<br />

Schulqualität und Bildungsforschung, 2008, S. 4).<br />

Im Sommer 2008 führte das ISB eine Befragung der teilnehmenden Schulen durch, um Rückmeldungen<br />

zum Einführungsprozess sowie notwendige Gestaltungsempfehlungen für die weitere<br />

Optimierung und Implementierung von QmbS zu erhalten (Staatsinstitut für Schulqualität und<br />

Bildungsforschung, 2008, S. 3). Diese Ergebnisse wurden in einem Zwischenbericht festgehalten<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2008). Nähere Erläuterungen hierzu folgen<br />

2 Siehe http://www.bildungspakt-bayern.de/projekte/profil-21/ausschreibung/; geprüft am 02.11.2009


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

im Kapitel 2.3.1.2.3. Seit dem Schuljahr 2009/10 haben alle beruflichen Schulen in Bayern die Möglichkeit,<br />

QmbS zu implementieren (Zöller, 2007, S. 21), in dem sich die Institutionen bei der Grundsatzabteilung<br />

des ISB für das Qualitätsmanagementsystem bewerben können (Zöller, 18.06.2009).<br />

Anschließend werden 21 Schulen pro Schuljahr von einem Gremium, das neben dem ISB auch<br />

die Stiftung Bildungspakt und das Kultusministerium repräsentiert, ausgewählt (Pressemitteilung<br />

des Bayerischen Staatsministeriums für Unterricht und Kultus, 2009, S. 11). Damit die neu ausgewählten<br />

Bildungseinrichtungen bereits von den Erfahrungen der Pilotschulen profitieren können,<br />

wurden sog. QmbS-Tandems gebildet, die aus zwei Personen der ursprünglichen Qmbs-Teams<br />

bestehen und die Schulen über zwei Jahre hinweg betreuen. Diese werden sowohl das Know-how<br />

der speziellen ISB-Schulungen als auch die eigenen Erkenntnisse aus der Implementierung des<br />

Qualitätsmanagementsystems weitergeben und die ‚neuen Schulen‘ bei der Einführung von QmbS<br />

betreuen. Eine Auswechslung der Tandems während des Verfahrens soll gänzlich vermieden werden,<br />

um eine umfassende Betreuung zu gewährleisten und unnötige Einarbeitungszeiten zu vermeiden.<br />

Eine QmbS-Zertifizierung der Schulen ist im weiteren Verfahren angedacht (Brunnhuber et al.,<br />

13.03.2008).<br />

2.3.1.2.2 Das Modell QmbS<br />

Das Qualitätsmanagementsystem an beruflichen Schulen (QmbS) steht allen beruflichen Schulen im<br />

Freistaat Bayern offen (Zöller, 2007, S. 19) und verfolgt eine Systematisierung und Professionalisierung<br />

der umfassenden Qualitätsarbeit in diesen Bildungseinrichtungen. In diesem Zusammenhang<br />

sind die Bereiche ‚Unterricht und Erziehung‘, ‚Bildung und Ausbildung‘, ‚Organisations- und Personalentwicklung‘<br />

sowie ‚Zusammenarbeit mit externen Akteuren der beruflichen Bildung‘ bezüglich<br />

der Wirksamkeit und Nachhaltigkeit von Entwicklungsmaßnahmen besonders berücksichtigt (Staatsinstitut<br />

für Schulqualität und Bildungsforschung, 2007, S. 5). QmbS basiert auf dem Modell Q2E<br />

(vgl. 2.3.1.1). Analog zu diesem System besteht es aus folgenden fünf Elementen:<br />

• schulspezifisches Qualitätsverständnis<br />

• Individualfeedback<br />

• Steuerung der Qualitätsprozesse<br />

• interne Evaluation<br />

• externe Evaluation (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 9).<br />

59


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

60<br />

Abbildung 8: Das bayerische Qualitätsmanagementsystem QmbS (Staatsinstitut für Schulqualität und<br />

Bildungsforschung, 2007, S. 9)<br />

In Abgrenzung zum Ausgangsmodell hat QmbS Eigencharakter, da sowohl eigene Erfahrungen<br />

und Konzepte zu Evaluationen integriert als auch Entwicklungen von nationalen und europäischen<br />

Qualifikationsrahmen sowie ein Bezugsrahmen für die Qualitätssicherung in der beruflichen Bildung<br />

berücksichtigt sind (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 6). Insbesondere<br />

sind im Bereich der internen und externen Evaluation im Vorfeld eigenständig initiierte Projekte und<br />

deren Ergebnisse in den einzelnen Komponenten verankert. Hierbei bilden – im Gegensatz zum<br />

Basismodell – die vier nachfolgend genannten Qualitätsbereiche mit insgesamt 14 Qualitätsdimensionen<br />

den Rahmen für die Qualitätsentwicklung, die wiederum die Grundlage für Begehungen<br />

darstellen:<br />

• Rahmenbedingungen<br />

• Prozessqualitäten Schule<br />

• Prozessqualitäten Unterricht und Erziehung sowie<br />

• Ergebnisse der schulischen Arbeit und Umgang mit diesen Ergebnissen (Staatsinstitut für<br />

Schulqualität und Bildungsforschung, 2007, S. 8).<br />

Auch die bereits angestoßenen Entwicklungen im Bereich der Schulentwicklung wurden in QmbS<br />

fortgesetzt und systematisiert (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 9).<br />

Darüber hinaus erfolgte eine Anbindung an das baden-württembergische Konzept ‚Operativ Eigenständige<br />

Schule‘ (OES), um einen Austausch zwischen diesen Bundesländern sowie ein gemeinsames


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Konzept für eine Zertifizierung der Qualitätsmanagementsysteme zu erzielen (Brunnhuber, 2009,<br />

S. 71). Im Gegensatz zu OES ist die externe Evaluation in QmbS allerdings nicht als Metaevaluation<br />

sondern als Primärevaluation konzipiert und weicht an dieser Stelle von dem Basismodell Q2E ab<br />

(vgl. 2.3.1.2.2.5; Kaiser-Aretz et al., 2010).<br />

Das QmbS-Modell ist ein Gesamtsystem, dessen Effektivität und Effizienz letztendlich durch das<br />

Zusammenspiel der eigenständigen Teilbereiche erzielt wird (Zöller, 2007, S. 20). Diese Thematik ist<br />

in der folgenden Abbildung verdeutlicht:<br />

Abbildung 9: Zusammenspiel der Bausteine in QmbS (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 10)<br />

2.3.1.2.2.1 Schulspezifisches Qualitätsverständnis<br />

Das schulspezifische Qualitätsverständnis ist durch das Qualitätsleitbild kongruent zum Ausgangsmodell<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 9). Hierbei werden<br />

Qualitätsziele in Form von Werten, Zielvorstellungen und Standards definiert, die eine individuelle<br />

Ausgangslage der Schule, persönliche Wertvorstellungen des Kollegiums und den bildungspolitischen<br />

Qualifikationsrahmen berücksichtigen. Dieser Baustein bildet – wie im Basismodell – den<br />

Ausgangspunkt für die Qualitätsentwicklung und die vier weiteren QmbS-Elemente, da es sowohl<br />

für die eigene Qualitätsarbeit als auch für das weitere Vorgehen richtungsweisend und eine zentrale<br />

Grundlage für die Ermittlung der Qualitätsdefizite darstellt (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 11). Für die Erarbeitung des schulischen Qualitätsverständnisses empfiehlt<br />

QmbS sieben Arbeitsschritte.<br />

61


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

62<br />

Abbildung 10: Arbeitsschritte und Verantwortlichkeiten bei der Erarbeitung eines schulspezifischen<br />

Qualitätsverständnisses (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 14)<br />

Die Erarbeitung dieser Komponente ist als wiederkehrender und fortlaufender Prozess zu betrachten,<br />

in dem der Ablauf nach gegebener Zeit zu iterieren ist, um eine Optimierung des Qualitätsverständnisses<br />

bezüglich neuer Rahmenbedingungen und externer Einflüsse zu erzielen (Brunnhuber, 2009,<br />

S. 76).<br />

Im ersten Schritt ist eine Definition von Grundlagen notwendig, da – im Gegensatz zu Q2E – diesem<br />

Modell die vier folgenden Qualitätsbereiche ‚Rahmenbedingungen‘, ‚Prozessqualitäten Schule‘,<br />

‚Prozessqualitäten Unterricht und Erziehung‘ sowie ‚Ergebnisse der schulischen Arbeit und Umgang<br />

mit diesen Ergebnissen‘ mit insgesamt 14 Qualitätsdimensionen zu Grunde liegen (vgl. 2.3.1.2.2), die<br />

einen verbindlichen Rahmen für die Qualitätsentwicklung der Bildungseinrichtungen begründen und<br />

somit einen ‚Bayerischen Qualitätsrahmen‘ darstellen (Brunnhuber, 2009, S. 68). Hierbei hat die Bildungseinrichtung<br />

die Möglichkeit, individuelle Präferenzen zu setzen (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2007, S. 11).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Darauf aufbauend werden eigene Qualitätsvorstellungen zu den einzelnen Qualitätsbereichen und<br />

Dimensionen reflektiert und konkretisiert, um eine Vielzahl von Qualitätszielen zu definieren. Auf dieser<br />

Basis erfolgt unter Einbezug aller Mitarbeiter der Schule eine Auswahl und Priorisierung einzelner<br />

Schwerpunkte sowie eine Operationalisierung der Qualitätsziele (Staatsinstitut für Schulqualität und<br />

Bildungsforschung, 2007, S. 12), die in gewissen Abständen bezüglich der Aktualität und Relevanz<br />

überprüft werden. Eine <strong>Dokument</strong>ation der vorangehenden Ergebnisse ermöglicht eine klare<br />

Nachvollziehbarkeit des Vorgehens und erleichtert abschließend die wichtige Kommunikation des<br />

schulspezifischen Qualitätsverständnisses an alle Beteiligten, um eine möglichst hohe Identifikation<br />

mit QmbS zu erreichen (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 13).<br />

Bei genauer Analyse der Modelle Q2E und QmbS ist eine große Identität innerhalb der Qualitätsbereiche<br />

festzustellen, da die Qualitätskriterien inhaltlich übereinstimmen bzw. lediglich unterschiedlich<br />

strukturiert sind. Das Qualitätsmanagement aus Q2E ist auf die vier bestehenden Qualitätsbereiche<br />

aufgeteilt worden, in dem einzelne Elemente wie Qualitätssicherung oder -verbesserung separat<br />

implementiert wurden.<br />

2.3.1.2.2.2 Individualfeedback<br />

Diese Komponente nimmt in QmbS einen zentralen Stellenwert ein, da „Qualitätsentwicklung<br />

an Schulen […] im Wesentlichen auf Personen [basiert]“ (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 18). Das Erreichen der vorab definierten Qualitätsziele im Rahmen des<br />

schulspezifischen Qualitätsverständnisses (vgl. 2.3.1.2.2.1) erfordert die individuelle Mitwirkung der<br />

einzelnen Lehrkräfte, in dem neben der institutionellen vor allem eine persönliche Weiterentwicklung<br />

angestrebt werden soll (Brunnhuber & Kennerknecht, 2007, S. 44). Diese ist durch persönliches<br />

Engagement des Pädagogen beeinflusst, das Individualfeedback anzuwenden und Konsequenzen<br />

aus den Ergebnissen abzuleiten.<br />

Das Individualfeedback impliziert eine Rückmeldung an Lehrkräfte, in dem eine Reflexion der Lehrerpersönlichkeit<br />

und dem pädagogischen Handeln erfolgt (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 18). Analog zum Basismodell Q2E (vgl. 2.3.1.1) sind hierfür diverse Quellen<br />

heranzuziehen, damit möglichst umfassende Meinungen über intendierte und ungewollte Effekte<br />

des eigenen Handelns erzielt werden können (Brunnhuber, 2009, S. 94). Hierbei werden Schüler,<br />

Kollegen und Bildungspartner, wie Eltern und Betriebe, mit Hilfe verschiedener Instrumente konsultiert<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 20), um eine ganzheitliche<br />

Sicht der pädagogischen Verhaltensweisen zu erhalten. Dies soll vor allem zur Selbsterkenntnis und<br />

Selbstentwicklung beitragen, da subjektive Meinungen erzielt werden und gewonnene Ergebnisse zu<br />

reflektieren sind. In diesem Zusammenhang sind einige Grundsätze zu verdeutlichen, da der Feedbacknehmer<br />

allein ‚Eigentümer‘ der Rückmeldungen ist (Brunnhuber et al., 2007, S. 44). D. h. allein<br />

die Lehrkraft verfügt über diese Daten und entscheidet selbst über abzuleitende Veränderungen des<br />

eigenen Handelns aus den Ergebnissen. Das Feedback wird immer als ‚Ich-Botschaft‘ formuliert, um<br />

die Subjektivität der Aussage zu verdeutlichen (Brunnhuber, 2009, S. 95). Darüber hinaus entscheidet<br />

der Feedbacknehmer über die Annahme der Rückmeldung, die stets konkret, glaubwürdig und<br />

konstruktiv sein sollte (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 19). Vorab<br />

63


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

64<br />

definierte Feedbackregeln ermöglichen ein lernwirksames Feedback (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2007, S. 19), da diese zur Akzeptanz der Rückmeldungen und Ableitung von<br />

Verbesserungsmaßnahmen beitragen.<br />

Als abschließender Prozessschritt ist eine Definition von Konsequenzen von zentraler Bedeutung, da<br />

dieser Schritt die persönliche Weiterentwicklung impliziert und den Anstoß zu Veränderungen bildet<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 18).<br />

2.3.1.2.2.3 Interne Evaluation<br />

Im Schuljahr 2006/07 wurde das bayerische Projekt ‚interne Evaluation‘ in den Bildungseinrichtungen<br />

eingeführt und anschließend in QmbS integriert (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 9). Im ersten Eindruck erscheint auch hierbei eine starke Anlehnung an das Ausgangsmodell<br />

Q2E vorzuliegen, da auch in diesem Zusammenhang durch regelmäßige Datenerhebungen in Form<br />

eines Soll-Ist-Vergleichs die Qualität der Schule als Ganzes erfasst wird und somit das ‚institutionelle<br />

Lernen‘ priorisiert wird. Weitere Parallelen sind in den Phasen der internen Evaluation zu erkennen, die<br />

sich von ‚Bestandsaufnahme durch Datensammlung‘, über ‚Überprüfung der Zielerreichung‘, sowie<br />

‚<strong>Dokument</strong>ation‘ und ‚Interpretation der Ergebnisse‘ erstrecken (Brunnhuber, 2009, S. 86,87).<br />

Die interne Evaluation (vgl. 2.2.2.2) wird ausschließlich von der Institution selbst durchgeführt. In Kontrast<br />

zum Basismodell dienen die im schulischen Qualitätsverständnis definierten Qualitätsbereiche<br />

als Bezugspunkt (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 15, 16).<br />

Ein QmbS-Team (vgl. 2.3.1.2.2.4), übernimmt die Durchführung der internen Evaluation und garantiert<br />

einen reibungslosen Ablauf (Brunnhuber, 2009, S. 84). Die Erhebung der Evaluation erfolgt primär<br />

anhand standardisierter Fragebögen, die schulartspezifisch von der Qualitätsagentur des Instituts<br />

für Schulqualität und Bildungsforschung (ISB) entwickelt und auf die externe Evaluation abgestimmt<br />

wurden (Brunnhuber, 2009, S. 87–89).<br />

QmbS verdeutlicht im Bereich der internen Evaluation die zentrale Bedeutung der Beseitigung von<br />

Qualitätsdefiziten durch die Umsetzung von Maßnahmen (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 17). Nur so kann auf Basis der Datenerhebungen ein Erfolg durch das<br />

<strong>Erlangen</strong> höherer Qualitätslevel erzielt werden, die unmittelbar dem Kollegium widerzuspiegeln sind.<br />

Eine zeitliche Fixierung der Abläufe und bewusste Selektion von Maßnahmen garantieren positive<br />

Ergebnisse bezüglich der internen Evaluation (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 17).<br />

2.3.1.2.2.4 Steuerung der Qualitätsprozesse<br />

Basierend auf Q2E beinhaltet dieser Baustein die kontinuierliche Steuerung der Qualitätsprozesse<br />

sowie die Planung und Durchführung von Maßnahmen zur nachhaltigen Qualitätssicherung und<br />

-steigerung. Hierbei ist eine professionelle Steuerung des Vorgehens ein zentraler Erfolgsfaktor, der<br />

zum Gelingen des Projekts beiträgt (Staatsinstitut für Schulqualität und Bildungsforschung, 2007,<br />

S. 25). Die Abläufe einzelner Aufgaben orientieren sich – wie auch im Basismodell – an den Deming-<br />

Kreis (vgl. 2.3.1.1.2) mit vier Handlungsschritten:


• Abläufe inhaltlich und zeitlich planen (‚plan‘)<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

• Maßnahmen mit unterstützenden Materialien und Instrumenten umsetzen und dokumentieren<br />

(‚do‘)<br />

• Ergebnisse überprüfen und bzgl. der Zielsetzung abgleichen (‚check‘)<br />

• Vorgehen revidieren und ggf. Ableitung von Verbesserungsvorschlägen (‚act‘) (Staatsinstitut für<br />

Schulqualität und Bildungsforschung, 2007, S. 27).<br />

Die Steuerung und <strong>Dokument</strong>ation qualitätsrelevanter Prozesse einschließlich der Erfolgsüberwa-<br />

chung sind Aufgaben der Schulleitung. Für die Mobilisierung des ganzen Kollegiums im Hinblick auf<br />

eine erfolgreiche Implementierung des Qualitätsmanagementsystems stellt die Schulleitung eine<br />

zentrale Ausgangsrolle dar. Diese wird von einer Projektsteuergruppe, auch QmbS-Team genannt,<br />

unterstützt (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 25–28). Das Team sollte<br />

neben der Schulleitung alle Organisationseinheiten und Fachrichtungen einer Schule berücksichtigen,<br />

da eine breit gestützte Zusammensetzung der Projektsteuergruppe zum Erfolg des Vorhabens<br />

beiträgt, indem die Pädagogen unmittelbar in das Projekt integriert sind und somit eine intensivere<br />

Beteiligung seitens der Personen sowie ein verbesserter Informationsfluss im Kollegium erzielt werden<br />

kann (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 25).<br />

Abbildung 11: Zusammensetzung des QmbS-Teams (Kennerknecht, 08.11.2008, S. 18)<br />

Das QmbS-Team dient als umfassender Ansprechpartner im Qualitätsentwicklungsprozess und zentrale<br />

Steuerungsinstanz beim Aufbau des Qualitätsmanagements (Zöller, 2007, S. 20), das eine Erarbeitung<br />

und Implementierung aller QmbS-Bausteine, wie schulinternes Qualitätsverständnis, interne und<br />

65


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

66<br />

externe Evaluation und Individualfeedback umfasst. Originäre Aufgabe der Gruppe ist die erfolgreiche<br />

Umsetzung von Zielvereinbarungen (Staatsinstitut für Schulqualität und Bildungsforschung, 2007,<br />

S. 24), die im Anschluss an eine externe Evaluation mit der Schulaufsichtsbehörde geschlossen<br />

werden. Wie die Auflistung der Aufgabenfelder zeigt, ist das QmbS-Team zur erfolgreichen Implementierung<br />

eines Qualitätsmanagement-systems von zentraler Bedeutung und sollte aus diesem Grund zu<br />

Beginn des Projekts gegründet werden (Staatsinstitut für Schulqualität und Bildungsforschung, 2007,<br />

S. 25) sowie Unterstützung und Rückhalt von Seiten der Schulleitung gleichermaßen Schulungen<br />

im Bereich Teambildung, Moderation, Konflikt- oder Projektmanagement erhalten (Staatsinstitut für<br />

Schulqualität und Bildungsforschung, 2007, S. 27), um diese umfangreiche Aufgaben zielführend<br />

ausführen zu können. In dem Gesamtprozess sind sowohl die Zusammenspiele einzelner QmbS-<br />

Komponenten als auch einzelne Handlungsschritte verdeutlicht (Brunnhuber, 2009, S. 21).<br />

2.3.1.2.2.5 Externe Evaluation<br />

Analog zur internen Evaluation sind auch die bereits bestehenden Konzepte zur externen Evaluation<br />

implementiert worden (Zöller, 2007, S. 19). Die externe Evaluation (vgl. 2.2.2.2) wurde im Jahr 2004<br />

für die bayerischen Schulen eingeführt. Hierbei werden auf Basis der zugrundeliegenden Qualitätsbereiche<br />

die Bedingungen, Prozesse und Ergebnisse der gesamten Schule überprüft (Staatsinstitut<br />

für Schulqualität und Bildungsforschung, 2007, S. 22). Aus diesem Grund kann bei dieser externen<br />

Evaluation von einer Primärevaluation gesprochen werden, da hierbei die Effektivität der Prozesse<br />

und Wirksamkeit getroffener Maßnahmen begutachtet werden (vgl. 2.2.3.4). Im Gegensatz zu QmbS<br />

sieht das Basismodell Q2E eine Metaevaluation vor, in der eine Evaluation des gesamten Qualitätsmanagementsystems<br />

erfolgt (vgl. 2.2.3.4).<br />

Die Begehung wird von vier externen EvaluatorInnen durchgeführt, „[…] die über große pädagogische<br />

und unterrichtliche Erfahrung verfügen und besondere Kenntnisse in der Schulleitung oder im<br />

Bereich der Schulentwicklung erworben haben“ und die im schulischen Qualitätsverständnis zugrundeliegenden<br />

Qualitätsbereiche einbeziehen. Im Evaluationsteam sind drei schulische Fachleute und<br />

ein externer Experte vertreten (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 22).<br />

Das Team ist jeweils der regionalen Schulaufsicht unterstellt und erhält von Seiten des ISB eine<br />

fachlich-inhaltliche Betreuung (Döbert et al., 2008, S. 72). Im Bereich der EvaluatorInnen ist ein<br />

weiterer Unterschied zum Basismodell festzustellen, da die externe Begehung in Q2E sowohl durch<br />

ExpertInnen als auch durch Peers erfolgt (vgl. 2.3.1.1.2.5). Aus diesem Grund erfolgt die externe<br />

Evaluation in Q2E nach dem sog. ‚Zwei-Schienen-Modell‘, in dem ausgewählte Institutions- und<br />

Praxisbereiche der Bildungseinrichtung anhand vorgegebener Kriterien beurteilt werden sowie eine<br />

offene Rückmeldung von außenstehenden Personen erfolgt, um ‚blinde Flecken‘ zu beheben (Landwehr<br />

et al., 2007, S. 6). Auf der Basis des konzeptionellen Unterschieds der externen Evaluationen<br />

kommen die Instrumente von Q2E in QmbS auch nicht zum Einsatz.<br />

Die Durchführung der externen Schulevaluation kann in vier Phasen mit 15 Einzelschritten untergliedert<br />

werden (Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 24, 25). Im Folgenden<br />

werden Abweichungen zum Basismodell näher aufgegriffen.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Anders als bei Q2E können sich Schulen in Bayern freiwillig evaluieren lassen oder durch die Schul-<br />

aufsicht im Zufallsverfahren ausgewählt werden (Staatsinstitut für Schulqualität und Bildungsfor-<br />

schung, 2005, S. 26). Eine Begehung soll in regelmäßigen Abständen, ca. alle fünf Jahre, erfolgen<br />

(Brunnhuber, 2009, S. 102).<br />

In der ersten Phase, in der die Prozessschritte Befragung und Datenerhebung integriert sind (Staatsinstitut<br />

für Schulqualität und Bildungsforschung, 2007, S. 23), ist eine weitere Diskrepanz zum<br />

Basismodell festzustellen. Während bei Q2E die Vorbereitungsarbeiten der Schule die Aktualisierung<br />

des Q-Handbuchs, eine Selbsteinschätzung des Qualitätsmanagements und die Beschreibung der<br />

zusätzlichen Evaluationsschwerpunkte umfasst (vgl. 2.3.1.1.2.5), handelt es sich bei QmbS einerseits<br />

um die Durchführung von Befragungen anhand von schulartspezifischen Fragebögen, d. h. für jede<br />

Schulart stehen eigene Formblätter zur Verfügung, um SchülerInnen, Lehrkräfte und Eltern bzw. AusbilderInnen<br />

in Betrieben zu befragen (Staatsinstitut für Schulqualität und Bildungsforschung, 2005,<br />

S. 36, 39). Auch die Datenerhebung zur Erfassung schulspezifischer Rahmenbedingen erfolgt mit Hilfe<br />

von schulartspezifischen Datenblättern (Staatsinstitut für Schulqualität und Bildungsforschung, 2005,<br />

S. 39, 40). Dies bedeutet, dass die Vorbereitungsarbeiten einer Schule je nach Schulart identisch verlaufen<br />

und auf die vorliegenden Formblätter basieren. Ca. zwei Monate vor dem Schulbesuch findet<br />

eine Vorstellungskonferenz über Vorbereitung, Durchführung und Evaluationsinhalte statt, an der sich<br />

Schulleitung, Kollegium, Eltern- und SchülervertreterInnen und VertreterInnen des Sachaufwandsträgers<br />

beteiligen, die dem Kennenlernen der beteiligten Personen dient und zum erfolgreichen Verlauf<br />

des Verfahrens beiträgt (Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 39, 40).<br />

In der zweiten Phase erfolgt der eigentliche Schulbesuch (Staatsinstitut für Schulqualität und Bildungsforschung,<br />

2007, S. 23,24). Während des Schulbesuchs erfolgt – analog zu Q2E – die quantitative<br />

und qualitative Datenerhebung sowohl durch standardisierte Befragungen von Beteiligten und<br />

einer Analyse schulischer Rahmenbedingungen als auch durch verschiedene Unterrichtsbeobachtungen<br />

und Interviews mit den am Schulleben beteiligten Gruppen (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2005, S. 36–49).<br />

Eine weitere Abweichung kann innerhalb der dritten Phase bei den letzten Prozessschritten festgestellt<br />

werden, da hierbei explizit der Schritt von Ziel- und Handlungsvereinbarungen erläutert wird.<br />

Hierbei ist die Auswertung des Evaluationsberichts mit Hinblick auf die Erarbeitung, Vereinbarung<br />

und Umsetzung relevanter Ziele durch die Schule in Zusammenarbeit mit der Schulaufsichtsbehörde<br />

vorgesehen (Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 33,34).<br />

Die interne und externe Evaluation haben eine ergänzende Wirkung, da die Schule durch die interne<br />

Evaluation einerseits auf die externe Begehung vorbereitet wird, in dem zugrundeliegende Qualitätsbereiche<br />

meist in Form einzelner Detailbereiche bereits innerhalb der Institution untersucht<br />

werden (vgl. 2.2.2.2). Andererseits wird die Umsetzung getroffener Maßnahmen, die als Resultat<br />

einer externen Evaluation hervorgehen, im nächsten Schritt innerhalb der Institution überprüft<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 13). Darüber hinaus reflektiert<br />

die externe Evaluation die Schulentwicklung über die einzelnen Detailbereiche hinaus und gibt so<br />

eine umfassende Rückmeldung über ausgewählte Qualitätsbereiche. Aus diesen Gründen ist eine<br />

67


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

68<br />

wechselnde Durchführung der internen und externen Evaluationen anzustreben, wobei nicht nur<br />

die Qualitätskriterien, sondern auch die Instrumente für beide Evaluationen herangezogen werden<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 8,9).<br />

2.3.1.2.3 Grenzen und Schwierigkeiten des QmbS-Modells<br />

Folgende Kritikpunkte wurden im Rahmen von ISB-Reflexionsworkshops seitens der 18 teilnehmenden<br />

Pilotschulen geäußert:<br />

Die Implementierung von QmbS erfordert unmittelbar die Einrichtung der fünf Komponenten (vgl.<br />

2.3.1.2.2), um ein funktionierendes Qualitätsmanagementsystem zu erzielen. Die Profil21-Schulen<br />

nahmen hierbei eine Top-Down-Strategie wahr, da eine Implementierung des Modells vorgeschrieben<br />

wurde und im zeitlichen Rahmen einzuhalten war. Aus diesem Grund äußerten die Schulen den<br />

Bedarf nach einem größeren Repertoire an Einführungsthemen, die individuell auf die einzelnen<br />

Schulen anpassbar sind.<br />

Ein weiterer Kritikpunkt ist die Betreuung der Pilotschulen durch das ISB, da relevante Schulungen<br />

der QmbS-Teams sehr zeitverzögert erfolgten, in dem spezielle Fachvorträge erst nach Abschluss<br />

der Entwicklung verschiedener Instrumente zur internen Evaluation stattfanden. Darüber hinaus<br />

wurden weitere Fortbildungsangebote und eine intensive Betreuung der Schulen vor Ort gefordert<br />

(Staatsinstitut für Schulqualität und Bildungsforschung, 2008, S. 8). Auch die Bereitstellung eines<br />

Projetplanes im Sinne eines professionellen Projektmanagements hätte die Einführung des QmbS<br />

erleichtert, in dem die Visualisierung der nächsten Prozessschritte für die Bildungseinrichtungen<br />

erfolgt wäre. Insbesondere soll nach der Pilotphase weiteren Schulen ein Leitfaden zur Einführung<br />

der internen und externen Evaluation zur Verfügung stehen, um die Implementierung der Qmbs-<br />

Komponenten zu erleichtern. Darüber hinaus wurde von den Schulen ein fester Personenkreis zur<br />

Teilnahme an den Workshops gefordert, um wiederkehrende Diskussionen zu vermeiden und zielführende<br />

Lösungswege entwickeln zu können.<br />

Die Ergebnisse aus der im Sommer 2008 durchgeführten Befragung (vgl. 2.3.1.2.1) ergaben, dass<br />

QmbS-Teammitglieder das Qualitätsmanagementsystem am schlechtesten evaluieren. Dieser Sachverhalt<br />

ist äußerst bedenklich, da diese Personengruppe sowohl umfassender Ansprechpartner im<br />

Qualitätsentwicklungsprozess und zentrale Steuerungsinstanz beim Aufbau des Qualitätsmanagements<br />

ist. Spezielle Gründe konnten hierbei allerdings nicht festgestellt werden. Darüber hinaus sind<br />

in den Pilotschulen teilweise nur eine punktuelle Verankerung und eine mangelnde Kenntnis über<br />

QmbS unter dem Kollegium festzustellen, was auf fehlendes Interesse oder negative Einstellung des<br />

Kollegiums auf das QmbS schließen lässt. Dies lässt sich u. U. durch eine isolierte Betrachtung zwischen<br />

dem Qualitätsmanagement-system und erzielten Erfolgen erklären. Hierbei wird von Seiten der<br />

QmbS-Teams festgestellt, dass im schulischen Bereich eine Operationalisierung von Zielen schwer<br />

durchzuführen ist, da Lehrkräfte meist eigene Zielsetzungen verfolgen bzw. die Zielerreichung nur<br />

erschwert messbar ist. In diesem Zusammenhang wird ein Abgleich zwischen dem Schulleiter und<br />

dem einzelnen Lehrer gefordert, um abgeleitete Maßnahmen aus dem Individualfeedback mit dem<br />

Qualitätsleitbild der Schule in Verbindung zu bringen.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Des Weiteren wurde in den Reflexionsworkshops des ISB die fehlende Nachhaltigkeit von QmbS<br />

beanstandet, da eine Implementierung bzw. Anwendung des Qualitätsmanagementsystems keine<br />

unmittelbaren Auswirkungen und Konsequenzen auf die Bildungseinrichtung hat, d. h. die Schule hat<br />

in sachlicher, personeller oder finanzieller Hinsicht keine direkten Vorteile. Eine Bildungseinrichtung<br />

erhält bei überdurchschnittlicher Qualität der Schule und Anwendung des Qualitätsmanagementsystems<br />

keine weiteren Handlungsspielräume oder Freiheiten, um ihre Schulentwicklung voranzutreiben<br />

bzw. zu individualisieren. Diese Tatsache äußert sich dahingehend, dass die Institutionen einen<br />

geringen Anreiz zur Verbesserung ihrer Qualität haben, da QmbS keine unmittelbaren Folgerungen<br />

impliziert. Das fehlende Anreizsystem ist nicht nur für das Qualitätsmanagementsystem an sich, sondern<br />

auch für die QmbS-Teams festzustellen, da diese Personengruppe für ihre positiven Ergebnisse<br />

keine Antwort im Sinne eine Belohnung oder weiteren Freiräumen erhält.<br />

Die QmbS-Komponente ‚externe Evaluation‘ ist im Rahmen der offenen Diskussion hinsichtlich des<br />

Konzepts und der Umsetzung verstärkt kritisiert worden. Insbesondere wurden in diesem Zusammenhang<br />

die Unterrichtsbesuche als ‚rotes Tuch‘ bezeichnet, da hierbei Stichproben aus einer<br />

vorab definierten Auswahl an Unterrichtsstunden ausgewählt werden und durch das Vorführen von<br />

‚Showstunden‘ keine Objektivität der Ergebnisse im Sinne eines normalen Schulalltags vorliegt. Darüber<br />

hinaus sollte der externen Evaluation eine interne vorausgehen (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2005, S. 8), in dem Qualitätsbereiche innerhalb einer Bildungseinrichtung<br />

zuerst intern begutachtet werden (vgl. 2.2.2.2). D. h. die Institution reflektiert ihr implementiertes<br />

Qualitätsmanagementsystem zunächst selbst, um die Qualität des Systems an sich und eventuelle<br />

Qualitätsdefizite sowie Schwierigkeiten bei der Steuerung der Qualitätsprozesse direkt aufzudecken.<br />

Anschließende Optimierungsmaßnahmen zu dessen Beseitigung zeigen nicht unmittelbar Wirkung,<br />

da eine erfolgreiche Umsetzung ein professionelles Projektmanagement bedingt und die Entscheidungen<br />

in den jeweiligen Qualitätsbereich zu integrieren sind. Die Selbstevaluation bereitet die<br />

Schule also auf die externe Begehung vor (vgl. 2.3.1.2.2.5), da nach intensiver Selbstreflexion mit der<br />

Hilfe von außenstehenden Personen ‚blinde Flecken‘ der Bildungseinrichtungen aufgedeckt werden<br />

sollen. Aus diesem Grund ist eine externe Evaluation nur sinnvoll, sofern eine Bildungseinrichtung<br />

über ein funktionierendes Qualitätsmanagementsystem verfügt und dies bereits im Rahmen einer<br />

vorangehenden internen Evaluation selbst untersuchte. In Bayern wurde die ‚externe Evaluation‘<br />

allerdings vor der ‚internen Evaluation‘ in den Schulen implementiert (Kurz et al., 2009, S. 151). D. h.<br />

in den evaluierten Schulen existierte weder ein funktionierendes Qualitätsmanagementsystem noch<br />

eine Projektsteuergruppe, die Aufbau und Implementierung eines Modells vorantrieb.<br />

Die externe Evaluation in QmbS ist eine Primärevaluation, da sie Bedingungen, Prozesse und<br />

Ergebnisse der gesamten Schule überprüft (vgl. 2.3.1.2.2.5). Dieses Konzept zur ausschließlichen<br />

Beurteilung der Effektivität von Prozessen und Wirksamkeit getroffener Maßnahmen wurde insoweit<br />

beanstandet, dass zur individuellen Schulentwicklung nicht nur eine Begutachtung über die<br />

Quantität der Prozesse und Daten sondern auch über die Qualität des Gesamtsystems unabdingbar<br />

ist. Diese Art der Rückmeldung im Sinne einer Metaevaluation (vgl. 2.2.3.4) wäre für die Schulen<br />

insoweit eine Bereicherung, um über Aufbau und Struktur der Prozesse von außen eine Reflektion<br />

zu erhalten. Gerade dieser Sachverhalt ist auch durch die interne Evaluation nicht zu kompensieren,<br />

69


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

70<br />

da eine objektive Einschätzung schulinterner Vorgänge nur von außenstehenden, also unbefangenen<br />

Personen erhalten werden kann. D. h. sog. ‚blinde Flecken‘ können nur mit einem Blick von außen<br />

beseitigt werden, da integrierte Personen durch permanente Konfrontation die Systeme verzerrt<br />

wahrnehmen und somit eine objektive Beurteilung nicht gegeben ist.<br />

Ein weiterer Kritikpunkt bezieht sich auf die zeitliche Ausrichtung der externen Evaluation, die fünf<br />

Jahre beträgt. Nach der Begehung durch externe Experten werden zwischen der Bildungseinrichtung<br />

und der Schulaufsicht Handlungs- und Zielvereinbarungen geschlossen (Staatsinstitut für<br />

Schulqualität und Bildungsforschung, 2005, S. 33), um festgestellte Schwächen zu beheben bzw.<br />

vorhandene Stärken weiter auszubauen. Die Zielerreichung der abgeleiteten Maßnahmen können<br />

im weiteren Verlauf zunächst durch eine interne Evaluation reflektiert werden, damit Erfolge aus der<br />

Umsetzung realisiert bzw. weitere Nachbesserungen aufgedeckt werden. In diesen Handlungsschritten<br />

können ‚blinde Flecken‘ allerdings nur durch einen kritischen Außenblick aufgedeckt werden (vgl.<br />

2.3.1.2.2.5), da eine unbefangene Rückmeldung zur Prozessgestaltung lediglich von außenstehenden<br />

Personen durchgeführt werden kann. Aus diesem Grund ist eine Begehung durch externe Experten<br />

unverzichtbar bzw. nach einem Zeitraum von fünf Jahren sehr spät angesetzt, da einerseits bis dato<br />

eventuelle Fehlsteuerungen der Entwicklungen nur erschwert korrigiert werden können und andererseits<br />

können im Bereich der Schulentwicklung bereits ganz andere Schwerpunkte gesetzt sein.<br />

2.3.1.3 Nürnberger Qualitätsmanagement an beruflichen Schulen (NQS)<br />

2.3.1.3.1 Entwicklung und Ziele von NQS<br />

Im Jahr 2003 beschlossen alle Schulleiter der beruflichen Schulen eine systematische und kontinuierliche<br />

Schulentwicklung für die Nürnberger Schulen zu implementieren (Kurz et al., 2009, S. 150).<br />

Dieses Vorhaben genehmigte der Nürnberger Schulausschuss des Stadtrates (Pädagogisches Institut<br />

der Stadt Nürnberg). Mit starker Unterstützung des Pädagogischen Instituts der Stadt Nürnberg<br />

erfolgte ein schrittweiser Einstieg in NQS unter Orientierung an Q2E, in dem zunächst die Einführung<br />

der Komponenten ‚Selbstevaluation‘ sowie einer ‚systematischen Steuerung der Qualitätsprozesse‘<br />

(NQS-Routinen) (Kurz et al., 2009, S. 150) initiiert wurden. Die Elemente ‚Leitbild‘, ‚Individualfeedback‘<br />

und ‚externe Evaluation‘ wurden zu diesem Zeitpunkt noch zurückgestellt (Wilbers, 23.06.2009).<br />

Im Jahr 2004 erarbeiteten Vertreter aller beruflichen Schulen ein Konzept, um die Phasen der Planung,<br />

Realisierung und Evaluation der in der Bilanzkonferenz fokussierten Ziele festzuhalten (vgl.<br />

2.3.1.2.2.4). Es beinhaltet die zugrundeliegenden Ziele sowie hierfür getroffene Maßnahmen und<br />

erzielte Ergebnisse. Im Jahr 2005 verpflichteten sich die Schulen selbst zu einer umfassenden <strong>Dokument</strong>ation<br />

der Qualitätsarbeit in Form des sogenannten NQS-Portfolios (Kurz et al., 2009, S. 151), um<br />

einen kontinuierlichen Nachweis über durchgeführte Maßnahmen und den damit einhergehenden<br />

Qualitätsmanagementprozess zu gewährleisten (Zirkler, 2007, S. 48). In einem jährlichen NQS-Forum<br />

wird den Schulleitungen und NQS-Teams die Möglichkeit eingeräumt, Erfahrungen auszutauschen<br />

und aktuelle Entwicklungen sowie anstehende Schritte zu diskutieren (Zirkler, 2007, S. 53).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

In diesem Zusammenhang wurde im Jahr 2007 die Vervollständigung des NQS um ein externes<br />

Element diskutiert, um einen Blick von außen über die schulische Qualitätsarbeit zu erhalten. An<br />

dieser Stelle war die Entwicklung einer eigenen Nürnberger Lösung unumgänglich, da das Basismodell,<br />

Q2E, den Begriff der externen Evaluation weiter fasst und die Metaevaluation, eine Evaluation<br />

des Qualitätsmanagements, konzipierte (vgl. 2.3.1.1.2.5). Hierbei werden Prozesse hinsichtlich der<br />

Aufrechterhaltung und Verbesserung der Schul- und Unterrichtsqualität überprüft (Landwehr et al.,<br />

2007, S. 31). Insbesondere geht es um ein funktionierendes Qualitätsmanagementsystem, das alle<br />

wichtigen Voraussetzungen, Prozesse und Ergebnisse anhand von Soll-Ist-Vergleichen überprüft<br />

und laufend optimiert. Entsprechend der Nürnberger Tradition wurde das Modell der externen Evaluation<br />

in einem Pilotprojekt an einer Beruflichen Schule in Nürnberg in enger Zusammenarbeit mit<br />

Nürnberger Schulleitern, NQS-Gruppen, Lehrkräften, dem Amt für Berufliche Schulen und dem Pädagogischen<br />

Institut der Stadt Nürnberg federführend durch den Lehrstuhl für Wirtschaftspädagogik<br />

und Personalentwicklung erarbeitet.<br />

Das externe Element in NQS ist seit 2008 in der Entwicklungsphase, dient der Weiterführung<br />

erfolgreicher Arbeiten zum NQS und wurde im Jahr 2009 innerhalb eines Pilotprojektes erstmalig<br />

durchgeführt. Im Rahmen von NQS-Vorträgen erhielten auch alle Lehrkräfte der beruflichen Schulen<br />

sowie der Schulausschuss der Stadt Nürnberg allgemeine Informationen über NQS-E. Verschiedene<br />

Arbeitsgruppen der Pilotschule setzten sich anschließend am pädagogischen Tag mit folgenden<br />

Themen auseinander:<br />

• Chancen und Risiken der externen Evaluation<br />

• Vor- und Nachteile der Unterrichtsbesuche bei externer Evaluation<br />

• sinnvolle Kriterien für Unterrichtsbeobachtungen/-besuche<br />

• Ableitung von Konsequenzen aus dem Bericht der Peers.<br />

Die Ergebnisse sowie Anregungen und Diskussionspunkte aus den NQS-Vorträgen wurden aufgegriffen<br />

und bei der weiteren Entwicklung berücksichtigt. Die Entwicklung von NQS-E orientiert sich<br />

erneut stark an Q2E, aber auch an Peer Review in QIBB, wobei aber eine Reihe wichtiger Änderungen<br />

zu verzeichnen sind (vgl. 2.3.1.3.2). Im Jahr 2010 erfolgte die Durchführung einer weiteren externen<br />

Evaluation im Rahmen von NQS-E. Zwei weitere Begehungen sind in 2011 geplant.<br />

Im Jahr 2009 kann in den beruflichen Schulen der Stadt Nürnberg ein differenzierter Entwicklungsstand<br />

von NQS festgestellt werden. Dies ist u. a. auf unterschiedliche Ausgangssituationen in der<br />

vorangehenden Schulentwicklung, die Motivation des Kollegiums oder das Engagements des<br />

Schulleiters zurückzuführen. Darüber hinaus können Verzögerungen bei der Implementierung von<br />

weiteren Komponenten festgestellt werden, da „[...] die Implementierung der Qualitätsroutinen auf<br />

Schul- und Abteilungs-/Jahrgangsebene an den städtischen Schulen mehr Zeit in Anspruch nimmt,<br />

als zunächst erwartet“ (Kurz et al., 2009, S. 151). Dies ist auf erhöhte mentale Vorbehalte gegenüber<br />

den NQS-Routinen von Seiten der Pädagogen zurückzuführen und verdeutlicht die Notwendigkeit<br />

einer intensiven und umfassenden Erarbeitung von Zielen der Betonung des Nutzens von Qualitätsmanagement<br />

zu Beginn der Qualitätsarbeit (Kurz et al., 2009, S. 151).<br />

71


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

72<br />

2.3.1.3.2 Das Modell NQS<br />

Dieses Qualitätsmanagementsystem richtet sich an alle beruflichen Schulen in Nürnberg und dient<br />

der systematischen und kontinuierlichen Schulentwicklung. Als Basissystem dient das Q2E-Modell<br />

aus der Schweiz (Kurz et al., 2009, S. 150) (vgl. 2.3.1.1). Das Nürnberger System besteht – in starker<br />

Anlehnung an das Ausgangsmodell – aus fünf Elementen:<br />

• das Qualitätsleitbild als normative Ausrichtung der Qualitäts- bzw. Schulentwicklungsarbeit<br />

• die Steuerung der NQS-Prozesse, beispielweise durch die NQS-Teams in der Schule<br />

• die Selbstevaluation<br />

• das Individualfeedback und persönliche Qualitätsentwicklung in NQS sowie<br />

• die externe Schulevaluation, d. h. die Evaluation durch kritische Freunde (Buichl & Wilbers,<br />

2009, S. 10).<br />

Selbstevaluation<br />

und Schulentwicklung<br />

Individualfeedback und persönliche<br />

Qualitätsentwicklung in NQS<br />

Abbildung 12: Die NQS-Komponenten<br />

Qualitätsleitbild<br />

(Q-Ziele)<br />

der Schule<br />

Steuerung der NQS-Prozesse<br />

Externe Schulevaluation<br />

(Evaluation durch kritische Freunde)<br />

NQS hat bezüglich seiner fünf Elemente auch starke Übereinstimmungen mit QmbS (vgl. 2.3.1.2.2),<br />

da die Systeme parallel entwickelt wurden und in beiden Fällen eine Orientierung an Q2E vorliegt.<br />

Dennoch weist NQS Unterschiede zu den beiden Modellen auf, die im Folgenden näher beschrieben<br />

werden. Übereinstimmungen werden zur Vollständigkeit kurz erläutert.<br />

2.3.1.3.2.1 Das Qualitätsleitbild<br />

Das Qualitätsmanagement der Schulen richtet sich nach dem eigenen Qualitätsversprechen, d. h.<br />

das Kollegium jeder Institution definiert schuleigene Werte, Normen und Ziele. Die Entwicklung des<br />

Leitbilds orientiert sich dabei an den gesetzlichen Rahmenbedingungen wie beispielsweise des<br />

Lehrplanes (vgl. 2.1.2.1.1). Das Amt für Berufliche Schulen hat als übergeordnete Organisationseinheit<br />

kein eigenes Leitbild entwickelt, so dass eine weitere übergeordnete Ebene in der Zielhierarchie nicht<br />

vorliegt. Diese Tatsache ist in zuständigen staatlichen Einrichtungen ebenfalls festzustellen.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Alle beruflichen Schulen in Nürnberg verfügen über ein Leitbild. Allerdings ist hierbei ein sehr<br />

unterschiedliches Qualitätsniveau zu verzeichnen. Dies liegt daran, dass die zentral angestoßene<br />

Leitbilddiskussion nicht erfolgreich beendet werden konnte (Schmid, September 2007, S. 18).<br />

2.3.1.3.2.2 Das Individualfeedback und persönliche Qualitätsentwicklung<br />

Mit Hilfe des Individualfeedbacks erhalten Lehrkräfte eine Rückmeldung zur Qualität ihres Unterrichts<br />

sowie Hinweise über persönliche Stärken und Schwächen. NQS sieht hierbei ein 360°-Feedback<br />

vor, in dem neben Schülern und Kollegen auch Schulleitung und Eltern bzw. Ausbildungsbetriebe<br />

als Feedbackgeber herangezogen werden. Die Datenerhebung erfolgt hierbei hauptsächlich durch<br />

standardisierte Befragungen in Form von Fragebögen. Als weitere Instrumente sind Einzel- oder<br />

Gruppeninterviews bzw. Beobachtungen im Sinne der Unterrichtshospitation zu nennen, um eine<br />

ständige Verbesserung des Unterrichts- und der Lehrerpersönlichkeit zu erreichen. In diesem<br />

Bereich sind unterschiedliche Entwicklungen im Bereich des Konzepts und der Umsetzung innerhalb<br />

der einzelnen Schulen zu verzeichnen.<br />

2.3.1.3.2.3 Selbstevaluation der Schule<br />

Die Selbstevaluation (vgl. 2.2.2.2) dient der Überprüfung und Weiterentwicklung der Bildungseinrichtung<br />

an sich, in dem Abweichungen zwischen Qualitätsansprüchen und aktuellem Qualitätsniveau<br />

ermittelt werden, um Maßnahmen zur Optimierung abzuleiten. Weitere Einzelheiten dieser Komponente<br />

sind dem Basismodell Q2E zu entnehmen (vgl. 2.3.1.3.2.3).<br />

2.3.1.3.2.4 Die Steuerung der NQS-Prozesse<br />

Dieser NQS-Baustein zeichnet sich neben einer systematischen Steuerung der Qualitätsprozesse<br />

– wie der Wortlaut der Komponente an sich – sowie einer Planung und Durchführung von Maßnahmen<br />

zur Qualitätssicherung und -steigerung durch sog. ‚NQS-Routinen‘ aus. Diesen jährlichen<br />

Zyklen liegt der sog. DeminG-Kreis (vgl. 2.3.1.1) zugrunde, indem die Handlungsschritte ‚plan‘, ‚do‘,<br />

‚check‘ und ‚act‘ (PDCA-Zyklus) eine permanente Optimierung der Prozesse ermöglichen. So wird zu<br />

Schuljahresbeginn im Rahmen einer Zielkonferenz der Qualitätsentwicklungsprozess neu gestartet<br />

(Kurz et al., 2009, S. 150), während Ergebnisse der internen Evaluation mit dem Leitbild und den<br />

abgeleiteten Qualitätszielen gegenübergestellt und somit Qualitätsdefizite ermittelt werden. Diese<br />

sind evtl. mit vorangehenden Schulentwicklungsmaßnahmen abzugleichen, um einen Zielerreichungsgrad<br />

zu ermitteln. Die ‚Qualitätslücken‘ bilden Basis für die Definition von Jahreszielen für das<br />

laufende Schuljahr, um die angestrebte Qualitätsstufe zu erreichen. Die Festsetzung der Jahresziele<br />

erfolgt innerhalb des Gesamtkollegiums oder im NQS-Team. Aufgrund des ressourcenschonenden<br />

Umgangs sind drei bis vier Ziele zu empfehlen, um ein professionelles Vorgehen zur Zielerreichung<br />

gewährleisten zu können. Dies erfordert eine präzise Formulierung und eine schriftliche<br />

Fixierung einzelner Ziele, um Unstimmigkeiten bei der Zielsetzung zu vermeiden und eine höhere<br />

Verbindlichkeit zu erhalten (Zirkler, 2007, S. 36). Im nächsten Schritt sind konkrete Projektpläne mit<br />

detaillierten Zeitabläufen und Zuständigkeiten einzelner Maßnahmen aufzustellen, die in Summe<br />

zur Erreichung des Ziels führen (Kurz et al., 2009, S. 151). Dies beinhaltet auch eine Zuteilung von<br />

73


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

74<br />

Qualitätsindikatoren und Evaluationskriterien, um eine Überprüfung der Zielerreichung bzw. eine<br />

Messbarkeit des Zielerreichungsgrades gewährleisten zu können (Schnoor et al., 2006, S. 84 f.). Als<br />

nächster Schritt erfolgt im Sinne der ‚do‘-Phase eine Umsetzung geplanter Maßnahmen während<br />

des Schuljahres (Zirkler, 2007, S. 38). Diese werden am Ende des Schuljahres mit Hilfe der definierten<br />

Indikatoren überprüft, um den Zielerreichungsgrad bzw. auftretende Probleme zu identifizieren. Im<br />

Rahmen einer Bilanzkonferenz erfolgt eine Reflektion und <strong>Dokument</strong>ation der Evaluationsergebnisse.<br />

Sofern eine unvollständige Realisierung der Maßnahmen bzw. längerfristige Projektlaufzeit<br />

zu Grunde liegt, stellen diese Ergebnisse die Basis für die Zielvereinbarungskonferenz im folgenden<br />

Schuljahr dar. Die folgende Abbildung verdeutlicht die einzelnen Schritte innerhalb der NQS-Routine<br />

mit den jeweiligen Verantwortlichkeiten.


NQS-Routine<br />

Ziel nicht<br />

erreicht<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

NQS-Team Gesamtkollegium<br />

Ermittlung der<br />

Ergebnisse der<br />

internen Evaluation<br />

Abgleich der Ergebnisse<br />

mit Leitbild und<br />

Qualitätskriterien<br />

Ermittlung von<br />

Qualitätsdefiziten<br />

Aufstellung von<br />

Projektplänen<br />

Kommunikation der<br />

Ziele/Projekte an<br />

Gesamtkollegium<br />

Begleitung der<br />

Maßnahmen<br />

Evaluation der<br />

Maßnahmen<br />

Diskussion/Reflexion<br />

der Evaluationsergebnisse<br />

Ziel erreicht<br />

Abschluss der<br />

Maßnahme<br />

Abbildung 13: Prozess der NQS-Routine<br />

Formulierung von<br />

Jahreszielen<br />

Umsetzung der<br />

Maßnahmen<br />

Zeitachse<br />

Schuljahresbeginn laufendes Schuljahr Schuljahresende<br />

75


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

76<br />

Ein sog. NQS-Portfolio gewährleistet eine systematische <strong>Dokument</strong>ation von Qualitätsentwicklung<br />

bzw. Qualitätssicherung und besteht aus zwei Teilen. Zu Beginn erfolgt eine allgemeine Darstellung<br />

der Institution, indem Rahmenbedingungen sowie personelle und sachliche Ausstattungen erläutert<br />

werden. Im zweiten Abschnitt sind neben dem Leitbild und den daraus abgeleiteten Qualitätszielen<br />

die Qualitätsfelder verbunden mit einzelnen Jahreszielen zu nennen. Insbesondere ist hier deren<br />

Umsetzung, also geplante Maßnahmen mit angestrebten (Zwischen-)Ergebnissen, festzuhalten.<br />

Es erfolgt eine <strong>Dokument</strong>ation der Jahresziele in Form des Projektmanagements, indem die Phasen<br />

der Planung, Realisierung und Evaluation zu beschreiben sind und ein detailliertes Vorgehen<br />

bescheinigen. Das NQS-Portfolio ist ein schulinternes <strong>Dokument</strong> und soll dem Beirat der jeweiligen<br />

Berufsschule vorgelegt werden (Schmid, 29.07.11).<br />

Ein jährliches NQS-Forum ermöglicht allen beruflichen Schulen in Nürnberg, ihre Erfahrungen auszutauschen<br />

und aktuelle Entwicklungen sowie anstehende Schritte zu diskutieren.<br />

Das Amt für Berufliche Schulen sieht also übergeordnete Organisationseinheit eine Implementierung<br />

und Anwendung von NQS in den Nürnberger Schulen vor. Somit fällt diese Aufgabe in erster Linie<br />

den Führungspositionen einer Schule zu. Im Verlauf der NQS-Routinen liegt es im Aufgabenbereich<br />

der Schulleitung, den Prozess ggf. weiter voranzutreiben, Mitarbeiter zu motivieren oder Ressourcen<br />

bereitzustellen. Darüber hinaus nimmt bei NQS das Koordinierungsteam, das sog. NQS-Team, eine<br />

zentrale Schlüsselfunktion ein, da es für das Management des gesamten Qualitätsmanagementverfahrens<br />

zuständig ist (Zirkler, 2007, S. 49). Mitglied dieser Gruppe sind neben der Schulleitung<br />

und den Berufsbereichsbetreuern (BBB) als mittleres Management Pädagogen aller Fachrichtungen,<br />

idealerweise auch Personen der Verwaltung, um im Hinblick auf die Weitergabe neuer Informationen<br />

und Beschlüsse Kommunikationswege in alle Abteilungen und Ebenen der Bildungseinrichtung zu<br />

gewährleisten. Die BBB sind hierbei eine „Schnittstelle zwischen den Koordinierungsteams und den<br />

Lehrpersonen“ der jeweiligen Fachrichtung (Zirkler, 2007, S. 80), da sie einen schnellen Austausch<br />

von Problemen, Meinungen und Entwicklungsstufen im NQS-Prozess ermöglichen. Die Integration<br />

der ‚Breite des Kollegiums‘ intendiert eine hohe Verankerung des Qualitätsmanagements und fördert<br />

eine kontinuierliche Qualitätsentwicklung in der gesamten Institution, was zur erfolgreichen Umsetzung<br />

einzelner Maßnahmen beiträgt. NQS-Sitzungen sind ‚offen‘ gestaltet, so dass eine freiwillige<br />

Teilnahme von weiteren Pädagogen aufgrund bestimmter Themen oder persönlichen Engagements<br />

möglich ist (Zirkler, 2007, S. 72).<br />

Weitere Aufgaben des NQS-Teams erstrecken sich von der Koordination und Verantwortung des<br />

gesamten Prozesses bis zur Organisation sämtlicher Vorgänge. Dies beinhaltet u. a. die Vorbereitung<br />

und Durchführung von Konferenzen sowie die <strong>Dokument</strong>ation von Ergebnissen (Zirkler, 2007, S. 50,<br />

73). Entsprechend des Aufgabenfeldes und dafür relevanter Kompetenzen wird dieser Personenkreis<br />

durch das Pädagogische Institut in Form einer grundlegenden Qualifizierung und fortlaufenden Weiterbildungen<br />

in folgenden Themenbereichen geschult:<br />

1. Schulqualität und Qualitätsentwicklung (Modul 1)<br />

2. Moderation von Zielkonferenzen (Modul 2)<br />

3. Umgang mit Widerstand und erfolgreiche Kommunikation von Qualitätsprozessen (Modul 3)


4. Projektmanagement (Modul 4)<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

5. Evaluationsschleifen und kommunikative Validierung erhobener Daten (Modul 5) (Kurz et al.,<br />

2009, S. 151).<br />

2.3.1.3.2.5 Externe Schulevaluation<br />

Die externe Evaluation in NQS (NQS-E) ist, wie auch bei Q2E im Gegensatz zu QmbS, eine Metaevaluation<br />

und bewertet die Qualität des Qualitätsmanagements (vgl. 2.2.2.2 und 2.2.3.4; Landwehr<br />

& Steiner, 2007b, S. 31). D. h. es werden Prozesse überprüft, „[...] die innerhalb einer Schule zur<br />

Aufrechterhaltung und zur Verbesserung der Schul- und Unterrichtsqualität eingesetzt werden […]“<br />

(Landwehr & Steiner, 2007b, S. 31). Damit schließt NQS an eine Evaluationsvorstellung an, die auch<br />

die Fremdevaluation an beruflichen Schulen Baden-Württembergs als Meta-Evaluation charakterisiert.<br />

NQS-E liegt nicht der Kontrollgedanke zugrunde, sondern richtet ihren Fokus auf ‚Entwickeln<br />

und Lernen‘, d. h. die Begehung soll sog. ‚blinde Flecken‘ aufdecken und überwinden. Dies sind<br />

bestimmte Merkmale und Handlungsweisen einer Institution, die der Einrichtung selbst unbekannt<br />

sind und somit nur von der Außenwelt erkannt und mitgeteilt werden können (Strahm, 2008, S. 52,<br />

53). Darüber hinaus soll die Glaubwürdigkeit und Verbindlichkeit des internen Qualitätsmanagements<br />

erhöht werden. Ein ausgebautes Qualitätsmanagement im Sinne einer gelebten Praxis der Selbstevaluation,<br />

der (Weiter-) Entwicklung des Qualitätsleitbildes, des Individualfeedbacks und der Steuerung<br />

der Qualitätsarbeit durch NQS-Routinen ist Voraussetzung für die Begehung durch Experten, denn<br />

zur Beurteilung des ganzheitlichen Qualitätsmanagements werden nicht nur Kernprozesse wie<br />

Schule und Unterricht, sondern auch Unterstützungs- und Managementprozesse untersucht.<br />

Das NQS-E-Verfahren gliedert sich in vier Phasen, die im Folgenden erläutert werden.<br />

Vorbereitungsarbeiten in der Schule und durch die Peers<br />

Peer-Besuch<br />

Evaluationsbericht<br />

Ausarbeitung von Konsequenzen aus dem Evaluationsbericht<br />

(als Teil des NQS-Zyklus)<br />

Abbildung 14: Ablauf der externen Evaluation nach NQS<br />

77


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

78<br />

Zunächst findet zwischen der zu evaluierenden Schule und dem Lehrstuhl für Wirtschaftspädagogik<br />

und Personalentwicklung ein Vorgespräch statt, in dem die anstehenden Phasen der externen Evaluation<br />

erläutert und zeitliche Eckpunkte geplant werden. Des Weiteren wird die Zusammensetzung<br />

des Peer-Teams aufgezeigt, das aus einer fachlich nahen Lehrkraft oder SchulleiterIn, einem Evaluationsexperten<br />

bzw. einer Evaluationsexpterin, einem/r transnationalen Exterten/in sowie einem/r<br />

Unternehmensvertreter/in und nach Wahl der Schule aus weiteren VertreterInnen der Wirtschaft<br />

besteht. Anschließend erfolgt die Nominierung der Peers durch den Lehrstuhl für Wirtschaftspädagogik<br />

und Personalentwicklung, deren Aufgabe es während der externen Evaluation ist, eine<br />

Sichtweiße von außenstehenden Personen einzubringen und sowohl ‚blinde Flecken‘ der Schule<br />

aufzudecken als auch eine Rückmeldung über neue Wege für die Schulentwicklung aufzuzeigen.<br />

Daraufhin beginnt die erste Phase des NQS-E-Verfahrens, in dem die Vorbereitungsarbeiten an der<br />

Schule durch die Erstellung des Selbstberichts anhand der vorgegebenen Instrumente aufgenommen<br />

werden. Auf dieser Grundlage unternehmen die Peers den Schulbesuch. Dieser beginnt am<br />

Vorabend mit einer Vorbesprechung des Peer-Teams, in dem der Selbstbericht diskutiert wird. Darüber<br />

hinaus sind beispielsweise Datenerhebungen und -auswertungen zu planen sowie vertiefende<br />

Fragen zur Qualität des NQS zu formulieren. Diese werden anschließend zu einzelnen Leitfäden<br />

verdichtet, die eine Grundlage für die durchzuführenden Interviews darstellen. Gegebenenfalls wird<br />

der Innovationsbereich erläutert und das detaillierte Vorgehen im Rahmen der Unterrichtskonkretisierung<br />

geplant. Es folgt ein eineinhalb tägiger Besuch der Schule mit Interviews der SchülerInnen,<br />

der Lehrkräfte, der NQS-Teams, der Schulleitung sowie dem mittleren Management der Schule.<br />

Außerdem werden nach Bedarf die sogenannten Unterrichtskonkretisierungen vorgenommen. Diese<br />

dienen der Konkretisierung des Schwerpunktes der Primärevaluation, d. h. des von der Schule selbst<br />

gewählten Innovationsbereichs. Die Schule soll damit den Innovationsbereich gegenüber den Peers<br />

illustrieren und im konkreten Unterricht aufzeigen. Eine Unterrichtskonkretisierung besteht aus einer<br />

Erläuterung und Nachbereitung der Lehrkraft sowie dem Unterricht selbst. Dementsprechend ist eine<br />

Unterrichtskonkretisierung keine Unterrichtsbeobachtung oder gar eine Visitation. Sie erlaubt auch<br />

keine Aussage zur Gesamtqualität des Unterrichts, zur Qualität der Lehrkraft oder gar zur Qualität der<br />

Schule insgesamt. Sie ist immer angebunden an den zu illustrierenden Innovationsbereich und soll<br />

die Papierform des Innovationsbereichs im Kerngeschäft ergänzen.<br />

Im Anschluss an die Begehung folgen ein Austausch von Eindrücken und Erkenntnissen zur Qualität<br />

des Qualitätsmanagements unter den Peers sowie eine gezielte Reflexion der eingeschätzten Qualitätsarbeit.<br />

Diese Ergebnisse sind neben Hinweisen auf Verbesserungspotentiale und Anregungen<br />

zur Schulentwicklung Bestandteil des Auswertungsberichts. Dieser wird in Abstimmung mit allen<br />

Peers angefertigt und gehört der Schule selbst, d. h. die Ergebnisse der Begehung werden nicht<br />

an die Schulaufsicht weitergegeben. Im Anschluss folgen eine interne Diskussion der Ergebnisse<br />

in der Bildungseinrichtung und eine Formulierung erforderlicher Konsequenzen, um aufgedeckte<br />

Qualitätsdefizite zu beseitigen. Dabei kann die Schule selbst entscheiden, welche Informationen<br />

als Steuerungswissen an vorgelagerte Instanzen weitergegeben werden. Die erforderlichen Maßnahmen<br />

fließen über Jahresziele in die Zielkonferenz ein und werden aufgrund der NQS-Routinen<br />

laufend überprüft.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Zwischen NQS-E und dem Ausgangsmodell Q2E sind folgende Unterschiede zu verzeichnen:<br />

Der Selbstbericht<br />

Die Konzeption des Selbstberichts orientiert sich an den Spezifika deutscher Schulentwicklung und<br />

an NQS. In diesem Zusammenhang wurden die unterschiedlichen Rollen der Schulleitung beachtet,<br />

da die Ausrichtung des Schulentwicklungsprozesses in der BRD nicht nur durch die Schulleitung,<br />

sondern auch durch das NQS-Team erfolgt. Des Weiteren gestaltet sich die Selbsteinschätzung der<br />

eigenen Entwicklung für Schulen schwierig und aufwändig. Dieses Instrument bildet jedoch sowohl<br />

für die externe Begehung als auch für die Selbstreflexion der Bildungseinrichtung ein hilfreiches<br />

Instrument. Aus diesen Gründen wurden die Instrumente des Selbstberichts neu gestaltet.<br />

In einem Erstinformationsblatt gibt die Schule neben verschiedenen Kontaktdaten und -personen<br />

sowie Übersichten und Anwendungsbereiche vorangehender Evaluationen die Ziele der anstehenden<br />

Begehung selbst bekannt. Des Weiteren können nationale und internationale Peers vorgeschlagen<br />

und spezielle Fragestellungen bzw. Anforderungen an die Peers verankert werden. Eine zeitliche<br />

Übersicht zum Verfahren informiert über das weitere Vorgehen nach dem Schulbesuch. Ausschließlich<br />

dieses <strong>Dokument</strong> wird der dem Amt für Berufliche Schulen als übergeordnete Organisationseinheit<br />

weitergegeben, um diese über die bevorstehenden Vorgänge zu informieren.<br />

Der Selbstbericht beinhaltet folgende weitere <strong>Dokument</strong>e:<br />

1. Rahmendaten zur Schule<br />

2. Beschreibung des Qualitätsmanagements der Schule<br />

3. Selbsteinschätzung des Qualitätsmanagements der Schule<br />

4. Beschreibung und Bewertung eines ausgewählten Innovationsbereichs der Schule<br />

5. Ggf. Fragen an die Peers<br />

6. <strong>Dokument</strong>ation der Q-Arbeit durch das NQS-Portfolio.<br />

In den ‚Rahmendaten zur Schule‘ gibt die Bildungseinrichtung allgemeine Rahmenbedingungen<br />

und statistische Daten zur gesamten Schule sowie zu einzelnen Bereichen bekannt. Ein weiteres<br />

Instrument bezieht sich auf das NQS der Schule. Mit Hilfe einzelner Leitfragen beschreibt<br />

die Bildungseinrichtung die Komponenten Qualitätsleitbild, Individualfeedback und persönliche<br />

Qualitätsentwicklung, Selbstevaluation und Qualitätsentwicklung der Schule sowie Steuerung der<br />

Q-Prozesse durch die Schulleitung und das NQS-Team, um den externen EvaluatorInnen ein Bild des<br />

schulischen Qualitätsmanagements zu ermöglichen. Darauf aufbauend beurteilt die Schule selbst<br />

ihre Qualität der einzelnen NQS-Elemente anhand eines vorgefertigten Qualitätsrasters. Dieses<br />

Selbsteinschätzungsinstrument aus Q2E (vgl. 2.3.1.1.2.5) wurde in Bezug auf die Rolle der Schulleitung<br />

in Deutschland überarbeitet und vollkommen neu gestaltet, wobei die Schulen auf ökonomische<br />

Weise den Entwicklungsstand der einzelnen, ausdifferenzierenden Komponenten bewerten können.<br />

Optional hat die Bildungseinrichtung die Möglichkeit, bei NQS-E auch eine Primärevaluation zu<br />

integrieren. Hierbei wird ein ausgewählter Innovationsbereich aus den Ziel- und Bilanzkonferenzen<br />

79


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

80<br />

bezüglich der In- und Outputs sowie der Kern-, Support- und Managementprozesse begutachtet.<br />

Sofern die Schule diese Möglichkeit in Anspruch nimmt, beschreibt sie das ausgesuchte Fokusthema<br />

und bewertet es mit Hilfe eines vorgefertigten Schemas. In diesem Zusammenhang entscheidet das<br />

Kollegium, ob eine Unterrichtskonkretisierung durchgeführt wird. Diese soll den Innovationsbereich<br />

im täglichen Unterricht zeigen und der Illustration des speziellen Bereichs gegenüber den Peers<br />

dienen. Insbesondere besteht die Unterrichtskonkretisierung aus einer Erläuterung des Konzepts<br />

der Schule und aus dem Besuch von zwei bis drei Schulstunden. Hervorzuheben ist, dass in diesem<br />

Punkt weder eine Aussage zur Qualität der Lehrkraft noch des Unterrichts erfolgt, sondern die<br />

Umsetzung der Ziele aus dem Innovationsbereich im Unterricht im Vordergrund steht. Die Klassen<br />

und unterrichtenden Lehrkräfte können hierfür von der Schule selbst festgelegt werden. Im Selbstbericht<br />

gibt eine abschließende Tabelle Aufschluss über die Bekanntgabe der Daten und Mitwirkung<br />

der Personen. Ganz bewusst wird der zeitliche Aufwand zur Erstellung des Berichts gering gehalten,<br />

um den Schulen nicht unnötig Ressourcen abzugreifen und eventuell das Verfahren in kurzen Zyklen<br />

wiederholen zu können.<br />

Peer-Review-Logik und Expertenansatz<br />

Eine weitere Abweichung zu Q2E ist in der Orientierung an der sogenannten Peer-Review-Logik<br />

festzustellen, die eine Bewertung der Schule durch kritische Freunde (Peers) besonders betont.<br />

Andererseits sind auch EvaluationsexpertInnen an der Begehung beteiligt, um entsprechendes Fachwissen<br />

im Bereich der Evaluation in das Team integrieren zu können (Brägger et al., 2005, S. 37). Die<br />

folgende Abbildung verdeutlicht die Zusammensetzung des Evaluationsteams in NQS-E.<br />

Experte Woher kommt er?<br />

Fachlich nahe(r) Lehrkraft/<br />

Schulleiter/in<br />

Auswahl durch Schule aus NQS-Peerpool<br />

Evaluationsexperte/in Auswahl durch Schule aus NQS-Peerpool<br />

Transnationale(r) Experte/in (Lehrkraft, Auswahl durch Schule aus Pool europäischer Exper-<br />

Schulleiter/in)<br />

tInnen<br />

Unternehmensvertreter/in Nomination aus anderer Region über fachlich relevanten<br />

Verband oder Kammer mit Widerspruchsrecht<br />

der Schule<br />

Nach Wahl der Schule: Weiterer Vertreter/<br />

innen der Wirtschaft<br />

(z. B. Gewerkschaft)<br />

Abbildung 15: Zusammensetzung des Peer-Teams in NQS-E<br />

Nomination im Einzelfall zu klären<br />

Die Auswahl und die Qualität der EvaluatorInnen sind erfolgskritisch und ein großer Kritikpunkt in<br />

anderen Systemen. Deshalb wurde diese Thematik ausführlich bei der Entwicklung diskutiert und für<br />

die Peers fünf Voraussetzungen definiert:


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

• Fachkompetenz, d. h. sie haben eine hohe fachliche Passung zur Schule (‚Keine externe Evalu-<br />

ation durch Nicht-Fachleute‘)<br />

• Neutralität, d. h. sie dürfen keinen Konnex zur Nürnberger Mikropolitik haben. Zum Beispiel<br />

scheiden Schulleiter, Lehrkräfte oder Unternehmensvertreter aus dem Nürnberger Großraum<br />

aus<br />

• Evaluationsprofessionalität, d. h. sie sind kompetent bezüglich des Prozesses der Evaluation<br />

• Ethos, d. h. sie können zum Beispiel eine Verantwortung für das öffentliche Wohl übernehmen<br />

• Scientology-Erklärung, d. h. sie erklären die Ablehnung der Technologie von L. Ron Hubbard.<br />

Das vier- bis fünfköpfige Evaluationsteam setzt sich aus Peers und ExpertInnen zusammen. Eine<br />

fachlich nahe Lehrkraft bringt ihre umfangreichen Erfahrungen in den Bereichen Schulentwicklung<br />

und Evaluation ein. Letzt genannte Thematik wird darüber hinaus durch den ausgewiesenen Evaluationsexperten<br />

bzw. die ausgewiesene Evaluationsexpertin repräsentiert. Des Weiteren wird bezüglich<br />

eines Experten bzw. einer Expertin die Landesgrenze überschritten und eine transnationale Lehrkraft<br />

oder SchulleiterIn integriert, der an einer vergleichbaren Schule seines Landes unterrichtet. Dieser<br />

überregionale Einfluss ermöglicht einen umfassenden Wissenszuwachs hinsichtlich der Grundsätze<br />

und Normen einer ‚Spiegelschule‘. Umfassende Fachkenntnisse des Evaluationsteams werden<br />

durch einen Unternehmensvertreter entsprechend des jeweiligen Fachbereichs sichergestellt. Es<br />

wird angestrebt, dass die zu evaluierende Schule gewünschte Peers aus einer Datenbank wählen<br />

und weitere Vertreter der Wirtschaft, zum Beispiel MitgliederInnen einer Gewerkschaft benennen<br />

kann. Es besteht allerdings das Recht, gegenüber einzelnen Personen ein Veto auszusprechen. Dies<br />

erhöht vor allem die Akzeptanz der Peers im Kollegium und fördert dadurch die Anerkennung der<br />

Evaluationsergebnisse.<br />

Evaluationsbericht<br />

Ein weiterer Kontrast zu Q2E kann im Bereich des Evaluationsberichts festgestellt werden, da hierbei<br />

die Schule eigenständig entscheidet, welche Ergebnisse der Begehung an die Schulaufsicht kommuniziert<br />

werden. D. h. übergeordnete Einrichtungen haben keine Einsicht in den Evaluationsbericht.<br />

Die drei genannten Bereiche sind vom Ausgangsmodell Q2E abzugrenzen.<br />

2.3.1.3.3 Grenzen und Schwierigkeiten des NQS-Modells<br />

NQS wurde für alle beruflichen Schulen in Nürnberg verbindlich eingeführt (vgl. 2.3.1.3.2). Im Jahr<br />

2009 zeichnet sich unter den beteiligten Institutionen ein heterogenes Bild bezüglich des Qualitätsmanagementsystems<br />

ab. Im Allgemeinen kann bei den Bildungseinrichtungen ein unterschiedlicher<br />

Entwicklungsstand von NQS festgestellt werden, da u. a. die NQS-Routinen zum Teil in differierender<br />

Intensität und Zeitspanne durchgeführt werden. Dies ist hautsächlich durch das Engagement der<br />

Schulleitung zu begründen (Zirkler, 2007, S. 76), da nur diese Mitarbeiter entsprechend motivieren<br />

und eine Dauerhaftigkeit der Prozesse und NQS-Routinen gewährleisten kann. Unterstützend<br />

wirkt hierbei das NQS-Team (vgl. 2.3.1.3.2.4), da es für die Durchführung und Koordination der<br />

81


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

82<br />

NQS-Routinen zuständig ist. Hierbei kann unter den Bildungseinrichtungen ein unterschiedliches<br />

Rollen- und Aufgabenverständnis bezüglich der federführenden Prozessleitung verzeichnet werden,<br />

da einige Koordinationsteams eine Einschränkung ihres Handlungsfelds empfinden bzw. eine Stärkung<br />

der Kompetenzen hinsichtlich der Ressourcenverwaltung wünschen. Diese Tatsache spiegelt<br />

sich in einer differierenden Zusammensetzung der NQS-Teams wider, da nicht immer alle Fachgebiete,<br />

BBB oder Schulleitungen integriert sind (Zirkler, 2007, S. 72 ff.). Dies wiederum impliziert zum<br />

Teil eine Störung der Kommunikationswege, da das Gremium für die Weitergabe neuer Informationen<br />

und Beschlüsse an alle Ebenen bzw. Fachrichtungen sorgt und somit eine Integration des Kollegiums<br />

mit Hinblick auf eine erfolgreiche Umsetzung von Maßnahmen in Frage stellt. Dieser Sachverhalt<br />

sowie ein unzureichendes Engagement der Schulleitung äußern sich in der nächsten Divergenz, einer<br />

stetigen Durchführung der NQS-Routinen. Die heterogene Beteiligung am NQS-Prozess erschwert<br />

die Umsetzung von Maßnahmen und impliziert ein verspätetes oder unzureichendes Erzielen von<br />

(Zwischen-)Ergebnissen. Dies hat eine Verzerrung des NQS-Rhythmus zur Folge, da eine fristgerechte<br />

Umsetzung von Maßnahmen im Sinne der Ziel- und Bilanzkonferenzen nicht eingehalten<br />

werden kann. Der differierende Fortschritt bei NQS ist u. U. aber auch durch eine unterschiedliche<br />

Ausgangssituation seitens der beruflichen Schulen festzustellen. So lag bei Einführung des Qualitätsmanagementsystems<br />

im Jahr 2003 (vgl. 2.3.1.3.1) in den Institutionen ein unterschiedlicher Stand<br />

der Schulentwicklung vor (Zirkler, 2007, S. 94), was unmittelbare Auswirkung auf die Implementierung<br />

des NQS hatte.<br />

Des Weiteren erfolgte übergreifend die Einführung der Komponenten ‚Selbstevaluation‘, ‚NQS-<br />

Prozesse‘ und ‚externe Evaluation‘. Die Bausteine ‚Leitbild‘ und ‚Individualfeedback‘ sind derzeit<br />

in unterschiedlichem Entwicklungsstand vorhanden. Der Implementierungsversuch eines Leitbilds<br />

„[...] war in Nürnberg aufgrund mehrerer unglücklich begonnener Leitbildprozesse verbaut“ (Schmid,<br />

September 2007, S. 18), da Diskussionen keine Ergebnisse erzielten und Einzelheiten zu stark fokussiert<br />

wurden. Gerade dieses Element bildet jedoch die unentbehrliche Basis für ein Qualitätsmanagementsystem,<br />

da es der Darstellung eines zentralen Orientierungsrahmens dient und angestrebte<br />

Qualitäten, Werte und Normen festgelegt werden, um eine zielgerichtete Entwicklung der Bildungseinrichtung<br />

zu ermöglichen. Diese Tatsache zeigt insoweit Auswirkung, dass sich angestrebte Jahresziele<br />

einiger Institutionen auf einzelne Abteilungsebenen und nicht auf das Qualitätsmanagement<br />

als System beziehen. Vor diesem Hintergrund erzielen manche Nürnberger Schulen nur eine bedingte<br />

Wirkung des Qualitätsmanagements.<br />

Die Implementierung von NQS erfolgt durch hohe Gestaltungsfreiheit und eigenverantwortlicher<br />

Ausgestaltung von Seiten der Schulen, da das Amt für Berufliche Schulen als übergeordnete Organisationseinheit<br />

hierfür keine strikten Vorgaben deklariert. Dies wurde im Rahmen der weiteren Gestaltung<br />

kritisiert, da die ausgeprägte Selbstverantwortung der Schulen zeitweise durch die Forderung<br />

bestimmter Vorgänge und Maßnahmen wieder relativiert wird (Zirkler, 2007, S. 92 f.). Eine einheitliche<br />

Definition des Handlungsspielraumes sowie der Aufgaben und Funktionen auf allen Ebenen<br />

könnte angedacht werden, um in diesem Punkt Transparenz zu gewährleisten. Gerade im Hinblick<br />

auf das Engagement des Schulleiters, ist die Definition dieser Rolle im Hinblick auf eine erfolgreiche<br />

Implementierung von NQS unumgänglich, da diese Personengruppe durch entsprechende


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Ressourcenvergabe den Prozess maßgeblich beeinflusst. Die hohe Gestaltungsfreiheit bei der<br />

Implementierung von NQS ermöglicht eine schulspezifische Entwicklung der Qualitätsarbeit, was<br />

schließlich zu einem höheren Engagement der beteiligten Lehrkräfte führen kann.<br />

2.3.2 Die Qualitätsinitiative Berufsbildung (QIBB)<br />

2.3.2.1 Das Modell QIBB<br />

„QIBB, die QualitätsInitiative BerufsBildung [...], ist eine Initiative der Sektion Berufsbildendes<br />

Schulwesen, Erwachsenenbildung und Schulsport des Bundesministeriums für Unterricht, Kunst<br />

und Kultur (BMUKK) zur Implementierung eines umfassenden Qualitätsmanagementsystems im<br />

österreichischen berufsbildenden Schulwesen“ (Bundesministerium für Unterricht, 2011, S. 41).<br />

QIBB bezieht sich auf den europäischen Bezugsrahmen für die Qualitätssicherung in der beruflichen<br />

Aus- und Weiterbildung (EQARF – European Quality Assurance Reference Framework for Vocational<br />

Education and Training) und orientiert sich an dessen Struktur, Schwerpunkt- und Zielsetzungen. Der<br />

Fokus des Qualitätsmanagementsystems richtet sich in QIBB auf die systematische Sicherung und<br />

Weiterentwicklung sowohl der Unterrichtsqualität, als auch der Qualität der Verwaltungsleistungen.<br />

QIBB umfasst also das pädagogische Handeln im Sinne einer Initiierung, Unterstützung und Begleitung<br />

von gesellschaftlich relevanten schulischen Bildungs- und Ausbildungsprozessen sowie den<br />

Tätigkeiten der Verwaltung in Form einer Herstellung, Absicherung und Weiterentwicklung der für<br />

das Lehren und Lernen notwendigen Rahmenbedingungen (Bundesministerium für Unterricht, 2011,<br />

S. 41).<br />

QIBB bezieht sich auf alle institutionellen Ebenen des Schulsystems, indem eine Implementierung<br />

von Instrumenten und Prozessen zur Qualitätssicherung und -entwicklung innerhalb der Schulaufsicht<br />

auf Landesebene, der Sektion Berufsbildung im BMUKK auf Bundesebene als auch auf Ebene<br />

der Schulen vorgesehen ist, um bei der Ausübung zentraler Aufgaben eine permanente Verbesserung<br />

durch wiederkehrende Evaluierungen zu erhalten. Die Grundprinzipien der Qualitätsarbeit beziehen<br />

sich auf Prozess- und Ergebnisqualität, indem der Entwicklungsprozess ein kontinuierliches<br />

Anwenden des Qualitätsregelkreises vorsieht, der Planung und Zielsetzung, der Umsetzung, der<br />

Evaluation und Messung sowie der Analyse, Auswertung und Berichterstattung (Bundesministerium<br />

für Unterricht, 2011, S. 41).<br />

Die Projektorganisation von QIBB umfasst auf der Ebene der Sektion Berufsbildung im BMUKK eine<br />

schulbereichsübergreifende Steuergruppe, die sich aus VertreterInnen aller Schulbereiche sowie<br />

externen ExpertInnen zusammensetzt und sich mit der Planung und Steuerung des Gesamtprojekts<br />

beschäftigt. Zentrale Lenkungsteams, die Mitglieder aus allen Ebenen des jeweiligen Schulbereichs<br />

sowie externe Experten beinhalten, sind für jeden Schulbereich eingerichtet und verfolgen die Steuerung<br />

der schulbereichsspezifischen Umsetzung. Die Schulaufsicht verfolgt auf der Landesebene<br />

die Aufgabe, Informations- und Schulungsveranstaltungen für das Lehr- und Verwaltungspersonal<br />

zu planen sowie fachliche Begleitung bei der Umsetzung zu gewährleisten. Landesqualitätsprozessmanager<br />

(LQPM) leisten in dieser Angelegenheit operative Unterstützung. Die Schulleitung befasst<br />

83


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

84<br />

sich auf der Schulebene mit dem strategischen Management und wird durch Schulqualitätspro-<br />

zessmanager (SQPM) in operativen Angelegenheiten unterstützt. Eine übergreifende Vernetzung<br />

erfolgt durch die LQPM innerhalb der Bundeskonferenzen sowie durch die SQPM innerhalb der<br />

Landeskonferenzen.<br />

Eine erfolgreiche Implementierung von QIBB hängt von einer übergreifenden Zusammenarbeit aller<br />

Führungskräfte des beruflichen Schulwesens ab, da eine gemeinsame Überzeugung zur Schaffung<br />

einer Managementkultur und eine Beteiligung aller Akteure am Qualitätsmanagement notwendig ist, um<br />

eine Qualitätsentwicklung auf allen Ebenen zu erreichen (Bundesministerium für Unterricht, 2011, S. 42).<br />

Seit dem Schuljahr 2006/07 findet QIBB in allen Schulbereichen des berufsbildenden Schulwesens<br />

Anwendung. Dazu gehören die Berufsschulen (öbs), die technischen, gewerblichen und kunstgewerblichen<br />

Schulen (HTL), die kaufmännischen Schulen (HAK/HAS), die humanberuflichen Schulen,<br />

die höheren land- und forstwirtschaftlichen Schulen (hlfs) und die Bildungsanstalten für Kindergartenpädagogik<br />

und die Bildungsanstalten für Sozialpädagogik (BAKIP/BASOP) (Bundesministerium<br />

für Unterricht, 2011, S. 41). Jeder Schulbereich verfügt über ein spezifisches Qualitätshandbuch, das<br />

eine Beschreibung des individuellen Qualitätsmanagementsystems vorsieht.<br />

Das Peer Review in QIBB ist seit Herbst 2009 als externe Evaluation in QIBB eingebunden und<br />

soll den Schulen zur Qualitäts- und Schulentwicklung dienen (vgl. 2.2.3.2; Bundesministerium für<br />

Unterricht, 2011, S. 42).<br />

2.3.2.2 Entstehung des Peer Reviews<br />

Das Peer Review in European VET (kurz Peer Review) wurde seit 2003 vor allem als Instrument<br />

der Qualitätssicherung und Qualitätsentwicklung in der beruflichen Erstausbildung in Europa als<br />

Leonardo da Vinci Projekt mit 25 Partnern aus elf europäischen Ländern entwickelt und in einer<br />

Pilotphase im Jahr 2006 in acht europäischen Ländern in 15 transnationalen Europäischen Peer<br />

Reviews erprobt. Das Ergebnis der Projekts wurde in einem Europäischen Peer Review Handbuch<br />

festgehalten (Gutknecht-Gmeiner, 2008, S. 8–12).<br />

2.3.2.3 Ziele des Peer Review<br />

Das Peer Review ist ein externes Evaluationsverfahren und verfolgt das Ziel, eine Berufsbildungseinrichtung<br />

bei der Qualitätssicherung und -entwicklung zu unterstützen (Gutknecht-Gmeiner &<br />

Österreichisches Institut für Berufsbildungsforschung, 2007, S. 1). Peer Review ist also eine Methode<br />

zur Sicherung und Verbesserung der Qualität von Schulen, dessen Hauptaufgabe darin besteht,<br />

mit Hilfe der Ermittlung der Qualität einer Schule und der Unterbreitung nützlicher Verbesserungsvorschläge<br />

einen kontinuierlichen Prozess der Qualitätsentwicklung in der Bildungseinrichtung<br />

anzuregen (Gutknecht-Gmeiner et al., 2007, S. 2). Die Evaluation der Organisation durch Personen<br />

anderer Bildungseinrichtungen oder externer Stakeholder ermöglicht das Einholen von Sichtweisen<br />

außenstehender Personen, um sowohl ‚blinde Flecken‘ der Schule aufzudecken als auch eine Rückmeldung<br />

über neue Wege für die Schulentwicklung zu erhalten. Das Peer Review bietet, durch die


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Zusammenkunft von Experten unterschiedlicher Bildungseinrichtungen, nicht nur Möglichkeiten zur<br />

Vernetzung sondern auch zum Austausch (Gutknecht-Gmeiner, 5. März 2007, S. 5), beispielsweise<br />

von Konzepten, Erfahrungen und Prozessen. Weitere Absichten des Verfahrens beziehen sich auf<br />

die Erhöhung von Chancengleichheit sowie die Förderung von „Transparenz und Vergleichbarkeit<br />

von Qualität in der Berufsbildung durch Schaffung einheitlicher Standards in Europa“ (Gutknecht-<br />

Gmeiner et al., 2007, S. 1). Das Peer Review in QIBB basiert auf dem Europäischen Peer Review<br />

Verfahren und orientiert sich an dem gemeinsamen Bezugsrahmen zur Qualitätssicherung (CQAF)<br />

für die berufliche Bildung in Europa (Gutknecht-Gmeiner et al., 2007, S. 3 ff.).<br />

2.3.2.4 Phasen des Peer Reviews<br />

Das Verfahren selbst gliedert sich in vier Phasen (Gutknecht-Gmeiner et al., 2007, S. 7), die im<br />

Folgenden erläutert werden.<br />

2.3.2.4.1 Erste Phase: Vorbereitung<br />

Die erste Phase des Peer Reviews ist selbst in vier Elemente untergliedert, der Start des Verfahrens,<br />

die Auswahl und Einladung des Peer Teams, die Selbstevaluierung und der Selbstbericht sowie die<br />

Vorbereitung des Peer Besuchs (Gutknecht-Gmeiner et al., 2007, S. 12–18).<br />

Der erste Schritt ‚Start des Verfahrens‘ umfasst zunächst die Entscheidung über eine Durchführung<br />

des Peer Reviews verbunden mit der Definition zugrundeliegender Ziele, einer Festlegung der Art des<br />

Verfahrens, dem betreffenden Anwendungsbereich in der Bildungseinrichtung sowie der Zuweisung<br />

von Aufgaben an einzelne Verantwortliche, die in einem Zeitplan festgehalten werden. Bereits in<br />

diesem Schritt werden Grundsteine für mögliche Effekte des Verfahrens gelegt, da „die Wirksamkeit<br />

des Verfahrens im Sinne der Qualitätsverbesserung [...] von dem Engagement und der Kooperation<br />

der beteiligten Personen [abhängt]“ (Gutknecht-Gmeiner et al., 2007, S. 12) und hier erste Intentionen<br />

zur Umsetzung der durch das Peer Review vorgeschlagenen Maßnahmen erfolgen sollen. Des Weiteren<br />

hat die Schule die zu evaluierenden Qualitätsbereiche auszuwählen, von denen einer aus dem<br />

Kerngeschäft, dem Lernen und Lehren, abzudecken ist (Gutknecht-Gmeiner et al., 2007, S. 35). Diese<br />

Entscheidung sollte mit allen wichtigen Statusgruppen der Bildungseinrichtung getroffen werden.<br />

In einem ‚Peer Review Erstinformationsblatt‘ werden diese Eckpunkte des Verfahrens sowohl für<br />

interne als auch externe Zwecke dokumentiert (Gutknecht-Gmeiner et al., 2007, S. 13).<br />

Im nächsten Schritt werden von der Schule Peers ausgewählt, die hierarchisch gesehen mit der<br />

evaluierenden Schule gleichgestellt sind und deren Hauptaufgabe es ist, „die spezifische Situation<br />

der evaluierten Berufsbildungseinrichtung zu verstehen und kritisches Feedback zu geben“<br />

(Gutknecht-Gmeiner et al., 2007, S. 38). Nur auf Wunsch der zu evaluierenden Einheit sollen die Peers<br />

Empfehlungen und Lösungsvorschläge ausarbeiten. Das Peer Team setzt sich aus vier Personen<br />

zusammen, die „[...] aus anderen Berufsbildungseinrichtungen oder aus Einrichtungen externer<br />

Anspruchsgruppen kommen [können]“ (Gutknecht-Gmeiner et al., 2007, S. 14). Die zu evaluierende<br />

Einrichtung hat die Möglichkeit, die ‚kritischen Freunde‘ selbst vorzuschlagen bzw. aus einem Pool<br />

von KandidatInnen zu wählen.<br />

85


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

86<br />

Im Folgenden beginnt die Bildungseinrichtung mit einer Selbstevaluierung, indem Stärken und<br />

Schwächen, insbesondere in den ausgewählten Qualitätsbereichen, ermittelt und in einem Selbstbericht<br />

komprimiert werden. Für die Selbstevaluierung sind keine spezifischen Vorgaben definiert.<br />

Schulen haben dadurch die Möglichkeit, auf bereits erhobene Daten zurückzugreifen (Gutknecht-<br />

Gmeiner et al., 2007, S. 15). Die Selbstevaluierung sollte in einem transparenten und fairen Verfahren<br />

durchgeführt werden, in dem alle wichtigen Betroffenen integriert werden (Gutknecht-Gmeiner et<br />

al., 2007, S. 16), um eine möglichst hohe Akzeptanz mit Blick auf gesamte Peer Review Verfahren<br />

zu erzielen. Der Selbstbericht umfasst alle für das Verfahren relevanten Daten sowie spezielle Fragestellungen<br />

an die Peers, um für die Bildungseinrichtungen relevante Inhalte klären zu können<br />

(Gutknecht-Gmeiner et al., 2007, S. 16).<br />

In dem letzten Schritt der ersten Phase wird der Peer Besuch vorbereitet, indem erforderliche Zeitpläne<br />

zwischen den Peers und der zu evaluierenden Einheit abgestimmt sowie relevante Unterlagen,<br />

insbesondere der Selbstbericht sowie Verträge zur Durchführung des Peer Reviews, ausgetauscht<br />

werden (Gutknecht-Gmeiner et al., 2007, S. 16–18).<br />

2.3.2.4.2 Zweite Phase: Peer Besuch<br />

Im nächsten Schritt erfolgt der eigentliche Peer Besuch (Gutknecht-Gmeiner et al., 2007, S. 20–27),<br />

in dem die Peers, aufgrund von Interviews, Gruppendiskussionen sowie Beobachtungen, weitere<br />

Daten erheben, um die Angaben des Selbstberichts zu ergänzen und zu überprüfen. Diese kurze<br />

und verdichtete Evaluierung verfolgt das Ziel, „möglichst viele Informationen von den verschiedenen<br />

Gruppen an Betroffenen und Beteiligten zu erhalten“ (Gutknecht-Gmeiner et al., 2007, S. 20). Integrierte<br />

Personen für diese Befragung setzt die Berufsbildungseinrichtung fest (Gutknecht-Gmeiner<br />

et al., 2007, S. 20). Ergebnisse der Begehung, eventuell auch Stärken und Verbesserungspotenziale<br />

sowie Schlussfolgerungen, werden anhand des Selbstberichts sowie der Gespräche während des<br />

Schulbesuchs in Form einer professionellen Beurteilung durch die Peers ermittelt und der Berufsbildungseinrichtung<br />

erstmalig in einer Feedback-Sitzung mitgeteilt (Gutknecht-Gmeiner et al., 2007,<br />

S. 22). Das abschließende Treffen, an dem alle Peers teilnehmen sollten, steht am Ende des Peer<br />

Besuchs und ist von hoher Relevanz für das Verfahren, da die evaluierte Schule hierbei die Möglichkeit<br />

hat, die Ergebnisse zu kommentieren. Eine hohe Beteiligung von Seiten der Bildungseinrichtung<br />

kann dazu beitragen, die Wirksamkeit des Verfahrens zu erhöhen, da Betroffene hierbei über den<br />

Peer Review Prozess informiert und die Ergebnisse direkt rückgemeldet werden, was zu einem<br />

höheren Bewusstsein für Probleme führen kann (Gutknecht-Gmeiner et al., 2007, S. 26).<br />

2.3.2.4.3 Dritte Phase: Peer Review Bericht<br />

Die Erkenntnisse der Evaluierung werden von den Peers in einem abschließenden Peer Review<br />

Bericht schriftlich festgehalten (Gutknecht-Gmeiner et al., 2007, S. 28 f.), der, mit Blick auf die<br />

Gewährleistung von Transparenz und Kontinuität, eine ähnliche Struktur zum Selbstbericht und eine<br />

Bewertung der Ergebnisse durch die Peers aufweist. Das <strong>Dokument</strong> enthält sowohl Stärken als auch<br />

Schwächen der Schule, auf Wunsch außerdem Verbesserungspotenziale sowie Schlussfolgerungen.<br />

Auch hier hat die evaluierte Bildungseinrichtung die Möglichkeit, Rückmeldungen in einem ersten<br />

Entwurf zu validieren.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

„Alle relevanten internen Anspruchsgruppen (Lehrende, SchülerInnen, nicht-lehrendes Personal etc.)<br />

sollten Zugang zu diesem Bericht erhalten“ (Gutknecht-Gmeiner et al., 2007, S. 28), um einen hohen<br />

Informationsgrad der Beteiligten in Verbindung mit der notwendigen Motivation für die Nachbereitung<br />

des Verfahrens zu erzielen.<br />

2.3.2.4.4 Vierte Phase: Umsetzung von Maßnahmen<br />

Die vierte Phase, die Interpretation von Evaluationsergebnissen und die damit verbundene Ableitung<br />

von Zielen und Maßnahmen, ist für Bildungseinrichtungen eine der größten Herausforderungen (Gutknecht-Gmeiner<br />

et al., 2007, S. 30). Die Implementierung von Veränderungen ist allerdings notwendig,<br />

um eine „systematische, kontinuierliche und nachhaltige Qualitätsverbesserung“ (Gutknecht-<br />

Gmeiner et al., 2007, S. 30) erzielen zu können. In diesem Schritt liegt ein entscheidendes Moment<br />

für die Wirksamkeit des Verfahrens, da daraus resultierende Ziele und Maßnahmen zum einen den<br />

Aufwand des Peer Reviews rechtfertigen und zum anderen zur Zielerreichung, einer Förderung von<br />

Qualitätssicherung und -entwicklung beitragen.<br />

Bereiche der evaluierten Einheit, die Möglichkeiten für Veränderungen bieten, werden während der<br />

Feedback-Sitzung sowie im Peer Review Bericht aufgezeigt und anhand einer interaktiven Kommunikation<br />

zwischen den Peers und der Berufsbildungseinrichtung reflektiert. Prägnante Informationen<br />

zu möglichen Verbesserungsmaßnahmen erleichtern eine erste Interpretation der Ergebnisse (Gutknecht-Gmeiner<br />

et al., 2007, S. 30). Die Verarbeitung der Ergebnisse soll als systematischer Prozess,<br />

mit Hilfe einer offenen Kommunikation und Diskussion sowie unter Einbeziehung aller Beteiligten, auf<br />

einem Qualitätszyklus basieren, der folgende Schritte beinhaltet:<br />

1. Schritt: An das Peer Review anschließende Maßnahmen sollten in einer gemeinsamen Planung<br />

mit allen Beteiligten der Bildungseinrichtung getroffen werden, um eine hohe Bereitschaft und<br />

Motivation zur Veränderung zu erzielen. Im ersten Schritt der Verarbeitung von Ergebnissen werden<br />

Qualitätsziele, sowohl auf strategischer als auch auf operativer Ebene, revidiert (Gutknecht-<br />

Gmeiner et al., 2007, S. 30), um einen systematischen Aufbau der Ziele zu erreichen.<br />

2. Schritt: Anhand der überarbeiteten Ziele sind erforderliche Ressourcen und Unterstützungen<br />

abzuklären, die für eine Umsetzung des Maßnahmenplanes notwendig sind (Gutknecht-Gmeiner<br />

et al., 2007, S. 31).<br />

3. Schritt: Auf dieser Basis ist ein Maßnahmen- und Zeitplan zu erarbeiten, der in den Gesamtentwicklungsprozess<br />

der Schule zu integrieren ist (Gutknecht-Gmeiner et al., 2007, S. 31), um eine<br />

tatsächliche Umsetzung der Ergebnisse anhand der erarbeiteten Termine und eine zielgerichtete<br />

Weiterentwicklung der Gesamteinrichtung zu erreichen. Der Maßnahmenplan wird anhand einzelner<br />

Maßnahmen schrittweise umgesetzt (Gutknecht-Gmeiner et al., 2007, S. 32).<br />

4. Schritt: Abschließend erfolgt eine Evaluierung der umgesetzten Maßnahmen, um eine Zielerreichung<br />

zu überprüfen und einen kontinuierlichen Qualitätsverbesserungsprozess, eventuell durch<br />

ein erneutes Peer Review, beizubehalten (Gutknecht-Gmeiner et al., 2007, S. 32).<br />

87


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

88<br />

2.3.2.5 Pilotversuch an berufsbildenden Schulen im Rahmen der österreichischen Qualitätsinitiative<br />

Berufsbildung (QIBB)<br />

Um eine Übertragbarkeit des europäischen Peer Reviews auf österreichische Schulen zu prüfen,<br />

beauftragte ARQA-VET das Österreichische Institut für Berufsbildungsforschung (öibf), im Rahmen<br />

einer Machbarkeitsstudie eine Adaptierung des europäischen Peer Review Verfahrens an die<br />

Erfordernisse österreichischer berufsbildender Schulen sowie erforderliche Rahmenbedingungen,<br />

Voraussetzungen und Unterstützungsleistungen für eine Implementierung auf nationaler Ebene zu<br />

klären (Gutknecht-Gmeiner, 2009, S. 7). Parallel dazu beauftragte die Sektion II Berufsbildung des<br />

Bundesministeriums für Unterricht, Kunst und Kultur (BMUKK) das öibf im Frühjahr 2008 mit der<br />

Durchführung einer österreichischen Pilotstudie, um die praktische Umsetzung des Peer Reviews zu<br />

untersuchen (Gutknecht-Gmeiner, 2009, S. 13). Im Rahmen dieser Pilotstudie haben sieben österreichische<br />

berufsbildende Schulen ein Peer Review Verfahren durchgeführt:<br />

• BAKIP Klagenfurt<br />

• HAK Steyr<br />

• HAK Wörgl<br />

• HLW Schrödinger (Graz)<br />

• HTL Grieskirchen<br />

• HTL Mössingerstraße (Klagenfurt)<br />

• Tiroler Fachberufsschule für Elektrotechnik, Kommunikation & Elektronik (Innsbruck).<br />

Im Anschluss an die Pilotstudie erfolgte im Herbst 2009 die Entwicklung des ‚Peer Review in QIBB<br />

Verfahrens‘ als freiwilliges externes Evaluationsverfahren im Rahmen der Qualitätsinitiative Berufsbildung<br />

(QIBB), das von der österreichischen Referenzstelle für Qualität in der Berufsbildung, ARQA-<br />

VET, koordiniert wird.<br />

2.4 Wirksamkeit externer Evaluationen<br />

In Kapitel 2.3 wurden die Qualitätsmanagementsysteme Q2E, QmbS, NQS sowie QIBB vorgestellt.<br />

Fraglich ist, ob diese Systeme bzw. deren externe Evaluationen wirksam sind und Bildungseinrichtungen<br />

auf deren Basis ihre Qualität verbessern bzw. den kontinuierlichen Prozess der Qualitätsentwicklung<br />

weiter ausdifferenzieren und optimieren können. Aus diesem Grund wird der Begriff<br />

‚Wirksamkeit‘ näher betrachtet sowie verschiedene Modelle bzw. empirische Untersuchungen zur<br />

Wirksamkeit vorgestellt.<br />

2.4.1 Definition des Begriffs Wirksamkeit<br />

Der Wirkungsbegriff hat in der Evaluationsforschung eine große Bedeutung. Übergreifend kann in<br />

diesem Zusammenhang zwischen intendierten (geplanten) und nicht-intendierten (ungeplanten) Wirkungen<br />

differenziert werden, die mit Blick auf die Erreichung gesetzter Ziele sowohl positiv als auch


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

negative Folgen nach sich ziehen können (Stockmann, 2010, S. 70). lanDWehr unterscheidet hierbei<br />

hinsichtlich der Wirkungen als „beabsichtigte und unbeabsichtigte Effekte, die durch die Schulevalu-<br />

ation erzeugt werden“ (Landwehr, 2011, S. 36) und der Wirksamkeit, eine „Eigenschaft/Fähigkeit von<br />

bestimmten Faktoren bzw. Massnahmen, die beabsichtigten Wirkungen auch tatsächlich hervorzurufen“<br />

(Landwehr, 2011, S. 36). Grundsätzlich werden Effekte durch eine Veränderung von Strukturen,<br />

Prozessen oder individuellen Verhaltensweisen erzielt (Stockmann, 2010, S. 70), die sich schließlich<br />

im Übergang von der Datenauswertung zur Implementierung weiterer Schulentwicklungsaspekte<br />

ergeben. Unterstützt werden diese Entwicklungen durch klare Aufgabenverteilungen, Zuständigkeiten,<br />

Verbindlichkeiten und Fachwissen innerhalb der Einrichtung. Ein weiterer begünstigender Faktor<br />

bildet eine lernorientierte Ausrichtung des Qualitätsmanagements bzw. Evaluationsprojekts, die in<br />

Bezug auf die Wirksamkeit positive Effekte mit sich bringt (Capaul, 14.12.2009). Nachhaltige Wirkung<br />

kann dabei erzielt werden, wenn alle Beteiligten professionell arbeiten (Brägger et al., 2005, S. 51<br />

f.). Die Art der Effekte von Evaluationen hängen davon ab, welche Grundeinstellung die betroffenen<br />

Personen haben und in welcher Form die Evaluation durchgeführt wird (Schweizerische Konferenz<br />

der kantonalen Erziehungsdirektoren, 2008, S. 25). Übergreifend lassen sich folgende Wirkungen bei<br />

Evaluierten wie Auftraggebern feststellen:<br />

• Anstoß zu Verbesserungen und Innovationen<br />

Evaluationen, die hauptsächlich zur Weiterentwicklung der Bildungseinrichtung dienen, sind<br />

meist von geplanten, umfassenden und anhaltenden Umsetzungsmaßnahmen mit innovativem<br />

Charakter gekennzeichnet<br />

• Anlass für einzelne spontane Sofortmaßnahmen<br />

Evaluationen, die zur Überprüfung und Kontrolle klarer Vorgaben konzipiert sind, führen durch<br />

eilige Beschlüsse und Maßnahmen als Antwort auf die Evaluationsergebnisse häufig zu spontanen<br />

Sofortmaßnahmen<br />

• Auslöser von Alibi-Reaktionen<br />

Evaluationen, die zur Legitimation und zur Bestätigung bereits bekannter Erkenntnisse eingesetzt<br />

werden, führen oftmals zu oberflächlichen und partiellen Nachbesserungen bei Beteiligten<br />

oder in der Bildungseinrichtung selbst<br />

• Auslöser von Abwehr und Blockade<br />

Evaluationen, die bei der evaluierten Bildungseinheit auf Ablehnung stoßen oder zur Überprüfung<br />

dienen und keine Weiterentwicklungsmöglichkeiten bieten, implizieren teilweise<br />

Einstellungen der Abwehr- und Rechtfertigung (Schweizerische Konferenz der kantonalen<br />

Erziehungsdirektoren, 2008, S. 25).<br />

Im Bereich der Wirksamkeitsforschung werden auch häufig die Begriffe ‚Nutzen‘ bzw. ‚Nützlichkeit‘<br />

verwendet. So unterscheiden hoSenFelD & GroSS ophoFF in diesem Zusammenhang zwischen der<br />

‚tatsächlichen Nutzung‘ von Evaluationsergebnissen und dem ‚wahrgenommenen Nutzen‘ von Evaluationen,<br />

wobei „[...] eine hohe wahrgenommene Nützlichkeit zu einer intensiven Nutzung führt“<br />

89


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

90<br />

(Hosenfeld et al., 2007, S. 352). Eine hohe wahrgenommene Zweckmäßigkeit einer Evaluation ist also<br />

eine Voraussetzung für die weitere intensive Nutzung von Ergebnissen, da „[...] die Rückmeldung von<br />

extern ermittelten Ergebnissen nicht automatisch [mit] den gewünschten Veränderungsprozessen<br />

[...]“ verbunden ist (Hosenfeld et al., 2007, S. 352). Evaluationen ohne nachhaltige Wirkung werden<br />

als Fehlinvestitionen bezeichnet (Brägger et al., 2005, S. 51). Aus diesem Grund sind ermittelte<br />

Ergebnisse des Verfahrens in die Prozesse der schulischen Qualitätssicherung und -entwicklung,<br />

also in das vorhandene Qualitätsmanagementsystem (vgl. 2.1.2.1.2) zu integrieren, um Fortschritte<br />

in der Qualitätsarbeit sowie eine Beseitigung von Qualitätsdefiziten erzielen zu können. In diesem<br />

Zusammenhang fokussiert keller bei der Frage nach der Wirksamkeit von Schulevaluation im<br />

Bereich der Schulentwicklung zwei Ebenen, die Bewertung von Schulentwicklungs- sowie Qualitätsentwicklungsprozesse<br />

in regelmäßigen Abständen (Keller, 2007, S. 90).<br />

lanDWehr verdeutlicht, dass der wahrgenommene Erfolg der externen Evaluation von der Differenz<br />

zwischen Wirkungserwartung und effektiv erzeugter Wirkung abhängt und die Frage der Nachhaltigkeit<br />

wirksamkeitsspezifisch angegangen werden muss, da in jedem Bereich Einflussfaktoren unterschiedlich<br />

zu bewerten sind (Landwehr, 2. Juli 2010). Eine Bedingung für eine Wirksamkeitsanalyse<br />

ist die vorangehende Definition von Zielen der Evaluation, da diese, mit Blick auf die Nachhaltigkeit,<br />

die Ausgangsbasis für eine anschließende Bewertung darstellen. Die Nachhaltigkeit an sich kann<br />

insgesamt positiv und negativ auswirken, wobei diese „[...] im Hinblick auf einen förderlichen oder<br />

hinderlichen Einfluss auf die Zielerreichung zu betrachten [ist]“ (Husfeldt, 2. Juli 2010). Für die Analyse<br />

der Wirksamkeit ist die Definition von Absicht und Erkenntnisinteresse von zentraler Bedeutung.<br />

„Wirksam ist eine Massnahme – in diesem Fall die externe Schulevaluation – dann, wenn sie einen<br />

Prozess so beeinflusst, dass gewünschte Ziele erreicht werden können“ (Husfeldt, 2010, S. 3),<br />

indem ein Soll-Ist-Vergleich durchgeführt wird. Eine Verringerung der Differenz zwischen Soll- und<br />

Istzustand von Qualitätsindikatoren begründet die Nützlichkeit externer Evaluationen und bedeutet<br />

ein Voranschreiten innerhalb der Schulentwicklung (vgl. 2.1.2.1.3). Letztendlich repräsentiert eine<br />

Erhöhung der Schul- und Unterrichtsqualität die Wirksamkeit der externen Verfahren, die primär<br />

durch die Definition und Implementierung von Folgemaßnahmen erzielt wird. kromrey betont in<br />

diesem Zusammenhang, dass eine Maßnahme nicht nur auf ein Ziel wirkt und ein Ziel nicht nur durch<br />

eine Maßnahme zu erreichen ist, da die Wirkungen nicht zeitgleich eintreten (Kromrey, 1995, S. 327).<br />

Mit Blick auf die vorliegende Analyse werden die Indikatoren der Wirksamkeit weiter gefasst, indem<br />

neben (a) den erarbeiteten Verbesserungsvorschlägen der EvaluatorInnen auch die (b) Zufriedenheit/<br />

Akzeptanz mit dem Verfahren sowie (c) schulische Innovationen berücksichtigt werden. Darüber<br />

hinaus bilden (d) Veränderungen des Outputs und (e) langfristige Wirkungen der Schule weitere<br />

Hinweise auf die Nützlichkeit externer Evaluationen. Diese Faktoren werden anhand des zugrundeliegenden<br />

Modells in Kapitel 2.4.4 näher erläutert.<br />

2.4.2 Modelle zur Wirksamkeit externer Evaluationen<br />

Im Folgenden werden Modelle zur Untersuchung der Wirksamkeit und bereits durchgeführte<br />

empirische Untersuchungen vorgestellt. Hierfür sind eingehende Recherchen in den Datenbanken<br />

‚FIS-Bildung‘ und ‚ERIC‘ sowie in allgemeinen Suchmaschinen, beispielsweise google, zu den


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Schlagwörtern ‚Evaluation‘ und ‚Wirkung‘ sowie ‚school inspection‘ und ‚impact‘ bzw. ‚improvement‘<br />

durchgeführt worden. Darüber hinaus erfolgte die Teilnahme an verschiedenen Tagungen zu diesem<br />

Thema im In- und Ausland.<br />

huSFelDt erläutert, dass die Frage hinsichtlich der Wirkungen externer Evaluation „[...] auch in<br />

deutschsprachigen Ländern in den letzten zehn Jahren mehr und mehr in das Interessenblickfeld<br />

empirischer Forschung getreten [ist]“ (Husfeldt, 2011, S. 13). Allerding stehen derzeit nur wenig<br />

brauchbare Modelle zur Verfügung, die einer Untersuchung der Wirksamkeit externer Evaluationen<br />

dienen (Husfeldt, 2010, S. 3). In den vorliegenden Modellen werden Voraussetzungen, Einflussfaktoren<br />

und Folgen in unterschiedlicher Gewichtung berücksichtigt (Hosenfeld et al., 2007, S. 352), die<br />

gegenseitig in unmittelbarer Abhängigkeit zueinander stehen.<br />

reeziGt & creemerS präsentierten 2005 ein Modell, das im Rahmen eines Projekts zur effektiven<br />

Schulentwicklung (Effective School Improvement) zusammen mit Experten unterschiedlicher Länder<br />

auf der Grundlage von Theorien und ergänzenden Fallanalysen konzipiert wurde. Das Wirkungsmodell<br />

sieht die Erfüllung von Bedingungen auf unterschiedlichen Ebenen als Voraussetzung für eine<br />

Erreichung effektiver Schulqualität vor (Reezigt & Creemers, 2005, S. 407–408, 413). Das Modell<br />

unterscheidet zwischen externen und internen Bedingungen. Externe Bedingungen beinhalten<br />

den Druck zur Entwicklung, Ressourcen zur Entwicklung und Bildungsziele (Reezigt et al., 2005,<br />

S. 409–413). Diese werden in der folgenden Abbildung weiter spezifiziert.<br />

Tabelle 2: Externe Bedingungen der effektiven Schulentwicklung nach reeziGt & creemerS (2005, S. 409)<br />

Pressure to improve<br />

• Market mechanisms<br />

• External evaluation and<br />

accountability<br />

• External agents<br />

• Participation of society in<br />

education/societal changes/educational<br />

policies<br />

which stimulate change<br />

Resources/support for<br />

improvement<br />

• Autonomy granted to<br />

schools<br />

• Financial resources and<br />

favourable daily working<br />

conditions<br />

• Local support<br />

Educational goals<br />

• Formal educational goals in<br />

terms of student outcomes<br />

Daneben beziehen sich die internen Bedingungen auf die Entwicklungskultur, den Entwicklungsprozessen<br />

und Entwicklungsergebnissen (Reezigt et al., 2005, S. 414–421), die im Folgenden detailliert<br />

dargestellt werden.<br />

91


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

92<br />

Tabelle 3: Interne Bedingungen der effektiven Schulentwicklung nach reeziGt & creemerS (2005, S. 414)<br />

Improvement culture Improvement processes<br />

• Internal pressure to improve<br />

• Autonomy used by schools<br />

• Shared vision<br />

• Willingness to become a learning<br />

organization/ a reflective practitioner<br />

• Training and collegial collaboration<br />

• Improvement history<br />

• Ownership of improvement,<br />

commitment and motivation<br />

• Leadership<br />

• Staff stability<br />

• Time for improvement<br />

• Assessment of improvement<br />

needs<br />

• Diagnosis of improvement<br />

needs<br />

• Phrasing of detailed<br />

improvement goals<br />

• Planning of improvement<br />

activities<br />

• Implementation of<br />

improvement plans<br />

• Evaluation<br />

• Reflection<br />

Improvement<br />

outcomes<br />

• Changes in the<br />

quality of the school<br />

• Changes in the<br />

quality of the<br />

teachers<br />

• Changes in<br />

the quality of<br />

student outcomes<br />

(knowledge, skills,<br />

and attitudes)<br />

Auf der Basis der Ausprägungen dieser Variablen kann die Wirksamkeit einer externen Evaluation mit<br />

Blick auf eine Schulentwicklung überprüft werden (Reezigt et al., 2005, S. 408). Zu Beginn eines Entwicklungsprozesses<br />

sind die Bedürfnisse und ihre Begründungen klar zu definieren. Im Folgenden<br />

werden die Ziele weiter ausdifferenziert und konkretisiert sowie Indikatoren zur Erfolgsüberprüfung<br />

festgelegt. Danach erfolgt nach der Planung der Aktivitäten die Implementierung der Projekte. In<br />

einem letzten Schritt wird mit Hilfe der Indikatoren die Erreichung der vorab definierten Ziele überprüft,<br />

die durch eine Selbstevaluation oder eine externe Evaluation erfolgen kann.<br />

Übergreifend werden zwei Zielaspekte im Entwicklungsprozess unterschieden. Einerseits betreffen<br />

dies Ziele des Schüleroutcomes, die im Repertoire von Wissen über Fähigkeiten und Einstellungen<br />

bis hin zu Verhalten erfolgen können. Andererseits beziehen sich die Ziele auf Veränderungen, die<br />

innerhalb der Schulorganisation, dem Lehrerverhalten oder eingesetzten Materialien festzustellen<br />

sind. Ausschlaggebend ist hierbei der Schüleroutcome, wobei eine Veränderung als Anzeichen für<br />

einen zukünftigen Schüleroutcome gewertet werden kann (Reezigt et al., 2005, S. 421).<br />

Ein weiteres Rahmenmodell konzipierten ehren & ViSScher 2006 auf der Basis der Theorie, dass<br />

Schulentwicklung bzw. -verbesserung durch Inspektionen erreicht wird. Bei der Konzeption wurde<br />

Literatur hinsichtlich einer Vielzahl von direkten und indirekten Interventionen berücksichtigt, was zu<br />

einem Modell führte, das Beziehungen/Reaktionen zwischen Arbeitsmethoden von Schulinspektionen,<br />

Reaktionen der Schulen und resultierende Effekte sowie Nebeneffekte berücksichtigt (Ehren et<br />

al., 2006, S. 51). Die Konzeption stellt kein Idealmodell der Schulentwicklung dar, sondern modelliert<br />

auch unerwünschte Effekte der externen Evaluation. In diesem Zusammenhang werden Merkmale<br />

des Schulinspektionsprozesses als Eingangsbedingungen definiert, die in der Bildungseinrichtung<br />

unterschiedliche Reaktionen auslösen. Diese hängen wiederum von innerschulischen Merkmalen<br />

und externen Impulsen sowie Unterstützungsmaßnahmen ab, die schließlich zum Resultat, den<br />

erwünschten und unerwünschten Wirkungen führen (Ehren et al., 2006, S. 58–67).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Abbildung 16: Wirkungsmodell externer Schulevaluation nach ehren & ViSScher (Ehren et al., 2006, S. 66)<br />

Ein Schulentwicklungsprozess kann im vorangehenden Modell anhand der Ausprägung der verschiedenen<br />

Variablen unterschiedliche Wirkungen auslösen. Diese Faktoren bestehen einerseits aus dem<br />

wechselseitigen Vertrauen während des Evaluationsprozesses, das eine offene Informationspolitik<br />

93


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

94<br />

zwischen allen Beteiligten, sowohl auf der Seite der Schule als auch im Bereich des Evaluationsteams,<br />

vorsieht (Ehren et al., 2006, S. 58 ff.). Ein weiteres Merkmal des Inspektionsprozesses bedeutet die<br />

Art des Feedbacks an die Bildungseinrichtung. Hierbei wird einerseits zwischen weniger innovativen<br />

Schulen bzw. Schulen mit geringerem Innovationspotential und externalen Impulsen unterschieden,<br />

die direkte Ansätze im Bereich von Stärken-Schwächen-Analysen sowie Möglichkeiten zur Schulentwicklung<br />

und -verbesserung erhalten. Andererseits empfehlen Ehren & Visscher Schulen, die<br />

einen hohen Innovationsgrad und starke externale Impulse aufweisen, eher indirekte Ansätze zur<br />

weiteren Entwicklung aufzuzeigen (Ehren et al., 2006, S. 66–67). Das Modell berücksichtigt darüber<br />

hinaus auch Faktoren, die eine erfolgreiche Durchführung einer Schulinspektion bedingen, um unerwünschte<br />

Effekte oder Reaktionen vorzubeugen. Dies ist beispielsweise durch die Integration des<br />

Schulpersonals zu erzielen (Ehren et al., 2006, S. 67 ff.).<br />

huSFelDt stellt in ihrem Vortrag während der ARGEV-Tagung am 2. Juli 2010 die beiden Wirkungsmodelle<br />

gegenüber und erläutert, dass beide Konzepte die Entwicklungsfunktion berücksichtigen.<br />

Allerdings sind die Funktionen der Erkenntnisgewinnung, Rechenschaftslegung und Normendurchsetzung<br />

nur sekundär integriert. In diesem Zusammenhang verdeutlicht huSFelDt, dass die Entwicklung<br />

von umfassenden Modellen und geeigneter messbarer Indikatoren erforderlich sind, um die<br />

Wirkungen und Wechselwirkungen auf die verschiedenen Funktionsbereiche zu berücksichtigen. Als<br />

Basis könnte hierfür das Modell von lanDWehr dienen (vgl. 2.2.3.5) (Husfeldt, 02.07.2010).<br />

böttcher bezieht sich in seinen Untersuchungen zur Wirkung von Schulinspektion auf das Modell von<br />

krüGer & petry (Böttcher & Keune, 2011, S. 133 ff.), das auf Erkenntnissen der Organisationsforschung<br />

beruht und einen Wandlungsprozess in einzelne Phasen gruppiert, die typischerweise während eines<br />

Wandels von einer Organisation absolviert werden. Demnach gliedert sich ein Wandlungsprozess in<br />

die fünf Phasen Initialisierung, Konzipierung, Mobilisierung, Umsetzung und Verstetigung, die dem<br />

Modell zugrunde liegen und den Rahmen für die Ausgestaltung der Aufgaben des Wandlungsmanagements<br />

bilden (Krüger & Petry, 2005, S. 13 f.). Das Ergebnis des Wandels wird dabei von jeder<br />

einzelnen Phase beeinflusst, wobei Störungen negativen Einfluss ausüben.<br />

Abbildung 17: Phasen und idealtypische Aufgaben des Wandlungsmanagements nach Krüger (Krüger<br />

et al., 2005, S. 14)


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

böttcher überträgt die einzelnen Phasen auf die Schulinspektion und den anschließenden Entwick-<br />

lungsprozess, da Schulen ebenfalls als Organisationen verstanden werden. Der Wandlungsprozess<br />

wird in diesem Zusammenhang als Schulentwicklung definiert, die von der Qualität des Durchlaufens<br />

der einzelnen Phasen beeinflusst wird (Böttcher, Keune & Neiwert, 2010, S. 26).<br />

Abbildung 18: Strukturierungsmodell nach Böttcher zur Schulentwicklung nach einer Schulinspektion<br />

(Böttcher et al., 2010, S. 27)<br />

Zu Beginn des Prozesses, der ‚Initialisierung‘, ist eine Identifikation und verbindliche Festlegung<br />

eines sachlich notwendigen Wandels erforderlich. Im Bereich der Schulinspektion erfolgt dies<br />

anhand der Ermittlung von Stärken und Schwächen der Bildungseinrichtung, die eine Grundlage für<br />

mögliche Veränderungen bilden. Die Kommunikation der Evaluationsergebnisse, die Akzeptanz des<br />

Verfahrens sowie die Einschätzung der Lehrkräfte über eine valide Beurteilung der Schule nehmen<br />

Einfluss auf die Definition und Initiierung von Folgemaßnahmen. In der folgenden Phase der ‚Konzipierung‘<br />

werden Ziele für das weitere Vorgehen und konkrete Maßnahmenpläne erarbeitet, um den<br />

Wandlungsbedarf abdecken zu können. Im Folgenden erfolgt eine ‚Mobilisierung‘ der Lehrkräfte,<br />

um in einer weiteren Phase die ‚Umsetzung‘ der entwickelten Ziele zu realisieren. Schließlich wird im<br />

letzten Schritt, der ‚Verstetigung‘, des Wandlungsprozesses überprüft, in dem Ziele und eventuelle<br />

Weiterentwicklungen reflektiert werden und wandlungshemmende oder -fördernde Aspekte identifiziert<br />

werden (Böttcher et al., 2010, S. 28–29).<br />

95


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

96<br />

lanDWehr erläutert während seines Vortrags im Rahmen der ARGEV-Tagung in Baden, dass die<br />

Frage nach der Wirksamkeit einer Maßnahme bzw. eines Projekts ‚wirksamspezifisch‘ anzugehen<br />

ist, da in den Bereichen des Bildungswesens jeweils unterschiedliche Faktoren zugrunde liegen und<br />

vorab eine Klärung der Wirkungsintention erforderlich ist (Landwehr, 02.07.2010). Die vorangehenden<br />

Modelle zur Untersuchung der Wirksamkeit externer Evaluationen werden einer umfassenden<br />

Betrachtungsweise nicht gerecht, da sowohl die Akzeptanz der am Verfahren beteiligten Personen<br />

als auch die Veränderung der Leistungen von SchülerInnen zu berücksichtigen sind. Es steht im<br />

Vordergrund, neben den Weiterentwicklungsmöglichkeiten der Verfahren auch Reaktionen der<br />

Bildungseinrichtungen im Sinne von Folgemaßnahmen zu untersuchen. Aus diesem Grund wird für<br />

die zugrundeliegende Wirkungsanalyse ein eigenes Modell entwickelt, das in Kapitel 2.4.4 weiter<br />

erläutert wird.<br />

2.4.3 Empirische Untersuchungen zur Wirksamkeit externer Evaluationen<br />

kotthoFF, der das englische und schwedische Evaluationssystem untersuchte, verdeutlicht, dass<br />

eine ‚gute‘ schulische Evaluation nicht Wirkungen im allgemeinen Sinn, sondern optimierende Wirkungen<br />

auf eine Schule zu zeigen hat, indem „[...] sie einen Beitrag zur Optimierung von Schulen zu<br />

leisten vermag“ (Kotthoff, 2003, S. 350). Hierbei werden beabsichtigte und tatsächliche Wirkungen<br />

unterschieden. Im ersten Fall handelt es sich um definierte Ziele, die der Evaluation zugrunde liegen.<br />

Im Gegensatz dazu beinhalten tatsächliche Wirkungen Effekte der Evaluation, die empirisch<br />

nachzuweisen sind und die Bildungseinrichtung als Ganzes umfassen. Insbesondere in Schulen<br />

und Schulsystemen wird allerdings eine Diskrepanz zwischen Intention und Wirkung der Evaluation<br />

prognostiziert, da eine Bildungseinrichtung ein komplexes soziales System darstellt und die Evaluation<br />

Ziele verfehlen sowie unbeabsichtigte Nebenwirkungen oder kontraproduktive Effekte zur Folge<br />

haben kann (Kotthoff, 2003, S. 351–375). Ein weiteres Merkmal einer ‚guten‘ schulischen Evaluation<br />

stellt eine günstige und effektive Kosten-Nutzen-Relation dar, in dem die Kosten, die personalen,<br />

sachlichen, finanziellen und emotionalen Aufwand beinhalten, in einem effizienten Verhältnis zur tatsächlichen<br />

Wirkung stehen (Kotthoff, 2003, S. 350 f.). kotthoFF stellt in seiner internationalen Studie<br />

fest, dass eine „[...] mögliche Steigerung der qualitätsoptimierenden Wirksamkeit der schulischen<br />

Evaluation in entscheidendem Maße davon abhängt, ob und inwieweit es gelingen wird, Schulen<br />

und Lehrer von der Nützlichkeit der schulischen Evaluation nicht nur zu überzeugen, sondern ihre<br />

Nützlichkeit in der alltäglichen Berufspraxis der Lehrer erfahrbar und ‚spürbar‘ zu machen“ (Kotthoff,<br />

2003, S. 415). Derzeit vorliegende Studien im Bereich der Wirksamkeitsforschung externer Evaluationen<br />

wurden bereits von huSFelDt analysiert und hinsichtlich ihrer Zielrichtung in drei Typen gruppiert<br />

(Husfeldt, 2011, S. 14 ff.):<br />

Typ 1 – Akzeptanzstudien<br />

Diese Studien beziehen sich auf die Einstellungen und Reaktionen der Akteure zur externen Evaluation<br />

und erfassen Wirksamkeitserwartungen oder -vermutungen. Im Rahmen verschiedener Unter-<br />

suchungen befragten FiDler, ouSton & earley Lehrpersonen zur Wirksamkeit der externen Evaluation<br />

in Bezug auf die Schulentwicklung. Im Ergebnis wurde ermittelt, dass erhaltenes Feedback als<br />

wichtiger Impuls für die weitere Qualitätsentwicklung eingeschätzt wird (Fidler, Ouston & Earley,


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

1994; Fidler, Earley & Ouston, 1995). Weitere Analysen befassen sich mit der Beziehung zwischen<br />

EvaluatorInnen und den Akteuren einer betroffenen Schule, die überwiegend positiv eingeschätzt<br />

wird (Wilcox & Gray, 1996; Brimblecombe et al., 1996; Kogan & Maden, 1999; McCrone et al., 2006).<br />

Allerdings kann während der Verfahren auch ein erhöhter Druck auf die Lehrpersonen festgestellt<br />

werden (Brimblecombe et al., 1996). In Bezug auf die Ofsted-Inspektion werden verschiedene Ergebnisse<br />

über die Wirksamkeit ermittelt (Husfeldt, 2011, S. 15). Das Ofsted-Konzept (Office for Standards<br />

in Education), das zur Schulinspektion in England eingesetzt wird, kritisieren hopkinS et al., da das<br />

Verfahren „die wahre Natur von Schulentwicklung“ nicht erfasst und eine zu starke Fokussierung<br />

auf Verantwortlichkeiten der einzelnen Beteiligten erfolgt sowie übergreifend eine Verbesserung der<br />

Schulen auf der Basis der Schulinspektion nicht belegt werden kann (Hopkins, West & Skinner, 1995,<br />

S. 338, 345). Weitere Studien belegen, dass Eltern im Gegensatz zu Schulleitenden das größte Vertrauen<br />

in die Wirksamkeit der externen Evaluation in Bezug auf die Bildungsqualität, die Standards<br />

und das Finanzmanagement aufweisen. Mit Blick auf einen lohnenden Aufwand des Verfahrens<br />

konnte in Untersuchungen eine eher negative Einschätzung von Seiten der Schulleitenden festgestellt<br />

werden (Kogan & Maden, 1999; Cuckle & Broadhead, 1999). Andere Untersuchungen wiederum<br />

belegten das Gegenteil, in dem die Ofsted-Inspektionen als hilfreich und ertragreich eingeschätzt<br />

wurden (Fitz-Gibbon & Stephenson-Forster, 1999). Darüber hinaus sind in Studien Veränderungen im<br />

Unterricht beleuchtet worden, die nach chapmann eine Schulentwicklung darstellen. Hierbei konnte<br />

nur wenig Bereitschaft von Seiten der Lehrpersonen festgestellt werden, nach der externen Evaluation<br />

den Unterricht zu ändern (Chapman, 2001). Diese Thematik untersuchten auch brimblecombe,<br />

ormSton & ShaW im Rahmen einer Studie zu den Ofsted Inspektionen. In diesem Zusammenhang<br />

konnte eine Bereitschaft zur Änderung der Unterrichtspraxis von über einem Drittel der Lehrkräfte<br />

ermittelt werden (Brimblecombe et al., 1995). huSFelDt erläutert, dass die erste Wirksamkeitsstudie<br />

in Deutschland in 2009 von Gärtner, hüSemann & pant durchgeführt wurde. Diese Untersuchung<br />

stellt fest, dass während der Evaluationen versucht wird, den schulischen Alltag zu repräsentieren<br />

und keine ‚Show-Stunden‘ abzuhalten (Gärtner et al,. 2009). Dieser Sachverhalt kann in England<br />

nicht diagnostiziert werden (Husfeldt, 2011, S. 15–17). Gray & GarDner analysierten in einer weiteren<br />

Untersuchung die Meinung der Schulleitungen, die das Schulinspektionsprogramm als professionell<br />

und unterstützend wahrnehmen. Ferner stellen die Autoren eine generelle Akzeptanz der externen<br />

Evaluation fest, wobei die Lehrerschaft dem Verfahren ängstlich gegenüber tritt und die Rechtfertigung<br />

umstritten bleibt (Gray & Gardner, 1999, S. 464–467).<br />

Typ 2 – Studien zu Maßnahmen<br />

Diese Studien erheben Folgereaktionen und abgeleitete Maßnahmen aus der externen Evaluation. In<br />

diesem Bereich sind erst in jüngerer Zeit Untersuchungen zu verzeichnen (Husfeldt, 2011, S. 17), die<br />

zunächst nur wenige Folgeprojekte innerhalb der Schule feststellen (Lowe, 1998). In einer weiteren<br />

Analyse werden Faktoren erarbeitet, die eine Ableitung von Entwicklungsmaßnahmen entscheidend<br />

beeinflussen. Dies betrifft die Einstellung der Schulleitung zur externen Evaluation, die Art der Durchführung<br />

und die Struktur bzw. der Rahmen der Evaluation (Ouston, Fidler & Earley, 1997). 2002 wurden<br />

in dem Züricher Projekt ‚Neue Schulaufsicht‘ 23 Schulbeurteilungen mit Blick auf die Wirkung und<br />

Nachhaltigkeit der Schulevaluation untersucht. Dabei wurde festgestellt, dass Evaluationsergebnisse<br />

in den Bildungseinrichtungen und Aufsichtsbehörden „[...] bislang in unterschiedlicher Intensität<br />

97


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

98<br />

und häufig noch ohne die notwendige Verbindlichkeit weiter verarbeitet [werden]. Zwar fördert das<br />

neue Modell der Schulbeurteilung die schulinterne Auseinandersetzung über Schulqualität. Das Verfahren<br />

der »Neuen Schulaufsicht« allein löst aber in vielen Schulen nicht zwingend entsprechende<br />

Massnahmen aus» (Binder & Trachsler, 2002, S. 9). Darüber hinaus wurde ermittelt, dass etwa die<br />

Hälfte der Bildungseinrichtungen anhand des schriftlichen Berichts die Ergebnisse nachbereitet und<br />

Entwicklungsvorschläge diskutiert und mit Blick auf eine Umsetzung priorisiert werden. Allerdings<br />

erfolgt in einzelnen Schulen lediglich eine Archivierung des Berichts, womit die Evaluation als Event<br />

betrachtet wird, das eine gewünschte Außensicht vermittelt, aber keine Maßnahmen zur Folge hat<br />

(Binder et al., 2002, S. 68). Der schriftliche Bericht wurde dabei nur vereinzelt als Führungsinstrument<br />

der Schulleitung identifiziert, der nicht selbstwirksam ist und diesbezügliche Nachhaltigkeit durch<br />

den Anstoß von Verbesserungsmaßnahmen nur erzielt wird, wenn der Bericht über Autorität verfügt.<br />

Diese kann durch entschlossenes Handeln von Verantwortlichen in der Bildungseinrichtung erzielt<br />

werden (Binder et al., 2002, S. 68–69). In dem Züricher Projekt wird mit Blick auf eine nachhaltige<br />

Wirkung und Qualitätsentwicklung von Bildungseinrichtungen empfohlen, «[...] das System der<br />

»Neuen Schulaufsicht« zwischen seinen im Vierjahresrhythmus durchgeführten Beurteilungen [...]<br />

sowohl durch ein Instrument der förderorientierten Vollzugshilfe (Standortgespräch, Hilfe bei der<br />

Suche nach fachlichem und prozessunterstützendem Support, Aufbau der schulinternen Selbstevaluationskompetenz)<br />

als auch durch ein Controlling der Massnahmenumsetzung [zu ergänzen]»<br />

(Binder et al., 2002, S. 9–10). ehren & ViSScher stellten im Rahmen einer Studie in den Niederlanden<br />

fest, dass zwischen dem Innovationspotential und den abgeleiteten Maßnahmen der Schule kein<br />

Zusammenhang besteht, wobei die Art bzw. das Ausmaß des Feedbacks keinen Einfluss auf die<br />

Definition von Folgeschritten nimmt (Ehren & Visscher, 2008). Andere Analysen beschäftigten sich<br />

neben der Initiierung von Projekten mit dem Umgang des Evaluationsberichts, wobei hier sowohl<br />

formlose Verbreitungen als auch intensive Diskussionen, beispielsweise innerhalb einer Schulkonferenz,<br />

und sogar die Einforderung von Rückmeldungen verzeichnet werden können. Dieses Vorgehen<br />

ist allerdings nahezu ausschließlich bei gut bewerteten Bildungseinrichtungen feststellbar (Gärtner<br />

et al,. 2009). Im Durchschnitt werden 3,8 Maßnahmen nach einer externen Evaluation initiiert, die<br />

häufig den Unterricht betreffen (Ehren & Visscher, 2008; Gärtner et al,. 2009). Bezüglich der externen<br />

Evaluation in Brandenburg stellten Gärtner & WurSter heraus, dass in der Hälfte der untersuchten<br />

Schulen viele bzw. alle Zielvereinbarungen, die auf der Basis des Verfahrens gebildet werden, auf die<br />

Empfehlungen der EvaluatorInnen zurückzuführen sind (Gärtner & Wurster, 2009). In einer Umfrage<br />

von huber geben sogar 98 % der Schulleitungen der befragten bayerischen Bildungseinrichtungen<br />

an, dass Zielvereinbarungen aus den Empfehlungen des Erlebnisberichts folgten (Huber, 2008,<br />

S. 271). Darüber hinaus stellt huber fest, „[...] dass der Katalog an Maßnahmen, die zur Umsetzung<br />

der Zielvereinbarungen ergriffen wurden, genau jene Arbeitsfelder abdeckt, die sich bei der Auswertungen<br />

der Evaluationsberichte der Schulen [...] als Handlungsfelder aufgedrängt haben“ (Huber,<br />

2008, S. 275). Aus diesem Grund kann davon ausgegangen werden, dass die wichtigsten Empfehlungen<br />

der Evaluation in die Zielvereinbarungen integriert sind. Im Gegensatz zu den Einschätzungen<br />

der Schulleitungen ist bei den Ergebnissen der Umfrage allerdings Zurückhaltung angebracht, da<br />

diese Personengruppe sich oftmals selbst als Motor der Schulentwicklung bezeichnet und eine<br />

verpflichtende Teilnahme vorlag, was möglicherweise zu einem erhöhten Druck in Bezug auf die<br />

Angabe sozial erwünschter Antworten führte (Gärtner et al., 2009).


Typ 3 – Schulleistungsstudien<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Diese Studien betrachten die Wirksamkeit externer Evaluationen in Bezug auf Leistungen bzw. Leistungssteigerungen<br />

von SchülerInnen, wobei hierfür – wie in der vorliegenden Studie – in weiterführenden<br />

Untersuchungen die Einschätzungen von Lehrpersonen und Schulleitenden herangezogen<br />

werden. Eine positive Beurteilung hinsichtlich der Leistungssteigerung von SchülerInnen kann aber<br />

primär von schwächer bewerteten Bildungseinrichtungen verzeichnet werden (Scanlon, 1999). Einige<br />

Studien kommen zu dem Ergebnis, dass ein eher negativer Einfluss bzw. kein positiver Effekt auf die<br />

Schülerleistungen vorliegt (Cullingford & Daniels (1999), Shaw et al., 2003; Rosenthal 2004). huSFelD<br />

stellt in diesem Zusammenhang das Ergebnis einer Untersuchung vor, in dem durch externe Evaluationen<br />

ein hindernder Effekt auf die Entwicklung der Leistungen von SchülerInnen erkannt wird, wobei<br />

die Qualifikationen der Jugendlichen im Allgemeinen stetig steigen (Husfeldt, 2011, S. 21). Andere<br />

Analysen wiederum belegen eine Erhöhung der Leistungen von SchülerInnen auf der Basis der<br />

externen Evaluation (Hanushek & Raymond, 2005; Jacob, 2005; Luginbuhl et al., 2007). Übergreifend<br />

berücksichtigen die Forschungen nur Kurzzeiteffekte (Husfeldt, 2011, S. 21). Offen bleibt, ob sich<br />

eine Verbesserung der Leistungen von SchülerInnen auf der Basis von Evaluationsergebnissen nicht<br />

erst in längeren Zeitabständen äußern. Grundsätzlich sollte in diesem Zusammenhang zwischen<br />

Kurz- und Langzeiteffekten unterschieden werden (De Wolf & Janssens (2007).<br />

In der vorliegenden Analyse wird sowohl die Akzeptanz der am Verfahren beteiligten Personen erhoben<br />

als auch die Veränderung der Leistungen von SchülerInnen durch eine Einschätzung der Lehrkräfte<br />

hinsichtlich der Folgemaßnahmen abgefragt. Fokussierend werden allerdings, neben den Weiterentwicklungsmöglichkeiten<br />

zum Peer Review, Reaktionen im Sinne von Folgemaßnahmen untersucht<br />

(vgl. 2.4.4). Aus diesem Grund kann die zugrundeliegende Wirkungsanalyse externer Evaluationen<br />

tendenziell der ersten und zweiten Kategorie, aber auch dem dritten Bereich zugeordnet werden.<br />

Weitere Aussagen zur Untersuchung von Evaluationen an Hochschulen sind auf der Basis der Stu-<br />

dien von mittaG und carStenSen möglich (Mittag, 2006; Carstensen, September 1997). Allerdings<br />

bezieht sich der Forschungsgegenstand der vorliegenden Arbeit auf Schulen, insbesondere berufliche<br />

Schulen. Aus diesem Grund werden die Ergebnisse der Untersuchungen nicht weiter erläutert.<br />

Die wissenschaftliche Analyse der Erfolgs- bzw. Wirkungskriterien sowie Verfahren zur Analyse der<br />

Wirksamkeit externer Evaluationen im Schulbereich befindet sich noch in den Anfängen (Brägger<br />

et al., 2005, S. 51). huSFelDt stellt fest, dass „[...] trotz einer Vielzahl von Studien in diesem Bereich<br />

die Frage nach der Wirksamkeit externer Schulevaluationen weitgehend unbeantwortet [bleibt]“<br />

(Husfeldt, 2011, S. 13). Eine Schwierigkeit liegt u. a. darin, im Bereich des erzielten Lernerfolgs<br />

der SchülerInnen eine Wirksamkeitsuntersuchung von Qualitätssystemen durchzuführen, da die<br />

ForscherInnen in diesem Gebiet an Messgrenzen stoßen (Capaul, 14.12.2009).<br />

bräGGer et al. entwickelten bereits Faktoren, die eine Wirksamkeit von Evaluationen sowohl fördernd<br />

als auch hemmend beeinflussen können (Brägger et al., 2005, S. 53 f.). Im Folgenden werden wirksamkeitsfördernde<br />

Faktoren dargestellt:<br />

99


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

100<br />

• Hohe fachliche Kompetenz, Vertrauenswürdigkeit und Leistungsbereitschaft der Evaluato-<br />

rInnen; insbesondere bezüglich der Ermittlung verwertbarer Ergebnisse, Lösung von Wider-<br />

ständen und Interessenkonflikten, Engagement zur Nutzenmaximierung der Evaluation sowie<br />

Bildung eines unabhängigen und neutralen Urteils<br />

• Intensive Information und offene Kommunikation unter allen betroffenen und beteiligten Personen;<br />

insbesondere bezüglich der Definition von Evaluationszielen und -themen<br />

• Umfassende Integration und Beteiligung aller Beteiligten; insbesondere bei der Planung und<br />

Durchführung der Evaluation<br />

• Gezielte Verwertung der Evaluationsergebnisse unter Integration des Kollegiums; insbesondere<br />

im Bereich der gemeinsamen Ergebnisdiskussion mit den EvaluatorInnen, der Formulierung von<br />

Empfehlungen sowie die Planung der Umsetzung<br />

• Professionelle Präsentation der Ergebnisse durch einen klaren bzw. verständlichen Vortrag,<br />

neutrale Berichterstattung, aussagekräftige Zusammenfassungen und eindeutige Antworten<br />

auf die Hauptfragestellungen der Evaluation<br />

• Entwicklung von individuellen Empfehlungen und praktikablen Verbesserungshinweisen für die<br />

Bildungseinrichtung<br />

• Termingerechte Rückmeldung der Evaluationsergebnisse<br />

• Organisationsexterne Faktoren, wie beispielsweise die Bereitstellung ausreichender Ressourcen<br />

sowie die Erklärung der Verbindlichkeit der Evaluation und ihrer Ergebnisse (Brägger et al.,<br />

2005, S. 53 f.).<br />

Im Gegensatz dazu schränken Ängste der Beteiligten vor der Evaluation oder Veränderungen sowie<br />

eine missbräuchliche Verwendung der Untersuchung bzw. deren Ergebnisse eine Wirksamkeit von<br />

Evaluationen ein. Auch bestehende Interessen-, Ziel- und Wertekonflikte im Zusammenhang mit den<br />

Befragungen, die unzureichende Bereitstellung von Ressourcen oder technisch schlechte Evaluationen<br />

können die Nachhaltigkeit behindern (Brägger et al., 2005, S. 54).<br />

In dem Projekt „Schulinspektion in Hessen – Wirkungen auf die Qualitätsentwicklung von Schulen<br />

und die Arbeit der Schulaufsicht“ untersuchten böttcher et al., ob auf der Basis der hessischen<br />

Schulinspektion Veränderungen in der Qualitätsentwicklung von Bildungseinrichtungen und in der<br />

Arbeit der Schulaufsicht erfolgten (Böttcher, Keune & Neiwert, 2010, S. 8) und stellten dabei fest,<br />

„[...] dass die unterschiedlichen Akteursgruppen die gleiche Realität unterschiedlich wahrnehmen.<br />

[...] Wesentlich ist der relativ massiv zum Vorschein kommende Eindruck, dass wie gut oder schlecht<br />

eine Diagnose per Schulinspektion auch immer sein mag, die Therapie damit keinesfalls automatisch<br />

erfolgt“ (Böttcher et al., 2010, S. 199). Übergreifend kann festgestellt werden, dass derzeit noch wenig<br />

empirische Befunde zur tatsächlichen Wirksamkeit externer Evaluationen vorliegen. Vorliegende<br />

Untersuchungen stammen überwiegend aus England oder aus den Niederlanden, dementgegen


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

sind aktuell im deutschsprachigen Raum nur wenig Ansätze zur empirischen Überprüfung von Wirk-<br />

samkeit zu verzeichnen (Husfeldt, 2010, S. 8). Dies liegt möglicherweise daran, dass gegenwärtig<br />

noch keine umfassenden Wirkungsmodelle vorliegen, die eine umfassende Berücksichtigung des<br />

komplexen Gefüges an Evaluationsverfahren und deren Verankerung in das mehrdimensionale Steuerungssystem<br />

gewährleisten (Quesel, Husfeldt, Landwehr & Steiner, 2011). Die Tatsache, dass die<br />

Frage zur Wirkung und Wirksamkeit externer Evaluationen ins Zentrum von Untersuchungen rücken,<br />

bezeichnet lanDWehr als überaus positiv, da dies eine funktionsfähige Praxis voraussetzt (Landwehr,<br />

2011, S. 36). DeDerinG & müller fordern, künftige Forschungsvorhaben auf einen längeren Untersu-<br />

chungszeitraum auszulegen, da neben den kurzfristigen auch langfristige Effekte einer externen<br />

Evaluation auftreten können und letztere sonst nicht erfasst werden (Dedering & Müller, 2008, S. 251).<br />

Während der Frühjahrstagung der DeGEval (Gesellschaft für Evaluation e. V.) zum Thema ‚Wirkungsorientierte<br />

Steuerung von Schulentwicklung durch Qualitätsmanagement, externe und interne Evaluation‘<br />

in Hamburg, konnte in Erfahrung gebracht werden, dass im Bundesland Sachsen derzeit eine<br />

Wirkungsanalyse externer Evaluationen durchgeführt wird. Eine Anfrage hinsichtlich der Konzeption<br />

der Studie sowie erster Ergebnisse blieb leider unbeantwortet. Auch in Bremen erfolgt eine Untersuchung<br />

zum Thema Wirksamkeit externer Evaluation, wobei gerade eine erste Datenauswertung<br />

erfolgt, deren Ergebnisse in die endgültige Konzeption des Modells für die Wirkungsanalyse eingearbeitet<br />

werden. Weitere Informationen sowie erste Erfahrungen können aus diesem Grund noch nicht<br />

übermittelt werden (Zurwehme, 09.06.2011).<br />

2.4.4 Wirksamkeit externer Evaluation von Schulen: Zugrundegelegtes Modell<br />

2.4.4.1 Das Modell der Wirksamkeitsanalyse externer Evaluation in der Übersicht<br />

In Kapitel 2.4.2 wurden drei Modelle zur Erfassung der Wirksamkeit externer Evaluationen vorgestellt.<br />

Das Konzept von ehren & ViSScher verfolgt das Ziel, die Entwicklungsfunktion nach dem Verfahren<br />

und verbesserte SchülerInnenleistungen zu überprüfen. Darüber hinaus wird die Akzeptanz der<br />

Evaluationsergebnisse erhoben. Allerdings bleiben hierbei die Ziele der Erkenntnisgewinnung und<br />

Rechenschaftslegung oder Normendurchsetzung unberücksichtigt (Husfeldt, 02.07.2010). Das<br />

Wirksamkeitsmodell von reeziGt & cremerS dagegen berücksichtigt die Erkenntnisgewinnung im<br />

Sinne einer Voraussetzung für effektive Schulentwicklung. Die Funktionen der Normendurchsetzung<br />

und Rechenschaftslegung finden dabei anhand der externen Bedingungen Berücksichtigung. Das<br />

Modell von reeziGt & cremerS ist aber nur bedingt für die Untersuchung der Wirksamkeit externer<br />

Evaluationen einsetzbar. Vielmehr bildet dies eher eine Konzeption für effektive Schulentwicklung<br />

(Husfeldt, 02.07.2010). böttcher fokussiert in seinem Modell ebenfalls den Aspekt der Schulentwicklung,<br />

in dem der Wandlungsprozess einer Organisation in den Fokus der Untersuchung rückt. Aus<br />

diesem Grund wurde die Entwicklung eines eigenständigen Modells fokussiert, das im Folgenden<br />

erläutert wird. Die Konzeption des zugrundegelegten Modells orientiert sich dabei explizit an dem<br />

vorliegenden Kontext der Erhebung, dem Pilotversuch des Peer Review in QIBB (vgl. 2.3.2.5).<br />

101


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

102<br />

Externe Evaluation wird als Instrument zur Förderung schulischer Innovationen verstanden und stellt<br />

insofern ein soziales Programm dar, das auf eine Änderung der Institution zielt. Zur Modellierung<br />

möglicher Effekte wird zunächst das erweiterte Stufen-Modell von kirkpatrick (Kirkpatrick, 1975) zur<br />

Erhebung des Erfolgs von Programmen zugrundegelegt.<br />

Abbildung 19: Modell der Wirksamkeit externer Evaluation


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Die externe Evaluation verlangt zunächst einen bestimmen Input, etwa in Form von Ressourcen der<br />

Schule. Sie führt zu Verbesserungsvorschlägen, die in der Schule mehr oder weniger akzeptiert<br />

werden und die Innovationen anregen können. Diese Innovationen können zu veränderten Leistungen<br />

der Schule (output), insbesondere den Lernleistungen der SchülerInnen führen. Diese wiederum<br />

können sich in Veränderungen in der Gesellschaft (outcome), etwa dem beruflichen Erfolg niederschlagen.<br />

Die Ebenen können Gegenstand einer Wirtschaftlichkeitsbetrachtung sein.<br />

Jede der Ebenen a) bis e) können als Indikatoren der Wirksamkeit externer Evaluation verstanden<br />

werden. So kann beispielsweise die Quantität und Qualität von Verbesserungsvorschlägen der<br />

EvaluatorInnen ein erster Indikator für die Wirksamkeit externer Evaluation sein (a) oder die durch<br />

Evaluation erreichte langfristige Wirkung, etwa der berufliche Erfolg der SchülerInnen (e). Je höher<br />

dabei die gewählte Ebene von a) bis e) ist, desto aufwändiger wird die Wirksamkeitsanalyse. Jeder<br />

Indikator auf diesen Ebenen kann darüber hinausgehend in Relation zum Input gesetzt werden, so<br />

dass er Grundlage einer Wirtschaftlichkeitsbetrachtung wird (Phillips & Schirmer, 2005).<br />

Faktisch fallen die vorliegenden Studien zur Einschätzung der Wirksamkeit schulischen Qualitätsmanagements<br />

bescheidener aus (vgl. 2.4.3). Sie beschränken sich auf Studien zur Wirkung und<br />

Wirksamkeit externer Schulevaluation, auf Studien zu Einstellungen und Wirksamkeitserwartungen,<br />

Studien zu Reaktionen auf Folgemaßnahmen sowie Studien zu Leistungen von SchülerInnen (Husfeldt,<br />

2010, S. 12). D. h. sie decken gespiegelt am hier zugrunde gelegten Modell verschiedene<br />

Ebenen komplett aus oder reduzieren diese, etwa die Beschränkung des Outputs auf Lernleistungen.<br />

Jeder der genannten Indikatoren kann entweder faktisch oder antizipativ-einschätzend erfasst<br />

werden. Bezüglich der Veränderungen in den Lernleistungen kann beispielsweise faktisch eine<br />

Veränderung der Lernleistungen auf der Basis von Leistungstests erfasst werden. Dies verlangt<br />

eine Operationalisierung der relevanten Lernleistung, eine Konstruktion entsprechender testender<br />

Instrumente, die Veränderungsmessung und eine mehrstufige Auswertung der Daten. Die Lehrkräfte<br />

können antizipativ-einschätzend berichten, ob es voraussichtlich zu einer Veränderung kommen wird.<br />

Für die vorliegende Untersuchung werden fünf Ebenen zugrundelegt.<br />

• Erste Ebene (Reaktion): Zufriedenheit mit der externen Evaluation<br />

• Zweite Ebene (Lernen): Schulische Innovationen als Folge der externen Evaluation<br />

• Dritte Ebene (Output): Änderung des Outputs der Institution in Folge der externen Evaluation<br />

• Vierte Ebene (Outcome): Resultate der Änderung des Outcome der Institution in Folge der<br />

externen Evaluation<br />

• Fünfte Ebene (Return on Investment): Return on Investment der externen Evaluation<br />

Das zugrundeliegende Modell von kirkpatrick ist einfach strukturiert und berücksichtigt eine Vielzahl<br />

von Kriterien (Holling et al., 2007, S. 371). Kritisiert wird an diesem Modell allerdings die fehlende<br />

Erweiterung und Differenzierung im Sinne einer Befragung über mehrere Zeitpunkte hinweg sowie einer<br />

weiteren Spezifizierung der Kriterien (Holling et al., 2007, S. 371). Die vorliegende Analyse soll eine erste<br />

103


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

104<br />

Einschätzung und Wirkung externer Evaluationen erheben. Weitere Befragungen sind erst im Nach-<br />

gang an diese Analyse möglich. Die Kritik der mangelnden Spezifizierung der Kriterien ist hier nicht<br />

zutreffend. Im weiteren Verlauf werden nämlich zur Spezifizierung eigene Kriterien zugrunde gelegt.<br />

Bei der Entwicklung des zugrundeliegenden Modells wurden die vier Hauptfunktionen des Wirkungsmodells<br />

nach lanDWehr berücksichtigt (vgl. 2.2.3.5). Demzufolge sind die Funktionen der Erkenntnisgewinnung,<br />

Schulentwicklung, Rechenschaftslegung und Normendurchsetzung in die Konzeption<br />

des Modells integriert worden (vgl. 3.2.2.3.1).<br />

2.4.4.2 Detaillierung der Untersuchungsebenen<br />

2.4.4.2.1 Die erste Ebene: Zufriedenheit mit der externen Evaluation<br />

Die erste, vergleichsweise einfach zu erfassende Stufe der Evaluation ist die Reaktionsebene. Auf<br />

dieser Ebene wurde nach dem Modell der vier Evaluationsebenen die Reaktion der Schulen auf die<br />

Teilnahme an der externen Evaluation am Pilotversuch untersucht. Die erste Ebene des kirkpatrick-<br />

Modells ermittelt die Zufriedenheit der TeilnehmerInnen mit der externen Evaluation und deren Vorgehensweise,<br />

Ergebnisse daraus zu implementieren bzw. aufzugreifen. Hierbei geht es um Gefühle,<br />

Bewertungen und Einschätzungen der Beteiligten zum Verfahren. Eine positive Bilanz bezüglich der<br />

Zufriedenheit impliziert zwar keinen direkten Erfolg des individuellen oder institutionellen Lernens,<br />

aber es ist anzunehmen, dass eine Ablehnung der externen Evaluation sich nicht förderlich auf die<br />

zweite Ebene auswirken würde (Kirkpatrick, 1975, S. 1–5).<br />

kirkpatrick legt einer Ermittlung der Zufriedenheit der TeilnehmerInnen verschiedene Anforderungen<br />

zu Grunde, indem das Ziel der Erhebung klar definiert und damit verbundene Elemente in einem<br />

Feedback-Fragebogen mit quantifizierbaren Antwortmöglichkeiten festgehalten werden. Anonymisierte<br />

Umfragen tragen dazu bei, ehrliche Antworten zu erhalten. Darüber hinaus soll den Teilnehmern<br />

die Möglichkeit eingeräumt werden, zusätzliche Kommentare und Verbesserungsvorschläge<br />

anbringen zu können (Kirkpatrick, 1975, S. 2).<br />

2.4.4.2.2 Die zweite Ebene: Schulische Innovationen als Folge der externen Evaluation<br />

Die zweite Stufe nach dem Modell von kirkpatrick bezieht sich auf den erzielten Lernerfolg von<br />

Beteiligten auf der Basis des Programms im Sinne einer Aneignung von Wissen, Fähigkeiten und<br />

Fertigkeiten (vgl. 2.1). Lernfortschritte der Teilnehmer können mittels standardisierter Befragungen,<br />

Simulationen oder Beobachtungen erhoben werden. Idealerweise erfolgt diese Visualisierung vor<br />

und nach der Maßnahme, um die Veränderungen direkt dem zugrundeliegenden Verfahren zuordnen<br />

zu können (Kirkpatrick, 1975, S. 6–9). Das Anwenden von erlerntem Wissen, angeeigneten<br />

Fähigkeiten und Fertigkeiten im Schulalltag bildet die dritte Stufe im kirkpartick-Modell und bezieht<br />

sich also auf den Erfolg im Sinne von Verhaltensänderungen bei Teilnehmern basierend auf dem<br />

jeweiligen Programm. Der Transfererfolg kann durch Interviews, Supervisionen oder Beobachtung<br />

erfasst werden (Kirkpatrick, 1975, S. 10–13).


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Der Lernerfolg von Schulen nach der Durchführung einer externen Evaluation wird in der vorliegenden<br />

Wirksamkeitsanalyse im Sinne von Innovationen verstanden, die aufgrund der Vorschläge der<br />

EvaluatorInnen während des Verfahrens angeregt wurden. Der Erfolg richtet sich auf die LehrerInnen,<br />

die eine Innovation im Schulalltag anwenden. Die Umsetzung von Maßnahmen aufgrund der Evaluationsergebnisse<br />

wird dabei als Schulinnovationsprozess definiert. Aus diesem Grund wurde zur<br />

Beantwortung der vorangehenden Frage das Concerns-Based Adoption Model von hall & horD<br />

herangezogen, um eine systematische Analyse der Innovationen unter Berücksichtigung der zentralen<br />

Akteure durchzuführen (Hall & Hord, 2011, S. 265). Die beteiligten Personen bilden den Fokus<br />

des Modells, da die Nachhaltigkeit von Innovationen von dem Anteil der Individuen abhängt, die<br />

Veränderungen vornehmen. Menschen gehen mit Veränderungen allerdings sehr unterschiedlich um.<br />

hall & horD entwickelten drei Dimensionen, um diese Unterschiede zu erfassen:<br />

• Innovation Configuration: Der Anpassungsgrad bezüglich der Innovationsvorschläge<br />

• Stages of Concern: Der Grad der Betroffenheit der Beteiligten und<br />

• Levels of Use: Der Grad der Verhaltensänderung der Beteiligten (Hall et al., 2011, S. 260 ff.).<br />

Die erste Dimension des Concerns-Based Adoption Model umfasst die Innovation Configuration<br />

(IC). Innovation Configuration ist ein Konzept, das sowohl die Grundidee der Innovation als auch<br />

verschiedene Wege zur Umsetzung des angedachten Konzepts berücksichtigt. Auf dieses Konzept<br />

wird zurückgegriffen, weil der Erfolg einer externen Evaluation nicht einfach an der Anzahl<br />

der übernommenen Empfehlungen gemessen werden kann. Vielmehr erscheint eine weitergehende<br />

Auseinandersetzung mit den vorgeschlagenen Innovationen notwendig. Dabei soll nicht die Qualität<br />

der Adaption, also die Ausgestaltung der Innovation, beurteilt werden. Vielmehr stehen die Existenz<br />

der Adaption, verschiedene Möglichkeiten zu deren Visualisierung und der Einfluss der Adaption auf<br />

den Veränderungsprozess im Vordergrund. Mit Hilfe der Innovation Configuration erfolgt eine detaillierte<br />

Beschreibung der tatsächlichen Umsetzung einer Innovation, um festzustellen, ob Vorschläge<br />

im ursprünglichen Sinne übernommen oder angepasst wurden. Aus diesem Grund wird bewusst<br />

von „Adaption“ und nicht von „Implementierung“ gesprochen, weil Lehrkräfte in der Umsetzung von<br />

Innovationen oft Anpassungen an eigene Vorstellungen oder situative Gegebenheiten vornehmen.<br />

Eine Tendenz zur Adaption von Aspekten in Bezug auf die Innovation wird als ein natürlicher Bestandteil<br />

eines jeden Wandels verstanden (Hall et al., 2011, S. 43 ff.). Die folgende Abbildung verdeutlicht<br />

eine Adaption in Bezug auf die Innovation eines Autos, die im ersten Bild ideal, im zweiten akzeptabel<br />

und im dritten unakzeptabel ist.<br />

105


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

106<br />

Abbildung 20: Beispiele für Adaptionsmöglichkeiten (Hall et al., 2011, S. 45)<br />

Mögliche Gründe für eine Adaption sind in erster Linie Unsicherheiten bezüglich anstehender Auf-<br />

gaben bzw. vorliegender Erwartungen an beteiligte Personen. Die Probleme beginnen damit, dass<br />

Details über die Art der Umsetzung nicht präzisiert werden und somit die Ausgestaltung der Innovation<br />

von verschiedenen AnwenderInnen variiert, also möglicherweise von der tatsächlichen Grundidee<br />

abweicht oder dem Idealbild entspricht. Eine Umsetzung der Innovation wird dabei allerdings<br />

kaum wahrgenommen. Deshalb ist es in der Bildung nicht ungewöhnlich, dass unterschiedliche<br />

Konfigurationen einer Innovation vorliegen (Hall et al., 2011, S. 43 ff.). Ein weiteres Problem, das<br />

vor allem in Bildungseinrichtungen auftritt, betrifft die zeitliche Ressource, da nur schwer messbar<br />

ist, ob die reale Umsetzung der Innovationen noch mit der ursprünglichen Grundidee einhergeht.<br />

Dieses Phänomen wird vor allem auch dadurch gestützt, dass LehrerInnen, aufgrund der begrenzten<br />

verfügbaren Zeit für die Umsetzung der Innovation, diese isoliert in einzelnen Schritten betrachten<br />

und nur teilweise umsetzen (Hall et al., 2011, S. 45 f.). Darüber hinaus kommt es bei der Implementierung<br />

von Innovationen oftmals zu Missverständnissen, da klare Darstellungen, Definitionen und<br />

Beschreibungen über die Umsetzung der Maßnahme nicht präzisiert sind. Aus diesem Grund ist es<br />

hilfreich, die Innovation zu visualisieren. Der Vorgang des Visualisierens wird hierbei als Innovation<br />

Configuration Mapping bezeichnet. Der Output stellt die sog. Innovation Configuration Map dar (Hall<br />

et al., 2011, S. 46 f.). Diese kann zur Qualitätssicherung, Hilfestellung bei der Selbstreflexion oder<br />

(Unterrichts-)Planung sowie zur Unterstützung der Lehrkraft bei der Innovationsimplementierung<br />

dienen (Hall et al., 2011, S. 50).<br />

Die zweite Dimension des Concerns-Based Adoption Models sind die Stages of Concern (SoC).<br />

Die Stages of Concern beziehen sich auf Gefühle, Einstellungen und Empfindungen von Beteiligten<br />

gegenüber einer Innovation, die sowohl nützlich als auch schädlich sein können. Entscheidend ist die<br />

Art der Gefühle. Sofern Personen von einer Neuerung angetan sind, wird sich dies positiv auf deren<br />

Umsetzung auswirken. Im Gegensatz dazu werden Einschränkungen oder Bedrohungen weitere<br />

Arbeiten an der Innovation verhindern. Diese Gefühle werden durch die sogenannten Stages of


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Concern klassifiziert und ermöglichen einen Einblick über die Empfindungen von Betroffenen in<br />

Bezug auf die Einführung bzw. Umsetzung jeglicher Innovation (Hall et al., 2011, S. 68), also vor<br />

oder während eines Wandels. ‚Concern‘ ist übergreifend eine Bezeichnung für Gefühle, Voreingenommenheit,<br />

Gedanken und Erwägungen eines Individuums bezüglich eines bestimmten Themas<br />

oder Aufgabe. Dementsprechend steht der englische Begriff für den gesamten Prozess mentaler<br />

Aktivität, der aus Hinterfragen, Analysieren, erneutem Analysieren, in Betracht ziehen von Alternativen<br />

und Reaktionen und dem Antizipieren von Konsequenzen besteht (Hall et al., 2011, S. 72).<br />

Eine Klassifizierung dieser Empfindungen einzelner Personen kann in allen Statusgruppen einer<br />

Organisation erfolgen, d. h. sowohl direkt als auch indirekt von der Innovation Betroffene werden in<br />

die Untersuchung einbezogen. Das Ergebnis, die Eingruppierung der Akteure in Stages of Concern,<br />

ermöglicht, individuelle Interventionen zu wählen, um die Neuerung erfolgreich zu integrieren bzw.<br />

voranzubringen (Hall et al., 2011, S. 70, 71). Die Idee, Gefühle und Empfindungen zu gruppieren,<br />

beabsichtigte erstmals Frances Fuller (zitiert in Hall et al., 2011, S. 69 f.) die einen Zusammenhang<br />

zwischen der persönlichen Betroffenheit und thematischem Interesse aufgrund unterschiedlicher<br />

Vorerfahrungen von Personen feststellte. Anhand dieser Erkenntnisse entwickelte sie verschiedene<br />

Stufen der Betroffenheit, die eine Grundlage für das Stages of Concern-Instrument darstellen. Die<br />

Stages of Concern gliedern sich nach hall und horD in sieben Stufen, die von den Lehrkräften in<br />

einer Entwicklung nahezu stufenweise durchlaufen und in vier Bereiche eingeordnet werden (Hall et<br />

al., 2011, S. 72, 73). capaul bezeichnet die Stages of Concern als empirisch gesichert (Capaul, 2002,<br />

S. 21).<br />

impact<br />

(wirkungsbezogen)<br />

task<br />

(aufgabenbezogen)<br />

self-concern<br />

(Selbstzweifel)<br />

unrelated<br />

(ohne Bezug)<br />

6<br />

5<br />

4<br />

3<br />

2<br />

1<br />

0<br />

Neuer Fokus<br />

Zusammenarbeit<br />

Auswirkung<br />

Management<br />

Persönliche Betroffenheit<br />

Informelle Betroffenheit<br />

Gleichgültigkeit<br />

Der Akteur richtet den Fokus auf die<br />

Weiterentwicklung und Optimierung der Innovation.<br />

Der Akteur richtet den Fokus auf die Koordination und Zusammenarbeit<br />

mit Anderen in Bezug auf die Anwendung der Innovation.<br />

Der Akteur richtet den Fokus auf den Einfluss, den die Innovation<br />

in der derzeitigen Form der Anwendung auf den Lerner hat.<br />

Der Akteur richtet den Fokus auf den Prozess und die benötigten<br />

Anforderungen in Bezug auf eine effiziente Umsetzung der Innovation.<br />

Der Akteur zeigt Unsicherheit bezüglich persönlicher Anforderungen<br />

und Aufgaben, die mit der Innovation verbunden sind.<br />

Der Akteur zeigt Interesse an der<br />

Innovation und weiterführenden Informationen.<br />

Der Akteur hat wenig Interesse<br />

an der Innovation oder der Integration.<br />

Abbildung 21: Stages of Concern, Stufen der Betroffenheit (Hall et al., 2011, S. 72, 73)<br />

Eine dritte Dimension des Modells bilden die Levels of Use (LoU). Die Levels of Use beziehen sich auf<br />

Verhaltensänderungen und Reaktionen eines Beteiligten in Bezug auf eine Innovation. Im Zentrum<br />

steht also die Frage, welche Einstellungen und Handlungen einzelne Personen mit einer Innovation<br />

selbst bzw. mit deren Umsetzung verbinden, da die Levels of Use den Zusammenhang zwischen dem<br />

107


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

108<br />

Benehmen einer Personen und einer Neuerung herstellen (Hall et al., 2011, S. 93). Die Levels of Use<br />

unterteilen sich in acht Stufen. Eine übergreifende Gliederung erfolgt in zwei Bereiche, in eine Auftei-<br />

lung in Users (= Anwender der Innovation) und Non-Users (= Nicht-Anwender der Innovation). Anhand<br />

der Eingruppierung der Beteiligten in diese acht Ebenen, ist eine organisationsspezifische Steuerung<br />

in Bezug auf eine optimale Weiterentwicklung der Innovation möglich (Hall et al., 2011, S. 94).<br />

Users<br />

Nonusers<br />

VI<br />

V<br />

Erneuern,<br />

Umstrukturieren<br />

Integration,<br />

Eingliederung<br />

IV B Verbesserung<br />

IV A Routine<br />

III Erste Anwendung<br />

II Vorbereitung<br />

I Orientierung<br />

0 Keine Anwendung<br />

Stadium, in welchem der Akteur die Qualität der Anwendung der Innovation evaluiert, um diese mit<br />

dem Ziel zu optimieren, einen noch positiveren Einfluss auf den Lerner zu erreichen. Der Akteur<br />

versucht neue Entwicklungen in Bezug auf die Innovation und weitere Ziele sowohl auf persönlicher<br />

als auch auf organisationaler Ebene zu finden.<br />

Stadium, in welchem der Akteur kollegialen Austausch bezüglich eigener Erfahrungen mit der<br />

Innovation sucht, um einen ganzheitlichen Einfluss auf den Lerner auszuüben.<br />

Stadium, in welchem der Akteur die Anwendung der Innovation verändert, um den Einfluss auf den<br />

Lerner zu verbessern. Änderungen basieren auf sowohl kurzfristigen als auch langfristigen<br />

Erfahrungen.<br />

Stadium, in welchem der Akteur die Innovation konstant umsetzt und nur wenige Anpassungen<br />

vornimmt. Punktuell ist der Gedanke zur Anwendungsoptimierung bzw. der Blick auf die<br />

Auswirkungen der Neuerung vorhanden.<br />

Stadium, in welchem der Akteur den Fokus auf kurzzeitige Anwendung (day-to-day) richtet. Eine<br />

Reflexion der Handlungen ist aus zeitlichen Gründen nicht machbar. Einzelne Modifikationen<br />

erfolgen mit Blick auf gesetzte Ziele bzw. anhand der Vorstellung des Akteurs. Die Perspektive des<br />

Lerners bleibt hier unberührt.<br />

Stadium, in welchem sich der Akteur auf eine erste Anwendung der Innovation vorbereitet.<br />

Stadium, in welchem der Akteur Informationen über die Innovation einholt. Erstmalig wird ein<br />

Nutzen der Innovation und die Anforderung auf den Anwender erkannt.<br />

Stadium, in welchem der Akteur kein oder nur geringes Wissen über die Innovation hat und nicht in<br />

den Innovationsprozess integriert ist. Aktivitäten, um diesem entgegenzuwirken erfolgen nicht.<br />

Abbildung 22: Levels of Use, Stufen der Verhaltensänderung (Hall et al., 2011, S. 94)<br />

Die dargestellten Levels of Use (LoU) entsprechen einem bestimmten Verhalten(smuster), das an<br />

einer Innovation involvierte Person aufweist. Die verschiedenen Stadien der Betroffenheit sind in<br />

einer logischen Reihenfolge angeordnet, die allerdings nicht von jedem Beteiligten systematisch<br />

absolviert werden muss. Typischerweise springen Anwender zwischen verschiedenen Stufen, z. B.<br />

von LoU 0 zu LoU IV A, um möglicherweise zu einem niedrigeren Profil zurückzufallen oder auf einer<br />

Position stehen zu bleiben. Eine Einordnung der beteiligten Individuen in die verschiedenen Levels of<br />

Use ist durch die in der Tabelle genannten Merkmale in Verbindung mit den Informationen bezüglich<br />

der einzelnen Personen in Kategorien möglich (Hall et al., 2011, S. 95) und ist anhand der damit<br />

verbundenen Bedürfnisse der Akteure Basis für spezifische Implementationsschritte mit Blick auf<br />

eine erfolgreiche Umsetzung der Innovation (Hall et al., 2011, S. 98).<br />

Die drei dargestellten Dimensionen sind Instrumente, um den Wandel in einer Organisation im Sinne<br />

der Veränderung einzelner Betroffener zu erfassen und daraufhin geeignete Führungs- und Lenkungsmaßnahmen<br />

abzuleiten. Die einzelnen Akteure mit ihren Handlungen und Verhaltensweisen<br />

bilden das Zentrum des Concerns-Based Adoption Models. hall und horD unterscheiden während<br />

eines Innovationsprozesses drei Arten von Akteuren, dem Change Facilitator Team (CFT), das sich<br />

aus Personen mit Leitungsfunktionen zusammensetzt und die Aufgabe der erfolgreichen Implementierung<br />

der Innovation verfolgt (Hall et al., 2011, S. 117 ff.). Im vorliegenden Fall handelt es sich


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

hierbei um die Schulleitung und den Schulqualitätsprozessmanager. Zwei weitere Gruppen bilden<br />

Personen, die eine Innovation umsetzen (AnwenderInnen) oder nicht bzw. noch nicht anwenden<br />

(Nicht-AnwenderInnen).<br />

Im Zentrum des Concerns-Based Adoption Models steht die Bedeutung, jede an der Veränderung<br />

beteiligte Person und deren individuelle Sichtweise des Prozesses zu berücksichtigen. Beteiligte<br />

unterscheiden sich bezüglich des Verständnisses und der Fähigkeit zur Umsetzung von Innovation<br />

(LoU), ihre Bereitschaft etwas zu verändern (SoC) und ihre Genauigkeit im Erkennen der (tatsächlichen)<br />

Vision der Entwickler der Innovation (IC). Einige werden sofort etwas verändern, einige werden<br />

die Innovation über die Zeit anwenden bzw. umsetzen und manche werden der Innovation niemals<br />

voll und ganz zustimmen. Diese Unterschiede zu verstehen und ansprechen zu können, ist für eine<br />

erfolgreiche bzw. vollständige Implementierung unumgänglich. Aus diesem Grund wird die Ermittlung<br />

der drei Dimensionen empfohlen, um auf der Basis der individuellen Unterschiede bei den<br />

Beteiligten gezielte Handlungen einzuleiten (Hall et al., 2011, S. 264 ff.).<br />

Abbildung 23: Concerns-Based Adoption Model von Hall & Hord (Hall et al., 2011, S. 265)<br />

Das Change Facilitator Team übernimmt während einer Veränderung innerhalb einer Organisation<br />

eine wichtige Funktion, da diese Personengruppe mit der Koordination und Steuerung des<br />

Implementierungsprozesses betraut ist und somit aufgrund der individuellen Verhaltensmuster der<br />

Beteiligten anhand situationsgerechter Interventionen einen erfolgreichen Wandel der Einrichtung<br />

entscheidend beeinflussen kann. Das Ziel des Change Facilitator Team ist, den Wandel möglichst<br />

aller Beteiligten vom Nicht-Anwender zum Anwender zu unterstützen (Hall et al., 2011, S. 228 f., 117<br />

ff.). Das Change Facilitator Team hat dabei die Möglichkeit, diesen Prozess auf der Basis spezifischer<br />

Interventionen zu steuern, um das Erfolgspotential der Innovation zu erhöhen oder zu senken (Hall et<br />

al., 2011, S. 143). Eine Intervention ist eine Aktivität oder ein Event von kurzer Dauer, typischerweise<br />

geplant oder ungeplant, um Individuen, sowohl positiv als auch negativ, im Veränderungsprozess<br />

zu beeinflussen (Hall et al., 2011, S. 145). Interventionen durch das Change Facilitator Team sind<br />

109


2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />

110<br />

hauptsächlich von Maßnahmen wie dem Kontrollieren des Veränderungsprozesses, dem Bereitstel-<br />

len kontinuierlicher Hilfestellungen, der Planung des Ressourceneinsatzes bzw. der Unterstützung im<br />

professionellen Lernens gekennzeichnet (Hall et al., 2011, S. 147–151). Darüber hinaus tragen geeignete<br />

Informations- und Kommunikationswege zu einem erfolgreichen Wandel in der Organisation bei<br />

(Hall et al., 2011, S. 153–154).<br />

Ein Veränderungsprozess wird aber nicht nur durch Interventionen, sondern auch von Interpretationen<br />

der Beteiligten beeinflusst. Das individuelle Wahrnehmen von Handlungen während einer<br />

Innovation wird im Concerns-Based Adoption Model als Heranwachsen von Pilzen bezeichnet, die<br />

wenig kontrollierbar sind und für eine Veränderung sowohl positive als auch negative Auswirkungen<br />

haben können (Hall et al., 2011, S. 164–166).<br />

2.4.4.2.3 Die dritte Ebene: Änderung des Outputs der Institution in Folge der externen<br />

Evaluation<br />

Die letzte Stufe im kirkpatrick-Modell bezieht sich auf erzielte Ergebnisse für die gesamte Organisation,<br />

die aufgrund einer erfolgreichen Anwendung des erlernten Wissens, der angeeigneten Fähigkeiten<br />

und Fertigkeiten von Teilnehmern vorliegen (Kirkpatrick, 1975, S. 14–17). Ein Zeichen für einen<br />

Geschäftserfolg kann übergreifend mit einer Qualitätsverbesserung bezeichnet werden (Phillips et al.,<br />

2005, S. 28). Bei der Übertragung auf die Schule ist damit der Output der Institution angesprochen.<br />

2.4.4.2.4 Die vierte Ebene: Änderung des Outcome der Institution in Folge der externen<br />

Evaluation<br />

Non scholae, sed vitae discimus. Eine Innovation muss demnach validierbar sein, ob sie einen<br />

Beitrag dazu leistet, dass sich das Leben ihrer BürgerInnen ändert. Dimensionen und Indikatoren für<br />

solche Qualitäten und die damit methodische Probleme diskutieren achtenhaGen und baethGe (2005).<br />

Sie heben zum Beispiel auf die Einkommensentwicklung aufgrund Berufs-/ Qualifikationsabschlüsse<br />

ab (Achtenhagen & Baethge, 2005). Solche Veränderungen müssten auf die externe Evaluation<br />

zurückzuführen sein.<br />

2.4.4.2.5 Die fünfte Ebene: Return on Investment<br />

philippS hat das o. g. Modell von kirkpatrick durch den Return on Investment (ROI) um eine weitere<br />

Stufe erweitert, der sich aus dem Quotienten zwischen Gesamtnutzen und Gesamtkosten berechnet<br />

(Phillips et al., 2005, S. 26). Bei dieser Berechnung handelt es sich um einen Ergebnisvergleich<br />

zwischen dem monetären Nutzen des Programms und den entstandenen Kosten (Phillips et al.,<br />

2005, S. 28).<br />

Eine externe Evaluation muss sich der Frage stellen, ob diese Investition mit Blick auf das veränderte<br />

Leben ihrer BürgerInnen lohnend ist. Die faktische Ermittlung des gesellschaftlichen ROI im Sinne<br />

des durch phillipS erweiterten kirkpatrick-Modells ist nicht Aufgabe des Pilotprojektes. Die Betrach-<br />

tung der Wirtschaftlichkeit mit Blick auf die Schule sowie am Verfahren beteiligten Personen wird


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

hingegen einschätzend-antizipativ berücksichtigt. Aus diesem Grund erfolgt die Gegenüberstellung<br />

als Verhältnis zwischen erzieltem Nutzen und dem entstandenen Aufwand. Die Wirtschaftlichkeit im<br />

Sinne einer Nutzen-Aufwand-Relation (NAR) ergibt sich wie folgt: .<br />

Der Begriff Nutzen wird in diesem Zusammenhang als positiver Effekt definiert, der sich sowie für<br />

einzelne Personen als auch die Bildungseinrichtung selbst aus der externen Evaluation ergibt. Beispielsweise<br />

könnte ein Erhalt neuer Informationen bzw. Hinweise zur Weiterentwicklung der Schule<br />

genannt werden, die zur Erreichung des Ziels der externen Evaluation beitragen. Dieser Sachverhalt<br />

wird dem Aufwand gegenübergestellt, der personelles Engagement, individuelle Aktivitäten sowie zu<br />

erbringende Leistungen ausdrückt, die im Rahmen des Verfahrens auszuführen sind.<br />

111


3. Empirisches Forschungsdesign<br />

112<br />

3. Empirisches Forschungsdesign<br />

3.1 Kontext dieser Erhebung: Das Peer Review in European VET<br />

Bei der Entwicklung der externen Evaluation im Nürnberger Qualitätsmanagementsystem (vgl.<br />

2.3.1.3.2.5) wurde auf die Konzeption des Europäischen Peer Reviews zurückgegriffen, das im Herbst<br />

2009 als ‚Peer Review in QIBB‘ als freiwilliges externes Evaluationsverfahren im Rahmen der Qualitätsinitiative<br />

Berufsbildung (QIBB) implementiert wurde. Das Peer Review in QIBB ist als externe Evaluation<br />

im Rahmen einer Schwerpunktinitiative der Sektion Berufsbildung des Bundesministeriums<br />

für Unterricht, Kunst und Kultur zur Einführung eines umfassenden Qualitätsmanagementsystems in<br />

QIBB, der QualitätsInitiative BerufsBildung, eingebunden (vgl. 2.3.2) und wird von der österreichischen<br />

Referenzstelle für Qualität in der Berufsbildung, ARQA-VET, koordiniert. Die Zusammenarbeit<br />

konnte bei der Konzeption von NQS-E mit ARQA-VET weiter intensiviert werden, in dem im „Konferenz<br />

Peer Review“ im Rahmen der 1. Qualitätsnetzwerk-Konferenz in Wien die Rolle eines Peers<br />

übernommen sowie am Informations- und Erfahrungsaustausch über Qualitätsmanagementsysteme<br />

in berufsbildenden Schulen in Bremen, Sachsen, Bayern und Österreich teilgenommen wurde.<br />

Wie bereits in Kapitel 2.4 erläutert, ist die Frage der Wirksamkeit externer Evaluationen Kern dieser<br />

Arbeit. Zum Zeitpunkt der bevorstehenden Datenerhebung konnte nur bedingt auf die Schulen innerhalb<br />

des Nürnberger Qualitätsmanagementsystems zurückgegriffen werden, da sich das externe<br />

Verfahren noch in der Entwicklung befand bzw. eine Erhebung mit Berücksichtigung des notwendigen<br />

Handlungsbedarfs der Schule im Anschluss an NQS-E nur mit entsprechender Zeitverzögerung<br />

möglich ist. In diesem Zusammenhang wurde nach vergleichbaren Schulen gesucht, die eine externe<br />

Evaluation in einem annähernd gleichen Zeitraum durchführten. Mit Blick auf die Parallelen zwischen<br />

NQS-E und dem Peer Review in QIBB sowie die intensive Zusammenarbeit mit ARQA-VET ergab<br />

sich die Möglichkeit, die sieben Schulen zu untersuchen, die an der Pilotstudie zur Adaptierung des<br />

europäischen Peer Review Verfahrens an die Erfordernisse österreichischer berufsbildender Schulen<br />

teilnahmen (vgl. 2.3.2.5).<br />

3.1.1 Wirkungsbereich des Peer Review in European VET<br />

Innerhalb des Peer Reviews wird das Ziel verfolgt, die Qualität einer Bildungseinrichtung zu sichern<br />

und zu fördern sowie durch die Unterbreitung nützlicher Verbesserungsvorschläge einen kontinuierlichen<br />

Prozess der Qualitätsentwicklung in der Institution anzuregen (vgl. 2.3.2.3). Aus diesem<br />

Grund wird diese externe Evaluation primär als Instrument im Bereich der Schulentwicklung und<br />

Erkenntnisgewinnung zugeordnet.


3.1.2 Ziel der Erhebung<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Ziel der Analyse ist die Erhebung 3 von Steuerungsinformationen in Bezug auf die Wirkung des Peer<br />

Reviews anhand der im Pilotversuch beteiligten Schulen. Darüber hinaus soll die Frage beantwortet<br />

werden, ob das Ziel des Peer Review Verfahrens selbst sowie die Förderung der Qualitätssicherung<br />

und -entwicklung in der zugrundeliegenden Schule (Gutknecht-Gmeiner et al., 2007, S. 1) erreicht<br />

wurde bzw. welche Wirkung das Peer Review Verfahren auf die Schulen hat.<br />

Die Wirksamkeitsanalyse des Peer Reviews erfolgt als formative Evaluation. Diese Evaluationsart<br />

dient der Qualitätssicherung und verfolgt das Ziel der Entwicklung und Optimierung einer Maßnahme<br />

(vgl. 2.2.2.1). Die Form und Methodik der Evaluation wird konzipiert, um Schwachstellen in der Umsetzung<br />

einer Maßnahme zu identifizieren. Das Ergebnis der Evaluation sind Empfehlungen für eine<br />

Optimierung des untersuchten Vorgangs (Tergan, 2000, S. 25). Eine formative Evaluation impliziert<br />

also Handlungen und Aktivitäten, um einen „[...] Prozess kontinuierlich zu verbessern“ (Brunnhuber<br />

et al., 2007, S. 207). Idealerweise erfolgt eine erste Rückmeldung von Ergebnissen im Rahmen einer<br />

formativen Evaluation während der Entwicklungsphase, um erzielte Ergebnisse unmittelbar in das<br />

Konzept zu integrieren (Scriven, 1972, S. 64) und im Sinne eines PDCA-Kreislaufs Änderungen und<br />

Verbesserungsvorschläge für die Weiterentwicklung der Maßnahme zu erhalten.<br />

Zielgruppe der Evaluation sind dabei alle beteiligten Statusgruppen, indem alle durchführenden<br />

Personen auftretende Probleme bei der Durchführung durch Interaktion oder Diskussion erläutern,<br />

um umfassende Verbesserungsvorschläge für die Maßnahme zu erheben (Kuckartz, Dresing, Rädiker<br />

& Stefer, 2008, S. 17–19). Diese Evaluation richtet sich also an Personen bzw. Organisationen, die<br />

Verantwortung für die Durchführung der Maßnahme haben (Schimitzek, 2008, S. 24) und aufgrund<br />

ihrer Funktion in der Lage sind, zur Behebung qualitativer Defizite entsprechende Schritte einzuleiten.<br />

Die vorliegende Forschungsarbeit bezieht sich auf den Pilotversuch des Peer Reviews und soll<br />

auf der Basis des entwickelten Fünf-Stufen-Modells zur Wirksamkeit im Rahmen einer formativen<br />

Evaluation die Stärken und Schwächen dieser externen Evaluation ermitteln. Sekundär wird die<br />

Frage betrachtet, inwieweit das Ziel des Peer Reviews, die Qualitätsverbesserung von Bildungseinrichtungen,<br />

erreicht wurde. Darüber hinaus bietet die Erhebung die Möglichkeit, das Verfahren auf<br />

der Basis erzielter Ergebnisse weiterzuentwickeln. Eine Optimierung des Peer Reviews ist damit die<br />

zugrundeliegende Motivation der Erhebung, indem Empfehlungen für die einzelnen Phasen dieser<br />

externen Evaluation unterbreitet werden. Der Fokus der Analyse bezieht sich insbesondere auf die<br />

vierte Phase des Peer Reviews, der Interpretation von Evaluationsergebnissen und die damit verbundene<br />

Umsetzung von Zielen und Maßnahmen, da dies eine der größten Herausforderungen für<br />

Bildungseinrichtungen ist, aber mit Blick auf die Qualitätsverbesserung von Schulen einen zentralen<br />

Punkt für die Wirksamkeit des Verfahrens darstellt.<br />

Im Zuge der Wirksamkeitsanalyse wurden zunächst Personen mit direktem Bezug zum Verfahren, wie<br />

Schulleitung, Schulqualitätsbeauftragter, Peer Review Organisator und Beteiligte an der Erstellung<br />

des Selbstberichts befragt, um Rückmeldungen über vorhandene Probleme bei der Durchführung<br />

3 Die Erhebung wird im Folgenden als Projekt definiert.<br />

113


3. Empirisches Forschungsdesign<br />

114<br />

des Peer Reviews zu erhalten. Weitere Erhebungsschritte richteten sich an alle Lehrkräfte der Pilotschulen,<br />

um eine ganzheitliche Einschätzung des Verfahrens mit umfassenden Vorschlägen für eine<br />

Optimierung des Verfahrens zu erhalten.<br />

3.1.3 Quantitative und qualitative Forschung<br />

Die vorliegende Wirksamkeitsanalyse verfolgt neben der Ermittlung der Stärken und Schwächen<br />

des Peer Reviews das Ziel, mögliche Verbesserungsvorschläge für eine Optimierung des Verfahrens<br />

durch Empfehlungen für einzelne Phasen der externen Evaluation zu unterbreiten. Um diese Fragen<br />

beantworten zu können, muss zunächst geprüft werden, ob die Beteiligten das Peer Review akzeptieren<br />

und mit dem Verfahren zufrieden sind. Darüber hinaus spielen Innovationen, die aufgrund<br />

der Inputs während des Verfahrens angeregt wurden, eine wichtige Rolle, da diese Maßnahmen<br />

zur Qualitätsverbesserung der Bildungseinrichtung und somit zur Zielerreichung des Peer Reviews<br />

beitragen. Schließlich sind die Bereiche des Outputs im Sinne einer Veränderung der Lernleistung<br />

von Schülern bzw. die Frage der Wirtschaftlichkeit des Peer Reviews zu berücksichtigen, um letztlich<br />

umfassende Ergebnisse mit Blick auf die Stärken-/Schwächenanalyse zu erhalten. Auf Basis dieser<br />

Daten werden denkbare Verbesserungsvorschläge für das Verfahren ermittelt, um mögliche Felder<br />

für eine Weiterentwicklung der externen Evaluation aufzuzeigen.<br />

Auf der Basis der zugrundeliegenden Ziele der Wirksamkeitsanalyse wurde ein Fünf-Stufen-Modell<br />

(vgl. 2.4.4) entwickelt, das eine Grundlage für die Beantwortung der aufgeworfenen Fragen bilden<br />

soll. Zunächst sollten alle Schulen bezüglich der Akzeptanz des Verfahrens, der Umsetzung von<br />

Maßnahmen (Innovationen), der Veränderung der Lernleistung sowie der Wirtschaftlichkeit der<br />

externen Evaluation befragt werden. Diese Ergebnisse sollen schulübergreifend miteinander verglichen<br />

werden, um auf der Basis der erzielten Werte Bildungseinrichtungen für weitere Befragungen<br />

auszuwählen, die eine ausführliche Darlegung der Situation während des Peer Reviews sowie einen<br />

intensiven Austausch bezüglich möglicher Verbesserungsvorschläge für das Verfahren ermöglichen.<br />

Die Überprüfung eines Ausgangspunktes, der Wirksamkeit des Peer Reviews, basiert auf der Theorie<br />

quantitativer Forschung. Im Gegensatz dazu ist die Entwicklung einer Thematik ein Merkmal des<br />

qualitativen Designs (Flick, 2009, S. 26). Aus diesem Grund ist die Wirksamkeitsanalyse des Peer<br />

Reviews sowohl qualitativ als auch quantitativ orientiert, da im Rahmen dieser Forschungsarbeit<br />

Fragen beantwortet werden, die eine Integration beider Forschungsmethoden impliziert, um einerseits<br />

die Akzeptanz des Verfahrens sowie die Tragweite von Innovationen nach dem Peer Review zu<br />

erfassen und andererseits Möglichkeiten für eine Optimierung der externen Evaluation zu erhalten.<br />

mayrinG verdeutlicht, dass „qualitatives und quantitatives Denken [...] in der Regel in jedem Forschungs-<br />

und Erkenntnisprozess enthalten [sind]“ (Mayring, 2002, S. 19). Vielmehr sind quantitative<br />

Daten erst anhand eines weiteren qualitativen Forschungsprozesses umfassend zu betrachten, um<br />

die Ganzheitlichkeit eines Sachverhalts erschließen zu können (Flick, 2006, S. 41). In Kapitel 3.2 ist<br />

das Zusammenspiel der qualitativen und quantitativen Datenerhebung bei der Wirksamkeitsanalyse<br />

des Peer Review Verfahrens weiter verdeutlicht.


3.1.4 Forschungsrahmen<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Untersuchungsgegenstand der vorliegenden Studie ist das Peer Review, insbesondere die vierte<br />

Phase, in der eine Bildungseinrichtung individuelle Ergebnisse verarbeitet und Maßnahmen ableitet,<br />

indem die Wirksamkeit des Verfahrens untersucht sowie Vorschläge für eine Weiterentwicklung des<br />

Verfahrens unterbreitet werden. Auf der Grundlage der externen Evaluation wird die Qualitätsentwicklung<br />

von Schulen, speziell die Initiierung von Innovationen, näher beleuchtet, die einen kontinuierlichen<br />

Entwicklungsprozess für eine Bildungseinrichtung darstellt. Übergreifend ist ein Fortschritt<br />

im Sinne der Optimierungsfelder für das Verfahren selbst erkennbar. Aus diesem Grund wird als<br />

Forschungsrahmen die Fallstudie gewählt, um diese Entwicklungen von verschiedenen Standpunkten<br />

sowie tiefgreifende Erkenntnisse bezüglich des Peer Reviews zu erfassen und Methoden zur<br />

Datengewinnung individuell anpassen zu können. Die genannten Gründe tragen letztlich dazu bei, die<br />

Fallstudie als geeigneten Forschungsrahmen für die vorliegende Analyse zu definieren.<br />

Die vorliegende Fallstudie basiert auf den Erfahrungen des Pilotversuchs, an dem sieben Schulen<br />

beteiligt waren (vgl. 2.3.2.5). Vor diesem Hintergrund liegt eine qualitative Fallstudie vor, da nur<br />

wenige Fälle untersucht werden, aber anhand verschiedener Methoden ‚tiefe‘ Informationen ermittelt<br />

werden, um eine ganzheitliches Verständnis des Untersuchungsgegenstands zu erzielen (Lamnek,<br />

2008, S. 309). Qualitative Daten sollen hierbei den Ausgangspunkt der Erhebung bilden, um anhand<br />

der erzielten Resultate durch eine qualitative Evaluation zusätzliche Erkenntnisse zu erheben (Kuckartz,<br />

Dresing, Rädiker & Stefer, 2008, S. 18).<br />

Eine Fallstudie impliziert eine genaue Beschreibung oder Rekonstruktion eines Falls (Flick, 2009,<br />

S. 83). Ziel der Fallanalyse ist „[...] die Überprüfung der Adäquatheit der Methoden auf dem Hintergrund<br />

eines individuellen Falles; eine Erleichterung der Interpretation von quantitativ gewonnenen<br />

Ergebnissen und das Ermöglichen von tiefer gehenden Einsichten in schwer zugängliche<br />

Gegenstandsfelder“ (Mayring, 2002, S. 44). Anhand einer Fallstudie wird die Komplexität des Forschungsgegenstandes<br />

erfasst, indem elementare Einflussfaktoren untersucht und Zusammenhänge<br />

interpretiert werden (Mayring, 2002, S. 44). Ein zentraler Faktor dieses Forschungsrahmens stellt die<br />

Identifikation, Abgrenzung und Einordnung des Falls sowie die Auswahl methodischer Zugänge dar<br />

(Flick, 2006, S. 177), um eine ganzheitliche Betrachtung des Forschungsgegenstandes mit Blick auf<br />

die Ermittlung individueller Ergebnisse zu gewährleisten. Ein Fall ist also ein Untersuchungsfeld, das<br />

auf der Basis zugrundeliegender Forschungsfragen und -rahmen abzugrenzen ist.<br />

lamnek bezeichnet die Fallstudie selbst als „kein eigenständiges methodologisches Paradigma“ bzw.<br />

„keine konkrete Erhebungstechnik“ (Lamnek, 2008, S. 298), die häufig in Verbindung bei der Erläuterung<br />

von Techniken erwähnt wird. Vielmehr wird die Fallanalyse als ein ‚approach‘ im Sinne eines<br />

Forschungsrahmens mit vielschichtigen methodischen Vorgehensweisen bezeichnet (Hartfiel, 1982,<br />

S. 160). Diese ist somit ein Ansatz, um „[...] die theoretischen Vorgaben der Methodologie in praktische<br />

Handlungsweisen [umzusetzen]“ (Lamnek, 2008, S. 299). Die Fallstudie ist also bezüglich des Forschungsdesigns<br />

nicht an bestimmte paradigmatische Hintergründe gebunden und ermöglicht Datenerhebungen<br />

anhand der gesamten Vielfalt sozialwissenschaftlicher Methoden (Lamnek, 2008, S. 298),<br />

die sich somit an qualitativen als auch quantitativen Daten sowie einer Kombination beider orientieren<br />

115


3. Empirisches Forschungsdesign<br />

116<br />

können (Yin, 2009, S. 132 f.). Die Wahl der Erhebungstechnik ist innerhalb der Fallstudie somit sekundär<br />

zu betrachten, wobei diesbezüglich eine Abgrenzung zu anderen Forschungsstrategien, beispielsweise<br />

dem Experiment, vorliegt. Die Wahl einer Forschungsstrategie ist von drei Bedingungen abhängig:<br />

• Welche Art von Forschungsfragen wird gestellt?<br />

• Welches Maß an Kontrolle über die Ereignisse wird vorausgesetzt?<br />

• In welchen Zeithorizonten ist der Untersuchungsgegenstand einzugruppieren?<br />

Nach yin bewährt sich die Fallstudie als mögliches Forschungsdesign insbesondere dann, wenn es<br />

sich bei den Fragestellungen um „Wie“, „Was“ oder „Warum“-Fragen handelt, keine Kontrolle über die<br />

Ereignisse vorausgesetzt wird und der Untersuchungsgegenstand auf eine zeitnahe Angelegenheit<br />

Bezug nimmt (Yin, 2009, S. 8–13). Primär geht es in einer Fallstudie darum, neue Erkenntnisse zu<br />

erforschen, indem eine tiefgreifende Sicht im täglichen Alltagsgeschehen untersucht wird (Yin, 2009,<br />

S. 18). Im Vordergrund der Fallstudie steht also „[...] die Beschreibung und Analyse eines einzelnen<br />

Falls, einer einzelnen Untersuchungseinheit“ (Lamnek, 2008, S. 311), wobei jede Befragung eines<br />

Beteiligten anhand identischer Erhebungstechniken selbst als Einzelfallstudie betrachtet werden kann<br />

(Lamnek, 2008, S. 313). In einer Fallstudie geht es übergreifend um die ganzheitliche Erfassung des<br />

Untersuchungsgegenstands, indem „[...] alle für das Untersuchungsobjekt relevanten Dimensionen in<br />

die Analyse [einbezogen werden]“ (Lamnek, 2008, S. 299). Also auch die Integration aller beteiligten<br />

Personen ermöglicht, tiefer gehende Erkenntnisse über den Forschungsgegenstand zu gewinnen.<br />

Die Fallstudie verkörpert einen Forschungsansatz, nicht eine Erhebungstechnik. Aus diesem Grund<br />

bezieht sich die Typisierung anhand der folgenden Merkmale auf das Forschungsdesign von Fallstudien<br />

(Lamnek, 2008, S. 320 f.):<br />

• Untersuchungseinheit: Eine Fallstudie bezieht sich grundsätzlich auf Personen mit Blick auf<br />

das menschliche Handeln. In diesem Zusammenhang erfolgt eine Unterscheidung zwischen<br />

Einzelpersonen versus soziales Aggregat, das eine Gruppe von Einzelpersonen vorsieht.<br />

• Forschungsfrage: Ganzheitliche Einzelfallstudien beziehen sich bei der Analyse auf die Außenkontakte<br />

eines Falls. Im Gegensatz dazu kann die Binnenstruktur einzelner Komponenten<br />

untereinander betrachtet werden.<br />

Aus der Kombination zwischen den zwei Formen der Untersuchungseinheit sowie den beiden Möglichkeiten<br />

der Forschungsfrage (Binnenstruktur versus Außenkontakte) ergeben sich vier verschiedene<br />

Typen von Fallstudien:<br />

Tabelle 4: Typologisierung der Fallstudie (Lamnek, 2008, S. 322)<br />

Untersuchungseinheit der Studie<br />

Forschungsfrage<br />

Einzelperson Soziales Aggregat<br />

Binnenstruktur Typ 1 Typ 3<br />

Außenkontakte Typ 2 Typ 4


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Im Zentrum der Wirksamkeitsanalyse stehen nicht die einzelnen Lehrkräfte der am Pilotversuch<br />

beteiligten Schulen, sondern die Bildungseinrichtung als Ganzes in Form eines sozialen Aggregates.<br />

Betroffene Personen werden unter dem Gesichtspunkt der Beteiligung am Peer Review Verfahren als<br />

homogen betrachtet.<br />

Die Forschungsfrage bezieht sich insofern auf die Binnenstruktur, da innerhalb der vorliegenden<br />

Analyse die einzelnen Peer Reviews als Teileinheiten definiert werden und anhand der jeweiligen<br />

Erfahrungen der Schulen im Pilotversuch die Wirksamkeit der externen Evaluation ermittelt wird und<br />

Möglichkeiten für eine Optimierung des Verfahrens erhoben werden. Anhand der genannten Indizien<br />

wird die vorliegende Wirksamkeitsanalyse dem Typ 3 der Fallstudie zugeordnet.<br />

3.1.5 Forschungsfragen<br />

Das Peer Review Verfahren hat das Ziel, die Qualität einer Schule zu erhöhen (vgl. 2.3.2.3). Um dies<br />

gewährleisten zu können, sind Veränderungen in der Bildungseinrichtung nach der externen Evaluation<br />

notwendig, um in den jeweiligen Bereichen der Schule eine Verbesserung zu erzielen. Auf dieser<br />

Basis wurde für die vorliegende Forschungsarbeit ein Modell entwickelt, um die Wirksamkeit externer<br />

Evaluationen zu ermitteln und zu optimieren. Folgende übergreifende Fragestellungen stehen dabei<br />

im Zentrum der Analyse:<br />

• Wie kann die schulische Wirksamkeit des Peer Reviews erhöht werden?<br />

• Wie kann das Peer Review weiterentwickelt werden?<br />

Mit Blick auf die Beantwortung der ersten Frage soll zunächst geklärt werden, ob das Peer Review<br />

Verfahren an sich unter den beteiligten Pilotschulen akzeptiert ist. Kern der Analyse bildet das<br />

Concerns-Based Adoption Model, das jede beteiligte Personen mit ihren individuellen Sichtweisen,<br />

Anliegen und Interessen berücksichtigt. Auf der Basis des Innovationsmodells wird festgestellt, ob<br />

die Inputs des Peer Reviews Innovationen in einer Schule anregen konnten. Insbesondere geht es<br />

hierbei um folgende Fragen:<br />

• Welchen Grad der Betroffenheit weisen die Lehrpersonen bei der Umsetzung von Maßnahmen auf?<br />

• Welchen Grad der Verhaltensänderung zeigen die Betroffen bezüglich der Neuerungen?<br />

• Welche Steuerungsmöglichkeiten ergeben sich für die Schule?<br />

Des Weiteren stellen sich die Fragen, ob die Innovation die Lernleistungen der Schüler verbessert<br />

und wie direkt am Verfahren beteiligte Personen Aufwand und Nutzen des Verfahrens einschätzen.<br />

Anhand der quantitativen Analyseergebnisse werden erste Schlussfolgerungen gezogen und weitere<br />

Daten erhoben, um Möglichkeiten für die Erhöhung der Wirksamkeit sowie Weiterentwicklung<br />

des Verfahrens zu entwickeln. Abschließend sollen die einzelnen Schulen Rückmeldungen für eine<br />

weitere Gestaltung und Steuerung von Innovationsprozessen erhalten, um einen Wandel der Bildungseinrichtung<br />

mit Blick auf die Integration aller Beteiligten zu optimieren und die Entwicklung der<br />

Lehrpersonen zum ‚Innovationsanwender‘ zu unterstützen.<br />

117


3. Empirisches Forschungsdesign<br />

118<br />

3.2 Anlage der Erhebung<br />

Der Forschungsprozess wird, wie in der folgenden Abbildung visualisiert, in drei Phasen unter-<br />

gliedert. Auf der Basis der Erfahrungen des Pretests werden alle an dem Pilotversuch des Peer<br />

Review Verfahrens beteiligten Bildungseinrichtungen in einem zweistufigen quantitativen Verfahren<br />

befragt. Diese Ergebnisse sind die Basis für die Auswahl von Pilotschulen, die anschließend qualitativ<br />

untersucht werden, um aufgrund der erzielten Werte im quantitativen Prozess intensive Erkenntnisse<br />

und Verbesserungsvorschläge für die Optimierung des Peer Reviews zu erhalten.<br />

Abbildung 24: Phasen des Forschungsprozesses


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Der Forschungsprozess bringt sowohl quantitative als auch qualitative Erhebungsmethoden zum<br />

Einsatz (vgl. 3.1.3) und wird nach lamnek in die Schritte Auswahl der Schulen, Datenerhebung<br />

sowie Auswertung der Daten unterteilt (Lamnek, 2008, S. 313–320). Diese werden in den folgenden<br />

Kapiteln erläutert.<br />

3.2.1 Der Pretest<br />

Der Konzeption des Forschungsprozesses geht ein Pretest voraus, in dem an einer NQS-Schule<br />

(vgl. 2.3.1.3) der erste Entwurf eines Fragebogens zum Einsatz kam, um diesen auf Verständlichkeit<br />

zu prüfen und das geplante Vorgehen reflektieren zu können (Diekmann, 2010, S. 195). Daraufhin<br />

wurde die Datenerhebung in zwei Schritte unterteilt, um zunächst Personen mit direktem Bezug<br />

zur externen Evaluation befragen zu können, da alle Lehrkräfte nicht mit den Details des Verfahrens<br />

betraut waren. Im zweiten Schritt sollte nun die Befragung des Gesamtkollegiums erfolgen. Ferner<br />

wurden die Items des Fragebogens analog der Funktion der zu befragenden Personen gegliedert und<br />

ein weiteres Erhebungsinstrument erarbeitet sowie weitere Feinheiten im Bereich der Formulierung<br />

von Items vorgenommen.<br />

3.2.2 Der quantitative Erhebungsteil<br />

3.2.2.1 Erhebungsziele des quantitativen Teils<br />

Im quantitativen Teil der Erhebung wurde das Ziel verfolgt, auf der Reaktionsebene die Zufriedenheit<br />

der am Verfahren beteiligten Personen zu erheben, um eine Rückmeldung hinsichtlich der Gefühle,<br />

Bewertungen und Einschätzungen zum Verfahren zu erhalten. Darüber hinaus ist die Adaptierung<br />

von Maßnahmen, die auf der Basis des Peer Reviews abgeleitet wurden, näher untersucht worden.<br />

Die Erhebung von Einschätzungen in Bezug auf eine Veränderung der Lernleistung von SchülerInnen<br />

anhand der Innovationen bildet den dritten Baustein der quantitativen Erhebung. Schließlich erfolgte,<br />

mit Blick auf das Peer Review Verfahren, eine Bewertung von Nutzen und Aufwand aus persönlicher<br />

und organisationaler Sicht, um eine Einschätzung zur Wirtschaftlichkeit des Peer Reviews zu erhalten.<br />

3.2.2.2 Auswahl der Schulen<br />

In der vorliegenden Studie erfolgt eine Wirksamkeitsanalyse des Peer Reviews, das im Rahmen eines<br />

Pilotprojekts während des Schuljahres 2008/09 an sieben österreichischen berufsbildenden Schulen<br />

erprobt wurde (vgl. 2.3.2.5). Diese Bildungseinrichtungen wurden für erste Erhebungen ausgewählt,<br />

um Erfahrungen, Einstellungen und Meinungen von Beteiligten vollständig zu erfassen. Aus diesem<br />

Grund basiert der quantitative Forschungsprozess auf einer Vollerhebung, da die Auswahl der Schulen<br />

anhand bestimmter Kriterien erfolgt und die „[..] in Frage kommenden Fälle [soweit einschränkt],<br />

dass diese vollständig in der Untersuchung berücksichtigt werden können“ (Flick, 2006, S. 157). In<br />

der vorliegenden Studie richtet sich das Kriterium zur Auswahl der Schulen an der Teilnahme am<br />

Pilotversuch zum Peer Review Verfahren. Somit bezieht sich der quantitative Forschungsprozess<br />

auf diese sieben ausgewählten Schulen, um die Wirksamkeit der externen Evaluation aufgrund der<br />

Erfahrungen in der Pilotphase zu erheben.<br />

119


3. Empirisches Forschungsdesign<br />

120<br />

3.2.2.3 Datenerhebung und -auswertung<br />

Die Datenerhebung erfolgt dadurch, „[...] dass der Forscher sich in ein Feld begibt und sich mit seinen<br />

bisherigen Kenntnissen dort zu informieren sucht, vertraut macht mit Praktiken, Handlungs- und<br />

Sprechweisen der dort ansässigen Menschen, an deren Wissen partizipiert und Kenntnisse von<br />

den Gegenständen und Prozessen bekommt, mit denen er im Feld zu tun hat“ (Hermanns, Tkocz &<br />

Winkler, 1984, S. 147). Die Wahl der Erhebungsmethode hängt also in erster Linie vom Erhebungsgegenstand<br />

ab, indem Inhalte, Konzepte und Strukturen erarbeitet werden und auf dieser Basis<br />

entsprechende Erhebungsformen ausgewählt werden.<br />

3.2.2.3.1 Quantitative Befragung des erweiterten Qualitätsteams<br />

In einem ersten Schritt der quantitativen Datenerhebung erfolgte eine schriftliche Befragung folgender<br />

Personengruppen: Schulleitung, Schulqualitätsprozessmanager, Peer Review Organisatoren,<br />

Ersteller des Selbstberichts. Diese Personen machen das sogenannte erweitere Qualitätsteam der<br />

Schule aus und sind am stärksten in den Prozess der externen Evaluation eingebunden.<br />

Die Befragten werden dabei aufgefordert, ihre Einschätzungen zu den vier Phasen des Peer Review<br />

Verfahrens (vgl. 2.3.2.4) mit Hilfe eines standardisierten Fragebogens anhand einer vier-stufigen<br />

Likert-Skala einzustufen (Mayer, 2009, S. 87). Die Entwicklung des Fragebogens erfolgte auf der<br />

Basis des Handbuchs zum Peer Review Verfahren, in dem die vier Phasen der externen Evaluation<br />

genau beschrieben sind (Gutknecht-Gmeiner et al., 2007). Auf dieser Grundlage wurde das Erhebungsinstrument<br />

zunächst in die vier Bereiche Vorbereitung, Peer Besuch, Peer Review Bericht und<br />

Umsetzen von Maßnahmen gegliedert. Innerhalb dieser Gliederung wurden anhand der detaillierten<br />

Ausführungen im Handbuch einzelne Fragen abgeleitet und wichtige Schritte bzw. Aufgaben für jede<br />

Phase herausgearbeitet. Mit Hilfe dieses Befragungsteils sollten ‚neuralgische‘ Punkte im Prozess<br />

ermittelt werden. Außerdem wurden die Personen aufgefordert, fünf Maßnahmen zu nennen, die<br />

nach dem Peer Review Verfahren umgesetzt wurden, um diese im zweiten Schritt der quantitativen<br />

Datenerhebung im Gesamtkollegium erheben zu können. Diese Innovationen wurden hinsichtlich der<br />

Relevanz für alle Lehrkräfte sowie der individuellen Bedeutung abgefragt, um eine hohe Betroffenheit<br />

der Pädagogen sowie eine hohe Bedeutsamkeit der abzufragenden Maßnahmen sicherzustellen.<br />

In einem nächsten Abschnitt erfolgte eine erste umfassende Einschätzung des Peer Reviews, indem<br />

die Befragten besonders positive bzw. negative Aspekte sowie Verbesserungsvorschläge nennen<br />

konnten, damit ein erster Eindruck über mögliche Stärken und Schwächen des Verfahrens ersichtlich<br />

wurde. Abschließend erfolgte, neben der Angabe soziodemographischer Daten, anhand einer sechsstufigen<br />

Likert Skala eine Einschätzung von Nutzen und Aufwand der externen Evaluation sowohl auf<br />

persönlicher Ebene als auch auf Ebene der Schule.<br />

Ein weiterer Bezugspunkt bei der Entwicklung von Fragen zum Peer Review Verfahren bildeten die<br />

vier Wirkungsbereiche der externen Schulevaluation nach lanDWehr (vgl. 2.2.3.5). In Bezug auf die<br />

Funktion der Erkenntnisgewinnung wurde eine Formulierung von Items gewählt, inwiefern das Peer<br />

Review neue Erkenntnisse oder Ergebnisse lieferte, die bereits an der Schule diskutiert wurden bzw.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

bekannt waren, aber nicht angesprochen wurden. Darüber hinaus wurden Fragen berücksichtigt,<br />

ob das Peer Review bereits bekannte Ergebnisse aufgezeigte, die anschließend offiziell besprochen<br />

werden können (Landwehr, 2011, S. 44). „Von der externen Schulevaluation wird erwartet,<br />

dass die Evaluationsergebnisse wirksame Impulse geben für die Weiterentwicklung der Schule [...]“<br />

(Landwehr, 2011, S. 48). Die Funktion der Schulentwicklung betreffend sind innerhalb der Datenerhebung<br />

Fragen aufgeworfen worden, die sich damit befassen, ob die im Peer Review Bericht<br />

genannten Verbesserungsbereiche die Schule in der Qualitätsarbeit voranbringen oder zielführende<br />

Verbesserungsmaßnahmen vorgeschlagen wurden. Der dritte Wirkungsbereich nach lanDWehr, die<br />

Rechenschaftslegung, findet insoweit Berücksichtigung, inwieweit umgesetzte Maßnahmen in die<br />

nächste Zielvereinbarung eingegangen sind bzw. die Ergebnisse des Peer Review Verfahrens in den<br />

Schulqualitätsbericht integriert wurden. Die Funktion der Normendurchsetzung bezieht sich darauf,<br />

ob die Nachricht im Hinblick auf eine anstehende externe Evaluation und deren detaillierten Aspekte<br />

bzw. Kriterien eine Wahrnehmungs- und Aufmerksamkeitsverschiebung in der schulischen Einrichtung<br />

verursachen, in dem Maßnahmen initiiert werden, um in diesen Bereichen einen zu vertretenden<br />

Qualitätszustand erreichen zu können (Landwehr, 2011, S. 60). Eine Übertragung dieser These auf<br />

ein bevorstehendes Peer Review wird insoweit gänzlich zu einer Erhöhung der Aufmerksamkeit in<br />

Bezug auf die Qualitätsarbeit führen, da die Schule mit Blick auf das bevorstehende Verfahren den<br />

vorgegebenen Qualitätsbereich einschätzen bzw. eigene Themen positionieren kann. Aus diesem<br />

Grund ist dieser Sachverhalt mit hoher Wahrscheinlichkeit vor jedem Verfahren gewährleistet und<br />

wird aus diesem Grund in der vorliegenden Erhebung nicht weiter verfolgt.<br />

In der ersten Phase der Datenauswertung stand die Interpretation der standardisierten Fragebögen<br />

der am Peer Review Verfahren beteiligten Personen im Fokus, um erste Ergebnisse über die Zufriedenheit<br />

mit der externen Evaluation zu erhalten. Die Aufbereitung der Daten aus dem ersten Schritt<br />

des quantitativen Forschungsprozesses in einer Datenmatrix ermöglichte eine Ermittlung von Verteilungsparametern.<br />

Um die unterschiedliche Anzahl der Evaluierenden einer Schule zu relativieren,<br />

wurde anhand der zugrundeliegenden Skala (Porst, 2009, S. 71) ein arithmetisches Mittel für jedes<br />

Item berechnet (Flick, 2009, S. 158). Diese neu berechneten Werte ermöglichten eine erste Interpretation<br />

und Gegenüberstellung der Ergebnisse. Darüber hinaus wurde die Standardabweichung<br />

berechnet, um die Verteilung, also die Streuung der Werte, abzubilden. Aus den Daten standardisierter<br />

Erhebungen können Stärken und Schwächen festgestellt werden, wobei die zugrundeliegenden<br />

Argumente für Bewertung sowie mögliche Optimierungsbereiche allerdings nur mit Hilfe qualitativer<br />

Forschungsmethoden erhoben werden können (Brunnhuber, 2009, S. 64–67).<br />

3.2.2.3.2 Quantitative Befragung der Lehrkräfte<br />

3.2.2.3.2.1 Übersicht<br />

Im zweiten Schritt des quantitativen Forschungsprozesses wurden alle Lehrkräfte der am Pilotversuch<br />

beteiligten Schulen mit einem standardisierten Fragebogen befragt. Hierbei sollten die auf der<br />

Basis des Peer Reviews initiierten Maßnahmen, durch die Erhebung der Stages of Concern und der<br />

Levels of Use, bewertet sowie eine Einschätzung bezüglich einer Verbesserung der Lernleistungen<br />

von SchülerInnen durch diese Maßnahme getroffen werden.<br />

121


3. Empirisches Forschungsdesign<br />

122<br />

3.2.2.3.2.2 Messung der Stages of Concern und der Levels of Use<br />

3.2.2.3.2.2.1 Messung der Stages of Concern<br />

Die Stages of Concern ermitteln die subjektive Betroffenheit von Beteiligten an einem Innovationsvorhaben,<br />

wobei sich diese Ausprägungen in sieben Stufen unterteilen (vgl. 2.4.4.2.2). Für die<br />

Erhebung der Stages of Concern stehen während eines Innovationsprozesses drei Möglichkeiten zur<br />

Verfügung, um Gefühle und Emotionen von Beteiligten zu bestimmen (Hall et al., 2011, S. 78):<br />

• One-legged interview: Diese Erhebungsform bezeichnet kurze, informelle Gespräche während<br />

des Schulalltags zwischen einem Mitglied des Change Facilitator Team und einer Lehrkraft (Hall<br />

et al., 2011, S. 78 f.).<br />

• Open-Ended Statement: Innerhalb dieser Variante beschreiben Lehrpersonen innerhalb einer<br />

offenen, schriftlichen Befragung ihre emotionale Befindlichkeit in einer kurzen Mitteilung (Hall<br />

et al., 2011, S. 79).<br />

• Stages of Concern Questionnaire (SoCQ): Diese Erhebungstechnik ermöglicht anhand eines<br />

Fragebogens einen quantitativen Zugang zur emotionalen Betroffenheit von Beteiligten an<br />

einem Innovationsprozess (Hall et al., 2011, S. 80 f.). Auf der Basis von 35 Items führt jede<br />

Lehrkraft mit Hilfe einer sieben-stufigen-Likert-Skala eine Selbsteinschätzung über die persönliche<br />

Befindlichkeit in Bezug auf eine Maßnahme durch, wobei jede der sieben Stufen der<br />

Stages of Concern in fünf verschiedenen Items positioniert ist (Hall et al., 2011, S. 282–286).<br />

Aufgrund dieser Ausgangssituationen kann innerhalb einer Stufe eine Summe von 0 bis 35<br />

erzielt werden (Hall et al., 2011, S. 286), wobei grundsätzlich ein hoher Wert eine hohe bzw. ein<br />

niedriger Wert eine geringe Betroffenheit symbolisiert. Innerhalb einer Leerkategorie können<br />

Items als irrelevant eingestuft werden (George, 2008, S. 25). Diese Eingruppierung von Betroffenen<br />

in Stages of Concern kann punktuell als Querschnitt oder über mehrere Erhebungen<br />

als Längsschnitt vorgenommen werden, um Entwicklungen bezüglich der Betroffenheit von<br />

Beteiligten zu erfassen (Hall et al., 2011, S. 262–266). Diese quantitative Technik nimmt bei der<br />

Erhebung der Stages of Concern eine ganz entscheidende Position ein, da der Fragebogen in<br />

einem mehrstufigen Verfahren entwickelt sowie anhand einer extensiven Analyse überarbeitet<br />

wurde und eine große interne Reliabilität und hohe Validität aufweist (Hall et al., 2011, S. 80). Das<br />

quantitative Instrument konnte auf der Basis zahlreicher Validitätsüberprüfungen die Eignung<br />

der einzelnen Items zur Abbildung der Stufen individueller Betroffenheit unter Beweis stellen<br />

(George, 2008, S. 20 f.).<br />

Aufgrund der Vielzahl an Lehrkräften, die von den Maßnahmen der externen Evaluation betroffen<br />

sind, wurde für die Erhebung der Stages of Concern der dafür vorgesehene Fragebogen als<br />

integriertes Instrument des Concerns-Based Adoption Model ausgewählt. Im Rahmen der Auswertung<br />

des ersten Schritts der quantitativen Datenerhebung wurde im Bereich der Umsetzung<br />

von Maßnahmen festgestellt, dass eine inhaltliche Verdichtung der Angaben in den meisten Fällen<br />

zu einer Summe von drei Innovationen führt. Ein vollständiges Abfragen der 35 Items in Bezug auf


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

diese drei implementierten Konzepte wurde vor dem Hintergrund des Umfangs des Fragebogens<br />

aus erhebungstechnischen Gründen nicht weiter verfolgt. Allerdings sollte die Anzahl der Items<br />

annähernd dem Musterfragebogen entsprechen. Aus diesem Grund wurden die sieben Stufen der<br />

Stages of Concern in Bezug auf eine Innovation jeweils zwei Mal positioniert, um die Komplexität<br />

des Fragebogens nicht weiter auszudehnen und dennoch eine quantitative Analyse der subjektiven<br />

Betroffenheit von Lehrkräften durchführen zu können.<br />

3.2.2.3.2.2.2 Messung der Levels of Use<br />

Die Levels of Use beschreiben Verhaltensänderungen und Reaktionen eines Beteiligten in Bezug<br />

auf eine Innovation (vgl. 2.4.4.2.2). Für die Ermittlung der Levels of Use stehen während eines Innovationsprozesses<br />

zwei Möglichkeiten zur Verfügung, um Handlungen von Beteiligten zu bestimmen:<br />

• Branching interview: Das Konzept des Gesprächs entspricht einem Fragenkatalog (vgl. Hall<br />

et al., 2011, S. 101), um Informationen über das Verhalten eines Beteiligten zu erhalten und auf<br />

dieser Grundlage das Individuum zu einer Stufe zu klassifizieren. Zuerst wird die Lehrkraft mit<br />

der Frage konfrontiert, ob sie die Innovation in die tägliche Arbeit integriert hat. Die Antwort<br />

unterscheidet Anwender von Nicht-Anwendern und bildet die Basis für die Ausprägung weiterer<br />

Fragen. Entscheidend dabei ist, den Beteiligten sein eigenes Verhalten beschreiben zu lassen,<br />

um die Zuordnung zu den acht Stufen zu verifizieren (Hall et al., 2011, S. 99 f.).<br />

• Focused Interview: Diese Erhebungstechnik ist ähnlich zum Branching interview. Allerdings<br />

basiert dieses Gespräch auf spezielle Definitionen der einzelnen Levels of Use, relevanten<br />

Entscheidungspunkten und detaillierte Informationen über die verschiedenen Stufen, die in<br />

Kategorien gefasst werden. Das Ergebnis des Gesprächs ist eine Gesamteinschätzung der<br />

Person bezüglich des Levels of Use. Hierfür wird neben einem Protokoll ein Beurteilungsbogen<br />

ausgefüllt, um eine genaue Darstellung des individuellen Verhaltens zu erhalten (Hall et al., 2011,<br />

S. 100–104).<br />

Diese Erhebungsformen bedeuten hohen zeitlichen Aufwand für die Bestimmung der Levels of Use.<br />

Aus diesem Grund wurde der Fragenkatalog (Hall et al., 2011, S. 101), der dem Branching Interview<br />

zugrunde liegt, als Entscheidungsbaum umfunktioniert und in den standardisierten Fragebogen<br />

integriert. Die Lehrkräfte waren somit in der Lage, ihr eigenes Verhalten in Bezug auf eine Maßnahme<br />

anhand der einzelnen Verzweigungen und Merkmalsausprägungen selbst zu bestimmen, indem die<br />

vorgesehenen Möglichkeiten verfolgt werden. Anhand einer Eventualität wurde das individuelle Verhalten<br />

bestimmt, indem ein am Ende der Entscheidungskette stehender Buchstabe gewählt wurde.<br />

Der Entscheidungsprozess ist der folgenden Abbildung zu entnehmen:<br />

123


3. Empirisches Forschungsdesign<br />

124<br />

Haben Sie die<br />

Maßnahme in Ihre<br />

tägliche Arbeit<br />

integriert?<br />

nein<br />

ja<br />

Beabsichtigen Sie,<br />

dies in Zukunft zu<br />

tun?<br />

Haben Sie für Ihre<br />

tägliche Arbeit<br />

Anpassungen<br />

vorgenommen?<br />

nein<br />

ja<br />

nein<br />

ja<br />

Sind Sie an weiterführenden<br />

Informationen interessiert?<br />

Sind Sie an weiterführenden<br />

Informationen interessiert?<br />

Für meine tägliche Arbeit sind<br />

keine (weiteren) Anpassungen<br />

notwendig.<br />

Ich habe die Maßnahme an<br />

meine persönlichen Bedürfnisse<br />

als Lehrkraft angepasst.<br />

Ich habe die Anpassungen mit<br />

meinen Kollegen abgestimmt.<br />

nein<br />

ja<br />

nein<br />

ja<br />

nein<br />

ja<br />

A<br />

B<br />

C<br />

D<br />

E<br />

F<br />

Versuchen Sie die<br />

Maßnahme in Ihrer<br />

täglichen Arbeit<br />

weiterzuentwickeln?<br />

Versuchen Sie die<br />

Maßnahme in Ihrer<br />

täglichen Arbeit<br />

weiterzuentwickeln?<br />

Abbildung 25: Entscheidungskette Levels of Use; Fullan zitiert nach Hall et al., 2011, S. 101<br />

Jeder dieser Entscheidungswege kann einer Stufe der Levels of Use zugeteilt werden. Der ursprüng-<br />

liche Fragenkatalog wurde allerdings um weitere Positionen ergänzt, die im Folgenden erläutert<br />

werden.<br />

hall und horD gehen in Level of Use II davon aus, dass ein Beteiligter dieser Stufe typischerweise<br />

Materialien studiert und sich auf eine erste Anwendung vorbereitet (Hall et al., 2011, S. 69). Dieser<br />

Prozessschritt wurde mit Blick auf das Interesse an weiterführenden Informationen erweitert, um<br />

detaillierte Aussagen über den Beginn einer möglichen Umsetzung der Maßnahme zu erhalten. Es<br />

wird angenommen, dass eine Sichtung von Unterlagen mit einer zeitnahen Integration der Maßnahme<br />

in die tägliche Arbeit einhergeht. Im Gegensatz dazu wird der Mangel an weiteren Informationen und<br />

die fehlende Absicht, diese Lücke zu schließen, mit einem geringeren Engagement bezüglich der<br />

Umsetzung der Innovation verbunden. Diese Thematik ist in der Entscheidungskette in den Fällen ‚C‘<br />

und ‚D‘ symbolisiert.<br />

Die Levels of Use IV B, V und VI sind anhand des ursprünglichen Fragenkatalogs verhältnismäßig<br />

schwer einzuordnen (Hall et al., 2011, S. 101). Die Unterschiede dieser drei Stufen beziehen sich auf<br />

eventuelle Absprachen zwischen dem Individuum und Kollegen oder weiteren Personen hinsichtlich<br />

nein<br />

ja<br />

nein<br />

ja<br />

G<br />

H<br />

I<br />

J


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

getroffener Anpassungen sowie um die Motivation, die Maßnahme in der täglichen Arbeit weiterzuentwickeln<br />

(Hall et al., 2011, S. 97 f.). Mit Blick auf eine deutlichere Veranschaulichung des Sachverhalts,<br />

wurden diese beiden Merkmale in einzelne, aufeinander folgende Verzweigungen integriert, die<br />

sich in den Fällen ‚G‘ bis ‚J‘ wiederfinden.<br />

In der folgenden Tabelle wird der Zusammenhang zwischen den einzelnen Levels of Use und den<br />

einzelnen Wegen der Entscheidungskette verdeutlicht:<br />

Stadium, in welchem der Akteur die Qualität der Anwendung der Innovation evaluiert, um diese mit<br />

VI<br />

Erneuern,<br />

Umstrukturieren<br />

dem Ziel zu optimieren, einen noch positiveren Einfluss auf den Lerner zu erreichen. Der Akteur<br />

versucht neue Entwicklungen in Bezug auf die Innovation und weitere Ziele sowohl auf persönlicher<br />

als auch auf organisationaler Ebene zu finden.<br />

H, J<br />

V<br />

Integration,<br />

Eingliederung<br />

Stadium, in welchem der Akteur kollegialen Austausch bezüglich eigener Erfahrungen mit der<br />

Innovation sucht, um einen ganzheitlichen Einfluss auf den Lerner auszuüben.<br />

Stadium, in welchem der Akteur die Anwendung der Innovation verändert, um den Einfluss auf den<br />

I<br />

IV B Verbesserung Lerner zu verbessern. Änderungen basieren auf sowohl kurzfristigen als auch langfristigen<br />

Erfahrungen.<br />

Stadium, in welchem der Akteur die Innovation konstant umsetzt und nur wenige Anpassungen<br />

G<br />

IV A Routine vornimmt. Punktuell ist der Gedanke zur Anwendungsoptimierung bzw. der Blick auf die<br />

Auswirkungen der Neuerung vorhanden.<br />

Stadium, in welchem der Akteur den Fokus auf kurzzeitige Anwendung (day-to-day) richtet. Eine<br />

E<br />

III Erste Anwendung<br />

Reflexion der Handlungen ist aus zeitlichen Gründen nicht machbar. Einzelne Modifikationen<br />

erfolgen mit Blick auf gesetzte Ziele bzw. anhand der Vorstellung des Akteurs. Die Perspektive des<br />

Lerners bleibt hier unberührt.<br />

F<br />

II Vorbereitung Stadium, in welchem sich der Akteur auf eine erste Anwendung der Innovation vorbereitet. C, D<br />

I Orientierung<br />

Stadium, in welchem der Akteur Informationen über die Innovation einholt. Erstmalig wird ein<br />

Nutzen der Innovation und die Anforderung auf den Anwender erkannt.<br />

Stadium, in welchem der Akteur kein oder nur geringes Wissen über die Innovation hat und nicht in<br />

B<br />

0 Keine Anwendung den Innovationsprozess integriert ist. Aktivitäten, um diesem entgegenzuwirken erfolgen nicht. A<br />

Users<br />

Nonusers<br />

Abbildung 26: Zusammenhang Levels of Use und Entscheidungskette<br />

3.2.2.3.2.2.3 Auswertung der Daten zu den Stages of Concern und den Levels of Use<br />

Nach den Forschungsergebnissen von hall & horD verläuft die Entwicklung von Personen, die an<br />

einem Innovationsprozess beteiligt sind, stufenweise, indem die sieben Stages of Concern (vgl.<br />

2.4.4.2.2) nacheinander folgend durchlaufen werden (Hall et al., 2011, S. 72 f.). Allerdings kann nur bei<br />

einem mustergültigen Verlauf der Innovationsimplementierung von einem linearen, hierarchischem<br />

Verlauf ausgegangen werden. capaul bezeichnet die Stages of Concern als empirisch gesichert<br />

(Capaul, 2002, S. 21). Zunächst wurden die Werte einzelner Items für jede Stufe der Betroffenheit<br />

aufsummiert und mit dem Faktor 2,5 multipliziert, um die zweifache Positionierung der sieben Stufen<br />

zu relativieren und, mit Blick auf eine analoge Ausgangsbasis zum Musterfragebogen, eine Auswer-<br />

tung nach hall und horD zu ermöglichen. Anschließend wurden diese absoluten Werte anhand einer<br />

vorgegebenen Tabelle in relative Werte konvertiert (George, 2008, S. 23, 27). Die Perzentile wurden in<br />

ein Koordinatensystem übertragen, um die Entwicklung der subjektiven Betroffenheit anhand eines<br />

Funktionsgraphen darzustellen (Hall et al., 2011, S. 285 f.).<br />

Während einer Innovation entwickelt sich der Beteiligte stufenweise (George, 2008, S. 7 ff.). „SoC<br />

profiles are a very informative way to illustrate movement and nonmovement during a change process.<br />

[...] As the term stages implies, and as the numbering of the stages suggests, there is a hypothesized<br />

pattern to the evolution of concerns profiles when the change process unfolds successfully.<br />

125


3. Empirisches Forschungsdesign<br />

126<br />

This progression takes the form of a „wave motion“ of intensities that begins with Self-concerns<br />

being more intense prior to fist use of the innovation. Then, as implementation begins, Task concerns<br />

become more intense, and Self-concerns gradually reduce in intensity. With time [...], Impact concerns<br />

can increase in intensity as the Self and Task concerns decrease“ (Hall et al., 2011, S. 76 f.). Im<br />

Allgemeinen verläuft die Entwicklung vom Nicht-Anwender zum Anwender (Hall et al., 2011, S. 77).<br />

Die Stages of Concern bezeichnen allerdings den Grad der Betroffenheit im Sinne von Gefühlen und<br />

Empfindungen einer Person in Bezug auf eine Innovation. Die eigentliche Verhaltensänderung, also<br />

das Umsetzen einer Maßnahme, kommt letztendlich durch die Levels of Use zu Ausdruck. In diesem<br />

Sinn wird die Entwicklung vom Nicht-Betroffenen zum Betroffenen unterschieden.<br />

Typischerweise zeigen Personen zu Beginn einer Innovation wenig Interesse an der Maßnahme<br />

und fühlen sich also nicht betroffen. Im weiteren Entwicklungsverlauf rücken Selbstzweifel in den<br />

Vordergrund, indem das Interesse für die Maßnahme zwar zunimmt, aber Probleme, Schwierigkeiten<br />

sowie die eigene Rolle innerhalb der Innovation analysiert werden (Hall et al., 2011, S. 73). Bewegt<br />

sich die Masse der Lehrkräfte in den Stufen 0 bis 2, so befindet sich der Prozess in einer labilen Phase<br />

(Capaul, 2002, S. 21), da sich die meisten Personen nicht bzw. wenig mit der Maßnahme identifizieren<br />

können. Die Personen, die sich in diesem Bereich bewegen, werden als Nicht-Betroffene definiert.<br />

In der nächsten Phase, die von aufgabenbezogenen Inhalten gekennzeichnet ist, beginnt die sachliche<br />

Auseinandersetzung mit der Maßnahme, indem der Beteiligte seine Aufmerksamkeit auf die<br />

Innovation richtet und sich mit einer bestmöglichen Nutzung von Informationen und Ressourcen<br />

auseinandersetzt. In den Stufen vier, fünf und sechs befasst sich der Beteiligte mit den Wirkungen<br />

der Innovation. Zunächst bezieht der Beteiligte den Fokus auf mögliche Konsequenzen und Einflüsse<br />

auf den Lerner. Im nächsten Schritt rückt die Kollektivarbeit im Sinne einer Koordination und<br />

Zusammenarbeit mit anderen Personen ins Zentrum. Auf der letzten Stufe steht die Optimierung<br />

und Verbesserung der Maßnahme im Vordergrund (Hall et al., 2011, S. 73). capaul bezeichnet eine<br />

Innovation als ideal „[...] wenn die Lehrkräfte die Stufen 4 und 5 erreichen und sich die Wirkung der<br />

Innovation überlegen“ (Capaul, 2002, S. 21), da hierbei ein Austausch von Materialien, persönlichen<br />

Erfahrungen und Kenntnissen erfolgt, auf deren Basis die Maßnahme weiterentwickelt werden kann<br />

und somit ein übergreifender Mehrwert für die Bildungseinrichtung entsteht. Übergreifend muss<br />

berücksichtigt werden, dass nur bei einem mustergültigen Verlauf der Implementierung einer Innovation<br />

von einem linearen, hierarchischem Verlauf ausgegangen werden kann. Fehlen bestimmte<br />

Bedingungen, werden zu häufig neue Innovationen gleichzeitig oder in zu kurzer zeitlicher Distanz<br />

hinzugefügt bzw. fehlt die notwendige Unterstützung seitens einer Schlüsselperson, so kann es<br />

möglich sein, dass Anwender auf einem bestimmten Stage „stehen“ bleiben oder gar wieder zu Stufe<br />

1 zurückfallen (Hall et al., 2011, S. 74).


Relative Intensität (Percentile)<br />

100<br />

80<br />

60<br />

40<br />

20<br />

0<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Selbstzweifel AufgabenWirkungsbezogenbezogen 1 2 3 4 5 6<br />

Stages of Concern<br />

Abbildung 27: Entwicklungen von Personen in einem Innovationsprozess (Hall et al., 2011, S. 77)<br />

Die Graphik verdeutlicht Entwicklungen von Personen innerhalb der Stages of Concern, die durch<br />

eine Abbildung von Funktionsgraphen veranschaulicht wird. Der Funktionsgraph eines Nicht-Betrof-<br />

fenen weist beispielsweise in den Stufen 0, 1 und 2 hohe Werte auf und zeigt, dass der Beteiligte<br />

127


3. Empirisches Forschungsdesign<br />

128<br />

mehr Informationen über die Innovation und seine Rolle wünscht. Im Gegensatz dazu demonstrieren<br />

niedrige Werte der Stufen 4, 5 und 6 (Hord, Rutherford, Huling & Hall, 2008, S. 36), dass sich die Person<br />

diesbezüglich nicht mit Kollegen austauscht bzw. keine Ideen hat, die Innovation zu optimieren.<br />

Vielmehr zeigt dieser Akteur gar kein Interesse, die Innovation zu verändern.<br />

Eine Analyse der Graphen ermöglicht die Gruppierung der Beteiligten in die einzelnen Stages of<br />

Concern (George, 2008, S. 33), wobei sich grundsätzlich der Beteiligte in der Stufe befindet, die im<br />

Funktionsgraphen den höchsten Wert aufweist (Hord et al., 2008, S. 37). Anhand dieser Ergebnisse<br />

kann festgestellt werden, inwieweit sich der Beteiligte von der Innovation betroffen fühlt, um individuelle<br />

Interventionsmöglichkeiten unterbreiten zu können. Diese Auswertungsmethode kann sich<br />

sowohl auf ein einzelnes Individuum, eine Teil- oder Gesamtgruppe bzw. auf ganze Organisationen<br />

beziehen (Hall et al., 2011, S. 266). Anhand einer ersten Interpretation der Funktionsgraphen wurde<br />

festgestellt, dass sich die Beteiligten unterschiedlich stark von der Innovation betroffen fühlen und<br />

nur durch eine intensive Begutachtung, möglicherweise durch den Vergleich einzelner Items, eine<br />

sinnvolle Zuordnung möglich ist. Aus diesem Grund wurden die Funktionsgraphen anhand eines<br />

jeden Individuums und nicht über die Bildung von Durchschnittswerten interpretiert, um die Verteilung<br />

im Kollegium so genau wie möglich erfassen zu können.<br />

Die Levels of Use bringen den Grad der Verhaltensänderung von beteiligten Personen anhand einer<br />

Innovation zum Ausdruck. Diese unterteilen sich in acht Stufen und wurden anhand des Frageleitfadens<br />

erhoben, in dem die Lehrkräfte ihr eigenes Verhalten bezüglich einer Innovation anhand<br />

der einzelnen Verzweigungen und Merkmalsausprägungen selbst einschätzten. Die Auswertung der<br />

Levels of Use erfolgte anhand der Entscheidungskette, da jede einzelne Stufe der Levels of Use mit<br />

möglichen Entscheidungswegen verknüpft ist. Die Angabe des Buchstabens gibt also unmittelbar<br />

Aufschluss über die Stufe der Verhaltensänderung (vgl. Abbildung 26). Während sich die Stages<br />

of Concern auf die affektive, gefühlsbezogene Seite, im Sinne von Emotionen und Einstellungen,<br />

beziehen, stehen die Levels of Use in Zusammenhang mit der Bestimmung eines Verhaltensmusters,<br />

insbesondere dem Benehmen sowie den Reaktionen in Bezug auf eine Neuerung. Die Levels of Use<br />

beschäftigen sich vielmehr mit der Frage, wie die Innovation von einem Beteiligten genutzt wird,<br />

als mit der Frage, ob sie genutzt wird. Die Verhaltensentwicklung einer Person bei der Umsetzung<br />

einer Maßnahme verläuft vom Nichtanwender zum Anwender. Die Levels of Use erleichtern es, zu<br />

verstehen und vorherzusagen, welche Schritte getan werden sollten, um einen Innovationsprozess<br />

voranzubringen. Anhand der acht Levels können Handlungen der betrachtenden Personen gegenüber<br />

einer Innovation und deren Umsetzung untersucht und eingestuft werden, um auf die Bedürfnisse<br />

des Beteiligten reagieren zu können, indem geeignete Interventionen gewählt werden und<br />

der Betroffene optimal bei der Umsetzung der Maßnahme durch konkrete Implementationsschritte<br />

unterstützt wird (Hall et al., 2011, S. 93 f.).<br />

Zu Beginn einer Innovation erfolgt grundsätzlich keine Anwendung der Maßnahme, da der Person<br />

diesbezüglich keine oder nur wenige Informationen vorliegen. Von Seiten der Lehrkraft wird<br />

in dieser Phase auch keinerlei Anstrengung unternommen, um in die Innovation involviert zu werden.<br />

In der nächsten Phase erfolgt eine erste Orientierung, in welcher der Akteur eigenständige


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Schritte unternimmt, Informationen über die Maßnahme einzuholen und daraus seine persönlichen<br />

Anforderungen ableitet. Im nächsten Schritt bereitet sich der Akteur auf die erste Anwendung der<br />

Innovation vor. Diese beschriebenen Levels 0 bis II werden dem Nichtanwender zugeteilt (Hall et al.,<br />

2011, S. 94–96). capaul bezeichnet auch hier die Innovation als „versandet“, sofern sich die Masse<br />

des Kollegiums in diesen Stufen bewegt (Capaul, 2002a, S. 62), da noch keine eigentliche Verhaltensänderung<br />

in Bezug auf die Maßnahme erfolgt. Die folgenden Kategorien werden zum Bereich<br />

des Anwenders gruppiert, da in Level III eine erste, kurzzeitige Anwendung der Innovation erfolgt.<br />

In der Stufe IV, die sich in die Bereiche Routine und Verbesserung unterteilt, erfolgen einerseits<br />

konstante Umsetzungen der Innovation und andererseits erste Veränderungen, um den Einfluss auf<br />

den Lerner zu verbessern. In der Phase V sucht der Akteur kollegialen Austausch bezüglich eigener<br />

Erfahrungen. In dem höchsten Level erfolgen Evaluationen der Maßnahme, um die Anwendung auf<br />

persönlicher und organisationaler Ebene zu optimieren (Hall et al., 2011, S. 96–98). Die Innovation<br />

kann als erfolgreich bezeichnet werden, wenn sich die meisten Personen auf einem Level zwischen III<br />

und VI bewegen, da die Maßnahme institutionalisiert ist. Anhand der Levels of Use kann letztendlich<br />

die Wirkung der Innovation im Sinne eines Resultats gemessen werden (Capaul, 2002a, S. 62), da<br />

diese Dimension die Verhaltensänderungen zum Ausdruck bringt.<br />

Hall und Hord stellen die Stages of Concern, den Grad der Betroffenheit, mit den Levels of Use, dem<br />

Grad der Verhaltensänderung, in Relation (Hall & Hord, 1987).<br />

Abbildung 28: Relation zwischen Stages of Concern und Levels of Use<br />

129


3. Empirisches Forschungsdesign<br />

130<br />

Die Einführung einer Innovation verläuft wirksam und unbedenklich, wenn sich ein Beteiligter<br />

bezüglich beider Dimensionen, dem Grad der Betroffenheit und dem Grad der Verhaltensänderung,<br />

gleichmäßig entwickelt (Dubs, 1994, S. 282). Im ersten Schritt wird der Akteur ein generelles<br />

Bewusstsein in Bezug auf die Innovation entwickeln (Stage of Concern 1) und anschließend detailliertere<br />

Informationen zur Maßnahme sammeln (Level of Use I). Gewonnene Erkenntnisse werden<br />

nun auf die eigene Person übertragen, indem persönliche Anforderungen und die Rolle innerhalb<br />

der Innovation reflektiert (Stage of Concern 2) sowie eine erste Anwendung vorbereitet wird (Level<br />

of Use II). In einem nächsten Schritt richtet der Beteiligte seine Aufmerksamkeit auf den Prozess<br />

und benötigte Anforderungen (Stage of Concern 3), um die Maßnahme im Sinne eines kurzzeitigen,<br />

mechanischen Gebrauchs anzuwenden (Level of Use III). Anschließend beschäftigt sich die Lehrkraft<br />

mit möglichen Konsequenzen, insbesondere mit Einflüssen der Innovation auf den Lerner (Stage<br />

of Concern 4), wobei sich eine routinierte Anwendung der Maßnahmen einstellt (Level of Use IV<br />

A) bzw. die Anwendung verändert wird, um Effekte auf die SchülerInnen zu optimieren (Level of<br />

Use IV B). Darauf aufbauend befasst sich der Akteur damit, sich mit Anderen über die Innovation<br />

auszutauschen oder zusammenzuarbeiten (Stage of Concern 5) und setzt diese Pläne um (Level of<br />

Use V). Im Folgenden sucht der Beteiligte nach Vorteilen und Alternativen (Stage of Concern 6), um<br />

die Innovation optimieren zu können (Level of Use VI).<br />

Stages of<br />

Concern<br />

Levels of Use<br />

Abbildung 29: Interdependenz Stages of Concern und Levels of Use<br />

Diese Entwicklung verdeutlicht die Interdependenz zwischen den Stages of Concern und den Levels<br />

of Use, da sich zunächst Gefühle und Einstellungen entwickeln müssen, um anschließend das Verhalten<br />

ändern zu können. Die Levels of Use werden somit in Bezug auf die Stages of Concern als<br />

Resultat betrachtet. Der beschriebene Vorgang ist im Bereich der Ideallinie positioniert, die in der<br />

Abbildung 28 schraffiert dargestellt ist. Befinden sich aber Personen in einer Dimension deutlich<br />

höher oder niedriger als bei der anderen, so ist die erfolgreiche Einführung und Implementierung der<br />

Maßnahme gefährdet. Diese Personen würden dem Bereich außerhalb des Idealbereichs zugeordnet<br />

werden.<br />

Befindet sich beispielsweise ein Akteur in der Zelle I/5, so ist er von der Innovation stark betroffen,<br />

zeigt aber noch keine Verhaltensänderung. Diese Beteiligten sind Innovationsverweigerer oder Skeptiker<br />

(Seitz & Capaul, 2000, S. 6). Mögliche Gründe hierfür könnten fehlende Rahmenbedingungen<br />

oder die grundsätzliche Ablehnung der Maßnahme darstellen. Im Allgemeinen wird festgehalten,<br />

dass eine Verhaltensänderung nur von einem Beteiligten selbst zu verwirklichen ist und eine erfolgreiche<br />

Implementierung nur erfolgen kann, wenn die Akteure selbst bereit sind, die Innovation


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

umzusetzen. Aus diesem Grund können Interventionsmöglichkeiten lediglich in Bezug auf die emoti-<br />

onale Betroffenheit der Beteiligten, die Stages of Concern, erfolgen, da sich die Verhaltensänderung<br />

aus den Einstellungen und Gefühlen der Personen ergeben und diese lediglich von dem Beteiligten<br />

selbst gesteuert werden können. Diese Entwicklungslinie verläuft, im Vergleich zur Ideallinie, deutlich<br />

flacher und wird mit dem Schlagwort ‚Philosoph‘ versehen, da diese Personen primär über die<br />

Innovation nachdenken.<br />

Im Gegensatz dazu zeigt eine Person, die der Zelle V/1 zugeordnet wird, bereits Verhaltensänderungen,<br />

fühlt sich aber von der Maßnahme weniger betroffen. Diese Personen eilen der Entwicklung<br />

voraus und werden als Enthusiasten oder positiv agierende Pioniere bezeichnet (Seitz et al., 2000,<br />

S. 6). Es wird allerdings ausgeschlossen, dass die zugrundeliegenden Maßnahmen lediglich einen<br />

geringen Anteil des Kollegiums betreffen und sich somit Lehrkräfte nicht betroffen fühlen könnten,<br />

da diese Tatsache im ersten Schritt des quantitativen Forschungsprozesses explizit ausgeschlossen<br />

wurde (vgl. 3.2.2.3.2). D. h. die ausgewählten Innovationen beziehen sich auf das Gesamtkollegium,<br />

so dass alle Lehrkräfte von der Maßnahme betroffen sein sollten. Die Entwicklungslinie dieser<br />

Personen wird, im Vergleich zur Ideallinie, eine deutlich höhere Steigung aufweisen und wird dem<br />

‚Aktionismus‘ zugeordnet, da diese Akteure das Handeln in den Vordergrund stellen.<br />

Einzelne Lehrkräfte befinden sich während einer Innovation in einer Zelle des Koordinatensystems,<br />

das sich aus den Levels of Use und den Stages of Concern ergibt. Aufgabe des Change Facilitator<br />

Teams (vgl. 2.4.4.2.2) ist, die beteiligten Personen so zu begleiten, dass sich diese in der Nähe der<br />

Ideallinie befinden (Hall et al., 1987). Es wird davon ausgegangen, dass eine Ungleichverteilung beider<br />

Ausprägungen auf der Basis von Interventionen nur durch eine Erhöhung im Bereich der Stages<br />

of Concern erfolgen kann, um die Relation zwischen der Betroffenheit und der Verhaltensänderung<br />

wieder herzustellen, da lediglich an die Bereitschaft der Person zur Innovationsimplementierung<br />

appelliert, aber keine Verhaltensänderung erzwungen werden kann. Zeigt ein Beteiligter beispielsweise<br />

geringe Betroffenheit (Stage of Concern 2), aber bereits deutliche Verhaltensänderungen<br />

(Level of Use V), soll versucht werden, auf der Basis eingeforderter Berichterstattungen, einer<br />

Verdeutlichung von Handlungsanforderungen oder einer Integration in entsprechende Netzwerke,<br />

den Akteur intensiver in die Innovation zu integrieren als ihn bei der Umsetzung der Maßnahme<br />

zurückzuhalten. Im Gegensatz dazu, kann bei einem Beteiligten, der eine hohe Betroffenheit (Stage<br />

of Concern 4) aber eine geringe Verhaltensänderung (Level of Use II) aufweist, ebenso nur an den<br />

Willen zur Umsetzung appelliert werden, da Verhaltensänderungen nur durch die Person selbst<br />

erfolgen können. Möglicherweise kann in diesem Fall ein Gespräch mit der Schulleitung zu einer<br />

Innovationsumsetzung beitragen.<br />

Vor diesem Hintergrund werden die folgenden Interventionsmöglichkeiten bezüglich der Stages of<br />

Concern zu Grunde gelegt.<br />

131


3. Empirisches Forschungsdesign<br />

132<br />

impact<br />

(wirkungsbezogen)<br />

task<br />

(aufgabenbezogen)<br />

Self-concern<br />

(Selbstzweifel)<br />

Unrelated<br />

(ohne Bezug)<br />

6<br />

5<br />

4<br />

3<br />

2<br />

1<br />

0<br />

Neuer Fokus<br />

Zusammenarbeit<br />

Auswirkung<br />

Management<br />

Persönliche<br />

Betroffenheit<br />

Informelle<br />

Betroffenheit<br />

Gleichgültigkeit<br />

- Diskussionen anregen<br />

- günstige Rahmenbedingungen für die Weiterentwicklung schaffen<br />

- Verantwortungen für die Betreuung der Innovation definieren<br />

- Sicherstellung fachlicher Weiterentwicklung<br />

- Wege zur intensiven Zusammenarbeit ermöglichen<br />

- Erfahrungsaustausch sicherstellen<br />

- Zusammenarbeit institutionalisieren (z. B. Team-Teaching)<br />

- mögliche Konsequenzen für Lehrpersonen und Lernende aufzeigen<br />

- Berichterstattungen einfordern<br />

- Unterstützungsprozesse sicherstellen<br />

- Kernprozesse dokumentieren<br />

- Handlungsanforderungen transparent machen<br />

- Lösungsprozesse iterativ gestalten (Schwierigkeiten akzeptieren)<br />

- persönliche Entwicklungsmöglichkeiten aufzeigen<br />

- schulinterne Fortbildungen anbieten<br />

- Hospitation bei Dritten ermöglichen<br />

- Befürchtungen und Widerstände ernst nehmen<br />

- konkrete Maßnahmen zur Behebung ableiten<br />

- Netzwerke als tragende Basis aufbauen (Vertrauen schaffen)<br />

- Problembewusstsein in einen Zielvereinbarungsprozess überführen<br />

- Umsetzung erläutern / Praxisbeispiele aufzeigen<br />

- Bedeutung und Notwendigkeit der Innovation aufzeigen<br />

- Problembewusstsein schaffen<br />

- laufend über die Innovation informieren (formell und informell)<br />

Abbildung 30: Stufenbezogene Interventionsmöglichkeiten zitiert nach Robbins & Alvy, 2003, S. 78;<br />

Seitz, 2005, S. 78<br />

3.2.2.3.2.3 Erfassung der Einschätzung zu den Lernleistungen (output)<br />

Für eine umfassende faktische Erfassung der Änderungen aufgrund der externen Evaluation ist es<br />

mit Blick auf den Pilotversuch im Schuljahr 2008/2009 noch zu früh. Aus diesem Grund werden die<br />

Einschätzungen der Lehrkräfte zur Veränderung des Outputs, also der Lernleistungen der SchülerInnen,<br />

erfasst. Den dritten Teil des Fragebogens, der sich an alle Lehrkräfte der Pilotschulen<br />

richtet, bildet die Einschätzung der Pädagogen bezüglich einer Verbesserung der Lernleistungen von<br />

SchülerInnen, die aus einzelnen Maßnahmen nach dem Peer Review resultieren. Diese Beurteilung<br />

erfolgt anhand einer vierstufigen Likert-Skala, um erzielte Ergebnisse in der Unterrichtsentwicklung<br />

zu erfassen.<br />

3.2.2.3.2.4 Einschätzung der Wirtschaftlichkeit (ROI)<br />

Auch hier erscheint eine faktische Erfassung sehr aufwändig und mit Blick auf den Pilotzeitraum<br />

zu früh. Die Berechnung der Wirtschaftlichkeit erfolgte mit Hilfe einer sechs-stufigen Likert-Skala<br />

anhand der einzelnen Einschätzungen von Nutzen und Aufwand. Der numerische Wert 6 steht dabei<br />

für einen hohen Nutzen bzw. Aufwand. Analog dazu wird ein geringer Nutzen bzw. Aufwand durch<br />

die Zahl 1 ausgedrückt. Auf der Basis einer Gegenüberstellung beider Größen können Aussagen<br />

über die Nutzen-Aufwand-Relation des Verfahrens getroffen werden. Wird dem persönlichen oder


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

organisationalen Nutzen ein höherer Wert zugemessen als dem Aufwand, so liegt eine positive<br />

Wirtschaftlichkeit vor. Im umgekehrten Verhältnis, der höheren Einschätzung des Aufwands, wird<br />

von einer negativen Wirtschaftlichkeit ausgegangen. Die Auswertung dieser Erhebung erfolgte<br />

schulübergreifend, da innerhalb einer Institution lediglich zwei bis fünf Personen an dieser Evaluation<br />

teilnahmen und somit eine Interpretation der Ergebnisse bezogen auf jede Bildungseinrichtung wenig<br />

sinnvoll erschien.<br />

3.2.3 Der qualitative Erhebungsteil<br />

3.2.3.1 Erhebungsziele des qualitativen Teils<br />

Das Ziel des qualitativen Teils der Erhebung bestand zunächst darin, weitere Informationen hinsichtlich<br />

der Zufriedenheit mit dem Peer Review zu erhalten, da in diesem Erhebungsschritt auch<br />

Lehrkräfte integriert wurden, die bei der Durchführung des Verfahrens unbeteiligt oder lediglich<br />

durch die Teilnahme an einem Interview integriert waren, aber mit der Umsetzung der Innovationen<br />

konfrontiert werden. Der Fokus dieses Teilbereichs lag allerdings bei der Ermittlung und Optimierung<br />

von Verbesserungsvorschlägen für das Verfahren, um mögliche Felder für eine Weiterentwicklung<br />

der externen Evaluation aufzuzeigen.<br />

3.2.3.2 Auswahl der Schulen<br />

Für den weiteren qualitativen Forschungsprozess sollten Bildungseinrichtungen ausgewählt werden,<br />

um mögliche Verbesserungsvorschläge für eine Optimierung des Peer Reviews und Empfehlungen<br />

für einzelne Phasen der externen Evaluation zu erheben. Anhand dieser Tatsache liegt im qualitativen<br />

Forschungsprozess ein theoretisches Sampling vor, „[... das] in der Absicht durchgeführt [wird],<br />

Kategorien und ihre Eigenschaften zu entdecken und das interne Beziehungsgefüge einer Theorie<br />

zu entwerfen“ (Schratz et al., 2000, S. 78). Die Auswahl der Untersuchungsgegenstände erfolgt im<br />

Prozess der Datenerhebung- und Auswertung (Flick, 2009, S. 93) und bezieht sich darauf, „[...] einen<br />

Fall [...] zu finden, der die theoretischen Konzepte des Forschers komplexer, differenzierter und profunder<br />

gestalten kann“ (Lamnek, 2008, S. 314). Die Anzahl der Erhebungsgegenstände richtet sich<br />

dabei nach der Entscheidung, ob die ganze Bandbreite aller Möglichkeiten oder nur ein singulärer<br />

Fall näher beleuchtet werden soll. In beiden Fällen werden die Erhebungseinheiten auf der Basis<br />

ihrer Eignung als extremer oder idealer Typ, anhand von Vermutungen oder äußerlichen Merkmalen,<br />

ausgewählt (Lamnek, 2008, S. 314).<br />

Anhand der Daten, die im quantitativen Forschungsprozess ermittelt wurden, erfolgte eine schulübergreifende<br />

Gegenüberstellung der Ergebnisse hinsichtlich der Zufriedenheit der Beteiligten mit<br />

dem Peer Review sowie den Werten in Bezug auf Innovationen, als Folge der externen Evaluation. Die<br />

Schulen wurden hierbei in verschiedene Kategorien eingeteilt. Grundlage bildeten hierfür die Werte<br />

des quantitativen Forschungsprozesses. Die Anzahl der Personen, die an der Befragung zur Akzeptanz<br />

des Peer Reviews teilnahmen, beschränkte sich auf zwei bis sechs Personen (vgl. 4.1.1). Aus<br />

diesem Grund wurden diese Ergebnisse für die Auswahl weiterer Schulen sekundär betrachtet. Die<br />

133


3. Empirisches Forschungsdesign<br />

134<br />

systematische Analyse von Innovationen erfolgte auf der Basis der Stages of Concern, der Grad der<br />

Betroffenheit, und der Levels of Use, der Grad der Verhaltensänderung. Die Auswertung der Stages<br />

of Concern gestaltete sich aufwendig und umfangreich. Darüber hinaus war für dieses theoretische<br />

Sampling, aufgrund der Verlängerung des Abstimmungszeitraums für die Befragung der Lehrkräfte,<br />

weniger Zeit vorhanden, als ursprünglich im Projektplan vorgesehen. Darüber hinaus geben die<br />

Levels of Use letztendlich Aufschluss über eine tatsächliche Implementierung der Maßnahmen im<br />

Sinne einer entsprechenden Verhaltensänderung. Aus diesem Grund wurden für die Auswahl der<br />

Schulen im qualitativen Forschungsprozess die Ergebnisse der Levels of Use herangezogen. Die<br />

Auswahl der Schulen erfolgte dabei maßnahmenübergreifend anhand hoher bzw. niedriger Werte<br />

der Levels of Use. Für den qualitativen Forschungsprozess wurden anhand der Ergebnisse in Bezug<br />

auf die Levels of Use drei Schulen ausgewählt, da, mit Blick auf die Teilnahme von sieben Schulen<br />

am Pilotversuch, eine theoretische Sättigung angenommen, und nach der Durchführung der Interviews,<br />

auch festgestellt wurde (Glaser, Strauss, Paul, Kaufmann & Hildenbrand, 2010, S. 80). Dies<br />

bedeutet, dass nach der dritten qualitativen Datenerhebung keine entscheidend neuen Daten mehr<br />

erhoben werden (Flick, 2006, S. 161), die zur Weiterentwicklung des Peer Reviews beitragen. Im<br />

vorliegenden Auswahlprozess liegen allerdings auch Ansätze des statistischen Samplings vor, da die<br />

Stichprobengröße, also die Anzahl der Schulen im qualitativen Forschungsprozess, zuvor festgelegt<br />

wurde und der Umfang der Grundgesamtheit, die alle Pilotschulen repräsentiert, vorab bekannt war<br />

(Flick, 2006, S. 161). „Das statistische Sampling wird benutzt, um Individuen empirisch exakt auf<br />

für die Beschreibung und Verifizierung notwendigen Kategorien zu verteilen“ (Schratz et al., 2000,<br />

S. 78). Die qualitative Erhebung sollte allerdings primär Möglichkeiten für eine Optimierung des Peer<br />

Reviews aufzeigen. Aus diesem Grund liegt hier übergreifend ein theoretisches Sampling zu Grunde.<br />

Eine sukzessive Bestimmung der Schulen für den qualitativen Forschungsprozess (Schratz et al.,<br />

2000, S. 86) war mit Blick auf den Projektplan und der notwendigen Abstimmung der qualitativen<br />

Workshops mit den Bildungseinrichtungen nicht möglich.<br />

3.2.3.3 Datenerhebung und -auswertung<br />

Der qualitative Forschungsprozess wurde vor dem Hintergrund durchgeführt, Verbesserungsvorschläge<br />

für eine mögliche Optimierung des Peer Reviews und Empfehlungen für einzelne Phasen der<br />

externen Evaluation zu gewinnen. Interviews mit verschiedenen Statusgruppen einer Schule sollten<br />

dazu beitragen, eine möglichst umfassende Sichtweise der Beteiligten zu erhalten und individuell<br />

auf einzelne Meinungen reagieren zu können, um genannte Sachverhalte ganzheitlich zu erschließen.<br />

„Experten sind Menschen, welche ein besonderes Wissen über soziale Sachverhalte besitzen,<br />

und Experteninterviews sind eine Methode, dieses Wissen zu erschließen“ (Redaktion: BMBF LS15<br />

Internetredaktion, 01.01.2011, S. 10). boGner und menz definiert einen Experten als Person, die „[...]<br />

über technisches, Prozess- und Deutungswissen [verfügen], das sich auf ein spezifisches Handlungsfeld<br />

bezieht, in der er in relevanter Weise agiert [...]. Insofern besteht das Expertenwissen nicht<br />

allein aus systematisiertem, reflexiv zugänglichem Fach- oder Sonderwissen, sondern es weist zu<br />

großen Teilen den Charakter von Praxis- oder Handlungswissen auf [...]“ (Greubel, 2010, S. 73). Die<br />

Lehrkräfte der Pilotschulen werden als Experten bezeichnet, da die Lehrkräfte zum einen an dem<br />

Peer Review teilgenommen haben oder zum anderen direkt in die Ausarbeitung und Umsetzung der


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Ergebnisse eingebunden waren. Aus diesem Grund wird angenommen, dass diese Pädagogen über<br />

besonderes Wissen innerhalb des relevanten Kontexts verfügen, „[...] das aber doch nicht jedermann<br />

in dem interessierten Handlungsfeld zugänglich ist“ (Horn, 2008, S. 37). Der Experte verfügt über<br />

eine „institutionalisierte Kompetenz zur Konstruktion von Wirklichkeit“ (Senge, 1994), da sich diese<br />

Personen in einem System von Relevanzen bewegen, die ihm „durch die auf seinem Gebiet vorausgesetzten<br />

Probleme“ auferlegt sind (Horn, 2008, S. 38). Die besonderen Erfahrungen und speziellen<br />

Kenntnisse sollen anhand des Interviews erhoben werden, um mögliche Wege für eine Weiterentwicklung<br />

des Peer Reviews aufzuzeigen. Die vorliegende Erhebungsform kann aus diesem Grund als<br />

Experteninterview bezeichnet werden, da hierbei Expertenwissen abgefragt wird (Horn, 2008, S. 35).<br />

Die Betrachtung des Befragten als Fachmann für Interpretationen seiner Alltagswelt wird dabei als<br />

Besonderheit der Fallstudie gesehen, die sich von einer Stichprobenauswahl oder einer Betrachtung<br />

als austauschbares Mitglied unterscheidet. Die vorliegende Datenerhebung wird aus den genannten<br />

Gründen in die Kategorie des theoriegenerierenden Experteninterviews zugeteilt, da anhand einer<br />

Rekonstruktion des Wissens der Pädagogen eine Theorie im Sinne der Weiterentwicklung des Peer<br />

Reviews entwickelt werden soll (Flick, 2006, S. 216).<br />

Die Interviews wurden zum Teil als Einzel- bzw. Partnerinterview, aber auch als Gruppeninterview<br />

durchgeführt, in dem zunächst die Schulleitung in einem 45-minütigen Interview befragt wurde.<br />

Die zweite Statusgruppe bildete der Schulqualitätsprozessmanager und Peer Review Organisator,<br />

die 60 Minuten ihre Erfahrungen mit dem Peer Review erläuterten. Die Lehrkräfte der Bildungseinrichtungen<br />

wurden innerhalb eines Gruppeninterviews, hauptsächlich mit sechs Personen, befragt.<br />

Hierbei wurde darauf geachtet, sowohl Personen zu integrieren, die im Rahmen eines Interviews am<br />

Peer Review beteiligt waren bzw. lediglich mit der Umsetzung der Ergebnisse konfrontiert wurden.<br />

Darüber hinaus erfolgte die Auswahl der zu befragenden Lehrkräfte anhand des Organigramms der<br />

Schule, um ein möglichst umfassendes Bild über die Gestaltung der Innovationen und Erfahrungen<br />

mit der externen Evaluation zu erhalten. Diese Überlegung konnte an einer Schule nicht praktiziert<br />

werden, wo daraufhin das Sampling anhand verschiedener Fächerkombinationen der Lehrkräfte<br />

erfolgte.<br />

Im zugrundeliegenden Leitfaden wurden positionierte Fragen bewusst sehr offen formuliert, um den<br />

Lehrpersonen möglichst viel Spielraum für die Erwähnung von Fakten innerhalb ihrer Alltagssprache<br />

und anhand ihrer Strukturierungen zu ermöglichen (Lamnek, 2008, S. 345), um Vorstellungen und<br />

Denkrichtungen der Befragten einfach nachvollziehen zu können.<br />

Um die Qualität quantitativer Daten zu erhöhen, wurde darauf geachtet, „[...] dass allen Befragten dieselben<br />

Fragen gestellt werden, um darüber die Vergleichbarkeit der Antworten zu gewährleisten oder<br />

zumindest zu erhöhen“ (Flick, 2006, S. 174). Auch Befragungen mit qualitativen Erhebungsmethoden<br />

unterliegen zum gewissen Grad einem Kontrollgedanken, indem das Ausmaß an der Vergleichbarkeit<br />

von Rahmenbedingungen zu reflektieren ist (Flick, 2006, S. 175). Die Peer Reviews der am Pilotversuch<br />

beteiligten Schulen wurden im Schuljahr 2008/09 auf der Basis des Peer Review Handbuchs<br />

durchgeführt, sodass alle Bildungseinrichtungen anhand eines identischen Verfahrens untersucht<br />

wurden und nahezu eine gleiche Zeitspanne für die Umsetzung an Maßnahmen vorlag. Die Qualität<br />

135


3. Empirisches Forschungsdesign<br />

136<br />

der externen Evaluation, die unter anderem von Inhalten des Selbstberichts, der Qualifikationen der<br />

Peers, sowie der Offenheit der zu interviewenden Personen und übergreifend auch von der Qualität<br />

der Schule an sich abhängt, kann aufgrund der Komplexität der dafür notwendigen Erhebungen nicht<br />

berücksichtigt werden. Qualitätsunterschiede der Peer Reviews sind allerdings punktuell während<br />

der Wirksamkeitsanalyse festgestellt worden. Darüber hinaus können umfassende Rahmenbedingungen,<br />

insbesondere finanzieller Art, nicht berücksichtigt werden, die allerdings für eine Anregung<br />

weiterer Innovationen eine nicht unerhebliche Voraussetzung darstellen. Auch das Engagement bzw.<br />

die Expertise der Schulleitung sowie des Schulqualitätsprozessmanagers nehmen Einfluss auf das<br />

Peer Review. Dieser Bereich konnte in der Wirksamkeitsanalyse aufgrund der Komplexität nicht<br />

untersucht werden. Anhand der vorgenannten Überlegungen und der zugrundeliegenden Tatsache,<br />

dass alle Bildungseinrichtungen mit denselben Fragen konfrontiert wurden, wird von einer Vergleichbarkeit<br />

der Daten ausgegangen.<br />

Eine Tonbandaufzeichnung kann bei Experteninterviews zu Vorbehalten oder gar zu Antwortverweigerungen<br />

führen (Flick, 2006, S. 218). Darüber hinaus sollte die Aufbereitung der Ergebnisse mit<br />

Blick auf den Abschluss des Forschungsprojekts zeitnah erfolgen. Aus diesen genannten Gründen<br />

wurden die Inhalte der Experteninterviews durch eine nur für diese Funktion vorgesehene Protokollantin<br />

schriftlich festgehalten und anhand einer anschließenden Kodierung im Sinne einer inhaltlichen<br />

Strukturierung den zugrundeliegenden Kategorien im Leitfaden zugeteilt (Mayring, 2002, S. 119).<br />

3.2.4 Kombination quantitativer und qualitativer Forschung<br />

Die praktizierte Verkettung quantitativer und qualitativer Forschung bringt eine sog. Triangulation<br />

mit sich, die eine „[...] Einnahme unterschiedlicher Perspektiven auf einen untersuchten Gegenstand<br />

[beinhaltet]“ (Flick, 2009, S. 226). In der Wirksamkeitsanalyse des Peer Reviews trägt eine wechselseitige<br />

Ergänzung von Methoden dazu bei, die Vor- und Nachteile einer Methode zu relativieren,<br />

(Flick, 2006, S. 44), um die Validität der Resultate, also die Belastbarkeit von Aussagen, zu erhöhen.<br />

So werden beispielsweise zur Erhebung der Einschätzungen bezüglich der Zufriedenheit von Beteiligten,<br />

der Umsetzung von Innovationen standardisierte Befragungen im Sinne der quantitativen<br />

Forschung durchgeführt, da mögliche Alternativen aufgrund des Projektplans zeitlich nicht realisierbar<br />

waren. Vielmehr haben die Evaluierenden bei der schriftlichen Befragung die Möglichkeit, die<br />

Fragen ausgiebig zu reflektieren und werden in keiner Weise von weiteren Personen, beispielsweise<br />

dem Interviewer, beeinflusst (Diekmann, 2010, S. 514). Im Gegensatz dazu wurde insbesondere zur<br />

Erhebung von Verbesserungsvorschlägen für die Optimierung des Peer Reviews im Rahmen der<br />

qualitativen Methode das Interview gewählt, das eine Anknüpfung an den schulischen Alltag ermöglicht,<br />

um auf der Basis einer offenen Gesprächsführung tiefere und umfassendere Erkenntnisse und<br />

Impulse zu erhalten (Diekmann, 2010, S. 532). Diese methodische Verknüpfung von quantitativer<br />

und qualitativer Datenerhebung wird übergreifend als methodische Triangulation, insbesondere als<br />

‚between-method‘ bezeichnet (Flick, 2006, S. 519 f.).<br />

Die Datenauswertung erfolgt anhand einer weiteren Verknüpfung von quantitativer und qualitativer<br />

Forschung, indem die Ergebnisse der Datenerhebungen ganzheitlich betrachtet werden, um einen<br />

Mehrwert an Erkenntnissen für die vorliegende Studie zu erhalten (Flick, 2006, S. 48–49). Diese


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

„Datentriangulation‘“ sieht eine Integration unterschiedlicher Datenquellen vor (Flick, 2006, S. 519),<br />

damit inhaltliche Interpretationen anhand verschiedener Aussagen begründet werden können. In<br />

der vorliegenden Analyse erfolgt die Datenauswertung anhand des zugrundeliegenden Modells zur<br />

Wirksamkeitsanalyse (vgl. 2.4.4), um die aufgeworfenen Forschungsfragen unter Einbeziehung aller<br />

gewonnenen Daten zu beantworten.<br />

137


4. Ergebnisse der Erhebung<br />

138<br />

4. Ergebnisse der Erhebung<br />

4.1 Ergebnisse des quantitativen Erhebungsteils<br />

4.1.1 Ablauf der quantitativen Erhebungen<br />

Die quantitative Datenerhebung erfolgte im Online-Verfahren. Die Generierung einer schulspezifi-<br />

schen Losung ermöglichte eine Teilnahme an der Abstimmung, die in einem separaten Anschreiben<br />

mit einem Verweis auf den elektronischen Fragebogen bekannt gegeben wurde. Die Ansicht des Instruments<br />

erfolgte als Gesamtfragebogen, um eine Evaluierung zu erleichtern und einen umfassenden<br />

Überblick in Bezug auf die positionierten Fragen zu ermöglichen.<br />

An dem ersten Schritt der quantitativen Datenerhebung, der Befragung des erweiterten Qualitätsteams,<br />

haben alle Pilotschulen teilgenommen, wobei die Beteiligung zwischen zwei und sechs<br />

Evaluierenden pro Bildungsrichtung liegt. An der zweiten quantitativen Datenerhebung haben alle<br />

Pilotschulen teilgenommen, wobei die Beteiligung zwischen 21 und 65 Prozent der Lehrkräfte liegt.<br />

Sofern die onlinebasierte Teilnahme der Lehrkräfte einer Schule unter einem Wert von 40 Prozent lag,<br />

wurde die Schulleitung gebeten, die Umfrage im Kollegium nochmals vorzubringen, um durch die<br />

Erweiterung des Befragungszeitraums und weiteren Abstimmungen eine repräsentative Datenmenge<br />

zu erhalten. Die Durchführung der Umfrage erfolgte in einer Bildungseinrichtung, aufgrund interner<br />

Probleme, außerhalb des im Projektplan vorgesehenen Zeitplans. Aus diesem Grund konnte diese<br />

Schule im Sampling für den qualitativen Forschungsprozess nicht berücksichtigt werden, da die<br />

Befragung der Lehrkräfte erst nach der Durchführung der Interviews erfolgte. Die folgende Tabelle<br />

verdeutlicht schließlich die Beteiligungsquote der Kollegien.<br />

Tabelle 5: Beteiligung der Lehrkräfte am quantitativen Forschungsprozess<br />

Schulen A B C D E F G<br />

Beteiligung des Kollegiums 65 % 46 % 31 % 50 % 46 % 21 % 41 %<br />

4.1.2 Ergebnisse zu den einzelnen Erhebungsebenen<br />

4.1.2.1 Erste Ebene (Reaktion): Die Zufriedenheit mit der externen Evaluation<br />

Die erste Ebene des Modells zur Wirksamkeitsanalyse bezieht sich auf die Zufriedenheit mit der<br />

externen Evaluation (vgl. 2.4.4.2.1). Diesbezüglich wurden Einschätzungen der Personen abgefragt,<br />

die direkt in das Verfahren integriert waren. Diese Beurteilung erfolgte anhand einer vierstufigen<br />

Likert-Skala, wobei der numerische Wert 4 für eine vollkommene Zustimmung der Aussage steht. Im<br />

Gegensatz dazu wird eine Verneinung der Items durch die Zahl 1 ausgedrückt. Die Auswertung erfolgte<br />

schulübergreifend, da innerhalb einer Schule lediglich zwei bis fünf Personen an dieser Evaluation<br />

teilnahmen und somit eine Auswertung bezogen auf jede Bildungseinrichtung wenig sinnvoll erschien.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Tabelle 6: Werte zur ersten Phase des Peer Reviews: Vorbereitung des Peer Reviews<br />

Item / Wert<br />

Mittel-<br />

wert<br />

Standard-<br />

abweichung<br />

Definition von Verantwortlichkeiten für die Organisation 3,7 0,9<br />

Festlegung von Zweck und Zielen mit dem Kollegium 3,0 0,8<br />

Auswahl der Qualitätsbereiche mit dem Kollegium 2,8 1,0<br />

strukturiertes Verfahren zur Erstellung des Selbstberichts 3,5 0,9<br />

Beteiligung des Kollegiums bei der Erstellung des Selbstberichts 2,4 1,0<br />

Erläuterung der Auswahl der Peers im Kollegium 3,0 1,2<br />

Abstimmung der Peer Besuch Agenda mit Peers 3,6 1,1<br />

Die Daten der Tabelle beziehen sich auf die erste Phase, die Vorbereitung des Peer Reviews. Aus<br />

den Daten geht hervor, dass nahezu ganzheitlich eine Definition von Verantwortlichkeiten für die<br />

Organisation der externen Evaluation, die Abstimmung der Peer Besuch Agenda mit Peers sowie<br />

die Erstellung des Selbstberichts anhand eines strukturierten Verfahrens erfolgte. Die Einbeziehung<br />

des Kollegiums im Bereich der Festlegung von Zweck und Ziel, der Qualitätsbereiche sowie der<br />

Erläuterung der Auswahl der Peers erfolgte nur teilweise. Die drei Items hinsichtlich der Beteiligung<br />

des Kollegiums wurden entsprechend der Mittelwerte gruppiert, um eventuelle Verhaltensweisen der<br />

Bildungseinrichtungen ableiten zu können. Sofern sich in Bezug auf die Items Festlegung von Zweck<br />

und Zielen, Auswahl der Qualitätsbereiche und Erläuterung der Auswahl der Peers im Kollegium ein<br />

geringerer Mittelwert als 2 ergibt, wird die Bildungseinrichtung als ‚nicht beteiligend‘ klassifiziert. Bei<br />

einem Wert zwischen den Größen 2 und 3 wird von einer ‚teilweise beteiligenden‘ und ab dem Wert<br />

von einer ‚beteiligenden Schule‘ gesprochen. Die folgende Tabelle verdeutlicht die Vorgehensweise<br />

in der Vorbereitungsphase des Peer Reviews.<br />

Tabelle 7: Verhaltensweisen der Bildungseinrichtungen in der Vorbereitungsphase<br />

Item / Schule A B C D E F G<br />

Festlegung von Zweck<br />

und Zielen mit dem<br />

Kollegium<br />

beteiligend<br />

teilweise<br />

beteiligend<br />

nicht<br />

beteiligendbeteiligendbeteiligend<br />

teilweise<br />

beteiligendbeteiligend<br />

Bei der Erstellung des Selbstberichts wurde das Kollegium eher nicht beteiligt. Dies kann unter<br />

Umständen daran liegen, dass die Bildungseinrichtung die einzelnen Lehrkräfte mit diesem Verfahrensschritt<br />

nicht weiter belasten wollte und so die Aufgaben auf Einzelpersonen, insbesondere auf<br />

die Schulleitung und den SQPM, aufteilte.<br />

139


4. Ergebnisse der Erhebung<br />

140<br />

Tabelle 8: Werte zur zweiten Phase des Peer Reviews: Peer Besuch<br />

Item / Wert<br />

Mittel-<br />

wert<br />

Standard-<br />

abwei<br />

Kompetenz und Motivation des Peer Teams 3,9 0,4<br />

Vorbereitung der Peers auf die Schule 3,7 0,8<br />

Strukturierung der Interviews 3,6 0,9<br />

Stimmung bei den Peer Beobachtungen 3,7 1,1<br />

Visualisierung zentraler Ergebnisse bei der Feedback-Besprechung 3,6 0,9<br />

Möglichkeit für Rückfragen während der Feedback-Sitzung 3,6 1,0<br />

Strukturierung und Nachvollziehbarkeit der Ergebnispräsentation 3,5 0,9<br />

chung<br />

Vermittlung eines ersten Eindrucks über Stärken und Schwächen<br />

während der Feedback-Sitzung<br />

3,1 1,0<br />

Möglichkeit für Kommentierungen während der Feedback-Sitzung 3,4 1,0<br />

Aufnahme von Kommentaren während der Feedback-Sitzung 3,0 1,2<br />

Die Ergebnisse bezüglich der zweiten Phase des Peer Reviews, dem eigentlichen Peer Besuch,<br />

werden im Folgenden erläutert. Auch dieser Bereich der standardisierten Umfrage wird durchaus<br />

positiv evaluiert, da sämtliche Items Zustimmung erfahren. Diese Tatsache kann vermutlich auf die<br />

hohe Kompetenz und umfassende Vorbereitung der Peers durch die verpflichtende Teilnahme an<br />

einem Schulungsprogramm zurückgeführt werden, die zu einer umfassenden Information über das<br />

externe Verfahren, den Ablauf und die Aufgaben der Peers beiträgt (Gutknecht-Gmeiner et al., 2007,<br />

S. 41). Die Vermittlung eines ersten Eindrucks über Stärken und Schwächen, die Möglichkeit für<br />

Kommentierungen sowie die Aufnahme von Kommentaren während der Feedback-Sitzung wird, mit<br />

Blick auf die Standardabweichung, punktuell verneinend evaluiert.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Tabelle 9: Werte zur dritten Phase des Peer Reviews: Peer Review Bericht<br />

Item / Wert<br />

Mittel-<br />

wert<br />

Standard-<br />

abweichung<br />

Leichte Zugänglichkeit zum Bericht 3,5 1,0<br />

Verständlichkeit des Berichts 3,4 1,0<br />

Richtige Wiedergabe von Stärken und Schwächen der Schule im Bericht 3,3 1,0<br />

Berücksichtigung von Stellungnahmen zu den Ergebnissen im Bericht 2,9 1,2<br />

Persönliche Relevanz der Ergebnisse 3,1 1,0<br />

Ermittlung neuer Erkenntnisse für die Schule durch das Peer Review 3,1 1,1<br />

Ermittlung von bereits diskutierten Erkenntnissen 3,2 0,7<br />

Ermittlung von bereits bekannten, aber nicht thematisierten Erkenntnis-<br />

sen<br />

2,3 0,8<br />

Ermittlung von bereits bekannten Ergebnissen, die nach den Peer<br />

Review offiziell besprochen werden<br />

3,0 1,2<br />

Besseres Kennenlernen der Stärken und Schwächen der Schule durch<br />

das Peer Review<br />

3,1 1,0<br />

Persönliche Relevanz der Verbesserungsvorschläge 2,6 1,1<br />

Mögliche Weiterentwicklung der schulischen Qualitätsarbeit durch die im<br />

Bericht genannten Verbesserungsbereiche<br />

3,0 1,1<br />

Vorschlag von Verbesserungsmaßnahmen durch die Peers 2,6 1,4<br />

Bezugnehmend auf die dritte Phase des Peer Reviews, den Peer Review Bericht, können im Vergleich<br />

zu den vorangehenden Werten, ähnlich affirmative, anerkennenswerte Ergebnisse festgestellt<br />

werden. Die Zugänglichkeit zum Bericht wird als unproblematisch dargestellt. Hierbei handelt<br />

es sich allerdings um die Einschätzung der am Verfahren beteiligten Personen, dem erweiterten<br />

Qualitätsteam. In diesem Zusammenhang kann festgestellt werden, dass die Verhaltensweise der<br />

Bildungseinrichtung in der Vorbereitungsphase mit der Zugänglichkeit zum Bericht nicht einhergeht,<br />

da in diesem Bereich kein Zusammenhang festgestellt wurde. D. h. die Veröffentlichung des Berichts<br />

steht nicht in Bezug zum Vorgehen in der ersten Phase des Peer Reviews. Hierbei handelt es sich um<br />

ein deskriptives Ergebnis. Eine Überprüfung der statistischen Signifikanz konnte aufgrund der Stichprobengröße<br />

nicht durchgeführt werden. Des Weiteren geht aus den Daten hervor, dass eine richtige<br />

Wiedergabe von Stärken und Schwächen der Schule erfolgt, die eine kompetente und urteilsfähige<br />

Arbeit der Peers bescheinigt. Durch das Peer Review werden verstärkt neue oder bereits diskutierte<br />

Erkenntnisse ermittelt. Teilweise wird das externe Verfahren auch genutzt, um bereits bekannte<br />

Themen auf die Agenda zu setzen. Die persönliche Relevanz bzw. die Ausarbeitung zielführender<br />

Verbesserungsvorschläge durch die Peers wird eher negativ beurteilt.<br />

141


4. Ergebnisse der Erhebung<br />

142<br />

Tabelle 10: Werte zur vierten Phase des Peer Reviews: Umsetzung von Maßnahmen<br />

Item / Wert<br />

Mittel-<br />

wert<br />

Standard-<br />

abweichung<br />

Persönliche Auseinandersetzung mit den Ergebnissen des Peer Reviews 3,6 0,9<br />

Ausführliche Diskussion und Priorisierung der Ergebnisse im Kollegium 2,8 1,0<br />

Diskussion der Verbesserungsmaßnahmen im Kollegium vor der<br />

Umsetzung<br />

2,7 1,0<br />

Umsetzung von ausgewählten Empfehlungen des Berichts 2,5 1,3<br />

Entwicklung eines Maßnahmenplans für die Umsetzung der aus dem<br />

Bericht abgeleiteten Maßnahmen<br />

2,4 1,0<br />

Durchführung einer Evaluation zur Umsetzung abgeleiteter Maßnahmen 2,0 1,0<br />

Integration umgesetzter Maßnahmen in die nächste Zielvereinbarung 2,5 1,1<br />

Integration der Ergebnisse des Peer Reviews in den Schulqualitätsbericht<br />

2,7 1,3<br />

Integration der Ergebnisse des Peer Reviews in das Schulprogramm 2,1 1,0<br />

Integration der Ergebnisse des Peer Reviews in andere <strong>Dokument</strong>e 2,4 1,4<br />

Hinsichtlich der vierten Phase des Peer Reviews, der Umsetzung von Maßnahmen, fällt die Einschätzung<br />

der am Verfahren integrierten Personen deutlich zurückhaltender aus und wird, im Vergleich zu<br />

den anderen Phasen des Peer Reviews, negativer bewertet. Eine persönliche Auseinandersetzung<br />

mit den Ergebnissen der externen Evaluation kann noch weitgehend festgestellt werden. Allerdings<br />

findet eine Einbindung des Kollegiums in das weitere Vorgehen, insbesondere eine Diskussion und<br />

Priorisierung der Ergebnisse sowie ein Austausch bezüglich der Verbesserungsmaßnahmen, nicht<br />

übergreifend statt, wobei dieses Vorgehen für eine ganzheitliche Implementierung von Innovationen<br />

im Kollegium einen entscheidenden Stellenwert einnimmt (vgl. 4.2). In diesem Zusammenhang kann<br />

festgestellt werden, dass sich die Verhaltensweisen der Bildungseinrichtungen in der Vorbereitungsphase<br />

in Bezug auf die Diskussion der Verbesserungsmaßnahmen im Kollegium niederschlägt, da in<br />

fünf der sieben Fälle ein identisches Vorgehen diagnostiziert werden kann. Hierbei handelt es sich<br />

um ein deskriptives Ergebnis. Eine Überprüfung der statistischen Signifikanz konnte aufgrund der<br />

Stichprobengröße nicht durchgeführt werden.<br />

Tabelle 11: Zusammenhang der schulischen Verhaltensweise in der Vorbereitungsphase und der<br />

Diskussion von Verbesserungsmaßnahmen<br />

Item / Schule A B C D E F G<br />

Vorgehen in der Vorbereitungsphase<br />

versus<br />

Diskussion der Verbesserungsmaßnahmen<br />

identisch<br />

identisch<br />

nicht<br />

identisch<br />

nicht<br />

identisch<br />

identisch<br />

identisch<br />

identisch


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Eine Umsetzung von ausgewählten Empfehlungen aus dem Bericht erfolgte nicht übergreifend.<br />

Bezüglich der Integration von Resultaten aus dem Peer Review sind die höchsten Werte der Standardabweichung<br />

zu verzeichnen, was auf eine große Streuung der Antworten hinweist. Darüber<br />

hinaus kann festgestellt werden, dass die weitere Einspeisung von Ergebnissen nur punktuell und<br />

verstärkt in den Schulqualitätsbericht erfolgt.<br />

Übergreifend kann festgestellt werden, dass die befragte Personengruppe, die direkt in das Peer<br />

Review eingebunden war, mit dem Verfahren zufrieden ist, da vorwiegend eine positive Bewertung<br />

der Items erfolgte.<br />

Mit Blick auf die verschiedenen Statusgruppen kann festgestellt werden, dass die Phasen des Peer<br />

Review nahezu identisch bewertet werden. Lediglich von Seiten der Peer Review Organisatoren<br />

erfolgt eine marginal niedrigere Beurteilung. Die Streuungswerte innerhalb der Personengruppen<br />

sind nahezu identisch und liegen zwischen den Werten 0,9 und 1,1, wobei auch bei den Peer Review<br />

Organisatoren inhaltlich die höchste Abweichung innerhalb der einzelnen Nennungen vorliegt.<br />

Tabelle 12: Werte zu den Peer Review Phasen in Bezug auf die Statusgruppen<br />

Statusgruppe /<br />

Wert bzgl. Peer Review Phase<br />

Vorbereitung<br />

Besuch Bericht<br />

Maßnahmen<br />

Insgesamt<br />

MW SD MW SD MW SD MW SD MW SD<br />

Schulleitung 3,4 0,9 3,5 0,8 3,2 0,9 3,3 1,0 3,5 1,0<br />

Schulqualitätsprozessmanager<br />

3,2 0,9 3,7 0,6 3,3 0,8 2,9 0,8 3,4 0,9<br />

Peer Review Organisator 2,9 1,1 3,5 0,8 2,6 1,1 2,0 1,0 2,7 1,1<br />

sonstige Mitwirkung 3,4 1,0 3,7 0,7 3,4 0,8 3,1 0,9 3,4 0,9<br />

4.1.2.2 Zweite Ebene: schulische Innovationen als Folge der externen Evaluation<br />

Die zweite Ebene des Modells zur Wirksamkeitsanalyse bezieht sich auf Innovationen als Folge<br />

der externen Evaluation. In diesem Zusammenhang wurde anhand des Concerns-Based Adoption<br />

Models von hall & horD (vgl. 2.4.4.2.2) untersucht, ob sich die Lehrkräfte von abgeleiteten Maß-<br />

nahmen betroffen fühlen (Stages of Concern) und daraufhin ihr Verhalten ändern (Levels of Use).<br />

Die erste Größe bringt Gefühle und Empfindungen einer Person in Bezug auf eine Innovation zum<br />

Ausdruck, die zweite erfasst eigentliche Reaktionen. Die Entwicklung eines Beteiligten ist bei der<br />

Einführung von Innovationen grundsätzlich vorerst durch eine emotionale Betroffenheit gekennzeichnet,<br />

indem sich die Person mit der Maßnahme auseinandersetzt und im zweiten Schritt ihr Verhalten<br />

ändert. Im mustergültigen Fall ergibt sich eine lineare, stufenweise Entwicklung, indem einem Gefühl<br />

oder Empfinden (Stages of Concern) eine Verhaltensänderung (Levels of Use) folgt (vgl. 3.2.2.3.2.2.3).<br />

Anhand der Levels of Use kann letztendlich die Wirkung der Innovation im Sinne eines Resultats<br />

gemessen werden (Capaul, 2002a, S. 62), da diese Dimension die Verhaltensänderungen zum<br />

143


4. Ergebnisse der Erhebung<br />

144<br />

Ausdruck bringt. Eine Innovation wird als erfolgreich implementiert bezeichnet, wenn die meisten<br />

Lehrkräfte ihr Verhalten ändern und die Innovation anwenden. Ab dem Level III wird ein Akteur als<br />

Innovationsanwender definiert (vgl. 2.4.4.2.2). Zunächst wird nun die Frage beantwortet, ob die<br />

Innovationen auf der Basis des Peer Reviews in den Bildungseinrichtungen institutionalisiert sind.<br />

Es wird die Annahme getroffen, dass eine Maßnahme erfolgreich implementiert ist, sobald mehr als<br />

50 % der evaluierenden Personen als Innovationsanwender bezeichnet werden können.<br />

Tabelle 13: Bewertung der Innovationsadaptierung<br />

Maßnahme /<br />

Schule<br />

Maßnahme 1<br />

Maßnahme 2<br />

Maßnahme 3<br />

A B C D E F G<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

nicht<br />

erfolgreich<br />

nicht<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

nicht<br />

erfolgreich<br />

erfolgreich<br />

nicht<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

erfolgreich<br />

nicht<br />

erfolgreich<br />

nicht<br />

erfolgreich<br />

In der vorangehenden Tabelle ist die Bewertung der Adaption von Innovationen komprimiert dargestellt.<br />

Aus den Daten geht hervor, dass 70 % aller Maßnahmen erfolgreich umgesetzt wurden<br />

und somit von Seiten des Kollegiums Anwendung finden. Drei Schulen erzielten eine vollständige<br />

Adaptierung ihrer Maßnahmen, wobei hier teilweise genau der zugrundeliegende Schwellenwert<br />

erreicht wurde.<br />

Auf der Basis der vorliegenden Ergebnisse stellte sich die Frage, ob die einzelnen Werte der Stages of<br />

Concern und Levels of Use in signifikantem Zusammenhang mit den soziodemografischen Daten einer<br />

Lehrkraft stehen. Mit Blick auf die weitere Datenauswertung sollte beispielsweise ermittelt werden,<br />

ob sich jüngere LehrerInnen betroffener fühlen als ältere oder einen höheren Grad der Verhaltensänderung<br />

aufweisen. Diese Fragen sollten anhand der vorliegenden Informationen bezüglich des Alters<br />

und dem Geschlecht der Lehrkraft, der Unterrichtsform (Vollzeit/Teilzeit), der Schule und die Dauer<br />

der jeweiligen Schulzugehörigkeit beantwortet werden. Darüber hinaus wurde berücksichtigt, ob<br />

die Lehrkraft der Schulleitung bzw. dem Qualitätsteam angehört. Um diese Fragen zu beantworten,<br />

wurde eine Regressionsanalyse durchgeführt, um den linearen Zusammenhang zwischen den Stages<br />

of Concern bzw. Levels of Use und den soziodemografischen Daten darzustellen. Anhand dieser<br />

Auswertung war allerdings aufgrund zu geringer Fallzahlen kein Zusammenhang nachweisbar. Aus<br />

diesem Grund wurde eine bivariate Datenanalyse durchgeführt, um die „[...] Beziehungen zwischen<br />

zwei verschiedenen Variablen simultan zu untersuchen“ (Wittenberg et al., 2003, S. 164), wobei dies<br />

zu einer Vernachlässigung der Mehrebenenstruktur führte. Auf der Basis der Varianzanalyse (Bühl,<br />

2008, S. 442–228) konnten folgende Ergebnisse nachgewiesen werden:


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Hoch signifikant ist der Zusammenhang zwischen dem Geschlecht und den Stages of Concern<br />

mit dem Resultat, dass Frauen bei dem Grad der Betroffenheit einen höheren Wert erzielen als<br />

Männer. Somit fühlen sich weibliche Personen von Maßnahmen stärker betroffen als ihre Kollegen.<br />

Im Bereich der Levels of Use ist allerdings kein Zusammenhang nachweisbar. Ähnlich dazu schätzen<br />

Frauen statistisch hoch signifikant die Veränderung der Lernleistung von SchülerInnen durch die<br />

Maßnahmen auf der Basis des Peer Reviews höher ein als Männer. In Bezug auf das Alter sind keine<br />

Relationen bezüglich der Stages of Concern, Levels of Use oder der Einschätzung zur Veränderung<br />

der Lernleistungen von SchülerInnen feststellbar.<br />

Interessant ist das Ergebnis in Bezug auf Unterrichtsform und die Stages of Concern, da die Werte<br />

der Betroffenheit bei Vollzeitbeschäftigten hochsignifikant niedriger sind als bei Lehrkräften, die ihren<br />

Beruf innerhalb einer geringeren Arbeitszeit ableisten. D. h., dass sich Teilzeitlehrkräfte von Maßnahmen<br />

höher betroffen fühlen als die Kollegen mit vollem Stundenkontingent. Allerdings ist diese<br />

Tatsache im Bereich der Levels of Use nicht erkennbar. Aus diesem Grund ist die Interpretation, dass<br />

Lehrkräfte, die nicht Vollzeit beschäftigt sind, mehr Engagement bei der Umsetzung von Maßnahmen<br />

zeigen, nur sehr vage formulierbar.<br />

Bezüglich der Schulleitung und der Stages of Concern bzw. Levels of Use liegt die Vermutung nahe,<br />

dass in diesem Bereich höchstsignifikante Effekte zu erwarten sind, da diese Personen neben der<br />

Vorbildfunktion innerhalb der Bildungseinrichtung im Qualitätsmanagement eine zentrale Schlüsselrolle<br />

einnehmen (vgl. 2.1.2.1.2) und somit eine hohe Betroffenheit sowie große Verhaltensänderung<br />

in Bezug auf die implementierten Maßnahmen aufweisen müssten. Diese Annahme bestätigt sich<br />

allerdings nicht, da kein signifikanter Unterschied zu anderen Lehrkräften erkennbar ist. Dementgegen<br />

liegt im Bereich der Mitglieder eines Qualitätsteams und den Levels of Use eine hohe Signifikanz<br />

vor, in dem dieser Personenkreis signifikant höhere Werte erzielt als deren KollegInnen und somit das<br />

Ausmaß der Verhaltensänderung innerhalb des Teams höher bewertet wird.<br />

Hochsignifikante Effekte lassen sich auch im Bereich der Stages of Concern und der Schulen feststellen.<br />

Dies bedeutet, dass zwischen den einzelnen Bildungseinrichtungen im Bereich der Einschätzung<br />

der Betroffenheit von Maßnahmen qualitative Unterschiede vorliegen und Bildungseinrichtungen im<br />

Vergleich zu den anderen untersuchten Organisationen höhere Werte erzielen. Im Bereich der Levels<br />

of Use ist dieser direkte Zusammenhang allerdings nicht nachweisbar. Somit nehmen befragte Schulen<br />

keine deutlich höhere Einschätzung der Verhaltensänderung auf der Basis von implementierten<br />

Maßnahmen vor als andere Bildungseinrichtungen.<br />

4.1.2.3 Dritte Ebene (Output): Änderung des Outputs der Institution in Folge der externen<br />

Evaluation<br />

Die dritte Ebene des Modells zur Wirksamkeitsanalyse bezieht sich auf Änderungen des Outputs der<br />

Institution in Folge der externen Evaluation. Diesbezüglich wurden Einschätzungen der Lehrkräfte zur<br />

Veränderung des Outputs, also der Lernleistungen der SchülerInnen, erfasst (vgl. 2.4.4.2.3). Diese<br />

Beurteilung erfolgte anhand einer vierstufigen Likert-Skala, wobei der numerische Wert 1 keine bzw.<br />

4 eine Verbesserung der Lernleistung ausdrückt.<br />

145


4. Ergebnisse der Erhebung<br />

146<br />

Tabelle 14: Einschätzungen zur Veränderung der Lernleistungen von SchülerInnen<br />

Maßnahme / Schule A B C D E F G<br />

Maßnahme 1 2,3 1,5 1,1 2,0 2,8 2,0 1,4<br />

Maßnahme 2 2,6 1,2 1,9 2,1 3,1 1,5 1,7<br />

Maßnahme 3 2,3 1,5 2,0 2,5 2,9 2,2<br />

Wie der Tabelle entnommen werden kann, liegen die Werte bezüglich der Einschätzung grundsätzlich<br />

im Bereich zwischen 1 und 2. Dies bedeutet, dass die Maßnahmen in Folge des Peer Reviews eher<br />

zu einer geringeren Verbesserung der Lernleistung von SchülerInnen beitragen. Dies kann unter<br />

Umständen daran liegen, dass Innovationen nicht zwangsläufig im Bereich der Unterrichtsentwicklung<br />

erfolgen müssen, da lediglich ein Qualitätsbereich des Peer Reviews in diesem Rahmen erfolgt.<br />

Somit treten Auswirkungen auf die Lernleistung zeitlich verzögert auf bzw. werden diese nicht in Verbindung<br />

zum Peer Review gebracht. Die Schule E sieht eher eine Verbesserung der Lernleistungen<br />

von SchülerInnen anhand der Maßnahmen, die auf der Basis der externen Evaluation implementiert<br />

wurden. Diese Innovationen können, anhand der vorliegenden Beschreibungen, weitgehend der<br />

Unterrichtsentwicklung zugeordnet werden, so dass diese Bildungseinrichtung möglicherweise<br />

diesen Bereich stärker fokussierte.<br />

Grundsätzlich kann festgestellt werden, dass erfolgreich adaptierte Innovationen mit Blick auf die<br />

Veränderung der Lernleistungen von SchülerInnen besser beurteilt werden, als Maßnahmen die nicht<br />

erfolgreich adaptiert werden.<br />

4.1.2.4 Vierte Ebene (Outcome): Resultate der Änderung des Outcome der Institution in Folge<br />

der externen Evaluation<br />

Innovationen tragen dazu bei, dass sich das Leben der Betroffenen ändert. Berufs- bzw. Qualifikationsabschlüsse<br />

wirken sich beispielsweise auf die Einkommensentwicklung aus. Eventuelle Resultate<br />

bezüglich der Änderung des Outcomes einer Institution in Folge der externen Evaluation kann allerdings<br />

nicht präsentiert werden, da diese Ebene im Rahmen des Projekts nicht berücksichtigt wurde<br />

(vgl. 2.4.4.2.4).<br />

4.1.2.5 Fünfte Ebene (Return on Investment): Return on Investment der externen Evaluation<br />

Eine faktische Erfassung der Wirtschaftlichkeit scheidet wegen des Erhebungsaufwandes aus. Eine<br />

Ermittlung beider genannter Größen erfolgt daher mit Hilfe einer quantitativen Einschätzung durch<br />

Lehrkräfte, die direkt in das Peer Review Verfahren involviert wurden, da diese Personen “oftmals<br />

die verlässlichsten Einschätzungen geben [können]” (Phillips et al., 2005, S. 119). Die Ermittlung des<br />

Ergebnisses erfolgt durch eine Gegenüberstellung von Nutzen und Aufwand, um die Frage nach<br />

der Wirtschaftlichkeit des externen Verfahrens, beurteilen zu können. Handelt es sich hierbei um<br />

einen Wert, der numerisch gesehen größer als 1 ist, so wurden durch das Peer Review Verfahren in<br />

der Bildungseinrichtung mehr Impulse erzielt als Arbeitsaufwand investiert. Unter wirtschaftlichen


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Aspekten wird in diesem Zusammenhang von einem Gewinn, also von Wirtschaftlichkeit, gespro-<br />

chen. Verhält sich diese Relation genau gegengleich, indem eine höhere Einschätzung des Aufwands<br />

als des erzielten Nutzens erfolgt, so liegt keine Wirtschaftlichkeit und ein Verlust vor.<br />

In der vorliegenden Wirksamkeitsanalyse wurde eine Einschätzung von Nutzen und Aufwand in<br />

Bezug auf den Evaluierenden und die gesamte Bildungseinrichtung erhoben, um eine Aussage hinsichtlich<br />

der Wirtschaftlichkeit des Peer Reviews treffen zu können (vgl. 2.4.4.2.5). Der nummerische<br />

Wert 6 steht dabei für einen hohen Nutzen bzw. Aufwand. Analog dazu wird ein geringer Nutzen<br />

bzw. Aufwand durch die Zahl 1 ausgedrückt. Auf der Basis einer Gegenüberstellung beider Größen<br />

können Aussagen über die Nutzen-Aufwand-Relation des Verfahrens getroffen werden. Wird dem<br />

persönlichen oder organisationalen Nutzen ein höherer Wert zugemessen als dem Aufwand, so<br />

liegt eine positive Wirtschaftlichkeit vor. Im umgekehrten Verhältnis, der höheren Einschätzung des<br />

Aufwands, wird von einer negativen Wirtschaftlichkeit ausgegangen.<br />

Tabelle 15: Nutzen-Aufwand-Relation<br />

Item / Schule A B C D E F G<br />

persönlicher Aufwand 4,6 6 3,5 3,6 5,5 4,8 4<br />

persönlicher Nutzen 3,8 4 5 4,2 4 4,3 5<br />

persönliche Nutzen-Aufwand-<br />

Relation<br />

negativnegativ<br />

positiv positiv negativnegativ<br />

positiv<br />

Aufwand bezüglich der Schule 5,2 4,7 5 5 4 4,5 5<br />

Nutzen bezüglich der Schule 4,4 3,3 5,5 4,2 5 4,3 4,7<br />

Nutzen-Aufwand-Relation bezüglich<br />

der Schule<br />

negativnegativ<br />

positiv negativ<br />

positiv negativnegativ<br />

Wie der vorangehenden Tabelle entnommen werden kann, erfolgt in vier Bildungseinrichtungen die<br />

Bewertung des persönlichen Aufwands höher als der individuelle Nutzen in Bezug auf das Peer<br />

Review. Dieses Ergebnis ist allerdings annehmbar, da die befragten Personen, das erweiterte Qualitätsteam,<br />

direkt in die externe Evaluation eingebunden waren, sei es in der Position des Schulleiters,<br />

dem Peer Review Organisator, dem Schulqualitätsprozessmanager oder bei der Erstellung des<br />

Selbstberichts. Aus den Daten geht hervor, dass selbst diese Personen die Wirtschaftlichkeit des<br />

Verfahrens in drei Fällen positiv einschätzen und somit einen Mehrwert im Sinne neuer Erkenntnisse<br />

aus dem Peer Review ziehen.<br />

Auf der Schulebene wird die Wirksamkeit des Verfahrens zwei Mal positiv beurteilt. Dies ist insofern<br />

unzureichend für das Verfahren, da der Mehrwert für die Schule grundsätzlich höher sein müsste, als<br />

für die einzelnen Personen, die am Verfahren mitgewirkt haben. Der Nutzen der Schulen wird durch<br />

hohe Werte eingeschätzt. Es ist anzunehmen, dass die Empfehlungen aus dem Peer Review bzw.<br />

die Phase der Umsetzung von Maßnahmen nicht bei den Beteiligten präsent ist oder die Bedeutung<br />

der Innovationen, vielmehr deren Implementierung, nicht erkannt wird. Allerdings werden aus dem<br />

Peer Review abgeleitete Maßnahmen zu 70 % erfolgreich implementiert (vgl. 4.1.2.2), wobei diese<br />

147


4. Ergebnisse der Erhebung<br />

148<br />

Innovationen allerdings eher zu einer geringen Verbesserung der Lernleistung von SchülerInnen bei-<br />

tragen. Insgesamt wird die Wirtschaftlichkeit sowohl auf persönlicher als auch auf organisationaler<br />

Ebene eher negativ bewertet. Weitere Erläuterungen und Vorschläge diese Tatsache zu beheben,<br />

werden in Kapitel 5 aufgezeigt.<br />

4.2 Ergebnisse des qualitativen Erhebungsteils<br />

4.2.1 Ablauf der qualitativen Erhebung<br />

Die Interviewpartner sind während des Interviews nicht starr anhand des entwickelten Leitfadens mit<br />

speziellen Kategorien befragt worden, um eine Basis für eine natürliche und realitätsnahe Kommunikation<br />

zu schaffen sowie eine Schilderung individueller Eindrücke in einer ganzheitlichen Komplexität<br />

zu ermöglichen.<br />

4.2.2 Ergebnisse der qualitativen Erhebung<br />

Im Allgemeinen kann hinsichtlich des Peer Reviews unter den Pilotschulen eine übergreifende Akzeptanz<br />

des Verfahrens festgestellt werden, das primär als Methode betrachtet wird, ‚blinde Flecken‘<br />

aufzuzeigen. Ein Interesse an den Ergebnissen ist generell vorhanden, wobei der Bericht nur teilweise<br />

von Seiten der Lehrkräfte gelesen wird. Die Aktivitäten in der vierten Phase des Peer Reviews, der<br />

Umsetzung von Maßnahmen, könnten allerdings noch weiter intensiviert werden, um eine ganzheitliche<br />

Verarbeitung der Ergebnisse zu erzielen, da dieser Schritt, bezüglich der Nachhaltigkeit des Verfahrens<br />

und hinsichtlich einer Qualitätsverbesserung der zu evaluierenden Schule, ein essentielles<br />

Kriterium darstellt. Die Peer Review Berichte sind einheitlich auf der Basis der vorgegebenen Struktur<br />

aufgebaut und inhaltlich gegliedert. Übergreifend erfolgte die Strukturierung der Qualitätsbereiche<br />

anhand der Stärken und Verbesserungsbereiche in diesem Themenfeld. Punktuell sind inhaltliche<br />

und strukturelle Qualitätsunterschiede festzustellen. Alle evaluierten Bildungseinrichtungen haben<br />

auf der Basis des Peer Reviews Maßnahmen umgesetzt bzw. Innovationen adaptiert. Schulübergreifend<br />

kann in diesem Zusammenhang allerdings ein unterschiedliches Niveau der Maßnahmen<br />

festgestellt werden.<br />

Mit Blick auf eine hohe Akzeptanz der externen Evaluation und eine erfolgreiche Verarbeitung der<br />

Ergebnisse, sollte eine Durchführung des Peer Reviews analog zur Verfahrensbeschreibung im<br />

Handbuch gewährleistet werden. Genaue Details werden, analog zu den definierten Phasen des<br />

Peer Reviews (vgl. 2.3.2.4), im Folgenden erläutert:<br />

Teilweise konnte in der Vorbereitungsphase des Peer Reviews eine defizitäre Integration des Kollegiums<br />

festgestellt werden. Diesbezüglich wurde von den befragten Personen der Wunsch geäußert, zu<br />

Beginn des Verfahrens umfassend integriert zu werden, indem zunächst die Phasen und Strukturen<br />

der externen Evaluation ausführlich erläutert werden und die Festlegung von Ziel und Zweck sowie<br />

die Auswahl der Qualitätsbereiche und Peers bzw. die Festsetzung der Interviewteilnehmer anhand<br />

einer ganzheitlichen Beteiligung der Lehrkräfte erfolgt. Eine individuellere Abstimmung der Zeiträume


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

zur externen Evaluation, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung von<br />

Ergebnissen, wird von den beteiligten Schulen als notwendig erachtet. Darüber hinaus wurde eine<br />

inhaltliche Reduzierung des Selbstberichts anhand individueller Schwerpunktsetzungen gefordert.<br />

Dieser Sachverhalt bezieht sich insbesondere auf die Umfeldanalyse. Von Seiten der Befragten<br />

wurde der Wunsch geäußert, den Prozess hinsichtlich finanzieller Abrechnungen zum Verfahren<br />

einfacher zu gestalten.<br />

Zum Teil wurden zu Beginn des Peer Besuchs, der zweiten Phase des Verfahrens, die Peers nicht vorgestellt.<br />

Die Ergebnispräsentation und Berichterstattung im Rahmen der Feedback-Sitzung erfolgte<br />

nicht immer durch die Peers bzw. den Peer Koordinator, sondern auch durch schulinterne Personen.<br />

Das Treffen am Ende des Peer Besuchs wurde nur teilweise unter Einbeziehung aller Betroffenen zur<br />

anschließenden Diskussion zentraler Ergebnisse abgehalten. In diesem Zusammenhang wird eine<br />

Durchführung verpflichtender Konferenzen als sinnvoll erachtet.<br />

Innerhalb der dritten Phase, dem Peer Review Bericht, erfolgte nur teilweise eine Stellungnahme der<br />

evaluierten Bildungseinrichtung zum Rohbericht. Aus diesem Grund konnten nicht immer Rückfragen<br />

gestellt oder Fehler bzw. Unrichtigkeiten korrigiert werden. Die Zugänglichkeit zum Bericht wird<br />

im ersten Schritt der quantitativen Datenerhebungen unter der Personengruppe, die direkt in das<br />

Verfahren eingebunden war, unproblematisch dargestellt. Während der qualitativen Datenerhebung<br />

entstand der Eindruck, dass diese Tatsache nicht auf das Gesamtkollegium zutrifft, was allerdings<br />

einen entscheidenden Einfluss auf die Akzeptanz des Verfahrens sowie die weitere Umsetzung abgeleiteter<br />

Maßnahmen mit sich bringt. Die Zugänglichkeit zum Bericht war nicht immer gewährleistet.<br />

In der letzten Phase des Peer Reviews, der Umsetzung von Maßnahmen, wurde mit Blick auf die<br />

Erhebung von Qualitätsdefiziten eine Erarbeitung von Lösungen verstärkt innerhalb der Bildungseinrichtung<br />

erwünscht, da Vorschläge durch Peers zum Teil als nicht zielführend erachtet werden.<br />

Andere Schulen hingegen wünschten umfassendere Verbesserungsvorschläge zu den einzelnen<br />

Q-Bereichen durch die kritischen Freunde. Die Verarbeitung der Ergebnisse erfolgte nicht immer<br />

transparent und unter Integration des Kollegiums. Der Peer Review Bericht wurde hierbei gelegentlich<br />

eingebunden. Es wurde der Wunsch geäußert, die Nachbereitung transparent und durch<br />

Einbeziehung aller Lehrkräfte zu gestalten. Teilweise wurden von Seiten der Befragten bemängelt,<br />

dass die Verarbeitung der Ergebnisse bzw. die Ableitung von Maßnahmen geringe Effekte zeige. In<br />

manchen Fällen wurden eine Steuergruppe und Projektteams gegründet sowie Workshops durchgeführt,<br />

um die Resultate aus dem Bericht aufzugreifen. Der vorgesehene Maßnahmenplan oder andere<br />

<strong>Dokument</strong>e wurden teilweise erstellt. Es wurde der Wunsch geäußert, das Peer Review durch eine<br />

Follow-up-Evaluation zu erweitern und die Ergebnisse in eine folgende Selbstevaluation oder weitere<br />

Begehung einzubinden. Darüber hinaus wurde Interesse an verschiedenen Unterstützungsmöglichkeiten<br />

geäußert, beispielsweise durch pädagogische Hochschulen, dem Austausch zwischen<br />

Erfahrungsgruppen durch Benchmarking oder weitere externe Beratung.<br />

In Bezug auf eine konzeptionelle Weiterentwicklung des Peer Review Verfahrens konnte ermittelt<br />

werden, dass die Kopplung des Peer Reviews an die Qualitätsbereiche im Sinne einer notwendigen<br />

Begutachtung des Kerngeschäfts von den beteiligten Pilotschulen einschränkend wahrgenommen<br />

149


4. Ergebnisse der Erhebung<br />

150<br />

wurde, da gerade auf der Basis einer externen Evaluation Innovationen beurteilt und dadurch weiter<br />

intensiviert werden sollen. Der notwendige Bezug zur Unterrichtsentwicklung wurde eingrenzend<br />

empfunden. Aus diesem Grund wurde der Wunsch geäußert, diese Eingrenzung zu entschärfen. Bei<br />

der Durchführung der Analyse entstand der Eindruck, dass punktuell eine Implementationsreihenfolge<br />

im Sinne einer Durchführung des Peer Reviews und anschließender Bestimmung von Prozessen<br />

und Zielen erfolgte bzw. eine vollständige Implementierung des Qualitätsmanagementsystems noch<br />

nicht abgeschlossen war. Die Rolle des Schulqualitätsprozessmanagers war in den beteiligten Schulen<br />

teilweise unklar.<br />

Von Seiten der Befragten wurde der Wunsch geäußert, das Zeitfenster für das Verfahren auszuweiten.<br />

Insbesondere wurde die zeitliche Einteilung während des Peer Besuchs als unzureichend<br />

praktikabel bezeichnet, da, aufgrund der umfassenden Struktur des Zeitplans kaum Möglichkeiten<br />

für eine Reflexion bleiben und die Peers ihre Aufgaben in komprimierter und effizienter Weise<br />

zu erfüllen haben. Dies impliziert für diese engagierten Personen u. U. weitere Stresssituationen.<br />

Übergreifend wurden für die Begehung weitere Peer Besuchstage gewünscht. Weiterhin wurde von<br />

Seiten der Befragten in Bezug auf die zeitliche Konzeption die Empfehlung geäußert, mehr Zeit für<br />

Erstellung des Selbstberichts einzuplanen, da sich dieser extrem zeitaufwendig gestaltet. Im Bereich<br />

der Ergebnispräsentation wurde der Vorschlag unterbreitet, den Peers mehr Zeit für die Vorbereitung<br />

des Feedbacks einzuräumen. Die Beteiligten äußerten den Wunsch, Pilotverfahren in einem engen<br />

Zeitschema zu vermeiden oder in der Auswertung zu berücksichtigen.<br />

Von Seiten der teilnehmenden Schulen wird eine verpflichtende Einführung externer Evaluationsverfahren<br />

und Zertifizierungen, analog zur Situation in der Schweiz, für sinnvoll erachtet. Darüber hinaus<br />

ist eine online-basierte Datenerhebung im Zuge der externen Evaluation erwünscht. Übergreifend<br />

wurde aufgeführt, dass für die Qualitätsarbeit der Bildungseinrichtungen, insbesondere für die<br />

Umsetzung der Ergebnisse des Peer Reviews, zu wenig Werteinheiten vergütet werden. Auch die<br />

Bezahlung der Peers wurde als unzureichend bewertet. Aufgrund der geringen Vergütung ist es nicht<br />

möglich, externe Akteure für die Teilnahme am Verfahren zu gewinnen. Insbesondere gilt dies für<br />

Gutachter, die nicht im System beschäftigt sind.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

5. Empfehlungen zur Gestaltung externer Evaluationen<br />

5.1 Empfehlungen zur Gestaltung von Peer Review in QIBB (Pilotversuch)<br />

5.1.1 Empfehlungen zu den einzelnen Phasen des Peer Reviews<br />

Generell wird empfohlen, das Peer Review gemäß der Beschreibung im diesbezüglichen Handbuch<br />

durchzuführen und insbesondere auf die Kommunikation, Partizipation und Integration aller beteiligten<br />

Lehrkräfte zu achten.<br />

5.1.1.1 Empfehlungen für die erste Phase des Peer Reviews<br />

Die Statusgruppen der Bildungseinrichtungen sollten, mit Blick auf eine Nachhaltigkeit der Evaluation,<br />

bereits zu Beginn des Verfahrens umfassend beteiligt werden, indem zunächst die Phasen<br />

und Strukturen der externen Evaluation ausführlich erläutert werden. Dabei sollte die Festlegung<br />

von Ziel und Zweck sowie die Auswahl der Qualitätsbereiche, anhand einer ganzheitlichen Einbeziehung<br />

der Lehrkräfte, in einen partizipativen Prozess integriert sein, um eine hohe Identifikation<br />

mit dem Verfahren zu erzielen. Im nächsten Schritt sollte sichergestellt werden, dass die Auswahl<br />

der Peers grundsätzlich im Kollegium erläutert wird oder – soweit möglich – in Zusammenarbeit mit<br />

den Lehrkräften erfolgt. Auch die Entscheidung über die Festsetzung der Interviewteilnehmer sollte<br />

unter Integration der Pädagogen ablaufen, aber nicht allein von der Schulleitung ausgewählt werden,<br />

und kurz erläutert werden, um im Vorfeld den Eindruck eines gezielten Samplings zu vermeiden.<br />

Diese Tatsache wurde als Verbesserungspotential genannt, da diese Punkte für die Akzeptanz und<br />

Transparenz des Verfahrens eine wesentliche Rolle darstellen. In jedem Fall sollte sichergestellt<br />

werden, dass die Lehrkräfte über diese Verfahrensmerkmale informiert werden.<br />

Die Zeiträume zur externen Evaluation, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung<br />

von Ergebnissen, sollten individuell mit der Schule abgestimmt werden.<br />

Die Instrumente des Selbstberichts sollten komprimiert werden bzw. eine inhaltliche Auswahl individueller<br />

Schwerpunktsetzungen, insbesondere im Bereich der Umfeldanalyse ermöglichen, indem<br />

irrelevante Informationen abstrahiert werden können. Im Selbstbericht ist klar zu definieren, ob<br />

Verbesserungsvorschläge von Seiten der Peers unterbreitet werden sollen. Spezielle Absprachen<br />

zwischen den Peers und der zu evaluierenden Einheit sollten auch im Hinblick auf die zeitliche<br />

Planung des Verfahrens, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung von<br />

Ergebnissen Berücksichtigung finden.<br />

Eine Verbesserung zur einfacheren Gestaltung finanzieller Abrechnungen in Bezug auf das Peer<br />

Review ist anzuraten.<br />

151


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

152<br />

5.1.1.2 Empfehlungen für die zweite Phase des Peer Reviews<br />

Zu Beginn des Peer Besuchs sollten eine Vorstellung der kritischen Freunde und eine weitere Erläuterung<br />

des zeitlichen Ablaufs der externen Evaluation sowie des anschließenden Schulbesuchs vor dem<br />

Kollegium erfolgen, um nicht in das Verfahren integrierte Pädagogen zu informieren und eine Basis<br />

für die Akzeptanz von Ergebnissen zu schaffen. Die Ergebnispräsentation und Berichterstattung im<br />

Rahmen der Feedback-Sitzung sollte in jedem Fall durch die Peers bzw. den Peer Koordinator und<br />

nicht durch schulinterne Personen vorgenommen werden, da dies die Wahrnehmung in Bezug auf<br />

eine externe Rückmeldung erhöht. Darüber hinaus wird dann die Möglichkeit gewährleistet, Rückfragen<br />

zu stellen. Das Treffen am Ende des Peer Besuchs sollte unter Einbeziehung aller Betroffenen von<br />

einer anschließenden Diskussion über zentrale Ergebnisse gekennzeichnet sein.<br />

Sowohl vor als auch nach dem Peer Review Besuch ist mit Blick auf die Integration aller Beteiligten,<br />

die Durchführung einer verpflichtenden Konferenz anzuraten, um das Verfahren und gewonnene<br />

Erkenntnisse vorzustellen bzw. relevante Entscheidungen hinsichtlich der Festsetzung von Zielen<br />

und Qualitätsbereichen sowie der Auswahl der Peers zu treffen. Hierbei sollte eine erste Ableitung<br />

und Priorisierung von Maßnahmen stattfinden, um eine kommunikative Verarbeitung und Diskussion<br />

der Resultate zu ermöglichen, die für eine weitere wirkungsvolle Qualitätsarbeit von zentraler Bedeutung<br />

ist. Die folgende Abbildung verdeutlicht die Möglichkeit einer zeitlichen Abfolge in Bezug auf<br />

einen Peer Review Besuch und anzuberaumende Konferenzen.<br />

Vorangehende Konferenz<br />

• Erläuterung des Verfahrensablaufs<br />

• Definition von Zielen<br />

• Festlegung der Peers<br />

• Darstellung der Informationsflüsse<br />

Peer<br />

Review<br />

Besuch<br />

Abbildung 31: Einbindung des Peer Review Besuchs in Konferenzen<br />

Nachfolgende Konferenz<br />

• Präsentation/Diskussion der<br />

Ergebnisse<br />

• Ableitung von Maßnahmen<br />

• Definition von Verantwortlichkeiten<br />

• Aufstellung erster Zeitpläne<br />

Die nachfolgende Konferenz sollte zeitnah einberufen werden, um eine Bereitschaft des Wandels auf<br />

der Basis des Peer Reviews durch frühzeitige Aktionen in erste Umsetzungsschritte zu integrieren. In<br />

diesem Zusammenhang sollte ein professionelles Projektmanagement verfolgt werden, in dem einzelne<br />

Maßnahmen in eine umfassende Konzeption, einschließlich der Definition von Verantwortlichkeiten<br />

und der Aufstellung erster Zeitpläne, einbezogen werden, da dieser Bereich ein ganzheitliches<br />

Werkzeug darstellt, „[...] das Instrumente zur Planung und Durchführung bereitstellt. Ein Vorhaben<br />

durchläuft demnach mehrere Phasen: Vorplanung, Detailplanung, <strong>Dokument</strong>ation und Evaluation.<br />

Während dieser Phasen ist ein Kernteam dafür verantwortlich, dass die notwendigen Aufgaben der<br />

Planung, Koordinierung, Überwachung, Änderung etc. wahrgenommen werden und dass festgelegte<br />

Schriftstücke (Projektauftrag, Teilprojektaufträge, Gesprächsprotokolle, Evaluationsanforderungen<br />

etc.) erstellt werden“ (Bülow-Schramm, 2006, S. 67). Im Handbuch zum Peer Review wird, basierend<br />

auf den externen Evaluationsergebnissen, ein Qualitäts- bzw. Maßnahmenplan erwähnt (Gutknecht-<br />

Gmeiner et al., 2007, S. 2), auf den im weiteren Verlauf nochmals Bezug genommen wird.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

5.1.1.3 Empfehlungen für die dritte Phase des Peer Reviews<br />

Wie im Peer Review Handbuch vorgesehen, sollte eine Stellungnahme der evaluierten Bildungseinrichtung<br />

zum Rohbericht erfolgen, um vor Erstellung der Endversion Rückfragen stellen und Fehler<br />

bzw. Unrichtigkeiten vermeiden zu können. Die Zugänglichkeit zum Bericht wird im ersten Schritt der<br />

quantitativen Datenerhebungen unter der Personengruppe, die direkt in das Verfahren eingebunden<br />

war, unproblematisch dargestellt. Während der qualitativen Datenerhebung entstand der Eindruck,<br />

dass diese Tatsache nicht auf das Gesamtkollegium zutrifft, was allerdings einen entscheidenden<br />

Einfluss auf die Akzeptanz des Verfahrens sowie die weitere Umsetzung abgeleiteter Maßnahmen mit<br />

sich bringt. Mit Blick auf den Bericht sollte nicht nur eine leichte Zugänglichkeit, um die Ergebnisse<br />

der externen Evaluation nachlesen zu können, sondern idealerweise auch eine Verarbeitung der<br />

Ergebnisse in der nachfolgenden Konferenz auf dessen Basis erfolgen. Dieser Sachverhalt ist für<br />

eine weitere Qualitätsarbeit und hinsichtlich der Haltung des Kollegiums essentiell. Auch innerhalb<br />

des Peer Review Berichts kann über eine Komprimierung hinsichtlich der Beschreibung der Berufsbildungseinrichtung<br />

nachgedacht werden.<br />

5.1.1.4 Empfehlungen für die vierte Phase des Peer Reviews<br />

Mit Blick auf eine Erhebung von Qualitätsdefiziten wurde erwähnt, dass eine Erarbeitung von Lösungen<br />

innerhalb der Bildungseinrichtung bzw. unter Integration des Kollegiums sinnvoller erscheint, da<br />

Vorschläge durch Peers als nicht zielführend erachtet werden. Andere Schulen hingegen wünschten<br />

umfassendere Verbesserungsvorschläge zu den einzelnen Q-Bereichen durch die kritischen<br />

Freunde. Es wird angeraten, diese Tatsache explizit vor der externen Evaluation zu klären, um auch<br />

die Erwartungen der Bildungseinrichtungen erfüllen zu können.<br />

Die Verarbeitung der Ergebnisse sollte transparent verlaufen und unter Integration aller Akteure erfolgen,<br />

da die Bildungseinrichtung „[...] ihren Wandel anhand ihrer Interessen durch die Mitwirkung aller<br />

Beteiligten selbst gestalten [muss]. Die Schulleitung nimmt dabei eine zentrale Rolle ein, da es ihre<br />

Aufgabe ist, der Bildungseinrichtung bei der Entwicklung zu helfen (Buchen, Horster & Rolff, 1995,<br />

S. 6). Die Einbindung des Kollegiums in das Peer Review ist gerade in der letzten Phase des Peer<br />

Reviews verstärkt zu beachten, um eine Bereitschaft hinsichtlich des Wandels erfahren zu können.<br />

Um diesen Schritt schon im Voraus einfacher zu gestalten, wurde ein <strong>Dokument</strong> in Bezug auf die<br />

Planung der Umsetzung von Maßnahmen entwickelt. Die zugrundeliegenden Fragen sollen beantwortet<br />

werden, um eine umfassende Integration des Kollegiums gewährleisten zu können. Die Rolle<br />

des Schulqualitätsprozessmanagers ist sowohl im Bereich der Verarbeitung von Ergebnissen als<br />

auch im übergreifenden Bereich des Qualitätsmanagements genau zu definieren. Es ist Aufgabe der<br />

Schulleitung, die Umsetzung von Maßnahmen, anhand einer Integration der Daten in die schulinterne<br />

Struktur des Qualitätsmanagements bzw. der Nutzung eines Projektmanagements, professionell zu<br />

gestalten. Diesbezüglich wird empfohlen, die Resultate anhand der Qualitätsmanagementstruktur in<br />

die einzelnen Qualitätsausschüsse zu integrieren bzw. Workshops oder Arbeitsgruppen zu bilden.<br />

Auch bei der Verarbeitung der Ergebnisse wird die Einbindung aller Statusgruppen nahe gelegt.<br />

153


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

154<br />

Das Peer Review Verfahren selbst orientiert sich am Qualitätsregelkreis, in dem die Vorbereitungsphase<br />

als ‚plan‘, der Peer Besuch als ‚do‘, der Peer Bericht als ‚check‘ sowie die Umsetzung von<br />

Maßnahmen als ‚act‘ zugeordnet werden kann. Dieser Qualitätsregelkreis ist allerdings innerhalb der<br />

vierten Phase des Peer Reviews ebenfalls zu gewährleisten, um eine erfolgreiche Implementierung<br />

und Optimierung der Innovation erzielen zu können. Bereits bei der Ableitung von Maßnahmen sollte<br />

auch eine Schließung der Qualitätsregelkreise berücksichtigt werden.<br />

Abbildung 32: Ebenen der Qualitätsregelkreise<br />

Im Peer Review Handbuch wird angeraten, mit Blick auf eine Ableitung weiterer Schritte, einen<br />

Maßnahmenplan zu erstellen, der mit dem Schulprogramm verknüpft ist (Gutknecht-Gmeiner et<br />

al., 2007, S. 32). Die Einordnung der abgeleiteten Maßnahmen in das Schulprogramm bzw. in die<br />

Schulentwicklung erscheint von zentraler Bedeutung. Hierfür sollte ein detaillierteres Instrument<br />

entwickelt werden, das eine Schließung der Qualitätsregelkreise berücksichtigt. Diese Logik wurde<br />

bei der Entwicklung der Struktur des Maßnahmenplans berücksichtigt, indem die Festlegung von<br />

Zielen dem Schritt ‚plan‘ zugeordnet wird.<br />

Bezüglich der Maßnahmen wird ein unterschiedliches Niveau festgestellt. Aus diesem Grund wird<br />

in Bezug auf die Struktur des Maßnahmenplans eine dreistufige Einteilung der Ziele empfohlen, um<br />

diese Thematik zu entschärfen und die Innovationen auf ein einheitliches Maß anzugleichen.


Abbildung 33: Zielaufbau<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Leitbild<br />

Schulprogramm<br />

Ziele einzelner<br />

Maßnahmen<br />

Zunächst sind die Ziele des Schulprogramms aus dem Leitbild abzuleiten und durch die Einordnung<br />

der Maßnahmen weiter auszudifferenzieren. Der Aufbau des Maßnahmenplans sieht durch die Orientierung<br />

am Qualitätsregelkreis zunächst die Ziele des Schulprogramms vor, die mit Blick auf die<br />

längerfristige Perspektive für das weitere Vorgehen priorisiert werden können (z. B. Kategorien A, B,<br />

C), um die Vorsätze stufenweise zu verfolgen und zeitliche Schwerpunkte setzen zu können. Darüber<br />

hinaus ist eine Beurteilung der vorhandenen Qualitätslevels einzelner Teilziele vorgesehen (z. B. Kategorie<br />

rot, gelb, grün), um eine Rückmeldung über den Stand des Entwicklungsprozesses darzustellen<br />

und Erfordernisse weiterer Schritte in der Qualitätsarbeit zu veranschaulichen. Die Statuseinschätzung<br />

könnte anhand interner Evaluationen erfolgen oder mit Blick auf ein ressourcenschonendes<br />

Qualitätsmanagement von dem erweiterten Qualitätsteam der Schule in einem Arbeitskreis erfolgen.<br />

In einer weiteren Stufe des Maßnahmenplans sollen die strategischen Ziele konkretisiert und operationalisiert<br />

werden, um transparente Merkmale zur Zieldefinition zu erhalten. Des Weiteren wird<br />

das Umsetzen von Maßnahmen bzw. die Angabe des Konzepts zur Optimierung der Schulqualität<br />

vorgesehen. Ein weiterer Bereich des Maßnahmenplans bildet das Evaluieren, indem Qualitätskriterien<br />

bzw. Indikatoren festgesetzt werden, um eine Messbarkeit der Zielerreichung (quantitativ und<br />

qualitativ) zu ermöglichen, die aufgrund des festgesetzten QM-Instruments zur Überprüfung der Ziele<br />

erfolgt. Eine Überprüfung der Zielerreichung ist hier ausgeblendet, da dieser Schritt auf der Basis<br />

der individuellen Ergebnisse durch die Akteure bzw. Gremien innerhalb des Qualitätsmanagements<br />

erfolgen muss. Für jeden Teilbereich des Maßnahmenplans soll ein Verantwortlicher definiert werden,<br />

um klare Zuordnungen und Zuständigkeiten von Aktivitäten in der Qualitätsarbeit zu gewährleisten.<br />

Es wird empfohlen, für den Maßnahmenplan sowie im Rahmen des Projektmanagements weitere<br />

Instrumente für die Toolbox zur Verfügung zu stellen.<br />

Die vierte Phase des Peer Reviews könnte insofern noch weiter ausgebaut werden, indem eine<br />

Bewertung abgeleiteter Maßnahmen durch eine Follow-up-Evaluation erfolgt. Hier stehen sowohl<br />

Möglichkeiten im Rahmen einer Selbstevaluation oder durch eine Berichtspflicht bzw. Rechenschaftslegung<br />

zur Verfügung. Eine weitere Eventualität bietet die Durchführung einer Follow-up-Begehung<br />

nach geraumer Zeit, beispielsweise nach zwei Jahren, in der ein Teil des bereits ausgewählten Peer<br />

Teams oder auch nur der Vorsitzende insbesondere die Umsetzung von Maßnahmen auf der Basis<br />

des vorangehenden Peer Reviews begutachtet. Die Konzeption dieses Detailschritts sollte allerdings<br />

möglichst ressourcenschonend verlaufen und insbesondere eine Schließung des Qualitätsregelkreises<br />

untersuchen.<br />

155


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

156<br />

Im Zuge der Ermittlung von Möglichkeiten, das Peer Review weiterzuentwickeln, wurde der Wunsch<br />

geäußert, nach dem Verfahren optionale Unterstützung zu erhalten, um eine weitere Verarbeitung<br />

der Ergebnisse aufgrund der schulspezifischen Situation optimierend zu gestalten. Diese könnte<br />

einerseits durch eine Zusammenarbeit zwischen der evaluierten Einheit und den pädagogischen<br />

Hochschulen bei der Verarbeitung der Ergebnisse erfolgen. Andererseits könnte auch ein Austausch<br />

zwischen Erfahrungsgruppen im Sinne des Benchmarking und weiterer externer Beratung innerhalb<br />

der entsprechenden Schulbereiche oder regionalen Gebiete hergestellt werden, wobei hier die Problematik<br />

der Mikropolitik zu berücksichtigen ist. Auch ein direkter Ansprechpartner, beispielsweise<br />

durch externe Experten oder das ARQA-VET Team für einzelne Bereiche ist denkbar. In diesem<br />

Zusammenhang kann externe Hilfe übergreifend durch ein umfassendes Projektmanagement erfolgen,<br />

das in ein ganzheitliches Qualitätsmanagementsystem und funktionierende Qualitätsregelkreise<br />

integriert ist.<br />

5.1.2 Stärken und Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens<br />

5.1.2.1 Stärken des Peer Review Verfahrens<br />

Das Peer Review Verfahren ist übergreifend akzeptiert und wird als Verfahren zur Erkennung ‚blinder<br />

Flecken‘ betrachtet. Übergreifend kann unter dem erweiterten Qualitätsteam eine hohe Zufriedenheit<br />

und Identifikation mit der externen Evaluation festgestellt werden, speziell bei der Vorbereitungsphase,<br />

dem Peer Besuch sowie bei dem Peer Review Bericht. So wurden Verantwortlichkeiten für<br />

die Organisation des Verfahrens definiert, der Selbstbericht anhand eines strukturierten Verfahrens<br />

erstellt und die Agenda mit den Peers abgestimmt. Vor allem die positive Beurteilung des Peer<br />

Besuchs, insbesondere die richtige Wiedergabe von Stärken und Schwächen der Schule, bescheinigt<br />

eine kompetente und urteilsfähige Arbeit der Peers. Von Seiten des erweiterten Qualitätsteams<br />

wird ein mittlerer bis hoher Nutzen durch das Peer Review bestätigt. Schließlich wurden 70 % der<br />

schulischen Innovationen, basierend auf dem Peer Review, erfolgreich adaptiert.<br />

5.1.2.2 Konzeptionelle Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens<br />

Im Allgemeinen sollte während des gesamten Verfahrens eine offene, transparente und intensive<br />

Informationspolitik betrieben werden, die für die Wirksamkeit des Peer Reviews, insbesondere für<br />

die Akzeptanz des Verfahrens und einer motivierenden Umsetzung von Innovationen, von essentieller<br />

Bedeutung ist. In einem Workshop im März diesen Jahres „[...] wurde deutlich, dass Peer Review [...]<br />

nicht ohne Einsatz des Kollegiums umgesetzt werden kann“ (Vormfenne, 2011, S. 7).<br />

Die Kopplung des Peer Reviews an die Qualitätsbereiche im Sinne einer notwendigen Begutachtung<br />

des Kerngeschäfts wurde von den beteiligten Pilotschulen einschränkend wahrgenommen, da<br />

gerade auf der Basis einer externen Evaluation Innovationen beurteilt und dadurch weiter intensiviert<br />

werden sollen. Der notwendige Bezug zur Unterrichtsentwicklung wurde eingrenzend empfunden.<br />

Aus diesem Grund wurde der Wunsch geäußert, diese Eingrenzung zu entschärfen. Im Rahmen<br />

weiterer Durchführung von Peer Reviews wird angeraten, vorab eine umfassende Implementierung


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

des Qualitätsmanagementsystems QIBB zu prüfen, um als Folge der Definition von Zielen und Prozessen<br />

sowie auf der Basis einer Selbstevaluation ein externes Verfahren durchzuführen zu können.<br />

Folglich sollte zu Beginn eine Qualitätsarbeit in einzelnen Ausschüssen, wie beispielsweise einer<br />

Steuergruppe und weiteren Projektteams, anlaufen und die Konzeption von Qualitätsroutinen durch<br />

eine Verfolgung von Jahreszielen initiiert werden, da die Vermutung besteht, „[...] dass eine externe<br />

Evaluation ohne vorangegangene interne Evaluation eher sachlogische Nachteile hat. Internationale<br />

Erfahrungen zeigen, dass die Anschlussfähigkeit der Evaluationsergebnisse erhöht werden kann,<br />

wenn die externe Schulevaluation an eine vorangegangene schulinterne Evaluation anschließt“<br />

(Brägger et al., 2005, S. 72 f.). Darüber hinaus könnte die Struktur des Qualitätsmanagementsystems,<br />

insbesondere in der Rolle des Schulqualitätsprozessmanagers, weiter ausdifferenziert bzw.<br />

stabilisiert werden, um eine offizielle Linie zu erhalten.<br />

Pilotverfahren, die in einem engen Zeitschema durchzuführen sind, sollten vermieden werden bzw.<br />

in der Auswertung der Ergebnisse berücksichtigt werden, da eine vorangehende Selbstevaluation<br />

mit einer umfassenden Stärken-/Schwächenanalyse notwendig ist, um nach dem Peer Review einen<br />

Soll-Ist-Vergleich durchführen zu können. Für die Durchführung von Peer Review Verfahren sollte,<br />

auf der Basis des schulinternen Vorgehensweise, ausreichend Zeit, insbesondere während der<br />

Begehung, zur Verfügung gestellt werden. Darüber hinaus sollte die Datenerhebung im Zuge der<br />

externen Evaluation online-basiert durchgeführt werden. Bei einer Follow-up-Evaluation könnte, mit<br />

geringem Aufwand, auf vorliegende Daten zurückgegriffen werden, um eine Qualitätsentwicklung<br />

feststellen zu können.<br />

Für die Qualitätsarbeit der Bildungseinrichtungen, insbesondere für die Umsetzung der Ergebnisse<br />

des Peer Reviews, sollten eine ausreichende Anzahl von Werteinheiten vergütet werden, da für eine<br />

wirksame Umsetzung von Verbesserungsmaßnahmen teilweise erhebliche Ressourcen erforderlich<br />

sind. Letztendlich ergibt sich die Wirksamkeit von externen Evaluationen auf die Initiierung von<br />

Folgeschritten nach der Evaluation. Gerade aus diesem Grund sollte in der Phase 4, der Umsetzung<br />

von Maßnahmen, Ressourcen bereitgestellt werden, da die Planung notwendiger Folgemaßnahmen<br />

von der evaluierten Bildungseinrichtung ein hohes Maß an Zeit und damit auch an finanziellen<br />

Mitteln erfordert (Schweizerische Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 22).<br />

Eine Gewährleistung ausreichender Werteinheiten ist auch auf die Peers zu übertragen, indem eine<br />

angemessene Vergütung gewährt werden sollte.<br />

5.1.3 Empfehlungen zur Weiterentwicklung für die teilnehmenden Schulen<br />

Im Rahmen der Erhebung schulinterner Innovationen wurde festgestellt, dass 70 % aller Maßnahmen<br />

erfolgreich umgesetzt wurden und somit von Seiten des Kollegiums Anwendung finden. Weitere<br />

Verhaltensänderungen können nur auf der emotionalen Ebene über die Stages of Concern, dem Grad<br />

der Betroffenheit, gesteuert werden, da sich Reaktionen aus den Einstellungen und Gefühlen der<br />

Personen ergeben und diesbezügliche Anpassungen nur von einem Beteiligten selbst verwirklicht<br />

werden können. Aus diesem Grund werden die Stufen für Interventionsmöglichkeiten bezüglich<br />

jeder Adaption unterbreitet, um neben einer tatsächlichen Anwendung der Maßnahmen weitere<br />

157


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

158<br />

Verhaltensänderungen implizieren zu können und schließlich eine Optimierung der Innovation auf<br />

persönlicher und organisationaler Ebene zu erzielen. In Kapitel 3.2.2.3.2.2.3 werden verschiedene<br />

Möglichkeiten von Interventionen auf den verschiedenen Ebenen vorgestellt. Es liegt im Aufgabenbereich<br />

der Schulleitung, individuelle Interventionsmöglichkeiten umzusetzen, um die beteiligten<br />

Lehrkräfte weiter zu fördern. Anhand der ermittelten Stages of Concern werden für eine weitere<br />

Qualitätsarbeit in der folgenden Tabelle die Stufen empfohlen, die den Großteil des Kollegiums<br />

betreffen. Jede Zelle der Tabelle gibt darüber Aufschluss, auf welcher Stufe Interventionen für die<br />

einzelnen Maßnahmen einer Schule erfolgen sollten. Anhand der Verteilung des Kollegiums werden<br />

unter Umständen zwei Entwicklungsfelder dargelegt, wobei eine stufenweise Entwicklung von Stufe<br />

0 nach Stufe 6 empfohlen wird.<br />

Tabelle 16: Interventionsmöglichkeiten der einzelnen Schulen<br />

Maßnahme / Schule A B C D E F G<br />

Maßnahme 1 4 2 3 / 5 3 / 4 4 / 5 1 / 2 1 / 2<br />

Maßnahme 2 2 2 2 2 / 3 2 / 4 1 / 2 0 / 2<br />

Maßnahme 3 3 1 / 2 3 3 3 2 / 3<br />

5.2 Weitere Empfehlungen zur Gestaltung externer Evaluationen<br />

5.2.1 Allgemeine Empfehlungen zur Gestaltung externer Evaluationen aufgrund der<br />

Erfahrungen aus dem Peer Review<br />

Die Ergebnisse der vorliegenden Erhebung geben Hinweise, wie die Wirksamkeit externer Evaluationen<br />

erhöht werden können. Die Vorschläge, die im Folgenden erläutert werden, beziehen sich primär<br />

auf die Konzeption bzw. Gestaltung der Verfahren.<br />

Die vorliegende Studie zeigt, dass bezüglich der Durchführung externer Evaluationen eine hohe<br />

Partizipation und Integration aller Lehrkräfte angestrebt werden sollte (vgl. 2.4.3), da dies sowohl<br />

zur Akzeptanz des Verfahrens als auch zu einer höheren Bereitschaft für eine Umsetzung von Veränderungen<br />

führt, wobei die Implementierung von Innovationsmaßnahmen letztendlich auch den<br />

Ausgangspunkt für eine Wirksamkeit darstellen. Darüber hinaus bewirken eine offene und transparente<br />

Informationspolitik zu den einzelnen Phasen des Verfahrens eine höhere Identifikation mit der<br />

externen Evaluation. Dieser Aspekt wurde auch bereits von bräGGer als Faktor ermittelt, der zu einer<br />

Erhöhung der Wirksamkeit von Evaluationen beiträgt (vgl. 2.4.3). Ferner ist bezüglich der Evaluationsinhalte<br />

eine Auswahl von Wahlmöglichkeiten zu gewährleisten, um den Bildungseinrichtungen<br />

eigene Gestaltungsspielräume bei der Durchführung der externen Evaluation zu ermöglichen und<br />

eine Anerkennung des Verfahrens zu stärken. Auch die Gewährleistung eines ausreichenden Zeitfensters<br />

ist mit Blick auf die Qualität der einzelnen Komponenten, wie beispielsweise die Erstellung<br />

des Selbstberichts, die Durchführung des Schulbesuchs sowie die Vorbereitung des Feedbacks, zu<br />

berücksichtigen. Übergreifend sollte eine anwendungsbezogene Gestaltungsweise des Verfahrens


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

praktiziert werden, um das Engagement der beteiligten Personen auf die externe Evaluation zu<br />

fokussieren. Eine individuelle Abstimmung relevanter Fristen sollte einen reibungslosen Ablauf des<br />

Verfahrens ermöglichen.<br />

In Kapitel 2.2.3.3 sind die einzelnen Phasen externer Evaluationen erläutert. Anhand dieser Einteilungen<br />

werden im Folgenden Änderungsvorschläge mit Blick auf eine Erhöhung der Wirksamkeit<br />

unterbreitet:<br />

• Vorbereitungsphase: Die Aspekte der Definition von Evaluationsinhalten, die Auswahl der EvaluatorInnen<br />

sowie die Festsetzung der Personen, die an der anschließenden Fremdbewertung<br />

integriert sind, sollten unter Integration und Partizipation des Lehrerkollegiums erfolgen<br />

• Selbstbewertung: Analog der Auswahl von Schwerpunkten für die externe Evaluation sollte die<br />

Gestaltung des relevanten Selbstberichts erfolgen<br />

• Fremdbewertung: Während des Schulbesuchs sollten alle Lehrkräfte in Kontakt mit den EvaluatorInnen<br />

treten, beispielsweise im Rahmen einer kurzen Vorstellungsrunde während einer<br />

anberaumten Begrüßung; erste Ergebnisse sollten bereits am Ende des Schulbesuchs durch<br />

die EvaluatorInnen während einer Lehrerkonferenz an das gesamte Kollegium kommuniziert<br />

werden, die im Anschluss weiter zu diskutieren sind<br />

• Feedback: Die evaluierte Bildungseinrichtung sollte die Möglichkeit erhalten, zu den Ergebnissen<br />

der Fremdbewertung Stellung zu nehmen, um Unklarheiten oder Falschaussagen zu<br />

korrigieren<br />

• Nachbereitung: Dem gesamte Lehrerkollegium und allen weiteren beteiligten Personen sollte<br />

eine freie Zugänglichkeit zum Evaluationsbericht gewährleistet werden, um eine hohe Verbreitung<br />

der Ergebnisse erzielen zu können; anschließende Verbesserungsmaßnahmen sind, je<br />

nach Einstellung der Schule, anhand der Impulse von EvaluatorInnen oder interner Personen<br />

zu erarbeiten; dabei sind konkrete Maßnahmen bzw. Projekte abzuleiten; bei der Konzeption<br />

nachfolgender Schritte ist eine hohe Transparenz, eine Integration des Kollegiums sowie eine<br />

Nutzung bisheriger Schulentwicklungsstrukturen zu gewährleisten; dabei sollten Unterstützungsmöglichkeiten<br />

sichergestellt werden; die Verarbeitung der Evaluationsergebnisse sollte<br />

durch den Einsatz eines professionellen Projektmanagements und detaillierter Instrumente<br />

erfolgen. „Projektmanagement ist ein ganzheitliches Werkzeug, das Instrumente zur Planung<br />

und Durchführung bereitstellt. Ein Vorhaben durchläuft demnach mehrere Phasen: Vorplanung,<br />

Detailplanung, Durchführung, <strong>Dokument</strong>ation und Evaluation. Während dieser Phasen ist ein<br />

Kernteam dafür verantwortlich, dass die notwendigen Aufgaben der Planung, Koordinierung,<br />

Überwachung, Änderung etc. wahrgenommen werden und dass festgelegte Schriftstücke [...]<br />

erstellt werden“ (Bülow-Schramm, 2006, S. 67).<br />

Mit Blick auf die Erweiterung bisher definierter Verfahrensschritte ist eine weitere Evaluation in<br />

interner oder externer Form (vgl. 2.2.2.2) anzudenken, um erzielte Qualitätserhöhungen feststellen zu<br />

können. Die folgende Abbildung verbildlicht die Aspekte, die zur Erhöhung der Wirksamkeit externer<br />

Evaluationen beitragen können:<br />

159


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

160<br />

Abbildung 34: Allgemeine Empfehlungen für die Durchführung externer Evaluationen zur Erhöhung<br />

von Wirksamkeit<br />

Hinsichtlich der Effekte externer Evaluationen unterscheidet lanDWehr zwischen dem Begriff der<br />

Wirkung im Sinne von beabsichtigten und unbeabsichtigten Effekten, die durch Schulevaluation<br />

generiert werden sowie der Wirksamkeit, eine „Eigenschaft/Fähigkeit von bestimmten Faktoren bzw.<br />

Massnahmen, die beabsichtigen Wirkungen auch tatsächlich hervorzurufen“ (Landwehr, 2011, S. 36)<br />

(vgl. 2.4.1). Die in der vorangehenden Abbildung genannten Empfehlungen bilden die Basis für eine<br />

hohe Wirksamkeit externer Evaluationen.<br />

5.2.2 Spezielle Empfehlungen zur Gestaltung externer Evaluationen aufgrund der<br />

Übertragung der Ergebnisse aus dem Peer Review<br />

5.2.2.1 Methodik der Übertragung auf Basis der vorliegenden Ergebnisse<br />

Auf der Basis der abgeleiteten Empfehlungen für das Peer Review Verfahren stellte sich die Frage,<br />

ob die ermittelten Konsequenzen auch auf andere externe Evaluationen übertragen werden können.<br />

Um dies zu beantworten, wurde eine kriterienorientierte Gegenüberstellung externer Evaluationen


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

vorgenommen, um die unterschiedlichen Konzeptionen mit dem vorliegenden Untersuchungsgegen-<br />

stand bzw. anhand der entwickelten Wirksamkeitsaspekte zu vergleichen und anschließend weitere<br />

Gestaltungsvorschläge ableiten zu können.<br />

Ein umfassender Vergleich von externen Evaluationen wurde bereits im Jahr 2008 von Döbert, rürup<br />

& DeDerinG vorgenommen, der sich auf „[...] Aspekte der Institutionalisierung und Ausstattung sowie<br />

des Arbeitsstandes und des konkreten Verfahrens des Steuerungsinstruments in den Ländern<br />

[bezieht]“ (Döbert et al., 2008, S. 130). In der vorliegenden Studie wurden österreichische Bildungseinrichtungen,<br />

die am Pilotversuch zur Implementierung des European Peer Review teilnahmen (vgl.<br />

2.3.2.5), hinsichtlich der Wirksamkeit externer Evaluationen untersucht. Diese Erkenntnisse bildeten<br />

die Basis für die Entwicklung von Faktoren, die zu einer Erhöhung der Wirksamkeit externer Evaluationen<br />

beitragen können (vgl. 5.2.1). Die Entwicklung eines Kriterienschemas zum Vergleich externer<br />

Evaluationen bezieht sich zunächst auf die Konzeption der Verfahren, um nicht nur einen allgemeinen<br />

Überblick, sondern primär eine Einteilung der Systeme vornehmen zu können, da die erarbeiteten<br />

Empfehlungen aus der Analyse des Peer Review Verfahrens nur unverändert auf die Evaluationen<br />

übertragen werden können, die einer ähnlichen Konzeption zu Grunde liegen.<br />

Aus diesem Grund bezieht sich die erste Kategorie auf ‚allgemeine Informationen zur Konzeption der<br />

externen Evaluation‘, in dem neben der (1) Bezeichnung der (2) Hintergrund des Verfahrens erfasst<br />

wird, das als Audit, Peer Review, Schulberatung oder Schulinspektion erfolgen kann (vgl. 2.2.3.2).<br />

Weitere Kriterien bilden die (3) Ebene des Verfahrens, die sich auf eine Primär- bzw. Metaevaluation<br />

bezieht (vgl. 2.2.3.4), sowie der (4) Wirkungsbereich, der sich auf die Erkenntnisgewinnung,<br />

Schulentwicklung, Rechenschaftslegung oder Normendurchsetzung beziehen kann (vgl. 2.2.3.5).<br />

Schließlich beschreibt der (5) Referenzrahmen (vgl. 2.2.3.6) Qualitätsansprüche, die der externen<br />

Evaluation zugrunde liegen. Liegt einer externen Evaluation ein Referenzrahmen zugrunde, wird von<br />

einer kriteriengeleiteten in anderen Fällen von einer beobachtend-beschreibenden bzw. explorativen<br />

Evaluation gesprochen. Der Abschluss von (6) Zielvereinbarungen nach der externen Evaluation<br />

mit der Schulaufsicht ist dabei ein weiterer Indikator für die Funktion der Rechenschaftslegung und<br />

ermöglicht somit Rückschlüsse auf die Konzeption sowie die Durchführung des Verfahrens.<br />

Die Entwicklung weiterer Kriterien bezieht sich auf die Aspekte, die innerhalb der vorliegenden<br />

Wirksamkeitsanalyse erarbeitet wurden und mit Blick auf die Nachhaltigkeit externer Evaluationen<br />

als zentrales Kriterium erachtet werden. So erfasst die zweite Kategorie ‚Kommunikation und Partizipation<br />

des Kollegiums‘ die Personengruppe, die eine (7) Auswahl der Evaluationsschwerpunkte/<br />

-themen und eine (8) Auswahl der EvaluatorInnen übernimmt. Darüber hinaus bezieht sich der Vergleich<br />

auf das Kriterium der (9) Information des Kollegiums. Die dritte Kategorie bezieht sich auf<br />

die ‚Nachbereitung des Verfahrens‘, da diese Phase den Fokus der vorliegenden Analyse darstellt<br />

und die Interpretation von Evaluationsergebnissen sowie die damit verbundene Umsetzung von<br />

Maßnahmen eine der größten Herausforderungen für Bildungseinrichtungen darstellt, aber mit Blick<br />

auf die Qualitätsverbesserung von Schulen einen zentralen Punkt für die Wirksamkeit des Verfahrens<br />

bedeutet. Teilweise werden hier auch Aspekte der Kommunikation integriert, die aber explizit der<br />

Nachbereitung des Verfahrens zugeordnet werden können und deshalb in diese Kategorie gruppiert<br />

werden. Die Kriterien des dritten Bereichs beziehen sich darauf, vor welcher Personengruppe die<br />

161


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

162<br />

(10) Vorstellung der Ergebnisse erfolgt und ob eine (11) Diskussion der Ergebnisse im Kollegium<br />

vorgesehen ist. Weitere Kriterien beziehen sich auf den Entscheidungsbereich hinsichtlich der (12)<br />

Ableitung von Maßnahmen sowie die Beabsichtigung einer (13) Evaluation der Maßnahmen. Schließlich<br />

bildet die Frage bezüglich des Erhaltens von (14) Unterstützung nach der externen Evaluation den<br />

Abschluss des Vergleichs der externen Evaluationen.<br />

5.2.2.2 Kriterienorientierte Gegenüberstellung externer Evaluationen in der BRD und in<br />

ausgewählten Systemen<br />

Allgemeine Informationen zur Konzeption der externen Evaluation<br />

Land/<br />

Bundesland<br />

bzw. Region<br />

(1)<br />

Bezeichnung<br />

Schweiz 1 Externe<br />

Evaluation<br />

in Q2E<br />

Österreich 2 Peer Review<br />

in QIBB<br />

Baden-<br />

Württemberg<br />

3<br />

Bayern<br />

(Staat) 4<br />

Fremdevaluation<br />

an<br />

beruflichen<br />

Schulen in<br />

Baden-<br />

Württemberg<br />

Externe<br />

Evaluation<br />

an Bayerns<br />

Schulen<br />

(2)<br />

Hintergrund<br />

Peer<br />

Review<br />

Peer<br />

Review<br />

Schulinspektion<br />

(inkl.<br />

kritischem<br />

Freund)<br />

Schulinspektion<br />

(3)<br />

Ebene<br />

Ausgewählte Systeme<br />

Metaevaluation<br />

mit<br />

Primärevaluation<br />

Primärevaluation,Metaevaluation<br />

möglich<br />

Deutschland<br />

Metaevaluation<br />

Primärevaluation<br />

(4)<br />

Wirkungsbereich<br />

Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />

Erkenntnisgewinnung,Schulentwicklung<br />

Schulentwicklung,Rechenschaftslegung<br />

Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />

(5)<br />

Referenzrahmen<br />

(6)<br />

Zielvereinbarungen<br />

ja ja, in<br />

jährlichen<br />

Reporting-/<br />

Controllinggesprächen<br />

mit der<br />

kantonalen<br />

Amtsstelle<br />

ja nicht<br />

verpflichtend,<br />

entscheidet<br />

die Schule<br />

ja ja<br />

ja ja


Land/<br />

Bundesland<br />

bzw. Region<br />

Bayern<br />

(Nürnberg) 5<br />

(1)<br />

Bezeichnung<br />

Externe<br />

Evaluation<br />

im<br />

Nürnberger<br />

Qualitätsmanagementsystem<br />

Berlin 6 Berliner<br />

Schulinspektion<br />

Brandenburg<br />

7<br />

Schulvisitation<br />

im Land<br />

Brandenburg<br />

Bremen 8 Externe<br />

Evaluation<br />

an Bremer<br />

Schulen<br />

Hamburg 9 Schulinspektion<br />

Hamburg<br />

Hessen 10 Schulinspektion<br />

Mecklenburg-Vorpommern<br />

11<br />

Niedersachsen<br />

12<br />

externe<br />

Qualitätsanalyse<br />

bzw.<br />

externe<br />

Evaluation<br />

Schulinspektion<br />

in<br />

Niedersachsen<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

(2)<br />

Hintergrund<br />

Peer<br />

Review<br />

Schulinspektion<br />

Schulinspektion <br />

Schulinspektion<br />

Schulinspektion<br />

Schulinspektion<br />

Schulinspektion<br />

Schulinspektion<br />

(3)<br />

Ebene<br />

Meta-<br />

Evaluation;<br />

Primärevaluation<br />

in einzelnen<br />

Bereichen<br />

möglich<br />

Primärevaluation<br />

Primärevaluation<br />

Primärevaluation<br />

Primärevaluation<br />

Primärevaluation<br />

Primärevaluation<br />

Primärevaluation<br />

(4)<br />

Wirkungsbereich<br />

Erkenntnisgewinnung,Schulentwicklung<br />

Erkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinn,Schulentwicklung,RechenschaftslegungSchulentwicklung,Rechenschaftslegung <br />

Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />

(5)<br />

Referenzrahmen<br />

nein nein<br />

ja ja<br />

(6)<br />

Zielvereinbarungen<br />

ja bei<br />

Schulen mit<br />

erheblichem<br />

Entwicklungsbedarf<br />

ja ja<br />

ja ja<br />

ja ja<br />

ja ja<br />

ja ja, vor allem<br />

bei „Schulen<br />

unter<br />

Standard“<br />

163


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

164<br />

Land/<br />

Bundesland<br />

bzw. Region<br />

Nordrhein-<br />

Westfalen 13<br />

Rheinland-<br />

Pfalz 14<br />

(1)<br />

Bezeichnung<br />

Qualitätsanalyse<br />

Nordrhein-<br />

Westfalen<br />

Externe<br />

Evaluation<br />

Saarland 15 Qualitätssicherung<br />

durch<br />

externe<br />

Evaluation<br />

Sachsen 16 Externe<br />

Evaluation<br />

Sachsen-<br />

Anhalt 17<br />

Schleswig-<br />

Holstein 18<br />

Externe<br />

Evaluation<br />

Externe<br />

Evaluation<br />

im Team –<br />

EVIT<br />

Thüringen 19 Externe<br />

Evaluation<br />

(2)<br />

HintergrundSchulinspektion<br />

Schulinspektion<br />

(3)<br />

Ebene<br />

Primärevaluation<br />

Primärevaluation<br />

Audit Metaevaluation <br />

Schulinspektion<br />

Schulinspektion<br />

Schulinspektion<br />

(inkl.<br />

kritischem<br />

Freund)<br />

Schulinspektion <br />

Primärevaluation<br />

Primärevaluation <br />

Primärevaluation <br />

Primärevaluation<br />

(4)<br />

WirkungsbereichErkenntnisgewinn,Schulentwicklung,<br />

Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />

Erkenntnisgewinnung,Schulentwicklung<br />

Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />

Schulentwicklung,Rechenschaftslegung<br />

Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />

Schulentwicklung,Rechenschaftslegung<br />

(5)<br />

Referenzrahmen<br />

ja ja<br />

ja ja<br />

ja nein<br />

ja ja<br />

ja ja<br />

ja ja<br />

ja ja<br />

(6)<br />

Zielvereinbarungen


Land/<br />

Bundesland<br />

bzw. Region<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Kommunikation und Partizipation des Kollegiums<br />

(7)<br />

Auswahl der Evaluationsschwerpunkte/<br />

-themen<br />

Schweiz 20 teils vorgegebene<br />

Qualitätsbereiche, teils<br />

freie Entscheidung der<br />

Schule<br />

Österreich 21 teils vorgegebene<br />

Qualitätsbereiche, teils<br />

freie Entscheidung der<br />

Schule<br />

Baden-<br />

Württemberg 22<br />

Bayern<br />

(Staat) 23<br />

Bayern<br />

(Nürnberg) 24<br />

Landesinstitut für<br />

Schulentwicklung<br />

4 Qualitätsbereiche im<br />

Leitfaden bereits vorgegeben<br />

(Untergliederung in<br />

16 Teilbereiche)<br />

(8)<br />

Auswahl der EvaluatorInnen<br />

Ausgewählte Systeme<br />

drei Personen wählt<br />

das Institut für Schulentwicklung<br />

auf der<br />

Sekundarstufe II (IFES),<br />

ein Peer wird durch die<br />

Schule bestimmt<br />

durch die Schule aus<br />

Pool an EvaluatorInnen<br />

Deutschland<br />

Landesinstitut für<br />

Schulentwicklung,<br />

kritischer Freund von<br />

Schule benannt<br />

Schulaufsicht und<br />

Qualitätsagentur<br />

Schule Lehrstuhl für Wirtschaftspädagogik<br />

&<br />

Personalentwicklung,<br />

Nürnberg in Abstimmung<br />

mit der Schule<br />

Berlin 25 6 Qualitätsbereiche<br />

festgelegt im „HandlungsrahmenSchulqualität<br />

in Berlin“ mit<br />

19 Qualitätsmerkmalen<br />

vorgegeben<br />

Referat Berliner<br />

Schulinspektion, EvaluationsberaterInnen<br />

durch<br />

die Schule wählbar<br />

(9)<br />

Information des<br />

Kollegiums<br />

Konferenz<br />

Entscheidungsbereich<br />

der Schule<br />

Vorbereitungsgespräch<br />

mit der Schule<br />

Konferenz<br />

Konferenz<br />

Vorbesprechung zwischen<br />

Inspektionsteam<br />

und Einzelpersonen<br />

vorgesehen<br />

165


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

166<br />

Land/<br />

Bundesland<br />

bzw. Region<br />

(7)<br />

Auswahl der Evaluationsschwerpunkte/<br />

-themen<br />

Brandenburg 26 teils vorgegebene<br />

Qualitätsbereiche, teils<br />

freie Entscheidung der<br />

Schule<br />

Bremen 27 teils vorgegebene<br />

Qualitätsbereiche, teils<br />

freie Entscheidung der<br />

Schule<br />

Hamburg 28 fixiert durch<br />

„Orientierungs-rahmen<br />

Schulqualität“<br />

Hessen 29 durch „Hessischen<br />

Referenzrahmen<br />

Schulqualität“ vorgegeben,<br />

Profilschwerpunkte<br />

möglich<br />

Mecklenburg-<br />

Vorpommern 30<br />

Niedersachsen31<br />

Nordrhein-<br />

Westfalen 32<br />

Rheinland-<br />

Pfalz33 durch Referenzrahmen<br />

festgelegt<br />

durch Qualitätsprofil<br />

festgelegt<br />

durch Qualitätstableau<br />

festgelegt<br />

durch Orientierungsrahmen<br />

Schulqualität<br />

festgelegt<br />

Saarland 34 im Rahmen der DIN EN<br />

ISO festgelegt<br />

(8)<br />

Auswahl der EvaluatorInnen<br />

Ministerium für Bildung,<br />

Jugend und Sport<br />

Evaluationsteam<br />

(2 EvaluatorInnen,<br />

2 Peers) werden aus<br />

Pool von freiberufliche<br />

EvaluatorInnen durch die<br />

zuständige Referentin bei<br />

der Senatorin für Bildung<br />

zugeteilt, Schule hat bei<br />

Peers Veto-Recht<br />

Team der Schulinspektion<br />

Hamburg<br />

Institut für Qualitätsentwicklung<br />

(9)<br />

Information des<br />

Kollegiums<br />

Vorbesprechung<br />

zwischen Einzelpersonen<br />

vorgesehen<br />

durch die Schulleitung<br />

Vorbereitungstreffen mit<br />

Schulleitung und weiteren<br />

Personen vorgesehen<br />

durch die Schulleitung, im<br />

Rahmen der Vorstellung<br />

und Information durch<br />

das Evaluationsteam<br />

Schulamtsbezirk im Rahmen der Vorstellung<br />

und Information<br />

durch das Evaluationsteam<br />

Niedersächsische durch die Schulleitung<br />

Schulinspektion (NSchI)<br />

durch jeweilige Dezernate durch das Qualitätsteam<br />

Agentur für Qualitätssicherung,<br />

Evaluation und<br />

Selbstständigkeit von<br />

Schulen (AQS)<br />

Ministerium für Bildung<br />

wählt Zertifizierungsagenturen<br />

durch die Schulleitung,<br />

während des Vorbereitungsbesuchs<br />

und<br />

Information durch das<br />

AQS-Team im Rahmen<br />

einer Gesamtkonferenz<br />

im Rahmen einer<br />

Dienstbesprechung bzw.<br />

Aushängen


Land/<br />

Bundesland<br />

bzw. Region<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

(7)<br />

Auswahl der Evaluationsschwerpunkte/<br />

-themen<br />

Sachsen 35 durch Qualitätskriterien<br />

festgelegt<br />

Sachsen-<br />

Anhalt 36<br />

Schleswig-<br />

Holstein 37<br />

durch Qualitätsrahmen<br />

festgelegt<br />

durch Qualitätsbereiche<br />

festgelegt<br />

Thüringen 38 einerseits durch Qualitätsrahmen<br />

festgelegt,<br />

andererseits kann Schule<br />

Beobachtungsschwerpunkte<br />

festsetzen<br />

Land/<br />

Bundesland<br />

bzw. Region<br />

(10)<br />

Vorstellung<br />

der Ergebnisse<br />

Schweiz 39 Gesamtkollegium<br />

(8)<br />

Auswahl der EvaluatorInnen<br />

Sächsisches Bildungsinstitut,<br />

Abteilung IV: Externe<br />

Evaluation<br />

Kultusministerium<br />

Sachsen-Anhalt<br />

Evaluationsteam ist festgelegt,<br />

kritischer Freund<br />

ist von Schulleitung zu<br />

benennen<br />

Koordinierungsstelle<br />

(Kost EVAS)<br />

Nachbereitung des Verfahrens<br />

(11)<br />

Diskussion der<br />

Ergebnisse im<br />

Kollegium<br />

(12)<br />

Ableitung von<br />

Maßnahmen<br />

Ausgewählte Systeme<br />

die<br />

Schulleitung<br />

entscheidet<br />

über die<br />

interne<br />

Kommunikation<br />

und<br />

Verarbeitung<br />

der Evaluationsergebnisse<br />

durch die<br />

Schule in<br />

Absprache mit<br />

der kantonalen<br />

Amtsstelle<br />

(9)<br />

Information des<br />

Kollegiums<br />

durch die Kontaktgruppe,<br />

die aus Schulleitung und<br />

vier bis sechs Lehrkräften<br />

besteht<br />

ein Teil des Kollegiums<br />

wird im Rahmen einer<br />

Vorstellung der EvaluatorInnen<br />

informiert, weitere<br />

Informationen erfolgen<br />

über die Schulleitung<br />

durch EVIT-BS-<br />

Schulteam (internes<br />

einberufenes Team)<br />

Schulleitung trifft die<br />

Entscheidung, ob sich<br />

das Expertenteam dem<br />

Kollegium oder der<br />

schulischen Vorbereitungsgruppe<br />

vorstellt<br />

(13)<br />

Evaluation der<br />

Maßnahmen<br />

liegt im<br />

Entscheidungsbereich<br />

der Schule<br />

(14)<br />

Unterstützung<br />

nach der<br />

externen<br />

Evaluation<br />

die Schulen<br />

verfügen über<br />

ein Globalbudget,<br />

in dessen<br />

Rahmen sie<br />

selbständig<br />

Gelder auch<br />

für externe<br />

Beratungen<br />

oder Projekte<br />

einsetzen<br />

können<br />

167


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

168<br />

Land/<br />

Bundesland<br />

bzw. Region<br />

(10)<br />

Vorstellung<br />

der Ergebnisse<br />

Österreich 40 Feedbackpräsentation<br />

der<br />

Peers<br />

Baden-<br />

Württemberg 41<br />

Bayern<br />

(Staat) 42<br />

Bayern<br />

(Nürnberg) 43<br />

Gesamtkollegium<br />

(11)<br />

Diskussion der<br />

Ergebnisse im<br />

Kollegium<br />

(12)<br />

Ableitung von<br />

Maßnahmen<br />

empfohlen durch die<br />

Schule<br />

in Gesamtlehrerkonferenz<br />

Konferenz innerhalb<br />

von innerschulischen<br />

Gremien<br />

Deutschland<br />

durch die<br />

Schule in<br />

Gesamtlehrerkonferenz<br />

durch die<br />

Schulleitung<br />

und die<br />

Schulaufsicht<br />

Konferenz empfohlen durch die<br />

Schule<br />

(13)<br />

Evaluation der<br />

Maßnahmen<br />

Folgeevaluationen<br />

möglich,<br />

aber nicht vorgeschrieben<br />

Folgeevaluationen<br />

möglich,<br />

aber nicht vorgeschrieben<br />

durch interne<br />

Evaluation<br />

(14)<br />

Unterstützung<br />

nach der<br />

externen<br />

Evaluation<br />

teilweise im<br />

Rahmen der<br />

bestehenden<br />

Strukturen<br />

vorhanden,<br />

z. B.<br />

Schulentwicklungsberater<br />

durch das<br />

Regierungspräsidium<br />

im<br />

Rahmen von<br />

Workshops,<br />

Gespräche,<br />

Beratung und<br />

Prozessbegleitung<br />

durch die<br />

Schulaufsicht<br />

sowie durch<br />

verschiedene<br />

zentrale und<br />

regionale<br />

Unterstützungsstrukturen<br />

möglich<br />

empfohlen Pädagogisches<br />

Institut<br />

der Stadt<br />

Nürnberg


Land/<br />

Bundesland<br />

bzw. Region<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

(10)<br />

Vorstellung<br />

der Ergebnisse<br />

Berlin 44 mündliche<br />

Präsentation<br />

in Schulkonferenz<br />

Brandenburg 45 Rückmeldung<br />

vor einzelnen<br />

Personengruppen<br />

vorgesehen<br />

Bremen 46 Abschlussgespräche<br />

mit<br />

Schulleitung<br />

und Kollegium<br />

vorgesehen<br />

Hamburg 47 Schulleitung,<br />

auf Wunsch<br />

auch Schulöffentlichkeit<br />

Hessen 48 Auswertungsgespräch<br />

zwischen der<br />

Schule und<br />

den InspektorInnen<br />

(11)<br />

Diskussion der<br />

Ergebnisse im<br />

Kollegium<br />

Erörterung des<br />

Berichts durch<br />

das Inspektionsteam<br />

mit<br />

der Schulleitung,<br />

den<br />

Evaluationsberatern<br />

und<br />

der Schulkonferenz<br />

(12)<br />

Ableitung von<br />

Maßnahmen<br />

Maßnahmen<br />

nicht<br />

zwingend<br />

erforderlich<br />

empfohlen durch die<br />

Schule und die<br />

Schulaufsicht<br />

empfohlen:<br />

hohes Maß an<br />

Transparenz,<br />

gemeinsame<br />

Auswertung<br />

mit dem<br />

Kollegium<br />

im Rahmen<br />

der schulinternenAuseinandersetzung<br />

mit den<br />

Ergebnissen<br />

vorgesehen<br />

Auswertungs-<br />

bzw.<br />

Schulkonferenz<br />

unter<br />

Beteiligung<br />

der<br />

zuständigen<br />

Schulaufsicht<br />

vorgesehen<br />

durch die<br />

Schule<br />

durch die<br />

Schule in<br />

Absprache mit<br />

der Schulaufsicht<br />

durch die<br />

Schule und<br />

zuständiges<br />

Staatliches<br />

Schulamt<br />

(13)<br />

Evaluation der<br />

Maßnahmen<br />

(14)<br />

Unterstützung<br />

nach der<br />

externen<br />

Evaluation<br />

vorgesehen durch Schulaufsicht<br />

oder<br />

regionale Qualifizierungsangebote<br />

möglich, bei<br />

Schulen mit<br />

erheblichem<br />

Entwicklungsbedarf<br />

erfolgt<br />

Prozessbegleitung<br />

Schulen mit<br />

erheblichen<br />

Entwicklungsbedarfen<br />

erhalten eine<br />

Nachvisitation<br />

durch interne<br />

Evaluation<br />

Bilanzgespräch<br />

mit der<br />

Schulleitung<br />

nach einem<br />

Jahr<br />

Anschlussevaluation<br />

im<br />

Turnus von<br />

vier Jahren<br />

nach Wunsch<br />

der Schule<br />

durch die<br />

Schulaufsicht<br />

durch die<br />

Referentin bei<br />

der Senatorin<br />

für Bildung<br />

sowie einem<br />

Beratungspool<br />

durch die<br />

Schulaufsicht<br />

und die<br />

Agentur für<br />

Schulberatung<br />

Unterstützung<br />

ist durch<br />

Schulberater<br />

bzw. Schulamt<br />

vorgesehen<br />

169


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

170<br />

Land/<br />

Bundesland<br />

bzw. Region<br />

Mecklenburg-<br />

Vorpommern 49<br />

Niedersachsen<br />

50<br />

Nordrhein-<br />

Westfalen 51<br />

Rheinland-<br />

Pfalz 52<br />

(10)<br />

Vorstellung<br />

der Ergebnisse<br />

Weiterleitung<br />

des Berichts<br />

an die Schulkonferenz<br />

mündliche<br />

Rückmeldung<br />

durch das Inspektionsteam<br />

vor allen<br />

Beteiligten<br />

mündliche<br />

Rückmeldung<br />

durch das<br />

Qualitätsteam<br />

an die<br />

Schulleitung<br />

und das<br />

Kollegium<br />

durch AQS-<br />

Teamleitung<br />

bei Rückmeldebesuch<br />

im<br />

Rahmen einer<br />

Gesamtkonferenz<br />

Saarland 53 Abschlussbesprechung<br />

mit<br />

Schulleitung<br />

und QM-<br />

Beauftragte,<br />

weitere<br />

Beteiligte<br />

möglich<br />

(11)<br />

Diskussion der<br />

Ergebnisse im<br />

Kollegium<br />

in Schulkonferenz<br />

vorgesehen<br />

Weitergabe<br />

des Berichts<br />

an innerschulische<br />

Gremien<br />

vorgesehen<br />

in innerschulischen<br />

Gremien<br />

(12)<br />

Ableitung von<br />

Maßnahmen<br />

durch die<br />

Schulkonferenz<br />

durch die<br />

Schule<br />

durch die<br />

Schule<br />

vorgesehen durch die<br />

Schule mit<br />

Beschluss der<br />

Gesamtkonferenz<br />

Audit ist<br />

Tagesordnungspunkt<br />

der nächsten<br />

Dienstbesprechung<br />

durch die<br />

Schule<br />

(13)<br />

Evaluation der<br />

Maßnahmen<br />

(14)<br />

Unterstützung<br />

nach der<br />

externen<br />

Evaluation<br />

vorgesehen durch<br />

Schulräte,<br />

Fach- und<br />

Schulberater<br />

möglich<br />

Nachinspektion<br />

nach vier<br />

Jahren bei<br />

gravierenden<br />

Mängeln<br />

erneute Evaluation<br />

nach<br />

vier Jahren;<br />

Nachanalyse<br />

bei gravierenden<br />

Mängeln<br />

nach einem<br />

Jahr<br />

durch interne<br />

Evaluation<br />

durch interne<br />

Evaluation<br />

und nächstes<br />

externes Audit<br />

durch Landesschulbehörde<br />

möglich<br />

k. A.<br />

durch<br />

pädagogische<br />

Serviceeinrichtungen<br />

in<br />

Rheinland-<br />

Pfalz möglich<br />

durch das<br />

Ministerium<br />

für Bildung,<br />

den Schulträger<br />

und die<br />

Schulaufsicht


Land/<br />

Bundesland<br />

bzw. Region<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

(10)<br />

Vorstellung<br />

der Ergebnisse<br />

Sachsen 54 mediengestützte<br />

Präsentation<br />

vor allen<br />

beteiligten<br />

Personengruppen<br />

Sachsen-<br />

Anhalt 55<br />

Schleswig-<br />

Holstein 56<br />

im Rahmen<br />

eines<br />

Rückmeldebesuchs<br />

durch<br />

EvaluatorInnen<br />

Weiterleitung<br />

des EVIT-BS-<br />

Abschlussberichts<br />

durch<br />

Schulleitung in<br />

Konferenz<br />

Thüringen 57 mündliche,<br />

schriftliche<br />

Rückmeldung<br />

der Evaluationsergebnisse<br />

durch das<br />

Expertenteam<br />

an die Schule<br />

(11)<br />

Diskussion der<br />

Ergebnisse im<br />

Kollegium<br />

(12)<br />

Ableitung von<br />

Maßnahmen<br />

vorgesehen durch die<br />

Schule<br />

vorgesehen durch die<br />

Schule<br />

Weitergabe<br />

des Berichts<br />

vorgesehen<br />

Evaluationsergebnisse<br />

werden dem<br />

Kollegium<br />

mündlich in<br />

Rückmeldeveranstaltung<br />

vorgestellt,<br />

schriftlicher<br />

Bericht geht<br />

nur an die<br />

Schule<br />

durch die<br />

Schulleitung<br />

in Zusammenarbeit<br />

mit der<br />

Schulaufsicht<br />

durch die<br />

Schule<br />

(13)<br />

Evaluation der<br />

Maßnahmen<br />

interne<br />

Evaluation<br />

empfohlen;<br />

weitere<br />

externe<br />

Evaluation<br />

erfolgt nach<br />

fünf Jahren<br />

Folgeevaluationen<br />

im<br />

Turnus von<br />

fünf Jahren<br />

vorgesehen<br />

Anschlussevaluationen<br />

alle vier Jahre<br />

vorgesehen<br />

weitere<br />

externe<br />

Evaluation in<br />

ca. drei Jahren<br />

vorgesehen<br />

(14)<br />

Unterstützung<br />

nach der<br />

externen<br />

Evaluation<br />

durch<br />

Sächsische<br />

Bildungsagentur<br />

in Form<br />

von Prozessmoderatoren,<br />

verschiedene<br />

Trainer, etc.<br />

durch<br />

schulfachliche<br />

ReferentInnen<br />

Unterstützungssystem<br />

des Instituts<br />

für Qualitätsentwicklung<br />

an Schulen<br />

Schleswig-<br />

Holstein<br />

Unterstützungssystem<br />

des Schulamts<br />

als Qualitätsagentur<br />

171


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

172<br />

5.2.2.3 Gestaltungsvorschläge für externe Evaluationen in der BRD und in ausgewählten<br />

Systemen<br />

Auf der Basis einer kriterienorientierten Gegenüberstellung externer Evaluationen (vgl. 5.2.2.2) werden<br />

die verschiedenen Verfahren klassifiziert, da die speziellen Empfehlungen der vorliegenden<br />

Wirksamkeitsanalyse an den Pilotversuch des Peer Reviews in QIBB gerichtet sind und eine Übertragung<br />

dieser Vorschläge lediglich anhand gleichartiger Konzeptionen, vielmehr in Bezug auf eine<br />

identische Merkmalsausprägung möglich ist. Die Charakteristik der zugrundegelegten Verfahren<br />

ermöglicht eine dreiteilige Klassifizierung der externen Evaluationen, da die genannten Verfahren<br />

in Österreich, der Schweiz und in Nürnberg vor dem Hintergrund eines Peer Reviews durchgeführt<br />

werden. In Deutschland beziehen sich die Konzeptionen überwiegend auf eine Schulinspektion,<br />

die das zweite Cluster bildet. Die Ausnahme bildet hierbei das Bundesland Saarland, da hierbei die<br />

externe Evaluation als Audit abgewickelt wird und die dritte Gruppe bildet.<br />

Im Folgenden werden Empfehlungen für die Schweiz im Rahmen der externen Evaluation in Q2E<br />

sowie für die Evaluation auf der Basis des Nürnberger Qualitätsmanagements ausgesprochen, da<br />

diese Verfahren in die Kategorie ‚Peer Review Verfahren‘ gruppiert werden.<br />

Das Konzept der externen Evaluation in Q2E (vgl. 2.3.1.1.2.5) ermöglicht einer schulischen Organisation<br />

insofern Handlungsspielraum, da die Bildungseinrichtung Evaluationsthemen bzw.<br />

-schwerpunkte teilweise selbst festsetzen und die Akquirierung eines Peers übernehmen kann.<br />

Allerdings wird insoweit der Wirkungsbereich der Rechenschaftslegung integriert, da auf der<br />

Basis der Ergebnisse Zielvereinbarungen abgeleitet werden. Die eigentliche Schulaufsicht ist in<br />

vielen Kantonen abgeschafft. An ihre Stelle treten die externe Schulevaluation und die jährlichen<br />

Reporting-/Controllinggespräche der Schulleitung mit der zuständigen kantonalen Amtsstelle. In<br />

diesem Zusammenhang wird verbindlich festgelegt, welche Maßnahmen die Schulen aufgrund der<br />

Ergebnisse der externen Schulevaluation initiieren (Burri, 15.08.2011). Vor diesem Hintergrund kann<br />

auch ansatzweise der Aspekt der Schulinspektion festgestellt werden, da sich ein Peer Review<br />

grundsätzlich auf die Unterstützung von institutionellen Lernprozessen und nicht auf eine Kontrolle<br />

der Bildungseinrichtung bezieht (vgl. 2.2.3.2). Die externe Evaluation in Q2E wird in der Broschüre<br />

‚Grundlagen der externen Evaluation‘ von lanDWehr & Steiner ausführlich beschrieben. Detaillierte<br />

Informationen bezüglich der Auswahl der EvaluatorInnen, der Evaluation von Anschlussmaßnahmen<br />

bzw. vorhandener Unterstützungsstrukturen nach dem Verfahren werden dort nicht erwähnt. Aus<br />

diesem Grund wurden bei dem Institut für Externe Schulevaluation auf der Sekundarstufe II (IFES)<br />

weitere Angaben in Bezug auf die ausgewählten Kriterien eingeholt. Bei der weiteren Verarbeitung<br />

der Ergebnisse ist eine hohe Eigenverantwortung der Schule bzw. der Schulleitung zu erkennen, da<br />

diese über die interne Kommunikation und Verarbeitung der Evaluationsergebnisse sowie über die<br />

Evaluation der Anschlussmaßnahmen entscheidet. Darüber hinaus verfügt die Schule über ein Budget,<br />

nach der externen Evaluation Projekte zu initiieren oder externe Beratungen einzuholen (Burri,<br />

15.08.2011). Diese Aspekte verdeutlichen eine hohe Selbständigkeit der Bildungseinrichtung in Bezug<br />

auf die schulische Qualitätsarbeit sowie – im Vergleich zu Deutschland – eine verhältnismäßig autonome<br />

Position der Schulleitung. Diese Tatsache ist einerseits positiv zu beurteilen, da der Schule,<br />

vielmehr der Schulleitung ein hohes Maß an Steuerungsmöglichkeiten zugesprochen wird und ein


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

großer Spielraum bezüglich der Schulentwicklung vorliegt. Allerdings könnte sich die Schulleitung<br />

auch für eine Verarbeitung der Evaluationsergebnisse entscheiden, die eine Isolation des Kollegiums<br />

vorsieht. Aus diesem Grund sollten jedenfalls Empfehlungen für diesen Prozessschritt ausgesprochen<br />

werden, das Kollegium zu integrieren und ein hohes Maß an Transparenz anzustreben. Dieser<br />

Vorschlag bezieht sich auch auf den Aspekt der Evaluation von Anschlussmaßnahmen, da dieser<br />

im Entscheidungsbereich der Schule liegt und eine externe Folgeevaluation erst nach sechs Jahren<br />

vorgesehen ist. Hierbei wird aber die Schließung der Regelkreise des Qualitätsmanagements im<br />

Allgemeinen überprüft und nicht explizit die Maßnahmen der vorangehenden externen Schulevaluation<br />

untersucht. Aus diesem Grund wäre eine interne Erhebung bezüglich der initiieren Maßnahmen<br />

anzuraten. Die enge Verbindung zwischen der Qualität der Schulleitung und den damit verbundenen<br />

Einfluss auf das Qualitätsmanagement der Schule wurde bereits in Kapitel 2.3.1.1.3 näher erläutert,<br />

der durch die hohe Autonomie sowohl Chance als auch Risiko bedeuten kann, sofern eine fehlende<br />

Unterstützung und keine offene Kommunikation bzw. Integration des Kollegiums vorliegt.<br />

Die externe Evaluation im Nürnberger Qualitätsmanagementsystem (NQS-E; vgl. 2.3.1.3.2.5) ist vor<br />

dem Hintergrund eines Peer Reviews konzipiert, um Erkenntnisse über die Qualitätsarbeit und -level<br />

der Bildungseinrichtung zu gewinnen und die Schulentwicklung zu forcieren. Aus diesem Grund sind<br />

auch keine Zielvereinbarungen auf der Basis der Evaluationsergebnisse vorgesehen. Im Hinblick auf<br />

eine hohe Akzeptanz der EvaluatorInnen, die in direktem Zusammenhang mit der Anerkennung der<br />

Evaluationsergebnisse steht, wird die Entwicklung einer Datenbank angeraten, um der zu evaluierenden<br />

Schule die Möglichkeit einzuräumen, die Mitglieder des Evaluationsteams selbst auswählen<br />

zu können. NQS-E ist auf der Basis der zugrundeliegenden Schulentwicklungsfunktion dadurch<br />

gekennzeichnet, dass die Peers der Bildungseinrichtung Empfehlungen für die Beseitigung von<br />

Qualitätsdefiziten bzw. Gestaltung der weiteren Qualitätsarbeit unterbreiten. Diese werden innerhalb<br />

einer Lehrerkonferenz von Seiten eines Mitglieds des Evaluationsteams vorgestellt. Es wird empfohlen,<br />

die Vorschläge zur weiteren Schulentwicklung vor der Ergebnispräsentation mit der Schulleitung<br />

bzw. dem NQS-Team (vgl. 2.3.1.3.2.4) zu besprechen. Hierbei ist die Tatsache auszuschließen, dass<br />

Empfehlungen vorgeschlagen werden, die bereits angedacht, im Kollegium diskutiert und unter<br />

Begründung zurückgewiesen wurden, da sich diese im Schullalltag als nicht praktikabel erwiesen<br />

haben. Möglicherweise könnte diese Gegebenheit die Wertschätzung und Akzeptanz der Evaluationsergebnisse<br />

von Seiten der Lehrkräfte in Frage stellen (Müller, 12.12.2010). Nach dem Abschluss<br />

von NQS-E sollte eine Evaluation des Verfahrens sowie eine Befragung hinsichtlich der Zufriedenheit<br />

mit dem Evaluationsteam an der evaluierten Schule durchgeführt werden, um diesbezüglich eine<br />

Rückmeldung zu erhalten, die eine Weiterentwicklung und Optimierung der externen Evaluation,<br />

z. B. in Bezug auf einen reibungslosen Ablauf oder der Nützlichkeit von Ergebnissen, ermöglicht.<br />

Um NQS-E von den anderen externen Evaluationen in Deutschland abzugrenzen, die überwiegend<br />

vor dem Hintergrund der Schulinspektion erfolgen, wird eine Umbenennung des Verfahrens in ‚Peer<br />

Review in NQS‘ vorgeschlagen.<br />

Die zweite Kategorie bezieht sich auf den Hintergrund einer Schulinspektion, deren Konzeption – mit<br />

der Ausnahme des Bundeslandes Saarland – in Deutschland übergreifend gewählt wurde. In diesem<br />

Zusammenhang liegen bei den externen Evaluationen nahezu identische Ziele vor. Bereits DeDerinG<br />

& müller stellen fest, dass trotz der verschiedenen Konzepte externer Evaluationen Konsens im<br />

173


5. Empfehlungen zur Gestaltung externer Evaluationen<br />

174<br />

Hinblick auf die Ziele der Verfahren vorliegen (Dedering & Müller, 2010, S. 303). Diese Feststellung<br />

geht mit den Erfahrungen aus dem vorangehenden Vergleich externer Evaluationen einher, da hauptsächlich<br />

die Funktionen der Schulentwicklung- bzw. Erkenntnisgewinnung vorliegen. Mit Ausnahme<br />

des Bundeslandes Brandenburg kann übergreifend der Wirkungsbereich der Rechenschaftslegung<br />

bei den Konzepten externer Evaluationen in Deutschland festgestellt werden, da alle diese Verfahren<br />

die Basis für folgende Zielvereinbarungen bildet und dieses Kriterium in der vorliegenden Arbeit mit<br />

einem Kontrollmechanismus verbunden wird (vgl. 2.2.3.5). Die externen Verfahren sind Pflichtvisitationen<br />

der Schulaufsicht (vgl. 2.2.3.2) und durch deren ‚Überwachungsbedürfnis‘ gekennzeichnet.<br />

Dabei werden sog. InspektorInnen von der Schulaufsicht ausgewählt, um die Bildungseinrichtung<br />

zu visitieren. In den Bundesländern Baden-Württemberg und Schleswig-Holstein kann ein Ansatzpunkt<br />

aus dem Peer Review konstatiert werden, da ein kritischer Freund in das Evaluationsteam<br />

integriert ist. Die Konzeption einer Metaevaluation (vgl. 2.2.3.4) ist in Deutschland in den Bundesländern<br />

Baden-Württemberg und Saarland zu verzeichnen. Ansonsten finden externe Verfahren auf<br />

der Ebene einer Primärevaluation statt. Mit Blick auf eine übergreifende Qualitätserhöhung von<br />

Bildungseinrichtungen würde ein Wechsel zwischen Primär- und Metaevaluationen möglicherweise<br />

die optimale Gestaltungsform begründen, in dem beispielsweise initiierte Anschlussmaßnahmen an<br />

eine Metaevaluation nach gewissem Zeitabstand durch eine Primärevaluation untersucht werden. Im<br />

Gegensatz dazu könnte die Verankerung überarbeiteter Prozesse oder Strukturen und das Zusammenspiel<br />

innerhalb des Qualitätsmanagements durch eine Metaevaluation erfolgen.<br />

In Bezug auf eine anstehende Schulinspektion, die mit anschließenden Zielvereinbarungen und einer<br />

zugrundeliegenden Rechenschaftspflicht verbunden ist, erhöht sich der Druck auf die Bildungseinrichtung<br />

und deren Akteure, da die Ergebnisse mit unmittelbaren Konsequenzen verbunden sind<br />

und die InspektorInnen der Schule nicht wie im Peer Review auf gleicher Augenhöhe im Sinne<br />

von ‚kritischen Freunden‘ begegnen. Gerade vor dem Hintergrund sollte während des Verfahrens<br />

eine offene und transparente Informationspolitik verfolgt werden, um unter dem Kollegium mögliche<br />

Evaluationsängste und Anspannungen beseitigen zu können. Diese Aufgabe kann allerdings nicht<br />

von schulinternen Personen übernommen werden und sollte von Seiten der InspektorInnen erfolgen.<br />

Bezüglich der Auswahl der EvaluatorInnen sollte die zu evaluierende Einheit mehr Entscheidungsspielraum<br />

erhalten, in dem beispielsweise eine Person des Teams selbst ausgewählt werden kann,<br />

da dies zu einer höheren Akzeptanz des Verfahrens und somit auch zu einer größeren Anerkennung<br />

der Ergebnisse führt. Die externen Evaluationen in Deutschland haben die Funktion, in den Bildungseinrichtungen<br />

die Schulentwicklung zu forcieren. Aus diesem Grund liegt die Forderung nahe,<br />

den Schulen Gestaltungsspielräume bei der Auswahl der Evaluationsschwerpunkte bzw. -themen<br />

einzuräumen, damit spezielle Entwicklungsbereiche näher untersucht werden können.<br />

Im Hinblick auf die Phase der Nachbereitung des externen Verfahrens wird empfohlen, die Vorstellung<br />

der Evaluationsergebnisse in jedem Fall durch die InspektorInnen vor dem gesamten Kollegium<br />

zu gewährleisten und nicht nur ausgewählte Personen zu fokussieren, da dies die Wahrnehmung in<br />

Bezug auf die externe Rückmeldung erhöht und die Möglichkeit gewährleistet, Rückfragen zu stellen.<br />

Dies bietet wiederum die Gelegenheit, das Feedback unter allen Lehrkräften und am Verfahren beteiligten<br />

Personen zu diskutieren. Vor allem die Ableitung der Anschlussmaßnahmen sollte von einer


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Partizipation und Integration des Gesamtkollegiums gekennzeichnet sein, um die Bereitschaft für<br />

eine Umsetzung von Veränderungen zu erhöhen und Betroffene als Beteiligte in die Qualitätsarbeit zu<br />

integrieren. Eine Teilnahme der Schulaufsicht in diesem Prozessschritt ist ein weiteres Indiz für den<br />

zugrundeliegenden Kontrollgedanken des Verfahrens. Die Beschreibung der Evaluationsverfahren<br />

endet in den meisten Fällen damit, dass eine Evaluation der InspektorInnen erfolgt bzw. die Evaluationsergebnisse<br />

als Vorlage für die Schließung von Zielvereinbarungen dienen. Vor dem Aspekt einer<br />

systematischen Qualitätsentwicklung sollte am Ende des externen Verfahrens die Verarbeitung der<br />

Ergebnisse bzw. Ableitung von Folgeschritten anhand des PDCA-Kreislaufs erfolgen.<br />

Vorhandene Unterstützungsstrukturen bieten den Schulen nach der externen Evaluation die Möglichkeit,<br />

eine weitere Verarbeitung der Ergebnisse aufgrund der schulspezifischen Situation optimierend<br />

zu gestalten. Dies wird den Bildungseinrichtungen in Deutschland nicht flächendeckend<br />

bzw. teilweise durch die Schulaufsicht gewährt. Im letzteren Fall liegt wieder das hierarchische<br />

Prinzip zugrunde, da die Bildungseinrichtung im Abhängigkeitsverhältnis zur Schulaufsicht steht. In<br />

Bezug auf eine angestrebte Schulentwicklung sollte allerdings auch die Möglichkeit gewährt werden,<br />

unabhängige Experten oder Einrichtungen kontaktieren zu können.<br />

Die dritte Gruppierung der untersuchten externen Evaluationen bildet das Audit, das im Bundesland<br />

Saarland im Rahmen des Qualitätsmanagements DIN EN ISO durchgeführt wird. Diese Konzeption<br />

externer Evaluation bildet nicht den Fokus der vorliegenden Arbeit, zumal Empfehlungen auf der<br />

Basis des untersuchten Peer Review Verfahrens übertragen werden. Als ableitbare Empfehlungen<br />

können daher die angeführten Vorschläge in Kapitel 5.2.1 genannt werden.<br />

175


6. Zusammenfassung und Ausblick<br />

176<br />

6. Zusammenfassung und Ausblick<br />

Die Implementierung und Anwendung von Qualitätsmanagementsystemen entwickelt sich im Laufe<br />

der Zeit auch in vielen schulischen Einrichtungen fast zu einer Selbstverständlichkeit. Allerdings stellt<br />

sich hierbei die Frage, ob sich die Qualität der Schulen auf der Basis kontinuierlicher Qualitätsarbeit<br />

verbessert. In diesem Zusammenhang bleibt der Aspekt der Wirksamkeit von Qualitätsmanagementsystemen<br />

in Bildungseinrichtungen derzeit offen, wobei erste Modelle und Studien in Bezug<br />

auf die Nützlichkeit externer Evaluationen sowie intensive Diskussionen zu diesem Thema vorliegen.<br />

Vor diesem Hintergrund stellte sich die Frage, wie die schulische Wirksamkeit externer Evaluationen<br />

erhöht werden kann bzw. wie externe Evaluationen weiterentwickelt werden können. Auf dieser Basis<br />

erfolgte zunächst eine thematische Einordnung der Wirksamkeitsanalyse in den Gesamtkontext,<br />

in dem die Thematik des Qualitätsmanagements in schulischen Einrichtungen, insbesondere der<br />

Bereich externer Evaluationen sowie der Aspekt der Wirksamkeit, näher beleuchtet wurde. Mit Blick<br />

auf die vorliegende Wirksamkeitsanalyse wurde folgendes mehrstufiges Modell entwickelt:<br />

• Erste Ebene: Die Zufriedenheit mit der externen Evaluation<br />

Auf der Reaktionsebene wird die Zufriedenheit der Teilnehmenden mit der externen Evaluation<br />

erhoben, in dem Gefühle, Bewertungen und Einschätzungen der Beteiligten zu den Phasen<br />

erhoben werden.<br />

• Zweite Ebene: Schulische Innovationen als Folge der externen Evaluation<br />

Der erzielte Lernerfolg der Institution bezieht sich auf eine Aneignung von Wissen, Fähigkeiten<br />

und Fertigkeiten auf der Basis des Peer Reviews. Dabei wird die Umsetzung von Maßnahmen<br />

als Folge der externen Evaluation betrachtet. In diesem Zusammenhang wurde anhand des<br />

Concerns-Based Adoption Models von hall & horD untersucht, ob sich die Lehrkräfte von<br />

abgeleiteten Maßnahmen betroffen fühlen (Stages of Concern) und daraufhin ihr Verhalten<br />

ändern (Levels of Use). Bei der Einführung von Innovationen ist die Entwicklung grundsätzlich<br />

vorerst durch eine emotionale Betroffenheit gekennzeichnet, indem sich die Person mit der<br />

Maßnahme auseinandersetzt und im zweiten Schritt ihr Verhalten ändert. Im mustergültigen<br />

Fall ergibt sich eine lineare, stufenweise Entwicklung, in dem ein Gefühl oder Empfinden (Stages<br />

of Concern) mit einer Verhaltensänderung (Levels of Use) verbunden ist.<br />

• Dritte Ebene: Änderung des Outputs der Institution in Folge der externen Evaluation<br />

Erzielte Ergebnisse für die gesamte Organisation, die aufgrund einer erfolgreichen Anwendung<br />

des erlernten Wissens, der angeeigneten Fähigkeiten und Fertigkeiten von Teilnehmern<br />

vorliegen, tragen zur Veränderung des Outputs bei. Aufgrund der zeitnahen Analyse des<br />

Pilotversuchs erfolgte eine Einschätzung der Lehrkräfte zur Veränderung des Outputs, also<br />

der Lernleistungen der SchülerInnen, die aus einzelnen Maßnahmen nach dem Peer Review<br />

resultieren.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

• Vierte Ebene: Resultate der Änderung des Outcomes der Institution in Folge der externen<br />

Evaluation<br />

Innovationen tragen dazu bei, dass sich das Leben der Betroffenen ändert. Berufs- bzw. Qualifikationsabschlüsse<br />

wirken sich beispielsweise auf die Einkommensentwicklung aus. Diese<br />

Ebene wurde in der Wirksamkeitsanalyse nicht berücksichtigt.<br />

• Fünfte Ebene: Return on Investment der externen Evaluation<br />

Die Wirtschaftlichkeit eines Verfahrens bezieht sich auf die Betrachtung von Nutzen versus<br />

Kosten. Die Betrachtung der Wirtschaftlichkeit mit Blick auf die Schule sowie am Verfahren<br />

beteiligter Personen wird einschätzend-antizipativ berücksichtigt. Aus diesem Grund erfolgt<br />

die Gegenüberstellung als Verhältnis zwischen erzieltem Nutzen und dem entstandenen Aufwand<br />

auf persönlicher und organisationaler Ebene.<br />

Die vorliegende Analyse der Wirksamkeit bezieht sich auf den Pilotversuch zur Adaptierung des Europäischen<br />

Peer Review Verfahrens auf berufsbildende Schulen in Österreich. Der Forschungsprozess<br />

ist in drei Phasen untergliedert. Auf der Basis der Erfahrungen eines Pretests wurden alle Personen<br />

mit direktem Bezug zum Verfahren befragt, um Rückmeldungen über vorhandene Probleme bei<br />

der Durchführung des Peer Reviews zu erhalten. Ein weiterer Erhebungsschritt bezog sich auf alle<br />

Lehrkräfte der Pilotschulen, um die Adaptierung von Maßnahmen im Sinne des Grades der Betroffenheit<br />

(Stages of Concern) und des Grades der Verhaltensänderung (Levels of Use) einschätzen<br />

zu können. Diese Ergebnisse bildeten die Basis für die Auswahl von Pilotschulen, die anschließend<br />

qualitativ untersucht wurden, um weitergehende Erkenntnisse und Verbesserungsvorschläge für die<br />

Optimierung des Peer Reviews zu erhalten und diese in weitere Empfehlungen einarbeiten zu können.<br />

Auf der Basis dieser ermittelten Ergebnisse wurden sowohl Empfehlungen für das Peer Review<br />

Verfahren als auch allgemeine Empfehlungen zur Gestaltung externer Evaluationen abgeleitet, um<br />

die Forschungsfrage abschließend beantworten zu können. Die Wirksamkeit externer Evaluationen<br />

kann durch eine hohe Partizipation und Integration aller Lehrkräfte intensiviert werden, da dies<br />

sowohl zur Akzeptanz des Verfahrens als auch zu einer höheren Bereitschaft für eine Umsetzung von<br />

Veränderungen führt, wobei eine Implementierung von Innovationsmaßnahmen letztendlich auch<br />

den Ausgangspunkt für die Wirksamkeit externer Evaluationen darstellen. Darüber hinaus bewirken<br />

eine offene und transparente Informationspolitik zu den einzelnen Phasen der externen Verfahren<br />

eine höhere Identifikation mit der externen Evaluation. Ferner ist bezüglich der Evaluationsinhalte<br />

eine Auswahl von Wahlmöglichkeiten zu gewährleisten, um den Bildungseinrichtungen eigene<br />

Gestaltungsspielräume bei der Durchführung der externen Evaluation zu ermöglichen und eine<br />

Anerkennung des Verfahrens zu stärken. Auch die Gewährleistung eines ausreichenden Zeitfensters<br />

ist mit Blick auf die Qualität der einzelnen Komponenten zu berücksichtigen. Übergreifend sollte eine<br />

anwendungsbezogene Gestaltungsweise des Verfahrens praktiziert werden, um das Engagement<br />

der beteiligten Personen auf die externe Evaluation zu fokussieren.<br />

177


6. Zusammenfassung und Ausblick<br />

178<br />

Auf der Basis dieser abgeleiteten Ergebnisse erfolgte eine kriterienorientierte Gegenüberstellung<br />

von externen Evaluationen, um die unterschiedlichen Konzeptionen mit dem vorliegenden Untersuchungsgegenstand<br />

bzw. anhand der entwickelten Wirksamkeitsaspekte zu vergleichen und<br />

anschließend weitere Gestaltungsvorschläge ableiten zu können.<br />

Insgesamt stellt die Wirksamkeit externer Evaluation ein zentrales Element der Qualitätsentwicklung<br />

in beruflichen Schulen dar. Vor diesem Hintergrund wird eine systematische und langfristige Betrachtung<br />

von Wirksamkeitsanalysen angeraten. Angesichts der Bedeutung dieser Herausforderung wäre<br />

eine periodische Erfassung der Wirksamkeit anzuraten. Dafür sollten für zukünftige Analysen weitreichendere<br />

Daten zur Verfügung stehen und insbesondere die Follow-up-Planung näher erfassen.


7. Anhang<br />

7.1 Literaturverzeichnis<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Achtenhagen, F. & Baethge, M. (2005). Kompetenzentwicklung unter einer internationalen Perspektive –<br />

makro- und mikrostrukturelle Aspekte. In P. Gonon (Hrsg.), Kompetenz, Kognition und neue Konzepte<br />

der beruflichen Bildung. 1. Aufl. (Schriftenreihe der Sektion Berufs- und Wirtschaftspädagogik der DGfE,<br />

S. 25–54). Wiesbaden: VS Verl. für Sozialwiss.<br />

Ackeren, I. van. (2003). Evaluation, Rückmeldung und Schulentwicklung. Erfahrungen mit zentralen Tests,<br />

Prüfungen und Inspektionen in England, Frankreich und den Niederlanden (1. Aufl.). s.l.: Waxmann Verlag<br />

GmbH.<br />

Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen, Agentur für Qualitätssicherung,<br />

Evaluation und Selbstständigkeit von Schulen. Verfügbar unter: http://www.aqs.rlp.de/impressum/<br />

[17.7.2011].<br />

Baer, D. & Wermke, M. (2002). Duden Fremdwörterbuch (7., neu bearb. und erw. Aufl., Weltbild<br />

Sonderausgabe.). Der Duden: Bd. : in zwölf Bänden; das Standardwerk zur deutschen Sprache / hrsg.<br />

vom Wissenschaftlichen Rat der Dudenredaktion: Matthias Wermke; Bd. 5. Augsburg: Dudenverl.; Weltbild<br />

Verlag.<br />

Bals, T., Hegmann, K. & Wilbers, K. (Hrsg.). (2009). Qualität in Schule und Betrieb: Forschungsergebnisse<br />

und gute Praxis ; Tagungsband zu den 15. Hochschultagen Berufliche Bildung 2008 in Nürnberg. Aachen:<br />

Shaker.<br />

Balzer, L. (2009). Evaluation im Bildungsbereich: Ein Ländervergleich zwischen Deutschland, Österreich und<br />

der Schweiz. In T. Widmer, W. Beywl & C. Fabian (Hrsg.), Evaluation. Ein systematisches Handbuch. 1. Aufl.<br />

(S. 193–199). s.l.: VS Verlag für Sozialwissenschaften (GWV).<br />

Bauer, K.-O. (2004). Evaluation – via regia zu besserer Qualität in Schule und Unterricht? In H. Günter<br />

Holtappels, K. Klemm, H. Pfeiffer, H.-G. Rolff & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung.<br />

Daten, Beispiele und Perspektiven (Eine Veröffentlichung der Arbeitsstelle für Schulentwicklungsforschung<br />

der <strong>Universität</strong> Dortmund, S. 161–186). Weinheim: Juventa Verl.<br />

Bayerische Staatsministerien für Unterricht und Kultus und Wissenschaft, Forschung und Kunst (2006).<br />

Amtsblatt, 10, S. 101–110.<br />

Bayerisches Staatsministerium für Unterricht und Kultus. (2011, 14. Juni). Stiftung Bildungspakt Bayern.<br />

Verfügbar unter: http://www.bildungspakt-bayern.de/ [15.6.2011].<br />

Behrens, S. & Esser, C. (2003). Qualitätsmanagement in beruflichen Schulen – Eignung des EFQM-Modells für<br />

Excellence. Berufsbildung in Wissenschaft und Praxis (1), 40–44.<br />

Berkemeyer, N. & Holtappels, H. Günter. (2006). Steuergruppen als organisationsinterner Akteur zur<br />

Qualitätssicherung und Qualitätsentwicklung? In F. Eder (Hrsg.), Qualität durch Standards? Beiträge zum<br />

Schwerpunktthema der 67. Tagung der AEPF (S. 173–186). Münster: Waxmann.<br />

Binder, H.-M. & Trachsler, E. (2002). wif! – Projekt „Neue Schulaufsicht an der Volksschule“: Externe Evaluation.<br />

Luzern.<br />

Bohlinger, S. & Münk, D. (2009). Qualitätssicherungsansätze für die Berufliche Bildung im europäischen<br />

Vergleich. In T. Bals, K. Hegmann & K. Wilbers (Hrsg.), Qualität in Schule und Betrieb. Forschungsergebnisse<br />

und gute Praxis ; Tagungsband zu den 15. Hochschultagen Berufliche Bildung 2008 in Nürnberg (S.<br />

127–137). Aachen: Shaker.<br />

Böttcher, W. & Keune, M. (2011). Wirkungsanalyse der Schulinspektion: Empirische Ergebnisse aus<br />

Deutschland. In C. Quesel, V. Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der<br />

externen Schulevaluation (S. 123–144). Bern: hep.<br />

Böttcher, W., Keune, M. & Neiwert, P. (2010). „Schulinspektion in Hessen – Wirkungen auf die<br />

Qualitätsentwicklung von Schulen und die Arbeit der Schulaufsicht“. Münster.<br />

179


7. Anhang<br />

180<br />

Brägger, G., Bucher, B. & Landwehr, N. (2005). Schlüsselfragen zum Entwicklungsstand der externen<br />

Schulevaluation. In G. Brägger, B. Bucher & N. Landwehr (Hrsg.), Schlüsselfragen zur externen<br />

Schulevaluation. 1. Aufl. (Pädagogik, S. 19–76). Bern: hep.<br />

Bräu, K. (2009). Schulentwicklung 2020 – Wissenschaftliche Begleitung als „Lernberatung“ für lernende<br />

Schulen. In D. Bosse & P. Posch (Hrsg.), Schule 2020 aus Expertensicht. Zur Zukunft von Schule, Unterricht<br />

und Lehrerbildung. 1. Aufl. (S. 315–320). s.l.: VS Verlag für Sozialwissenschaften (GWV).<br />

Brimblecombe, N., Ormston, M. & Shaw, M. (1996). Teachers‘ perceptions of inspections. In J. Ouston, P. Earley<br />

& B. Fidler (Hg.), Ofsted-Inspections: the early experience. London: Fulton.<br />

Brimblecombe, N., Ormston, M. & Shaw, M. (1995). Teachers’ Perceptions of School Inspection: a stressful<br />

experience. Cambridge Journal of Education, 25 (1), 53.<br />

Brunnhuber, M. (2009). Entwicklung und Erprobung eines Qualitätsmanagements für berufliche Schulen<br />

in Bayern (QmbS). Dissertation, Ludwig Maximilian <strong>Universität</strong>. München. Verfügbar unter: http://edoc.<br />

ub.uni-muenchen.de/10311/ [1.11.2009].<br />

Brunnhuber, M. (2009). Wie funktioniert QmbS – ein Zwischenbericht. vlb-akzente, (03-04/2009), 21–23.<br />

Brunnhuber, M. & Kennerknecht, M. (2008, 13. März). Qualitätsmanagement an beruflichen Schulen in Bayern:<br />

Das Ganze ist mehr als die Summe seiner Teile. Nürnberg: Hochschultage Berufliche Bildung, Bals, Thomas;<br />

Hegmann, Kai; Wilbers, Karl. Verfügbar unter: http://www.kibb.de/cps/rde/xbcr/SID-3C5594CA-7F95FDC8/<br />

kibb/Praesentation_HT08_WS01_Kennerknecht_Brunnhuber.pdf [23.9.2009].<br />

Brunnhuber, M. & Kennerknecht, M. (2007). Individualfeedback: Qualität durch individuelles Lernen.<br />

Berufsbildung, 61 (107/108), 44–46.<br />

Buchen, H., Horster, L. & Rolff, H.-G. (1995). Ein neues Konzept der Schulentwicklung. In H. Buchen (Hrsg.),<br />

Schulleitung und Schulentwicklung. Ein Reader (Raabe Nachschlagen-Finden, S. 6–12). Stuttgart: Raabe.<br />

Bühl, A. (2008). SPSS 16: Einführung in die moderne Datenanalyse (11., überarb. und erw. Aufl.).<br />

st – Scientific tools. München: Pearson Studium. Verfügbar unter: http://deposit.d-nb.de/cgi-bin/<br />

dokserv?id=3091188&prov=M&dok_var=1&dok_ext=htm / http://www.gbv.de/dms/ilmenau/toc/562978054.<br />

PDF.<br />

Bülow-Schramm, M. (2006). Qualitätsmanagement in Bildungseinrichtungen. Studienreihe Bildung und<br />

Wissenschaftsmanagement: Bd. 6. Münster: Waxmann. Verfügbar unter: http://www.gbv.de/dms/bs/<br />

toc/522227414.pdf / http://www.waxmann.com/kat/1752.html.<br />

Buichl, M., Heinrich, M., Wilbers, K. & Wittmann, M. (2010). Leitfaden zur Modellierung von Prozessen am<br />

Fachbereich Wirtschaftswissenschaften der <strong>Friedrich</strong>-<strong>Alexander</strong>-<strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg, <strong>Universität</strong><br />

<strong>Erlangen</strong>-Nürnberg. Nürnberg.<br />

Buichl, M. & Wilbers, K. (2009). Nürnberger Qualitätsmanagement an beruflichen Schulen. vlb-akzente, 08-09,<br />

S. 10–12.<br />

Bundesinstitut für Berufsbildung (BIBB). (2011, 01. Januar), BIBB A1.2 Internetredaktion, letzte Bearbeitung<br />

durch: Kuehn, Bernd (Administrator). Verfügbar unter: http://www.bibb.de/de/impressum.htm [2.8.2011].<br />

Bundesministerium für Unterricht, Kunst und Kultur (Hrsg.). (2011). Berufsbildende Schulen in Österreich: Eine<br />

Informationsbroschüre der Sektion Berufsbildung (Berufsbildendes Schulwesen, Erwachsenenbildung<br />

und Schulsport). Verfügbar unter: http://www.abc.berufsbildendeschulen.at/de/download.<br />

asp?id=33&theme=Information [10.6.2011].<br />

Burkhard, C. (2005). Ergebnisorientierte Systemsteuerung: Konsequenzen für die externe Evaluation. In<br />

G. Brägger, B. Bucher & N. Landwehr (Hrsg.), Schlüsselfragen zur externen Schulevaluation. 1. Aufl.<br />

(Pädagogik, S. 79–110). Bern: hep.<br />

Burri, T. (2011, 15. August). Externe Evaluation an beruflichen Schulen (E-Mail).<br />

Capaul, R. (2009, 14. Dezember), Interview mit Melanie Buichl. Sankt Gallen/Nürnberg.<br />

Capaul, R. (2002). Die Bedeutung der Schulleitung bei der Gestaltung von Schulinnovationsprozessen. Journal<br />

für Schulentwicklung, 6 (2), 16–30.<br />

Capaul, R. (2002a). Über die Bedeutung der Schulleitung bei der Gestaltung von Schulinnovationsprozessen.<br />

Zeitschrift für Berufs- und Wirtschaftspädagogik, 98 (1), 56–70.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Carstensen, D. (September 1997). Wirksamkeit der internen und externen Evaluation von Lehre und Studium<br />

(HIS-Hochschul-Informations-System GmbH, Hrsg.) (Nr. A 12/97). Hannover.<br />

Chapman, C. (2001). Changing classrooms through inspection. School Leadership Management, 21 (1), 59–73.<br />

Cuckle, P. & Broadhead, P. (1999). Effects of Ofsted inspection on school development and staff morale. In C.<br />

Cullingford (Hrsg.), An inspector calls – Ofsted and its effect on school standards (176–187). London: Kogan.<br />

Cullingford, C. & Daniels, S. (1999). Effects of Ofsted inspections on school performance. In C. Cullingford<br />

(Hg.), An inspector calls – Ofsted and its effect on school standards (59-69). London: Kogan.<br />

Cuttance, P. (1994). Quality Assurance in Education Systems. Studies in Educational Evaluation (20), 99–112.<br />

de Wolf, I. F. & Janssens, F. J. G. (2007). Effects and side effects of inspections and accountability in education:<br />

an overview of empirical studies. Oxford Review of Education, 33 (3), 379–396.<br />

Dedering, K. & Müller, S. (2010). School improvement through inspections? First empirical insights from<br />

Germany. Journal of Educational Change, 12 (3), 301–322.<br />

Dedering, K. & Müller, S. (2008). Schulinspektion in Deutschland – Forschungsbereiche und -desiderata. In W.<br />

Böttcher (Hrsg.), Bildungsmonitoring und Bildungscontrolling in nationaler und internationaler Perspektive.<br />

<strong>Dokument</strong>ation zur Herbsttagung der Kommission Bildungsorganisation, -planung, -recht (KBBB) (S.<br />

241–252). Münster: Waxmann.<br />

Deutsche Gesellschaft zur Zertifizierung von Managementsystemen. Das neue EFQM-Modell 2010 – DQS<br />

Deutschland. Verfügbar unter: https://de.dqs-ul.com/index.php?id=4071 [16.7.2011].<br />

Diekmann, A. (2010). Empirische Sozialforschung: Grundlagen, Methoden, Anwendungen (Orig.-Ausg., vollst.<br />

überarb. und erw. Neuausg. 2007, 4. Aufl., [21. Aufl. der Gesamtausg.]. Rororo Rowohlts Enzyklopädie: Bd.<br />

55678. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl. Verfügbar unter: http://www.gbv.de/dms/ilmenau/<br />

toc/622636618.PDF.<br />

DIN Deutsches Institut für Normung e. V. (2009). Ein Qualitätsmanagementansatz (ISO 9004:2009);<br />

Dreisprachige Fassung EN ISO 9004:2009. Berlin: Beuth Verlag GmbH.<br />

DIN Deutsches Institut für Normung e. V. (2008). Qualitätsmanagementsysteme – Anforderungen (ISO<br />

9001:2008); Dreisprachige Fassung EN ISO 9001:2008. Berlin: Beuth Verlag GmbH.<br />

DIN Deutsches Institut für Normung e. V. (2005). Qualitätsmanagementsysteme – Grundlagen und Begriffe (ISO<br />

9000:2005); Dreisprachige Fassung EN ISO 9000:2005. Berlin: Beuth Verlag GmbH.<br />

Ditton, H. (2009). Evaluation und Qualitätssicherung. In R. Tippelt & B. Schmidt (Hrsg.), Handbuch<br />

Bildungsforschung. 2. Aufl. (S. 607–623). VS Verlag für Sozialwissenschaften (GWV).<br />

Döbert, H., Rürup, M. & Dedering, K. (2008). Externe Evaluation von Schulen in Deutschland – die Konzepte<br />

der Bundesländer, ihre Gemeinsamkeiten und Unterschiede. In H. Döbert & K. Dedering (Hrsg.), Externe<br />

Evaluation von Schulen. Historische, rechtliche und vergleichende Aspekte (S. 63–152). Münster: Waxmann.<br />

Dubs, R. (2009). Qualitätsmanagement: Grundbegriffe und Systematik. In H. Buchen & H.-G. Rolff (Hrsg.),<br />

Professionswissen Schulleitung. 2., erw. Aufl. (S. 1206–1270). Weinheim: Beltz.<br />

Dubs, R. (2007). Erweiterte Selbstständigkeit der Einzelschule und Entwicklung von Schulqualität in der<br />

Schweiz – Eine kritische Zwischenbilanz. In J. van Buer & C. Wagner (Hrsg.), Qualität von Schule. Ein<br />

kritisches Handbuch (S. 515–526). Frankfurt am Main: Lang.<br />

Dubs, R. (2005). Die Führung einer Schule: Leadership und Management (2. Aufl.). Pädagogik. Stuttgart:<br />

Steiner. Dubs, R. (2006). Qualitätsmanagement: Grundbegriffe und Systematik. In H. Buchen & H.-G. Rolff<br />

(Hrsg.), Professionswissen Schulleitung (S. 1206–1270). Weinheim: Beltz.<br />

Dubs, R. (2004). Qualitätsmanagement für Schulen (2. Aufl. (Nachdr.)). Studien und Berichte des IWP: Bd. 13.<br />

St. Gallen: Inst. für Wirtschaftspädag.<br />

Dubs, R. (1994). Die Führung einer Schule: Leadership und Management ; mit 12 Tabellen (Lizenzausg.).<br />

Stuttgart: Steiner. Verfügbar unter: http://www.dandelon.com/intelligentSEARCH.nsf/alldocs/DD94AC7970C<br />

0CC42C1257176004A364E/.<br />

EFQM (Hrsg.). (1999). Das EFQM-Modell für Excellence: Öffentlicher Dienst und soziale Einrichtungen. Brüssel.<br />

181


7. Anhang<br />

182<br />

Ehren, M. C. M. & Visscher, A. J. (2010). TOWARDS A THEORY ON THE IMPACT OF SCHOOL INSPECTIONS.<br />

British Journal of Educational Studies, 54 (1), 51–72.<br />

Ehren, M. C. M. & Visscher, A. J. (2008). THE RELATIONSHIPS BETWEEN SCHOOL INSPECTIONS, SCHOOL<br />

CHARACTERISTICS AND SCHOOL IMPROVEMENT. British Journal of Educational Studies, 56 (2), 205–227.<br />

Ehren, M. C. M. & Visscher, A. J. (2006). Towards a theory on the impact of school inspections. British Journal<br />

of Educational Studies, 54 (1), 51–72.<br />

Ernst, S. (2008). Manual Lehrevaluation. Wiesbaden: VS Verlag für Sozialwissenschaften / Springer Fachmedien<br />

Wiesbaden GmbH Wiesbaden. Verfügbar unter: http://dx.doi.org/10.1007/978-3-531-91198-4.<br />

Euler, D. (2004). Qualitätsentwicklung in der Berufsausbildung. Verfügbar unter: www.edudoc.ch/static/<br />

infopartner/iwp_fs/2005/iwp28_250105.pdf [1.7.2011].<br />

European Foundation for Quality Management; Deutsche Gesellschaft für Qualität. (2003). Die Grundkonzepte<br />

der Excellence. Frankfurt am Main: Deutsche Gesellschaft für Qualität. Verfügbar unter: http://www.efqm.<br />

org.<br />

Feldmayer, J. & Seidenschwarz, W. (2005). Marktorientiertes Prozessmanagement: Wie Process Mass<br />

Customization Kundenorientierung und Prozessstandardisierung integriert. München: Vahlen.<br />

Fidler, B., Earley, P. & Ouston, J. (1995). Ofsted school improvement through inspection. European Conference<br />

on Educational Research, Bath University.<br />

Fidler, B., Ouston, J. & Earley, P. (1994). Ofsted inspections and their contribution to school development.<br />

Annual Conference of the British Educational Research Association, Oxford University.<br />

Fitz-Gibbon, C. T. & Stephenson-Forster, N. J. (1999). Is Ofsted helpful? In C. Cullingford (Hrsg.). An inspector<br />

calls – Ofsted and its effect on school standards (97–118). London: Kogan.<br />

Flick, U. (2009). Sozialforschung: Methoden und Anwendungen ; ein Überblick für die BA-Studiengänge<br />

(Orig.-Ausg.). Rororo Rowohlts Enzyklopädie: Bd. 55702. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl.<br />

Verfügbar unter: http://www.gbv.de/dms/ilmenau/toc/568946812.PDF / http://deposit.d-nb.de/cgi-bin/<br />

dokserv?id=3120486&prov=M&dok_var=1&dok_ext=htm.<br />

Flick, U. (Hrsg.). (2006). Qualitative Sozialforschung: Eine Einführung (4. Aufl., vollst. überarb. und erw.<br />

Neuausg.). Rororo Rowohlts Enzyklopädie: Bd. 55654. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl.<br />

Verfügbar unter: http://www.gbv.de/dms/hebis-darmstadt/toc/181803488.pdf.<br />

Fullan, M. (1999). Die Schule als lernendes Unternehmen: Konzepte für eine neue Kultur in der Pädagogik.<br />

Stuttgart: Klett-Cotta.<br />

Fußstetter, H. (2008, 14. März). Qualitätsmanagement an Schulen – Beurteilung aus Sicht eines externen<br />

Insiders. Nürnberg, 15. Hochschultage Berufliche Bildung 2008. Verfügbar unter: www.kibb.de/…/<br />

Praesentation_HT08_WS01_Fussstetter.pdf [3.6.2011].<br />

Gärtner, H., Hüsemann, D. & Pant, H. A. (2009). Wirkungen von Schulinspektion aus Sicht betroffener<br />

Schulleitungen. Die Brandenburger Schulleiterbefragung. Empirische Pädagogik, 23 (1), 1–18.<br />

Gärtner, H. & Wurster, S. (2009). Befragung zur Wirkung von Schulvisitation in Brandenburg: Ergebnisbericht.<br />

Berlin: Institut für Schulqualität der Länder Berlin und Brandenburg.<br />

Galetzka, C. (2008, 17. März). Schulen in der Verantwortung – Q2E in der Praxis. Nürnberg: Institut für<br />

Qualitätsentwicklung, Hessen, 15. Hochschultage Berufliche Bildung. [29.6.2011].<br />

George, A. A. (2008). The stages of concern questionnaire (2. print. with minor add. and corr.).<br />

Glaser, B. G., Strauss, A. L., Paul, A. T., Kaufmann, S. & Hildenbrand, B. (2010). Grounded theory: Strategien<br />

qualitativer Forschung (3., unveränd. Aufl.). Programmbereich Gesundheit. Bern: Huber. Verfügbar unter:<br />

http://deposit.d-nb.de/cgi-bin/dokserv?id=3499336&prov=M&dok_var=1&dok_ext=htm.<br />

Gonon, P. (2001). Qualitätssysteme auf dem Prüfstand: Die neue Qualitätsdiskussion in Schule und Bildung ;<br />

[Analyse und Perspektiven] (3., aktualisierte Aufl.). Pädagogik bei Sauerländer Schwerpunkt: Bd. 5. Aarau:<br />

Bildung Sauerländer.<br />

Goodlad, J. I. (1991). Teachers for our nation‘s schools (2. printing.). The Jossey-Bass Higher Education Series.<br />

San Francisco: Jossey-Bass. Verfügbar unter: http://www.gbv.de/dms/bowker/toc/9781555422707.pdf.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Gray, C. & Gardner, J. (1999). The Impact of School Inspections. Oxford Review of Education, 25 (4), 455–468.<br />

Greubel, M. (2010). EQARF – Europäischen Bezugsrahmen für die Qualitätssicherung. vlb-akzente (02).<br />

Verfügbar unter: http://www.vlb-bayern.de/index.php?option=com_content&view=article&id=1100:eq<br />

arf--europaeischen-bezugsrahmen-fuer-die-qualitaetssicherung-&catid=153:akzente-201002&Itemid=225<br />

[15.6.2011].<br />

Gutknecht-Gmeiner, M. (2009). Machbarkeitsstudie zur Umsetzung der Ergebnisse der europäischen Peer<br />

Review Projekte an österreichischen berufsbildenden Schulen: Endbericht (öibf – Österreichisches Institut<br />

für Berufsbildungsforschung, Hrsg.). Wien.<br />

Gutknecht-Gmeiner, M. (2008). Peer Review in der Berufsbildung: Projekte und Erfahrungen – ein Reader. Wien.<br />

Gutknecht-Gmeiner, M. & Österreichisches Institut für Berufsbildungsforschung. (2007). Europäisches Peer-<br />

Review-Handbuch für die berufliche Erstausbildung: Peer-Review als Instrument der Qualitätssicherung und<br />

-entwicklung in der beruflichen Erstausbildung ; Leonardo-da-Vinci-Projekt AT/04/C/F/TH-82000 ; [peer<br />

review in initial VET]. Wien: ÖIBF – Österr. Inst. für Berufsbildungsforschung.<br />

Gutknecht-Gmeiner, M. (2007, 5. März). Das Europäische Peer Review Verfahren: Impulsveranstaltung.<br />

Gutknecht-Gmeiner, M. (2006). Peer Review in der beruflichen Erstausbildung in Europa. In S. Basel,<br />

D. Giebenhain & J. Rützel (Hrsg.), Peer-Evaluation an beruflichen Schulen. Impuls für dauerhafte<br />

Schulentwicklung durch Öffnung nach außen (Darmstädter Beiträge zur Berufspädagogik, S. 117–139).<br />

Paderborn: Eusl.<br />

Hall, G. E. & Hord, S. M. (2011). Implementing change: Patterns, principles, and potholes (3. ed.). Boston:<br />

Pearson.<br />

Hall, G. E. & Hord, S. M. (1987). Change in schools: Facilitating the process. SUNY series in educational<br />

leadership. Albany, N.Y: State University of New York Press. Verfügbar unter: http://site.ebrary.com/lib/<br />

academiccompletetitles/home.action.<br />

Hanushek, E. A. & Raymond, M. E. (2005). Does school accountability lead to improved student performance?<br />

Journal of Policy Analysis and Management, 24 (2), 297–327.<br />

Hartfiel, G. (1982). Wörterbuch der Soziologie. Stuttgart.<br />

Heinrich, A. (2011, 9. August), Interview mit Melanie Buichl. Saarbrücken /Nürnberg.<br />

Helmke, A., Hornstein, W. & Terhart, E. (2000). Qualität und Qualitätssicherung im Bildungsbereich. Zeitschrift<br />

für Pädagogik (41. Beiheft).<br />

Hermanns, H., Tkocz, C. & Winkler, H. (1984). Berufsverlauf von Ingenieuren: Biografie-analytische Auswertung<br />

narrativer Interviews. Campus-Forschung: Bd. 386. Frankfurt Main u.a.: Campus-Verl.<br />

Hessisches Kultusministerium. Institut für Qualitätsentwicklung. Verfügbar unter: http://www.iq.hessen.de/irj/<br />

IQ_Internet?cid=7dff0f358c1d3d10b487c190f16f9904 [17.7.2011].<br />

Hirsch-Kreinsen, H. (1997). Einführung: Wechselwirkungen zwischen Qualitätsmanagement und Organisation.<br />

In H. Hirsch-Kreinsen (Hrsg.), Organisation und Mitarbeiter im TQM (Qualitätsmanagement, S. 1–12). Berlin:<br />

Springer.<br />

Holling, H. & Liepmann, D. (2007). Personalentwicklung. In H. Schuler (Hrsg.), Lehrbuch<br />

Organisationspsychologie. 4., aktualisierte Aufl. (Psychologie Lehrbuch, S. 345–383). Bern: Huber.<br />

Holtappels, H. Günter. (2003). Schulqualität durch Schulentwicklung und Evaluation: Konzepte,<br />

Forschungsbefunde, Instrumente. München: Luchterhand.<br />

Hopkins, D., West, M. & Skinner, J. (1995). „Improvement through Inspection?“: A Critique of the OFSTED<br />

Inspection System. School Evaluation in England and Wales. Zeitschrift für Sozialisationsforschung und<br />

Erziehungssoziologie, 15 (4), 337–350.<br />

Hord, S. M., Rutherford, W. L., Huling, L. & Hall, G. E. (2008). Taking Charge of Change (2. print. with minor add.<br />

and corr.).<br />

Horn, W. (2008). Qualitätsanalyse an Schulen – ein Erfahrungsbericht. Berufsbildung (113/114), 63–69.<br />

183


7. Anhang<br />

184<br />

Horster, L. (1995). Ein pädagogisches Management in der Schule: Selbststeuerung in bestehenden Strukturen.<br />

In H. Buchen (Hrsg.), Schulleitung und Schulentwicklung. Ein Reader (Raabe Nachschlagen-Finden,<br />

S. 37–50). Stuttgart: Raabe.<br />

Hosenfeld, I. & Groß Ophoff, J. (2007). Nutzung und Nutzen von Evaluationsstudien in Schule und Unterricht. In<br />

I. Hosenfeld & J. Groß Ophoff (Hrsg.), Nutzung und Nutzen von Evaluationsstudien in Schule und Unterricht.<br />

1. Aufl. (Empirische Pädagogik, S. 352–367). Landau in der Pfalz: Verlag Empirische Pädagogik.<br />

Huber, F. (2008). Konsequenzen aus der externen Evaluation an Bayerns Schulen. In W. Böttcher (Hrsg.),<br />

Bildungsmonitoring und Bildungscontrolling in nationaler und internationaler Perspektive. <strong>Dokument</strong>ation<br />

zur Herbsttagung der Kommission Bildungsorganisation, -planung, -recht (KBBB) (S. 265–278). Münster:<br />

Waxmann.<br />

Hügli, E. (1998). Die ISO-Norm für Schulen: Interpretation und Anwendungshilfe zur ISO-Norm 9001, speziell für<br />

berufsbildende Schulen (1. Aufl.). Pädagogik bei Sauerländer: Bd. 4. Aarau: Bildung Sauerländer.<br />

Husfeldt, V. (2011). Externe Schulevaluation: Ein länderübergreifender Blick auf Forschungen und Modelle.<br />

In C. Quesel, V. Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der externen<br />

Schulevaluation (S. 13–34). Bern: hep.<br />

Husfeldt, V. (2011). Wirkungen und Wirksamkeit der externen Schulevaluation: Überblick zum Stand der<br />

Forschung. Zeitschrift für Erziehungswissenschaft (14), 259–282.<br />

Husfeldt, V. (2010, 02. Juli). Stand der internationalen Forschung zur Wirkung und Wirksamkeit von externer<br />

Schulevaluation: Atelier. Baden.<br />

Husfeldt, V. (2010). Wirkungen und Wirksamkeit der externen Schulevaluation: Überblick zum Stand der<br />

Forschung. Aarau.<br />

Institut für Bildungsmonitoring Hamburg. Schulinspektion Hamburg, Institut für Bildungsmonitoring Hamburg.<br />

Verfügbar unter: http://www.schulinspektion.hamburg.de/index.php/impressum [17.7.2011].<br />

Institut für Schulentwicklung. Externe Evaluation Bremer Schulen: Information für die beteiligten Schulen.<br />

Verfügbar unter: http://www.bildung.bremen.de/fastmedia/13/evaluation_info.pdf.<br />

Jacob, B. A. (2005). Accountability, Incentives and Behavior: The Impact of High-Stakes Testing in the Chicago<br />

Public Schools. Journal of Public Economics, 89 (5–6), 761–796.<br />

Kaiser-Aretz, S., Kimmler-Schad, S., Knaupp, V., Hammer, H., Plehn, R. & Thimet, S. (Landesinstitut für<br />

Schulentwicklung, Hrsg.). (2010). Fremdevaluation an beruflichen Schulen in Baden-Württemberg. Verfügbar<br />

unter: http://www.schule-bw.de/entwicklung/qualieval/evabs/fevbs/FEV-BS_Info-QE4_2010-08.pdf.<br />

Kamiske, G. F. & Brauer, J.-P. (2008). Qualitätsmanagement von A bis Z: Erläuterungen moderner Begriffe<br />

des Qualitätsmanagements (6. Aufl.). München: Hanser. Verfügbar unter: http://books.hanser.de:8080/vkb/<br />

default.jsf?doi=9783446412736_ISBN / http://books.hanser.de:8080/vkb/default.jsf?doi=9783446412736_<br />

ISBN.<br />

Keller, G. (2007). Wirksamkeit der Schulevaluation. In M. Ruep & G. Keller (Hrsg.), Schulevaluation. Grundlagen,<br />

Methoden, Wirksamkeit (Erziehungskonzeptionen und Praxis, S. 90–95). Frankfurt am Main: Lang.<br />

Keller, G. (2002). Qualitätsentwicklung in der Schule: Ziele, Methoden, kleine Schritte. Heidelberg: Asanger.<br />

Verfügbar unter: http://www.dandelon.com/intelligentSEARCH.nsf/alldocs/5536D90A8DD9E6C4C1257139<br />

00572FCD/.<br />

Keller, H., Landwehr, N. & Steiner, P. (2003). Q2E – Qualität durch Evaluation und Entwicklung: : Konzepte,<br />

Verfahren und Instrumente zum Aufbau eines Qualitätsmanagements an Schulen (2. Aufl.). Bern: h.e.p.-Verl.<br />

Kempfert, G. & Rolff, H.-G. (2002). Pädagogische Qualitätsentwicklung: Ein Arbeitsbuch für Schule und<br />

Unterricht (3., unveränd. Aufl.). Beltz-Pädagogik. Weinheim: Beltz.<br />

Kempfert, G. & Rolff, H.-G. (2008). Qualität und Evaluation: Ein Leitfaden für pädagogisches<br />

Qualitätsmanagement (4., überarb. und erw. Aufl. [Nachdr.]. Neue Lehrerbildung und Schulentwicklung.<br />

Weinheim: Beltz.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Kennerknecht, M. (2008, 08. November). Qualitätsmanagement an beruflichen Schulen in Bayern (QmbS):<br />

Das Ganze ist mehr als die Summe seiner Teile: Institut für Schulqualität und Bildungsforschung. Verfügbar<br />

unter: http://www.schulentwicklung.bayern.de/schwaben/userfiles/BSBFS/081111_SL_Schwaben_QmbS.<br />

pdf [2.11.2009].<br />

Kirkpatrick, D. L. (Hrsg.). (1975). Evaluating Training Programs: A Collection of Articles from the Journal of the<br />

American Society for Training and Development. Madison, Wisconsin.<br />

Kogan, M. & Maden, M. (1999). An evaluation of evaluators: the Ofsted system of school inspection. In C.<br />

Cullingford (Hg.), An inspector calls – Ofsted and its effect on school standards (9–31). London: Kogan.<br />

Kotthoff, H.-G. (2003). Bessere Schulen durch Evaluation?: Internationale Erfahrungen. Studien zur international<br />

und interkulturell vergleichenden Erziehungswissenschaft: Bd. 1. Münster: Waxmann (Univ., Habil.-Schr.--<br />

Münster (Westf.), 2002.). Verfügbar unter: http://www.gbv.de/dms/hebis-darmstadt/toc/118772554.pdf.<br />

Kromrey, H. (1995). Evaluation. Empirische Konzepte zur Bewertung von Handlungsprogrammen und die<br />

Schwierigkeiten ihrer Realisierung. Zeitschrift für Sozialisationsforschung und Erziehungssoziologie, 15 (4),<br />

313–336.<br />

Krüger, W. & Petry, T. (2005). 3W-Modell des Unternehmungswandels: Bezugsrahmen für ein erfolgreiches<br />

Wandlungsmanagement. soFid Organisations- und Verwaltungsforschung (2), 11–18.<br />

Kuckartz, U., Dresing, T., Rädiker, S. & Stefer, C. (2008). Qualitative Evaluation: Der Einstieg in die Praxis<br />

(2., aktualisierte Auflage.). Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH<br />

Wiesbaden. Verfügbar unter: http://dx.doi.org/10.1007/978-3-531-91083-3.<br />

Kurz, S. & Schmid, H. B. (2009). Konkrete Erfahrungen mit Q2E-basierten Qualitätsmanagementsystemen:<br />

Praxis und Forschungsfragen. In T. Bals, K. Hegmann & K. Wilbers (Hrsg.), Qualität in Schule und Betrieb.<br />

Forschungsergebnisse und gute Praxis ; Tagungsband zu den 15. Hochschultagen Berufliche Bildung 2008<br />

in Nürnberg (S. 149–155). Aachen: Shaker.<br />

Lamnek, S. (2008). Qualitative Sozialforschung: Lehrbuch (4., vollst. überarb. Aufl., [Nachdr.]. Weinheim: Beltz<br />

PVU. Verfügbar unter: http://www.gbv.de/dms/ilmenau/toc/592809021.PDF / http://www.socialnet.de/<br />

rezensionen/isbn.php?isbn=978-3-621-27544-6.<br />

Landesinstitut für Schule und Ausbildung. (2006). Gute Schule: Externe Evaluation von Schulen in<br />

Mecklenburg-Vorpommern.<br />

Landesportal Sachsen-Anhalt. Evaluation, Landesportal Sachsen-Anhalt. Verfügbar unter: http://www.<br />

sachsen-anhalt.de/index.php?id=25920 [17.7.2011].<br />

Landwehr, N. (2011). Thesen zur Wirkung und Wirksamkeit der externen Schulevaluation. In C. Quesel, V.<br />

Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der externen Schulevaluation (S.<br />

35–70). Bern: hep.<br />

Landwehr, N. (2007). Basisinstrument zur Schulqualität. Q2E – Qualität durch Evaluation und Entwicklung (2),<br />

1–42.<br />

Landwehr, N. (2007). Grundlagen zum Aufbau einer Feedbackkultur. Q2E – Qualität durch Evaluation und<br />

Entwicklung (3), 1–84.<br />

Landwehr, N. & Steiner, P. (2007). Grundlagen der externen Evaluation. Q2E – Qualität durch Evaluation und<br />

Entwicklung (5), 1–40.<br />

Landwehr, N. & Steiner, P. (2007). Steuerung des Qualitätsmanagements durch die Schulleitung. Q2E – Qualität<br />

durch Evaluation und Entwicklung (6), 1–75.<br />

Landwehr, N., Steiner, P. & Keller, H. (2007). Schritte zur datengestützten Schulevaluation. Q2E – Qualität durch<br />

Evaluation und Entwicklung (4), 1–65.<br />

Landwehr, N. (2010, 02. Juli). Wirkung und Wirksamkeit der externen Schulevaluation: 11 Thesen. Baden,<br />

ARGEV.<br />

Landwehr, N. (2004). Q2E – Qualität durch Evaluation und Entwicklung: Das Q2E-Modell. In H. Buchen, L.<br />

Horster & H.-G. Rolff (Hrsg.), Schulleitung und Schulentwicklung . Stuttgart/Berlin: Raabe-Verlag.<br />

185


7. Anhang<br />

186<br />

Lorenz, K. (2007). Qualitätsmanagement an Schulen: Zwischen Eigenständigkeit und Rechenschaftslegung.<br />

Berufsbildung, 61 (107/108), 2.<br />

Lowe, G. (1998). Inspection and change in the classroom: rhetoric and reality? In P. Earley (Hg.), School<br />

improvement after inspection – School and LEA Responses. London: Paul Chapman Publishing.<br />

Luginbuhl, R., Webbink, D. & de Wolf, I. (2007). Do School Inspections Improve Primary School Performance?.<br />

Den Haag: CPB Netherlands Bureau for Economic Policy Analysis.<br />

Maritz, B., Gerber, N., Perrottet, A., Rüegg, A., Studer, H., Wenger, B. et al. (2006). Bewertungsbuch für<br />

Schulen: Eine Anleitung zur Evaluation der Schulqualität auf der Grundlage des Modells der European<br />

Foundation for Quality Management (EFQM). Bern: hep.<br />

Maritzen, N. (1998). Autonomie der Schule: Schulentwicklung zwischen Selbst- und Systemsteuerung. In W.<br />

Schley (Hrsg.), Handbuch zur Schulentwicklung (Bibliothek Schulentwicklung, S. 609–637). Innsbruck:<br />

Studien-Verl.<br />

Mayer, H. O. (2009). Interview und schriftliche Befragung: Entwicklung, Durchführung und Auswertung (5.,<br />

überarb. Aufl.). München, Wien: Oldenbourg Verlag.<br />

Mayring, P. (2002). Einführung in die qualitative Sozialforschung: Eine Anleitung zu qualitativem Denken (5.,<br />

überarb. und neu ausgestattete Aufl.). Beltz Studium. Weinheim: Beltz-Verl.<br />

McCrone, T., Rudd, P., Blenkinsop, S. & Wade, P. (2006). Impact of Section 5 inspections: maintained schools<br />

in England. Slough: National Foundation for Educational Research.<br />

Ministerium für Bildung, J. und Sport. (2008). SCHULVISITATION IM LAND BRANDENBURG: Handbuch zur<br />

Schulvisitation. [17.7.2011].<br />

Ministerium für Bildung und Frauen des Landes Schleswig-Holstein. (2008). Qualitätshandbuch für die Arbeit<br />

an Berufsbildenden Schulen und Regionalen Berufsbildungszentren in Schleswig-Holstein: EVIT – BS.<br />

Verfügbar unter: http://www.evit.lernnetz2.de/bs/materials/handbuch08.pdf.<br />

Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen. Kurzinformation zur<br />

Qualitätsanalyse. Verfügbar unter: http://www.schulministerium.nrw.de/QA/A_Grundlagen/4_<br />

Kurzinformation.pdf.<br />

Mittag, S. (2006). Qualitätssicherung an Hochschulen: Eine Untersuchung zu den Folgen der Evaluation von<br />

Studium und Lehre. Internationale Hochschulschriften: Bd. 475. Münster: Waxmann (Univ., Diss.--Kassel.).<br />

Verfügbar unter: http://www.gbv.de/dms/hbz/toc/ht014835968.pdf.<br />

Moser, H. (1999). Selbstevaluation und Schulentwicklung. PÄD Forum, 27 (3), 206-210.<br />

Müller, M. (2010, 12. Dezember). Ergebnispräsentation NQS-E (E-Mail).<br />

Müller, M. (2010). Qualitätsorientierte Schulentwicklung an der Berufsschule: Entwicklung von<br />

Unterrichtsqualität mit Lehrerklassenteams. Habilitationsschrift, <strong>Universität</strong> Bayreuth. Bayreuth.<br />

Müller, S. (2010a). Erste Effekte von Schulinspektion – eine Zwischenbilanz. In N. Berkemeyer, W. Bos, H.<br />

Günter Holtappels, N. McElvany & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung. Daten,<br />

Beispiele und Perspektiven (S. 289–308). Weinheim: Juventa Verlag.<br />

Müller, S. (2002). Schulinterne Evaluation – Gelingensbedingungen und Wirkungen. Beiträge zur<br />

Bildungsforschung und Schulentwicklung: Bd. 18. Dortmund: IFS-Verl.<br />

Müller-Kohlenberg, H. & Beywl, W. (2003). Standards der Selbstevaluation – Begründung und aktueller<br />

Diskussionsstand. Zeitschrift für Evaluation (1), 65–75.<br />

Niedersächsischer Bildungsserver, Niedersächsischer Bildungsserver. Verfügbar unter: http://www.nibis.de/<br />

nibis.phtml?menid=479 [17.7.2011].<br />

Ouston, J., Fidler, B. & Earley, P. (1997). What do schools do after Ofsted school inspections or before? School<br />

Leadership and Management, 17 (1), 95–104.<br />

Pädagogisches Institut der Stadt Nürnberg. Das Nürnberger Qualitätsmanagement an Schulen (NQS).<br />

Verfügbar unter: http://www.pi-nuerberg.de/wir_ueber_uns/Arbeitsbereiche/Schulentwicklung/<br />

NQS_einzelheiten.php [10.10.2009].


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Phillips, J. J. & Schirmer, F. C. (2005). Return on Investment in der Personalentwicklung: Der 5-Stufen-<br />

Evaluationsprozess ; mit 38 Tabellen. Berlin: Springer. Verfügbar unter: http://www.myilibrary.com?id=62274.<br />

Posch, P., Altrichter, H. & Rauscher, E. (1997). Möglichkeiten und Grenzen der Qualitätsevaluation und<br />

Qualitätsentwicklung im Schulwesen: Forschungsbericht des Bundesministeriums für Unterricht und<br />

Kulturelle Angelegenheiten (1. Aufl.). Bildungsforschung des Bundesministeriums für Unterricht und<br />

Kulturelle Angelegenheiten: Bd. 12. Innsbruck: Studien-Verl.<br />

Porst, R. (2009). Fragebogen: Ein Arbeitsbuch (2. Aufl.). Studienskripten zur Soziologie. Wiesbaden: VS Verlag<br />

für Sozialwissenschaften.<br />

Pressemitteilung des Bayerischen Staatsministeriums für Unterricht und Kultus. (2009). Kultusminister<br />

Dr. Ludwig Spaenle stellt Ergebnisse vor: Schulversuch Qualitätsmanagement an beruflichen Schulen.<br />

vlb-akzente, 1992 (6), 10–11.<br />

Quesel, C., Husfeldt, V., Landwehr, N. & Steiner, P. (Hrsg.). (2011). Wirkungen und Wirksamkeit der externen<br />

Schulevaluation. Bern: hep.<br />

Rahm, S. (2005). Einführung in die Theorie der Schulentwicklung. Beltz StudiumErziehung und Bildung.<br />

Weinheim: Beltz. Verfügbar unter: http://deposit.ddb.de/cgi-bin/dokserv?id=2635050&prov=M&dok_<br />

var=1&dok_ext=htm / http://www.gbv.de/dms/hebis-darmstadt/toc/129370576.pdf.<br />

Rahm, S. (2010). Qualitätssicherung und Schulentwicklung – zwei Seiten einer Medaille? In B. Schaal & F. Huber<br />

(Hrsg.), Qualitätssicherung im Bildungswesen. Auftrag und Anspruch der Bayerischen Qualitätsagentur (S.<br />

109–118). Münster, Westf: Waxmann.<br />

Redaktion: BMBF LS15 Internetredaktion. (2011, 01. Januar). DEQA-VET: Der Deutsche Qualifikationsrahmen<br />

(DQR). Verfügbar unter: http://www.deqa-vet.de/de/2009.php [15.6.2011].<br />

Reezigt, G. J. & Creemers, B. P. (2005). A comprehensive framework for effective school improvement. School<br />

Effectiveness and School Improvement, 16 (4), 407-424.<br />

Robbins, P. & Alvy, H. B. (2003). The principal‘s companion: Strategies and hints to make the job easier (2nd<br />

ed.). Thousand Oaks Calif.: Corwin Press.<br />

Rolff, H.-G. (2009, 28. August). Qualitätsmanagement in der Schule – ein Orientierungs- und Handlungsrahmen.<br />

Bremen: Landesinstitut für Schule.<br />

Rolff, H.-G. (2009). Schulentwicklung, Schulprogramm und Steuergruppe. In H. Buchen & H.-G. Rolff (Hrsg.),<br />

Professionswissen Schulleitung. 2., erw. Aufl. (S. 296–364). Weinheim: Beltz.<br />

Rolff, H.-G. (1999). Manual Schulentwicklung: Handlungskonzept zur pädagogischen<br />

Schulentwicklungsberatung (SchuB) (2. Aufl.). Beltz-Pädagogik. Weinheim: Beltz.<br />

Ruep, M. & Keller, G. (2007). Schulevaluation: Grundlagen, Methoden, Wirksamkeit. Erziehungskonzeptionen<br />

und Praxis: Bd. 69. Frankfurt am Main: Lang. Verfügbar unter: http://www.gbv.de/dms/bs/toc/53988779X.<br />

pdf.<br />

Rützel, J. & Basel, S. (2006). Bildung in Zeiten der Outputsteuerung. In S. Basel, D. Giebenhain & J. Rützel<br />

(Hrsg.), Peer-Evaluation an beruflichen Schulen. Impuls für dauerhafte Schulentwicklung durch Öffnung nach<br />

außen (Darmstädter Beiträge zur Berufspädagogik, S. 10–33). Paderborn: Eusl.<br />

Ruf, M. (2009). „Ohne Moos nix los“ oder „Qualitätsmanagement ist nicht zum Nulltarif zu haben“. vlb-akzente<br />

(05), 6–9.<br />

Sächsisches Bildungsinstitut. (2008). Handreichung zum Verfahren der externen Evaluation an sächsischen<br />

Schulen: Berufsbildende Schulen.<br />

Salzbrenner, C. (2001). Erfahrungen aus einem Jahr BLK-Programm „21“. In I. Bormann (Hrsg.), Audit an<br />

Schulen – leicht gemacht (BLK-Programm „21“, S. 45–55). Hamburg: Krämer.<br />

Scanlon, M. (1999). The impact of Ofsted inspections. Slough: National Foundation for Educational Research.<br />

Schießl, O. (2005). Externe Evaluation an Bayerns Schulen. Lehrerinfo (4), 5–8.<br />

Schimitzek, C. (2008). „Es ist etwas in Bewegung geraten!“: Begleituntersuchung zur Startphase<br />

Selbstevaluation an allgemein bildenden Schulen in Baden-Württemberg (Als Ms. gedr.). Dissertation.de: Bd.<br />

1448. Berlin: dissertation.de (Pädag. Hochsch., Diss--Weingarten, 2008.).<br />

187


7. Anhang<br />

188<br />

Schmid, H. B. (2011, 29. Juli). Nürnberger Qualitätsmanagementsystem (Telefonat).<br />

Schmid, H. B. (September 2007). Qualitätsmanagement an den kommunalen Nürnberger Schulen: Fortsetzung<br />

bzw. Erweiterung von NQS. Nürnberg: Pädagogisches Institut der Stadt Nürnberg.<br />

Schmidt, U. (2010, 26. November). „Es ist die subjektive Beschaffenheit des Wissens, die uns glücklich<br />

macht…“: Ansätze für ein ungelöstes Problem: Wie definiere ich Qualität? Berlin, Heinz Nixdorf Stiftung,<br />

Hochschulrektorenkonferenz, Stifterverband für die Deutsche Wissenschaft.<br />

Schnoor, H., Mietens, A. & Lange, C. (2006). Qualitätszirkel: Theorie und Praxis der Problemlösung in<br />

Schulen. UTB Pädagogik: Bd. 2757. Paderborn: Schöningh. Verfügbar unter: http://deposit.ddb.de/cgi-bin/<br />

dokserv?id=2754398&prov=M&dok_var=1&dok_ext=htm / http://www.gbv.de/dms/hebis-darmstadt/<br />

toc/176846409.pdf.<br />

Schratz, M., Iby, M. & Radnitzky, E. (2000). Qualitätsentwicklung: Verfahren, Methoden, Instrumente. Beltz<br />

Pädagogik. Weinheim: Beltz. Verfügbar unter: http://www.gbv.de/dms/bsz/toc/bsz083585486inh.pdf.<br />

Schratz, M. (1995). Durch Evaluation den Stand schulinterner Entwicklungsprozesse widerspiegeln:<br />

Qualitätssicherung und Rechenschaftslegung im Spannungsfeld zwischen Kontrolle und Entwicklung. In H.<br />

Buchen (Hrsg.), Schulleitung und Schulentwicklung. Ein Reader (Raabe Nachschlagen-Finden, S. 116–120).<br />

Stuttgart: Raabe.<br />

Schweizerische Konferenz der kantonalen Erziehungsdirektoren (Hrsg.). (2008). Evaluation und Schulqualität:<br />

Orientierungsrahmen zuhanden von Bildungsbehören, Aufsichtsorganen und Schulleitungen (Studien und<br />

Berichte Nr. 28A). Bern.<br />

Scriven, M. (1972). Die Methodologie der Evaluation. In C. Wulf (Hrsg.), Evaluation. Beschreibung und<br />

Bewertung von Unterricht, Curricula und Schulversuchen ; Texte (Erziehung in Wissenschaft und Praxis,<br />

S. 60–91). München: Piper.<br />

Seitz, H. & Capaul, R. (2007). Schulführung und Schulentwicklung: Theoretische Grundlagen und<br />

Empfehlungen für die Praxis (2., überarb. Aufl.). Bern: Haupt. Verfügbar unter: http://deposit.d-nb.de/cgi-bin/<br />

dokserv?id=2979331&prov=M&dok_var=1&dok_ext=htm / http://www.gbv.de/dms/bs/toc/538240717.pdf.<br />

Seitz, H. (2005). Reform der kaufmännischen Grundausbildung in der Schweiz – Erste provisorische Ergebnisse<br />

aus einem Forschungsprojekt. In H. Ertl (Hrsg.), Innovationen in schulischen Kontexten. Ansatzpunkte für<br />

berufsbegleitende Lernprozesse bei Lehrkräften (S. 67–81). Paderborn: Eusl-Verlagsgesellschaft.<br />

Seitz, H. & Capaul, R. (2000). Gestaltung von Schulinnovationsprozessen. In H. Buchen, L. Horster & H.-G. Rolff<br />

(Hrsg.), Schulleitung und Schulentwicklung. Erfahrungen – Konzepte – Strategien (B 2.11, S. 1–19). Berlin:<br />

Raabe.<br />

Senatsverwaltung für Bildung, J. und Sport. (2005). Externe Evaluation: Konzept zur Inspektion der Berliner<br />

Schulen.<br />

Senatsverwaltung für Bildung, W. und Forschung. (2009). Handbuch Schulinspektion. [17.7.2011].<br />

Senge, P. M. (1994). The fifth discipline: The art and practice of the learning organization (1. Currency<br />

paperback ed.). New York, NY: Currency Doubleday.<br />

Senge, P. M. & Klostermann, M. (1998). Die fünfte Disziplin: Kunst und Praxis der lernenden<br />

Organisation. Stuttgart: Schäffer-Poeschel. Verfügbar unter: http://deposit.d-nb.de/cgi-bin/<br />

dokserv?id=3154988&prov=M&dok_var=1&dok_ext=htm.<br />

Shaw, I., Newton, D. P., Aitkin, M. & Darnell, R. (2003). Do Ofsted inspections of secondary schools make a<br />

difference to GCSE results? British Educational Research Journal, 29 (1), 63–75.<br />

Staatsinstitut für Schulqualität und Bildungsforschung. (2008). Zwischenbericht: „Zwei Jahre QmbS – an der<br />

Schwelle zur bayernweiten Einführung“. München. Verfügbar unter: http://www.qmbs-bayern.de/userfiles/<br />

Zwischenbericht.pdf.<br />

Staatsinstitut für Schulqualität und Bildungsforschung. (2007). Interne Evaluation an Bayerns Schulen<br />

(Bayerisches Staatsministerium für Unterricht und Kultus, Hrsg.). München.<br />

Staatsinstitut für Schulqualität und Bildungsforschung (Hrsg.). (2007). QmbS: Qualitätsmanagement an<br />

beruflichen Schulen. München. Verfügbar unter: http://www.isb.bayern.de/isb/download.aspx?DownloadFile<br />

ID=923891ba8d3392d0f5503125535ddee6.


Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Staatsinstitut für Schulqualität und Bildungsforschung. (2005). Externe Evaluation an Bayerns Schulen<br />

(Bayerisches Staatsministerium für Unterricht und Kultus, Hrsg.). München.<br />

Steffens, U. (2007). Schulqualitätsdiskussion in Deutschland – Ihre Entwicklung im Überblick. In J. van Buer &<br />

C. Wagner (Hrsg.), Qualität von Schule: Ein kritisches Handbuch (S. 21–51). Frankfurt am Main: Lang.<br />

Steiner, P. & Landwehr, N. (2007). Das Q2E-Modell – Schritte zur Schulqualität. Q2E – Qualität durch Evaluation<br />

und Entwicklung (1), 1–75.<br />

Stockmann, R. (2010). Wissensbasierte Evaluation. In R. Stockmann & W. Meyer (Hrsg.), Evaluation. Eine<br />

Einführung (UTB Sozialwissenschaften, S. 55–100). Opladen: Budrich.<br />

Stockmann, R. (2007). Einführung in die Evaluation. In R. Stockmann (Hrsg.), Handbuch zur Evaluation.<br />

Eine praktische Handlungsanleitung (Sozialwissenschaftliche Evaluationsforschung, S. 24–70). Münster:<br />

Waxmann.<br />

Strahm, P. (2008). Qualität durch systematisches Feedback: Grundlagen, Einblicke und Werkzeuge. Impulse zur<br />

Schulentwicklung. Bern: Schulverlag blmv.<br />

Temme, K. (2002). Qualitätsmanagement in der Schule: Neue Konzepte für Bildung und Ausbildung in der<br />

Schule. Hannover: Schroedel.<br />

Tergan, S.-O. (2000). Grundlagen der Evaluation: ein Überblick. In P. Schenkel (Hrsg.), Qualitätsbeurteilung<br />

multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand (Multimediales<br />

Lernen in der Berufsbildung, S. 22–51). Nürnberg: BW Bildung und Wiss. Verl. und Software.<br />

Terhart, E. (2000). Qualität und Qualitätssicherung im Schulsystem. Zeitschrift für Pädagogik, 46 (6), 809–829.<br />

Thüringer Ministerium für Bildung, Wissenschaft und Kultur. Thüringer Schulportal. Verfügbar unter: http://<br />

www.schulportal-thueringen.de/web/guest/impressum [17.7.2011].<br />

Vaccaro, D. (2010). Innere Schulentwicklung und Vergleichbarkeit: Eine Herausforderung für die externe<br />

Evaluation. In B. Schaal & F. Huber (Hrsg.), Qualitätssicherung im Bildungswesen. Auftrag und Anspruch der<br />

Bayerischen Qualitätsagentur (S. 169–184). Münster, Westf: Waxmann.<br />

Vormfenne, E. (2011). Qualitätsentwicklung durch Peer Review. DIE KAUFMÄNNISCHE SCHULE (3), 6–7.<br />

Wenzel, H. (2004). Studien zur Organisations- und Schulkulturentwicklung. In W. Helsper & J. Böhme (Hrsg.),<br />

Handbuch der Schulforschung. 1. Aufl. (S. 391–416). Wiesbaden: VS Verl. für Sozialwiss.<br />

Wilbers, K. (2011). Berufs- und Wirtschaftspädagogische Didaktik: Teil II: <strong>Universität</strong>sschule Texte zur Didaktik.<br />

Nürnberg: Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung.<br />

Wilbers, K. (2009, 23. Juni). Qualitätsmanagement an beruflichen Schulen. Nürnberg: Bürgermeister Dr. Gsell,<br />

Schulausschuss der Stadt Nürnberg.<br />

Wilbers, K. (2008). Hochschultage Berufliche Bildung – Qualität in Schule und Betrieb: Interview mit Professor<br />

Dr. Karl Wilbers. Berufsbildung in Wissenschaft und Praxis, 36 (1), 48–49.<br />

Wilbers, K. (2007). Die Qualität von <strong>Universität</strong>en und beruflichen Schulen (Berichte zur Wirtschaftspädagogik<br />

und Personalentwicklung Nr. 2007-1). Nürnberg: <strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg, Lehrstuhl für<br />

Wirtschaftspädagogik und Personalentwicklung.<br />

Wilcox, B. & Gray, J. (1996). Inspecting Schools: Holding Schools to account and helping them to improve.<br />

Buckingham: Open university press.<br />

Wittenberg, R. & Cramer, H. (2003). Datenanalyse mit SPSS für Windows: Mit zahlreichen Tabellen und<br />

Übersichten (3., neubearb. Aufl.). UTB: Bd. 1841. Stuttgart: Lucius & Lucius. Verfügbar unter: http://www.<br />

gbv.de/dms/goettingen/378543024.pdf.<br />

Wottawa, H. & Thierau, H. (1990). Lehrbuch Evaluation. Huber. Bern: Huber.<br />

Yin, R. K. (2009). Case study research: Design and methods (4th ed.). Applied social research methods: Bd. 5.<br />

Los Angeles Calif.: SAGE Publications.<br />

Zirkler, S. (2007). Qualitätsmanagement an Schulen: Eine Untersuchung der Qualitätsarbeit der Beruflichen<br />

Schulen in Nürnberg. <strong>Erlangen</strong> (Magisterarbeit).<br />

189


7. Anhang<br />

190<br />

Zöller, A. (2009, 18. Juni). Qualitätsmanagement an beruflichen Schulen in Bayern: Projektvorstellung<br />

im Rahmen der regionalen Informationsveranstaltungen. Landshut: Institut für Schulqualität und<br />

Bildungsforschung. Verfügbar unter: www.schulentwicklung.bayern.de/…/QmbSPraesRegInfoZoe.ppt<br />

[26.9.2009].<br />

Zöller, A. (2007). „QmbS“ – praxistaugliches Qualitätsmanagementsystem für berufliche Schulen: Ein<br />

Gesamtsystem zur Unterstützung eines professionellen schulinternen Qualitätsmanagementprozesses.<br />

Berufsbildung, 61 (107/108), 19–21.<br />

Zöller, A. (2007). Wegmarken zu einer systematischen schulischen Qualitätsentwicklung. Berufsbildung, 61<br />

(107/108), 3–8.<br />

Zurwehme, A. (2011, 09. Juni). Wirkungsanalyse externer Evaluation (E-Mail).


7.2 Abbildungsverzeichnis<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Abbildung 1: Ziele von Qualitätsmanagementsystemen erweitert nach (Dubs, 2009, S. 1230) ........ 28<br />

Abbildung 2: Darstellung eines prozessorientierten Qualitätsmanagementsystems (DIN Deutsches<br />

Institut für Normung e. V., 2009) ....................................................................................................... 30<br />

Abbildung 3: Das EFQM Modell 2010 (Deutsche Gesellschaft zur Zertifizierung von Management-<br />

systemen) ........................................................................................................................................... 34<br />

Abbildung 4: Wirkungsbereiche der externen Schulevaluation und ihre Interaktionseffekte nach<br />

lanDWehr (Landwehr, 2011, S. 41) ..................................................................................................... 44<br />

Abbildung 5: Deming-Kreis (Steiner et al., 2007, S. 7) ......................................................................... 48<br />

Abbildung 6: Die Komponenten des Q2E-Modells nach Steiner/Landwehr (Steiner et al., 2007, S. 18)<br />

49<br />

Abbildung 7: Basisinstrument zur Schulqualität (Landwehr, 2007) .....................................................51<br />

Abbildung 8: Das bayerische Qualitätsmanagementsystem QmbS (Staatsinstitut für Schulqualität<br />

und Bildungsforschung, 2007, S. 9) .................................................................................................. 60<br />

Abbildung 9: Zusammenspiel der Bausteine in QmbS (Staatsinstitut für Schulqualität und Bildungs-<br />

forschung, 2007, S. 10) ...................................................................................................................... 61<br />

Abbildung 10: Arbeitsschritte und Verantwortlichkeiten bei der Erarbeitung eines schulspezifischen<br />

Qualitätsverständnisses (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 14) .. 62<br />

Abbildung 11: Zusammensetzung des QmbS-Teams (Kennerknecht, 08.11.2008, S. 18) ................. 65<br />

Abbildung 13: Prozess der NQS-Routine ............................................................................................. 75<br />

Abbildung 14: Ablauf der externen Evaluation nach NQS ................................................................... 77<br />

Abbildung 15: Zusammensetzung des Peer-Teams in NQS-E ............................................................ 80<br />

Abbildung 16: Wirkungsmodell externer Schulevaluation nach ehren & ViSScher (Ehren et al., 2006,<br />

S. 66) .................................................................................................................................................. 93<br />

Abbildung 17: Phasen und idealtypische Aufgaben des Wandlungsmanagements nach Krüger<br />

(Krüger et al., 2005, S. 14) ................................................................................................................. 94<br />

Abbildung 18: Strukturierungsmodell nach Böttcher zur Schulentwicklung nach einer Schulinspek-<br />

tion (Böttcher et al., 2010, S. 27) ....................................................................................................... 95<br />

Abbildung 19: Modell der Wirksamkeit externer Evaluation .............................................................. 102<br />

Abbildung 20: Beispiele für Adaptionsmöglichkeiten (Hall et al., 2011, S. 45) .................................. 106<br />

Abbildung 21: Stages of Concern, Stufen der Betroffenheit (Hall et al., 2011, S. 72, 73) ..................107<br />

Abbildung 22: Levels of Use, Stufen der Verhaltensänderung (Hall et al., 2011, S. 94) .................... 108<br />

Abbildung 23: Concerns-Based Adoption Model von Hall & Hord (Hall et al., 2011, S. 265) ........... 109<br />

Abbildung 24: Phasen des Forschungsprozesses ..............................................................................118<br />

Abbildung 25: Entscheidungskette Levels of Use; Fullan zitiert nach Hall et al., 2011, S. 101 ..........124<br />

191


7. Anhang<br />

192<br />

Abbildung 26: Zusammenhang Levels of Use und Entscheidungskette ............................................125<br />

Abbildung 27: Entwicklungen von Personen in einem Innovationsprozess (Hall et al., 2011, S. 77) . 127<br />

Abbildung 28: Relation zwischen Stages of Concern und Levels of Use ......................................... 129<br />

Abbildung 29: Interdependenz Stages of Concern und Levels of Use ............................................. 130<br />

Abbildung 30: Stufenbezogene Interventionsmöglichkeiten zitiert nach Robbins & Alvy, 2003, S. 78;<br />

Seitz, 2005, S. 78 ............................................................................................................................ 132<br />

Abbildung 31: Einbindung des Peer Review Besuchs in Konferenzen .............................................. 152<br />

Abbildung 32: Ebenen der Qualitätsregelkreise ................................................................................. 154<br />

Abbildung 33: Zielaufbau .................................................................................................................... 155<br />

Abbildung 34: Allgemeine Empfehlungen für die Durchführung externer Evaluationen zur Erhöhung<br />

von Wirksamkeit .............................................................................................................................. 160


7.3 Tabellenverzeichnis<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

Tabelle 1: Systematische Qualitätsentwicklung an beruflichen Schulen verändert<br />

nach Zöller, 2007a, S. 6; Wilbers, 23.06.2009 .................................................................................. 29<br />

Tabelle 2: Externe Bedingungen der effektiven Schulentwicklung<br />

nach Reezigt & Creemers (2005, S. 409) .......................................................................................... 91<br />

Tabelle 3: Interne Bedingungen der effektiven Schulentwicklung<br />

nach Reezigt & Creemers (2005, S. 414) .......................................................................................... 92<br />

Tabelle 4: Typologisierung der Fallstudie (Lamnek, 2008, S. 322) .....................................................116<br />

Tabelle 5: Beteiligung der Lehrkräfte am quantitativen Forschungsprozess .................................... 138<br />

Tabelle 6: Werte zur ersten Phase des Peer Reviews: Vorbereitung des Peer Reviews ................... 139<br />

Tabelle 7: Verhaltensweisen der Bildungseinrichtungen in der Vorbereitungsphase ....................... 139<br />

Tabelle 8: Werte zur zweiten Phase des Peer Reviews: Peer Besuch ............................................... 140<br />

Tabelle 9: Werte zur dritten Phase des Peer Reviews: Peer Review Bericht .....................................141<br />

Tabelle 10: Werte zur vierten Phase des Peer Reviews: Umsetzung von Maßnahmen .....................142<br />

Tabelle 11: Zusammenhang der schulischen Verhaltensweise in der Vorbereitungsphase und der<br />

Diskussion von Verbesserungsmaßnahmen ...................................................................................142<br />

Tabelle 12: Werte zu den Peer Review Phasen in Bezug auf die Statusgruppen .............................. 143<br />

Tabelle 13: Bewertung der Innovationsadaptierung ........................................................................... 144<br />

Tabelle 14: Einschätzungen zur Veränderung der Lernleistungen von SchülerInnen ....................... 146<br />

Tabelle 15: Nutzen-Aufwand-Relation .................................................................................................147<br />

Tabelle 16: Interventionsmöglichkeiten der einzelnen Schulen ......................................................... 158<br />

193


7. Anhang<br />

194<br />

7.4 Abkürzungen<br />

ARGEV Arbeitsgemeinschaft Externer Evaluationen von Schulen<br />

BBB Berufsbereichsbetreuer<br />

BMUKK Bundesministerium für Unterricht, Kunst und Kultur<br />

BRD Bundesrepublik Deutschland<br />

CBAM Concerns-Based Adoption Model<br />

EQR europäischer Qualifikationsrahmen<br />

EFQM European Foundation for Quality Management<br />

EQA European Quality Award<br />

IFES Institut für Externe Schulevaluation auf der Sekundarstufe II<br />

ISB Institut für Schulqualität und Bildungsforschung<br />

ISO International Organisation for Standardisation<br />

k. A. keine Angabe<br />

LoU Levels of Use<br />

MW Mittelwert<br />

NAR Nutzen-Aufwand-Relation<br />

NW EDK Nordwestschweizerische Erziehungsdirektorenkonferenz<br />

OE Organisationsentwicklung<br />

OES Operativ Eigenständige Schule<br />

Ofsted Office for Standards in Education<br />

PE Personalentwicklung<br />

PDCA Plan, Do, Check, Act<br />

PI Pädagogisches Institut<br />

Quabs Qualitätsentwicklung an beruflichen Schulen<br />

QM Qualitätsmanagement<br />

QmbS Qualitätsmanagement an beruflichen Schulen<br />

QMS Qualitätsmanagementsystem<br />

SD Standardabweichung<br />

SoC Stages of Concern<br />

TQM Total Quality Management<br />

UE Unterrichtsentwicklung<br />

Wipäd Wirtschaftspädagogik


7.5 Footnotes<br />

1 Landwehr & Steiner (2007)<br />

2 Gutknecht-Gmeiner et al., 2007<br />

3 Kaiser-Aretz et al. (2010)<br />

Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />

4 Staatsinstitut für Schulqualität und Bildungsforschung (2005)<br />

5 vgl. 2.3.1.3.2.5<br />

6 Senatsverwaltung für Bildung (2005); Senatsverwaltung für Bildung (2009)<br />

7 Ministerium für Bildung (2008)<br />

8 Institut für Schulentwicklung<br />

9 Institut für Bildungsmonitoring Hamburg<br />

10 Hessisches Kultusministerium<br />

11 Landesinstitut für Schule und Ausbildung (2006)<br />

12 Niedersächsischer Bildungsserver<br />

13 Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen<br />

14 Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen<br />

15 Heinrich, 09.08.2011<br />

16 Sächsisches Bildungsinstitut (2008)<br />

17 Landesportal Sachsen-Anhalt<br />

18 Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (2008)<br />

19 Thüringer Ministeriums für Bildung, Wissenschaft und Kultur<br />

20 Landwehr & Steiner (2007)<br />

21 Gutknecht-Gmeiner et al., 2007<br />

22 Kaiser-Aretz et al. (2010)<br />

23 Staatsinstitut für Schulqualität und Bildungsforschung (2005)<br />

24 vgl. 2.3.1.3.2.5<br />

25 Senatsverwaltung für Bildung (2005); Senatsverwaltung für Bildung (2009)<br />

26 Ministerium für Bildung (2008)<br />

27 Institut für Schulentwicklung<br />

28 Institut für Bildungsmonitoring Hamburg<br />

29 Hessisches Kultusministerium<br />

30 Landesinstitut für Schule und Ausbildung (2006)<br />

31 Niedersächsischer Bildungsserver<br />

32 Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen<br />

33 Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen<br />

34 Heinrich, 09.08.2011<br />

35 Sächsisches Bildungsinstitut (2008)<br />

36 Landesportal Sachsen-Anhalt<br />

37 Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (2008)<br />

195


7. Anhang<br />

196<br />

38 Thüringer Ministeriums für Bildung, Wissenschaft und Kultur<br />

39 Landwehr & Steiner (2007);<br />

40 Gutknecht-Gmeiner et al., 2007<br />

41 Kaiser-Aretz et al. (2010)<br />

42 Staatsinstitut für Schulqualität und Bildungsforschung (2005)<br />

43 vgl. 2.3.1.3.2.5<br />

44 Senatsverwaltung für Bildung (2005); Senatsverwaltung für Bildung (2009)<br />

45 Ministerium für Bildung (2008)<br />

46 Institut für Schulentwicklung<br />

47 Institut für Bildungsmonitoring Hamburg<br />

48 Hessisches Kultusministerium<br />

49 Landesinstitut für Schule und Ausbildung (2006)<br />

50 Niedersächsischer Bildungsserver<br />

51 Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen<br />

52 Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen<br />

53 Heinrich, 09.08.2011<br />

54 Sächsisches Bildungsinstitut (2008)<br />

55 Landesportal Sachsen-Anhalt<br />

56 Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (2008)<br />

57 Thüringer Ministeriums für Bildung, Wissenschaft und Kultur

Hurra! Ihre Datei wurde hochgeladen und ist bereit für die Veröffentlichung.

Erfolgreich gespeichert!

Leider ist etwas schief gelaufen!