Dokument 1.pdf - OPUS - Friedrich-Alexander-Universität Erlangen ...
Dokument 1.pdf - OPUS - Friedrich-Alexander-Universität Erlangen ...
Dokument 1.pdf - OPUS - Friedrich-Alexander-Universität Erlangen ...
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
a<br />
8<br />
Analyse der Wirksamkeit und Möglichkeiten<br />
der Weiterentwicklung externer Evaluationen<br />
Melanie Buichl |<br />
Texte zur Wirtschaftspädagogik und<br />
Personalentwicklung<br />
Herausgegeben von Karl Wilbers<br />
Band 8<br />
Analyse der Wirksamkeit und<br />
Möglichkeiten der Weiterentwicklung<br />
externer Evaluationen<br />
Melanie Buichl
Texte zur Wirtschaftspädagogik und<br />
Personalentwicklung<br />
Herausgegeben von Karl Wilbers<br />
Band 8<br />
Analyse der Wirksamkeit und<br />
Möglichkeiten der Weiterentwicklung<br />
externer Evaluationen<br />
Melanie Buichl
Bibliografische Information der Deutschen Bibliothek<br />
Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie;<br />
detaillierte bibliografische Daten sind im Internet unter http://dnb.ddb.de abrufbar.<br />
Eine digitale Version dieses Werkes steht unter http://www.opus.ub.uni-erlangen.de/opus/<br />
im Adobe Portable <strong>Dokument</strong> Format (PDF) zum kostenfreien Download bereit.<br />
Texte zur Wirtschaftspädagogik und Personalentwicklung<br />
Band 8<br />
Autor des Band 8:<br />
Melanie Buichl, Dr. rer. pol., Diplom-Handelslehrerin<br />
Wissenschaftliche Mitarbeiterin am Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung<br />
der <strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg (Prof. Dr. Karl Wilbers)<br />
Texte zur Wirtschaftspädagogik und Personalentwicklung<br />
Hrsg. von Prof. Dr. Karl Wilbers<br />
Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung<br />
Fachbereich Wirtschaftswissenschaften<br />
Rechts- und Wirtschaftswissenschaftliche Fakultät<br />
<strong>Friedrich</strong>-<strong>Alexander</strong>-<strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg<br />
Lange Gasse 20<br />
D-90403 Nürnberg<br />
www.wirtschaftspaedagogik.de<br />
Information zu weiteren Bänden der Reihe:<br />
www.wirtschaftspaedagogik.de/texte/<br />
ISBN: 978-3-8440-0941-5<br />
ISSN: 1867–1365<br />
Layout und Satz:<br />
Werner Henning<br />
E-Mail: wernerhenning1@gmail.com<br />
Copyright Shaker Verlag 2012<br />
Alle Rechte, auch das des auszugsweisen Nachdruckes, der auszugsweisen oder vollständigen<br />
Wiedergabe, der Speicherung in Datenverarbeitungsanlagen und der Übersetzung vorbehalten.<br />
Printed in Germany<br />
Shaker Verlag GmbH | Postfach 101818 | 52018 Aachen<br />
Telefon: 02407 / 95 96 – 0 | Telefax: 02407 / 95 96 – 9<br />
Internet: www.shaker.de | E-Mail: info@shaker.de
Zum Geleit<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Seit Jahren werden international und auch in den verschiedenen Bundesländern Deutschlands Qua-<br />
litätsmanagementsysteme in beruflichen Schulen implementiert. Dahinter steht die Vorstellung, dass<br />
nicht nur das Bildungssystem selbst, sondern auch die einzelne Schule ein wichtiger Ansatzpunkt zur<br />
Gestaltung beruflicher Bildung ist. Das Qualitätsmanagement soll die Schule bei der systematischen<br />
Weiterentwicklung der Lern-, Lehr- und Arbeitsbedingungen in der Schule unterstützen.<br />
In den letzten Jahren haben sich verschiedene Qualitätsmanagementsysteme herausgebildet und<br />
etabliert. Diese kombinieren meist Formen interner und externer Evaluation: Bei einer internen<br />
Evaluation bestimmt die Schule selbst den Ablauf und die Instrumente der Evaluation. Typische<br />
Formen sind die Befragung der Ausbildungsbetriebe, der Auszubildenden oder der Lehrkräfte der<br />
Schule. Bei einer externen Evaluation erfolgt der Ablauf nach einem von der Schule nicht oder nur<br />
begrenzt gestaltbaren Ablauf. Typisch ist dabei, dass die Schule zunächst sich selbst und die für<br />
die Evaluation relevanten Aktivitäten in einem Selbstbericht beschreibt. Dieser Selbstbericht wird<br />
von einer Gruppe schulexterner Expertinnen und Experten studiert, die dann auf dieser Grundlage<br />
die Schule besuchen und dabei in Interviews und Beobachtungen ihre Einschätzung vertiefen. Die<br />
Gruppe fertigt dann einen Abschlussbericht an, der der Schule übergeben wird. Auf der Basis des<br />
Abschlussberichts sollen sich Entwicklungsaktivitäten in der Schule anschließen: Das Follow-Up.<br />
Die Autorin konzentriert sich auf diese typische Bruchstelle im Qualitätsmanagement. Nicht selten ist<br />
nämlich eine externe Evaluation so aufwändig, dass den Schulen ‚fast die Luft ausgeht‘, d. h. sie nach<br />
einer externen Evaluation nur zögerlich an die Aufarbeitung der Konsequenzen gehen.<br />
Externe Evaluationen sind mit einem hohen Aufwand verbunden, sowohl für die Schule als auch für<br />
externe Expertinnen und Experten. Ob sich dieser Aufwand lohnt, ist daher eine wichtige Frage, die<br />
das Zentrum der vorliegenden Arbeit ausmacht. Diese einfache Frage ist allerdings nur schwierig<br />
zu beantworten. Die Autorin wählt daher ein aufwändiges Design, das qualitative und quantitative<br />
Untersuchungselemente kombiniert. Als empirisches Feld wird das Peer Review in European VET<br />
gewählt, d. h. eine externe Evaluation, die in das Qualitätsmanagementsystem „Qualitätsinitiative<br />
Berufsbildung (QIBB)“ für berufliche Schulen in Österreich eingebunden ist.<br />
Die Untersuchung führt zu interessanten Ergebnissen zur Gestaltung des österreichischen Peer<br />
Review in European VET. Gleichzeitig werden die Ergebnisse – theoriegeleitet und sorgfältig kontrolliert<br />
– auf weitere Qualitätsmanagementsysteme übertragen. Die Arbeit stellt damit einen wichtigen<br />
Schritt zur Diskussion um die Wirksamkeit von Qualitätsmanagementsystemen in der beruflichen<br />
Bildung dar.<br />
Karl Wilbers, Februar 2012<br />
1
Inhaltsübersicht<br />
2<br />
Inhaltsübersicht<br />
Zum Geleit ............................................................................................................... 1<br />
Inhaltsübersicht ...................................................................................................... 2<br />
Inhaltsverzeichnis .................................................................................................. 3<br />
1. Hintergründe der Untersuchung .................................................................... 10<br />
1.1 Die Frage der Wirksamkeit von Qualitätsmanagementsystemen ..................................... 10<br />
1.2 Eingrenzung des Untersuchungsgegenstandes .................................................................. 10<br />
1.3 Ziel und Vorgehensweise bei der Untersuchung ..................................................................11<br />
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext ....... 12<br />
2.1 Schulen im Wandel der Zeit ..................................................................................................... 12<br />
2.2 Evaluation als Teil des Qualitätsmanagements der Schule ............................................... 35<br />
2.3 Ausgewählte Qualitätsmanagementsysteme in Schulen ................................................... 46<br />
2.4 Wirksamkeit externer Evaluationen ....................................................................................... 88<br />
3. Empirisches Forschungsdesign ....................................................................112<br />
3.1 Kontext dieser Erhebung: Das Peer Review in European VET ..........................................112<br />
3.2 Anlage der Erhebung...............................................................................................................118<br />
4. Ergebnisse der Erhebung .............................................................................. 138<br />
4.1 Ergebnisse des quantitativen Erhebungsteils.................................................................... 138<br />
4.2 Ergebnisse des qualitativen Erhebungsteils ...................................................................... 148<br />
5. Empfehlungen zur Gestaltung externer Evaluationen .............................. 151<br />
5.1 Empfehlungen zur Gestaltung von Peer Review in QIBB (Pilotversuch) ........................ 151<br />
5.2 Weitere Empfehlungen zur Gestaltung externer Evaluationen ...................................... 158<br />
6. Zusammenfassung und Ausblick ................................................................. 176<br />
7. Anhang ............................................................................................................. 179
Inhaltsverzeichnis<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Zum Geleit ............................................................................................................... 1<br />
Inhaltsübersicht ...................................................................................................... 2<br />
Inhaltsverzeichnis .................................................................................................. 3<br />
1. Hintergründe der Untersuchung .................................................................... 10<br />
1.1 Die Frage der Wirksamkeit von Qualitätsmanagementsystemen ..................................... 10<br />
1.2 Eingrenzung des Untersuchungsgegenstandes .................................................................. 10<br />
1.3 Ziel und Vorgehensweise bei der Untersuchung ..................................................................11<br />
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext ....... 12<br />
2.1 Schulen im Wandel der Zeit ..................................................................................................... 12<br />
2.1.1 Aktualität der Debatte um Qualität ............................................................................................12<br />
2.1.2 Die Bedeutung des Qualitätsmanagements .............................................................................14<br />
2.1.2.1 Begriffliche Definitionen .....................................................................................................14<br />
2.1.2.1.1 Qualität .........................................................................................................................14<br />
2.1.2.1.2 Qualitätsmanagement ................................................................................................ 18<br />
2.1.2.1.3 Schulentwicklung ....................................................................................................... 20<br />
2.1.2.2 Lernende Schule als Voraussetzung für Qualitätsmanagement ..................................... 22<br />
2.1.2.3 Qualitätsmanagement als Ergebnis von Veränderungen ............................................... 24<br />
2.1.2.4 Qualitätsmanagementsysteme in Schulen: Eine Übersicht ............................................. 26<br />
2.1.2.5 Bedeutsame Qualitätsmanagementsysteme ................................................................... 29<br />
2.1.2.5.1 DIN EN ISO Modell ..................................................................................................... 29<br />
2.1.2.5.2 EFQM-Modell ............................................................................................................. 32<br />
2.2 Evaluation als Teil des Qualitätsmanagements der Schule ............................................... 35<br />
2.2.1 Definition des Begriffs Evaluation ............................................................................................ 35<br />
3
Inhaltsverzeichnis<br />
4<br />
2.2.2 Typen der Evaluation ................................................................................................................ 37<br />
2.2.2.1 Formative versus summative Evaluation .......................................................................... 37<br />
2.2.2.2 Interne versus externe Evaluation .................................................................................... 37<br />
2.2.3 Externe Evaluation als Teil des Qualitätsmanagements der Schule ...................................... 39<br />
2.2.3.1 Bedeutung der Externen Evaluation als Teil des Qualitätsmanagements der Schule ... 39<br />
2.2.3.2 Hintergrund externer Evaluationen ................................................................................. 39<br />
2.2.3.3 Verlauf externer Evaluationen ........................................................................................... 40<br />
2.2.3.4 Ebenen externer Evaluationen ...........................................................................................41<br />
2.2.3.5 Funktionen, Ziele bzw. Wirkungsbereiche externer Evaluationen .................................. 42<br />
2.2.3.6 Referenzrahmen externer Evaluationen ........................................................................... 45<br />
2.3 Ausgewählte Qualitätsmanagementsysteme in Schulen ................................................... 46<br />
2.3.1 Q2E-basierte Qualitätsmanagementsysteme ......................................................................... 46<br />
2.3.1.1 Qualität durch Evaluation und Entwicklung (Q2E) ........................................................... 46<br />
2.3.1.1.1 Entwicklung und Ziele von Q2E .................................................................................. 46<br />
2.3.1.1.2 Das Modell Q2E .......................................................................................................... 47<br />
2.3.1.1.2.1 Das Qualitätsleitbild............................................................................................. 50<br />
2.3.1.1.2.2 Individualfeedback und persönliche Qualitätsentwicklung ............................... 52<br />
2.3.1.1.2.3 Selbstevaluation und Qualitätsentwicklung der Schule .................................... 52<br />
2.3.1.1.2.4 Steuerung der Q-Prozesse durch die Schulleitung ........................................... 54<br />
2.3.1.1.2.5 Externe Schulevaluation ..................................................................................... 54<br />
2.3.1.1.2.6 Die Q2E-Zertifizierung ......................................................................................... 56<br />
2.3.1.1.3 Grenzen und Schwierigkeiten des Q2E-Modells ....................................................... 56
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
2.3.1.2 Qualitätsmanagement an beruflichen Schulen (QmbS) .................................................. 57<br />
2.3.1.2.1 Entwicklung und Ziele von QmbS .............................................................................. 57<br />
2.3.1.2.2 Das Modell QmbS ...................................................................................................... 59<br />
2.3.1.2.2.1 Schulspezifisches Qualitätsverständnis ............................................................ 61<br />
2.3.1.2.2.2 Individualfeedback .............................................................................................. 63<br />
2.3.1.2.2.3 Interne Evaluation ............................................................................................... 64<br />
2.3.1.2.2.4 Steuerung der Qualitätsprozesse....................................................................... 64<br />
2.3.1.2.2.5 Externe Evaluation .............................................................................................. 66<br />
2.3.1.2.3 Grenzen und Schwierigkeiten des QmbS-Modells ................................................... 68<br />
2.3.1.3 Nürnberger Qualitätsmanagement an beruflichen Schulen (NQS) ................................. 70<br />
2.3.1.3.1 Entwicklung und Ziele von NQS ................................................................................ 70<br />
2.3.1.3.2 Das Modell NQS ......................................................................................................... 72<br />
2.3.1.3.2.1 Das Qualitätsleitbild ............................................................................................ 72<br />
2.3.1.3.2.2 Das Individualfeedback und persönliche Qualitätsentwicklung ....................... 73<br />
2.3.1.3.2.3 Selbstevaluation der Schule ............................................................................... 73<br />
2.3.1.3.2.4 Die Steuerung der NQS-Prozesse ..................................................................... 73<br />
2.3.1.3.2.5 Externe Schulevaluation ..................................................................................... 77<br />
2.3.1.3.3 Grenzen und Schwierigkeiten des NQS-Modells ..................................................... 81<br />
2.3.2 Die Qualitätsinitiative Berufsbildung (QIBB) ........................................................................... 83<br />
2.3.2.1 Das Modell QIBB ............................................................................................................... 83<br />
2.3.2.2 Entstehung des Peer Reviews .......................................................................................... 84<br />
2.3.2.3 Ziele des Peer Review ....................................................................................................... 84<br />
5
Inhaltsverzeichnis<br />
6<br />
2.3.2.4 Phasen des Peer Reviews ................................................................................................ 85<br />
2.3.2.4.1 Erste Phase: Vorbereitung ......................................................................................... 85<br />
2.3.2.4.2 Zweite Phase: Peer Besuch....................................................................................... 86<br />
2.3.2.4.3 Dritte Phase: Peer Review Bericht ............................................................................ 86<br />
2.3.2.4.4 Vierte Phase: Umsetzung von Maßnahmen .............................................................. 87<br />
2.3.2.5 Pilotversuch an berufsbildenden Schulen im Rahmen der österreichischen Qualitätsini-<br />
tiative Berufsbildung (QIBB) ..................................................................................................... 88<br />
2.4 Wirksamkeit externer Evaluationen ....................................................................................... 88<br />
2.4.1 Definition des Begriffs Wirksamkeit ......................................................................................... 88<br />
2.4.2 Modelle zur Wirksamkeit externer Evaluationen ..................................................................... 90<br />
2.4.3 Empirische Untersuchungen zur Wirksamkeit externer Evaluationen ................................... 96<br />
2.4.4 Wirksamkeit externer Evaluation von Schulen: Zugrundegelegtes Modell...........................101<br />
2.4.4.1 Das Modell der Wirksamkeitsanalyse externer Evaluation in der Übersicht .................101<br />
2.4.4.2 Detaillierung der Untersuchungsebenen ....................................................................... 104<br />
2.4.4.2.1 Die erste Ebene: Zufriedenheit mit der externen Evaluation .................................. 104<br />
2.4.4.2.2 Die zweite Ebene: Schulische Innovationen als Folge der externen Evaluation ... 104<br />
2.4.4.2.3 Die dritte Ebene: Änderung des Outputs der Institution in Folge der externen<br />
Evaluation .............................................................................................................................110<br />
2.4.4.2.4 Die vierte Ebene: Änderung des Outcome der Institution in Folge der externen<br />
Evaluation .............................................................................................................................110<br />
2.4.4.2.5 Die fünfte Ebene: Return on Investment .................................................................110<br />
3. Empirisches Forschungsdesign ....................................................................112<br />
3.1 Kontext dieser Erhebung: Das Peer Review in European VET ..........................................112<br />
3.1.1 Wirkungsbereich des Peer Review in European VET .............................................................112<br />
3.1.2 Ziel der Erhebung ....................................................................................................................113<br />
3.1.3 Quantitative und qualitative Forschung ..................................................................................114
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
3.1.4 Forschungsrahmen ..................................................................................................................115<br />
3.1.5 Forschungsfragen....................................................................................................................117<br />
3.2 Anlage der Erhebung...............................................................................................................118<br />
3.2.1 Der Pretest ...............................................................................................................................119<br />
3.2.2 Der quantitative Erhebungsteil ...............................................................................................119<br />
3.2.2.1 Erhebungsziele des quantitativen Teils ...........................................................................119<br />
3.2.2.2 Auswahl der Schulen .......................................................................................................119<br />
3.2.2.3 Datenerhebung und -auswertung .................................................................................. 120<br />
3.2.2.3.1 Quantitative Befragung des erweiterten Qualitätsteams ....................................... 120<br />
3.2.2.3.2 Quantitative Befragung der Lehrkräfte ....................................................................121<br />
3.2.2.3.2.1 Übersicht ............................................................................................................121<br />
3.2.2.3.2.2 Messung der Stages of Concern und der Levels of Use ................................ 122<br />
3.2.2.3.2.2.1 Messung der Stages of Concern............................................................. 122<br />
3.2.2.3.2.2.2 Messung der Levels of Use ..................................................................... 123<br />
3.2.2.3.2.2.3 Auswertung der Daten zu den Stages of Concern und den Levels of Use .<br />
125<br />
3.2.2.3.2.3 Erfassung der Einschätzung zu den Lernleistungen (output) ......................... 132<br />
3.2.2.3.2.4 Einschätzung der Wirtschaftlichkeit (ROI) ....................................................... 132<br />
3.2.3 Der qualitative Erhebungsteil ................................................................................................. 133<br />
3.2.3.1 Erhebungsziele des qualitativen Teils ............................................................................ 133<br />
3.2.3.2 Auswahl der Schulen ...................................................................................................... 133<br />
3.2.3.3 Datenerhebung und -auswertung .................................................................................. 134<br />
3.2.4 Kombination quantitativer und qualitativer Forschung ......................................................... 136<br />
7
Inhaltsverzeichnis<br />
8<br />
4. Ergebnisse der Erhebung .............................................................................. 138<br />
4.1 Ergebnisse des quantitativen Erhebungsteils.................................................................... 138<br />
4.1.1 Ablauf der quantitativen Erhebungen..................................................................................... 138<br />
4.1.2 Ergebnisse zu den einzelnen Erhebungsebenen .................................................................. 138<br />
4.1.2.1 Erste Ebene (Reaktion): Die Zufriedenheit mit der externen Evaluation ........................ 138<br />
4.1.2.2 Zweite Ebene: schulische Innovationen als Folge der externen Evaluation.................. 143<br />
4.1.2.3 Dritte Ebene (Output): Änderung des Outputs der Institution in Folge der externen<br />
Evaluation ................................................................................................................................ 145<br />
4.1.2.4 Vierte Ebene (Outcome): Resultate der Änderung des Outcome der Institution in Folge<br />
der externen Evaluation .......................................................................................................... 146<br />
4.1.2.5 Fünfte Ebene (Return on Investment): Return on Investment der externen Evaluation 146<br />
4.2 Ergebnisse des qualitativen Erhebungsteils ...................................................................... 148<br />
4.2.1 Ablauf der qualitativen Erhebung........................................................................................... 148<br />
4.2.2 Ergebnisse der qualitativen Erhebung .................................................................................. 148<br />
5. Empfehlungen zur Gestaltung externer Evaluationen .............................. 151<br />
5.1 Empfehlungen zur Gestaltung von Peer Review in QIBB (Pilotversuch) ........................ 151<br />
5.1.1 Empfehlungen zu den einzelnen Phasen des Peer Reviews ..................................................151<br />
5.1.1.1 Empfehlungen für die erste Phase des Peer Reviews .....................................................151<br />
5.1.1.2 Empfehlungen für die zweite Phase des Peer Reviews .................................................. 152<br />
5.1.1.3 Empfehlungen für die dritte Phase des Peer Reviews.................................................... 153<br />
5.1.1.4 Empfehlungen für die vierte Phase des Peer Reviews ................................................... 153<br />
5.1.2 Stärken und Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens ..................... 156<br />
5.1.2.1 Stärken des Peer Review Verfahrens .............................................................................. 156<br />
5.1.2.2 Konzeptionelle Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens ......... 156<br />
5.1.3 Empfehlungen zur Weiterentwicklung für die teilnehmenden Schulen .................................157
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
5.2 Weitere Empfehlungen zur Gestaltung externer Evaluationen ...................................... 158<br />
5.2.1 Allgemeine Empfehlungen zur Gestaltung externer Evaluationen aufgrund der Erfahrungen<br />
aus dem Peer Review .................................................................................................................. 158<br />
5.2.2 Spezielle Empfehlungen zur Gestaltung externer Evaluationen aufgrund der Übertragung<br />
der Ergebnisse aus dem Peer Review ........................................................................................ 160<br />
5.2.2.1 Methodik der Übertragung auf Basis der vorliegenden Ergebnisse ............................. 160<br />
5.2.2.2 Kriterienorientierte Gegenüberstellung externer Evaluationen in der BRD und in<br />
ausgewählten Systemen ......................................................................................................... 162<br />
5.2.2.3 Gestaltungsvorschläge für externe Evaluationen in der BRD und in ausgewählten<br />
Systemen ..................................................................................................................................172<br />
6. Zusammenfassung und Ausblick ................................................................. 176<br />
7. Anhang ............................................................................................................. 179<br />
7.1 Literaturverzeichnis ................................................................................................................ 179<br />
7.2 Abbildungsverzeichnis ........................................................................................................... 191<br />
7.3 Tabellenverzeichnis ................................................................................................................ 193<br />
7.4 Abkürzungen ............................................................................................................................ 194<br />
7.5 Footnotes ................................................................................................................................. 195<br />
9
1. Hintergründe der Untersuchung<br />
10<br />
1. Hintergründe der Untersuchung<br />
1.1 Die Frage der Wirksamkeit von Qualitätsmanagementsystemen<br />
In außerschulischen Einrichtungen wird die Frage nach der Wirksamkeit von Qualitätsmanage-<br />
mentsystemen bereits seit längerem diskutiert. So bezieht sich beispielsweise die Konzeption<br />
von ISO 9001 auf die „[...] Verbesserung der Wirksamkeit eines Qualitätsmanagementsystems, um<br />
die Kundenzufriedenheit durch die Erfüllung der Kundenforderungen zu erhöhen (DIN Deutsches<br />
Institut für Normung e. V., 2008, S. 6). In schulischen Organisationen werden die Diskussionen<br />
zum Qualitätsmanagement in den nächsten Jahren noch weiter an Bedeutung gewinnen (Kempfert<br />
et al., 2008, S. 7). Offen blieb bislang insbesondere die Frage hinsichtlich der Wirksamkeit von<br />
Qualitätsmanagementsystemen in Bildungseinrichtungen. Dieser Aspekt war bislang noch nicht<br />
Inhalt bildungspolitischer Debatten, obwohl bereits erste Erkenntnisse vorliegen und Folgen von<br />
Evaluationen den Fokus empirischer Untersuchungen bilden.<br />
1.2 Eingrenzung des Untersuchungsgegenstandes<br />
Die externe Evaluation ist Teil eines ganzheitlichen Qualitätsmanagements an Schulen (vgl. 2.2.3;<br />
Brägger et al., 2005, S. 36). Die Frage hinsichtlich der Wirksamkeit dieser Verfahren kann trotz einer<br />
Fülle an Studien in diesem Gebiet nicht abschließend beantwortet werden (vgl. 2.4.3; Husfeldt,<br />
2011, S. 13). Döbert et al. konstatieren, dass hinsichtlich der externen Evaluation viele Informationen<br />
notwendig sind, um eine Antwort darauf zu erhalten, ob externe Evaluationen wirksam sind bzw.<br />
wie deren Vorzüge und Nachteile aussehen (Döbert et al., 2008, S. 150). Derzeit ist eine verstärkte<br />
Auseinandersetzung mit dem Thema der Wirksamkeit von externen Evaluationen erkennbar. So<br />
ist beispielsweise in diesem Jahr ein Sammelwerk mit dem Titel „Wirkungen und Wirksamkeit der<br />
externen Evaluation“ herausgegeben worden, das auf der Basis einer Tagung entstanden ist, die im<br />
Juli 2010 gemeinsam von der der Arbeitsgemeinschaft Externer Evaluationen von Schulen (ARGEV),<br />
der Pädagogischen Hochschule der Fachhochschule Nordwestschweiz und dem Forum Bildung in<br />
Baden durchgeführt wurde. Darüber hinaus beschäftigte sich die Frühjahrstagung 2011 des Arbeitskreises<br />
Schule der DeGEval (Gesellschaft für Evaluation) mit dem Thema der wirkungsorientierten<br />
Steuerung von Schulentwicklung durch Qualitätsmanagement, externe und interne Evaluation. Eine<br />
zunehmende Fokussierung des Themas ist derzeit ersichtlich. Vor diesem Hintergrund stellt diese<br />
wissenschaftliche Arbeit eine Wirksamkeitsanalyse vor, die den Nutzen von externen Evaluationen<br />
in das Zentrum der Untersuchung stellt. Dabei werden folgende Schwerpunkte gesetzt (vgl. 2.4.4):<br />
• Zufriedenheit der Betroffenen mit der externen Evaluation<br />
• Schulische Innovationen als Folge der externen Evaluation<br />
• Änderung des Outputs der Institution in Folge der externen Evaluation<br />
• Resultate der Änderung des Outcome der Institution in Folge der externen Evaluation<br />
• Return on Investment der externen Evaluation.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Die Auswirkungen von externen Evaluationen auf andere Komponenten eines Qualitätsmanagement-<br />
systems, wie beispielsweise die Steuerung von Qualitätsprozessen, werden in diesem Zusammen-<br />
hang nicht näher beleuchtet.<br />
1.3 Ziel und Vorgehensweise bei der Untersuchung<br />
Externe Evaluationen verfolgen das Ziel, die Qualität einer Bildungseinrichtung zu sichern und zu<br />
erhöhen (vgl. 2.2.3.1). Letztendlich ist dieser Anspruch mit weitreichenden Veränderungen und Folgemaßnahmen<br />
innerhalb einer Schule verbunden, die insgesamt eine qualitative Verbesserung in<br />
den jeweiligen Bereichen der Organisation erwirken sollen. Grundsätzlich stellt sich hier die zentrale<br />
Frage, wie die Wirksamkeit von externen Evaluationen erhöht werden kann und wie die bestehenden<br />
Verfahren weiterentwickelt werden können.<br />
Aus diesem Grund erfolgt zunächst in Kapitel 2 eine Einordnung von Qualitätsmanagement in schulischen<br />
Einrichtungen und Beschreibung zentraler Qualitätsmanagementsysteme. Auch die Aspekte<br />
von externen Evaluationen als Teil des Qualitätsmanagements der Schule, wie beispielswiese<br />
deren Bedeutung, Hintergrund oder Funktionen werden näher erläutert (vgl. 2.2). Mit Blick auf den<br />
zugrundeliegenden Untersuchungsgegenstand erfolgt eine Darlegung bereits entwickelter Modelle<br />
zur Untersuchung der Wirksamkeit externer Evaluationen sowie eine Übersicht der Ergebnisse von<br />
bereits durchgeführten empirischen Studien (vgl. 2.4).<br />
Der Forschungsprozess (vgl. 3.2) der hier zugrunde liegenden Wirksamkeitsuntersuchung ist in drei<br />
Phasen untergliedert. Zunächst werden auf der Basis der Erfahrungen des Pretests alle Personen mit<br />
direktem Bezug zum Verfahren befragt (vgl. 3.2.2.3.1), um Rückmeldungen über vorhandene Probleme<br />
bei der Durchführung der externen Evaluation zu erhalten. Ein weiterer Untersuchungsschritt<br />
bindet alle Lehrkräfte der Pilotschulen ein und dient dazu, die Adaptierung von Maßnahmen einschätzen<br />
zu können (vgl. 3.2.2.3.2). Diese Ergebnisse bilden die Basis für die Auswahl von Pilotschulen,<br />
die anschließend qualitativ untersucht werden (vgl. 3.2.3), um weitergehende Erkenntnisse und<br />
Verbesserungsvorschläge für die Optimierung externer Evaluationen zu erhalten (vgl. 4) und diese in<br />
weitere Empfehlungen einarbeiten zu können (vgl. 5). Auf der Basis vorliegender Ergebnisse werden<br />
zunächst Empfehlungen für das European Peer Review abgeleitet, das anhand der Erfahrungen<br />
der österreichischen Pilotstudie untersucht wurde (vgl. 5.1). Eine anschließende kriterienorientierte<br />
Gegenüberstellung externer Evaluationen ermöglicht eine Übertragung der Änderungsvorschläge<br />
auf weitere externe Verfahren (vgl. 5.2).<br />
11
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
12<br />
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
2.1 Schulen im Wandel der Zeit<br />
2.1.1 Aktualität der Debatte um Qualität<br />
Die Debatte um die Qualität von Schulen und deren Weiterentwicklung ist nicht neu. Bis Ende der<br />
70er Jahre ist dieser Prozess allerdings eher verdeckt und unbewusst abgelaufen. Dabei stand die<br />
Hoffnung im Vordergrund, „[...] dass veränderte Schulstrukturen nicht nur zu mehr Chancengleichheit,<br />
sondern auch zu verändertem Unterricht führen [...]“ (Wenzel, 2004, S. 391). Im folgenden<br />
Jahrzehnt stand erstmalig die Frage nach der ‚Qualität‘ von Bildungseinrichtungen im Raum. In<br />
diesem Zusammenhang wurden zahlreiche notwendige Bestimmungsfaktoren diskutiert, die eine<br />
gute Schule, einen guten Unterricht oder eine gute Lehrkraft begründen (Temme, 2002, S. 8), um<br />
nur einen kleinen Auszug zu nennen. Daraufhin wurde deutlich, dass die Reformbewegungen der<br />
70er und 80er Jahre wenig Erfolg erzielten, da überarbeitete Lehrpläne oder Rahmenrichtlinien den<br />
Unterricht in Bezug auf Inhalt und Methoden nur geringfügig veränderten. Dies fokussierte den Blick<br />
auf den Prozess einzelschulspezifischer Entwicklungsstrategien, der inzwischen weit fortgeschritten<br />
ist (Wenzel, 2004, S. 392).<br />
Die Frage nach ‚guten Schulen‘ beschäftigte die Bundesländer der Bundesrepublik Deutschland<br />
auch schon vor dem ‚PISA-Schock-Jahr 2002‘, wobei internationale Leistungserhebungen die<br />
Aspekte wie Schulqualität und Schülerleistungen noch weiter in den Vordergrund rückten und zu<br />
einer Entwicklung der sog. ‚school-effectivness-Forschung‘ führten. Hierfür bildeten Begriffe wie<br />
Schulethos, Schulklima, Schulgeist oder auch Schulkultur die Basis für einen merkmalsbasierten<br />
Qualitätsunterschied zwischen einzelnen Schulen. Diese ermittelten Merkmale wurden in eine<br />
innere Schulreform integriert und als normative Orientierung verstanden. Die Konsequenzen aus der<br />
‚school-effectivness-Forschung‘ wurden durch organisationstheoretische Erkenntnisse unterstützt,<br />
die eine zentrale Steuerung pädagogischer Einrichtungen anhand administrativer Maßnahmen als<br />
beinahe ungeeignet einschätzten. Anschließende Kritik bezog sich auf die Ansätze, die Organisationen<br />
als Bürokratien betrachtet. Im Ergebnis sehen die neuere Organisationstheorie und die Resultate<br />
der empirischen Schulforschung eine differenzierte Unterscheidung an Qualitätsmerkmalen einzelner<br />
Schulen vor, wobei die Einzelschule die Basis der Schulentwicklung bilden sollte (Wenzel, 2004,<br />
S. 393 ff.). Dadurch ist der Anspruch an Qualitätsentwicklung und -sicherung umfassender geworden<br />
(Schratz, Iby & Radnitzky, 2000, S. 9) und die Betrachtung der Schule als Ganzes rückte während<br />
der ‚neuen‘ Qualitätsdiskussion weiter in den Fokus (Maritz et al., 2006, S. 17). In den 90er Jahren<br />
ist diese Dynamik systematisiert worden, in dem den Einzelschulen eine erweiterte Verantwortung<br />
zugesprochen wurde (Wenzel, 2004, S. 395), um mehr Spielraum innerhalb der Qualitätsdebatte<br />
zu erhalten. Die Eigenverantwortung bezieht sich insbesondere auf die Bereiche der Personal- und<br />
Finanzverwaltung sowie auf die Gestaltung pädagogischer Konzepte (Bräu, 2009, S. 316). Spaenle<br />
erläutert, dass „[...] mehr Freiheit und mehr Eigenverantwortung für die einzelnen Schulen die Qualität<br />
der Bildung der jungen Leute [erhöht]. Durch ein System der systematischen Qualitätsförderung,
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
eines Qualitätsmanagements, wurden bei einem Schulversuch an beruflichen Schulen die Motivation<br />
und Kreativität der Schüler und Lehrkräfte gesteigert und nachhaltig mehr Bildungserfolge an der<br />
gesamten Schule generiert“ (Pressemitteilung des Bayerischen Staatsministeriums für Unterricht<br />
und Kultus, 2009, S. 10).<br />
Diese Entwicklung beschreibt eine Umorientierung der Bildungspolitik, indem Schulen mehr Autonomie<br />
erhalten, die allerdings gleichzeitig mit einer erhöhten Rechenschaftspflicht verbunden ist<br />
(Maritzen, 1998, S. 632). Der schulische Handlungsspielraum wird insoweit begrenzt, da für die<br />
jeweiligen Schulen Bildungsstandards als Rahmenvorgabe eingeführt wurden. Dennoch ergeben<br />
sich für die Bildungseinrichtungen eigene Handlungs- und Gestaltungsmöglichkeiten, da die Definition<br />
von Rahmenbedingungen den Staat aus seiner direkten Kontrollfunktion entbindet. Die Schulen<br />
gewinnen so an Autonomie, wodurch die notwendigen Selbstbestimmungsmöglichkeiten für eine<br />
Schul- und Qualitätsentwicklung geschaffen werden (Rützel & Basel, 2006, S. 10 ff.).<br />
Diese umfassenden Veränderungen rücken das Thema ‚Qualität‘ auch zunehmend in den Fokus der<br />
Öffentlichkeit. Eine Bildungseinrichtung sollte auf Veränderungen gesellschaftlicher Bedingungen<br />
oder Situationen durch entsprechende interne Maßnahmen angemessen reagieren können, indem<br />
auf Grund- und Vorkenntnisse der SchülerInnen (Inputqualität) bzw. veränderte Anforderungen in<br />
der Berufswelt (Outputqualität) durch entsprechende Reaktionen innerhalb der Bildungseinrichtung<br />
(Prozessqualität Schule und Unterricht) eingegangen wird (Dubs, 2005, S. 205 f.). Das Ergebnis<br />
ist eine kontinuierliche Schulentwicklung, die durch veränderte Rahmenbedingungen und einer<br />
Weiterentwicklung der beteiligten Akteure als fortlaufender und kontinuierlicher Entwicklungs- bzw.<br />
Verbesserungsprozess bezeichnet werden kann.<br />
In den letzten Jahren wurden verschiedenste Tagungen zum Thema Qualität einberufen. So auch die<br />
15. Hochschultage Berufliche Bildung 2008, die sich mit ‚Qualität in Schule und Betrieb‘ beschäftigten<br />
und in diesem Bereich vielfältige Ergebnisse liefern (Bals, Hegmann & Wilbers, 2009). FuSSStetter<br />
erläutert beispielsweise in seinem Vortrag, dass noch kein gemeinsames Verständnis zu guter Schule<br />
und gutem Unterricht vorliegt (Fußstetter, 14. März 2008, S. 2). WilberS verdeutlicht hierbei, dass<br />
Qualitätsmanagement die Antwort auf die Suche nach einer ‚neuen‘ Steuerung von Schulen ist,<br />
um Bildungseinrichtungen einerseits mit mehr Autonomie auszustatten, die andererseits aber eine<br />
höhere Rechenschaftspflicht impliziert (Wilbers, 2008, S. 48).<br />
Seit etwa einem Jahrzehnt genießt das Thema ‚Qualität‘ im Bildungswesen eine hohe Aktualität. Gonon<br />
et al. haben für diese Entwicklung einige Gründe aufgeführt, indem u. a. ein beschleunigter gesellschaftlicher<br />
Wandel, der Abbau von staatlicher Autorität, die Schwierigkeit einer zentralen Steuerung<br />
in komplexen Systemen, Bildung als Wettbewerbsfaktor sowie zunehmende Leistungs- und Qualitätsansprüche<br />
genannt werden (Gonon, 2001, S. 9 ff.). Aber auch globale Veränderungen erfordern eine<br />
fundierte Weiterentwicklung schulischer Bildungseinrichtungen (Rahm, 2010, S. 109). In Anbetracht<br />
einer strategischen und routinierten Weiterentwicklung einer pädagogischen Organisation, deren<br />
Rahmenbedingungen sowie deren Akteure sollte die Diskussion um das Thema ‚Qualität‘ nie enden,<br />
da diese letztendlich eine stetige Qualitätsentwicklung durch eine Synchronisation von Ansichtsweisen<br />
und Einstellungen eine Weiterentwicklung der Beteiligten und der Bildungseinrichtung selbst fördert.<br />
13
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
14<br />
2.1.2 Die Bedeutung des Qualitätsmanagements<br />
2.1.2.1 Begriffliche Definitionen<br />
2.1.2.1.1 Qualität<br />
Im Folgenden wird der Begriff ‚Qualität‘ für die vorliegende Arbeit konkretisiert. In diesem Zusammenhang<br />
werden zunächst einige Definitionen auf der Basis verschiedener Autoren und verbreiteter<br />
Qualitätsmanagementsysteme dargelegt, um einen Überblick zu erzielen. Des Weiteren werden<br />
relevante Eckpunkte skizziert, die diesbezüglich für Bildungseinrichtungen von Bedeutung sind.<br />
Der Fokus der Erläuterungen bezieht sich auf das Peer Review in European VET, das den Kontext<br />
der vorliegenden Erhebung bildet (vgl. 3.1). Hierbei wird die vorhandene Begriffsdefinition feiner<br />
untergliedert und anschließend erweitert.<br />
Der Begriff ‚Qualität‘ hat seinen Ursprung in der lateinischen Sprache und wurde von dem Wort ‚qualitas‘<br />
abgeleitet, das für Beschaffenheit, Güte und Werthaltigkeit steht (Kempfert et al., 2008, S. 11).<br />
Zu dem Begriff ‚Qualität‘ gibt es in der Literatur eine Vielzahl von Definitionen, da er in nahezu allen<br />
Bereichen der Wissenschaft, insbesondere in allen Bereichen des täglichen Lebens, verwendet wird.<br />
Eine häufig zitierte Definition ist die DIN EN ISO (vgl. 2.1.2.5.1), eine europäische Normenreihe, die<br />
Grundlagen und Begriffe für Maßnahmen zum Qualitätsmanagement durch die internationale Organisation<br />
für Standardisierung sowie auf nationaler Ebene durch das Deutsche Institut für Normung<br />
festlegt. In der Norm 9000:2005 wird ‚Qualität‘ als „Grad, in dem ein Satz inhärenter Merkmale<br />
Anforderungen erfüllt“ (S. 18), definiert. Qualität bedeutet also, in welchem Maße ein Produkt (Ware<br />
oder Dienstleistung) den bestehenden Anforderungen entspricht, die anhand objektiv messbarer<br />
Merkmale ermittelt werden können (S. 18 f.). Durch die Definition einer Zielgruppe und die Ermittlung<br />
des subjektiven Empfindens dieser Zielgruppe wird ein inhärentes Merkmal definiert, das somit als<br />
messbarer Bestandteil der Qualität gilt (Schmidt, 26.11.2010, S. 2). Die vorgenannte Definition basiert<br />
auf der Annahme, Qualität an bestimmten Merkmalen und Anforderungen deklarieren zu können.<br />
Die Konkretisierung von Anforderungen übernehmen in den Bereichen Wirtschaft und Verwaltung<br />
vor allem Personen, die eine Kundenperspektive repräsentieren. Fraglich ist nun, wer im Bildungsbereich<br />
als Kunde zu definieren ist. Denkbar wäre, hierunter die SchülerInnen zu subsumieren.<br />
„Aber die Schülerinnen und Schüler sind nicht Kunden, »sondern Koproduzenten des Lernens«,<br />
und sie bestimmen auch nicht die Anforderungen“ (Kempfert et al., 2008, S. 11). Nach rolFF sind die<br />
Anforderungen an eine Bildungseinrichtung in folgenden Eckpunkten verankert:<br />
• „staatliche Lehrpläne, neuerdings Bildungsstandards<br />
• gesellschaftliche und wirtschaftliche Erwartungen<br />
• der Wissenschaft<br />
• der Bildungs- und Erziehungstheorie und<br />
• dem Leitbild/Schulprogramm“ (Rolff, 28./29. August 2009, S. 10).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
bohlinGer beschreibt Qualität als eine deskriptive Entität, die einem Gegenstand zuzuschreiben<br />
ist (Bohlinger & Münk, 2009, S. 127), wobei diese technische Definition nur begrenzt auf Bildungs-<br />
einrichtungen übertragen werden kann, da Schüler eben keine Produkte sondern Individuen sind<br />
und die Lehrkräfte entsprechende Bildungsaufträge umzusetzen haben. Qualität in der Schule ist<br />
vielmehr als „[...] Ergebnis eines sozialen Aushandlungsprozesses [zu betrachten]“ (Bohlinger et al.,<br />
2009, S. 127), in dem eine zielgerichtete Verbesserung von Schule und Unterricht durch die Institution<br />
selbst und deren beteiligten Akteuren entsteht, indem unter Berücksichtigung der oben aufgeführten<br />
Anforderungen die Einzelschule in den Fokus der Betrachtung gestellt wird. SteFFenS bezeichnet<br />
Schulqualität als ein Ergebnis, „[...] das auf der Handlungsebene der einzelnen Schule entsteht“ (Steffens,<br />
2007, S. 27 ff.). Qualität ist dabei „[...] nie eine stabile, dem Objekt »an sich« zukommende, sondern<br />
eine auf einer implizierten oder explizierten Beurteilung beruhende zugeschriebene Eigenschaft<br />
oder Eigenschaftskombination und insofern immer beobachter- bzw. beurteilerrelativ» (Terhart,<br />
2000, S. 814, 815). Nach der Schweizerischen Konferenz der kantonalen Erziehungsdirektoren wird<br />
Schulqualität erzielt, «[...] wenn motivierte Lehrkräfte und Lernende in einer gut geführten und sinnvoll<br />
organisierten Institution gute Lehr- und Lernleistungen erbringen» (Schweizerische Konferenz der<br />
kantonalen Erziehungsdirektoren, 2008, S. 10).<br />
Vor diesem Hintergrund wundert es nicht, dass das Wort ‹Qualität› in der Diskussion sehr unterschiedlich<br />
verwendet wird. Das Europäische Peer Review für die berufliche Erstausbildung ist<br />
beispielsweise als externe Evaluation in das Qualitätsmanagementsystem QIBB eingebunden (vgl.<br />
2.3.2) und bezeichnet ‹Qualität› als allgemeinen Begriff, der kontextabhängig ist, d. h. «der konkrete<br />
Kontext muss bekannt sein, um Qualität zu definieren» (Gutknecht-Gmeiner & Österreichisches Institut<br />
für Berufsbildungsforschung, 2007, S. 34). Qualität wird hierbei als Quotient zwischen «Erfahrung<br />
(Wirklichkeit) und Erwartungen (Ziele)» betrachtet (Gutknecht-Gmeiner et al., 2007, S. 34). Qualität ist<br />
also ein Ergebnis aus dem Vergleich von Realität und den gesetzten Zielen einer Bildungseinrichtung.<br />
Es stellt sich nun die Frage, wie Dividend (Wirklichkeit) und Divisor (Ziele) ermittelt werden können.<br />
Die ‹Wirklichkeit›, also der aktuelle Zustand der Bildungseinrichtung, betrifft insbesondere das<br />
Agieren aller Akteure in Prozessen, Verfahren, Abläufen und Situationen im Schulalltag. Beteiligte<br />
Personen können in diesem Zusammenhang Lehrkräfte, Schulleitung, SchülerInnen, Eltern, Ausbildungsbetriebe<br />
und andere schulspezifische Statusgruppen sein, die mit der Bildungseinrichtung<br />
verbunden sind. Eine Erfassung dieser Meinungen kann im Rahmen eines funktionierenden Qualitätsmanagementsystems<br />
durch Evaluationen in Form von Rückmeldungen durch die Akteure an die<br />
Schule als Ganzes (Ist-Aussagen) erfolgen. Im Rahmen von QIBB, dem Qualitätsmanagementsystem<br />
für berufsbildende Schulen in Österreich (vgl. 2.3.2), existieren im Bereich der ‹Ziele› folgende Anforderungen<br />
an die Bildungseinrichtung (Bundesministerium für Unterricht, 2011, S. 3):<br />
• Leitbild der Sektion II Berufsbildung, die für die Verwaltung und Weiterentwicklung des berufsbildenden<br />
Schulwesens zuständig ist<br />
• Leitbild der Schulart<br />
• Qualitätsmatrix, die Schlüsselprozesse, lang- und mittelfristige Ziele, Umsetzungsmaßnahmen,<br />
Ergebnisse, Indikatoren und Evaluierungsmethoden enthält<br />
15
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
16<br />
• Basisübereinstimmung hinsichtlich Schulprogramm, Management & Performance Review und<br />
der Evaluationsinstrumente<br />
• eine abgestimmte Unterstützung durch die Pädagogischen Institute.<br />
Diese Eckpunkte bilden für die berufsbildenden Schulen in Österreich die Basis für ein schulinternes<br />
Leitbild bzw. Schulprogramm, in dem die Schule eigene Werte, Normen und Standards (Soll-<br />
Aussagen) sowie Qualitätsansprüche definiert. Somit sind auch auf dieser Ebene die o. g. Akteure<br />
beteiligt, da die beteiligten Statusgruppen die Ziele der Bildungseinrichtung definieren und das<br />
weitere Vorgehen in der Schulentwicklung bestimmen. Die Qualität einer Bildungseinrichtung ist also<br />
unmittelbar mit der Qualität der Akteure und der Qualität der Ziele verbunden.<br />
Überträgt man die Formel (Gutknecht-Gmeiner et al., 2007, S. 34)<br />
in ein funktionierendes Qualitätsmanagementsystem, so wird der mathematisch ausgedrückte<br />
Wert 1 nie erzielt werden können, da eine ständige Weiterentwicklung der Ziele auf Basis der o. g.<br />
Anforderungen an Qualität, beispielsweise infolge veränderter gesellschaftlicher und wirtschaftlicher<br />
Erwartungen oder wissenschaftlicher Erkenntnisse, eine fortwährende Diskrepanz zwischen<br />
Wirklichkeit und Ziele bedeutet. Diese Aussage trifft allerdings nur zu, sofern Wirklichkeit und Ziele<br />
zu einem gleichen Zeitpunkt betrachtet werden. Qualität ist also ein ‚dynamischer Begriff‘, da seine<br />
Definition durch eine permanente Entwicklung des schuleigenen Verständnisses nicht über Jahre<br />
hinweg unverändert bleiben kann.<br />
Bezüglich der ‚Ziele‘ können auf nationaler Ebene bildungspolitische Ziele und Lehrpläne genannt<br />
werden. Übergreifend gilt der europäische Qualifikationsrahmen (EQR), der berufliche Qualifikationen<br />
und Kompetenzen in Europa vergleichbarer machen soll. Darüber hinaus dient der Common<br />
Quality Assurance Framework (CQAF) „[...] den Mitgliedsstaaten als Referenz bei der Entwicklung<br />
und der Reform von Qualitätssystemen in der beruflichen Bildung und basiert auf den Grundprinzipien<br />
der wichtigsten Qualitätssicherungsmodelle“ (Bundesinstitut für Berufsbildung, 01.01.2011).<br />
Daneben existiert der Europäische Bezugsrahmen für die Qualitätssicherung in der beruflichen Ausund<br />
Weiterbildung (EQARF), der „[...] die Mitgliedstaaten dabei unterstützen soll, die kontinuierliche<br />
Verbesserung ihrer Berufsbildungssysteme mittels gemeinsamer europäischer Bezugsgrößen zu<br />
fördern und zu beobachten. Zu den wesentlichen Zielen, die mit dem EQARF verfolgt werden, gehören<br />
die Steigerung der Qualität der Berufsbildung und die Schaffung von Transparenz und Kohärenz<br />
sowie gegenseitigem Vertrauen zwischen den Mitgliedstaaten“ (Bundesinstitut für Berufsbildung,<br />
01.01.2011). Die im Verlauf genannten Eckpunkte bilden die Basis für ein schulinternes Leitbild bzw.<br />
Schulprogramm, in dem die Schule eigene Werte, Normen und Standards (Soll-Aussagen) sowie<br />
Qualitätsansprüche definiert. Somit sind auch auf dieser Ebene die o. g. Akteure beteiligt, da die<br />
beteiligten Statusgruppen die Ziele der Bildungseinrichtung definieren und das weitere Vorgehen in<br />
der Schulentwicklung bestimmen. Wie bereits oben erwähnt, wird die Qualität einer Bildungseinrichtung<br />
also eindeutig durch die Qualität der Akteure und die Qualität der Ziele bestimmt.<br />
Den verschiedenen schulischen Qualitätsmanagementsystemen in Schulen, wie beispielsweise<br />
Q2E (Qualität durch Evaluation und Entwicklung), unterliegt ein eigenes Qualitätsverständnis. Das<br />
Modell Q2E verfolgt hierbei einen anderen Ansatz, indem ein Qualitätsdefizit als Ergebnis einer<br />
Subtraktion zwischen Soll- und Istzustand definiert wird, da Ist-Soll-Vergleiche zwischen der
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
festgestellten Qualitätsdiagnose und dem Qualitätsleitbild die Grundlage für die Erarbeitung von<br />
Maßnahmen zur Optimierung der Qualitätsentwicklung bilden (Landwehr & Steiner, 2007, S. 43).<br />
Das Projekt Q2E orientiert sich allerdings dabei an einem ‚neuen‘ Qualitätsverständnis, das auf dem<br />
Total-Quality-Management basiert (vgl. 2.3.1.1.2), wobei „[...] die Entstehung von Qualität als eine<br />
Folge von Entwicklungs- und Optimierungsschritten gesehen [wird]“ (Steiner & Landwehr, 2007, S. 7).<br />
Qualität wird somit nicht mehr als ‚Grad der Vollkommenheit‘, sondern umfassender definiert, indem<br />
der Qualitätsbegriff auf eine Gesamteinrichtung projiziert wird und die Anforderungen von Kunden,<br />
Mitarbeitern bzw. Unternehmensleitung berücksichtigt werden (Landwehr et al., 2007, S. 6 f.).<br />
Ähnlich zu Q2E, bildet das schulspezifische Qualitätsverständnis (vgl. 2.3.1.2.2.1) das Zentrum des<br />
Modells QmbS (Qualitätsmanagementsystem an beruflichen Schulen in Bayern) (vgl. 2.3.1.2.1). Dabei<br />
legt jede Bildungseinrichtung selbst fest, was die Definition des Begriffs ‚Qualität‘ beinhaltet, indem<br />
Qualitätsziele anhand der schulinternen Bedarfslage und den schulischen Wertvorstellungen auf<br />
der Basis des zugrundeliegenden Qualitätsrahmens festgelegt werden. Diese Zielperspektive stellt<br />
den Ausgangspunkt für eine schulische Qualitätsentwicklung anhand weiterer Maßnahmen sowie<br />
einer Feststellung von Qualitätsverbesserungen dar (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 11).<br />
Eine Steigerung von Qualität würde im Q2E-Ansatz eine Verringerung der Differenz zwischen den<br />
gesetzten Zielen und der Realität bzw. eine Erhöhung des Quotienten bezüglich der aufgestellten<br />
Formel von Gutknecht-Gmeiner bedeuten. Dies gilt allerdings nur bis zu dem Zeitpunkt, bis die Ziele<br />
einer Bildungseinrichtung (Soll-Zustand) im Sinne eines kontinuierlichen Qualitätsregelkreises neu<br />
ausgerichtet und definiert werden. Ein weiteres Voranschreiten in der Qualitätsarbeit würde zwar<br />
als weitere Optimierung zum Ausdruck kommen, insgesamt wird ein mathematischer Mehrwert aus<br />
der Verbesserung der Qualität allerdings nicht deutlich. Aus diesem Grund könnte die Formel von<br />
Gutknecht-Gmeiner auch weiter ausgebaut und als dreidimensionale Darstellung mit Berücksichtigung<br />
der zeitlichen Dimension überdacht werden. Die Funktion müsste neben den Bedingungen Erfahrung<br />
und Erwartung auch die zeitliche Dimension beinhalten. Durch die permanente Weiterentwicklung der<br />
Wirklichkeit und der Ziele erfolgt im Zeitverlauf eine positive Rückkoppelung (Regelkreis) mit stetiger<br />
Neuausrichtung der Erfahrungen und Erwartungen. Ziel ist weiterhin die ‚Maximierung‘ der Qualität.<br />
Die Funktion stellt sich wie folgt dar:<br />
Empfehlenswert ist darüber hinaus, die zugrundeliegenden Begriffe weiter auszudifferenzieren, da<br />
zum Beispiel die Erfahrung eines Akteurs von Faktoren wie Alter, Ausbildung, Beschäftigungsdauer,<br />
Wissensumfang, Charaktereigenschaften, Klassengröße, Lerninhalte etc. abhängt, um nur einen<br />
Ausschnitt zu nennen. Auch die Ziele wären durch den Ansatz von SenGe im Sinne der drei Aspekte<br />
eines Leitbildes zu erweitern, indem eine Vision als Bild der (erhofften) Zukunft der Organisation, die<br />
Mission durch die Definition der gemeinsamen Aufgabe und gesetzte Ziele in Form von Meilensteinen<br />
definiert werden. Hauptaufgabe bei der Entwicklung einer Vision ist schließlich die Förderung des<br />
Diskurses zwischen den beteiligten Personen einer Organisation, um unterschiedliche Vorstellungen,<br />
Ansichtsweisen, Handlungsweisen, etc. zu synchronisieren (Senge, 1994, S. 345 ff.). kempFert und<br />
rolFF bezeichnen ein Leitbild als pädagogisches Selbstverständnis, „auf das sich (fast) alle Lehrkräfte<br />
einigen müssen“ (Kempfert et al., 2008, S. 45).<br />
17
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
18<br />
SchmiDt bezeichnet Qualität schließlich als Ergebnis eines diskursiven Prozesses (Steiner et al., 2007,<br />
S. 3), da der Austausch individueller Einstellungen beteiligter Akteure einer Bildungseinrichtung eine<br />
Reflexion nach sich zieht und Divergenzen bei der Definition von Zielen in einen Konsens zu bringen<br />
sind. rolFF skizziert die Einzelschule in diesem Zusammenhang als „Motor der Entwicklung“, die<br />
„sich nur entwickelt, wenn die Akteure innerhalb einer Schule dies wollen und sie dabei unterstützt<br />
werden (Kempfert et al., 2008, S. 10)“. Die Qualität einer Bildungseinrichtung wird also beeinflusst<br />
von integrierten Menschen, deren Wertorientierung und Handlungen (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2007, S. 46). Da die Qualität entscheidend von der Qualitätsvorstellung der<br />
involvierten Akteure bestimmt wird, existieren keine ‚einzig wahren‘ Qualitätsziele (Landwehr et al.,<br />
2007, S. 128). Diese sind auf der Basis der Einstellungen und Meinungen der beteiligten Akteure von<br />
der Bildungseinrichtung in einem diskursiven Prozess selbst zu erarbeiten. Basis der Qualitätsarbeit<br />
ist also das zugrundeliegende schulspezifische Qualitätsverständnis, das im Rahmen der Qualitätssicherung,<br />
den fortwährenden Aktivitäten zum Erhalt aktueller Qualität und der Qualitätsentwicklung<br />
den laufenden Bemühungen zur Erreichung festgesetzter Qualitätsziele, Anwendung findet. Um<br />
Qualität zu erlangen, „verlangt [es] einen kontinuierlichen Reflexionsprozess und die Einführung<br />
eines funktionierenden Regelkreises auf allen Ebenen“ (Bundesministerium für Unterricht, 2011, S. 2).<br />
Der Qualitätskreislauf basiert auf dem PDCA-Kreislauf und wird durch folgende Schritte definiert:<br />
• Planen von Verbesserungsmaßnahmen<br />
• umsetzen von Verbesserungsmaßnahmen<br />
• überprüfen der Verbesserungsmaßnahmen<br />
• Optimierung der Verbesserungsmaßnahmen (Steiner et al., 2007, S. 7).<br />
Die Definition von Qualität in einer Bildungseinrichtung bildet den zentralen Ausgangspunkt im Qualitätsmanagement<br />
für alle weiteren Maßnahmen in der Qualitätsarbeit (Schweizerische Konferenz<br />
der kantonalen Erziehungsdirektoren, 2008, S. 9). De facto bedeutet dies, dass klar definierte Ziele,<br />
die mit Hilfe qualitativer oder quantitativer Kriterien zu erfassen und zu skalieren sind, durch das<br />
Umsetzen von festgelegten Maßnahmen erfolgt, mit der Durchführung von Evaluationen überprüft<br />
und Verbesserungen aufgrund der erzielten Ergebnisse integriert werden müssen.<br />
carStenSen erläutert, dass die „[...] wichtigste Info zur Qualität der Schule [...] über Folgeuntersuchungen<br />
[erfolgt], indem Absolventen zu ihrer beruflichen Weiterentwicklung sowie zur Anwendung in<br />
der Schule erworbener Qualifikationen befragt werden (Carstensen, September 1997, S. 40). Diese<br />
Thematik wird in Kapitel 2.4.4.2 weiter aufgegriffen.<br />
2.1.2.1.2 Qualitätsmanagement<br />
Grundsätzlich lässt sich das Wort Qualitätsmanagement in den oben definierten Begriff ‚Qualität‘<br />
und das Nomen ‚Management‘ unterteilen. büloW-Schramm spricht bei Management von<br />
einer „zielorientierte[n] Planung (Zielbildung und deren Operationalisierung), Steuerung und<br />
Kontrolle von Leistungsprozessen in Organisationen“ (Bülow-Schramm, 2006, S. 16). Im<br />
Bildungsbereich kann der Begriff Management auf die gesamte Schule übertragen werden<br />
und dabei Bereiche wie Personalführung und Organisationsleitung umfassen (Horster, 1995,
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
S. 37). Übergreifend bezeichnet DubS die Einzelschritte der Qualitätsdefinition, -sicherung und<br />
-entwicklung als Qualitätsmanagement (Dubs, 2009, S. 1209). Die Qualitätssicherung und -entwick-<br />
lung basieren idealerweise auf einem zugrundeliegenden Prozess, „[...] dessen Ausgangspunkt eine<br />
klare Vorstellung über Qualitätsziele und den zu gestaltenden Gegenstand bilden würde“ (Bohlinger<br />
et al., 2009, S. 128).<br />
Qualitätsmanagement kann insbesondere als „[...] alle aufeinander abgestimmten Tätigkeiten [...] zur<br />
Leitung und Lenkung einer Organisation bezüglich Qualität [aufgefasst werden]. Sie umfassen üblicherweise<br />
die Festlegung der Qualitätspolitik, der Ziele und Verantwortungen und deren Verwirklichung<br />
durch u. a. Qualitätsplanung, -lenkung, -sicherung und -verbesserung“ (Bayerisches Staatsministerium<br />
für Unterricht und Kultus, 14.06.2011, S. 16). Ähnlich definieren Seitz & capaul Qualitätsmanagement als<br />
„[...] eingesetzte[s] Verfahren, mit denen Bereiche der Schulqualität systematisch erfasst, verbessert<br />
und gesichert werden. Ziel ist die Qualitätserfassung, -entwicklung und -sicherung“ (Seitz & Capaul,<br />
2007, S. 548). kempFert geht bei der Definition einen Schritt weiter, indem „modernes Qualitätsmanagement<br />
[...] als kontinuierlicher Verbesserungs- und damit als Lern-Prozess [deklariert wird]“ (Helmke,<br />
Hornstein & Terhart, S. 41). Somit kann eine übergreifende Weiterentwicklung auf allen Ebenen einer<br />
Organisation erzielt werden.<br />
Vergleicht man diese Definitionen, ist eine starke Kongruenz in der inhaltlichen Thematik ersichtlich.<br />
Übergreifend kann daher festgestellt werden, dass Qualitätsmanagement eine systematische<br />
Methode ist, die „[...] Qualität erfasst, verbessert und sichert“ (Dubs, 2009, S. 1209).<br />
cuttance unterscheidet hierbei zwischen den Begriffen<br />
• Qualitätsmanagement, als Maßnahme zur Erhebung, Sicherung und Verbesserung der ablaufenden<br />
Prozesse<br />
• Qualitätssicherung, als Prävention von Qualitätsmängeln durch systematische geplante Handlungen<br />
• Qualitätskontrolle, als Maßnahme zur Bestimmung der Güte eines Produktes (Cuttance, 1994,<br />
S. 100 f.).<br />
„Qualitätsmanagement benötigt Daten als Grundlage für die Ist-Diagnose, für Steuerungswissen<br />
und für Bewertungen [...]“ (Kempfert & Rolff, 2002, S. 23). Evaluationen bilden also die Basis für<br />
ein Qualitätsmanagement, um anhand der erhobenen Werte Qualitätszustände, -verbesserungen<br />
oder -rückschritte zu ermitteln. Diese stellen wiederum den Ausgangspunkt für entsprechende<br />
Steuerungsmechanismen und weitere Folgemaßnahmen dar, damit Qualitätsdefizite beseitigt und<br />
gewünschte Effekte erzielt werden können.<br />
Qualitätsmanagementsysteme werden gemäß der DIN EN ISO 9000:2005 als „Managementsystem<br />
zum Leiten und Lenken einer Organisation bezüglich der Qualität definiert“ (S. 20). Qualitätsmanagementsysteme<br />
beschreiben das Zusammenwirken verschiedener Komponenten und Akteure<br />
innerhalb einer Organisation, verbunden mit dem Ziel, die Qualität der Einrichtung zu erhöhen.<br />
19
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
20<br />
Qualitätsmanagement wird, mit Blick auf die vorliegende Untersuchung externer Evaluationen, als Instrument<br />
verstanden, gesetzte Ziele innerhalb des Leitbilds und der implementierten Prozesse auf ihre<br />
Realisierung bzw. Funktionalität zu überprüfen. Jeder Evaluation liegen dabei untergeordnete Ziele<br />
zugrunde, um die Diskrepanz zwischen den Qualitätszielen der Bildungseinrichtung und dem momentanen<br />
Zustand zu ermitteln. In einem weiteren Schritt ist es Aufgabe des Qualitätsmanagements,<br />
durch eine systematische Steuerung die Soll-Ist-Abweichungen anhand geeigneter Maßnahmen zu<br />
reduzieren. Die eigentliche Qualitätsverbesserung durch eine Erhöhung der Qualität wird dabei als<br />
Schulentwicklung definiert (vgl. 2.1.2.1.3). Qualitätsmanagement ist also ein routiniertes sowie funktionierendes<br />
Feedbacksystem zur weiteren Schulentwicklung, das vor dem Hintergrund verfolgt wird,<br />
Abläufe zu optimieren und die Qualität der Bildungseinrichtung sowie seiner Akteure zu verbessern.<br />
Im Bereich des Qualitätsmanagements gibt es allerdings zahlreiche Erfolgsfaktoren, die für eine<br />
erfolgreiche Anwendung essentiell sind. Die Schulleitung nimmt beispielsweise beim Aufbau eines<br />
Qualitätsmanagementsystems eine zentrale Rolle ein, indem eine klare und zielorientierte Führung<br />
notwendig ist (Kurz & Schmid, 2009, S. 154). brunnhuber verdeutlicht, dass Qualitätsmanagement<br />
in zentraler Weise von dem Engagement der Schulleitung abhängt, indem die Qualitätsarbeit kontinuierlich<br />
weiter verfolgt wird und Mitarbeiter entsprechend motiviert werden (Brunnhuber, 2009,<br />
S. 23). Die Aktivität und Kreativität einer jeden Lehrkraft nimmt somit ebenfalls Einfluss auf den<br />
Prozess der Qualitätsentwicklung. Damit schließlich eine Verbesserungswirkung erzielt werden kann,<br />
ist diese wiederum davon abhängig, ob für die Mehrzahl des Lehrerkollegiums1 langfristig ein Nutzen<br />
aus der Qualitätsarbeit erkennbar ist (Lorenz, 2007, S. 2). Das Engagement einer Lehrkraft kann<br />
insofern geweckt werden, wenn Inhalte aus dem Qualitätsmanagement mit dem Alltagsgeschäft,<br />
also hauptsächlich mit dem Unterricht in Verbindung gebracht bzw. Problembereiche zielführend<br />
bereinigt werden können (Capaul, 14.12.2009). Ein weiterer Bereich bildet die Ressourcenplanung<br />
bzw. -bereitstellung, die hauptsächlich bei der Implementierung eines Qualitätsmanagements, aber<br />
auch bei einer weiteren Anwendung erforderlich ist, um das System in der Bildungseinrichtung<br />
erfolgreich anwenden zu können (Ruf, 2009, S. 7 f.). Die genannten Faktoren für eine erfolgreiche<br />
Anwendung eines Qualitätsmanagements stellen keinen Anspruch auf Vollständigkeit dar, da jedes<br />
System bzw. jede Organisation individuelle Bedingungen bzw. Schwerpunkte implizieren würde.<br />
2.1.2.1.3 Schulentwicklung<br />
Schulen entwickeln sich aufgrund von Veränderungen im Umfeld, bei den Beteiligten oder den Rahmenbedingungen.<br />
Die eigentliche Schulentwicklung bezieht sich allerdings auf eine systematische<br />
Weiterentwicklung einer einzelnen Bildungseinrichtung (Rolff, 1999, S. 13). In den vergangenen zwei<br />
Jahrzehnten bildete der Begriff ‚Schulentwicklung‘ verstärkt den Fokus bildungspolitischer Diskussionen<br />
in der Bundesrepublik Deutschland (Schimitzek, 2008, S. 32). Diese Tatsache lässt sich auf<br />
die Erkenntnis zurückführen, dass zentral gesteuerte Entwicklungsprogramme wenig Wirkung auf<br />
einzelne Schulen zeigten. Aus diesem Grund muss die individuelle Schule selbst Entwicklungen<br />
vorantreiben und als ‚Motor‘ der Reformen fungieren (Rolff, 2009, S. 298). In diesem Zusammenhang<br />
wird die Einrichtung von Steuergruppen „[...] als bedeutendste Schulinnovation des letzten<br />
1 Personen- und Funktionsbezeichnungen gelten übergreifend für beide Geschlechter.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Jahrhunderts [bezeichnet], da sich Bildungseinrichtungen nun auf dem Weg einer ‚lernenden Schule‘<br />
befinden und Qualitätsziele durch Leitbilder und Schulprogramme selbst erarbeiten bzw. umsetzen“<br />
(Kempfert et al., 2008, S. 10). Steuergruppen fungieren in schulischen Reformen als Akteure, die<br />
sich mit aktuellen Themen im Bereich der Schulentwicklung auseinandersetzen und die Realisierung<br />
schulischer Ziele verfolgen (Berkemeyer & Holtappels, 2006, S. 184).<br />
müller konstatiert, dass der Begriff Schulentwicklung vielseitig interpretiert werden kann und in<br />
der Theorie derzeit nur knapp dargestellt wird (Müller, 2010, S. 12). Aus diesem Grund werden im<br />
Folgenden bisherige Definitionen und Aspekte im Bereich der Schulentwicklung erläutert:<br />
Grundsätzlich kann die Entwicklung eines Leitbilds, die Definition von Qualitätszielen und die<br />
anschließende Durchführung von Maßnahmen zur Zielerreichung als Schulentwicklungsmodell<br />
bezeichnet werden, wobei die Konzepte zur Verwirklichung in der Regel als Schulentwicklungsprogramme<br />
bezeichnet werden (Kempfert et al., 2008, S. 10). In Abgrenzung zu anderen Organisationen<br />
verfolgen Bildungseinrichtungen eine pädagogische Zielorientierung, wobei das Lernen der SchülerInnen<br />
den zentralen Ausgangspunkt darstellt (Rolff, 2009, S. 314). Pädagogische Qualitätsentwicklung<br />
wird durch den Kernprozess Unterrichtsentwicklung (UE) sowie durch Personalentwicklung (PE)<br />
und Organisationsentwicklung (OE) erzeugt (Kempfert et al., 2008, S. 10). müller präzisiert, dass die<br />
Interdependenz dieser drei Bereiche oftmals unzureichende Berücksichtigung erfährt, die Begriffe<br />
in Verbindung mit einzelnen Aktivitäten stehen und durch fehlende Zielsetzungen bzw. Maßnahmen<br />
somit angestrebte Wirkungen häufig nicht eintreten (Müller, 2010, S. 12, 13).<br />
keller bezieht sich in seinen Ausführungen auf die ‚interne Schulentwicklung‘, die sich auf eine „[...]<br />
gemeinsame und systematische Selbsterneuerung des Klimas, der Inhalte und der Formen pädagogischer<br />
Arbeit [bezieht]“ (Keller, 2002, S. 5). Darüber hinaus sind eine Integration aller Beteiligten und<br />
eine gezielte Erhebung von Daten sowie die Planung und Umsetzung von Änderungen vorgesehen.<br />
kempFert & rolFF hingegen differenzieren Schulentwicklung bezüglich der drei folgenden Ebenen:<br />
• intentionale Schulentwicklung, die sich auf die bewusste und systematische Weiterentwicklung<br />
einer Einzelschule erstreckt<br />
• institutionelle Schulentwicklung, die das Ziel der Entwicklung einer lernenden Schule mit eigenständiger<br />
Reflexion, Organisation und Steuerung verfolgt<br />
• komplexe Schulentwicklung, die eine Steuerung des Gesamtzusammenhangs im Sinne einer<br />
Festlegung von Rahmenbedingungen, Unterstützung der Einzelschulen bei der Schulentwicklung<br />
sowie beim Aufbau eines Evaluationssystems umfasst (Kempfert et al., 2008, S. 40).<br />
Eine Qualitätssicherung und -verbesserung im Sinne eines systematischen Qualitätsmanagements<br />
beinhaltet Schulentwicklung auf diesen drei Ebenen (Kempfert et al., 2002, S. 22). Seitz & capaul<br />
beziehen die zentralen Aspekte der Schulentwicklung auf die drei Ebenen der normativen, strategischen<br />
und operativen Schulführung. Die normative Ebene umfasst das Leitbild der Organisation,<br />
das die Philosophie der Organisation, also Ziel- und Wertvorstellungen, beinhaltet und damit<br />
die Begründung des Handelns darstellt. Das Leitbild wird auf der strategischen Ebene durch das<br />
21
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
22<br />
Schulprogramm konkretisiert, indem Prioritäten und Schwerpunkte für die Schulentwicklung definiert<br />
werden. Schließlich bezieht sich die operative Schulführung auf Aktionspläne, die eine Umsetzung<br />
des Schulprogramms durch entsprechende Projekt- und Arbeitspläne sicherstellen sollen (Seitz et<br />
al., 2007, S. 118–120).<br />
Schulentwicklung umfasst also durch das Leitbild die übergeordnete Ausrichtung der Schule, indem<br />
unter Einbeziehung aller Akteure gemeinsame Ziel- und Wertvorstellungen als Vision erarbeitet und<br />
operationalisiert werden. Diese bilden sowohl die Basis für eine weitere Qualitätsarbeit als auch die<br />
Grundlage für eine kontinuierliche Qualitätsentwicklung und notwendige Evaluationen, um anhand<br />
dieser gewonnenen Daten die entscheidenden Verbesserungspotentiale zu identifizieren. rahm erläutert,<br />
dass „Schulentwicklung eine datengestützte Verbesserung der Qualität von Schule [intendiert]“<br />
(Rahm, 2005, S. 39). Die systematische Erhebung von Daten mit einer anschließenden Ableitung von<br />
Folgemaßnahmen begründet ein funktionierendes Qualitätsmanagementsystem, das auf der Basis<br />
einer kontinuierlicher Anwendung des DeminG-Kreises (vgl. 2.3.1.1) Bestandteil der Schulentwicklung<br />
wird, indem durch die einzelnen Zielsetzungen entsprechende Daten ermittelt werden, die eine Grundlage<br />
für die weitere Ausrichtung der Entscheidungen in der Qualitätsarbeit bilden. Auf die Verbindung<br />
zwischen Schulentwicklung und Qualitätsmanagement (QM) bezieht sich auch müller in seinem<br />
Verständnis von Schulentwicklung: „Unter Schulentwicklung wird hier ein bewusster, systematischer,<br />
zielgerichteter Entwicklungsprozess verstanden, der die Bereiche UE, OE und PE umfasst, die es<br />
durch ein praktikables schulisches QM zu verbinden gilt“ (Müller, 2010, S. 16).<br />
Das Ausmaß der Veränderung einer Bildungseinrichtung kann maßgeblich durch das Engagement<br />
des Lehrerkollegiums in einem dialogischen Prozess beeinflusst werden (Kempfert<br />
et al., 2008, S. 261). Übergreifend ist der selbstgesteuerte Wandel einer Schule wesentlich, um<br />
eigene pädagogische, qualifikatorische oder auch personelle Interessen durchsetzen zu können<br />
(Buchen, Horster & Rolff, 1995, S. 6). Aus diesem Grund ist es von essentieller Bedeutung,<br />
Beteiligte als Betroffene in die Qualitätsarbeit zu integrieren, um sich auf die Schule als Ganzes<br />
fokussieren zu können. Andererseits bedeutet Schulentwicklung eine Qualitätsverbesserung bzw.<br />
-erhöhung in den einzelnen Bereichen der Bildungseinrichtung, die durch eine systematische und<br />
kontinuierliche Anwendung von Qualitätslenkung erzielt werden kann, indem auf der Basis entsprechender<br />
Evaluations- bzw. Qualitätsergebnisse individuelle Folgemaßnahmen initiiert werden, um im<br />
weiteren Verlauf einen höheren Qualitätslevel erzielen zu können.<br />
2.1.2.2 Lernende Schule als Voraussetzung für Qualitätsmanagement<br />
rolFF & kempFert beschreiben die Entwicklung eines Leitbilds mit der Definition von Qualitätszielen,<br />
der anschließenden Durchführung von Maßnahmen zur Erreichung der Ziele als Entwicklungs- und<br />
Lernmodell. Für die Entwicklungsperspektive ist allerdings die Gründung einer Steuergruppe von<br />
essentieller Bedeutung, da „[...] die innerschulischen Akteure von vornherein [nicht] in der Lage sind,<br />
ihre eigene Entwicklung selbst zu steuern [...] (Kempfert et al., 2008, S. 10)“. Die Einrichtung von Steu-<br />
ergruppen bezeichnen rolFF & kempFert als bedeutendste Schulinnovation des letzten Jahrhunderts,<br />
da sich Bildungseinrichtungen nun auf dem Weg einer ‚lernenden Schule‘ befinden und Qualitätsziele
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
durch Leitbilder und Schulprogramme selbst erarbeiten bzw. umsetzen (Kempfert et al., 2008, S. 10).<br />
Als lernende Schule werden die Bildungseinrichtungen definiert, „[...] die sich bewusst entwickeln,<br />
Ziele und Normen klären, schuleigene Schwerpunkte und Curriculum herausarbeiten, gemeinsam<br />
Analysen und Diagnosen der Schulsituation durchführen [...]“ (Holtappels, 2003, S. 112). Das ‚Lernen‘<br />
betrifft dabei die Schule als Ganzes. Fullan verdeutlicht, dass lernende Organisationen „[...] in die<br />
Qualität des Denkens, in die Fähigkeit zur Reflexion und zum Team-Lernen, in den Aufbau gemeinsamer<br />
Visionen und in die gemeinsame Erkenntnis von komplexen Unternehmensfragen [investieren]“<br />
(Fullan, 1999, S. 166). In diesem Zusammenhang stehen Erfolge von Institutionen mit der Tatsache<br />
in Verbindung, ob die Organisation aus auftretenden Problemen Konsequenzen zieht und aus den<br />
erzielten Erfahrungen lernt (Fullan, 1999, S. 170).<br />
Fullan umschreibt dabei „Fähigkeiten, die als produktive Grundlage für den Aufbau einer größeren<br />
Veränderungskapazität erforderlich sind: die Entwicklung einer persönlichen Vision, ein ständiges<br />
Nachfragen, das individuelle Streben nach Meisterschaft und die Zusammenarbeit mit anderen.<br />
Jedes dieser Elemente hat ein Gegenstück auf institutioneller Ebene: die gemeinsame Visionsentwicklung;<br />
organisatorische Strukturen, Normen und Methoden eines permanenten Nachfragens;<br />
Organisationsentwicklung und Know-how; und eine kooperative Arbeitsumwelt [...]“ (Fullan, 1999,<br />
S. 32, 33). Diese Interdependenz verdeutlicht, dass sowohl eine individuelle als auch eine institutionelle<br />
Entwicklung gegeben sein muss, um einen Wandel innerhalb einer Bildungseinrichtung zu<br />
erzielen. Voraussetzung für das institutionelle Lernen sind Individualität und Kollektivität sowie eine<br />
dynamische Verbindung der Organisation mit der Außenwelt, um den permanenten Veränderungen<br />
gerecht zu werden. Mit Blick auf anstehende Veränderung ist ein lernendes Unternehmen auf einen<br />
steten Austausch mit seinem Umfeld angewiesen, um sich an diesen Entwicklungen orientieren<br />
und auf dieser Basis eigene Fortschritte planen zu können (Fullan, 1999, S. 142). Eine dynamische<br />
Umsetzung und das intensive Lernen von anderen Organisationen sowie von der Umwelt ist ein<br />
Wettbewerbsvorteil gegenüber Mitbewerbern (Fullan, 1999, S. 143).<br />
Die Basis für das Lernen der Einrichtung bildet „[...] das forschende und lernende Individuum; das<br />
Streben nach Meisterschaft und Know-how als zentrale Strategien; die Führungskraft, die Wertvorstellungen<br />
ausdrückt, aber auch erweitert und andere Menschen in die Lage versetzt, das gleiche<br />
zu tun“ (Fullan, 1999, S. 10). Fullan sieht dabei den Ansatzpunkt im Individuum, da Organisationen<br />
schließlich durch Menschen verändert werden (Fullan, 1999, S. 162): „Jeder einzelne Pädagoge muss<br />
bestrebt sein, ein erfolgreicher Mittler des Wandels zu werden“ (Fullan, 1999, S. 33). Veränderungen<br />
einer Schule betreffen aber nicht nur die Lehrkräfte, sondern auch SchülerInnen, Eltern, Ausbildungsbetriebe<br />
aber auch die Gesellschaft, um nur einen Auszug zu nennen. Dabei ist herauszustellen, dass<br />
sich eine lernende Organisation erst realisiert, wenn Regelsysteme, Abläufe oder Prozesse wirksam<br />
verändert werden und schließlich eine Erweiterung des Wissens im System implizieren. SenGe hebt<br />
hervor, dass sich eine lernende Organisation mit dem einfachen Überleben nicht zufrieden gibt. Vielmehr<br />
durchläuft diese Einrichtung produktive Entwicklungsprozesse, die von hoher Selbstreflexion<br />
und sensibler Wahrnehmung gekennzeichnet sind (Senge & Klostermann, 1998, S. 24 ff.).<br />
23
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
24<br />
Den Kern einer Veränderung von Bildung bildet dabei eine erfolgreiche Verknüpfung eines ethisch<br />
begründeten Erziehungsauftrags mit einer effektiven Vermittlung des Wandels (Fullan, 1999, S. 26).<br />
Erfolgreicher Wandel kann primär durch erzielte Erfahrung und entsprechendes Know-how erzielt<br />
werden (Fullan, 1999, S. 39). Nach GooDlaD lautet eines der vier ethischen Zielsetzungen ‚aktives<br />
Dienen und Begleiten‘. Eine gezielte und engagierte Mitwirkung der Lehrer am Erneuerungsprozess<br />
ist mit Hinblick auf eine offene, sich selbst erneuernde Institution unumgänglich (Goodlad, 1991,<br />
S. 25). Fullan geht in diesem Zusammenhang noch einen Schritt weiter, indem er behauptet, dass<br />
Menschen andere Personen brauchen, um zu lernen und effektiv zu handeln. „Das Lernen in Gruppen<br />
ist deutlich effektiver, als im Vergleich zum individuellen Lernen“ (Fullan, 1999, S. 41). Eine Schule<br />
besteht letztendlich aus Menschen in verschiedensten Positionen, die mit Blick auf eine erfolgreiche<br />
Weiterentwicklung vernetzt werden müssen.<br />
Nach cox und DeFeeS (zitiert nach Fullan) gibt es kein eindeutig definierbares Vorgehen, Umstruktu-<br />
rierungen erfolgreich zu gestalten. Sie haben allerdings vier Eckpunkte ausgearbeitet, die Beachtung<br />
finden sollten:<br />
1. Eine klare Vorstellung vom Zweck der Veränderungen<br />
2. Bemühung um einen organisatorischen und systemischen Wandel<br />
3. Effektives Management des laufenden Veränderungsprozesses<br />
4. Nutzung zweckgebundener staatlicher Restrukturierungszuschüsse als Ansporn für Veränderungen<br />
(Fullan, 1999, S. 105 ff.).<br />
Abschließend ist zu erwähnen, dass eine lernende Gesellschaft im Fokus des gesellschaftlichen<br />
Bestrebens stehen soll und dazu ein lernendes Schulsystem allein nicht ausreicht. Dabei muss sich<br />
„[...] das Engagement für das Lernen und die Praxis des Lernens [...] in allen Arten von Organisationen<br />
und Institutionen ausbreiten, wenn es irgendeine gesamtgesellschaftliche Wirkung entfalten soll“<br />
(Fullan, 1999, S. 219).<br />
2.1.2.3 Qualitätsmanagement als Ergebnis von Veränderungen<br />
Aufgrund der Ergebnisse internationaler Leistungsvergleiche wurde dem Qualitätsmanagement von<br />
Seiten der Bildungspolitik ein höherer Stellenwert zugesprochen, da dieses System als Möglichkeit<br />
betrachtet wurde, Leistungsdefizite der Schüler zu beheben (Kempfert et al., 2008, S. 9). Den Schulen<br />
wurde Anfang der 90er Jahre eine höhere Eigenverantwortung zugesprochen (Bülow-Schramm,<br />
2006, S. 62), um auf der Basis eigener Schulprogramme und einer erhöhten Selbständigkeit eine<br />
höhere Qualität erzielen zu können. Das Qualitätsmanagement hat hier speziell die Aufgabe, schuleigene<br />
Standards zu ermitteln (Pressemitteilung des Bayerischen Staatsministeriums für Unterricht<br />
und Kultus, 2009, S. 11). Die erhöhte Autonomie einer Bildungseinrichtung impliziert „[...] auch eine<br />
größere Verantwortung für ihre professionelle Weiterentwicklung“ (Schnoor, Mietens & Lange, 2006,<br />
S. 32) und beansprucht die Bereitstellung an nötigem Instrumentarium zur Qualitätssicherung (Pressemitteilung<br />
des Bayerischen Staatsministeriums für Unterricht und Kultus, 2009, S. 11). Sowohl<br />
euler als auch Gonon et al. nennen neben den internationalen Leistungsvergleichen weitere Gründe<br />
für eine Implementierung von Qualitätsmanagementsystemen, die im Folgenden erläutert werden.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Die ökonomische Sicht beinhaltet die Ansicht, „[...] dass eine Verlagerung von Kompetenz und Verantwortung<br />
zu einem Abbau von Bürokratie führe, das Bildungssystem von unproduktiven Bereichen<br />
befreie und insofern die Ressourceneffizienz erhöhe“ (Euler, 2004, S. 3). Ein weiterer Vorteil stellt<br />
die Finanzsteuerung über Globalbudgets dar, da bei Mittelkürzungen die Bildungseinrichtung die<br />
Bereiche bezüglich finanzieller Einsparungen selbst festsetzen kann (Euler, 2004, S. 3). Qualitätsmanagementsysteme<br />
bieten die Möglichkeit, begrenzte Ressourcen gezielt und effektiv einzusetzen.<br />
Dieser Ansatz orientiert sich am marktwirtschaftlichen Modell und verfolgt die Perspektive, auch an<br />
staatlichen Institutionen von der Input- zur Outputsteuerung zu wechseln. Darüber hinaus gilt Bildung<br />
als Wettbewerbsfaktor, der eine entscheidende Voraussetzung für das wirtschaftliche Überleben im<br />
globalisierten Wettbewerb darstellt. Mit der Einführung der Qualitätsmanagementsysteme sollen<br />
deshalb Bildung und Ausbildung modernisiert und eine längerfristige Optimierung des Bildungswesens<br />
sichergestellt werden (Gonon, 2001, S. 10).<br />
Die bildungsorganisatorische Sicht bezieht sich darauf, dass zentrale Steuerungssysteme in Zeiten<br />
„[...] eines rasanten Wandels eine geringere Innovationskraft, eine geringere Anpassungsfähigkeit an<br />
veränderte Rahmenbedingungen und ein niedrigeres Motivationspotential für ihre Mitarbeiter bieten“<br />
(Euler, 2004, S. 3). Aus diesem Grund ist eine autonome Steuerung von Bildungseinrichtungen<br />
notwendig. Hierbei werden von der übergeordneten Behörde strategische Ziele vorgegeben, die<br />
letztendlich für die Bildungseinrichtung Möglichkeiten für eine operative Umsetzung bieten. Dieser<br />
Ansatz impliziert neue Formen der Evaluation und Kontrolle, um eine Basis für die entsprechenden<br />
Entscheidungen zu begründen bzw. belegen zu können (Gonon, 2001, S. 10).<br />
Die pädagogische Sicht bezieht sich auf die Entwicklung von qualitativ guten Schulen im Rahmen<br />
einer höheren Autonomie, da schließlich Freiräume auch zu Verantwortung führen (Lorenz, 2007,<br />
S. 2). Das Verhältnis zwischen der Verantwortung von Politik und Eigenverantwortung muss allerdings<br />
gewahrt bleiben. Mögliche Kriterien einer guten Schule sind u. a. ein hohes Schulethos, eine<br />
bewusst gestaltete Schulkultur, eine gute Kommunikation und Zusammenarbeit, die Fähigkeit zur<br />
Selbstentwicklung und Selbstbeurteilung sowie eine ausgeprägte Leistungsorientierung. Diese sollte<br />
vor allem durch ein bottom up-Verfahren, also einer Entwicklung ‚von unten nach oben‘ und durch<br />
eine Übertragung von Verantwortung an Personen gekennzeichnet sein (Euler, 2004, S. 2). Gonon<br />
et al. erwähnen in diesem Zusammenhang, dass bezüglich der Merkmale der neuen Qualität auch<br />
Bereiche wie Mitarbeiterqualifizierung, Organisationsführung und umfassende Feedbacksysteme zu<br />
berücksichtigen sind (Gonon, 2001, S. 8 f.).<br />
Die bildungspolitische Sicht beinhaltet hinsichtlich veränderter Rahmenbedingungen eine Reform der<br />
Berufsausbildung, indem sich die Berufsschule zu einem regionalen Kompetenzzentrum entwickelt<br />
und attraktive Bildungsangebote bereitstellt. Die Organisation soll moderne Managementprinzipien<br />
aufweisen, um als Motor der Strukturentwicklung innerhalb einer Lernenden Region und flexibler<br />
Dienstleister agieren zu können. Darüber hinaus soll die Berufsschule die Lückenbüßer-Rolle bezüglich<br />
der Bereitstellung von vollzeitschulischen Ausbildungsplätzen in Zeiten fehlender Ausbildungsplätze<br />
oder der Qualitätssicherung von Ausbildungsplätzen mit einer unzulänglichen betrieblichen<br />
Ausbildung zurückweisen (Euler, 2004, S. 2 f.).<br />
25
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
26<br />
WilberS verdeutlicht, dass Qualitätsmanagement die Antwort auf die Frage einer neuen Steuerung<br />
ist, indem Organisationen mehr Autonomie und gleichzeitig aber die Pflicht erhalten, Rechenschaft<br />
abzulegen (Wilbers, 2008, S. 48). Schulen werden in Zukunft mit neuen Aufgaben konfrontiert, indem<br />
innovative Formen der Qualitätssicherung und Qualitätsentwicklung anzuwenden sind (Brunnhuber,<br />
2009). Qualitätsmanagement bietet die Möglichkeit, neue Freiräume zu schaffen, die Zufriedenheit<br />
von Beteiligten zu steigern, das Profil der Bildungseinrichtung zu stärken sowie Nachhaltigkeiten zu<br />
optimieren (Kennerknecht, 08.11.2008, S. 3). Derzeit wird für das Qualitätsmanagement ein hoher<br />
Aufwand betrieben, um das Lernen in den Bildungseinrichtungen zu optimieren (Lorenz, 2007, S. 2).<br />
lorenz stellt allerdings in Frage, ob Bildungseinrichtungen mit größerer Autonomie systematische<br />
Feedbackprozesse benötigen bzw. deren SchülerInnen höhere Lernerfolge erzielen (Lorenz, 2007,<br />
S. 2). Diese Überlegung führt schließlich zur Frage nach der Wirksamkeit von Qualitätsmanagementsystemen.<br />
Grundsätzlich wird aufgrund einer schulischen Qualitätsarbeit, durch die Entwicklung eines<br />
Leitbildes und eines Schulprogramms, in den Bildungseinrichtungen eine klare Struktur erarbeitet,<br />
die anhand eines diskursiven und partizipativen Prozesses die innere und äußere Kommunikation<br />
erhöht. Darüber hinaus werden auf der Basis von Evaluationsergebnissen in allen Bereichen der Bildungseinrichtung<br />
anhand geeigneter Steuerungsmaßnahmen Optimierungen vorgenommen. Auch<br />
die Funktion der Repräsentation nach außen darf nicht außer Acht gelassen werden. Übergreifend<br />
erläutert Greubel, dass „die Implementierung eines gut funktionierenden Qualitätsmanagements mit<br />
dem Ziel der Qualitätssicherung und -entwicklung [...] für die beruflichen Schulen immer wichtiger<br />
[wird]“ (Greubel, 2010).<br />
2.1.2.4 Qualitätsmanagementsysteme in Schulen: Eine Übersicht<br />
Neben einem gesellschaftlichen Wandel, der verändernde Umstände und Erwartungen mit sich<br />
bringt, sind Bildungseinrichtungen von einem Paradigmenwechsel betroffen, der eine Reform der<br />
Verwaltung beinhaltet. Darüber hinaus stehen Schulen vor der Aufgabe, Probleme zu identifizieren<br />
und zu lösen sowie Verbesserungsvorschläge von Lehrkräften zielführend umzusetzen. Dies beinhaltet<br />
ebenso eine Definition von Verantwortlichkeiten und Zuständigkeiten (Temme, 2002, S. 10 ff.).<br />
Schließlich führen zunehmend finanzielle Restriktionen im öffentlichen Etat auch im Schulbereich zu<br />
der Frage nach einer effektiven und effizienten Organisationsführung (Bülow-Schramm, 2006, S. 61).<br />
Qualität wird dabei „[...] nicht mehr allein an guten Absichten, sondern an den erzielten Wirkungen<br />
sowie schließlich am Verhältnis von Aufwand und Ertrag bemessen“ (Terhart, 2000, S. 812). Folglich<br />
finden auch Themen wie Qualitätssicherung, Qualitätsentwicklung und Qualitätsmanagementkonzepte<br />
Einzug in die Bildungsdebatte (Gonon, 2001, S. 7). Gegenwärtig werden Bildungseinrichtungen<br />
eine größere Autonomie sowie verstärkte Kompetenzen zugesprochen und erhalten dadurch die<br />
Möglichkeit, Probleme selbst zu lösen (Wilbers, 2011, S. 34 ff.). Dies hat wiederum zur Folge, dass<br />
sich die Qualität einer Schule nicht mehr auf die Einhaltung zentraler Vorschriften und Zielvorgaben<br />
allein begrenzt. Vielmehr sind umfassende Qualitätsmanagementsysteme notwendig, um das Qualitätsverständnis<br />
individuell definieren und umfassende Überprüfungen der Qualitätsarbeit durchführen<br />
zu können (Gonon, 2001, S. 11). Eine Implementierung eines Qualitätsmanagementsystems in<br />
einer Bildungseinrichtung bildet darüber hinaus die Möglichkeit, einzelne Schulentwicklungstätigkeiten<br />
zielgerichtet zu verknüpfen und Einzelmaßnahmen in einem systematischen Gesamtkonzept zu
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
verbinden (Brunnhuber, 2009, S. 21). Qualitätsmanagement kann den Anforderungen des Bildungs-<br />
bereichs dann gerecht werden, wenn eine Qualitätsentwicklung auf verschiedenen Ebenen erfolgt:<br />
im übergeordneten Bildungssystem, in der Schule selbst und im pädagogischen Bereich innerhalb<br />
der Einrichtung (Bülow-Schramm, 2006, S. 64). Eine Implementierung von Qualitätsmanagementsystemen<br />
in der Schule allein ist damit nicht ausreichend. Vielmehr ist eine Verknüpfung der Qualitätsarbeit<br />
auf den verschiedenen Ebenen erforderlich, um nicht nur eine einheitliche Ausrichtung der<br />
Organisationen, sondern auch ein vernetztes Feedbacksystem zu erhalten und Einzelmaßnahmen in<br />
das Gesamtkonzept integrieren zu können.<br />
DubS unterscheidet Qualitätsmanagementsysteme hinsichtlich ihrer Zielvorstellungen, welche in<br />
Berechtigungs- bzw. Anerkennungsverfahren, Überwachungsverfahren sowie in Schulentwicklungsmaßnahmen<br />
gruppiert werden können. Berechtigungs- bzw. Anerkennungsverfahren beinhalten<br />
eine Akkreditierung oder Zertifizierung, die eine externe Überprüfung des Qualitätsmanagements<br />
bzw. Bescheinigung von Qualitätsstandards beinhaltet (Dubs, 2009, S. 1230). Eine Zertifizierung von<br />
beruflichen Schulen in Bayern ist derzeit nicht geplant. Die zweite Kategorie, das Überwachungsverfahren,<br />
beschreibt DubS im Sinne einer Meta-Evaluation als Überprüfung eines internen Qualitätsmanagements<br />
und dessen Handhabung durch eine staatliche Behörde, um die Zielgerichtetheit und<br />
Zweckmäßigkeit der schulischen Maßnahmen zu überwachen (Dubs, 2009, S. 1230). Der externen<br />
Evaluation des Nürnberger Qualitätsmanagementsystems (vgl. 2.3.1.3.2.5) liegt als Meta-Evaluation<br />
nicht der Kontrollgedanke zugrunde. Vielmehr richtet sich der Fokus auf ‚Entwickeln und Lernen‘,<br />
indem durch die sogenannte Peer-Review-Logik eine Bewertung der Schule durch kritische Freunde<br />
(‚Peers‘) erfolgt und anhand der Ermittlung verschiedener Verbesserungspotentiale eine Weiterentwicklung<br />
des Qualitätsmanagements erzielt wird. Vor diesem Hintergrund wird die Meta-Evaluation<br />
dem Verfahren zugeordnet, das eine Qualitätsverbesserung im Hinblick auf eine weitere Schulentwicklung<br />
verfolgt. Weitere externe Verfahren, die zur Rechenschaftslegung dienen und die Basis<br />
für weitere Zielvereinbarungen bilden, werden den Kontrollverfahren zugeordnet. Anhand dieser<br />
Überlegungen wird folgende Tabelle zugrunde gelegt:<br />
27
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
28<br />
Abbildung 1: Ziele von Qualitätsmanagementsystemen erweitert nach (Dubs, 2009, S. 1230)<br />
Die folgende Tabelle verdeutlicht, dass in Deutschland überwiegend das Modell Q2E als Basis<br />
der Qualitätsarbeit dient. Aus diesem Grund wird dieses Qualitätsmanagementsystem, das in der<br />
Schweiz als Gegenbewegung zur DIN EN ISO entwickelt wurde (Capaul, 14.12.2009), in Kapitel<br />
2.3.1.1 näher beschrieben. Beispielsweise ist dieses System auch die Grundlage für QmbS, das<br />
Qualitätsmanagementsystem für berufliche Schulen in Bayern, das neben dem NQS, dem Nürnberger<br />
Qualitätsmanagementsystem, mit Blick auf die regionale Gültigkeit und Relevanz in Kapitel<br />
2.3 dargelegt wird. Im Folgenden werden auch die Qualitätsmanagementmodelle der Normenreihe<br />
DIN EN ISO 9000:2000 ff. und das EFQM-Modell erläutert, da diese beiden Systeme den TQM Ansatz<br />
(vgl. 2.3.1.1.2) unterstützen, eine hohe internationale Bedeutsamkeit aufweisen und zudem – vor allem<br />
an beruflichen Schulen – als stark verbreitete Qualitätsmanagementmodelle gelten (Dubs, 2007,<br />
S. 516; Brunnhuber, 2009, S. 66, Capaul, 14.12.2009).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Tabelle 1: Systematische Qualitätsentwicklung an beruflichen Schulen verändert nach Zöller, 2007a,<br />
S. 6; Wilbers, 23.06.2009<br />
2.1.2.5 Bedeutsame Qualitätsmanagementsysteme<br />
2.1.2.5.1 DIN EN ISO Modell<br />
DIN EN ISO ist eine europäische Norm (EN), die 1987 vom Deutschen Institut für Normung e. V. (DIN)<br />
begründet wurde (Bülow-Schramm, 2006, S. 40). Auf internationaler Ebene werden Normen durch die<br />
International Organisation of Standardisation (ISO) erarbeitet und herausgegeben. Die DIN EN ISO<br />
9000:2000 ff. basiert auf einem ingenieurswissenschaftlichen Ansatz und gehört zu einer Normenfamilie,<br />
die das Ziel eines kontinuierlichen Verbesserungsprozesses verfolgt (Gonon, 2001, S. 18).<br />
Die Normenreihe der ISO-9000 dient Organisationen bei der Implementierung und Anwendung von<br />
Qualitätsmanagementsystemen, die wie folgt beschrieben werden:<br />
• Die ISO 9000:2005 beschreibt die Grundlagen für Qualitätsmanagementsysteme und definiert<br />
die Begriffe des Qualitätsmanagements (DIN Deutsches Institut für Normung e. V., 2005, S. 4).<br />
• Die ISO 9001:2008 beschreibt die Anforderungen an ein Qualitätsmanagementsystem, die eine<br />
Organisation bei einer Produkt- oder Dienstleistungserbringung zu erfüllen hat. Die Norm ist auf<br />
die Wirksamkeit des Qualitätsmanagementsystems bei der Erfüllung der Kundenanforderungen<br />
gerichtet und verfolgt das Ziel, die Kundenzufriedenheit stetig zu erhöhen. Die ISO 9001 ist für<br />
Zertifizierungs- und Vertragszwecke geeignet (DIN Deutsches Institut für Normung e. V., 2008,<br />
S. 5–11).<br />
29
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
30<br />
• Die ISO 9004:2009 ist eine Anleitung zur Unterstützung einer Organisation bei der Erzielung<br />
eines nachhaltigen Erfolges im schnelllebigen Umfeld mit Hilfe eines Qualitätsmanagementansatzes<br />
und fokussiert auf die Erhöhung der Zufriedenheit von Kunden und anderer interessierter<br />
Parteien. Darin ist die Selbstbewertung ein wesentlicher Ansatz der Weiterentwicklung<br />
bezüglich der Bereiche Organisation, Führung, Strategie, Managementsystem, Ressourcen und<br />
Prozesse. Die ISO 9004:2009 ist nicht für Zertifizierungs- und Vertragszwecke vorgesehen (DIN<br />
Deutsches Institut für Normung e. V., 2009, S. 5–13).<br />
• Die ISO 19011 beinhaltet eine Anleitung für das Auditieren von Qualitäts- und Umweltmanagementsystemen<br />
(DIN Deutsches Institut für Normung e. V., 2005, S. 4).<br />
Diese oben genannten Elemente bilden einen zusammenhängenden Satz von Qualitätsmanagementsystemnormen,<br />
um das gegenseitige Verständnis im nationalen und besonders im internationalen<br />
Handel zu erleichtern. Das ISO-Modell beinhaltet zahlreiche Erfahrungen über optimale Funktionszusammenhänge<br />
in Organisationen und synchronisiert das Qualitätsverständnis im nationalen und<br />
internationalen Bereich (Temme, 2002, S. 15).<br />
Abbildung 2: Darstellung eines prozessorientierten Qualitätsmanagementsystems (DIN Deutsches<br />
Institut für Normung e. V., 2009)
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Wie die Abbildung verdeutlicht, geht der wichtigste Regelkreis des Prozessmodells über das Unter-<br />
nehmen hinaus und schließt den Kunden bzw. alle Interessenspartner mit ein. Die Qualität der<br />
Kernprozesse bestimmt die Zufriedenheit der Interessenpartner, die hierüber einen Bericht an das<br />
Management der Organisation liefern. Resultierende Anschlussmaßnahmen zur Erhöhung der Kundenzufriedenheit<br />
und der Wirksamkeit des Managements stoßen wiederum einen erneuten Durchlauf<br />
des Regelkreises an. Daneben bezieht sich der innere Regelkreis auf das Management, dessen<br />
Aufgabe es ist, unter Förderung der internen Kommunikation die Prozesse zu steuern. Dabei stellt<br />
das Management alle erforderlichen Mittel (Personal, Produktionsmittel, Arbeitsumgebung) für einen<br />
reibungslosen Ablauf der Kernprozesse zur Verfügung. Einzelne Teilprozesse werden durch messende<br />
und überwachende Tätigkeiten unterstützt. Das Management erhält verdichtete Informationen<br />
aus Datenanalysen, um die Kernprozesse optimal steuern und Verbesserungen erzielen zu können<br />
(DIN Deutsches Institut für Normung e. V., 2009).<br />
Die ISO 9000 ist auf einen prozessorientierten Ansatz begründet, in dem Abläufe und Strukturen<br />
identifiziert, definiert und gesteuert werden. Dabei werden Verantwortlichkeiten zu einzelnen Prozessen<br />
sowie Verfahren und Mittel zur Steuerung festgelegt. Als Prozess wird jede einzelne oder<br />
aufeinanderfolgende Tätigkeit verstanden, indem Ressourcen in Ergebnisse umgewandelt werden.<br />
Mit Blick auf eine wirksame Organisationsführung sind zahlreiche Prozesse zu definieren. „Das systematische<br />
Erkennen sowie Handhaben dieser verschiedenen Prozesse innerhalb einer Organisation,<br />
vor allem aber der Wechselwirkungen zwischen solchen Prozessen, wird als „prozessorientierter<br />
Ansatz“ bezeichnet“ (DIN Deutsches Institut für Normung e. V., 2005, S. 8).<br />
Die erfolgreiche Führung einer Organisation ist mit einer systematischen Leitung verbunden. Diese<br />
kann anhand eines Managementsystems gewährleistet werden, das eine permanente Leistungsverbesserung<br />
anstrebt, indem die Ansprüche aller interessierten Parteien Berücksichtigung finden. Eine<br />
Organisationsleitung umfasst somit auch das Qualitätsmanagement, um die Leistungsfähigkeit der<br />
Organisation zu verbessern. Für die ISO-9000-Reihe bilden nachfolgende Grundsätze die Basis für<br />
Qualitätsmanagement. Diese sind in der ISO 9000: 2005 wie folgt definiert:<br />
a) Kundenorientierung: Die Organisation soll gegenwärtige und zukünftige Anforderungen der Kunden<br />
erfüllen bzw. deren Erwartungen übertreffen<br />
b) Führung: Die Führungskräfte sollen die Definition von Zweck und Ausrichtung der Organisation<br />
gewährleisten, damit Betroffene entsprechende Ziele verfolgen können<br />
c) Einbeziehung der Personen: Mit Blick auf einen hohen Nutzen sind alle Beteiligten mit ihren<br />
Fähigkeiten vollständig in die Organisation einzubeziehen<br />
d) Prozessorientierter Ansatz: Zur Effizienzsteigerung werden Tätigkeiten und dazugehörige Ressourcen<br />
als Prozess gesteuert<br />
e) Systemorientierter Managementansatz: Die Steuerung von korrelierenden Prozessen bedingen<br />
eine höhere Wirksamkeit und Effizienz der Organisation bei einer Zielerreichung<br />
31
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
32<br />
f) Ständige Verbesserung: Die permanente Optimierung der Gesamtleistung der Organisation ist ein<br />
fortwährendes Ziel<br />
g) Sachbezogener Ansatz zur Entscheidungsfindung: Wirksame Entscheidungen basieren auf der<br />
Analyse von Daten und Informationen<br />
h) Lieferantenbeziehungen zum gegenseitigen Nutzen: Um die Wertschöpfungsfähigkeit zu erhöhen,<br />
sind Beziehungen zum gegenseitigen Nutzen zwischen der Organisation und Lieferanten anzu-<br />
streben (DIN Deutsches Institut für Normung e. V., 2005, S. 5–6).<br />
poSch et al. bezeichnen die Implementierung der ISO-Standards in den 90er Jahren als ‚quanti-<br />
tative Erfolgsstory‘, da eine Vielzahl von Unternehmen nach diesem Qualitätsmanagementsystem<br />
zertifiziert wurden. Allerdings gibt seit dieser Zeit kritische Diskussionen, die sich auf eine unpräzise<br />
Formulierung und das unzureichende Niveau der Qualitätsstandards beziehen. Darüber hinaus<br />
werden die hohen Zertifizierungskosten sowie die zunehmende Bürokratie bemängelt, die sich aus<br />
einer übermäßigen <strong>Dokument</strong>ation und dem Qualitätsmanagementhandbuch ergibt. Erstaunlich ist<br />
allerdings, dass sich die Qualität zertifizierter Unternehmen im Gegensatz zu anderen Firmen nicht<br />
deutlich verbessert (Posch, Altrichter & Rauscher, 1997, S. 57 ff.). Die ISO-9000-Reihe bezieht sich auf<br />
Standards für Qualitätssysteme in Betrieben und fokussiert die Qualität von Prozessen. Das Qualitätsmanagementsystem<br />
nimmt dabei keinen Bezug zur Qualität von Bildung selbst. Einige Versuche, die<br />
Qualitätsstandards auf Bildungseinrichtungen zu übertragen, nennen Akzeptanzprobleme von Seiten<br />
der Lehrkräfte. Darüber hinaus besteht im Bildungsbereich die Schwierigkeit, die Rolle der KundInnen<br />
sowie das intendierte Ergebnis bzw. den Output von Bildung zu definieren (Hügli, 1998, S. 21 ff.). Auch<br />
ein erfolgreicher Ablauf von Prozessen ist in schulischen Einrichtungen unter erschwerten Bedingungen<br />
zu überprüfen, da bezüglich einer Dienstleistung nur begrenzte Erfolgsindikatoren definiert werden<br />
können. Ferner ist die Zusammenarbeit von Operationsebenen in Bildungseinrichtungen nicht mit<br />
dem hierarchischen Aufbau von Unternehmen vergleichbar. Eine Standardisierung kann in Schulen<br />
insofern nur bedingt erfolgen, da gerade „[...] die Qualität im Bildungsprozess vom Eingehen auf die<br />
Besonderheiten der am Bildungsprozess Beteiligten in hohem Maße abhängig ist“ (Posch, Altrichter<br />
& Rauscher, 1997, S. 62). Letztlich ergibt sich der Nutzen für die Lernenden neben der Fachkompetenz<br />
der Lehrkraft und den physischen Rahmenbedingungen des Lerners auch aus dessen eigener,<br />
selbstbestimmten Aktivität. Aus den genannten Gründen wird in Bildungseinrichtungen oftmals eine<br />
organisatorische Implementierung begutachtet (Posch, Altrichter & Rauscher, 1997, S. 62).<br />
2.1.2.5.2 EFQM-Modell<br />
Die Europäische Gemeinschaft begann 1988 unter der Berücksichtigung des TQM (vgl. 2.3.1.1.2) ein<br />
Kriterienmodell für Dienstleistungsbereiche zu entwerfen. Daraufhin wurde die European Foundation<br />
for Quality Management (EFQM) durch die Europäische Gemeinschaft gegründet, um ganzheitliche<br />
Qualitätsmanagementkonzepte zu fördern und Unternehmen bei deren Umsetzung zu unterstützen.<br />
Seit 1992 können Unternehmen, die hervorragendes TQM praktizieren, mit dem European Quality<br />
Award (EQA) ausgezeichnet werden. Auf nationaler Ebene dient in Deutschland der Ludwig-Erhard-<br />
Preis zur Auszeichnung von Spitzenleistungen (Bülow-Schramm, 2006, S. 32).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Das EFQM Excellence Modell ist die neueste Version des europäischen Modells und stellt eine<br />
Grundstruktur zur Bewertung und Verbesserung von Organisationen dar, um Nachhaltigkeit erzielen<br />
zu können (European Foundation for Quality Management & Deutsche Gesellschaft für Qualität,<br />
2003, S. 3). Das EFQM-Modell basiert auf acht Grundkonzepten, die im Folgenden kurz erläutert<br />
werden (European Foundation for Quality Management et al., 2003, S. 5–7):<br />
• Ergebnisorientierung: Exzellenz bedingt eine ausgewogene Berücksichtigung der Interessen<br />
aller Anspruchsgruppen<br />
• Ausrichtung auf den Kunden: Exzellenz impliziert nachhaltigen Kundennutzen, indem eine eindeutige<br />
Ausrichtung in Bezug auf die Bedürfnisse gegenwärtiger und potenzieller Kunden erfolgt<br />
• Führung und Zielkonsequenz: Exzellenz beinhaltet eine visionäre und begeisternde Organisationsführung<br />
mit klaren und konsensfähigen Unternehmenszielen, um seitens der Einrichtung<br />
sowie ihrer Mitarbeiter überragende Leistungen erzielen zu können<br />
• Management mittels Prozessen und Fakten: Exzellenz wird durch eine Definition bzw. Steuerung<br />
von Systemen und Prozessen erzielt, wobei Entscheidungen auf umfassende Informationen<br />
basieren<br />
• Mitarbeiterentwicklung und -beteiligung: Exzellenz begründet das maximale Potenzial der Mitarbeiter,<br />
das durch deren Integration und Weiterentwicklung sowie durch gemeinsame Werte<br />
und einer Kultur des Vertrauens erreicht wird<br />
• Kontinuierliches Lernen, Innovation und Verbesserung: Exzellenz bezieht sich auf einen kontinuierlichen<br />
Prozess des Lernens, der Implementierung von Innovationen und Verbesserungen<br />
• Entwicklung von Partnerschaften: Exzellenz einer Organisation bezieht sich auf die Entwicklung<br />
und den Erhalt wertschöpfender Beziehungen zu deren Partnern<br />
• Soziale Verantwortung: Exzellenz bedeutet, bestehende Gesetze und Regelungen bezüglich<br />
ihrer Anforderungen zu übertreffen.<br />
Das EFQM-Modell bezieht sich auf die Prämisse, dass „exzellente Ergebnisse im Hinblick auf Leistung,<br />
Kunden, Mitarbeiter und Gesellschaft durch eine Führung erzielt werden, die Politik und Strategie,<br />
Mitarbeiter, Partnerschaften, Ressourcen und Prozesse auf ein hohes Niveau hebt“ (EFQM,<br />
1999, S. 8). Das Modell gliedert sich in neun Kriterien, die unterschiedlich gewichtet werden und in<br />
fünf Befähiger- und vier Ergebnisfaktoren unterteilt sind. Nachstehende Befähigerfaktoren beschreiben<br />
das Vorgehen einer Organisation und die Potenziale, die den strukturellen sowie humanen Input<br />
für eine optimale Ergebniserzielung begründen (EFQM, 1999, S. 8–29):<br />
• Führung: Führungskräfte entwickeln eine Vision und Mission der Organisation und fördern deren<br />
Erreichung. Darüber hinaus erarbeiten Führungskräfte erforderliche Werte für den langfristigen<br />
Erfolg des Unternehmens und verfolgen durch persönliches Engagement die Entwicklung und<br />
Implementierung eines Qualitätsmanagementsystems<br />
33
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
34<br />
• Politik und Strategie: Die Umsetzung der entwickelten Vision und Mission ist durch eine klare<br />
Strategie gekennzeichnet, die sämtliche Interessengruppen berücksichtigt. Das Vorgehen wird<br />
durch entsprechende Politik, Pläne, Ziele, Teilziele und Prozesse unterstützt<br />
• Mitarbeiterorientierung: Das organisationale Wissen und gesamte Potenzial der Mitarbeiter ist<br />
auf individueller, teamorientierter und organisationsweiter Ebene durch Management, Entwicklung<br />
und Entfaltung gekennzeichnet<br />
• Partnerschaften und Ressourcen: Externe Partnerschaften und interne Ressourcen sind durch<br />
Planungen und Management gekennzeichnet<br />
• Prozesse: Die Gestaltung, Steuerung und Verbesserung von Prozessen ist auf eine Erfüllung der<br />
Anforderungen aller Interessensgruppen sowie die Erhöhung der Wertschöpfung ausgerichtet.<br />
Folgende Ergebnisfaktoren beziehen sich auf erzielte Resultate der Organisation:<br />
• Kundenbezogene Ergebnisse: Organisationen ermitteln die Kundenzufriedenheit und -beziehungen<br />
anhand verschiedener Indikatoren.<br />
• Mitarbeiterbezogene Ergebnisse: Organisationen erheben verschiedenste Wahrnehmungen<br />
der Mitarbeiter anhand unterschiedlicher Kriterien.<br />
• Gesellschaftsbezogene Ergebnisse: Organisationen evaluieren die lokale, nationale und internationale<br />
Gesellschaft bezüglich der Meinung über das Unternehmen.<br />
• Schlüsselergebnisse: Organisationen führen in Bezug auf ihre Schlüsselleistungen, ihrer Politik<br />
und ihrer Strategie umfangreiche Erhebungen durch.<br />
Abbildung 3: Das EFQM Modell 2010 (Deutsche Gesellschaft zur Zertifizierung von Managementsystemen)
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Die Pfeile des Modells verdeutlichen die Dynamik des Modells, in dem Lernen, Kreativität und Inno-<br />
vation die Befähiger und schließlich auch die Ergebnisse optimiert (EFQM, 1999, S. 9). Das Modell<br />
wurde 1999 auf den neuesten Stand der Managementlehre gebracht und durch eine systematische<br />
Bewertungsmethode erweitert. Dieses erweiterte Kernstück des Modells ist die sog. RADAR-Logik,<br />
die sich aus den Elementen Results (Ergebnisse), Approach (Vorgehen), Deployment (Umsetzung),<br />
Assessment and Review (Bewertung und Überprüfung) bezieht (EFQM, 1999, S. 10 f.). Die Befähigerkriterien<br />
werden dabei anhand von Vorgehen, Umsetzung, Bewertung und Überprüfung bewertet,<br />
die Ergebnisse werden in Zahlen ausgedrückt (EFQM, 1999, S. 32 f.). Mit dieser Revision des Modells<br />
wird die zu Grunde liegende Philosophie nicht mehr nur auf Total Quality Management beschränkt,<br />
sondern lässt jede Art von Excellence zu. Excellence ist dabei als überragende Praxis beim Managen<br />
einer Organisation und beim Erzielen von Ergebnissen definiert (EFQM, 1999, S. 5).<br />
Die Anwendung des EFQM-Modells setzt allerdings ein umfassendes Unternehmensmanagement<br />
voraus, da die Methode der Selbstbewertung eine hohe Komplexität aufweist und die philosophische<br />
und begriffliche Konzeption des Modells ein gewisses Niveau an Managementkenntnissen<br />
erfordert. Einen weiteren Nachteil von EFQM bilden die Kriterien des Modells, die «[...] nicht für<br />
alle Unternehmen gleichermaßen aussagekräftig [sind]», beispielsweise bei Non-Profit-Unternehmen<br />
(Posch, Altrichter & Rauscher, 1997, S. 69). EFQM ist im Bildungsbereich anhand einer branchenspezifischen<br />
Version adaptiert und wurde im Rahmen des dreijährigen Modellversuchs ‚Quabs‘ zur<br />
Qualitätsentwicklung an beruflichen Schulen eingesetzt. Die Anwendung von EFQM brachte in den<br />
beruflichen Schulen allerdings auch einige Schwierigkeiten mit sich. So bestand beispielswiese<br />
das erste Problem darin, „[...] die bewusst abstrakt gehaltenen Inhalte des EFQM-Modells auf die<br />
Institution »Schule« zu übertragen. [...] Das Modellvorhaben zeigte weiter, dass die Forderung des<br />
EFQM-Modells, alle relevanten Strukturen und insbesondere (Schlüssel-)Prozesse zu messen, zu<br />
bewerten und zu überprüfen und die Systematik dieser Elemente transparent zu machen, von vielen<br />
beteiligten Schulen für den Schlüsselprozess »Unterricht« als nicht erfüllbar angesehen wurde» (Behrens<br />
& Esser, 2003, S. 42, 43). Die Methodik der Selbstbewertung bietet allerdings die Möglichkeit,<br />
zentrale Themen der Unterrichtsystematik zu diskutieren und zu verbessern (Behrens & Esser, 2003,<br />
S. 43). Derzeit findet das EFQM-Modell in Deutschland in den beruflichen Schulen im Bundesland<br />
Niedersachsen Anwendung (Wilbers, 23.06.2009).<br />
2.2 Evaluation als Teil des Qualitätsmanagements der Schule<br />
2.2.1 Definition des Begriffs Evaluation<br />
Das Wort ‚Evaluation‘ wird seit den sechziger Jahren in der Curriculumforschung verwendet und<br />
ist mittlerweile als fester Begriff in den Diskussionen um die Qualitätsarbeit in sämtlichen Bildungseinrichtungen<br />
(Schratz, 1995, S. 116 f.) sowie übergreifend in Bezug auf die Gestaltung des<br />
deutschen Bildungswesens eingebunden (Bauer, 2004, S. 161). Als Synonym zu Evaluation werden<br />
oftmals Nomen wie Erfolgs-, Wirkungs- oder Qualitätskontrolle bzw. Begleit-, Effizienz- oder Bewertungsforschung<br />
verwendet (Ditton, 2009, S. 607). Dieser Begriff Evaluation verbirgt verschiedene<br />
Bedeutungen und wird grundsätzlich als Bewertung und Bestimmung eines Wertes bzw. Beurteilung<br />
35
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
36<br />
[von Lehrplänen und Unterrichtsprogrammen] (Baer & Wermke, 2002, S. 287), Sachverhalten oder<br />
Objekten auf der Basis von Informationen definiert (Stockmann, 2010, S. 64). Präziser formuliert, ist<br />
eine Evaluation ein systematisches, professionelles Verfahren, das<br />
• „die Angemessenheit und Wirksamkeit von Bildungsprozessen und -systemen beurteilt;<br />
• die vorgefundene Qualität von Bildung im Vergleich mit den Qualitätsansprüchen ermittelt und<br />
dokumentiert;<br />
• Steuerungswissen liefert und dadurch<br />
• Schul- und Unterrichtsentwicklung fördert“ (Schweizerische Konferenz der kantonalen Erziehungsdirektoren,<br />
2008, S. 10).<br />
Auch bauer verdeutlicht, dass eine „[...] Evaluation nicht nur als empirisch wissenschaftlich fundierte<br />
Bewertung von Maßnahmen und Programmen in Verbindung mit Wirksamkeitszuschreibungen<br />
betrachtet [werden kann], sondern auch als eine Form der Intervention und Steuerung,<br />
das heißt des gezielten Eingriffs in Handlungsprozesse und pädagogisch geplante Lernarrangements“<br />
(Bauer, 2004, S. 161). Evaluation muss also in jedem Fall mehr bedeuten, als eine<br />
Datensammlung (Balzer, 2009, S. 198). Zunächst ergeben sich für die Bildungseinrichtung<br />
quantitative und qualitative Daten, um einen aktuellen Nachweis über vorhandene Qualitätslevel<br />
oder Hinweise für relevante Weiterentwicklungsoptionen zu erhalten und als lernende Institution<br />
einen kontinuierlichen Verbesserungsprozess zu initiieren. Diese sozialwissenschaftliche Forschungsmethode<br />
überprüft institutionelles und individuelles Handeln (Ernst, 2008, S. 15) und ist<br />
„[...] ein notwendiges Element jedes Konzepts zur Qualitätssicherung und -entwicklung“ (Schweizerische<br />
Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 9). Evaluationen machen<br />
eine Aussage über die Qualität einer Schule möglich (Gonon, 2001, S. 13) und gestalten sich im<br />
Schulsektor oftmals anspruchsvoll und schwierig, um die vielfältigen Qualitätsansprüche bzw.<br />
-anforderungen (vgl. 2.1.2.1.1) abzudecken (Schweizerische Konferenz der kantonalen Erziehungsdi-<br />
rektoren, 2008, S. 10). Nach kempFert & rolFF wird Evaluation „[...] als ein Prozess des systematischen<br />
Sammelns und Analysieren von Daten/Informationen [verstanden], um Bewertungsurteile zu ermöglichen,<br />
die auf begründeter Evidenz beruhen“ (Kempfert et al., 2002, S. 23). Ähnlich dazu bezeichnet<br />
Stockmann Evaluation als „[...] ein Instrument zur empirischen Generierung von Wissen, das mit einer<br />
Bewertung verknüpft wird, um zielgerichtete Entscheidungen zu treffen“ (Stockmann, 2010, S. 64).<br />
Stockmann stellt fest, dass diese drei Aspekte in verbreiteten Definitionen enthalten sind. Weitere in<br />
die Begriffsbestimmung integrierte Themen bilden die Bereiche wie Bewertung, Zweck, Verfahren<br />
und Methoden (Stockmann, 2010, S. 64 f.). Übergreifend kann festgestellt werden, dass eine Evaluation<br />
eine Entscheidungshilfe für weitere Maßnahmen begründet, wobei vor allem im Bildungsbereich<br />
die Auswertung und Interpretation der Daten von zentraler Bedeutung ist (Bauer, 2004, S. 163). Hohe<br />
oder niedrige Werte bzw. gute oder schlechte Ergebnisse ermöglichen noch keine Aussage über<br />
zugrundeliegende Ursachen. Aus diesem Grund ist eine umfassende Analyse von Daten erforderlich,<br />
um ganzheitliche Zusammenhänge erschließen zu können und auf dieser Basis sowie unter Berücksichtigung<br />
schulspezifischer Ziele (vgl. 2.1.2.1.3) weitere Schritte zu initiieren.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Stockmann stellt eine weitere Unterscheidung zwischen sog. Alltags- und wissenschaftlichen Evalua-<br />
tionen dar. Letztere kennzeichnet sich dadurch, „[...] dass sie (1) auf einen klar definierten Gegenstand<br />
[...] bezogen sind, (2) für die Informationsgenerierung objektivierende empirische Datenerhebungsmethoden<br />
eingesetzt und (3) die Bewertung anhand präzise festgelegter und offengelegter Kriterien<br />
(4) mit Hilfe systematisch vergleichender Verfahren vorgenommen wird. Die Evaluation wird (5) in<br />
der Regel von dafür besonders befähigten Personen (Evaluatoren) durchgeführt (6) mit dem Ziel,<br />
auf den Evaluationsgegenstand bezogene Entscheidungen zu treffen“ (Stockmann, 2010, S. 66).<br />
Mit Blick auf die Planung einer Evaluation sind also die Fragen des Gegenstandes, dem Zweck, der<br />
Kriterien sowie der Methoden zu beantworten und verantwortliche Personen festzulegen. Bezüglich<br />
der vorliegenden Untersuchung der Wirksamkeit externer Evaluationen werden diese Themen in den<br />
Kapiteln 2.4, 3.1 und 3.2 beantwortet.<br />
2.2.2 Typen der Evaluation<br />
In der Literatur sind unter dem Begriff Evaluationsformen verschiedenste Definitionen und Typisierungen<br />
zu verzeichnen. Grundsätzlich kann festgestellt werden, dass für eine Klassifizierung „[...]<br />
die Verortung und Nutzung der Evaluation ausschlaggebend [ist]“ (Ernst, 2008, S. 17). Im Folgenden<br />
werden die für die vorliegende Untersuchung relevanten Begriffe definiert und erläutert.<br />
2.2.2.1 Formative versus summative Evaluation<br />
Evaluationen können grundsätzlich anhand einer formativen oder summativen Ausrichtung erfolgen<br />
und werden in der vorliegenden Arbeit als Evaluationsart bezeichnet. Formative Evaluationen dienen<br />
der Qualitätssicherung, in dem das Ziel der Weiterentwicklung und Optimierung einer Maßnahme<br />
verfolgt sowie Schwachstellen in der Umsetzung einer Maßnahme identifiziert werden (Scriven, 1972,<br />
S. 62). Das Ergebnis dieser Evaluation sind Empfehlungen für eine Optimierung des untersuchten<br />
Vorgangs (Tergan, 2000, S. 25). Eine formative Evaluation impliziert also Handlungen und Aktivitäten,<br />
um einen „Prozess kontinuierlich zu verbessern“ (Moser, 1999, S. 207). Summative Evaluationen<br />
beziehen sich auf die Überprüfung eines abgeschlossenen Programms und ermitteln dessen<br />
Ergebnisse (Scriven, 1972, S. 62). Diese Evaluationsart richtet sich eher an Entscheidungsträger<br />
wie beispielsweise die Schulleitung, da Interventions- oder Verbesserungsmaßnahmen nicht mehr<br />
initiiert werden können (Schimitzek, 2008, S. 23).<br />
2.2.2.2 Interne versus externe Evaluation<br />
Darüber hinaus unterscheiden sich Evaluationen in die interne Evaluation sowie die externe Evaluation,<br />
die Teil des Qualitätsmanagements der Schule sind (Dubs, 2009, S. 1210) und sich darin<br />
unterscheiden, wer die Hoheit über das Verfahren trägt (Dubs, 2004, S. 9). Interne Evaluation bedeutet,<br />
dass die Schule selbst ‚Herr‘ des Verfahrens ist. Sie entscheidet über die Ziele der Evaluation,<br />
den Einsatz von Instrumenten und den Zeitpunkt der Durchführung. Typische Verfahren der internen<br />
Evaluation sind die Befragung der eigenen Lehrkräfte, der SchülerInnen, der Betriebe oder der Eltern.<br />
Eine interne Evaluation erfolgt in mehreren Schritten (Keller, Landwehr & Steiner, 2003). Als Synonym<br />
37
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
38<br />
zur internen Evaluation wird häufig der Begriff Selbstevaluation verwendet. „Als Selbstevaluationen<br />
werden Verfahren bezeichnet, bei denen die Praxis gestaltenden Fachleute identisch sind mit den<br />
Evaluatorinnen bzw. Evaluatoren. D. h. die Akteure überprüfen ihre eigene Tätigkeit und deren Konsequenzen“<br />
(Müller-Kohlenberg & Beywl, 2003, S. 65). Im Gegensatz dazu bezeichnet bauer die interne<br />
Evaluation als Verfahren, in dem eine Tätigkeit von Organisationsmitgliedern durch andere Personen<br />
der Organisation (meist Organisationsexperten) untersucht werden (Bauer, 2004, S. 165).<br />
Das Pendant der internen Evaluation bildet die externe Evaluation. Interne Evaluationen einer<br />
Bildungseinrichtung „[...] bilden schliesslich auch die Voraussetzungen dafür, dass eine spätere<br />
Fremdevaluation ertragreich wird und deren Ergebnisse ebenfalls als Grundlage für weitere Entwicklungsschritte<br />
akzeptiert werden können“ (Schweizerische Konferenz der kantonalen Erziehungsdirektoren,<br />
2008, S. 12). Auch internationale Erfahrungen belegen, dass die Verwendbarkeit von<br />
Evaluationsergebnissen erhöht werden kann, wenn der externen eine interne Evaluation vorausgeht<br />
(Brägger et al., 2005, S. 73). „Externe Evaluationen werden von Personen durchgeführt, die<br />
nicht dem Fördermittelgeber oder der Durchführungsorganisation angehören. In der Regel weisen<br />
externe Evaluatoren deshalb eine größere Unabhängigkeit, eine profunde Methodenkompetenz und<br />
professionelles Evaluationswissen auf und kennen das Fachgebiet, in dem das Programm bzw.<br />
das Projekt angesiedelt ist“ (Stockmann, 2007, S. 62). Externe Untersuchungen können allerdings<br />
durch die Beurteilung von außenstehenden Personen auch Angstgefühle und Abwehrreaktionen mit<br />
sich bringen, die wiederum einen hemmenden Faktor für die Umsetzung der Evaluationsergebnisse<br />
darstellen (Stockmann, 2007, S. 62). Um diesen Tatsachen vorzubeugen, gelten folgende Prinzipien<br />
für die Durchführung externer Evaluationen:<br />
• Fairness gegenüber allen Beteiligten, Betrachtung der EvaluatorInnen als kritische Freunde<br />
• Diskretion, kein Blamieren beteiligter Personen<br />
• Symmetrische Kommunikation zwischen EvaluatorInnen und Evaluierten (Schießl, 2005, S. 5 f.).<br />
In Bezug auf eine zeitliche Abfolge ist die interne gegenüber der externen Evaluationen zu priorisieren,<br />
da diese „[...] erst den Boden bereitet, auf dem [Qualitätsmanagement] gedeihen und<br />
externe Evaluation wirken kann. Findet externe Evaluation statt, ohne dass in der Schule eine<br />
Evaluationskultur entstanden ist, »verpufft« sie: Sie wird von den Lehrpersonen nicht verstanden<br />
und schon allein deshalb nicht akzeptiert» (Kempfert et al., 2008, S. 13). Erst die Tatsache einer<br />
bestehenden Evaluationskultur sowie ein routinierter Umgang mit Untersuchungsergebnissen bzw.<br />
das Bewusstsein für die Nützlichkeit von Befragungen ermöglichen hilfreiche Anreize für die Bereiche<br />
der Unterrichts- Personal- und Organisationsentwicklung, die in die Schulentwicklung münden<br />
(Kempfert et al., 2008, S. 13).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
2.2.3 Externe Evaluation als Teil des Qualitätsmanagements der Schule<br />
2.2.3.1 Bedeutung der Externen Evaluation als Teil des Qualitätsmanagements der Schule<br />
Externe Evaluation ist Teil eines ganzheitlichen Qualitätsmanagements an Schulen (Brägger et<br />
al., 2005, S. 36). Qualitätsmanagement umfasst dabei die Einzelschritte der Qualitätsdefinition,<br />
-sicherung und -entwicklung (Dubs, 2006, S. 1209) (vgl. 2.1.2.1.2). Insbesondere kann Qualitätsmanagement<br />
als „[...] alle aufeinander abgestimmten Tätigkeiten [...] zur Leitung und Lenkung einer<br />
Organisation bezüglich Qualität [aufgefasst werden]. Sie umfassen üblicherweise die Festlegung der<br />
Qualitätspolitik, der Ziele und Verantwortungen und deren Verwirklichung durch u. a. Qualitätsplanung,<br />
-lenkung, -sicherung und -verbesserung“ (Bülow-Schramm, 2006, S. 16). Der Plan, Do, Check,<br />
Act-Kreislauf (PDCA-Zyklus) muss übergreifend auf das gesamte System übertragen werden, da „[...]<br />
modernes Qualitätsmanagement [...] als kontinuierlicher Verbesserungs- und damit als Lern-Prozess<br />
[verstanden wird]“ (Kempfert & Rolff, 2008, S. 41). Somit wird eine übergreifende Weiterentwicklung<br />
auf allen Ebenen einer Organisation erzielt, in dem Ziele festgelegt und Maßnahmen geplant (Plan),<br />
Programme umgesetzt (Do), Wirkungen gemessen (Check) und Korrekturen vorgenommen werden<br />
(Act) (Maritz et al., 2006, S. 22).<br />
Ein Evaluationsverfahren soll das schuleigene Qualitätsmanagement sowie die Schul- und Unterrichtsqualität<br />
extern überprüfen (Landwehr et al., 2007, S. 4). Ziel der Evaluation ist es also, die<br />
Qualität der Institution zu erfassen sowie Stärken und Schwächen in diesen Bereichen aufzudecken.<br />
Dies erfolgt, neben der Erstellung des Selbstberichts durch die Bildungseinrichtung selbst, mit Hilfe<br />
einer externen Begehung durch ein Evaluationsteam. Im Hinblick auf ein funktionierendes Qualitätsmanagement<br />
sowie einer exzellenten Schul- und Unterrichtsqualität sollen aufgedeckte Schwächen<br />
behoben und identifizierte Stärken ausgebaut werden (Carstensen, September 1997, S. 4–5). Dies<br />
kann einerseits dadurch erfolgen, dass die Bildungseinrichtung während des Verfahrens, zum<br />
Beispiel bei Erstellung des Selbstberichts, Defizite aufdeckt und unmittelbar Handlungen zur Beseitigung<br />
initiiert. Die andere Möglichkeit besteht darin, dass Verbesserungsmaßnahmen durch das<br />
Evaluationsteam deklariert werden. Eine Evaluation kann somit als „[...] Bindeglied zwischen Schulentwicklung<br />
und Qualitätssicherung“ (Müller, 2002, S. 9) bezeichnet werden und ist als Instrument<br />
in ein Qualitätsmanagementsystem eingebunden, um einer Bildungseinrichtung Rückmeldung zur<br />
Schul- und Unterrichtsqualität zu erteilen.<br />
2.2.3.2 Hintergrund externer Evaluationen<br />
In den letzten Jahren hat sich eine Reihe von Verfahren in Bezug auf die externe Evaluation von<br />
Schulen herausgebildet. Sie unterscheiden sich vor allem bezüglich der Zusammenstellung der EvaluatorInnen,<br />
der Rolle der Schulaufsicht und der damit verbundenen Vorstellung von der Zielsetzung<br />
der externen Evaluation (Kempfert et al., 2008, S. 217 ff.):<br />
• Audit: Bei einem Audit laden Schulen unabhängige ExpertInnen ein, die Schule zu beurteilen.<br />
Die eingeladenen ExpertInnen stammen in der Regel von einer Agentur bzw. werden von einer<br />
Agentur vermittelt (Salzbrenner, 2001, S. 45 f.).<br />
39
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
40<br />
• Peer-Review: Bei einem Peer-Review werden kritische Freunde (‚critical friends‘) eingeladen,<br />
einen kritischen Blick auf die Schule zu werfen. Die Schule sucht die Peers aus. Dies können<br />
Lehrkräfte oder Schulleitungen aus anderen Schulen, WissenschaftlerInnen und Personen aus<br />
Betrieben sein. Ein Peer-Review ist auf der institutionellen Ebene das, was das Individualfeedback<br />
auf der individuellen Ebene ist. Hier geht es vor allem um die Unterstützung von<br />
institutionellen Lernprozessen und nicht um Kontrolle (Gutknecht-Gmeiner, 2006, S. 118 ff.).<br />
• Schulberatung: Der Schulberatungsbesuch ist dem Peer-Review ähnlich. Allerdings ist bei<br />
einem Schulberatungsbesuch auch ein Vertreter der Schulaufsicht integriert. Dabei steht allerdings<br />
der Beratungsaspekt und nicht der Kontrollaspekt im Vordergrund.<br />
• Inspektion: Bei der Inspektion handelt es sich um eine Pflichtvisitation. Hierbei hat die zu<br />
evaluierende Schule kein oder nur sehr begrenztes Mitspracherecht hinsichtlich der Personen,<br />
die eine externe Evaluation durchführen. Die Schulaufsichtsbehörde meldet sich regelmäßig<br />
bei der Schule, um zuvor angekündigte Bereiche zu visitieren. Ein weiterer Indikator für eine<br />
zugrundeliegende Schulinspektion ist der Abschluss von Zielvereinbarungen auf der Basis der<br />
Evaluationsergebnisse. Das Inspektionsmodell ist Ausdruck eines starken Kontrollbedürfnisses<br />
des Staates und durch das hierarchische Prinzip gekennzeichnet (Müller, 2010a, S. 290 ff.).<br />
Diese verschiedenen Möglichkeiten werden als Hintergrund der Evaluation klassifiziert.<br />
2.2.3.3 Verlauf externer Evaluationen<br />
Bei aller Unterschiedlichkeit der Verfahren haben externe Evaluationen einen typischen Verlauf<br />
(Wilbers, 2007, S. 6):<br />
• Vorbereitung: In der Vorbereitungsphase wird die externe Evaluation innerhalb der Schule sowie<br />
mit den Schulexternen vorbereitet.<br />
• Selbstbewertung: Die Schule erstellt nach den Vorgaben des Qualitätsmanagementsystems<br />
einen Selbstbericht, in dem sie sich selbst in Bezug auf die Qualitätskriterien einschätzt.<br />
• Fremdbewertung: Der Selbstbewertung schließt sich eine Fremdbewertung durch die Evaluatorengruppe<br />
an. Im Regelfall werden dabei ein- bis zweitägige Schulbesuche vorgesehen. Die<br />
EvaluatorInnen berücksichtigen dabei vor allem die Angaben der Schule im Selbstbericht.<br />
• Feedback: Die Bildungseinrichtung erhält eine Rückmeldung auf der Basis der vorangehenden<br />
Bewertungen.<br />
• Nachbereitung: Nach der Vor-Ort-Begehung erstellt die Evaluatorengruppe einen Evaluationsbericht,<br />
der häufig mit der Schule abgestimmt wird (Wilbers, 2007, S. 6).
2.2.3.4 Ebenen externer Evaluationen<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Eine Primärevaluation bezieht sich auf die Kernprozesse einer Bildungseinrichtung und begutachtet<br />
„einen oder zwei Aspekte der Schul- und Unterrichtsqualität“ (Steiner et al., 2007, S. 27). Insbesondere<br />
ist die Qualität der Lehr-Lern-Prozesse und der unterstützenden Prozesse zu überprüfen, die<br />
im schulischen Alltag von der Schulleitung oder dem Kollegium übernommen werden (Brägger et al.,<br />
2005, S. 38). Im Mittelpunkt stehen Bedingungen, Prozesse und Ergebnisse der Schule (Staatsinstitut<br />
für Schulqualität und Bildungsforschung, 2007, S. 22), in dem Fragen zur Effektivität der Strukturen<br />
sowie der Wirksamkeit getroffener Maßnahmen begutachtet werden.<br />
Eine Metaevaluation hingegen ist eine Evaluation einer vorangehenden Evaluation oder eine Evaluation<br />
eines einzelnen Evaluationsprojektes. Diese Methode beschäftigt sich mit den festgesetzten<br />
Zielen der Untersuchung sowie deren Erreichung, dem zugrundeliegenden Forschungsdesign, den<br />
ausgewählten Zielgruppen und den Effekten der Untersuchung. Hierbei wird der Nutzen bzw. die<br />
Effektivität einer Evaluation nachweisbar (Bauer, 2004, S. 166 f.). Steiner & lanDWehr haben den<br />
Begriff der externen Evaluation weiter gefasst und bezeichnen hierbei eine Evaluation des gesamten<br />
Qualitätsmanagements. In diesem Zusammenhang werden Prozesse hinsichtlich der Aufrechterhaltung<br />
und Verbesserung der Schul- und Unterrichtsqualität überprüft. Insbesondere geht es um ein<br />
funktionierendes Qualitätsmanagementsystem, das alle wichtigen Voraussetzungen, Prozesse und<br />
Ergebnisse anhand von Soll-Ist-Vergleichen überprüft und laufend optimiert (Landwehr et al., 2007,<br />
S. 31). Die Implementierung eines Qualitätsmanagementsystems ist also die Voraussetzung für die<br />
Durchführung einer Metaevaluation, wobei diese Anforderung die Aussage erlaubt, dass die Qualität<br />
des Schul- und Unterrichtsbetriebs bereits ein gewisses Niveau erreicht haben muss, da gravierende<br />
Defizite bzw. Ist-Soll-Diskrepanzen bereits kontinuierlich ermittelt und angegangen werden (Brägger<br />
et al., 2005, S. 38). Eine Metaevaluation kann nur im Rahmen einer externen Evaluation erfolgen, da<br />
die zu untersuchenden Themen eine Untersuchung von externen Personen bedingen (Bauer, 2004,<br />
S. 166).<br />
bräGGer et al. bezeichnen Primärevaluationen anspruchsvoller als Metaevaluationen, „[...] weil ihr<br />
Gegenstand [bei umfassender Beurteilung der schulischen Qualität] komplexer und aufwändiger ist<br />
[...] und das Problem der verbindlichen Kriterien und Standards im Bereich des Unterrichts schwieriger<br />
zu lösen ist als im Bereich des Qualitätsmanagements“ (Brägger et al., 2005, S. 38). Darüber<br />
hinaus sprechen die Autoren der Primärevaluation eine höhere Relevanz zu, da hierbei die Kernaufgabe<br />
der Schule im Fokus steht und die Öffentlichkeit ein höheres Interesse an den Ergebnissen<br />
zu Primärqualitäten von Bildungseinrichtungen aufweist als im Bereich des Qualitätsmanagements<br />
(Brägger et al., 2005, S. 38). Dieser Argumentation kann insoweit widersprochen werden, da die<br />
Bescheinigung eines funktionierenden Qualitätsmanagementsystems für eine Bildungseinrichtung<br />
eine ebenso wertvolle Aussage darstellen kann und schließlich eine routinierte Qualitätsarbeit unter<br />
Berücksichtigung relevanter Steuerungs- und Feedbackmechanismen belegt. Mit Blick auf eine<br />
übergreifende Qualitätserhöhung der Bildungseinrichtung würde ein Wechsel zwischen Primär- und<br />
Metaevaluationen möglicherweise die optimale Gestaltungsform begründen, in dem beispielsweise<br />
initiierte Anschlussmaßnahmen an eine Metaevaluation nach gewissem Zeitabstand durch eine<br />
41
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
42<br />
Primärevaluation untersucht werden. Im Gegensatz dazu könnte die Verankerung überarbeiteter<br />
Prozesse oder Strukturen und das Zusammenspiel innerhalb des Qualitätsmanagements durch eine<br />
Metaevaluation erfolgen.<br />
2.2.3.5 Funktionen, Ziele bzw. Wirkungsbereiche externer Evaluationen<br />
Externe Evaluation verfolgt – zum Teil mit unterschiedlicher Gewichtung – verschiedene Ziele,<br />
die jedoch keineswegs immer klar sind. „Es gibt neben den offiziellen Deklarationen der Evaluationsagenturen<br />
eine Reihe von eher diffusen Erwartungen auf Seiten der verschiedenen Akteure“<br />
(Husfeldt, 2010, S. 3). Externe Evaluationen implizieren neben einem kritischen Blick von außen die<br />
Möglichkeit, ‚blinde Flecken‘ aufzudecken und Entwicklungsimpulse zu geben, indem auch gesetzte<br />
Ziele des Schulprogramms sowie definierte Qualitätsansprüche reflektiert werden (Schweizerische<br />
Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 12). Der ‚äußere Blickwinkel‘ auf die<br />
Bildungseinrichtung bildet auch die Möglichkeit, Chancen und Risiken zu identifizieren und von<br />
anderen Schulen zu lernen (Vaccaro, 2010, S. 169). bräGGer et al. erläutern weitere Funktionen, die im<br />
Folgenden kurz dargestellt werden:<br />
• Kritische Untersuchung der Bildungseinrichtung und Analyse vorhandener Stärken und Schwächen<br />
• Beurteilung der Schulqualität im Bereich der Vor- und Nachteile gegenüber anderen Schulen<br />
sowie des Profils<br />
• Durchführung einer umfassenden Qualitätsrecherche anhand eines umfassenden Fachwissens<br />
im Evaluationsbereich<br />
• Ermittlung von Qualitätsdefiziten in der Bildungseinrichtung<br />
• Erhöhung der Verbindlichkeit bezüglich der Umsetzung von Maßnahmen zur Optimierung der<br />
Schul- und Unterrichtsqualität<br />
• Professionelle Erhebung sinnvoller bzw. notwendiger Entwicklungsschwerpunkte zur Bekräftigung<br />
der Schulstrategie (Brägger et al., 2005, S. 36).<br />
Der Aspekt externer Evaluationsfunktionen wird in der Literatur auch mit der Perspektive der<br />
Wirksamkeit in Verbindung gebracht. So erläuterte die Schweizerische Konferenz der kantonalen<br />
Erziehungsdirektoren im Jahr 2008 zwei Funktionen von Evaluationen, die Schulentwicklung und die<br />
Rechenschaftslegung, da einerseits die Ergebnisse einer Evaluation als Rückmeldung bezüglich der<br />
Erfüllung des Bildungsauftrages, der Gestaltung der Rahmenbedingungen und der Zuteilung bzw.<br />
Verwendung von Ressourcen als belastbares Datenmaterial nach außen dienen (Schweizerische<br />
Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 10), beispielsweise für die Schulaufsicht,<br />
die Gesellschaft oder externen Akteure. Die Funktion der Rechenschaftslegung wird dabei<br />
hauptsächlich durch die Evaluation von Prozessen und Maßnahmen erfüllt (Schnoor et al., 2006,<br />
S. 32 f.). Andererseits werden innerhalb der Bildungseinrichtung durch die Ermittlung von Stärken<br />
und Schwächen Informationen für eine weitere Qualitätsentwicklung aufgedeckt (Schweizerische<br />
Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 10). Vor allem im Bereich der externen
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Evaluationen sind bei den unterschiedlichen Konzeptionen diese beiden Gegenpoole weiterhin stark<br />
zu erkennen. Die Aufgaben der externen Evaluation bewegen sich dabei „[...] im Spannungsfeld<br />
zwischen Rechenschaftslegung und Entwicklungsorientierung“ (Brägger et al., 2005, S. 35).<br />
Evaluationskonzepte, die den Schwerpunkt der Rechenschaftslegung verfolgen werden als<br />
‚pressure‘-Ansatz bezeichnet. Im Gegensatz dazu dient der ‚support‘-Ansatz „[...] auf die direkte<br />
Initiierung von Schulentwicklung durch die vertrauliche Rückmeldung von Informationen an Schulen“<br />
(Ackeren, 2003, S. 276). Die Kombination der beider Zielrichtungen bildet der ‚pressure and support‘-<br />
Ansatz, der mit Blick auf die Schulentwicklung die höchste Effektivität erzielt, da hierbei ein gewisser<br />
Wettbewerbsdruck zwischen den Schulen entsteht (Ackeren, 2003, S. 276). Liegt der Fokus im<br />
Wirkungsbereich der Rechenschaftslegung, so bemühen sich Schulen oftmals um eine vorteilhafte<br />
Darstellung der Bildungseinrichtung oder um eine Verheimlichung von Defiziten bzw. Schwachstellen.<br />
Erfolge hingegen werden in den Vordergrund gestellt. Im Gegensatz dazu neigen Einrichtungen<br />
im Bereich schulischer Entwicklungsfunktion zu einer realistischen Darstellungsweise, einer offenen<br />
Kommunikation von Fehlern und gezielten Analyse von Misserfolgen (Galetzka, 17.03.2008, S. 8).<br />
lanDWehr erweiterte die beiden genannten Funktionen externer Evaluationen durch die Entwicklung<br />
eines ganzheitlichen Wirkungsmodells, das die externe Schulevaluation in ein differenzierteres und<br />
komplexeres Wirkungsgefüge integriert und dabei mindestens vier Hauptfunktionen vorsieht (Landwehr,<br />
2011, S. 39):<br />
• Externe Evaluation als Instrument der Erkenntnisgewinnung, um Aufschluss über Ist-Soll-<br />
Differenzen zu erhalten<br />
• Externe Evaluation als Instrument der Schulentwicklung, um Schul- und Unterrichtsentwicklung<br />
zur Beseitigung von Qualitätsdefiziten anzustoßen und profilbildende Stärken zu intensivieren<br />
• Externe Evaluation als Instrument der Rechenschaftslegung, um eine glaubwürdige Datengrundlage<br />
für einen datengestützten Qualitätsnachweis zu erhalten<br />
• Externe Evaluation als Instrument der Normendurchsetzung, um Normen durch den Evaluationsprozess<br />
durchzusetzen.<br />
lanDWehr erläutert, dass zwischen diesen vier Hauptfunktionen externer Evaluation eine Interdependenz<br />
besteht, da „[...] beispielsweise das Wissen über den qualitativen Zustand der Schule<br />
gleichzeitig die Grundlage für das Anstossen von Entwicklungsprozessen und für den bilanzierenden<br />
Qualitätsnachweis [bildet]. Oder: Die Rechenschaftslegung selbst ist ein wichtiger Einflussfaktor<br />
sowohl für die Entwicklungsfunktion [...] als auch die Normendurchsetzung“ (Landwehr, 2011, S. 40).<br />
Aus diesem Grund fordert lanDWehr, dass ein Wirkungsmodell auch die wichtigsten Interaktionseffekte<br />
zwischen den Bereichen berücksichtigen muss, die im folgenden Modell abgebildet sind:<br />
43
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
44<br />
Abbildung 4: Wirkungsbereiche der externen Schulevaluation und ihre Interaktionseffekte nach<br />
lanDWehr (Landwehr, 2011, S. 41)<br />
ehren & ViSScher erläutern, dass externe Evaluationen, die das primäre Ziel der Schulentwicklung<br />
verfolgen, besser durch ‚kritische Freunde‘ durchgeführt werden (Ehren & Visscher, 2006, S. 53).<br />
Daraus lässt sich die These ableiten, dass Peer Reviews für die Entwicklung von Schulen geeigneter<br />
sind als beispielsweise die Schulinspektion (vgl. 2.2.3.2). burkharD fordert, die Funktionen externer<br />
Evaluationen nicht isoliert voneinander zu betrachten, da ein modernes Steuerungssystem eine Integration<br />
der genannten Wirkungsbereiche beansprucht. Aus diesem Grund werden der externen Evaluation<br />
sowohl normierende und kontrollierende als auch unterstützende und stimulierende Aufgaben<br />
abverlangt (Burkhard, 2005, S. 95). In diesem Zusammenhang wird allerdings die Unterstützung der<br />
Schulentwicklung meist als zentrale Zielsetzung gesehen. Auf dieses Ziel konzentrieren sich Ausführungen<br />
und Annahmen zur Wirksamkeit, die in Kapitel 2.4 weiter erläutert werden. Externe Evaluation<br />
ist in diesem Verständnis ein Katalysator für Schulentwicklung bzw. Schulevaluation. Die externe<br />
Evaluation führt zu Veränderungsvorschlägen von Seiten der EvaluatorInnen, die in der Schule nicht<br />
einfach übernommen, sondern adaptiert werden, also Innovationen auslösen, die selbst wieder zu<br />
Änderungen in den Leistungen der Schule bzw. den Änderungen in den kurz- und langfristigen<br />
Wirkungen von Schule führen sollen.<br />
Mit Blick auf die Funktion der Rechenschaftslegung wird in der vorliegenden Arbeit die Tatsache<br />
verbunden, dass auf der Basis der externen Evaluation Zielvereinbarungen mit der Schulaufsicht<br />
folgen. Hierbei werden hierarchisch übergeordnete Instanzen in den Prozess der externen Evaluation<br />
integriert, in dem am Ende des Verfahrens Folgemaßnahmen vereinbart werden oder auch bereits
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
während des Schulbesuchs die Teilnahme an der Ergebnispräsentation erfolgt. Die unterschiedlichen<br />
Wirkungsbereiche werden in Kapitel 5.2 weiter aufgegriffen, in dem die verschiedenen Konzepte<br />
externer Evaluationen gegenübergestellt und deren Wirkungen diagnostiziert werden. In diesem<br />
Zusammenhang sind primär die Funktionen der Rechenschaftslegung bzw. der Schulentwicklungsfunktion<br />
festzustellen (vgl. 5.2.2.2).<br />
2.2.3.6 Referenzrahmen externer Evaluationen<br />
Evaluationen sollten sich auf einen Referenzrahmen beziehen, die einen anzustrebenden Soll-<br />
Zustand definieren, um anhand der ermittelten Ergebnisse einen Soll-Ist-Vergleich durchführen zu<br />
können. Als Referenzrahmen dienen u. a. Vorgaben der Bildungspolitik in Form von Lehrplänen,<br />
selbst entwickelte Qualitätsansprüche anhand eines Schulprogramms oder Leitbild, internationale<br />
Standards durch Bildungsstandards bzw. internationale Tests sowie Standards, die das jeweilige<br />
Qualitätsmanagementsystem vorgeben (Schweizerische Konferenz der kantonalen Erziehungsdirektoren,<br />
2008, S. 16). Ein zugrundeliegender Referenzrahmen sorgt für Transparenz innerhalb des<br />
externen Verfahrens, da die Bildungseinrichtung auf dieser Basis im Vorfeld in der Lage ist, mögliche<br />
Untersuchungsfelder abzustecken. Liegt einer externen Evaluation ein Referenzrahmen zugrunde,<br />
wird von einer kriteriengeleiteten in anderen Fällen von einer beobachtend-beschreibenden bzw.<br />
explorativen Evaluation gesprochen.<br />
Im Rahmen der vorliegenden Arbeit wird ein Referenzrahmen in Bezug auf eine Meta-Evaluation als<br />
Grundlage für die anschließende externe Evaluation verstanden, in dem eine Selbsteinschätzung<br />
der einzelnen Komponenten des Qualitätsmanagements erfolgt, um eine Aussage bezüglich des<br />
Soll-Zustands der jeweiligen Qualitätsbereiche zu erhalten. Übergreifend bietet diese schulinterne<br />
Bewertung auch die Möglichkeit, eine Aussage über die Qualität der Bildungseinrichtung als Ganzes<br />
zu treffen. Sowohl die detaillierten Angaben einzelner Qualitätsbereiche als auch die ganzheitliche<br />
Aussage hinsichtlich des Qualitätslevels bilden die Grundlage für das anstehende externe Verfahren.<br />
Auf der Ebene einer Primärevaluation bildet ein Referenzrahmen ebenso die Basis für eine externe<br />
Evaluation. Allerdings beziehen sich diese Eckpunkte auf Prozesse innerhalb der Bildungseinrichtung.<br />
Hierbei sind zunächst Managementprozesse einzuordnen, die neben der Führung von MitarbeiterInnen<br />
(Seitz & Capaul, 2007, S. 297 ff.) auch eine strategische, normative und operative Ausrichtung<br />
der Einrichtung betreffen (Buichl, Heinrich, Wilbers & Wittmann, 2010, S. 4). Daneben beinhalten<br />
die Kern- bzw. Geschäftsprozesse die Schule als Organisationseinheit sowie den Unterricht.<br />
Supportprozesse unterstützen die anderen Prozesse und beinhalten beispielsweise die Bereiche<br />
Umwelt, Personalwesen, Gesundheit, Sicherheit, Wissensmanagement, Finanzwesen, Beschaffung,<br />
Prozess- und Informationsmanagement oder Kommunikation (Feldmayer et al., 2005, S. 21).<br />
45
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
46<br />
2.3 Ausgewählte Qualitätsmanagementsysteme in Schulen<br />
2.3.1 Q2E-basierte Qualitätsmanagementsysteme<br />
Im Folgenden werden verschiedene Qualitätsmanagementsysteme (QMS) auf dem Entwicklungs-<br />
stand des Jahres 2009 beschrieben.<br />
2.3.1.1 Qualität durch Evaluation und Entwicklung (Q2E)<br />
2.3.1.1.1 Entwicklung und Ziele von Q2E<br />
Das Q2E-Modell basiert auf einem Projekt, in dem einerseits die Thematik des Begriffs Qualität<br />
auf Schulen übertragen werden sollte, um betriebliche und technische Ideen, Instrumente und<br />
Konzepte in Bildungseinrichtungen zu testen. Andererseits sollten die Erfahrungen im Bereich der<br />
Zusammenfügung zwischen Schul- und Unterrichtsentwicklung aus dem vorangegangenen Projekt<br />
‚Erweiterte Lernformen‘ der Nordwestschweizerischen Erziehungsdirektorenkonferenz (NW EDK) auf<br />
die Sekundarstufe II übertragen werden, wobei sich der Fokus des Projekts zunehmend auf den<br />
Aufbau eines schulinternen Qualitätsmanagements richtete (Steiner et al., 2007, S. 14). Der Einsatz<br />
bereits bestehender Qualitätssysteme wurde auf der Grundlage der Projektziele geprüft (Landwehr,<br />
2004). Allerdings konnten diese Modelle aufgrund der spezifischen Ausgangslage nicht realisiert<br />
werden, was zu einem Aufbau des Qualitätsmodells Q2E führte (Steiner et al., 2007, S. 17). Das Projekt<br />
‚Qualitätsentwicklung auf der Sekundarstufe II‘ wurde im Rahmen in den Jahren 1996 bis 2002<br />
an insgesamt 16 Schulen entwickelt und von der NW EDK in Auftrag gegeben (Steiner et al., 2007,<br />
S. 2, 3), um „die Möglichkeiten und Grenzen einer Qualitätsentwicklung und -sicherung zu erkunden,<br />
die sich an dem «neuen» Qualitätsverständnis Total-Quality-Managements (TQM) orientiert […]“<br />
(Steiner et al., 2007, S. 6). Steiner übernahm hierbei die Projektleitung (Steiner et al., 2007, S. 2, 3),<br />
lanDWehr fungierte als Beratungsorgan in den Schulen (Steiner et al., 2007, S. 47). Steuergruppen<br />
wurden sowohl auf globaler und lokaler Ebene gegründet, die übergreifend bzw. schulintern die<br />
Verantwortung und Organisation übernahmen (Steiner et al., 2007, S. 52 f.). Zur Unterstützung des<br />
erfolgreichen Projektverlaufs wurden Meilensteine, wie Aufbau einer Feedbackkultur, Einführung<br />
einer Evaluation, Erarbeitung einer Qualitätsdokumentation und Durchführung einer externen<br />
Evaluation herausgearbeitet (Steiner et al., 2007, S. 53). Projektpläne mit individuellen -zielen und<br />
-schwerpunkten mussten im Bereich der Schulen von den Bildungseinrichtungen selbständig erarbeitet<br />
werden, um die einzelnen Handlungsspielräume zu erhöhen, was wiederum zu einer höheren<br />
Akzeptanz unter den Beteiligten führte (Steiner et al., 2007, S. 15). Bereits am Ende des Projekts<br />
stand die Ausweitung in andere Schulformen und Weiterverfolgung des Systems außer Frage. Es<br />
wurde sogar eine Verpflichtung zum Aufbau eines schulinternen Qualitätsmanagements und eine<br />
flächendeckende Entwicklung angedacht (Steiner et al., 2007, S. 69).<br />
Q2E verfolgt das Ziel, „Schulen beim Aufbau eines schulinternen Qualitätsmanagements zu unterstützen“<br />
(Landwehr et al., 2007, S. 8) sowie eine Feedbackkultur zu schaffen. capaul bezeichnet Q2E<br />
als Gegenbewegung zu ISO und anderen lohnwirksamen Qualitätsmanagementsystemen, die in den
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
90iger Jahren in der Schweiz implementiert wurden, da hierbei der Unterricht, also das Lehren bzw.<br />
Lernen und nicht nur Verwaltungsprozesse fokussiert werden. Darüber hinaus erfolgen durch Q2E<br />
keine finanziellen Auswirkungen auf die Besoldung einer Lehrkraft (Capaul, 14.12.2009). Im weiteren<br />
Verlauf entwickelte sich Q2E in Deutschland als Basismodell, da es für zahlreiche Bundesländer<br />
wie Bayern, Baden-Württemberg, Bremen, Hessen und Mecklenburg-Vorpommern als Orientierung<br />
dient und sich gegenüber anderen Systemen wie EFQM oder ISO behauptete (Zöller, 2007a, S. 6 f.).<br />
2.3.1.1.2 Das Modell Q2E<br />
Q2E ist die Abkürzung für ‚Qualität durch Evaluation und Entwicklung‘ (Steiner et al., 2007) und<br />
symbolisiert ein Rahmenmodell für den Aufbau eines ganzheitlichen Qualitätsmanagements (Landwehr,<br />
2004), das der Schul- und Organisationsentwicklung dient. Es verfolgt das Ziel, „Schulen beim<br />
Aufbau eines schulinternen Qualitätsmanagements zu unterstützen“ (Landwehr et al., 2007, S. 8)<br />
sowie eine Feedbackkultur zu schaffen.<br />
Dem Modell liegt das Total Quality Management (TQM) zugrunde. TQM ist eine „umfassende<br />
Managementkonzeption, nach der sich das gesamte Management verpflichtet, TQM vorzuleben.<br />
Einbezogen sind alle Mitarbeiter, die in der Organisation permanent lernen und verbessern. Die<br />
Ausrichtung der Organisation erfolgt auf den Kunden, wobei die Tatsachen zählen, d. h. Maßnahmen<br />
sind mit Daten zu belegen, einfach Begründungen reichen nicht. Prozesse stehen in der Organisation<br />
im Mittelpunkt und wirken als Katalysator zwischen Input und Output. Die externen und internen<br />
Kunden-/Lieferantenbeziehungen sind Bestandteil von TQM“ (Bülow-Schramm, 2006, S. 26). TQM<br />
begründet ein Qualitätsmanagement, das alle Bereiche und Ebenen einer Organisation integriert, um<br />
kontinuierliche Steigerungen der Qualität, weitere Erschließungen von Potentialen sowie eine Erfüllung<br />
der Kundenanforderungen erzielen zu können (Hirsch-Kreinsen, 1997, S. 3). Der Grundgedanke<br />
des TQM ist in der folgenden Graphik verdeutlicht, da Qualität im Sinne einer permanenten Prozessoptimierung<br />
durch die Schritte ‚Plan‘, ‚Do‘, ‚Check‘, ‚Act‘ (PDCA) definiert wird, um Ergebnisse und<br />
Verbesserungen permanent in einen Prozess einzuarbeiten (Steiner et al., 2007, S. 7). Dieser Zyklus<br />
wird als PDCA-Zyklus oder DeminG-Kreis bezeichnet, der aus den Teilschritten der folgenden Graphik<br />
basiert und sich auf die Grundannahme bezieht, dass jeder Vorgang als Prozess identifiziert und<br />
optimiert werden kann.<br />
47
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
48<br />
Abbildung 5: Deming-Kreis (Steiner et al., 2007, S. 7)<br />
Der erste Schritt besteht aus der Entwicklung eines Plans (plan), um eine effektive Optimierung<br />
erzielen zu können. Dabei werden wichtige Ergebnisse und mögliche Probleme, relevante Änderun-<br />
gen oder neue Erfahrungen berücksichtigt. Im Folgenden erfolgt eine Umsetzung des Plans (do).<br />
Danach werden relevante Daten gesichtet, um die Effekte der Maßnahme zu überprüfen (check).<br />
Schließlich werden anhand der Ergebnisse Möglichkeiten für weitere Optimierungen erarbeitet (act),<br />
die in den nächsten PDCA-Zyklus einfließen. DeminG erläutert, dass dieser Kreislauf ursprünglich von<br />
seinem Lehrer SheWart entwickelt wurde (Kamiske & Brauer, 2008, S. 305–306). Q2E internalisiert<br />
den DeminG-Kreis im Sinne eines neuen Qualitätsverständnisses. Das Modell besteht aus sechs Komponenten,<br />
die den schulinternen Gestaltungsspielraum darstellen (Steiner et al., 2007, S. 18). Den<br />
Kern des Modells bildet der Baustein Qualitätsleitbild, der die Qualitätsziele einer Schule beinhaltet.<br />
Die vier folgenden Komponenten stehen in direktem Zusammenhang mit dem Qualitätsleitbild und<br />
bilden die Eckpunkte des Systems:<br />
• Individualfeedback und persönliche Qualitätsentwicklung<br />
• Selbstevaluation und Qualitätsentwicklung der Schule<br />
• Steuerung der Q-Prozesse durch die Schulleitung<br />
• externe Evaluation.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Diese Komponenten ermöglichen einerseits das Erkennen etwaiger Diskrepanzen zwischen der<br />
gegenwärtigen Praxis und dem angestrebten Qualitätsanspruch. Andererseits ist es zum Aufbau<br />
eines Qualitätsmanagements notwendig, regulierende Veränderungsprozesse zu durchlaufen (Steiner<br />
et al., 2007, S. 19–30), um eine Verbesserung von Qualität zu erhalten. Der sechste Baustein,<br />
die Zertifizierung, wurde auf Verlangen der Projektschulen nachträglich entwickelt und bescheinigt<br />
neben einer Erreichung der Qualitätsziele ein funktionierendes Qualitätsmanagement (Landwehr &<br />
Steiner, 2007, S. 7). Im Folgenden werden die einzelnen Elemente kurz beschrieben.<br />
Abbildung 6: Die Komponenten des Q2E-Modells nach Steiner/Landwehr (Steiner et al., 2007, S. 18)<br />
49
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
50<br />
2.3.1.1.2.1 Das Qualitätsleitbild<br />
Das Qualitätsleitbild dient als zentraler Ausgangspunkt für alle Aktivitäten im Bereich Qualität, da<br />
hierbei Schulen eigene Werte, Normen und Standards (Soll-Aussagen) sowie Qualitätsansprüche<br />
definieren, um sie anschließend mit der realen Praxis (Ist-Zustand) zu vergleichen. Eventuelle Diskrepanzen<br />
(Soll-Ist-Unterschiede) sollen mit Hilfe des internen Qualitätsmanagements kontinuierlich<br />
geschlossen werden.<br />
Ziel dieser Komponente ist neben der Weiterentwicklung der Schul- und Unterrichtsqualität die<br />
Erfüllung der Rechenschaftslegung durch einen umfassenden Qualitätsnachweis (Steiner et al.,<br />
2007, S. 19). Das Leitbild wird mit Hilfe eines Basisinstruments entworfen, das die fünf Qualitätsbereiche<br />
‚Inputqualität‘, ‚Prozessqualität Schule‘, ‚Prozessqualität Unterricht‘, ‚Outcomequalität‘<br />
und ‚Qualitätsmanagement‘ mit insgesamt 15 Qualitätsdimensionen umfasst (Landwehr, 2007, S. 4).<br />
Übergreifend erstreckt sich der Bereich Qualitätsmanagement über die Input-, Prozess- und Outputqualitäten,<br />
da hierbei zentrale Funktionen verankert sind. Das Basisinstrument fungiert bei der<br />
Implementierung und Anwendung von Q2E als Hilfsmittel, in dem es neben der Entwicklung eines<br />
schulinternen Leitbilds als Ausgangspunkt zur Erarbeitung von eigenen Selbst- oder Fremdevaluationsinstrumenten<br />
dient (Landwehr, 2007, S. 5).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Abbildung 7: Basisinstrument zur Schulqualität (Landwehr, 2007)<br />
51
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
52<br />
Die Schule fixiert im Leitbild einzelne Leistungsstandards und Qualitätsaussagen, die fortlaufend zu<br />
aktualisieren und zu ergänzen sind, um ‚blinde Flecken‘ im schuleigenen Qualitätsverständnis und<br />
neue -ansprüche aufzudecken (Landwehr, 2007, S. 6–13). Dies dient einerseits zur Offenlegung der<br />
Ziele für sämtliche Stakeholder der Bildungseinrichtung sowie als Vision für die weitere Schulentwicklung.<br />
Darüber hinaus bildet diese Q2E-Komponente einen normativen Rahmen für Evaluationen<br />
und Beurteilungen, da es innerhalb des Lehrerkollegiums zu entwickeln ist und dadurch eine hohe<br />
Akzeptanz genießt (Steiner et al., 2007, S. 19).<br />
2.3.1.1.2.2 Individualfeedback und persönliche Qualitätsentwicklung<br />
Qualität kann in einer Bildungseinrichtung durch zwei Wege her- bzw. sichergestellt werden: ‚institutionelles<br />
Lernen‘ überprüft mit Hilfe der Selbstevaluation institutionelle Rahmenvorgaben und Prozesse<br />
(vgl. 2.3.1.1.2.3). Eine weitere Möglichkeit bildet das ‚individuelle Lernen‘ in Form einer individuellen<br />
Praxisreflexion, das von Feedbackprozessen unterstützt ist (Landwehr, 2007, S. 6). D. h. die Lehrkraft<br />
erhält über das Individualfeedback eine subjektive Rückmeldung über das persönliche Handeln und<br />
kann so Ist-Soll-Abweichungen bezüglich der Handlungsziele bzw. Qualitätsansprüche ermitteln und<br />
anschließend eine Optimierung von Verhaltensweisen vornehmen (Landwehr, 2007, S. 19).<br />
Das Individualfeedback dient als Anstoß zum Veränderungsprozess hinsichtlich der Verbesserung<br />
des Unterrichts, dem Kerngeschäft eines Pädagogen sowie der persönlichen Weiterentwicklung der<br />
Lehrkraft (Steiner et al., 2007, S. 21) und sollte deshalb besonderen Stellenwert erlangen. In erster<br />
Linie werden hierbei Schüler, Kollegen und Schulleitung, aber auch Bildungspartner, wie Eltern oder<br />
Abnehmerschulen, angesprochen, den Unterricht zu reflektieren (Landwehr, 2007, S. 14). Dieses sog.<br />
360°-Feedback verdeutlicht die Notwendigkeit vielfältiger Datenerhebungen, um eine annähernd<br />
realistische Einschätzung des eigenen Handelns zu erhalten (Landwehr, 2004). Überwiegend dienen<br />
schriftliche oder mündliche Befragungen, in manchen Fällen auch Unterrichtsbeobachtungen zur<br />
Datenerhebung (Landwehr, 2007, S. 49–59).<br />
Die Ergebnisse ermöglichen dem Lehrer, einerseits seine persönlichen Stärken und Schwächen<br />
bzw. die Effizienz und Effektivität seines Handelns im Berufsalltag zu identifizieren. Andererseits<br />
erfährt er, wie von den Beteiligten der Unterricht wahrgenommen wird (Landwehr, 2007, S. 9). Diese<br />
Fremdeinschätzung soll dem Anstoß der eigenen Reflexion und der Ermittlung von Abweichungen im<br />
Hinblick auf die Eigenwahrnehmung dienen, um anschließend Maßnahmen zur Optimierung treffen<br />
zu können (Landwehr, 2007, S. 19).<br />
Hervorzuheben ist, dass Individualfeedback keine qualifizierende Beurteilung im Sinne eines Mitarbeitergespräches<br />
ist, da ausschließlich die Weiterentwicklung der einzelnen Lehrkraft und seines<br />
Unterrichts im Vordergrund steht (Landwehr, 2007, S. 10).<br />
2.3.1.1.2.3 Selbstevaluation und Qualitätsentwicklung der Schule<br />
Die Qualität einer Bildungseinrichtung kann in Form des ‚institutionellen Lernens‘ durch die Überprüfung<br />
der institutionellen Rahmenvorgaben und Prozesse sichergestellt werden (Landwehr, 2007, S. 6).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Hierbei wird die Logik des Individualfeedbacks auf die komplette Bildungseinrichtung übertragen, in<br />
dem regelmäßig durchgeführte Selbstevaluationen eine Rückmeldung an die Schule als Ganzes<br />
ermöglichen (vgl. 2.2.2.2). Q2E betrachtet hierbei die Bereiche der ‚Schulführung‘, ‚Schulorganisation<br />
und Schuladministration‘ sowie ‚kollegiale Zusammenarbeit und Schulkultur‘. Die möglichst wirklichkeitsnahe<br />
Qualitätserfassung der Institution im Hinblick auf die Prozesse zur Qualitätssicherung und<br />
-entwicklung ermöglichen eine schrittweise Weiterentwicklung der Schule (Steiner et al., 2007, S. 23),<br />
da Ist-Soll-Vergleiche zwischen der am Ende festgestellten Qualitätsdiagnose und dem Qualitätsleitbild<br />
die Grundlage für die Erarbeitung von Maßnahmen zur Optimierung der Qualitätsentwicklung<br />
bilden (Landwehr, 2004).<br />
Die Selbstevaluation kann sowohl in einzelnen Qualitätsbereichen, sog. Fokusevaluationen als auch<br />
in der kompletten Einrichtung durch eine Breitbandevaluation erfolgen (Steiner et al., 2007, S. 23). Für<br />
dieses Vorgehen sind neun Einzelschritte konzipiert, die sich von der Festlegung des Evaluationsauftrages<br />
bis zum Verfassen eines Evaluationsberichts erstrecken (Landwehr, Steiner & Keller, 2007, S. 7).<br />
Die Datenerhebung ist mit quantitativen Methoden in Form strukturierter Fragebögen und Beobachtungen<br />
oder einer Analyse von Daten möglich. Als Alternative stehen im qualitativen Bereich Fragebögen<br />
mit offenen Antworten oder verschiedene Formen des Interviews zur Verfügung (Landwehr et<br />
al., 2007, S. 58).<br />
Die Einbeziehung des Kollegiums bei der Dateninterpretation bildet die Basis für ‚institutionelles<br />
Lernen‘ und ist von elementarer Bedeutung, um eine hohe Identifikation der Pädagogen mit der<br />
Schule und eine gemeinsame Qualitätsentwicklung zu erzielen (Steiner et al., 2007, S. 23). Eine<br />
gemeinsame Betrachtung der Ergebnisse von verschiedenen Seiten des Kollegiums impliziert eine<br />
umfassende Problem- und Lösungssicht sowie eine breite Unterstützung des Kollegiums bei der<br />
Umsetzung von Maßnahmen, die wiederum zentrale Voraussetzung für eine erfolgreiche Optimierung<br />
der Qualitätsdefizite darstellt.<br />
Neben institutionellem Lernen durch eine schrittweise Verbesserung der Schule aufgrund der Behebung<br />
von Qualitätsdefiziten hat die Selbstevaluation weitere Aufgaben: Förderung der Transparenz<br />
von individueller und institutioneller Verantwortlichkeiten, da unklare Positionen und Sachverhalte<br />
definiert werden. Daneben dient eine Veröffentlichung von Ergebnissen der Rechenschaftslegung,<br />
da externe Personen durch objektiv erhobene Daten eine klare Einsicht in die Schulqualität erhalten<br />
(Steiner et al., 2007, S. 23).<br />
Nach Steiner & lanDWehr erhöht die interne Evaluation die Leistungsfähigkeit der Schule, da hierbei<br />
institutionelle Rahmenbedingungen, unterrichtsübergreifende Prozesse sowie schulkulturelle Eigenheiten<br />
kontinuierlich untersucht und optimiert werden (Steiner et al., 2007, S. 23). Darüber hinaus<br />
impliziert diese Q2E-Komponente eine stärkere Identifikation des Kollegiums mit der Bildungseinrichtung<br />
als Ganzes, da sich die Beteiligten „für die Qualität der Schule mitverantwortlich“ (Steiner<br />
et al., 2007, S. 23) fühlen.<br />
53
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
54<br />
2.3.1.1.2.4 Steuerung der Q-Prozesse durch die Schulleitung<br />
Der Aufbau und die Umsetzung von qualitätssichernden und -entwickelnden Prozessen im Hinblick<br />
auf ein schulinternes Qualitätsmanagement (Steiner et al., 2007, S. 25) sowie die Gewährleistung von<br />
Unterstützung in diesem Vorgehen mit der Sicherstellung von Verbindlichkeit und Kontinuität sind<br />
Aufgaben der Schulleitung (Landwehr, 2004). Diese hat sowohl im strategischen Bereich im Hinblick<br />
auf die Definition grundlegender Ziele und leitender Werte als auch im operativen Gebiet in Form von<br />
konzeptioneller Festlegung der Qualitätsprozesse und Beseitigung von Qualitätsdefiziten Aufgaben<br />
zu bewältigen (Steiner et al., 2007, S. 25). Daneben trägt die Schulleitung bei der Implementierung<br />
und Institutionalisierung des Qualitätsmanagements eine entscheidende Rolle, da ein regulierendes<br />
Eingreifen für das erfolgreiche Bestehen des Systems unmittelbar notwendig ist (Landwehr et al.,<br />
2007, S. 7). Dieser Aufbau kann in zwei Hauptphasen gegliedert werden:<br />
Die erste Phase beinhaltet die Entwicklung und überzeugende Kommunikation des Qualitätsmanagements<br />
sowie die Initiierung, Umsetzung und Evaluierung der Entwicklungsprozesse. Eine<br />
Projektsteuergruppe fungiert hierbei als Beratungs- und Unterstützungsorgan, in dem sie die Institutionalisierung<br />
verschiedener Q2E-Komponenten sowie Verfahren für die Entwicklung und Einführung<br />
von Qualitätsinstrumenten plant. Die Schulleitung definiert in dieser Phase die konzeptionellen<br />
Grundlagen für die Qualitätsmanagementprozesse und sorgt für deren verbindliche Einführung<br />
(Steiner et al., 2007, S. 25).<br />
In der zweiten Phase, die eine Steuerung des Institutionalisierungsprozesses und eine Gewährleistung<br />
eines funktionsfähigen Qualitätsmanagementbetriebs beinhaltet (Landwehr et al., 2007, S. 6),<br />
stellt die Schulleitung eine angemessene Anwendung von Qualitätsverfahren und -instrumenten<br />
sowie eine eventuelle Unterstützung der Lehrkräfte sicher. Ferner ist in der sog. Betriebsphase die<br />
Einhaltung von Verbindlichkeiten in Form von getroffenen Abmachungen und der Ausweitung des<br />
Qualitätsmanagementsystems im Hinblick auf eine institutionalisierende Qualitätskultur zu überprüfen<br />
(Steiner et al., 2007, S. 25).<br />
2.3.1.1.2.5 Externe Schulevaluation<br />
Die Qualität des schuleigenen Qualitätsmanagements sowie die Schul- und Unterrichtsqualität werden<br />
neben schulinternen Erhebungen durch die externe Evaluation ermittelt (vgl. 2.2.2.2; Landwehr et<br />
al., 2007, S. 4). Eine Gruppe von drei bis vier außenstehenden Personen, die sich sowohl aus ExpertInnen<br />
und Peers zusammensetzt, besucht die Einrichtung und stellt mit Hilfe von verschiedenen<br />
Instrumenten den Ist-Zustand der Institution fest, um ein unabhängiges Qualitätsurteil der ‚Schule<br />
als Ganzes‘ zu verfassen (Steiner et al., 2007, S. 27).<br />
Die externe Schulevaluation ist in acht Einzelschritte gegliedert (Landwehr et al., 2007, S. 11) und<br />
beginnt mit einem vorbereitenden Gespräch zwischen der Kontaktgruppe und der Leitung der Evaluation,<br />
in dem „ […] die Erwartungen der Schule gegenüber der externe Schulevaluation sowie<br />
Fragen der Mitwirkung im Evaluationsprozess geklärt [werden]“ (Landwehr et al., 2007, S. 12). Im<br />
nächsten Schritt erstrecken sich die Vorbereitungsarbeiten der Schule von der Aktualisierung des
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Qualitätshandbuchs über die Selbsteinschätzung des Qualitätsmanagements bis hin zur Beschrei-<br />
bung der zusätzlichen Evaluationsschwerpunkte (Landwehr et al., 2007, S. 12). Im weiteren Ablauf<br />
bereitet das externe Evaluationsteam auf der Grundlage der angefertigten <strong>Dokument</strong>e die Begehung<br />
vor. Die Sichtung der <strong>Dokument</strong>ation der Schule ermöglicht das Formulieren von Hypothesen und<br />
vertiefenden Evaluationsfragen zur Qualität des Qualitätsmanagements. In diesem Zusammenhang<br />
wird auch der Bedarf an Daten ersichtlich und vorbereitet. Den vierten Prozessschritt bildet ein<br />
Planungsgespräch mit der schulinternen Kontaktgruppe und der Leitung des Evaluationsteams, um<br />
den endgültigen Evaluationsplan, insbesondere Zeitplan, Auswahl der Evaluationsschwerpunkte und<br />
-aktivitäten abzustimmen (Landwehr et al., 2007, S. 13).<br />
Darauf aufbauend erfolgt der Evaluationsbesuch, in dem verschiedene Gespräche, Unterrichtsbesuche<br />
und Beobachtungen durchgeführt werden. Hieraus gewonnene Wahrnehmungen und Eindrücke<br />
sind im nächsten Schritt im Evaluationsteam auszutauschen, um möglichst umfassende Informationen<br />
über die Schule zu erhalten. Einzelne Kernaussagen und Empfehlungen zur Schulentwicklung<br />
sowie zur Beseitigung von Qualitätsdefiziten werden neben einer Reflexion der Selbsteinschätzung<br />
des Qualitätsmanagements bereits fixiert (Landwehr et al., 2007, S. 14), um sie im Folgenden in<br />
mündlicher Form dem Lehrerkollegium mitteilen zu können. Dies ermöglicht, unklare Aussagen,<br />
eventuelle Missverständnisse oder Fragen zu klären. Schließlich verdichtet das Evaluationsteam die<br />
Wahrnehmungen und Beurteilungen zu einem schriftlichen Evaluationsbericht, der die Ausgangslage<br />
der Schule und das Evaluationskonzept mit dem -vorgehen beschreibt und sämtliche Evaluationsergebnisse<br />
enthält. Nach Sichtung des Berichts nimmt die Schule hierzu Stellung, informiert die<br />
Schulbehörde über zentrale Evaluationsergebnisse und leitet den Evaluationsbericht an die Zertifizierungsstelle<br />
(Landwehr et al., 2007, S. 15).<br />
Q2E hat den Begriff der externen Evaluation weiter gefasst und konzipierte die ‚Metaevaluation‘, eine<br />
Evaluation des Qualitätsmanagements (vgl. 2.2.3.4). In diesem Zusammenhang werden Prozesse<br />
hinsichtlich der Aufrechterhaltung und Verbesserung der Schul- und Unterrichtsqualität überprüft.<br />
Insbesondere geht es um ein funktionierendes Qualitätsmanagementsystem, das alle wichtigen<br />
Voraussetzungen, Prozesse und Ergebnisse an Hand von Soll-Ist-Vergleichen überprüft und laufend<br />
optimiert (Landwehr et al., 2007, S. 31). Als Instrument dienen hierbei drei Bewertungstabellen zur<br />
‚Steuerung der Q-Prozesse durch die Schulleitung‘, ‚Individualfeedback und persönliche Qualitätsentwicklung‘<br />
sowie ‚Praxis der Schulevaluation‘, um die Qualität der Schule als Ganzes zu erfassen<br />
(Landwehr et al., 2007, S. 17–23). Darüber hinaus beinhaltet die externe Komponente von Q2E eine<br />
Primärevaluation, die „einen oder zwei Aspekte der Schul- und Unterrichtsqualität“ begutachtet.<br />
Hierbei wird der Entwicklungsaspekt der Bildungseinrichtung fokussiert und der Schule selbst Feedback<br />
gegeben. Notwendige Bewertungsinstrumente sind hierfür von Evaluationsexperten selbst zu<br />
entwerfen (Steiner et al., 2007, S. 27).<br />
Die Aufgaben der externen Evaluation beziehen sich zum einen auf die Entwicklungsorientierung<br />
der Schule, indem sie Anstöße zur Schulentwicklung erhalten soll. Zum anderen dient dieser Baustein<br />
des Q2E zur Rechenschaftslegung, da die Institution ihr Qualitätsmanagement gegenüber den<br />
Schulbehörden und der Zertifizierungsinstanz belegt (Landwehr et al., 2007, S. 4).<br />
55
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
56<br />
2.3.1.1.2.6 Die Q2E-Zertifizierung<br />
Die Q2E-Zertifizierung ist der abschließende Baustein des Modells. Freiwillig kann eine Schule ihr<br />
Qualitätsmanagement durch Auditoren prüfen lassen. Diese Möglichkeit wird insbesondere von Institutionen<br />
mit Erwachsenenbildung und zunehmendem Wettbewerbsdruck in Anspruch genommen<br />
(Steiner et al., 2007, S. 29). Hierbei ist zu belegen, dass eine Verankerung und Einbindung der<br />
ersten vier Q2E-Komponenten in der Schulpraxis vorliegt, die auch Wirkung und Wirksamkeit zeigen<br />
(Landwehr et al., 2007, S. 30).<br />
Ausgangspunkt für die Zertifizierung begründet die externe Evaluation, die im Evaluationsbericht<br />
ein Erreichen des vorgegebenen Qualitätsstandards bescheinigt. Eine Zulassung zur Zertifizierung<br />
erfolgt, soweit die Mehrheit der QM-Standards erfüllt ist (Landwehr et al., 2007, S. 30).<br />
Nach der Anmeldung zur Zertifizierung werden Qualitätshandbuch und Selbsteinschätzung der<br />
schuleigenen Qualität durch das Auditorenteam analysiert. Ein weiteres Hearing in der Schule vertieft<br />
einerseits diese Angaben, in dem die Schulleitung Aufbau, Konzepte und Umsetzung des schulinternen<br />
Qualitätsmanagements erläutert. Andererseits klären die Auditoren in einer anschließenden<br />
Diskussion mit den Vertretern der Schule offene Fragen, resultierend aus der <strong>Dokument</strong>enanalyse.<br />
Das Ergebnis des Verfahrens wird in einem Bericht festgehalten und führt bei positiver Entscheidung<br />
zur Ausstellung eines Zertifikats. Dies bescheinigt der Institution ein funktionierendes und ausgereiftes<br />
Qualitätsmanagement auf hohem Niveau und kann zur Außendarstellung verwendet werden<br />
(Steiner et al., 2007, S. 29).<br />
Die Zertifizierung wurde auf Wunsch der Schulen implementiert, um den Institutionen eine öffentlichkeitswirksame<br />
Anerkennung der Qualitätsarbeit zu bescheinigen. Im weiteren Verlauf entwickelte<br />
sich das Zertifikat als Ansporn, das Qualitätsmanagement weiter auszubauen (Landwehr, 2004). Die<br />
Beurkundung ist sechs Jahre gültig. Anschließend wird nach drei Jahren eine einfache, nach sechs<br />
Jahren eine umfassende Rezertifizierung vorgenommen (Steiner et al., 2007, S. 29).<br />
2.3.1.1.3 Grenzen und Schwierigkeiten des Q2E-Modells<br />
Im Q2E-Modell ist die Steuerung des schulinternen Qualitätsmanagements primäre Aufgabe der<br />
Schulleitung (Steiner et al., 2007, S. 25). Diese enge Verbindung kann bei Problemen und Qualitätsdefiziten<br />
innerhalb der Schulleitung insoweit zu Schwierigkeiten führen, da ungelöste Sachverhalte<br />
unmittelbar auf den Bereich des Qualitätsmanagements übertragen werden (Landwehr et al., 2007,<br />
S. 5). Die Qualität der Schulleitung nimmt somit direkten Einfluss auf das Qualitätsmanagement der<br />
Schule. Dies kann in Form von fehlender Gewährleistung und Unterstützung seitens der Schulleitung<br />
sowie mangelnder Sicherstellung von Verbindlichkeit und Kontinuität der Qualitätsprozesse<br />
auftreten. Die Bereiche Qualitätsmanagement und Schulleitung werden miteinander verflochten,<br />
was sowohl Chance als auch Risiko bedeuten kann, da einerseits der Aufbau der Institution und die<br />
Aufgaben der Schulleitung anhand des Qualitätsmanagements organisiert werden. Andererseits<br />
bedeuten Defizite der Schulleitung in Form von ungelösten Steuerungsproblemen auch automatisch<br />
Mängel im Qualitätsmanagement (Landwehr et al., 2007, S. 4).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Ein weiteres Problem in Q2E resultiert durch eine ganzheitliche Einführung des Qualitätsmanage-<br />
mentsystems, indem alle Qualitätsbereiche (vgl. 2.3.1.1.2.1) gleichzeitig Anwendung finden und somit<br />
evaluiert werden. Eine Verarbeitung aller erhobenen Daten führt allerdings zu einer hohen Belastung<br />
der schulischen Qualitätsarbeit, da eine Fülle von Evaluationsdaten auszuwerten ist. Darüber hinaus<br />
ist die Auswertung gewonnener Daten oftmals defizitär, wobei eine Ableitung von Maßnahmen im<br />
Sinne einer zukünftigen Veränderung erst zu einer Qualitätsentwicklung führen. Aus diesem Grund<br />
müsste die Steuergruppe die geplanten Evaluationen inhaltlich und zeitlich priorisieren, um einer<br />
Überforderung bezüglich der Qualitätsarbeit entgegenzuwirken. Darüber hinaus sollte eine umfassende<br />
Verarbeitung der Ergebnisse sichergestellt werden, damit eine Qualitätsentwicklung erzielt<br />
werden kann (Capaul, 14.12.2009).<br />
2.3.1.2 Qualitätsmanagement an beruflichen Schulen (QmbS)<br />
2.3.1.2.1 Entwicklung und Ziele von QmbS<br />
Das Bayerische Staatsministerium für Unterricht und Kultus erteilte am 19.07.2006 dem ISB den Auftrag,<br />
ein Qualitätsmanagementsystem für berufliche Schulen in Bayern zu entwickeln (Brunnhuber &<br />
Kennerknecht, 13.03.2008). Q2E wurde hierbei als Basissystem gewählt, da dieses Modell individuell<br />
auf spezielle Situationen einer Bildungseinrichtung reagieren kann und pädagogische Praxisfelder<br />
berücksichtigt. Darüber hinaus hat es sich bereits mehrere Jahre in der Schulpraxis bewährt (Staatsinstitut<br />
für Schulqualität und Bildungsforschung, 2007, S. 6). Neben den Erfahrungen aus der<br />
Schweiz wurden sowohl „[…] eine enge Anbindung zum Modellvorhaben OES in Baden-Württemberg<br />
gewünscht“ als auch Erfahrungen, Ergebnisse und Instrumente aus den Projekten zur internen und<br />
externen Evaluation integriert (Zöller, 2007, S. 19). In Bayern wurde die ‚externe Evaluation‘ im Jahr<br />
2004 allerdings vor der ‚internen Evaluation‘ in den Schulen implementiert (Kurz et al., 2009, S. 151).<br />
D. h. in den evaluierten Schulen existierte weder ein funktionierendes Qualitätsmanagementsystem<br />
noch eine Projektsteuergruppe, die Aufbau und Implementierung eines Modells vorantrieb.<br />
Die initiierte Qualitätsagentur am ISB entwickelte für die externe Evaluation einen verbindlichen<br />
Qualitätsrahmen, der als Bezugsrahmen für das Verfahren dient und die Ergebnisse internationaler<br />
Qualitätsforschung in Schule und Unterricht integriert. Erst im Jahr 2006/2007 wurde die interne<br />
Evaluation als Gegenstück zur externen Evaluation eingeführt (Brunnhuber, 2009, S. 66 ff.).<br />
Auf der Basis des vorliegenden Auftrags des Bayerischen Staatsministeriums für Unterricht und<br />
Kultus erarbeitete ein Projektteam der Grundsatzabteilung des ISB ein QmbS-Konzept (Zöller, 2007,<br />
S. 19), das an den 18 Berufsschulen des Modellprojekts Profil 21 (Projekt Berufliche Schule in<br />
Eigenverantwortung – im 21. Jahrhundert) in den Jahren 2007 und 2008 erprobt wurde (Brunnhuber<br />
et al., 2007, S. 44).<br />
Profil 21 ist ein Projekt der ‚Stiftung Bildungspakt Bayern‘, einer experimentellen Entwicklungsabteilung<br />
des Bayerischen Staatsministeriums für Unterricht und Kultus, die am 12.10.2000 gegründet<br />
wurde und von zahlreichen Firmen der bayerischen Wirtschaft und dem Freistaat Bayern Unterstützung<br />
erhält. Sie verfolgt das Ziel, durch Motivation, Anerkennung und handfeste Unterstützung in den<br />
Schulen neue Lehr- und Lernformen, neue Unterrichtsqualität, neues Qualitätsbewusstsein und mehr<br />
57
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
58<br />
Eigenverantwortung zu initiieren. Das konstruktive Zusammenwirken aller gesellschaftlichen Gruppen<br />
sowie die Bündelung von Erfahrungen und Wissen aller Beteiligten sollen das geistige Kapital<br />
eines Landes bestmöglich entwickeln und fördern. Dies wird durch die Realisierung verschiedener<br />
Projekte zum Ausdruck gebracht, in dem die Stiftung u. a. Projekte im Rahmen der inneren Schulentwicklung<br />
unterstützend begleitet, Ergebnisse auswertet und neben der Bereitstellung verschiedener<br />
Netzwerke auch Know-how- und Erfahrungstransfer leistet (Bayerisches Staatsministerium für<br />
Unterricht und Kultus, 14.06.2011).<br />
Das Modellprojekt Profil 21 bedeutet für beruflichen Schulen eine höhere Eigenverantwortung, um<br />
dem dynamischen Wandel der Berufs- und Arbeitswelt gerecht zu werden (Bayerisches Staatsministerium<br />
für Unterricht und Kultus, 14.06.2011) 2 . „Ziel des Schulversuchs ist die Erprobung von<br />
Reformmaßnahmen in den Bereichen Unterrichts-, Personal- und Organisationsentwicklung sowie<br />
Finanz- und Bildungsverantwortung“ (Bayerische Staatsministerien für Unterricht und Kultus und<br />
Wissenschaft, Forschung und Kunst, 2006, S. 101). QmbS kann in diesem Zusammenhang als<br />
Ergebnis des Schulversuchs Profil 21 gesehen werden, da das Qualitätsmanagementmodell an den<br />
18 teilnehmenden Profilschulen erprobt wurde.<br />
Kultusminister Spaenle bezeichnete diese Schulen nach Abschluss des Pilotverfahrens „als Pioniere<br />
der Entwicklungsarbeit der Schul- und Bildungsqualität“, die mit der Implementierung von QmbS<br />
die Qualität der Bildung verbessert haben (Pressemitteilung des Bayerischen Staatsministeriums für<br />
Unterricht und Kultus, 2009, S. 10). Professor euler von der <strong>Universität</strong> Sankt Gallen unterstützte das<br />
Projekt im Hinblick auf seine wissenschaftliche Begleitung (Brunnhuber et al., 13.03.2008).<br />
QmbS verfolgt das Ziel, „[...] die komplexe und verantwortungsvolle Arbeit beruflicher Schulen in<br />
Bayern zu systematisieren und zu professionalisieren. Insbesondere gilt dies im Hinblick auf die<br />
Wirksamkeit und Nachhaltigkeit von Entwicklungsmaßnahmen in den folgenden zentralen Bereichen:<br />
Unterricht und Erziehung, Bildung und Ausbildung, Organisations- und Personalentwicklung sowie<br />
Zusammenarbeit mit externen Akteuren der beruflichen Bildung“ (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2007, S. 5). Die Einführung der QmbS-Komponenten erfolgte systematisch,<br />
in dem die Bausteine Steuerung des Qualitätsprozesses, Qualitätsverständnis, interne Evaluation<br />
und Individualfeedback mit vierwöchigem Abstand durch einzelne Startworkshops des ISB an die<br />
QmbS-Teams der Schulen herangetragen worden sind, in denen Grundlagen für die konkrete Umsetzung<br />
vermittelt wurden. Anschließende Reflexionsworkshops gaben die Möglichkeit, spezifische<br />
Fragestellungen aus dem Projekt zu vertiefen und Erfahrungen auszutauschen (Staatsinstitut für<br />
Schulqualität und Bildungsforschung, 2008, S. 4).<br />
Im Sommer 2008 führte das ISB eine Befragung der teilnehmenden Schulen durch, um Rückmeldungen<br />
zum Einführungsprozess sowie notwendige Gestaltungsempfehlungen für die weitere<br />
Optimierung und Implementierung von QmbS zu erhalten (Staatsinstitut für Schulqualität und<br />
Bildungsforschung, 2008, S. 3). Diese Ergebnisse wurden in einem Zwischenbericht festgehalten<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2008). Nähere Erläuterungen hierzu folgen<br />
2 Siehe http://www.bildungspakt-bayern.de/projekte/profil-21/ausschreibung/; geprüft am 02.11.2009
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
im Kapitel 2.3.1.2.3. Seit dem Schuljahr 2009/10 haben alle beruflichen Schulen in Bayern die Möglichkeit,<br />
QmbS zu implementieren (Zöller, 2007, S. 21), in dem sich die Institutionen bei der Grundsatzabteilung<br />
des ISB für das Qualitätsmanagementsystem bewerben können (Zöller, 18.06.2009).<br />
Anschließend werden 21 Schulen pro Schuljahr von einem Gremium, das neben dem ISB auch<br />
die Stiftung Bildungspakt und das Kultusministerium repräsentiert, ausgewählt (Pressemitteilung<br />
des Bayerischen Staatsministeriums für Unterricht und Kultus, 2009, S. 11). Damit die neu ausgewählten<br />
Bildungseinrichtungen bereits von den Erfahrungen der Pilotschulen profitieren können,<br />
wurden sog. QmbS-Tandems gebildet, die aus zwei Personen der ursprünglichen Qmbs-Teams<br />
bestehen und die Schulen über zwei Jahre hinweg betreuen. Diese werden sowohl das Know-how<br />
der speziellen ISB-Schulungen als auch die eigenen Erkenntnisse aus der Implementierung des<br />
Qualitätsmanagementsystems weitergeben und die ‚neuen Schulen‘ bei der Einführung von QmbS<br />
betreuen. Eine Auswechslung der Tandems während des Verfahrens soll gänzlich vermieden werden,<br />
um eine umfassende Betreuung zu gewährleisten und unnötige Einarbeitungszeiten zu vermeiden.<br />
Eine QmbS-Zertifizierung der Schulen ist im weiteren Verfahren angedacht (Brunnhuber et al.,<br />
13.03.2008).<br />
2.3.1.2.2 Das Modell QmbS<br />
Das Qualitätsmanagementsystem an beruflichen Schulen (QmbS) steht allen beruflichen Schulen im<br />
Freistaat Bayern offen (Zöller, 2007, S. 19) und verfolgt eine Systematisierung und Professionalisierung<br />
der umfassenden Qualitätsarbeit in diesen Bildungseinrichtungen. In diesem Zusammenhang<br />
sind die Bereiche ‚Unterricht und Erziehung‘, ‚Bildung und Ausbildung‘, ‚Organisations- und Personalentwicklung‘<br />
sowie ‚Zusammenarbeit mit externen Akteuren der beruflichen Bildung‘ bezüglich<br />
der Wirksamkeit und Nachhaltigkeit von Entwicklungsmaßnahmen besonders berücksichtigt (Staatsinstitut<br />
für Schulqualität und Bildungsforschung, 2007, S. 5). QmbS basiert auf dem Modell Q2E<br />
(vgl. 2.3.1.1). Analog zu diesem System besteht es aus folgenden fünf Elementen:<br />
• schulspezifisches Qualitätsverständnis<br />
• Individualfeedback<br />
• Steuerung der Qualitätsprozesse<br />
• interne Evaluation<br />
• externe Evaluation (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 9).<br />
59
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
60<br />
Abbildung 8: Das bayerische Qualitätsmanagementsystem QmbS (Staatsinstitut für Schulqualität und<br />
Bildungsforschung, 2007, S. 9)<br />
In Abgrenzung zum Ausgangsmodell hat QmbS Eigencharakter, da sowohl eigene Erfahrungen<br />
und Konzepte zu Evaluationen integriert als auch Entwicklungen von nationalen und europäischen<br />
Qualifikationsrahmen sowie ein Bezugsrahmen für die Qualitätssicherung in der beruflichen Bildung<br />
berücksichtigt sind (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 6). Insbesondere<br />
sind im Bereich der internen und externen Evaluation im Vorfeld eigenständig initiierte Projekte und<br />
deren Ergebnisse in den einzelnen Komponenten verankert. Hierbei bilden – im Gegensatz zum<br />
Basismodell – die vier nachfolgend genannten Qualitätsbereiche mit insgesamt 14 Qualitätsdimensionen<br />
den Rahmen für die Qualitätsentwicklung, die wiederum die Grundlage für Begehungen<br />
darstellen:<br />
• Rahmenbedingungen<br />
• Prozessqualitäten Schule<br />
• Prozessqualitäten Unterricht und Erziehung sowie<br />
• Ergebnisse der schulischen Arbeit und Umgang mit diesen Ergebnissen (Staatsinstitut für<br />
Schulqualität und Bildungsforschung, 2007, S. 8).<br />
Auch die bereits angestoßenen Entwicklungen im Bereich der Schulentwicklung wurden in QmbS<br />
fortgesetzt und systematisiert (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 9).<br />
Darüber hinaus erfolgte eine Anbindung an das baden-württembergische Konzept ‚Operativ Eigenständige<br />
Schule‘ (OES), um einen Austausch zwischen diesen Bundesländern sowie ein gemeinsames
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Konzept für eine Zertifizierung der Qualitätsmanagementsysteme zu erzielen (Brunnhuber, 2009,<br />
S. 71). Im Gegensatz zu OES ist die externe Evaluation in QmbS allerdings nicht als Metaevaluation<br />
sondern als Primärevaluation konzipiert und weicht an dieser Stelle von dem Basismodell Q2E ab<br />
(vgl. 2.3.1.2.2.5; Kaiser-Aretz et al., 2010).<br />
Das QmbS-Modell ist ein Gesamtsystem, dessen Effektivität und Effizienz letztendlich durch das<br />
Zusammenspiel der eigenständigen Teilbereiche erzielt wird (Zöller, 2007, S. 20). Diese Thematik ist<br />
in der folgenden Abbildung verdeutlicht:<br />
Abbildung 9: Zusammenspiel der Bausteine in QmbS (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 10)<br />
2.3.1.2.2.1 Schulspezifisches Qualitätsverständnis<br />
Das schulspezifische Qualitätsverständnis ist durch das Qualitätsleitbild kongruent zum Ausgangsmodell<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 9). Hierbei werden<br />
Qualitätsziele in Form von Werten, Zielvorstellungen und Standards definiert, die eine individuelle<br />
Ausgangslage der Schule, persönliche Wertvorstellungen des Kollegiums und den bildungspolitischen<br />
Qualifikationsrahmen berücksichtigen. Dieser Baustein bildet – wie im Basismodell – den<br />
Ausgangspunkt für die Qualitätsentwicklung und die vier weiteren QmbS-Elemente, da es sowohl<br />
für die eigene Qualitätsarbeit als auch für das weitere Vorgehen richtungsweisend und eine zentrale<br />
Grundlage für die Ermittlung der Qualitätsdefizite darstellt (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 11). Für die Erarbeitung des schulischen Qualitätsverständnisses empfiehlt<br />
QmbS sieben Arbeitsschritte.<br />
61
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
62<br />
Abbildung 10: Arbeitsschritte und Verantwortlichkeiten bei der Erarbeitung eines schulspezifischen<br />
Qualitätsverständnisses (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 14)<br />
Die Erarbeitung dieser Komponente ist als wiederkehrender und fortlaufender Prozess zu betrachten,<br />
in dem der Ablauf nach gegebener Zeit zu iterieren ist, um eine Optimierung des Qualitätsverständnisses<br />
bezüglich neuer Rahmenbedingungen und externer Einflüsse zu erzielen (Brunnhuber, 2009,<br />
S. 76).<br />
Im ersten Schritt ist eine Definition von Grundlagen notwendig, da – im Gegensatz zu Q2E – diesem<br />
Modell die vier folgenden Qualitätsbereiche ‚Rahmenbedingungen‘, ‚Prozessqualitäten Schule‘,<br />
‚Prozessqualitäten Unterricht und Erziehung‘ sowie ‚Ergebnisse der schulischen Arbeit und Umgang<br />
mit diesen Ergebnissen‘ mit insgesamt 14 Qualitätsdimensionen zu Grunde liegen (vgl. 2.3.1.2.2), die<br />
einen verbindlichen Rahmen für die Qualitätsentwicklung der Bildungseinrichtungen begründen und<br />
somit einen ‚Bayerischen Qualitätsrahmen‘ darstellen (Brunnhuber, 2009, S. 68). Hierbei hat die Bildungseinrichtung<br />
die Möglichkeit, individuelle Präferenzen zu setzen (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2007, S. 11).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Darauf aufbauend werden eigene Qualitätsvorstellungen zu den einzelnen Qualitätsbereichen und<br />
Dimensionen reflektiert und konkretisiert, um eine Vielzahl von Qualitätszielen zu definieren. Auf dieser<br />
Basis erfolgt unter Einbezug aller Mitarbeiter der Schule eine Auswahl und Priorisierung einzelner<br />
Schwerpunkte sowie eine Operationalisierung der Qualitätsziele (Staatsinstitut für Schulqualität und<br />
Bildungsforschung, 2007, S. 12), die in gewissen Abständen bezüglich der Aktualität und Relevanz<br />
überprüft werden. Eine <strong>Dokument</strong>ation der vorangehenden Ergebnisse ermöglicht eine klare<br />
Nachvollziehbarkeit des Vorgehens und erleichtert abschließend die wichtige Kommunikation des<br />
schulspezifischen Qualitätsverständnisses an alle Beteiligten, um eine möglichst hohe Identifikation<br />
mit QmbS zu erreichen (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 13).<br />
Bei genauer Analyse der Modelle Q2E und QmbS ist eine große Identität innerhalb der Qualitätsbereiche<br />
festzustellen, da die Qualitätskriterien inhaltlich übereinstimmen bzw. lediglich unterschiedlich<br />
strukturiert sind. Das Qualitätsmanagement aus Q2E ist auf die vier bestehenden Qualitätsbereiche<br />
aufgeteilt worden, in dem einzelne Elemente wie Qualitätssicherung oder -verbesserung separat<br />
implementiert wurden.<br />
2.3.1.2.2.2 Individualfeedback<br />
Diese Komponente nimmt in QmbS einen zentralen Stellenwert ein, da „Qualitätsentwicklung<br />
an Schulen […] im Wesentlichen auf Personen [basiert]“ (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 18). Das Erreichen der vorab definierten Qualitätsziele im Rahmen des<br />
schulspezifischen Qualitätsverständnisses (vgl. 2.3.1.2.2.1) erfordert die individuelle Mitwirkung der<br />
einzelnen Lehrkräfte, in dem neben der institutionellen vor allem eine persönliche Weiterentwicklung<br />
angestrebt werden soll (Brunnhuber & Kennerknecht, 2007, S. 44). Diese ist durch persönliches<br />
Engagement des Pädagogen beeinflusst, das Individualfeedback anzuwenden und Konsequenzen<br />
aus den Ergebnissen abzuleiten.<br />
Das Individualfeedback impliziert eine Rückmeldung an Lehrkräfte, in dem eine Reflexion der Lehrerpersönlichkeit<br />
und dem pädagogischen Handeln erfolgt (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 18). Analog zum Basismodell Q2E (vgl. 2.3.1.1) sind hierfür diverse Quellen<br />
heranzuziehen, damit möglichst umfassende Meinungen über intendierte und ungewollte Effekte<br />
des eigenen Handelns erzielt werden können (Brunnhuber, 2009, S. 94). Hierbei werden Schüler,<br />
Kollegen und Bildungspartner, wie Eltern und Betriebe, mit Hilfe verschiedener Instrumente konsultiert<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 20), um eine ganzheitliche<br />
Sicht der pädagogischen Verhaltensweisen zu erhalten. Dies soll vor allem zur Selbsterkenntnis und<br />
Selbstentwicklung beitragen, da subjektive Meinungen erzielt werden und gewonnene Ergebnisse zu<br />
reflektieren sind. In diesem Zusammenhang sind einige Grundsätze zu verdeutlichen, da der Feedbacknehmer<br />
allein ‚Eigentümer‘ der Rückmeldungen ist (Brunnhuber et al., 2007, S. 44). D. h. allein<br />
die Lehrkraft verfügt über diese Daten und entscheidet selbst über abzuleitende Veränderungen des<br />
eigenen Handelns aus den Ergebnissen. Das Feedback wird immer als ‚Ich-Botschaft‘ formuliert, um<br />
die Subjektivität der Aussage zu verdeutlichen (Brunnhuber, 2009, S. 95). Darüber hinaus entscheidet<br />
der Feedbacknehmer über die Annahme der Rückmeldung, die stets konkret, glaubwürdig und<br />
konstruktiv sein sollte (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 19). Vorab<br />
63
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
64<br />
definierte Feedbackregeln ermöglichen ein lernwirksames Feedback (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2007, S. 19), da diese zur Akzeptanz der Rückmeldungen und Ableitung von<br />
Verbesserungsmaßnahmen beitragen.<br />
Als abschließender Prozessschritt ist eine Definition von Konsequenzen von zentraler Bedeutung, da<br />
dieser Schritt die persönliche Weiterentwicklung impliziert und den Anstoß zu Veränderungen bildet<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 18).<br />
2.3.1.2.2.3 Interne Evaluation<br />
Im Schuljahr 2006/07 wurde das bayerische Projekt ‚interne Evaluation‘ in den Bildungseinrichtungen<br />
eingeführt und anschließend in QmbS integriert (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 9). Im ersten Eindruck erscheint auch hierbei eine starke Anlehnung an das Ausgangsmodell<br />
Q2E vorzuliegen, da auch in diesem Zusammenhang durch regelmäßige Datenerhebungen in Form<br />
eines Soll-Ist-Vergleichs die Qualität der Schule als Ganzes erfasst wird und somit das ‚institutionelle<br />
Lernen‘ priorisiert wird. Weitere Parallelen sind in den Phasen der internen Evaluation zu erkennen, die<br />
sich von ‚Bestandsaufnahme durch Datensammlung‘, über ‚Überprüfung der Zielerreichung‘, sowie<br />
‚<strong>Dokument</strong>ation‘ und ‚Interpretation der Ergebnisse‘ erstrecken (Brunnhuber, 2009, S. 86,87).<br />
Die interne Evaluation (vgl. 2.2.2.2) wird ausschließlich von der Institution selbst durchgeführt. In Kontrast<br />
zum Basismodell dienen die im schulischen Qualitätsverständnis definierten Qualitätsbereiche<br />
als Bezugspunkt (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 15, 16).<br />
Ein QmbS-Team (vgl. 2.3.1.2.2.4), übernimmt die Durchführung der internen Evaluation und garantiert<br />
einen reibungslosen Ablauf (Brunnhuber, 2009, S. 84). Die Erhebung der Evaluation erfolgt primär<br />
anhand standardisierter Fragebögen, die schulartspezifisch von der Qualitätsagentur des Instituts<br />
für Schulqualität und Bildungsforschung (ISB) entwickelt und auf die externe Evaluation abgestimmt<br />
wurden (Brunnhuber, 2009, S. 87–89).<br />
QmbS verdeutlicht im Bereich der internen Evaluation die zentrale Bedeutung der Beseitigung von<br />
Qualitätsdefiziten durch die Umsetzung von Maßnahmen (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 17). Nur so kann auf Basis der Datenerhebungen ein Erfolg durch das<br />
<strong>Erlangen</strong> höherer Qualitätslevel erzielt werden, die unmittelbar dem Kollegium widerzuspiegeln sind.<br />
Eine zeitliche Fixierung der Abläufe und bewusste Selektion von Maßnahmen garantieren positive<br />
Ergebnisse bezüglich der internen Evaluation (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 17).<br />
2.3.1.2.2.4 Steuerung der Qualitätsprozesse<br />
Basierend auf Q2E beinhaltet dieser Baustein die kontinuierliche Steuerung der Qualitätsprozesse<br />
sowie die Planung und Durchführung von Maßnahmen zur nachhaltigen Qualitätssicherung und<br />
-steigerung. Hierbei ist eine professionelle Steuerung des Vorgehens ein zentraler Erfolgsfaktor, der<br />
zum Gelingen des Projekts beiträgt (Staatsinstitut für Schulqualität und Bildungsforschung, 2007,<br />
S. 25). Die Abläufe einzelner Aufgaben orientieren sich – wie auch im Basismodell – an den Deming-<br />
Kreis (vgl. 2.3.1.1.2) mit vier Handlungsschritten:
• Abläufe inhaltlich und zeitlich planen (‚plan‘)<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
• Maßnahmen mit unterstützenden Materialien und Instrumenten umsetzen und dokumentieren<br />
(‚do‘)<br />
• Ergebnisse überprüfen und bzgl. der Zielsetzung abgleichen (‚check‘)<br />
• Vorgehen revidieren und ggf. Ableitung von Verbesserungsvorschlägen (‚act‘) (Staatsinstitut für<br />
Schulqualität und Bildungsforschung, 2007, S. 27).<br />
Die Steuerung und <strong>Dokument</strong>ation qualitätsrelevanter Prozesse einschließlich der Erfolgsüberwa-<br />
chung sind Aufgaben der Schulleitung. Für die Mobilisierung des ganzen Kollegiums im Hinblick auf<br />
eine erfolgreiche Implementierung des Qualitätsmanagementsystems stellt die Schulleitung eine<br />
zentrale Ausgangsrolle dar. Diese wird von einer Projektsteuergruppe, auch QmbS-Team genannt,<br />
unterstützt (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 25–28). Das Team sollte<br />
neben der Schulleitung alle Organisationseinheiten und Fachrichtungen einer Schule berücksichtigen,<br />
da eine breit gestützte Zusammensetzung der Projektsteuergruppe zum Erfolg des Vorhabens<br />
beiträgt, indem die Pädagogen unmittelbar in das Projekt integriert sind und somit eine intensivere<br />
Beteiligung seitens der Personen sowie ein verbesserter Informationsfluss im Kollegium erzielt werden<br />
kann (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 25).<br />
Abbildung 11: Zusammensetzung des QmbS-Teams (Kennerknecht, 08.11.2008, S. 18)<br />
Das QmbS-Team dient als umfassender Ansprechpartner im Qualitätsentwicklungsprozess und zentrale<br />
Steuerungsinstanz beim Aufbau des Qualitätsmanagements (Zöller, 2007, S. 20), das eine Erarbeitung<br />
und Implementierung aller QmbS-Bausteine, wie schulinternes Qualitätsverständnis, interne und<br />
65
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
66<br />
externe Evaluation und Individualfeedback umfasst. Originäre Aufgabe der Gruppe ist die erfolgreiche<br />
Umsetzung von Zielvereinbarungen (Staatsinstitut für Schulqualität und Bildungsforschung, 2007,<br />
S. 24), die im Anschluss an eine externe Evaluation mit der Schulaufsichtsbehörde geschlossen<br />
werden. Wie die Auflistung der Aufgabenfelder zeigt, ist das QmbS-Team zur erfolgreichen Implementierung<br />
eines Qualitätsmanagement-systems von zentraler Bedeutung und sollte aus diesem Grund zu<br />
Beginn des Projekts gegründet werden (Staatsinstitut für Schulqualität und Bildungsforschung, 2007,<br />
S. 25) sowie Unterstützung und Rückhalt von Seiten der Schulleitung gleichermaßen Schulungen<br />
im Bereich Teambildung, Moderation, Konflikt- oder Projektmanagement erhalten (Staatsinstitut für<br />
Schulqualität und Bildungsforschung, 2007, S. 27), um diese umfangreiche Aufgaben zielführend<br />
ausführen zu können. In dem Gesamtprozess sind sowohl die Zusammenspiele einzelner QmbS-<br />
Komponenten als auch einzelne Handlungsschritte verdeutlicht (Brunnhuber, 2009, S. 21).<br />
2.3.1.2.2.5 Externe Evaluation<br />
Analog zur internen Evaluation sind auch die bereits bestehenden Konzepte zur externen Evaluation<br />
implementiert worden (Zöller, 2007, S. 19). Die externe Evaluation (vgl. 2.2.2.2) wurde im Jahr 2004<br />
für die bayerischen Schulen eingeführt. Hierbei werden auf Basis der zugrundeliegenden Qualitätsbereiche<br />
die Bedingungen, Prozesse und Ergebnisse der gesamten Schule überprüft (Staatsinstitut<br />
für Schulqualität und Bildungsforschung, 2007, S. 22). Aus diesem Grund kann bei dieser externen<br />
Evaluation von einer Primärevaluation gesprochen werden, da hierbei die Effektivität der Prozesse<br />
und Wirksamkeit getroffener Maßnahmen begutachtet werden (vgl. 2.2.3.4). Im Gegensatz zu QmbS<br />
sieht das Basismodell Q2E eine Metaevaluation vor, in der eine Evaluation des gesamten Qualitätsmanagementsystems<br />
erfolgt (vgl. 2.2.3.4).<br />
Die Begehung wird von vier externen EvaluatorInnen durchgeführt, „[…] die über große pädagogische<br />
und unterrichtliche Erfahrung verfügen und besondere Kenntnisse in der Schulleitung oder im<br />
Bereich der Schulentwicklung erworben haben“ und die im schulischen Qualitätsverständnis zugrundeliegenden<br />
Qualitätsbereiche einbeziehen. Im Evaluationsteam sind drei schulische Fachleute und<br />
ein externer Experte vertreten (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 22).<br />
Das Team ist jeweils der regionalen Schulaufsicht unterstellt und erhält von Seiten des ISB eine<br />
fachlich-inhaltliche Betreuung (Döbert et al., 2008, S. 72). Im Bereich der EvaluatorInnen ist ein<br />
weiterer Unterschied zum Basismodell festzustellen, da die externe Begehung in Q2E sowohl durch<br />
ExpertInnen als auch durch Peers erfolgt (vgl. 2.3.1.1.2.5). Aus diesem Grund erfolgt die externe<br />
Evaluation in Q2E nach dem sog. ‚Zwei-Schienen-Modell‘, in dem ausgewählte Institutions- und<br />
Praxisbereiche der Bildungseinrichtung anhand vorgegebener Kriterien beurteilt werden sowie eine<br />
offene Rückmeldung von außenstehenden Personen erfolgt, um ‚blinde Flecken‘ zu beheben (Landwehr<br />
et al., 2007, S. 6). Auf der Basis des konzeptionellen Unterschieds der externen Evaluationen<br />
kommen die Instrumente von Q2E in QmbS auch nicht zum Einsatz.<br />
Die Durchführung der externen Schulevaluation kann in vier Phasen mit 15 Einzelschritten untergliedert<br />
werden (Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 24, 25). Im Folgenden<br />
werden Abweichungen zum Basismodell näher aufgegriffen.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Anders als bei Q2E können sich Schulen in Bayern freiwillig evaluieren lassen oder durch die Schul-<br />
aufsicht im Zufallsverfahren ausgewählt werden (Staatsinstitut für Schulqualität und Bildungsfor-<br />
schung, 2005, S. 26). Eine Begehung soll in regelmäßigen Abständen, ca. alle fünf Jahre, erfolgen<br />
(Brunnhuber, 2009, S. 102).<br />
In der ersten Phase, in der die Prozessschritte Befragung und Datenerhebung integriert sind (Staatsinstitut<br />
für Schulqualität und Bildungsforschung, 2007, S. 23), ist eine weitere Diskrepanz zum<br />
Basismodell festzustellen. Während bei Q2E die Vorbereitungsarbeiten der Schule die Aktualisierung<br />
des Q-Handbuchs, eine Selbsteinschätzung des Qualitätsmanagements und die Beschreibung der<br />
zusätzlichen Evaluationsschwerpunkte umfasst (vgl. 2.3.1.1.2.5), handelt es sich bei QmbS einerseits<br />
um die Durchführung von Befragungen anhand von schulartspezifischen Fragebögen, d. h. für jede<br />
Schulart stehen eigene Formblätter zur Verfügung, um SchülerInnen, Lehrkräfte und Eltern bzw. AusbilderInnen<br />
in Betrieben zu befragen (Staatsinstitut für Schulqualität und Bildungsforschung, 2005,<br />
S. 36, 39). Auch die Datenerhebung zur Erfassung schulspezifischer Rahmenbedingen erfolgt mit Hilfe<br />
von schulartspezifischen Datenblättern (Staatsinstitut für Schulqualität und Bildungsforschung, 2005,<br />
S. 39, 40). Dies bedeutet, dass die Vorbereitungsarbeiten einer Schule je nach Schulart identisch verlaufen<br />
und auf die vorliegenden Formblätter basieren. Ca. zwei Monate vor dem Schulbesuch findet<br />
eine Vorstellungskonferenz über Vorbereitung, Durchführung und Evaluationsinhalte statt, an der sich<br />
Schulleitung, Kollegium, Eltern- und SchülervertreterInnen und VertreterInnen des Sachaufwandsträgers<br />
beteiligen, die dem Kennenlernen der beteiligten Personen dient und zum erfolgreichen Verlauf<br />
des Verfahrens beiträgt (Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 39, 40).<br />
In der zweiten Phase erfolgt der eigentliche Schulbesuch (Staatsinstitut für Schulqualität und Bildungsforschung,<br />
2007, S. 23,24). Während des Schulbesuchs erfolgt – analog zu Q2E – die quantitative<br />
und qualitative Datenerhebung sowohl durch standardisierte Befragungen von Beteiligten und<br />
einer Analyse schulischer Rahmenbedingungen als auch durch verschiedene Unterrichtsbeobachtungen<br />
und Interviews mit den am Schulleben beteiligten Gruppen (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2005, S. 36–49).<br />
Eine weitere Abweichung kann innerhalb der dritten Phase bei den letzten Prozessschritten festgestellt<br />
werden, da hierbei explizit der Schritt von Ziel- und Handlungsvereinbarungen erläutert wird.<br />
Hierbei ist die Auswertung des Evaluationsberichts mit Hinblick auf die Erarbeitung, Vereinbarung<br />
und Umsetzung relevanter Ziele durch die Schule in Zusammenarbeit mit der Schulaufsichtsbehörde<br />
vorgesehen (Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 33,34).<br />
Die interne und externe Evaluation haben eine ergänzende Wirkung, da die Schule durch die interne<br />
Evaluation einerseits auf die externe Begehung vorbereitet wird, in dem zugrundeliegende Qualitätsbereiche<br />
meist in Form einzelner Detailbereiche bereits innerhalb der Institution untersucht<br />
werden (vgl. 2.2.2.2). Andererseits wird die Umsetzung getroffener Maßnahmen, die als Resultat<br />
einer externen Evaluation hervorgehen, im nächsten Schritt innerhalb der Institution überprüft<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 13). Darüber hinaus reflektiert<br />
die externe Evaluation die Schulentwicklung über die einzelnen Detailbereiche hinaus und gibt so<br />
eine umfassende Rückmeldung über ausgewählte Qualitätsbereiche. Aus diesen Gründen ist eine<br />
67
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
68<br />
wechselnde Durchführung der internen und externen Evaluationen anzustreben, wobei nicht nur<br />
die Qualitätskriterien, sondern auch die Instrumente für beide Evaluationen herangezogen werden<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2005, S. 8,9).<br />
2.3.1.2.3 Grenzen und Schwierigkeiten des QmbS-Modells<br />
Folgende Kritikpunkte wurden im Rahmen von ISB-Reflexionsworkshops seitens der 18 teilnehmenden<br />
Pilotschulen geäußert:<br />
Die Implementierung von QmbS erfordert unmittelbar die Einrichtung der fünf Komponenten (vgl.<br />
2.3.1.2.2), um ein funktionierendes Qualitätsmanagementsystem zu erzielen. Die Profil21-Schulen<br />
nahmen hierbei eine Top-Down-Strategie wahr, da eine Implementierung des Modells vorgeschrieben<br />
wurde und im zeitlichen Rahmen einzuhalten war. Aus diesem Grund äußerten die Schulen den<br />
Bedarf nach einem größeren Repertoire an Einführungsthemen, die individuell auf die einzelnen<br />
Schulen anpassbar sind.<br />
Ein weiterer Kritikpunkt ist die Betreuung der Pilotschulen durch das ISB, da relevante Schulungen<br />
der QmbS-Teams sehr zeitverzögert erfolgten, in dem spezielle Fachvorträge erst nach Abschluss<br />
der Entwicklung verschiedener Instrumente zur internen Evaluation stattfanden. Darüber hinaus<br />
wurden weitere Fortbildungsangebote und eine intensive Betreuung der Schulen vor Ort gefordert<br />
(Staatsinstitut für Schulqualität und Bildungsforschung, 2008, S. 8). Auch die Bereitstellung eines<br />
Projetplanes im Sinne eines professionellen Projektmanagements hätte die Einführung des QmbS<br />
erleichtert, in dem die Visualisierung der nächsten Prozessschritte für die Bildungseinrichtungen<br />
erfolgt wäre. Insbesondere soll nach der Pilotphase weiteren Schulen ein Leitfaden zur Einführung<br />
der internen und externen Evaluation zur Verfügung stehen, um die Implementierung der Qmbs-<br />
Komponenten zu erleichtern. Darüber hinaus wurde von den Schulen ein fester Personenkreis zur<br />
Teilnahme an den Workshops gefordert, um wiederkehrende Diskussionen zu vermeiden und zielführende<br />
Lösungswege entwickeln zu können.<br />
Die Ergebnisse aus der im Sommer 2008 durchgeführten Befragung (vgl. 2.3.1.2.1) ergaben, dass<br />
QmbS-Teammitglieder das Qualitätsmanagementsystem am schlechtesten evaluieren. Dieser Sachverhalt<br />
ist äußerst bedenklich, da diese Personengruppe sowohl umfassender Ansprechpartner im<br />
Qualitätsentwicklungsprozess und zentrale Steuerungsinstanz beim Aufbau des Qualitätsmanagements<br />
ist. Spezielle Gründe konnten hierbei allerdings nicht festgestellt werden. Darüber hinaus sind<br />
in den Pilotschulen teilweise nur eine punktuelle Verankerung und eine mangelnde Kenntnis über<br />
QmbS unter dem Kollegium festzustellen, was auf fehlendes Interesse oder negative Einstellung des<br />
Kollegiums auf das QmbS schließen lässt. Dies lässt sich u. U. durch eine isolierte Betrachtung zwischen<br />
dem Qualitätsmanagement-system und erzielten Erfolgen erklären. Hierbei wird von Seiten der<br />
QmbS-Teams festgestellt, dass im schulischen Bereich eine Operationalisierung von Zielen schwer<br />
durchzuführen ist, da Lehrkräfte meist eigene Zielsetzungen verfolgen bzw. die Zielerreichung nur<br />
erschwert messbar ist. In diesem Zusammenhang wird ein Abgleich zwischen dem Schulleiter und<br />
dem einzelnen Lehrer gefordert, um abgeleitete Maßnahmen aus dem Individualfeedback mit dem<br />
Qualitätsleitbild der Schule in Verbindung zu bringen.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Des Weiteren wurde in den Reflexionsworkshops des ISB die fehlende Nachhaltigkeit von QmbS<br />
beanstandet, da eine Implementierung bzw. Anwendung des Qualitätsmanagementsystems keine<br />
unmittelbaren Auswirkungen und Konsequenzen auf die Bildungseinrichtung hat, d. h. die Schule hat<br />
in sachlicher, personeller oder finanzieller Hinsicht keine direkten Vorteile. Eine Bildungseinrichtung<br />
erhält bei überdurchschnittlicher Qualität der Schule und Anwendung des Qualitätsmanagementsystems<br />
keine weiteren Handlungsspielräume oder Freiheiten, um ihre Schulentwicklung voranzutreiben<br />
bzw. zu individualisieren. Diese Tatsache äußert sich dahingehend, dass die Institutionen einen<br />
geringen Anreiz zur Verbesserung ihrer Qualität haben, da QmbS keine unmittelbaren Folgerungen<br />
impliziert. Das fehlende Anreizsystem ist nicht nur für das Qualitätsmanagementsystem an sich, sondern<br />
auch für die QmbS-Teams festzustellen, da diese Personengruppe für ihre positiven Ergebnisse<br />
keine Antwort im Sinne eine Belohnung oder weiteren Freiräumen erhält.<br />
Die QmbS-Komponente ‚externe Evaluation‘ ist im Rahmen der offenen Diskussion hinsichtlich des<br />
Konzepts und der Umsetzung verstärkt kritisiert worden. Insbesondere wurden in diesem Zusammenhang<br />
die Unterrichtsbesuche als ‚rotes Tuch‘ bezeichnet, da hierbei Stichproben aus einer<br />
vorab definierten Auswahl an Unterrichtsstunden ausgewählt werden und durch das Vorführen von<br />
‚Showstunden‘ keine Objektivität der Ergebnisse im Sinne eines normalen Schulalltags vorliegt. Darüber<br />
hinaus sollte der externen Evaluation eine interne vorausgehen (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2005, S. 8), in dem Qualitätsbereiche innerhalb einer Bildungseinrichtung<br />
zuerst intern begutachtet werden (vgl. 2.2.2.2). D. h. die Institution reflektiert ihr implementiertes<br />
Qualitätsmanagementsystem zunächst selbst, um die Qualität des Systems an sich und eventuelle<br />
Qualitätsdefizite sowie Schwierigkeiten bei der Steuerung der Qualitätsprozesse direkt aufzudecken.<br />
Anschließende Optimierungsmaßnahmen zu dessen Beseitigung zeigen nicht unmittelbar Wirkung,<br />
da eine erfolgreiche Umsetzung ein professionelles Projektmanagement bedingt und die Entscheidungen<br />
in den jeweiligen Qualitätsbereich zu integrieren sind. Die Selbstevaluation bereitet die<br />
Schule also auf die externe Begehung vor (vgl. 2.3.1.2.2.5), da nach intensiver Selbstreflexion mit der<br />
Hilfe von außenstehenden Personen ‚blinde Flecken‘ der Bildungseinrichtungen aufgedeckt werden<br />
sollen. Aus diesem Grund ist eine externe Evaluation nur sinnvoll, sofern eine Bildungseinrichtung<br />
über ein funktionierendes Qualitätsmanagementsystem verfügt und dies bereits im Rahmen einer<br />
vorangehenden internen Evaluation selbst untersuchte. In Bayern wurde die ‚externe Evaluation‘<br />
allerdings vor der ‚internen Evaluation‘ in den Schulen implementiert (Kurz et al., 2009, S. 151). D. h.<br />
in den evaluierten Schulen existierte weder ein funktionierendes Qualitätsmanagementsystem noch<br />
eine Projektsteuergruppe, die Aufbau und Implementierung eines Modells vorantrieb.<br />
Die externe Evaluation in QmbS ist eine Primärevaluation, da sie Bedingungen, Prozesse und<br />
Ergebnisse der gesamten Schule überprüft (vgl. 2.3.1.2.2.5). Dieses Konzept zur ausschließlichen<br />
Beurteilung der Effektivität von Prozessen und Wirksamkeit getroffener Maßnahmen wurde insoweit<br />
beanstandet, dass zur individuellen Schulentwicklung nicht nur eine Begutachtung über die<br />
Quantität der Prozesse und Daten sondern auch über die Qualität des Gesamtsystems unabdingbar<br />
ist. Diese Art der Rückmeldung im Sinne einer Metaevaluation (vgl. 2.2.3.4) wäre für die Schulen<br />
insoweit eine Bereicherung, um über Aufbau und Struktur der Prozesse von außen eine Reflektion<br />
zu erhalten. Gerade dieser Sachverhalt ist auch durch die interne Evaluation nicht zu kompensieren,<br />
69
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
70<br />
da eine objektive Einschätzung schulinterner Vorgänge nur von außenstehenden, also unbefangenen<br />
Personen erhalten werden kann. D. h. sog. ‚blinde Flecken‘ können nur mit einem Blick von außen<br />
beseitigt werden, da integrierte Personen durch permanente Konfrontation die Systeme verzerrt<br />
wahrnehmen und somit eine objektive Beurteilung nicht gegeben ist.<br />
Ein weiterer Kritikpunkt bezieht sich auf die zeitliche Ausrichtung der externen Evaluation, die fünf<br />
Jahre beträgt. Nach der Begehung durch externe Experten werden zwischen der Bildungseinrichtung<br />
und der Schulaufsicht Handlungs- und Zielvereinbarungen geschlossen (Staatsinstitut für<br />
Schulqualität und Bildungsforschung, 2005, S. 33), um festgestellte Schwächen zu beheben bzw.<br />
vorhandene Stärken weiter auszubauen. Die Zielerreichung der abgeleiteten Maßnahmen können<br />
im weiteren Verlauf zunächst durch eine interne Evaluation reflektiert werden, damit Erfolge aus der<br />
Umsetzung realisiert bzw. weitere Nachbesserungen aufgedeckt werden. In diesen Handlungsschritten<br />
können ‚blinde Flecken‘ allerdings nur durch einen kritischen Außenblick aufgedeckt werden (vgl.<br />
2.3.1.2.2.5), da eine unbefangene Rückmeldung zur Prozessgestaltung lediglich von außenstehenden<br />
Personen durchgeführt werden kann. Aus diesem Grund ist eine Begehung durch externe Experten<br />
unverzichtbar bzw. nach einem Zeitraum von fünf Jahren sehr spät angesetzt, da einerseits bis dato<br />
eventuelle Fehlsteuerungen der Entwicklungen nur erschwert korrigiert werden können und andererseits<br />
können im Bereich der Schulentwicklung bereits ganz andere Schwerpunkte gesetzt sein.<br />
2.3.1.3 Nürnberger Qualitätsmanagement an beruflichen Schulen (NQS)<br />
2.3.1.3.1 Entwicklung und Ziele von NQS<br />
Im Jahr 2003 beschlossen alle Schulleiter der beruflichen Schulen eine systematische und kontinuierliche<br />
Schulentwicklung für die Nürnberger Schulen zu implementieren (Kurz et al., 2009, S. 150).<br />
Dieses Vorhaben genehmigte der Nürnberger Schulausschuss des Stadtrates (Pädagogisches Institut<br />
der Stadt Nürnberg). Mit starker Unterstützung des Pädagogischen Instituts der Stadt Nürnberg<br />
erfolgte ein schrittweiser Einstieg in NQS unter Orientierung an Q2E, in dem zunächst die Einführung<br />
der Komponenten ‚Selbstevaluation‘ sowie einer ‚systematischen Steuerung der Qualitätsprozesse‘<br />
(NQS-Routinen) (Kurz et al., 2009, S. 150) initiiert wurden. Die Elemente ‚Leitbild‘, ‚Individualfeedback‘<br />
und ‚externe Evaluation‘ wurden zu diesem Zeitpunkt noch zurückgestellt (Wilbers, 23.06.2009).<br />
Im Jahr 2004 erarbeiteten Vertreter aller beruflichen Schulen ein Konzept, um die Phasen der Planung,<br />
Realisierung und Evaluation der in der Bilanzkonferenz fokussierten Ziele festzuhalten (vgl.<br />
2.3.1.2.2.4). Es beinhaltet die zugrundeliegenden Ziele sowie hierfür getroffene Maßnahmen und<br />
erzielte Ergebnisse. Im Jahr 2005 verpflichteten sich die Schulen selbst zu einer umfassenden <strong>Dokument</strong>ation<br />
der Qualitätsarbeit in Form des sogenannten NQS-Portfolios (Kurz et al., 2009, S. 151), um<br />
einen kontinuierlichen Nachweis über durchgeführte Maßnahmen und den damit einhergehenden<br />
Qualitätsmanagementprozess zu gewährleisten (Zirkler, 2007, S. 48). In einem jährlichen NQS-Forum<br />
wird den Schulleitungen und NQS-Teams die Möglichkeit eingeräumt, Erfahrungen auszutauschen<br />
und aktuelle Entwicklungen sowie anstehende Schritte zu diskutieren (Zirkler, 2007, S. 53).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
In diesem Zusammenhang wurde im Jahr 2007 die Vervollständigung des NQS um ein externes<br />
Element diskutiert, um einen Blick von außen über die schulische Qualitätsarbeit zu erhalten. An<br />
dieser Stelle war die Entwicklung einer eigenen Nürnberger Lösung unumgänglich, da das Basismodell,<br />
Q2E, den Begriff der externen Evaluation weiter fasst und die Metaevaluation, eine Evaluation<br />
des Qualitätsmanagements, konzipierte (vgl. 2.3.1.1.2.5). Hierbei werden Prozesse hinsichtlich der<br />
Aufrechterhaltung und Verbesserung der Schul- und Unterrichtsqualität überprüft (Landwehr et al.,<br />
2007, S. 31). Insbesondere geht es um ein funktionierendes Qualitätsmanagementsystem, das alle<br />
wichtigen Voraussetzungen, Prozesse und Ergebnisse anhand von Soll-Ist-Vergleichen überprüft<br />
und laufend optimiert. Entsprechend der Nürnberger Tradition wurde das Modell der externen Evaluation<br />
in einem Pilotprojekt an einer Beruflichen Schule in Nürnberg in enger Zusammenarbeit mit<br />
Nürnberger Schulleitern, NQS-Gruppen, Lehrkräften, dem Amt für Berufliche Schulen und dem Pädagogischen<br />
Institut der Stadt Nürnberg federführend durch den Lehrstuhl für Wirtschaftspädagogik<br />
und Personalentwicklung erarbeitet.<br />
Das externe Element in NQS ist seit 2008 in der Entwicklungsphase, dient der Weiterführung<br />
erfolgreicher Arbeiten zum NQS und wurde im Jahr 2009 innerhalb eines Pilotprojektes erstmalig<br />
durchgeführt. Im Rahmen von NQS-Vorträgen erhielten auch alle Lehrkräfte der beruflichen Schulen<br />
sowie der Schulausschuss der Stadt Nürnberg allgemeine Informationen über NQS-E. Verschiedene<br />
Arbeitsgruppen der Pilotschule setzten sich anschließend am pädagogischen Tag mit folgenden<br />
Themen auseinander:<br />
• Chancen und Risiken der externen Evaluation<br />
• Vor- und Nachteile der Unterrichtsbesuche bei externer Evaluation<br />
• sinnvolle Kriterien für Unterrichtsbeobachtungen/-besuche<br />
• Ableitung von Konsequenzen aus dem Bericht der Peers.<br />
Die Ergebnisse sowie Anregungen und Diskussionspunkte aus den NQS-Vorträgen wurden aufgegriffen<br />
und bei der weiteren Entwicklung berücksichtigt. Die Entwicklung von NQS-E orientiert sich<br />
erneut stark an Q2E, aber auch an Peer Review in QIBB, wobei aber eine Reihe wichtiger Änderungen<br />
zu verzeichnen sind (vgl. 2.3.1.3.2). Im Jahr 2010 erfolgte die Durchführung einer weiteren externen<br />
Evaluation im Rahmen von NQS-E. Zwei weitere Begehungen sind in 2011 geplant.<br />
Im Jahr 2009 kann in den beruflichen Schulen der Stadt Nürnberg ein differenzierter Entwicklungsstand<br />
von NQS festgestellt werden. Dies ist u. a. auf unterschiedliche Ausgangssituationen in der<br />
vorangehenden Schulentwicklung, die Motivation des Kollegiums oder das Engagements des<br />
Schulleiters zurückzuführen. Darüber hinaus können Verzögerungen bei der Implementierung von<br />
weiteren Komponenten festgestellt werden, da „[...] die Implementierung der Qualitätsroutinen auf<br />
Schul- und Abteilungs-/Jahrgangsebene an den städtischen Schulen mehr Zeit in Anspruch nimmt,<br />
als zunächst erwartet“ (Kurz et al., 2009, S. 151). Dies ist auf erhöhte mentale Vorbehalte gegenüber<br />
den NQS-Routinen von Seiten der Pädagogen zurückzuführen und verdeutlicht die Notwendigkeit<br />
einer intensiven und umfassenden Erarbeitung von Zielen der Betonung des Nutzens von Qualitätsmanagement<br />
zu Beginn der Qualitätsarbeit (Kurz et al., 2009, S. 151).<br />
71
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
72<br />
2.3.1.3.2 Das Modell NQS<br />
Dieses Qualitätsmanagementsystem richtet sich an alle beruflichen Schulen in Nürnberg und dient<br />
der systematischen und kontinuierlichen Schulentwicklung. Als Basissystem dient das Q2E-Modell<br />
aus der Schweiz (Kurz et al., 2009, S. 150) (vgl. 2.3.1.1). Das Nürnberger System besteht – in starker<br />
Anlehnung an das Ausgangsmodell – aus fünf Elementen:<br />
• das Qualitätsleitbild als normative Ausrichtung der Qualitäts- bzw. Schulentwicklungsarbeit<br />
• die Steuerung der NQS-Prozesse, beispielweise durch die NQS-Teams in der Schule<br />
• die Selbstevaluation<br />
• das Individualfeedback und persönliche Qualitätsentwicklung in NQS sowie<br />
• die externe Schulevaluation, d. h. die Evaluation durch kritische Freunde (Buichl & Wilbers,<br />
2009, S. 10).<br />
Selbstevaluation<br />
und Schulentwicklung<br />
Individualfeedback und persönliche<br />
Qualitätsentwicklung in NQS<br />
Abbildung 12: Die NQS-Komponenten<br />
Qualitätsleitbild<br />
(Q-Ziele)<br />
der Schule<br />
Steuerung der NQS-Prozesse<br />
Externe Schulevaluation<br />
(Evaluation durch kritische Freunde)<br />
NQS hat bezüglich seiner fünf Elemente auch starke Übereinstimmungen mit QmbS (vgl. 2.3.1.2.2),<br />
da die Systeme parallel entwickelt wurden und in beiden Fällen eine Orientierung an Q2E vorliegt.<br />
Dennoch weist NQS Unterschiede zu den beiden Modellen auf, die im Folgenden näher beschrieben<br />
werden. Übereinstimmungen werden zur Vollständigkeit kurz erläutert.<br />
2.3.1.3.2.1 Das Qualitätsleitbild<br />
Das Qualitätsmanagement der Schulen richtet sich nach dem eigenen Qualitätsversprechen, d. h.<br />
das Kollegium jeder Institution definiert schuleigene Werte, Normen und Ziele. Die Entwicklung des<br />
Leitbilds orientiert sich dabei an den gesetzlichen Rahmenbedingungen wie beispielsweise des<br />
Lehrplanes (vgl. 2.1.2.1.1). Das Amt für Berufliche Schulen hat als übergeordnete Organisationseinheit<br />
kein eigenes Leitbild entwickelt, so dass eine weitere übergeordnete Ebene in der Zielhierarchie nicht<br />
vorliegt. Diese Tatsache ist in zuständigen staatlichen Einrichtungen ebenfalls festzustellen.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Alle beruflichen Schulen in Nürnberg verfügen über ein Leitbild. Allerdings ist hierbei ein sehr<br />
unterschiedliches Qualitätsniveau zu verzeichnen. Dies liegt daran, dass die zentral angestoßene<br />
Leitbilddiskussion nicht erfolgreich beendet werden konnte (Schmid, September 2007, S. 18).<br />
2.3.1.3.2.2 Das Individualfeedback und persönliche Qualitätsentwicklung<br />
Mit Hilfe des Individualfeedbacks erhalten Lehrkräfte eine Rückmeldung zur Qualität ihres Unterrichts<br />
sowie Hinweise über persönliche Stärken und Schwächen. NQS sieht hierbei ein 360°-Feedback<br />
vor, in dem neben Schülern und Kollegen auch Schulleitung und Eltern bzw. Ausbildungsbetriebe<br />
als Feedbackgeber herangezogen werden. Die Datenerhebung erfolgt hierbei hauptsächlich durch<br />
standardisierte Befragungen in Form von Fragebögen. Als weitere Instrumente sind Einzel- oder<br />
Gruppeninterviews bzw. Beobachtungen im Sinne der Unterrichtshospitation zu nennen, um eine<br />
ständige Verbesserung des Unterrichts- und der Lehrerpersönlichkeit zu erreichen. In diesem<br />
Bereich sind unterschiedliche Entwicklungen im Bereich des Konzepts und der Umsetzung innerhalb<br />
der einzelnen Schulen zu verzeichnen.<br />
2.3.1.3.2.3 Selbstevaluation der Schule<br />
Die Selbstevaluation (vgl. 2.2.2.2) dient der Überprüfung und Weiterentwicklung der Bildungseinrichtung<br />
an sich, in dem Abweichungen zwischen Qualitätsansprüchen und aktuellem Qualitätsniveau<br />
ermittelt werden, um Maßnahmen zur Optimierung abzuleiten. Weitere Einzelheiten dieser Komponente<br />
sind dem Basismodell Q2E zu entnehmen (vgl. 2.3.1.3.2.3).<br />
2.3.1.3.2.4 Die Steuerung der NQS-Prozesse<br />
Dieser NQS-Baustein zeichnet sich neben einer systematischen Steuerung der Qualitätsprozesse<br />
– wie der Wortlaut der Komponente an sich – sowie einer Planung und Durchführung von Maßnahmen<br />
zur Qualitätssicherung und -steigerung durch sog. ‚NQS-Routinen‘ aus. Diesen jährlichen<br />
Zyklen liegt der sog. DeminG-Kreis (vgl. 2.3.1.1) zugrunde, indem die Handlungsschritte ‚plan‘, ‚do‘,<br />
‚check‘ und ‚act‘ (PDCA-Zyklus) eine permanente Optimierung der Prozesse ermöglichen. So wird zu<br />
Schuljahresbeginn im Rahmen einer Zielkonferenz der Qualitätsentwicklungsprozess neu gestartet<br />
(Kurz et al., 2009, S. 150), während Ergebnisse der internen Evaluation mit dem Leitbild und den<br />
abgeleiteten Qualitätszielen gegenübergestellt und somit Qualitätsdefizite ermittelt werden. Diese<br />
sind evtl. mit vorangehenden Schulentwicklungsmaßnahmen abzugleichen, um einen Zielerreichungsgrad<br />
zu ermitteln. Die ‚Qualitätslücken‘ bilden Basis für die Definition von Jahreszielen für das<br />
laufende Schuljahr, um die angestrebte Qualitätsstufe zu erreichen. Die Festsetzung der Jahresziele<br />
erfolgt innerhalb des Gesamtkollegiums oder im NQS-Team. Aufgrund des ressourcenschonenden<br />
Umgangs sind drei bis vier Ziele zu empfehlen, um ein professionelles Vorgehen zur Zielerreichung<br />
gewährleisten zu können. Dies erfordert eine präzise Formulierung und eine schriftliche<br />
Fixierung einzelner Ziele, um Unstimmigkeiten bei der Zielsetzung zu vermeiden und eine höhere<br />
Verbindlichkeit zu erhalten (Zirkler, 2007, S. 36). Im nächsten Schritt sind konkrete Projektpläne mit<br />
detaillierten Zeitabläufen und Zuständigkeiten einzelner Maßnahmen aufzustellen, die in Summe<br />
zur Erreichung des Ziels führen (Kurz et al., 2009, S. 151). Dies beinhaltet auch eine Zuteilung von<br />
73
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
74<br />
Qualitätsindikatoren und Evaluationskriterien, um eine Überprüfung der Zielerreichung bzw. eine<br />
Messbarkeit des Zielerreichungsgrades gewährleisten zu können (Schnoor et al., 2006, S. 84 f.). Als<br />
nächster Schritt erfolgt im Sinne der ‚do‘-Phase eine Umsetzung geplanter Maßnahmen während<br />
des Schuljahres (Zirkler, 2007, S. 38). Diese werden am Ende des Schuljahres mit Hilfe der definierten<br />
Indikatoren überprüft, um den Zielerreichungsgrad bzw. auftretende Probleme zu identifizieren. Im<br />
Rahmen einer Bilanzkonferenz erfolgt eine Reflektion und <strong>Dokument</strong>ation der Evaluationsergebnisse.<br />
Sofern eine unvollständige Realisierung der Maßnahmen bzw. längerfristige Projektlaufzeit<br />
zu Grunde liegt, stellen diese Ergebnisse die Basis für die Zielvereinbarungskonferenz im folgenden<br />
Schuljahr dar. Die folgende Abbildung verdeutlicht die einzelnen Schritte innerhalb der NQS-Routine<br />
mit den jeweiligen Verantwortlichkeiten.
NQS-Routine<br />
Ziel nicht<br />
erreicht<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
NQS-Team Gesamtkollegium<br />
Ermittlung der<br />
Ergebnisse der<br />
internen Evaluation<br />
Abgleich der Ergebnisse<br />
mit Leitbild und<br />
Qualitätskriterien<br />
Ermittlung von<br />
Qualitätsdefiziten<br />
Aufstellung von<br />
Projektplänen<br />
Kommunikation der<br />
Ziele/Projekte an<br />
Gesamtkollegium<br />
Begleitung der<br />
Maßnahmen<br />
Evaluation der<br />
Maßnahmen<br />
Diskussion/Reflexion<br />
der Evaluationsergebnisse<br />
Ziel erreicht<br />
Abschluss der<br />
Maßnahme<br />
Abbildung 13: Prozess der NQS-Routine<br />
Formulierung von<br />
Jahreszielen<br />
Umsetzung der<br />
Maßnahmen<br />
Zeitachse<br />
Schuljahresbeginn laufendes Schuljahr Schuljahresende<br />
75
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
76<br />
Ein sog. NQS-Portfolio gewährleistet eine systematische <strong>Dokument</strong>ation von Qualitätsentwicklung<br />
bzw. Qualitätssicherung und besteht aus zwei Teilen. Zu Beginn erfolgt eine allgemeine Darstellung<br />
der Institution, indem Rahmenbedingungen sowie personelle und sachliche Ausstattungen erläutert<br />
werden. Im zweiten Abschnitt sind neben dem Leitbild und den daraus abgeleiteten Qualitätszielen<br />
die Qualitätsfelder verbunden mit einzelnen Jahreszielen zu nennen. Insbesondere ist hier deren<br />
Umsetzung, also geplante Maßnahmen mit angestrebten (Zwischen-)Ergebnissen, festzuhalten.<br />
Es erfolgt eine <strong>Dokument</strong>ation der Jahresziele in Form des Projektmanagements, indem die Phasen<br />
der Planung, Realisierung und Evaluation zu beschreiben sind und ein detailliertes Vorgehen<br />
bescheinigen. Das NQS-Portfolio ist ein schulinternes <strong>Dokument</strong> und soll dem Beirat der jeweiligen<br />
Berufsschule vorgelegt werden (Schmid, 29.07.11).<br />
Ein jährliches NQS-Forum ermöglicht allen beruflichen Schulen in Nürnberg, ihre Erfahrungen auszutauschen<br />
und aktuelle Entwicklungen sowie anstehende Schritte zu diskutieren.<br />
Das Amt für Berufliche Schulen sieht also übergeordnete Organisationseinheit eine Implementierung<br />
und Anwendung von NQS in den Nürnberger Schulen vor. Somit fällt diese Aufgabe in erster Linie<br />
den Führungspositionen einer Schule zu. Im Verlauf der NQS-Routinen liegt es im Aufgabenbereich<br />
der Schulleitung, den Prozess ggf. weiter voranzutreiben, Mitarbeiter zu motivieren oder Ressourcen<br />
bereitzustellen. Darüber hinaus nimmt bei NQS das Koordinierungsteam, das sog. NQS-Team, eine<br />
zentrale Schlüsselfunktion ein, da es für das Management des gesamten Qualitätsmanagementverfahrens<br />
zuständig ist (Zirkler, 2007, S. 49). Mitglied dieser Gruppe sind neben der Schulleitung<br />
und den Berufsbereichsbetreuern (BBB) als mittleres Management Pädagogen aller Fachrichtungen,<br />
idealerweise auch Personen der Verwaltung, um im Hinblick auf die Weitergabe neuer Informationen<br />
und Beschlüsse Kommunikationswege in alle Abteilungen und Ebenen der Bildungseinrichtung zu<br />
gewährleisten. Die BBB sind hierbei eine „Schnittstelle zwischen den Koordinierungsteams und den<br />
Lehrpersonen“ der jeweiligen Fachrichtung (Zirkler, 2007, S. 80), da sie einen schnellen Austausch<br />
von Problemen, Meinungen und Entwicklungsstufen im NQS-Prozess ermöglichen. Die Integration<br />
der ‚Breite des Kollegiums‘ intendiert eine hohe Verankerung des Qualitätsmanagements und fördert<br />
eine kontinuierliche Qualitätsentwicklung in der gesamten Institution, was zur erfolgreichen Umsetzung<br />
einzelner Maßnahmen beiträgt. NQS-Sitzungen sind ‚offen‘ gestaltet, so dass eine freiwillige<br />
Teilnahme von weiteren Pädagogen aufgrund bestimmter Themen oder persönlichen Engagements<br />
möglich ist (Zirkler, 2007, S. 72).<br />
Weitere Aufgaben des NQS-Teams erstrecken sich von der Koordination und Verantwortung des<br />
gesamten Prozesses bis zur Organisation sämtlicher Vorgänge. Dies beinhaltet u. a. die Vorbereitung<br />
und Durchführung von Konferenzen sowie die <strong>Dokument</strong>ation von Ergebnissen (Zirkler, 2007, S. 50,<br />
73). Entsprechend des Aufgabenfeldes und dafür relevanter Kompetenzen wird dieser Personenkreis<br />
durch das Pädagogische Institut in Form einer grundlegenden Qualifizierung und fortlaufenden Weiterbildungen<br />
in folgenden Themenbereichen geschult:<br />
1. Schulqualität und Qualitätsentwicklung (Modul 1)<br />
2. Moderation von Zielkonferenzen (Modul 2)<br />
3. Umgang mit Widerstand und erfolgreiche Kommunikation von Qualitätsprozessen (Modul 3)
4. Projektmanagement (Modul 4)<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
5. Evaluationsschleifen und kommunikative Validierung erhobener Daten (Modul 5) (Kurz et al.,<br />
2009, S. 151).<br />
2.3.1.3.2.5 Externe Schulevaluation<br />
Die externe Evaluation in NQS (NQS-E) ist, wie auch bei Q2E im Gegensatz zu QmbS, eine Metaevaluation<br />
und bewertet die Qualität des Qualitätsmanagements (vgl. 2.2.2.2 und 2.2.3.4; Landwehr<br />
& Steiner, 2007b, S. 31). D. h. es werden Prozesse überprüft, „[...] die innerhalb einer Schule zur<br />
Aufrechterhaltung und zur Verbesserung der Schul- und Unterrichtsqualität eingesetzt werden […]“<br />
(Landwehr & Steiner, 2007b, S. 31). Damit schließt NQS an eine Evaluationsvorstellung an, die auch<br />
die Fremdevaluation an beruflichen Schulen Baden-Württembergs als Meta-Evaluation charakterisiert.<br />
NQS-E liegt nicht der Kontrollgedanke zugrunde, sondern richtet ihren Fokus auf ‚Entwickeln<br />
und Lernen‘, d. h. die Begehung soll sog. ‚blinde Flecken‘ aufdecken und überwinden. Dies sind<br />
bestimmte Merkmale und Handlungsweisen einer Institution, die der Einrichtung selbst unbekannt<br />
sind und somit nur von der Außenwelt erkannt und mitgeteilt werden können (Strahm, 2008, S. 52,<br />
53). Darüber hinaus soll die Glaubwürdigkeit und Verbindlichkeit des internen Qualitätsmanagements<br />
erhöht werden. Ein ausgebautes Qualitätsmanagement im Sinne einer gelebten Praxis der Selbstevaluation,<br />
der (Weiter-) Entwicklung des Qualitätsleitbildes, des Individualfeedbacks und der Steuerung<br />
der Qualitätsarbeit durch NQS-Routinen ist Voraussetzung für die Begehung durch Experten, denn<br />
zur Beurteilung des ganzheitlichen Qualitätsmanagements werden nicht nur Kernprozesse wie<br />
Schule und Unterricht, sondern auch Unterstützungs- und Managementprozesse untersucht.<br />
Das NQS-E-Verfahren gliedert sich in vier Phasen, die im Folgenden erläutert werden.<br />
Vorbereitungsarbeiten in der Schule und durch die Peers<br />
Peer-Besuch<br />
Evaluationsbericht<br />
Ausarbeitung von Konsequenzen aus dem Evaluationsbericht<br />
(als Teil des NQS-Zyklus)<br />
Abbildung 14: Ablauf der externen Evaluation nach NQS<br />
77
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
78<br />
Zunächst findet zwischen der zu evaluierenden Schule und dem Lehrstuhl für Wirtschaftspädagogik<br />
und Personalentwicklung ein Vorgespräch statt, in dem die anstehenden Phasen der externen Evaluation<br />
erläutert und zeitliche Eckpunkte geplant werden. Des Weiteren wird die Zusammensetzung<br />
des Peer-Teams aufgezeigt, das aus einer fachlich nahen Lehrkraft oder SchulleiterIn, einem Evaluationsexperten<br />
bzw. einer Evaluationsexpterin, einem/r transnationalen Exterten/in sowie einem/r<br />
Unternehmensvertreter/in und nach Wahl der Schule aus weiteren VertreterInnen der Wirtschaft<br />
besteht. Anschließend erfolgt die Nominierung der Peers durch den Lehrstuhl für Wirtschaftspädagogik<br />
und Personalentwicklung, deren Aufgabe es während der externen Evaluation ist, eine<br />
Sichtweiße von außenstehenden Personen einzubringen und sowohl ‚blinde Flecken‘ der Schule<br />
aufzudecken als auch eine Rückmeldung über neue Wege für die Schulentwicklung aufzuzeigen.<br />
Daraufhin beginnt die erste Phase des NQS-E-Verfahrens, in dem die Vorbereitungsarbeiten an der<br />
Schule durch die Erstellung des Selbstberichts anhand der vorgegebenen Instrumente aufgenommen<br />
werden. Auf dieser Grundlage unternehmen die Peers den Schulbesuch. Dieser beginnt am<br />
Vorabend mit einer Vorbesprechung des Peer-Teams, in dem der Selbstbericht diskutiert wird. Darüber<br />
hinaus sind beispielsweise Datenerhebungen und -auswertungen zu planen sowie vertiefende<br />
Fragen zur Qualität des NQS zu formulieren. Diese werden anschließend zu einzelnen Leitfäden<br />
verdichtet, die eine Grundlage für die durchzuführenden Interviews darstellen. Gegebenenfalls wird<br />
der Innovationsbereich erläutert und das detaillierte Vorgehen im Rahmen der Unterrichtskonkretisierung<br />
geplant. Es folgt ein eineinhalb tägiger Besuch der Schule mit Interviews der SchülerInnen,<br />
der Lehrkräfte, der NQS-Teams, der Schulleitung sowie dem mittleren Management der Schule.<br />
Außerdem werden nach Bedarf die sogenannten Unterrichtskonkretisierungen vorgenommen. Diese<br />
dienen der Konkretisierung des Schwerpunktes der Primärevaluation, d. h. des von der Schule selbst<br />
gewählten Innovationsbereichs. Die Schule soll damit den Innovationsbereich gegenüber den Peers<br />
illustrieren und im konkreten Unterricht aufzeigen. Eine Unterrichtskonkretisierung besteht aus einer<br />
Erläuterung und Nachbereitung der Lehrkraft sowie dem Unterricht selbst. Dementsprechend ist eine<br />
Unterrichtskonkretisierung keine Unterrichtsbeobachtung oder gar eine Visitation. Sie erlaubt auch<br />
keine Aussage zur Gesamtqualität des Unterrichts, zur Qualität der Lehrkraft oder gar zur Qualität der<br />
Schule insgesamt. Sie ist immer angebunden an den zu illustrierenden Innovationsbereich und soll<br />
die Papierform des Innovationsbereichs im Kerngeschäft ergänzen.<br />
Im Anschluss an die Begehung folgen ein Austausch von Eindrücken und Erkenntnissen zur Qualität<br />
des Qualitätsmanagements unter den Peers sowie eine gezielte Reflexion der eingeschätzten Qualitätsarbeit.<br />
Diese Ergebnisse sind neben Hinweisen auf Verbesserungspotentiale und Anregungen<br />
zur Schulentwicklung Bestandteil des Auswertungsberichts. Dieser wird in Abstimmung mit allen<br />
Peers angefertigt und gehört der Schule selbst, d. h. die Ergebnisse der Begehung werden nicht<br />
an die Schulaufsicht weitergegeben. Im Anschluss folgen eine interne Diskussion der Ergebnisse<br />
in der Bildungseinrichtung und eine Formulierung erforderlicher Konsequenzen, um aufgedeckte<br />
Qualitätsdefizite zu beseitigen. Dabei kann die Schule selbst entscheiden, welche Informationen<br />
als Steuerungswissen an vorgelagerte Instanzen weitergegeben werden. Die erforderlichen Maßnahmen<br />
fließen über Jahresziele in die Zielkonferenz ein und werden aufgrund der NQS-Routinen<br />
laufend überprüft.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Zwischen NQS-E und dem Ausgangsmodell Q2E sind folgende Unterschiede zu verzeichnen:<br />
Der Selbstbericht<br />
Die Konzeption des Selbstberichts orientiert sich an den Spezifika deutscher Schulentwicklung und<br />
an NQS. In diesem Zusammenhang wurden die unterschiedlichen Rollen der Schulleitung beachtet,<br />
da die Ausrichtung des Schulentwicklungsprozesses in der BRD nicht nur durch die Schulleitung,<br />
sondern auch durch das NQS-Team erfolgt. Des Weiteren gestaltet sich die Selbsteinschätzung der<br />
eigenen Entwicklung für Schulen schwierig und aufwändig. Dieses Instrument bildet jedoch sowohl<br />
für die externe Begehung als auch für die Selbstreflexion der Bildungseinrichtung ein hilfreiches<br />
Instrument. Aus diesen Gründen wurden die Instrumente des Selbstberichts neu gestaltet.<br />
In einem Erstinformationsblatt gibt die Schule neben verschiedenen Kontaktdaten und -personen<br />
sowie Übersichten und Anwendungsbereiche vorangehender Evaluationen die Ziele der anstehenden<br />
Begehung selbst bekannt. Des Weiteren können nationale und internationale Peers vorgeschlagen<br />
und spezielle Fragestellungen bzw. Anforderungen an die Peers verankert werden. Eine zeitliche<br />
Übersicht zum Verfahren informiert über das weitere Vorgehen nach dem Schulbesuch. Ausschließlich<br />
dieses <strong>Dokument</strong> wird der dem Amt für Berufliche Schulen als übergeordnete Organisationseinheit<br />
weitergegeben, um diese über die bevorstehenden Vorgänge zu informieren.<br />
Der Selbstbericht beinhaltet folgende weitere <strong>Dokument</strong>e:<br />
1. Rahmendaten zur Schule<br />
2. Beschreibung des Qualitätsmanagements der Schule<br />
3. Selbsteinschätzung des Qualitätsmanagements der Schule<br />
4. Beschreibung und Bewertung eines ausgewählten Innovationsbereichs der Schule<br />
5. Ggf. Fragen an die Peers<br />
6. <strong>Dokument</strong>ation der Q-Arbeit durch das NQS-Portfolio.<br />
In den ‚Rahmendaten zur Schule‘ gibt die Bildungseinrichtung allgemeine Rahmenbedingungen<br />
und statistische Daten zur gesamten Schule sowie zu einzelnen Bereichen bekannt. Ein weiteres<br />
Instrument bezieht sich auf das NQS der Schule. Mit Hilfe einzelner Leitfragen beschreibt<br />
die Bildungseinrichtung die Komponenten Qualitätsleitbild, Individualfeedback und persönliche<br />
Qualitätsentwicklung, Selbstevaluation und Qualitätsentwicklung der Schule sowie Steuerung der<br />
Q-Prozesse durch die Schulleitung und das NQS-Team, um den externen EvaluatorInnen ein Bild des<br />
schulischen Qualitätsmanagements zu ermöglichen. Darauf aufbauend beurteilt die Schule selbst<br />
ihre Qualität der einzelnen NQS-Elemente anhand eines vorgefertigten Qualitätsrasters. Dieses<br />
Selbsteinschätzungsinstrument aus Q2E (vgl. 2.3.1.1.2.5) wurde in Bezug auf die Rolle der Schulleitung<br />
in Deutschland überarbeitet und vollkommen neu gestaltet, wobei die Schulen auf ökonomische<br />
Weise den Entwicklungsstand der einzelnen, ausdifferenzierenden Komponenten bewerten können.<br />
Optional hat die Bildungseinrichtung die Möglichkeit, bei NQS-E auch eine Primärevaluation zu<br />
integrieren. Hierbei wird ein ausgewählter Innovationsbereich aus den Ziel- und Bilanzkonferenzen<br />
79
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
80<br />
bezüglich der In- und Outputs sowie der Kern-, Support- und Managementprozesse begutachtet.<br />
Sofern die Schule diese Möglichkeit in Anspruch nimmt, beschreibt sie das ausgesuchte Fokusthema<br />
und bewertet es mit Hilfe eines vorgefertigten Schemas. In diesem Zusammenhang entscheidet das<br />
Kollegium, ob eine Unterrichtskonkretisierung durchgeführt wird. Diese soll den Innovationsbereich<br />
im täglichen Unterricht zeigen und der Illustration des speziellen Bereichs gegenüber den Peers<br />
dienen. Insbesondere besteht die Unterrichtskonkretisierung aus einer Erläuterung des Konzepts<br />
der Schule und aus dem Besuch von zwei bis drei Schulstunden. Hervorzuheben ist, dass in diesem<br />
Punkt weder eine Aussage zur Qualität der Lehrkraft noch des Unterrichts erfolgt, sondern die<br />
Umsetzung der Ziele aus dem Innovationsbereich im Unterricht im Vordergrund steht. Die Klassen<br />
und unterrichtenden Lehrkräfte können hierfür von der Schule selbst festgelegt werden. Im Selbstbericht<br />
gibt eine abschließende Tabelle Aufschluss über die Bekanntgabe der Daten und Mitwirkung<br />
der Personen. Ganz bewusst wird der zeitliche Aufwand zur Erstellung des Berichts gering gehalten,<br />
um den Schulen nicht unnötig Ressourcen abzugreifen und eventuell das Verfahren in kurzen Zyklen<br />
wiederholen zu können.<br />
Peer-Review-Logik und Expertenansatz<br />
Eine weitere Abweichung zu Q2E ist in der Orientierung an der sogenannten Peer-Review-Logik<br />
festzustellen, die eine Bewertung der Schule durch kritische Freunde (Peers) besonders betont.<br />
Andererseits sind auch EvaluationsexpertInnen an der Begehung beteiligt, um entsprechendes Fachwissen<br />
im Bereich der Evaluation in das Team integrieren zu können (Brägger et al., 2005, S. 37). Die<br />
folgende Abbildung verdeutlicht die Zusammensetzung des Evaluationsteams in NQS-E.<br />
Experte Woher kommt er?<br />
Fachlich nahe(r) Lehrkraft/<br />
Schulleiter/in<br />
Auswahl durch Schule aus NQS-Peerpool<br />
Evaluationsexperte/in Auswahl durch Schule aus NQS-Peerpool<br />
Transnationale(r) Experte/in (Lehrkraft, Auswahl durch Schule aus Pool europäischer Exper-<br />
Schulleiter/in)<br />
tInnen<br />
Unternehmensvertreter/in Nomination aus anderer Region über fachlich relevanten<br />
Verband oder Kammer mit Widerspruchsrecht<br />
der Schule<br />
Nach Wahl der Schule: Weiterer Vertreter/<br />
innen der Wirtschaft<br />
(z. B. Gewerkschaft)<br />
Abbildung 15: Zusammensetzung des Peer-Teams in NQS-E<br />
Nomination im Einzelfall zu klären<br />
Die Auswahl und die Qualität der EvaluatorInnen sind erfolgskritisch und ein großer Kritikpunkt in<br />
anderen Systemen. Deshalb wurde diese Thematik ausführlich bei der Entwicklung diskutiert und für<br />
die Peers fünf Voraussetzungen definiert:
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
• Fachkompetenz, d. h. sie haben eine hohe fachliche Passung zur Schule (‚Keine externe Evalu-<br />
ation durch Nicht-Fachleute‘)<br />
• Neutralität, d. h. sie dürfen keinen Konnex zur Nürnberger Mikropolitik haben. Zum Beispiel<br />
scheiden Schulleiter, Lehrkräfte oder Unternehmensvertreter aus dem Nürnberger Großraum<br />
aus<br />
• Evaluationsprofessionalität, d. h. sie sind kompetent bezüglich des Prozesses der Evaluation<br />
• Ethos, d. h. sie können zum Beispiel eine Verantwortung für das öffentliche Wohl übernehmen<br />
• Scientology-Erklärung, d. h. sie erklären die Ablehnung der Technologie von L. Ron Hubbard.<br />
Das vier- bis fünfköpfige Evaluationsteam setzt sich aus Peers und ExpertInnen zusammen. Eine<br />
fachlich nahe Lehrkraft bringt ihre umfangreichen Erfahrungen in den Bereichen Schulentwicklung<br />
und Evaluation ein. Letzt genannte Thematik wird darüber hinaus durch den ausgewiesenen Evaluationsexperten<br />
bzw. die ausgewiesene Evaluationsexpertin repräsentiert. Des Weiteren wird bezüglich<br />
eines Experten bzw. einer Expertin die Landesgrenze überschritten und eine transnationale Lehrkraft<br />
oder SchulleiterIn integriert, der an einer vergleichbaren Schule seines Landes unterrichtet. Dieser<br />
überregionale Einfluss ermöglicht einen umfassenden Wissenszuwachs hinsichtlich der Grundsätze<br />
und Normen einer ‚Spiegelschule‘. Umfassende Fachkenntnisse des Evaluationsteams werden<br />
durch einen Unternehmensvertreter entsprechend des jeweiligen Fachbereichs sichergestellt. Es<br />
wird angestrebt, dass die zu evaluierende Schule gewünschte Peers aus einer Datenbank wählen<br />
und weitere Vertreter der Wirtschaft, zum Beispiel MitgliederInnen einer Gewerkschaft benennen<br />
kann. Es besteht allerdings das Recht, gegenüber einzelnen Personen ein Veto auszusprechen. Dies<br />
erhöht vor allem die Akzeptanz der Peers im Kollegium und fördert dadurch die Anerkennung der<br />
Evaluationsergebnisse.<br />
Evaluationsbericht<br />
Ein weiterer Kontrast zu Q2E kann im Bereich des Evaluationsberichts festgestellt werden, da hierbei<br />
die Schule eigenständig entscheidet, welche Ergebnisse der Begehung an die Schulaufsicht kommuniziert<br />
werden. D. h. übergeordnete Einrichtungen haben keine Einsicht in den Evaluationsbericht.<br />
Die drei genannten Bereiche sind vom Ausgangsmodell Q2E abzugrenzen.<br />
2.3.1.3.3 Grenzen und Schwierigkeiten des NQS-Modells<br />
NQS wurde für alle beruflichen Schulen in Nürnberg verbindlich eingeführt (vgl. 2.3.1.3.2). Im Jahr<br />
2009 zeichnet sich unter den beteiligten Institutionen ein heterogenes Bild bezüglich des Qualitätsmanagementsystems<br />
ab. Im Allgemeinen kann bei den Bildungseinrichtungen ein unterschiedlicher<br />
Entwicklungsstand von NQS festgestellt werden, da u. a. die NQS-Routinen zum Teil in differierender<br />
Intensität und Zeitspanne durchgeführt werden. Dies ist hautsächlich durch das Engagement der<br />
Schulleitung zu begründen (Zirkler, 2007, S. 76), da nur diese Mitarbeiter entsprechend motivieren<br />
und eine Dauerhaftigkeit der Prozesse und NQS-Routinen gewährleisten kann. Unterstützend<br />
wirkt hierbei das NQS-Team (vgl. 2.3.1.3.2.4), da es für die Durchführung und Koordination der<br />
81
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
82<br />
NQS-Routinen zuständig ist. Hierbei kann unter den Bildungseinrichtungen ein unterschiedliches<br />
Rollen- und Aufgabenverständnis bezüglich der federführenden Prozessleitung verzeichnet werden,<br />
da einige Koordinationsteams eine Einschränkung ihres Handlungsfelds empfinden bzw. eine Stärkung<br />
der Kompetenzen hinsichtlich der Ressourcenverwaltung wünschen. Diese Tatsache spiegelt<br />
sich in einer differierenden Zusammensetzung der NQS-Teams wider, da nicht immer alle Fachgebiete,<br />
BBB oder Schulleitungen integriert sind (Zirkler, 2007, S. 72 ff.). Dies wiederum impliziert zum<br />
Teil eine Störung der Kommunikationswege, da das Gremium für die Weitergabe neuer Informationen<br />
und Beschlüsse an alle Ebenen bzw. Fachrichtungen sorgt und somit eine Integration des Kollegiums<br />
mit Hinblick auf eine erfolgreiche Umsetzung von Maßnahmen in Frage stellt. Dieser Sachverhalt<br />
sowie ein unzureichendes Engagement der Schulleitung äußern sich in der nächsten Divergenz, einer<br />
stetigen Durchführung der NQS-Routinen. Die heterogene Beteiligung am NQS-Prozess erschwert<br />
die Umsetzung von Maßnahmen und impliziert ein verspätetes oder unzureichendes Erzielen von<br />
(Zwischen-)Ergebnissen. Dies hat eine Verzerrung des NQS-Rhythmus zur Folge, da eine fristgerechte<br />
Umsetzung von Maßnahmen im Sinne der Ziel- und Bilanzkonferenzen nicht eingehalten<br />
werden kann. Der differierende Fortschritt bei NQS ist u. U. aber auch durch eine unterschiedliche<br />
Ausgangssituation seitens der beruflichen Schulen festzustellen. So lag bei Einführung des Qualitätsmanagementsystems<br />
im Jahr 2003 (vgl. 2.3.1.3.1) in den Institutionen ein unterschiedlicher Stand<br />
der Schulentwicklung vor (Zirkler, 2007, S. 94), was unmittelbare Auswirkung auf die Implementierung<br />
des NQS hatte.<br />
Des Weiteren erfolgte übergreifend die Einführung der Komponenten ‚Selbstevaluation‘, ‚NQS-<br />
Prozesse‘ und ‚externe Evaluation‘. Die Bausteine ‚Leitbild‘ und ‚Individualfeedback‘ sind derzeit<br />
in unterschiedlichem Entwicklungsstand vorhanden. Der Implementierungsversuch eines Leitbilds<br />
„[...] war in Nürnberg aufgrund mehrerer unglücklich begonnener Leitbildprozesse verbaut“ (Schmid,<br />
September 2007, S. 18), da Diskussionen keine Ergebnisse erzielten und Einzelheiten zu stark fokussiert<br />
wurden. Gerade dieses Element bildet jedoch die unentbehrliche Basis für ein Qualitätsmanagementsystem,<br />
da es der Darstellung eines zentralen Orientierungsrahmens dient und angestrebte<br />
Qualitäten, Werte und Normen festgelegt werden, um eine zielgerichtete Entwicklung der Bildungseinrichtung<br />
zu ermöglichen. Diese Tatsache zeigt insoweit Auswirkung, dass sich angestrebte Jahresziele<br />
einiger Institutionen auf einzelne Abteilungsebenen und nicht auf das Qualitätsmanagement<br />
als System beziehen. Vor diesem Hintergrund erzielen manche Nürnberger Schulen nur eine bedingte<br />
Wirkung des Qualitätsmanagements.<br />
Die Implementierung von NQS erfolgt durch hohe Gestaltungsfreiheit und eigenverantwortlicher<br />
Ausgestaltung von Seiten der Schulen, da das Amt für Berufliche Schulen als übergeordnete Organisationseinheit<br />
hierfür keine strikten Vorgaben deklariert. Dies wurde im Rahmen der weiteren Gestaltung<br />
kritisiert, da die ausgeprägte Selbstverantwortung der Schulen zeitweise durch die Forderung<br />
bestimmter Vorgänge und Maßnahmen wieder relativiert wird (Zirkler, 2007, S. 92 f.). Eine einheitliche<br />
Definition des Handlungsspielraumes sowie der Aufgaben und Funktionen auf allen Ebenen<br />
könnte angedacht werden, um in diesem Punkt Transparenz zu gewährleisten. Gerade im Hinblick<br />
auf das Engagement des Schulleiters, ist die Definition dieser Rolle im Hinblick auf eine erfolgreiche<br />
Implementierung von NQS unumgänglich, da diese Personengruppe durch entsprechende
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Ressourcenvergabe den Prozess maßgeblich beeinflusst. Die hohe Gestaltungsfreiheit bei der<br />
Implementierung von NQS ermöglicht eine schulspezifische Entwicklung der Qualitätsarbeit, was<br />
schließlich zu einem höheren Engagement der beteiligten Lehrkräfte führen kann.<br />
2.3.2 Die Qualitätsinitiative Berufsbildung (QIBB)<br />
2.3.2.1 Das Modell QIBB<br />
„QIBB, die QualitätsInitiative BerufsBildung [...], ist eine Initiative der Sektion Berufsbildendes<br />
Schulwesen, Erwachsenenbildung und Schulsport des Bundesministeriums für Unterricht, Kunst<br />
und Kultur (BMUKK) zur Implementierung eines umfassenden Qualitätsmanagementsystems im<br />
österreichischen berufsbildenden Schulwesen“ (Bundesministerium für Unterricht, 2011, S. 41).<br />
QIBB bezieht sich auf den europäischen Bezugsrahmen für die Qualitätssicherung in der beruflichen<br />
Aus- und Weiterbildung (EQARF – European Quality Assurance Reference Framework for Vocational<br />
Education and Training) und orientiert sich an dessen Struktur, Schwerpunkt- und Zielsetzungen. Der<br />
Fokus des Qualitätsmanagementsystems richtet sich in QIBB auf die systematische Sicherung und<br />
Weiterentwicklung sowohl der Unterrichtsqualität, als auch der Qualität der Verwaltungsleistungen.<br />
QIBB umfasst also das pädagogische Handeln im Sinne einer Initiierung, Unterstützung und Begleitung<br />
von gesellschaftlich relevanten schulischen Bildungs- und Ausbildungsprozessen sowie den<br />
Tätigkeiten der Verwaltung in Form einer Herstellung, Absicherung und Weiterentwicklung der für<br />
das Lehren und Lernen notwendigen Rahmenbedingungen (Bundesministerium für Unterricht, 2011,<br />
S. 41).<br />
QIBB bezieht sich auf alle institutionellen Ebenen des Schulsystems, indem eine Implementierung<br />
von Instrumenten und Prozessen zur Qualitätssicherung und -entwicklung innerhalb der Schulaufsicht<br />
auf Landesebene, der Sektion Berufsbildung im BMUKK auf Bundesebene als auch auf Ebene<br />
der Schulen vorgesehen ist, um bei der Ausübung zentraler Aufgaben eine permanente Verbesserung<br />
durch wiederkehrende Evaluierungen zu erhalten. Die Grundprinzipien der Qualitätsarbeit beziehen<br />
sich auf Prozess- und Ergebnisqualität, indem der Entwicklungsprozess ein kontinuierliches<br />
Anwenden des Qualitätsregelkreises vorsieht, der Planung und Zielsetzung, der Umsetzung, der<br />
Evaluation und Messung sowie der Analyse, Auswertung und Berichterstattung (Bundesministerium<br />
für Unterricht, 2011, S. 41).<br />
Die Projektorganisation von QIBB umfasst auf der Ebene der Sektion Berufsbildung im BMUKK eine<br />
schulbereichsübergreifende Steuergruppe, die sich aus VertreterInnen aller Schulbereiche sowie<br />
externen ExpertInnen zusammensetzt und sich mit der Planung und Steuerung des Gesamtprojekts<br />
beschäftigt. Zentrale Lenkungsteams, die Mitglieder aus allen Ebenen des jeweiligen Schulbereichs<br />
sowie externe Experten beinhalten, sind für jeden Schulbereich eingerichtet und verfolgen die Steuerung<br />
der schulbereichsspezifischen Umsetzung. Die Schulaufsicht verfolgt auf der Landesebene<br />
die Aufgabe, Informations- und Schulungsveranstaltungen für das Lehr- und Verwaltungspersonal<br />
zu planen sowie fachliche Begleitung bei der Umsetzung zu gewährleisten. Landesqualitätsprozessmanager<br />
(LQPM) leisten in dieser Angelegenheit operative Unterstützung. Die Schulleitung befasst<br />
83
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
84<br />
sich auf der Schulebene mit dem strategischen Management und wird durch Schulqualitätspro-<br />
zessmanager (SQPM) in operativen Angelegenheiten unterstützt. Eine übergreifende Vernetzung<br />
erfolgt durch die LQPM innerhalb der Bundeskonferenzen sowie durch die SQPM innerhalb der<br />
Landeskonferenzen.<br />
Eine erfolgreiche Implementierung von QIBB hängt von einer übergreifenden Zusammenarbeit aller<br />
Führungskräfte des beruflichen Schulwesens ab, da eine gemeinsame Überzeugung zur Schaffung<br />
einer Managementkultur und eine Beteiligung aller Akteure am Qualitätsmanagement notwendig ist, um<br />
eine Qualitätsentwicklung auf allen Ebenen zu erreichen (Bundesministerium für Unterricht, 2011, S. 42).<br />
Seit dem Schuljahr 2006/07 findet QIBB in allen Schulbereichen des berufsbildenden Schulwesens<br />
Anwendung. Dazu gehören die Berufsschulen (öbs), die technischen, gewerblichen und kunstgewerblichen<br />
Schulen (HTL), die kaufmännischen Schulen (HAK/HAS), die humanberuflichen Schulen,<br />
die höheren land- und forstwirtschaftlichen Schulen (hlfs) und die Bildungsanstalten für Kindergartenpädagogik<br />
und die Bildungsanstalten für Sozialpädagogik (BAKIP/BASOP) (Bundesministerium<br />
für Unterricht, 2011, S. 41). Jeder Schulbereich verfügt über ein spezifisches Qualitätshandbuch, das<br />
eine Beschreibung des individuellen Qualitätsmanagementsystems vorsieht.<br />
Das Peer Review in QIBB ist seit Herbst 2009 als externe Evaluation in QIBB eingebunden und<br />
soll den Schulen zur Qualitäts- und Schulentwicklung dienen (vgl. 2.2.3.2; Bundesministerium für<br />
Unterricht, 2011, S. 42).<br />
2.3.2.2 Entstehung des Peer Reviews<br />
Das Peer Review in European VET (kurz Peer Review) wurde seit 2003 vor allem als Instrument<br />
der Qualitätssicherung und Qualitätsentwicklung in der beruflichen Erstausbildung in Europa als<br />
Leonardo da Vinci Projekt mit 25 Partnern aus elf europäischen Ländern entwickelt und in einer<br />
Pilotphase im Jahr 2006 in acht europäischen Ländern in 15 transnationalen Europäischen Peer<br />
Reviews erprobt. Das Ergebnis der Projekts wurde in einem Europäischen Peer Review Handbuch<br />
festgehalten (Gutknecht-Gmeiner, 2008, S. 8–12).<br />
2.3.2.3 Ziele des Peer Review<br />
Das Peer Review ist ein externes Evaluationsverfahren und verfolgt das Ziel, eine Berufsbildungseinrichtung<br />
bei der Qualitätssicherung und -entwicklung zu unterstützen (Gutknecht-Gmeiner &<br />
Österreichisches Institut für Berufsbildungsforschung, 2007, S. 1). Peer Review ist also eine Methode<br />
zur Sicherung und Verbesserung der Qualität von Schulen, dessen Hauptaufgabe darin besteht,<br />
mit Hilfe der Ermittlung der Qualität einer Schule und der Unterbreitung nützlicher Verbesserungsvorschläge<br />
einen kontinuierlichen Prozess der Qualitätsentwicklung in der Bildungseinrichtung<br />
anzuregen (Gutknecht-Gmeiner et al., 2007, S. 2). Die Evaluation der Organisation durch Personen<br />
anderer Bildungseinrichtungen oder externer Stakeholder ermöglicht das Einholen von Sichtweisen<br />
außenstehender Personen, um sowohl ‚blinde Flecken‘ der Schule aufzudecken als auch eine Rückmeldung<br />
über neue Wege für die Schulentwicklung zu erhalten. Das Peer Review bietet, durch die
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Zusammenkunft von Experten unterschiedlicher Bildungseinrichtungen, nicht nur Möglichkeiten zur<br />
Vernetzung sondern auch zum Austausch (Gutknecht-Gmeiner, 5. März 2007, S. 5), beispielsweise<br />
von Konzepten, Erfahrungen und Prozessen. Weitere Absichten des Verfahrens beziehen sich auf<br />
die Erhöhung von Chancengleichheit sowie die Förderung von „Transparenz und Vergleichbarkeit<br />
von Qualität in der Berufsbildung durch Schaffung einheitlicher Standards in Europa“ (Gutknecht-<br />
Gmeiner et al., 2007, S. 1). Das Peer Review in QIBB basiert auf dem Europäischen Peer Review<br />
Verfahren und orientiert sich an dem gemeinsamen Bezugsrahmen zur Qualitätssicherung (CQAF)<br />
für die berufliche Bildung in Europa (Gutknecht-Gmeiner et al., 2007, S. 3 ff.).<br />
2.3.2.4 Phasen des Peer Reviews<br />
Das Verfahren selbst gliedert sich in vier Phasen (Gutknecht-Gmeiner et al., 2007, S. 7), die im<br />
Folgenden erläutert werden.<br />
2.3.2.4.1 Erste Phase: Vorbereitung<br />
Die erste Phase des Peer Reviews ist selbst in vier Elemente untergliedert, der Start des Verfahrens,<br />
die Auswahl und Einladung des Peer Teams, die Selbstevaluierung und der Selbstbericht sowie die<br />
Vorbereitung des Peer Besuchs (Gutknecht-Gmeiner et al., 2007, S. 12–18).<br />
Der erste Schritt ‚Start des Verfahrens‘ umfasst zunächst die Entscheidung über eine Durchführung<br />
des Peer Reviews verbunden mit der Definition zugrundeliegender Ziele, einer Festlegung der Art des<br />
Verfahrens, dem betreffenden Anwendungsbereich in der Bildungseinrichtung sowie der Zuweisung<br />
von Aufgaben an einzelne Verantwortliche, die in einem Zeitplan festgehalten werden. Bereits in<br />
diesem Schritt werden Grundsteine für mögliche Effekte des Verfahrens gelegt, da „die Wirksamkeit<br />
des Verfahrens im Sinne der Qualitätsverbesserung [...] von dem Engagement und der Kooperation<br />
der beteiligten Personen [abhängt]“ (Gutknecht-Gmeiner et al., 2007, S. 12) und hier erste Intentionen<br />
zur Umsetzung der durch das Peer Review vorgeschlagenen Maßnahmen erfolgen sollen. Des Weiteren<br />
hat die Schule die zu evaluierenden Qualitätsbereiche auszuwählen, von denen einer aus dem<br />
Kerngeschäft, dem Lernen und Lehren, abzudecken ist (Gutknecht-Gmeiner et al., 2007, S. 35). Diese<br />
Entscheidung sollte mit allen wichtigen Statusgruppen der Bildungseinrichtung getroffen werden.<br />
In einem ‚Peer Review Erstinformationsblatt‘ werden diese Eckpunkte des Verfahrens sowohl für<br />
interne als auch externe Zwecke dokumentiert (Gutknecht-Gmeiner et al., 2007, S. 13).<br />
Im nächsten Schritt werden von der Schule Peers ausgewählt, die hierarchisch gesehen mit der<br />
evaluierenden Schule gleichgestellt sind und deren Hauptaufgabe es ist, „die spezifische Situation<br />
der evaluierten Berufsbildungseinrichtung zu verstehen und kritisches Feedback zu geben“<br />
(Gutknecht-Gmeiner et al., 2007, S. 38). Nur auf Wunsch der zu evaluierenden Einheit sollen die Peers<br />
Empfehlungen und Lösungsvorschläge ausarbeiten. Das Peer Team setzt sich aus vier Personen<br />
zusammen, die „[...] aus anderen Berufsbildungseinrichtungen oder aus Einrichtungen externer<br />
Anspruchsgruppen kommen [können]“ (Gutknecht-Gmeiner et al., 2007, S. 14). Die zu evaluierende<br />
Einrichtung hat die Möglichkeit, die ‚kritischen Freunde‘ selbst vorzuschlagen bzw. aus einem Pool<br />
von KandidatInnen zu wählen.<br />
85
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
86<br />
Im Folgenden beginnt die Bildungseinrichtung mit einer Selbstevaluierung, indem Stärken und<br />
Schwächen, insbesondere in den ausgewählten Qualitätsbereichen, ermittelt und in einem Selbstbericht<br />
komprimiert werden. Für die Selbstevaluierung sind keine spezifischen Vorgaben definiert.<br />
Schulen haben dadurch die Möglichkeit, auf bereits erhobene Daten zurückzugreifen (Gutknecht-<br />
Gmeiner et al., 2007, S. 15). Die Selbstevaluierung sollte in einem transparenten und fairen Verfahren<br />
durchgeführt werden, in dem alle wichtigen Betroffenen integriert werden (Gutknecht-Gmeiner et<br />
al., 2007, S. 16), um eine möglichst hohe Akzeptanz mit Blick auf gesamte Peer Review Verfahren<br />
zu erzielen. Der Selbstbericht umfasst alle für das Verfahren relevanten Daten sowie spezielle Fragestellungen<br />
an die Peers, um für die Bildungseinrichtungen relevante Inhalte klären zu können<br />
(Gutknecht-Gmeiner et al., 2007, S. 16).<br />
In dem letzten Schritt der ersten Phase wird der Peer Besuch vorbereitet, indem erforderliche Zeitpläne<br />
zwischen den Peers und der zu evaluierenden Einheit abgestimmt sowie relevante Unterlagen,<br />
insbesondere der Selbstbericht sowie Verträge zur Durchführung des Peer Reviews, ausgetauscht<br />
werden (Gutknecht-Gmeiner et al., 2007, S. 16–18).<br />
2.3.2.4.2 Zweite Phase: Peer Besuch<br />
Im nächsten Schritt erfolgt der eigentliche Peer Besuch (Gutknecht-Gmeiner et al., 2007, S. 20–27),<br />
in dem die Peers, aufgrund von Interviews, Gruppendiskussionen sowie Beobachtungen, weitere<br />
Daten erheben, um die Angaben des Selbstberichts zu ergänzen und zu überprüfen. Diese kurze<br />
und verdichtete Evaluierung verfolgt das Ziel, „möglichst viele Informationen von den verschiedenen<br />
Gruppen an Betroffenen und Beteiligten zu erhalten“ (Gutknecht-Gmeiner et al., 2007, S. 20). Integrierte<br />
Personen für diese Befragung setzt die Berufsbildungseinrichtung fest (Gutknecht-Gmeiner<br />
et al., 2007, S. 20). Ergebnisse der Begehung, eventuell auch Stärken und Verbesserungspotenziale<br />
sowie Schlussfolgerungen, werden anhand des Selbstberichts sowie der Gespräche während des<br />
Schulbesuchs in Form einer professionellen Beurteilung durch die Peers ermittelt und der Berufsbildungseinrichtung<br />
erstmalig in einer Feedback-Sitzung mitgeteilt (Gutknecht-Gmeiner et al., 2007,<br />
S. 22). Das abschließende Treffen, an dem alle Peers teilnehmen sollten, steht am Ende des Peer<br />
Besuchs und ist von hoher Relevanz für das Verfahren, da die evaluierte Schule hierbei die Möglichkeit<br />
hat, die Ergebnisse zu kommentieren. Eine hohe Beteiligung von Seiten der Bildungseinrichtung<br />
kann dazu beitragen, die Wirksamkeit des Verfahrens zu erhöhen, da Betroffene hierbei über den<br />
Peer Review Prozess informiert und die Ergebnisse direkt rückgemeldet werden, was zu einem<br />
höheren Bewusstsein für Probleme führen kann (Gutknecht-Gmeiner et al., 2007, S. 26).<br />
2.3.2.4.3 Dritte Phase: Peer Review Bericht<br />
Die Erkenntnisse der Evaluierung werden von den Peers in einem abschließenden Peer Review<br />
Bericht schriftlich festgehalten (Gutknecht-Gmeiner et al., 2007, S. 28 f.), der, mit Blick auf die<br />
Gewährleistung von Transparenz und Kontinuität, eine ähnliche Struktur zum Selbstbericht und eine<br />
Bewertung der Ergebnisse durch die Peers aufweist. Das <strong>Dokument</strong> enthält sowohl Stärken als auch<br />
Schwächen der Schule, auf Wunsch außerdem Verbesserungspotenziale sowie Schlussfolgerungen.<br />
Auch hier hat die evaluierte Bildungseinrichtung die Möglichkeit, Rückmeldungen in einem ersten<br />
Entwurf zu validieren.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
„Alle relevanten internen Anspruchsgruppen (Lehrende, SchülerInnen, nicht-lehrendes Personal etc.)<br />
sollten Zugang zu diesem Bericht erhalten“ (Gutknecht-Gmeiner et al., 2007, S. 28), um einen hohen<br />
Informationsgrad der Beteiligten in Verbindung mit der notwendigen Motivation für die Nachbereitung<br />
des Verfahrens zu erzielen.<br />
2.3.2.4.4 Vierte Phase: Umsetzung von Maßnahmen<br />
Die vierte Phase, die Interpretation von Evaluationsergebnissen und die damit verbundene Ableitung<br />
von Zielen und Maßnahmen, ist für Bildungseinrichtungen eine der größten Herausforderungen (Gutknecht-Gmeiner<br />
et al., 2007, S. 30). Die Implementierung von Veränderungen ist allerdings notwendig,<br />
um eine „systematische, kontinuierliche und nachhaltige Qualitätsverbesserung“ (Gutknecht-<br />
Gmeiner et al., 2007, S. 30) erzielen zu können. In diesem Schritt liegt ein entscheidendes Moment<br />
für die Wirksamkeit des Verfahrens, da daraus resultierende Ziele und Maßnahmen zum einen den<br />
Aufwand des Peer Reviews rechtfertigen und zum anderen zur Zielerreichung, einer Förderung von<br />
Qualitätssicherung und -entwicklung beitragen.<br />
Bereiche der evaluierten Einheit, die Möglichkeiten für Veränderungen bieten, werden während der<br />
Feedback-Sitzung sowie im Peer Review Bericht aufgezeigt und anhand einer interaktiven Kommunikation<br />
zwischen den Peers und der Berufsbildungseinrichtung reflektiert. Prägnante Informationen<br />
zu möglichen Verbesserungsmaßnahmen erleichtern eine erste Interpretation der Ergebnisse (Gutknecht-Gmeiner<br />
et al., 2007, S. 30). Die Verarbeitung der Ergebnisse soll als systematischer Prozess,<br />
mit Hilfe einer offenen Kommunikation und Diskussion sowie unter Einbeziehung aller Beteiligten, auf<br />
einem Qualitätszyklus basieren, der folgende Schritte beinhaltet:<br />
1. Schritt: An das Peer Review anschließende Maßnahmen sollten in einer gemeinsamen Planung<br />
mit allen Beteiligten der Bildungseinrichtung getroffen werden, um eine hohe Bereitschaft und<br />
Motivation zur Veränderung zu erzielen. Im ersten Schritt der Verarbeitung von Ergebnissen werden<br />
Qualitätsziele, sowohl auf strategischer als auch auf operativer Ebene, revidiert (Gutknecht-<br />
Gmeiner et al., 2007, S. 30), um einen systematischen Aufbau der Ziele zu erreichen.<br />
2. Schritt: Anhand der überarbeiteten Ziele sind erforderliche Ressourcen und Unterstützungen<br />
abzuklären, die für eine Umsetzung des Maßnahmenplanes notwendig sind (Gutknecht-Gmeiner<br />
et al., 2007, S. 31).<br />
3. Schritt: Auf dieser Basis ist ein Maßnahmen- und Zeitplan zu erarbeiten, der in den Gesamtentwicklungsprozess<br />
der Schule zu integrieren ist (Gutknecht-Gmeiner et al., 2007, S. 31), um eine<br />
tatsächliche Umsetzung der Ergebnisse anhand der erarbeiteten Termine und eine zielgerichtete<br />
Weiterentwicklung der Gesamteinrichtung zu erreichen. Der Maßnahmenplan wird anhand einzelner<br />
Maßnahmen schrittweise umgesetzt (Gutknecht-Gmeiner et al., 2007, S. 32).<br />
4. Schritt: Abschließend erfolgt eine Evaluierung der umgesetzten Maßnahmen, um eine Zielerreichung<br />
zu überprüfen und einen kontinuierlichen Qualitätsverbesserungsprozess, eventuell durch<br />
ein erneutes Peer Review, beizubehalten (Gutknecht-Gmeiner et al., 2007, S. 32).<br />
87
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
88<br />
2.3.2.5 Pilotversuch an berufsbildenden Schulen im Rahmen der österreichischen Qualitätsinitiative<br />
Berufsbildung (QIBB)<br />
Um eine Übertragbarkeit des europäischen Peer Reviews auf österreichische Schulen zu prüfen,<br />
beauftragte ARQA-VET das Österreichische Institut für Berufsbildungsforschung (öibf), im Rahmen<br />
einer Machbarkeitsstudie eine Adaptierung des europäischen Peer Review Verfahrens an die<br />
Erfordernisse österreichischer berufsbildender Schulen sowie erforderliche Rahmenbedingungen,<br />
Voraussetzungen und Unterstützungsleistungen für eine Implementierung auf nationaler Ebene zu<br />
klären (Gutknecht-Gmeiner, 2009, S. 7). Parallel dazu beauftragte die Sektion II Berufsbildung des<br />
Bundesministeriums für Unterricht, Kunst und Kultur (BMUKK) das öibf im Frühjahr 2008 mit der<br />
Durchführung einer österreichischen Pilotstudie, um die praktische Umsetzung des Peer Reviews zu<br />
untersuchen (Gutknecht-Gmeiner, 2009, S. 13). Im Rahmen dieser Pilotstudie haben sieben österreichische<br />
berufsbildende Schulen ein Peer Review Verfahren durchgeführt:<br />
• BAKIP Klagenfurt<br />
• HAK Steyr<br />
• HAK Wörgl<br />
• HLW Schrödinger (Graz)<br />
• HTL Grieskirchen<br />
• HTL Mössingerstraße (Klagenfurt)<br />
• Tiroler Fachberufsschule für Elektrotechnik, Kommunikation & Elektronik (Innsbruck).<br />
Im Anschluss an die Pilotstudie erfolgte im Herbst 2009 die Entwicklung des ‚Peer Review in QIBB<br />
Verfahrens‘ als freiwilliges externes Evaluationsverfahren im Rahmen der Qualitätsinitiative Berufsbildung<br />
(QIBB), das von der österreichischen Referenzstelle für Qualität in der Berufsbildung, ARQA-<br />
VET, koordiniert wird.<br />
2.4 Wirksamkeit externer Evaluationen<br />
In Kapitel 2.3 wurden die Qualitätsmanagementsysteme Q2E, QmbS, NQS sowie QIBB vorgestellt.<br />
Fraglich ist, ob diese Systeme bzw. deren externe Evaluationen wirksam sind und Bildungseinrichtungen<br />
auf deren Basis ihre Qualität verbessern bzw. den kontinuierlichen Prozess der Qualitätsentwicklung<br />
weiter ausdifferenzieren und optimieren können. Aus diesem Grund wird der Begriff<br />
‚Wirksamkeit‘ näher betrachtet sowie verschiedene Modelle bzw. empirische Untersuchungen zur<br />
Wirksamkeit vorgestellt.<br />
2.4.1 Definition des Begriffs Wirksamkeit<br />
Der Wirkungsbegriff hat in der Evaluationsforschung eine große Bedeutung. Übergreifend kann in<br />
diesem Zusammenhang zwischen intendierten (geplanten) und nicht-intendierten (ungeplanten) Wirkungen<br />
differenziert werden, die mit Blick auf die Erreichung gesetzter Ziele sowohl positiv als auch
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
negative Folgen nach sich ziehen können (Stockmann, 2010, S. 70). lanDWehr unterscheidet hierbei<br />
hinsichtlich der Wirkungen als „beabsichtigte und unbeabsichtigte Effekte, die durch die Schulevalu-<br />
ation erzeugt werden“ (Landwehr, 2011, S. 36) und der Wirksamkeit, eine „Eigenschaft/Fähigkeit von<br />
bestimmten Faktoren bzw. Massnahmen, die beabsichtigten Wirkungen auch tatsächlich hervorzurufen“<br />
(Landwehr, 2011, S. 36). Grundsätzlich werden Effekte durch eine Veränderung von Strukturen,<br />
Prozessen oder individuellen Verhaltensweisen erzielt (Stockmann, 2010, S. 70), die sich schließlich<br />
im Übergang von der Datenauswertung zur Implementierung weiterer Schulentwicklungsaspekte<br />
ergeben. Unterstützt werden diese Entwicklungen durch klare Aufgabenverteilungen, Zuständigkeiten,<br />
Verbindlichkeiten und Fachwissen innerhalb der Einrichtung. Ein weiterer begünstigender Faktor<br />
bildet eine lernorientierte Ausrichtung des Qualitätsmanagements bzw. Evaluationsprojekts, die in<br />
Bezug auf die Wirksamkeit positive Effekte mit sich bringt (Capaul, 14.12.2009). Nachhaltige Wirkung<br />
kann dabei erzielt werden, wenn alle Beteiligten professionell arbeiten (Brägger et al., 2005, S. 51<br />
f.). Die Art der Effekte von Evaluationen hängen davon ab, welche Grundeinstellung die betroffenen<br />
Personen haben und in welcher Form die Evaluation durchgeführt wird (Schweizerische Konferenz<br />
der kantonalen Erziehungsdirektoren, 2008, S. 25). Übergreifend lassen sich folgende Wirkungen bei<br />
Evaluierten wie Auftraggebern feststellen:<br />
• Anstoß zu Verbesserungen und Innovationen<br />
Evaluationen, die hauptsächlich zur Weiterentwicklung der Bildungseinrichtung dienen, sind<br />
meist von geplanten, umfassenden und anhaltenden Umsetzungsmaßnahmen mit innovativem<br />
Charakter gekennzeichnet<br />
• Anlass für einzelne spontane Sofortmaßnahmen<br />
Evaluationen, die zur Überprüfung und Kontrolle klarer Vorgaben konzipiert sind, führen durch<br />
eilige Beschlüsse und Maßnahmen als Antwort auf die Evaluationsergebnisse häufig zu spontanen<br />
Sofortmaßnahmen<br />
• Auslöser von Alibi-Reaktionen<br />
Evaluationen, die zur Legitimation und zur Bestätigung bereits bekannter Erkenntnisse eingesetzt<br />
werden, führen oftmals zu oberflächlichen und partiellen Nachbesserungen bei Beteiligten<br />
oder in der Bildungseinrichtung selbst<br />
• Auslöser von Abwehr und Blockade<br />
Evaluationen, die bei der evaluierten Bildungseinheit auf Ablehnung stoßen oder zur Überprüfung<br />
dienen und keine Weiterentwicklungsmöglichkeiten bieten, implizieren teilweise<br />
Einstellungen der Abwehr- und Rechtfertigung (Schweizerische Konferenz der kantonalen<br />
Erziehungsdirektoren, 2008, S. 25).<br />
Im Bereich der Wirksamkeitsforschung werden auch häufig die Begriffe ‚Nutzen‘ bzw. ‚Nützlichkeit‘<br />
verwendet. So unterscheiden hoSenFelD & GroSS ophoFF in diesem Zusammenhang zwischen der<br />
‚tatsächlichen Nutzung‘ von Evaluationsergebnissen und dem ‚wahrgenommenen Nutzen‘ von Evaluationen,<br />
wobei „[...] eine hohe wahrgenommene Nützlichkeit zu einer intensiven Nutzung führt“<br />
89
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
90<br />
(Hosenfeld et al., 2007, S. 352). Eine hohe wahrgenommene Zweckmäßigkeit einer Evaluation ist also<br />
eine Voraussetzung für die weitere intensive Nutzung von Ergebnissen, da „[...] die Rückmeldung von<br />
extern ermittelten Ergebnissen nicht automatisch [mit] den gewünschten Veränderungsprozessen<br />
[...]“ verbunden ist (Hosenfeld et al., 2007, S. 352). Evaluationen ohne nachhaltige Wirkung werden<br />
als Fehlinvestitionen bezeichnet (Brägger et al., 2005, S. 51). Aus diesem Grund sind ermittelte<br />
Ergebnisse des Verfahrens in die Prozesse der schulischen Qualitätssicherung und -entwicklung,<br />
also in das vorhandene Qualitätsmanagementsystem (vgl. 2.1.2.1.2) zu integrieren, um Fortschritte<br />
in der Qualitätsarbeit sowie eine Beseitigung von Qualitätsdefiziten erzielen zu können. In diesem<br />
Zusammenhang fokussiert keller bei der Frage nach der Wirksamkeit von Schulevaluation im<br />
Bereich der Schulentwicklung zwei Ebenen, die Bewertung von Schulentwicklungs- sowie Qualitätsentwicklungsprozesse<br />
in regelmäßigen Abständen (Keller, 2007, S. 90).<br />
lanDWehr verdeutlicht, dass der wahrgenommene Erfolg der externen Evaluation von der Differenz<br />
zwischen Wirkungserwartung und effektiv erzeugter Wirkung abhängt und die Frage der Nachhaltigkeit<br />
wirksamkeitsspezifisch angegangen werden muss, da in jedem Bereich Einflussfaktoren unterschiedlich<br />
zu bewerten sind (Landwehr, 2. Juli 2010). Eine Bedingung für eine Wirksamkeitsanalyse<br />
ist die vorangehende Definition von Zielen der Evaluation, da diese, mit Blick auf die Nachhaltigkeit,<br />
die Ausgangsbasis für eine anschließende Bewertung darstellen. Die Nachhaltigkeit an sich kann<br />
insgesamt positiv und negativ auswirken, wobei diese „[...] im Hinblick auf einen förderlichen oder<br />
hinderlichen Einfluss auf die Zielerreichung zu betrachten [ist]“ (Husfeldt, 2. Juli 2010). Für die Analyse<br />
der Wirksamkeit ist die Definition von Absicht und Erkenntnisinteresse von zentraler Bedeutung.<br />
„Wirksam ist eine Massnahme – in diesem Fall die externe Schulevaluation – dann, wenn sie einen<br />
Prozess so beeinflusst, dass gewünschte Ziele erreicht werden können“ (Husfeldt, 2010, S. 3),<br />
indem ein Soll-Ist-Vergleich durchgeführt wird. Eine Verringerung der Differenz zwischen Soll- und<br />
Istzustand von Qualitätsindikatoren begründet die Nützlichkeit externer Evaluationen und bedeutet<br />
ein Voranschreiten innerhalb der Schulentwicklung (vgl. 2.1.2.1.3). Letztendlich repräsentiert eine<br />
Erhöhung der Schul- und Unterrichtsqualität die Wirksamkeit der externen Verfahren, die primär<br />
durch die Definition und Implementierung von Folgemaßnahmen erzielt wird. kromrey betont in<br />
diesem Zusammenhang, dass eine Maßnahme nicht nur auf ein Ziel wirkt und ein Ziel nicht nur durch<br />
eine Maßnahme zu erreichen ist, da die Wirkungen nicht zeitgleich eintreten (Kromrey, 1995, S. 327).<br />
Mit Blick auf die vorliegende Analyse werden die Indikatoren der Wirksamkeit weiter gefasst, indem<br />
neben (a) den erarbeiteten Verbesserungsvorschlägen der EvaluatorInnen auch die (b) Zufriedenheit/<br />
Akzeptanz mit dem Verfahren sowie (c) schulische Innovationen berücksichtigt werden. Darüber<br />
hinaus bilden (d) Veränderungen des Outputs und (e) langfristige Wirkungen der Schule weitere<br />
Hinweise auf die Nützlichkeit externer Evaluationen. Diese Faktoren werden anhand des zugrundeliegenden<br />
Modells in Kapitel 2.4.4 näher erläutert.<br />
2.4.2 Modelle zur Wirksamkeit externer Evaluationen<br />
Im Folgenden werden Modelle zur Untersuchung der Wirksamkeit und bereits durchgeführte<br />
empirische Untersuchungen vorgestellt. Hierfür sind eingehende Recherchen in den Datenbanken<br />
‚FIS-Bildung‘ und ‚ERIC‘ sowie in allgemeinen Suchmaschinen, beispielsweise google, zu den
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Schlagwörtern ‚Evaluation‘ und ‚Wirkung‘ sowie ‚school inspection‘ und ‚impact‘ bzw. ‚improvement‘<br />
durchgeführt worden. Darüber hinaus erfolgte die Teilnahme an verschiedenen Tagungen zu diesem<br />
Thema im In- und Ausland.<br />
huSFelDt erläutert, dass die Frage hinsichtlich der Wirkungen externer Evaluation „[...] auch in<br />
deutschsprachigen Ländern in den letzten zehn Jahren mehr und mehr in das Interessenblickfeld<br />
empirischer Forschung getreten [ist]“ (Husfeldt, 2011, S. 13). Allerding stehen derzeit nur wenig<br />
brauchbare Modelle zur Verfügung, die einer Untersuchung der Wirksamkeit externer Evaluationen<br />
dienen (Husfeldt, 2010, S. 3). In den vorliegenden Modellen werden Voraussetzungen, Einflussfaktoren<br />
und Folgen in unterschiedlicher Gewichtung berücksichtigt (Hosenfeld et al., 2007, S. 352), die<br />
gegenseitig in unmittelbarer Abhängigkeit zueinander stehen.<br />
reeziGt & creemerS präsentierten 2005 ein Modell, das im Rahmen eines Projekts zur effektiven<br />
Schulentwicklung (Effective School Improvement) zusammen mit Experten unterschiedlicher Länder<br />
auf der Grundlage von Theorien und ergänzenden Fallanalysen konzipiert wurde. Das Wirkungsmodell<br />
sieht die Erfüllung von Bedingungen auf unterschiedlichen Ebenen als Voraussetzung für eine<br />
Erreichung effektiver Schulqualität vor (Reezigt & Creemers, 2005, S. 407–408, 413). Das Modell<br />
unterscheidet zwischen externen und internen Bedingungen. Externe Bedingungen beinhalten<br />
den Druck zur Entwicklung, Ressourcen zur Entwicklung und Bildungsziele (Reezigt et al., 2005,<br />
S. 409–413). Diese werden in der folgenden Abbildung weiter spezifiziert.<br />
Tabelle 2: Externe Bedingungen der effektiven Schulentwicklung nach reeziGt & creemerS (2005, S. 409)<br />
Pressure to improve<br />
• Market mechanisms<br />
• External evaluation and<br />
accountability<br />
• External agents<br />
• Participation of society in<br />
education/societal changes/educational<br />
policies<br />
which stimulate change<br />
Resources/support for<br />
improvement<br />
• Autonomy granted to<br />
schools<br />
• Financial resources and<br />
favourable daily working<br />
conditions<br />
• Local support<br />
Educational goals<br />
• Formal educational goals in<br />
terms of student outcomes<br />
Daneben beziehen sich die internen Bedingungen auf die Entwicklungskultur, den Entwicklungsprozessen<br />
und Entwicklungsergebnissen (Reezigt et al., 2005, S. 414–421), die im Folgenden detailliert<br />
dargestellt werden.<br />
91
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
92<br />
Tabelle 3: Interne Bedingungen der effektiven Schulentwicklung nach reeziGt & creemerS (2005, S. 414)<br />
Improvement culture Improvement processes<br />
• Internal pressure to improve<br />
• Autonomy used by schools<br />
• Shared vision<br />
• Willingness to become a learning<br />
organization/ a reflective practitioner<br />
• Training and collegial collaboration<br />
• Improvement history<br />
• Ownership of improvement,<br />
commitment and motivation<br />
• Leadership<br />
• Staff stability<br />
• Time for improvement<br />
• Assessment of improvement<br />
needs<br />
• Diagnosis of improvement<br />
needs<br />
• Phrasing of detailed<br />
improvement goals<br />
• Planning of improvement<br />
activities<br />
• Implementation of<br />
improvement plans<br />
• Evaluation<br />
• Reflection<br />
Improvement<br />
outcomes<br />
• Changes in the<br />
quality of the school<br />
• Changes in the<br />
quality of the<br />
teachers<br />
• Changes in<br />
the quality of<br />
student outcomes<br />
(knowledge, skills,<br />
and attitudes)<br />
Auf der Basis der Ausprägungen dieser Variablen kann die Wirksamkeit einer externen Evaluation mit<br />
Blick auf eine Schulentwicklung überprüft werden (Reezigt et al., 2005, S. 408). Zu Beginn eines Entwicklungsprozesses<br />
sind die Bedürfnisse und ihre Begründungen klar zu definieren. Im Folgenden<br />
werden die Ziele weiter ausdifferenziert und konkretisiert sowie Indikatoren zur Erfolgsüberprüfung<br />
festgelegt. Danach erfolgt nach der Planung der Aktivitäten die Implementierung der Projekte. In<br />
einem letzten Schritt wird mit Hilfe der Indikatoren die Erreichung der vorab definierten Ziele überprüft,<br />
die durch eine Selbstevaluation oder eine externe Evaluation erfolgen kann.<br />
Übergreifend werden zwei Zielaspekte im Entwicklungsprozess unterschieden. Einerseits betreffen<br />
dies Ziele des Schüleroutcomes, die im Repertoire von Wissen über Fähigkeiten und Einstellungen<br />
bis hin zu Verhalten erfolgen können. Andererseits beziehen sich die Ziele auf Veränderungen, die<br />
innerhalb der Schulorganisation, dem Lehrerverhalten oder eingesetzten Materialien festzustellen<br />
sind. Ausschlaggebend ist hierbei der Schüleroutcome, wobei eine Veränderung als Anzeichen für<br />
einen zukünftigen Schüleroutcome gewertet werden kann (Reezigt et al., 2005, S. 421).<br />
Ein weiteres Rahmenmodell konzipierten ehren & ViSScher 2006 auf der Basis der Theorie, dass<br />
Schulentwicklung bzw. -verbesserung durch Inspektionen erreicht wird. Bei der Konzeption wurde<br />
Literatur hinsichtlich einer Vielzahl von direkten und indirekten Interventionen berücksichtigt, was zu<br />
einem Modell führte, das Beziehungen/Reaktionen zwischen Arbeitsmethoden von Schulinspektionen,<br />
Reaktionen der Schulen und resultierende Effekte sowie Nebeneffekte berücksichtigt (Ehren et<br />
al., 2006, S. 51). Die Konzeption stellt kein Idealmodell der Schulentwicklung dar, sondern modelliert<br />
auch unerwünschte Effekte der externen Evaluation. In diesem Zusammenhang werden Merkmale<br />
des Schulinspektionsprozesses als Eingangsbedingungen definiert, die in der Bildungseinrichtung<br />
unterschiedliche Reaktionen auslösen. Diese hängen wiederum von innerschulischen Merkmalen<br />
und externen Impulsen sowie Unterstützungsmaßnahmen ab, die schließlich zum Resultat, den<br />
erwünschten und unerwünschten Wirkungen führen (Ehren et al., 2006, S. 58–67).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Abbildung 16: Wirkungsmodell externer Schulevaluation nach ehren & ViSScher (Ehren et al., 2006, S. 66)<br />
Ein Schulentwicklungsprozess kann im vorangehenden Modell anhand der Ausprägung der verschiedenen<br />
Variablen unterschiedliche Wirkungen auslösen. Diese Faktoren bestehen einerseits aus dem<br />
wechselseitigen Vertrauen während des Evaluationsprozesses, das eine offene Informationspolitik<br />
93
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
94<br />
zwischen allen Beteiligten, sowohl auf der Seite der Schule als auch im Bereich des Evaluationsteams,<br />
vorsieht (Ehren et al., 2006, S. 58 ff.). Ein weiteres Merkmal des Inspektionsprozesses bedeutet die<br />
Art des Feedbacks an die Bildungseinrichtung. Hierbei wird einerseits zwischen weniger innovativen<br />
Schulen bzw. Schulen mit geringerem Innovationspotential und externalen Impulsen unterschieden,<br />
die direkte Ansätze im Bereich von Stärken-Schwächen-Analysen sowie Möglichkeiten zur Schulentwicklung<br />
und -verbesserung erhalten. Andererseits empfehlen Ehren & Visscher Schulen, die<br />
einen hohen Innovationsgrad und starke externale Impulse aufweisen, eher indirekte Ansätze zur<br />
weiteren Entwicklung aufzuzeigen (Ehren et al., 2006, S. 66–67). Das Modell berücksichtigt darüber<br />
hinaus auch Faktoren, die eine erfolgreiche Durchführung einer Schulinspektion bedingen, um unerwünschte<br />
Effekte oder Reaktionen vorzubeugen. Dies ist beispielsweise durch die Integration des<br />
Schulpersonals zu erzielen (Ehren et al., 2006, S. 67 ff.).<br />
huSFelDt stellt in ihrem Vortrag während der ARGEV-Tagung am 2. Juli 2010 die beiden Wirkungsmodelle<br />
gegenüber und erläutert, dass beide Konzepte die Entwicklungsfunktion berücksichtigen.<br />
Allerdings sind die Funktionen der Erkenntnisgewinnung, Rechenschaftslegung und Normendurchsetzung<br />
nur sekundär integriert. In diesem Zusammenhang verdeutlicht huSFelDt, dass die Entwicklung<br />
von umfassenden Modellen und geeigneter messbarer Indikatoren erforderlich sind, um die<br />
Wirkungen und Wechselwirkungen auf die verschiedenen Funktionsbereiche zu berücksichtigen. Als<br />
Basis könnte hierfür das Modell von lanDWehr dienen (vgl. 2.2.3.5) (Husfeldt, 02.07.2010).<br />
böttcher bezieht sich in seinen Untersuchungen zur Wirkung von Schulinspektion auf das Modell von<br />
krüGer & petry (Böttcher & Keune, 2011, S. 133 ff.), das auf Erkenntnissen der Organisationsforschung<br />
beruht und einen Wandlungsprozess in einzelne Phasen gruppiert, die typischerweise während eines<br />
Wandels von einer Organisation absolviert werden. Demnach gliedert sich ein Wandlungsprozess in<br />
die fünf Phasen Initialisierung, Konzipierung, Mobilisierung, Umsetzung und Verstetigung, die dem<br />
Modell zugrunde liegen und den Rahmen für die Ausgestaltung der Aufgaben des Wandlungsmanagements<br />
bilden (Krüger & Petry, 2005, S. 13 f.). Das Ergebnis des Wandels wird dabei von jeder<br />
einzelnen Phase beeinflusst, wobei Störungen negativen Einfluss ausüben.<br />
Abbildung 17: Phasen und idealtypische Aufgaben des Wandlungsmanagements nach Krüger (Krüger<br />
et al., 2005, S. 14)
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
böttcher überträgt die einzelnen Phasen auf die Schulinspektion und den anschließenden Entwick-<br />
lungsprozess, da Schulen ebenfalls als Organisationen verstanden werden. Der Wandlungsprozess<br />
wird in diesem Zusammenhang als Schulentwicklung definiert, die von der Qualität des Durchlaufens<br />
der einzelnen Phasen beeinflusst wird (Böttcher, Keune & Neiwert, 2010, S. 26).<br />
Abbildung 18: Strukturierungsmodell nach Böttcher zur Schulentwicklung nach einer Schulinspektion<br />
(Böttcher et al., 2010, S. 27)<br />
Zu Beginn des Prozesses, der ‚Initialisierung‘, ist eine Identifikation und verbindliche Festlegung<br />
eines sachlich notwendigen Wandels erforderlich. Im Bereich der Schulinspektion erfolgt dies<br />
anhand der Ermittlung von Stärken und Schwächen der Bildungseinrichtung, die eine Grundlage für<br />
mögliche Veränderungen bilden. Die Kommunikation der Evaluationsergebnisse, die Akzeptanz des<br />
Verfahrens sowie die Einschätzung der Lehrkräfte über eine valide Beurteilung der Schule nehmen<br />
Einfluss auf die Definition und Initiierung von Folgemaßnahmen. In der folgenden Phase der ‚Konzipierung‘<br />
werden Ziele für das weitere Vorgehen und konkrete Maßnahmenpläne erarbeitet, um den<br />
Wandlungsbedarf abdecken zu können. Im Folgenden erfolgt eine ‚Mobilisierung‘ der Lehrkräfte,<br />
um in einer weiteren Phase die ‚Umsetzung‘ der entwickelten Ziele zu realisieren. Schließlich wird im<br />
letzten Schritt, der ‚Verstetigung‘, des Wandlungsprozesses überprüft, in dem Ziele und eventuelle<br />
Weiterentwicklungen reflektiert werden und wandlungshemmende oder -fördernde Aspekte identifiziert<br />
werden (Böttcher et al., 2010, S. 28–29).<br />
95
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
96<br />
lanDWehr erläutert während seines Vortrags im Rahmen der ARGEV-Tagung in Baden, dass die<br />
Frage nach der Wirksamkeit einer Maßnahme bzw. eines Projekts ‚wirksamspezifisch‘ anzugehen<br />
ist, da in den Bereichen des Bildungswesens jeweils unterschiedliche Faktoren zugrunde liegen und<br />
vorab eine Klärung der Wirkungsintention erforderlich ist (Landwehr, 02.07.2010). Die vorangehenden<br />
Modelle zur Untersuchung der Wirksamkeit externer Evaluationen werden einer umfassenden<br />
Betrachtungsweise nicht gerecht, da sowohl die Akzeptanz der am Verfahren beteiligten Personen<br />
als auch die Veränderung der Leistungen von SchülerInnen zu berücksichtigen sind. Es steht im<br />
Vordergrund, neben den Weiterentwicklungsmöglichkeiten der Verfahren auch Reaktionen der<br />
Bildungseinrichtungen im Sinne von Folgemaßnahmen zu untersuchen. Aus diesem Grund wird für<br />
die zugrundeliegende Wirkungsanalyse ein eigenes Modell entwickelt, das in Kapitel 2.4.4 weiter<br />
erläutert wird.<br />
2.4.3 Empirische Untersuchungen zur Wirksamkeit externer Evaluationen<br />
kotthoFF, der das englische und schwedische Evaluationssystem untersuchte, verdeutlicht, dass<br />
eine ‚gute‘ schulische Evaluation nicht Wirkungen im allgemeinen Sinn, sondern optimierende Wirkungen<br />
auf eine Schule zu zeigen hat, indem „[...] sie einen Beitrag zur Optimierung von Schulen zu<br />
leisten vermag“ (Kotthoff, 2003, S. 350). Hierbei werden beabsichtigte und tatsächliche Wirkungen<br />
unterschieden. Im ersten Fall handelt es sich um definierte Ziele, die der Evaluation zugrunde liegen.<br />
Im Gegensatz dazu beinhalten tatsächliche Wirkungen Effekte der Evaluation, die empirisch<br />
nachzuweisen sind und die Bildungseinrichtung als Ganzes umfassen. Insbesondere in Schulen<br />
und Schulsystemen wird allerdings eine Diskrepanz zwischen Intention und Wirkung der Evaluation<br />
prognostiziert, da eine Bildungseinrichtung ein komplexes soziales System darstellt und die Evaluation<br />
Ziele verfehlen sowie unbeabsichtigte Nebenwirkungen oder kontraproduktive Effekte zur Folge<br />
haben kann (Kotthoff, 2003, S. 351–375). Ein weiteres Merkmal einer ‚guten‘ schulischen Evaluation<br />
stellt eine günstige und effektive Kosten-Nutzen-Relation dar, in dem die Kosten, die personalen,<br />
sachlichen, finanziellen und emotionalen Aufwand beinhalten, in einem effizienten Verhältnis zur tatsächlichen<br />
Wirkung stehen (Kotthoff, 2003, S. 350 f.). kotthoFF stellt in seiner internationalen Studie<br />
fest, dass eine „[...] mögliche Steigerung der qualitätsoptimierenden Wirksamkeit der schulischen<br />
Evaluation in entscheidendem Maße davon abhängt, ob und inwieweit es gelingen wird, Schulen<br />
und Lehrer von der Nützlichkeit der schulischen Evaluation nicht nur zu überzeugen, sondern ihre<br />
Nützlichkeit in der alltäglichen Berufspraxis der Lehrer erfahrbar und ‚spürbar‘ zu machen“ (Kotthoff,<br />
2003, S. 415). Derzeit vorliegende Studien im Bereich der Wirksamkeitsforschung externer Evaluationen<br />
wurden bereits von huSFelDt analysiert und hinsichtlich ihrer Zielrichtung in drei Typen gruppiert<br />
(Husfeldt, 2011, S. 14 ff.):<br />
Typ 1 – Akzeptanzstudien<br />
Diese Studien beziehen sich auf die Einstellungen und Reaktionen der Akteure zur externen Evaluation<br />
und erfassen Wirksamkeitserwartungen oder -vermutungen. Im Rahmen verschiedener Unter-<br />
suchungen befragten FiDler, ouSton & earley Lehrpersonen zur Wirksamkeit der externen Evaluation<br />
in Bezug auf die Schulentwicklung. Im Ergebnis wurde ermittelt, dass erhaltenes Feedback als<br />
wichtiger Impuls für die weitere Qualitätsentwicklung eingeschätzt wird (Fidler, Ouston & Earley,
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
1994; Fidler, Earley & Ouston, 1995). Weitere Analysen befassen sich mit der Beziehung zwischen<br />
EvaluatorInnen und den Akteuren einer betroffenen Schule, die überwiegend positiv eingeschätzt<br />
wird (Wilcox & Gray, 1996; Brimblecombe et al., 1996; Kogan & Maden, 1999; McCrone et al., 2006).<br />
Allerdings kann während der Verfahren auch ein erhöhter Druck auf die Lehrpersonen festgestellt<br />
werden (Brimblecombe et al., 1996). In Bezug auf die Ofsted-Inspektion werden verschiedene Ergebnisse<br />
über die Wirksamkeit ermittelt (Husfeldt, 2011, S. 15). Das Ofsted-Konzept (Office for Standards<br />
in Education), das zur Schulinspektion in England eingesetzt wird, kritisieren hopkinS et al., da das<br />
Verfahren „die wahre Natur von Schulentwicklung“ nicht erfasst und eine zu starke Fokussierung<br />
auf Verantwortlichkeiten der einzelnen Beteiligten erfolgt sowie übergreifend eine Verbesserung der<br />
Schulen auf der Basis der Schulinspektion nicht belegt werden kann (Hopkins, West & Skinner, 1995,<br />
S. 338, 345). Weitere Studien belegen, dass Eltern im Gegensatz zu Schulleitenden das größte Vertrauen<br />
in die Wirksamkeit der externen Evaluation in Bezug auf die Bildungsqualität, die Standards<br />
und das Finanzmanagement aufweisen. Mit Blick auf einen lohnenden Aufwand des Verfahrens<br />
konnte in Untersuchungen eine eher negative Einschätzung von Seiten der Schulleitenden festgestellt<br />
werden (Kogan & Maden, 1999; Cuckle & Broadhead, 1999). Andere Untersuchungen wiederum<br />
belegten das Gegenteil, in dem die Ofsted-Inspektionen als hilfreich und ertragreich eingeschätzt<br />
wurden (Fitz-Gibbon & Stephenson-Forster, 1999). Darüber hinaus sind in Studien Veränderungen im<br />
Unterricht beleuchtet worden, die nach chapmann eine Schulentwicklung darstellen. Hierbei konnte<br />
nur wenig Bereitschaft von Seiten der Lehrpersonen festgestellt werden, nach der externen Evaluation<br />
den Unterricht zu ändern (Chapman, 2001). Diese Thematik untersuchten auch brimblecombe,<br />
ormSton & ShaW im Rahmen einer Studie zu den Ofsted Inspektionen. In diesem Zusammenhang<br />
konnte eine Bereitschaft zur Änderung der Unterrichtspraxis von über einem Drittel der Lehrkräfte<br />
ermittelt werden (Brimblecombe et al., 1995). huSFelDt erläutert, dass die erste Wirksamkeitsstudie<br />
in Deutschland in 2009 von Gärtner, hüSemann & pant durchgeführt wurde. Diese Untersuchung<br />
stellt fest, dass während der Evaluationen versucht wird, den schulischen Alltag zu repräsentieren<br />
und keine ‚Show-Stunden‘ abzuhalten (Gärtner et al,. 2009). Dieser Sachverhalt kann in England<br />
nicht diagnostiziert werden (Husfeldt, 2011, S. 15–17). Gray & GarDner analysierten in einer weiteren<br />
Untersuchung die Meinung der Schulleitungen, die das Schulinspektionsprogramm als professionell<br />
und unterstützend wahrnehmen. Ferner stellen die Autoren eine generelle Akzeptanz der externen<br />
Evaluation fest, wobei die Lehrerschaft dem Verfahren ängstlich gegenüber tritt und die Rechtfertigung<br />
umstritten bleibt (Gray & Gardner, 1999, S. 464–467).<br />
Typ 2 – Studien zu Maßnahmen<br />
Diese Studien erheben Folgereaktionen und abgeleitete Maßnahmen aus der externen Evaluation. In<br />
diesem Bereich sind erst in jüngerer Zeit Untersuchungen zu verzeichnen (Husfeldt, 2011, S. 17), die<br />
zunächst nur wenige Folgeprojekte innerhalb der Schule feststellen (Lowe, 1998). In einer weiteren<br />
Analyse werden Faktoren erarbeitet, die eine Ableitung von Entwicklungsmaßnahmen entscheidend<br />
beeinflussen. Dies betrifft die Einstellung der Schulleitung zur externen Evaluation, die Art der Durchführung<br />
und die Struktur bzw. der Rahmen der Evaluation (Ouston, Fidler & Earley, 1997). 2002 wurden<br />
in dem Züricher Projekt ‚Neue Schulaufsicht‘ 23 Schulbeurteilungen mit Blick auf die Wirkung und<br />
Nachhaltigkeit der Schulevaluation untersucht. Dabei wurde festgestellt, dass Evaluationsergebnisse<br />
in den Bildungseinrichtungen und Aufsichtsbehörden „[...] bislang in unterschiedlicher Intensität<br />
97
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
98<br />
und häufig noch ohne die notwendige Verbindlichkeit weiter verarbeitet [werden]. Zwar fördert das<br />
neue Modell der Schulbeurteilung die schulinterne Auseinandersetzung über Schulqualität. Das Verfahren<br />
der »Neuen Schulaufsicht« allein löst aber in vielen Schulen nicht zwingend entsprechende<br />
Massnahmen aus» (Binder & Trachsler, 2002, S. 9). Darüber hinaus wurde ermittelt, dass etwa die<br />
Hälfte der Bildungseinrichtungen anhand des schriftlichen Berichts die Ergebnisse nachbereitet und<br />
Entwicklungsvorschläge diskutiert und mit Blick auf eine Umsetzung priorisiert werden. Allerdings<br />
erfolgt in einzelnen Schulen lediglich eine Archivierung des Berichts, womit die Evaluation als Event<br />
betrachtet wird, das eine gewünschte Außensicht vermittelt, aber keine Maßnahmen zur Folge hat<br />
(Binder et al., 2002, S. 68). Der schriftliche Bericht wurde dabei nur vereinzelt als Führungsinstrument<br />
der Schulleitung identifiziert, der nicht selbstwirksam ist und diesbezügliche Nachhaltigkeit durch<br />
den Anstoß von Verbesserungsmaßnahmen nur erzielt wird, wenn der Bericht über Autorität verfügt.<br />
Diese kann durch entschlossenes Handeln von Verantwortlichen in der Bildungseinrichtung erzielt<br />
werden (Binder et al., 2002, S. 68–69). In dem Züricher Projekt wird mit Blick auf eine nachhaltige<br />
Wirkung und Qualitätsentwicklung von Bildungseinrichtungen empfohlen, «[...] das System der<br />
»Neuen Schulaufsicht« zwischen seinen im Vierjahresrhythmus durchgeführten Beurteilungen [...]<br />
sowohl durch ein Instrument der förderorientierten Vollzugshilfe (Standortgespräch, Hilfe bei der<br />
Suche nach fachlichem und prozessunterstützendem Support, Aufbau der schulinternen Selbstevaluationskompetenz)<br />
als auch durch ein Controlling der Massnahmenumsetzung [zu ergänzen]»<br />
(Binder et al., 2002, S. 9–10). ehren & ViSScher stellten im Rahmen einer Studie in den Niederlanden<br />
fest, dass zwischen dem Innovationspotential und den abgeleiteten Maßnahmen der Schule kein<br />
Zusammenhang besteht, wobei die Art bzw. das Ausmaß des Feedbacks keinen Einfluss auf die<br />
Definition von Folgeschritten nimmt (Ehren & Visscher, 2008). Andere Analysen beschäftigten sich<br />
neben der Initiierung von Projekten mit dem Umgang des Evaluationsberichts, wobei hier sowohl<br />
formlose Verbreitungen als auch intensive Diskussionen, beispielsweise innerhalb einer Schulkonferenz,<br />
und sogar die Einforderung von Rückmeldungen verzeichnet werden können. Dieses Vorgehen<br />
ist allerdings nahezu ausschließlich bei gut bewerteten Bildungseinrichtungen feststellbar (Gärtner<br />
et al,. 2009). Im Durchschnitt werden 3,8 Maßnahmen nach einer externen Evaluation initiiert, die<br />
häufig den Unterricht betreffen (Ehren & Visscher, 2008; Gärtner et al,. 2009). Bezüglich der externen<br />
Evaluation in Brandenburg stellten Gärtner & WurSter heraus, dass in der Hälfte der untersuchten<br />
Schulen viele bzw. alle Zielvereinbarungen, die auf der Basis des Verfahrens gebildet werden, auf die<br />
Empfehlungen der EvaluatorInnen zurückzuführen sind (Gärtner & Wurster, 2009). In einer Umfrage<br />
von huber geben sogar 98 % der Schulleitungen der befragten bayerischen Bildungseinrichtungen<br />
an, dass Zielvereinbarungen aus den Empfehlungen des Erlebnisberichts folgten (Huber, 2008,<br />
S. 271). Darüber hinaus stellt huber fest, „[...] dass der Katalog an Maßnahmen, die zur Umsetzung<br />
der Zielvereinbarungen ergriffen wurden, genau jene Arbeitsfelder abdeckt, die sich bei der Auswertungen<br />
der Evaluationsberichte der Schulen [...] als Handlungsfelder aufgedrängt haben“ (Huber,<br />
2008, S. 275). Aus diesem Grund kann davon ausgegangen werden, dass die wichtigsten Empfehlungen<br />
der Evaluation in die Zielvereinbarungen integriert sind. Im Gegensatz zu den Einschätzungen<br />
der Schulleitungen ist bei den Ergebnissen der Umfrage allerdings Zurückhaltung angebracht, da<br />
diese Personengruppe sich oftmals selbst als Motor der Schulentwicklung bezeichnet und eine<br />
verpflichtende Teilnahme vorlag, was möglicherweise zu einem erhöhten Druck in Bezug auf die<br />
Angabe sozial erwünschter Antworten führte (Gärtner et al., 2009).
Typ 3 – Schulleistungsstudien<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Diese Studien betrachten die Wirksamkeit externer Evaluationen in Bezug auf Leistungen bzw. Leistungssteigerungen<br />
von SchülerInnen, wobei hierfür – wie in der vorliegenden Studie – in weiterführenden<br />
Untersuchungen die Einschätzungen von Lehrpersonen und Schulleitenden herangezogen<br />
werden. Eine positive Beurteilung hinsichtlich der Leistungssteigerung von SchülerInnen kann aber<br />
primär von schwächer bewerteten Bildungseinrichtungen verzeichnet werden (Scanlon, 1999). Einige<br />
Studien kommen zu dem Ergebnis, dass ein eher negativer Einfluss bzw. kein positiver Effekt auf die<br />
Schülerleistungen vorliegt (Cullingford & Daniels (1999), Shaw et al., 2003; Rosenthal 2004). huSFelD<br />
stellt in diesem Zusammenhang das Ergebnis einer Untersuchung vor, in dem durch externe Evaluationen<br />
ein hindernder Effekt auf die Entwicklung der Leistungen von SchülerInnen erkannt wird, wobei<br />
die Qualifikationen der Jugendlichen im Allgemeinen stetig steigen (Husfeldt, 2011, S. 21). Andere<br />
Analysen wiederum belegen eine Erhöhung der Leistungen von SchülerInnen auf der Basis der<br />
externen Evaluation (Hanushek & Raymond, 2005; Jacob, 2005; Luginbuhl et al., 2007). Übergreifend<br />
berücksichtigen die Forschungen nur Kurzzeiteffekte (Husfeldt, 2011, S. 21). Offen bleibt, ob sich<br />
eine Verbesserung der Leistungen von SchülerInnen auf der Basis von Evaluationsergebnissen nicht<br />
erst in längeren Zeitabständen äußern. Grundsätzlich sollte in diesem Zusammenhang zwischen<br />
Kurz- und Langzeiteffekten unterschieden werden (De Wolf & Janssens (2007).<br />
In der vorliegenden Analyse wird sowohl die Akzeptanz der am Verfahren beteiligten Personen erhoben<br />
als auch die Veränderung der Leistungen von SchülerInnen durch eine Einschätzung der Lehrkräfte<br />
hinsichtlich der Folgemaßnahmen abgefragt. Fokussierend werden allerdings, neben den Weiterentwicklungsmöglichkeiten<br />
zum Peer Review, Reaktionen im Sinne von Folgemaßnahmen untersucht<br />
(vgl. 2.4.4). Aus diesem Grund kann die zugrundeliegende Wirkungsanalyse externer Evaluationen<br />
tendenziell der ersten und zweiten Kategorie, aber auch dem dritten Bereich zugeordnet werden.<br />
Weitere Aussagen zur Untersuchung von Evaluationen an Hochschulen sind auf der Basis der Stu-<br />
dien von mittaG und carStenSen möglich (Mittag, 2006; Carstensen, September 1997). Allerdings<br />
bezieht sich der Forschungsgegenstand der vorliegenden Arbeit auf Schulen, insbesondere berufliche<br />
Schulen. Aus diesem Grund werden die Ergebnisse der Untersuchungen nicht weiter erläutert.<br />
Die wissenschaftliche Analyse der Erfolgs- bzw. Wirkungskriterien sowie Verfahren zur Analyse der<br />
Wirksamkeit externer Evaluationen im Schulbereich befindet sich noch in den Anfängen (Brägger<br />
et al., 2005, S. 51). huSFelDt stellt fest, dass „[...] trotz einer Vielzahl von Studien in diesem Bereich<br />
die Frage nach der Wirksamkeit externer Schulevaluationen weitgehend unbeantwortet [bleibt]“<br />
(Husfeldt, 2011, S. 13). Eine Schwierigkeit liegt u. a. darin, im Bereich des erzielten Lernerfolgs<br />
der SchülerInnen eine Wirksamkeitsuntersuchung von Qualitätssystemen durchzuführen, da die<br />
ForscherInnen in diesem Gebiet an Messgrenzen stoßen (Capaul, 14.12.2009).<br />
bräGGer et al. entwickelten bereits Faktoren, die eine Wirksamkeit von Evaluationen sowohl fördernd<br />
als auch hemmend beeinflussen können (Brägger et al., 2005, S. 53 f.). Im Folgenden werden wirksamkeitsfördernde<br />
Faktoren dargestellt:<br />
99
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
100<br />
• Hohe fachliche Kompetenz, Vertrauenswürdigkeit und Leistungsbereitschaft der Evaluato-<br />
rInnen; insbesondere bezüglich der Ermittlung verwertbarer Ergebnisse, Lösung von Wider-<br />
ständen und Interessenkonflikten, Engagement zur Nutzenmaximierung der Evaluation sowie<br />
Bildung eines unabhängigen und neutralen Urteils<br />
• Intensive Information und offene Kommunikation unter allen betroffenen und beteiligten Personen;<br />
insbesondere bezüglich der Definition von Evaluationszielen und -themen<br />
• Umfassende Integration und Beteiligung aller Beteiligten; insbesondere bei der Planung und<br />
Durchführung der Evaluation<br />
• Gezielte Verwertung der Evaluationsergebnisse unter Integration des Kollegiums; insbesondere<br />
im Bereich der gemeinsamen Ergebnisdiskussion mit den EvaluatorInnen, der Formulierung von<br />
Empfehlungen sowie die Planung der Umsetzung<br />
• Professionelle Präsentation der Ergebnisse durch einen klaren bzw. verständlichen Vortrag,<br />
neutrale Berichterstattung, aussagekräftige Zusammenfassungen und eindeutige Antworten<br />
auf die Hauptfragestellungen der Evaluation<br />
• Entwicklung von individuellen Empfehlungen und praktikablen Verbesserungshinweisen für die<br />
Bildungseinrichtung<br />
• Termingerechte Rückmeldung der Evaluationsergebnisse<br />
• Organisationsexterne Faktoren, wie beispielsweise die Bereitstellung ausreichender Ressourcen<br />
sowie die Erklärung der Verbindlichkeit der Evaluation und ihrer Ergebnisse (Brägger et al.,<br />
2005, S. 53 f.).<br />
Im Gegensatz dazu schränken Ängste der Beteiligten vor der Evaluation oder Veränderungen sowie<br />
eine missbräuchliche Verwendung der Untersuchung bzw. deren Ergebnisse eine Wirksamkeit von<br />
Evaluationen ein. Auch bestehende Interessen-, Ziel- und Wertekonflikte im Zusammenhang mit den<br />
Befragungen, die unzureichende Bereitstellung von Ressourcen oder technisch schlechte Evaluationen<br />
können die Nachhaltigkeit behindern (Brägger et al., 2005, S. 54).<br />
In dem Projekt „Schulinspektion in Hessen – Wirkungen auf die Qualitätsentwicklung von Schulen<br />
und die Arbeit der Schulaufsicht“ untersuchten böttcher et al., ob auf der Basis der hessischen<br />
Schulinspektion Veränderungen in der Qualitätsentwicklung von Bildungseinrichtungen und in der<br />
Arbeit der Schulaufsicht erfolgten (Böttcher, Keune & Neiwert, 2010, S. 8) und stellten dabei fest,<br />
„[...] dass die unterschiedlichen Akteursgruppen die gleiche Realität unterschiedlich wahrnehmen.<br />
[...] Wesentlich ist der relativ massiv zum Vorschein kommende Eindruck, dass wie gut oder schlecht<br />
eine Diagnose per Schulinspektion auch immer sein mag, die Therapie damit keinesfalls automatisch<br />
erfolgt“ (Böttcher et al., 2010, S. 199). Übergreifend kann festgestellt werden, dass derzeit noch wenig<br />
empirische Befunde zur tatsächlichen Wirksamkeit externer Evaluationen vorliegen. Vorliegende<br />
Untersuchungen stammen überwiegend aus England oder aus den Niederlanden, dementgegen
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
sind aktuell im deutschsprachigen Raum nur wenig Ansätze zur empirischen Überprüfung von Wirk-<br />
samkeit zu verzeichnen (Husfeldt, 2010, S. 8). Dies liegt möglicherweise daran, dass gegenwärtig<br />
noch keine umfassenden Wirkungsmodelle vorliegen, die eine umfassende Berücksichtigung des<br />
komplexen Gefüges an Evaluationsverfahren und deren Verankerung in das mehrdimensionale Steuerungssystem<br />
gewährleisten (Quesel, Husfeldt, Landwehr & Steiner, 2011). Die Tatsache, dass die<br />
Frage zur Wirkung und Wirksamkeit externer Evaluationen ins Zentrum von Untersuchungen rücken,<br />
bezeichnet lanDWehr als überaus positiv, da dies eine funktionsfähige Praxis voraussetzt (Landwehr,<br />
2011, S. 36). DeDerinG & müller fordern, künftige Forschungsvorhaben auf einen längeren Untersu-<br />
chungszeitraum auszulegen, da neben den kurzfristigen auch langfristige Effekte einer externen<br />
Evaluation auftreten können und letztere sonst nicht erfasst werden (Dedering & Müller, 2008, S. 251).<br />
Während der Frühjahrstagung der DeGEval (Gesellschaft für Evaluation e. V.) zum Thema ‚Wirkungsorientierte<br />
Steuerung von Schulentwicklung durch Qualitätsmanagement, externe und interne Evaluation‘<br />
in Hamburg, konnte in Erfahrung gebracht werden, dass im Bundesland Sachsen derzeit eine<br />
Wirkungsanalyse externer Evaluationen durchgeführt wird. Eine Anfrage hinsichtlich der Konzeption<br />
der Studie sowie erster Ergebnisse blieb leider unbeantwortet. Auch in Bremen erfolgt eine Untersuchung<br />
zum Thema Wirksamkeit externer Evaluation, wobei gerade eine erste Datenauswertung<br />
erfolgt, deren Ergebnisse in die endgültige Konzeption des Modells für die Wirkungsanalyse eingearbeitet<br />
werden. Weitere Informationen sowie erste Erfahrungen können aus diesem Grund noch nicht<br />
übermittelt werden (Zurwehme, 09.06.2011).<br />
2.4.4 Wirksamkeit externer Evaluation von Schulen: Zugrundegelegtes Modell<br />
2.4.4.1 Das Modell der Wirksamkeitsanalyse externer Evaluation in der Übersicht<br />
In Kapitel 2.4.2 wurden drei Modelle zur Erfassung der Wirksamkeit externer Evaluationen vorgestellt.<br />
Das Konzept von ehren & ViSScher verfolgt das Ziel, die Entwicklungsfunktion nach dem Verfahren<br />
und verbesserte SchülerInnenleistungen zu überprüfen. Darüber hinaus wird die Akzeptanz der<br />
Evaluationsergebnisse erhoben. Allerdings bleiben hierbei die Ziele der Erkenntnisgewinnung und<br />
Rechenschaftslegung oder Normendurchsetzung unberücksichtigt (Husfeldt, 02.07.2010). Das<br />
Wirksamkeitsmodell von reeziGt & cremerS dagegen berücksichtigt die Erkenntnisgewinnung im<br />
Sinne einer Voraussetzung für effektive Schulentwicklung. Die Funktionen der Normendurchsetzung<br />
und Rechenschaftslegung finden dabei anhand der externen Bedingungen Berücksichtigung. Das<br />
Modell von reeziGt & cremerS ist aber nur bedingt für die Untersuchung der Wirksamkeit externer<br />
Evaluationen einsetzbar. Vielmehr bildet dies eher eine Konzeption für effektive Schulentwicklung<br />
(Husfeldt, 02.07.2010). böttcher fokussiert in seinem Modell ebenfalls den Aspekt der Schulentwicklung,<br />
in dem der Wandlungsprozess einer Organisation in den Fokus der Untersuchung rückt. Aus<br />
diesem Grund wurde die Entwicklung eines eigenständigen Modells fokussiert, das im Folgenden<br />
erläutert wird. Die Konzeption des zugrundegelegten Modells orientiert sich dabei explizit an dem<br />
vorliegenden Kontext der Erhebung, dem Pilotversuch des Peer Review in QIBB (vgl. 2.3.2.5).<br />
101
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
102<br />
Externe Evaluation wird als Instrument zur Förderung schulischer Innovationen verstanden und stellt<br />
insofern ein soziales Programm dar, das auf eine Änderung der Institution zielt. Zur Modellierung<br />
möglicher Effekte wird zunächst das erweiterte Stufen-Modell von kirkpatrick (Kirkpatrick, 1975) zur<br />
Erhebung des Erfolgs von Programmen zugrundegelegt.<br />
Abbildung 19: Modell der Wirksamkeit externer Evaluation
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Die externe Evaluation verlangt zunächst einen bestimmen Input, etwa in Form von Ressourcen der<br />
Schule. Sie führt zu Verbesserungsvorschlägen, die in der Schule mehr oder weniger akzeptiert<br />
werden und die Innovationen anregen können. Diese Innovationen können zu veränderten Leistungen<br />
der Schule (output), insbesondere den Lernleistungen der SchülerInnen führen. Diese wiederum<br />
können sich in Veränderungen in der Gesellschaft (outcome), etwa dem beruflichen Erfolg niederschlagen.<br />
Die Ebenen können Gegenstand einer Wirtschaftlichkeitsbetrachtung sein.<br />
Jede der Ebenen a) bis e) können als Indikatoren der Wirksamkeit externer Evaluation verstanden<br />
werden. So kann beispielsweise die Quantität und Qualität von Verbesserungsvorschlägen der<br />
EvaluatorInnen ein erster Indikator für die Wirksamkeit externer Evaluation sein (a) oder die durch<br />
Evaluation erreichte langfristige Wirkung, etwa der berufliche Erfolg der SchülerInnen (e). Je höher<br />
dabei die gewählte Ebene von a) bis e) ist, desto aufwändiger wird die Wirksamkeitsanalyse. Jeder<br />
Indikator auf diesen Ebenen kann darüber hinausgehend in Relation zum Input gesetzt werden, so<br />
dass er Grundlage einer Wirtschaftlichkeitsbetrachtung wird (Phillips & Schirmer, 2005).<br />
Faktisch fallen die vorliegenden Studien zur Einschätzung der Wirksamkeit schulischen Qualitätsmanagements<br />
bescheidener aus (vgl. 2.4.3). Sie beschränken sich auf Studien zur Wirkung und<br />
Wirksamkeit externer Schulevaluation, auf Studien zu Einstellungen und Wirksamkeitserwartungen,<br />
Studien zu Reaktionen auf Folgemaßnahmen sowie Studien zu Leistungen von SchülerInnen (Husfeldt,<br />
2010, S. 12). D. h. sie decken gespiegelt am hier zugrunde gelegten Modell verschiedene<br />
Ebenen komplett aus oder reduzieren diese, etwa die Beschränkung des Outputs auf Lernleistungen.<br />
Jeder der genannten Indikatoren kann entweder faktisch oder antizipativ-einschätzend erfasst<br />
werden. Bezüglich der Veränderungen in den Lernleistungen kann beispielsweise faktisch eine<br />
Veränderung der Lernleistungen auf der Basis von Leistungstests erfasst werden. Dies verlangt<br />
eine Operationalisierung der relevanten Lernleistung, eine Konstruktion entsprechender testender<br />
Instrumente, die Veränderungsmessung und eine mehrstufige Auswertung der Daten. Die Lehrkräfte<br />
können antizipativ-einschätzend berichten, ob es voraussichtlich zu einer Veränderung kommen wird.<br />
Für die vorliegende Untersuchung werden fünf Ebenen zugrundelegt.<br />
• Erste Ebene (Reaktion): Zufriedenheit mit der externen Evaluation<br />
• Zweite Ebene (Lernen): Schulische Innovationen als Folge der externen Evaluation<br />
• Dritte Ebene (Output): Änderung des Outputs der Institution in Folge der externen Evaluation<br />
• Vierte Ebene (Outcome): Resultate der Änderung des Outcome der Institution in Folge der<br />
externen Evaluation<br />
• Fünfte Ebene (Return on Investment): Return on Investment der externen Evaluation<br />
Das zugrundeliegende Modell von kirkpatrick ist einfach strukturiert und berücksichtigt eine Vielzahl<br />
von Kriterien (Holling et al., 2007, S. 371). Kritisiert wird an diesem Modell allerdings die fehlende<br />
Erweiterung und Differenzierung im Sinne einer Befragung über mehrere Zeitpunkte hinweg sowie einer<br />
weiteren Spezifizierung der Kriterien (Holling et al., 2007, S. 371). Die vorliegende Analyse soll eine erste<br />
103
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
104<br />
Einschätzung und Wirkung externer Evaluationen erheben. Weitere Befragungen sind erst im Nach-<br />
gang an diese Analyse möglich. Die Kritik der mangelnden Spezifizierung der Kriterien ist hier nicht<br />
zutreffend. Im weiteren Verlauf werden nämlich zur Spezifizierung eigene Kriterien zugrunde gelegt.<br />
Bei der Entwicklung des zugrundeliegenden Modells wurden die vier Hauptfunktionen des Wirkungsmodells<br />
nach lanDWehr berücksichtigt (vgl. 2.2.3.5). Demzufolge sind die Funktionen der Erkenntnisgewinnung,<br />
Schulentwicklung, Rechenschaftslegung und Normendurchsetzung in die Konzeption<br />
des Modells integriert worden (vgl. 3.2.2.3.1).<br />
2.4.4.2 Detaillierung der Untersuchungsebenen<br />
2.4.4.2.1 Die erste Ebene: Zufriedenheit mit der externen Evaluation<br />
Die erste, vergleichsweise einfach zu erfassende Stufe der Evaluation ist die Reaktionsebene. Auf<br />
dieser Ebene wurde nach dem Modell der vier Evaluationsebenen die Reaktion der Schulen auf die<br />
Teilnahme an der externen Evaluation am Pilotversuch untersucht. Die erste Ebene des kirkpatrick-<br />
Modells ermittelt die Zufriedenheit der TeilnehmerInnen mit der externen Evaluation und deren Vorgehensweise,<br />
Ergebnisse daraus zu implementieren bzw. aufzugreifen. Hierbei geht es um Gefühle,<br />
Bewertungen und Einschätzungen der Beteiligten zum Verfahren. Eine positive Bilanz bezüglich der<br />
Zufriedenheit impliziert zwar keinen direkten Erfolg des individuellen oder institutionellen Lernens,<br />
aber es ist anzunehmen, dass eine Ablehnung der externen Evaluation sich nicht förderlich auf die<br />
zweite Ebene auswirken würde (Kirkpatrick, 1975, S. 1–5).<br />
kirkpatrick legt einer Ermittlung der Zufriedenheit der TeilnehmerInnen verschiedene Anforderungen<br />
zu Grunde, indem das Ziel der Erhebung klar definiert und damit verbundene Elemente in einem<br />
Feedback-Fragebogen mit quantifizierbaren Antwortmöglichkeiten festgehalten werden. Anonymisierte<br />
Umfragen tragen dazu bei, ehrliche Antworten zu erhalten. Darüber hinaus soll den Teilnehmern<br />
die Möglichkeit eingeräumt werden, zusätzliche Kommentare und Verbesserungsvorschläge<br />
anbringen zu können (Kirkpatrick, 1975, S. 2).<br />
2.4.4.2.2 Die zweite Ebene: Schulische Innovationen als Folge der externen Evaluation<br />
Die zweite Stufe nach dem Modell von kirkpatrick bezieht sich auf den erzielten Lernerfolg von<br />
Beteiligten auf der Basis des Programms im Sinne einer Aneignung von Wissen, Fähigkeiten und<br />
Fertigkeiten (vgl. 2.1). Lernfortschritte der Teilnehmer können mittels standardisierter Befragungen,<br />
Simulationen oder Beobachtungen erhoben werden. Idealerweise erfolgt diese Visualisierung vor<br />
und nach der Maßnahme, um die Veränderungen direkt dem zugrundeliegenden Verfahren zuordnen<br />
zu können (Kirkpatrick, 1975, S. 6–9). Das Anwenden von erlerntem Wissen, angeeigneten<br />
Fähigkeiten und Fertigkeiten im Schulalltag bildet die dritte Stufe im kirkpartick-Modell und bezieht<br />
sich also auf den Erfolg im Sinne von Verhaltensänderungen bei Teilnehmern basierend auf dem<br />
jeweiligen Programm. Der Transfererfolg kann durch Interviews, Supervisionen oder Beobachtung<br />
erfasst werden (Kirkpatrick, 1975, S. 10–13).
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Der Lernerfolg von Schulen nach der Durchführung einer externen Evaluation wird in der vorliegenden<br />
Wirksamkeitsanalyse im Sinne von Innovationen verstanden, die aufgrund der Vorschläge der<br />
EvaluatorInnen während des Verfahrens angeregt wurden. Der Erfolg richtet sich auf die LehrerInnen,<br />
die eine Innovation im Schulalltag anwenden. Die Umsetzung von Maßnahmen aufgrund der Evaluationsergebnisse<br />
wird dabei als Schulinnovationsprozess definiert. Aus diesem Grund wurde zur<br />
Beantwortung der vorangehenden Frage das Concerns-Based Adoption Model von hall & horD<br />
herangezogen, um eine systematische Analyse der Innovationen unter Berücksichtigung der zentralen<br />
Akteure durchzuführen (Hall & Hord, 2011, S. 265). Die beteiligten Personen bilden den Fokus<br />
des Modells, da die Nachhaltigkeit von Innovationen von dem Anteil der Individuen abhängt, die<br />
Veränderungen vornehmen. Menschen gehen mit Veränderungen allerdings sehr unterschiedlich um.<br />
hall & horD entwickelten drei Dimensionen, um diese Unterschiede zu erfassen:<br />
• Innovation Configuration: Der Anpassungsgrad bezüglich der Innovationsvorschläge<br />
• Stages of Concern: Der Grad der Betroffenheit der Beteiligten und<br />
• Levels of Use: Der Grad der Verhaltensänderung der Beteiligten (Hall et al., 2011, S. 260 ff.).<br />
Die erste Dimension des Concerns-Based Adoption Model umfasst die Innovation Configuration<br />
(IC). Innovation Configuration ist ein Konzept, das sowohl die Grundidee der Innovation als auch<br />
verschiedene Wege zur Umsetzung des angedachten Konzepts berücksichtigt. Auf dieses Konzept<br />
wird zurückgegriffen, weil der Erfolg einer externen Evaluation nicht einfach an der Anzahl<br />
der übernommenen Empfehlungen gemessen werden kann. Vielmehr erscheint eine weitergehende<br />
Auseinandersetzung mit den vorgeschlagenen Innovationen notwendig. Dabei soll nicht die Qualität<br />
der Adaption, also die Ausgestaltung der Innovation, beurteilt werden. Vielmehr stehen die Existenz<br />
der Adaption, verschiedene Möglichkeiten zu deren Visualisierung und der Einfluss der Adaption auf<br />
den Veränderungsprozess im Vordergrund. Mit Hilfe der Innovation Configuration erfolgt eine detaillierte<br />
Beschreibung der tatsächlichen Umsetzung einer Innovation, um festzustellen, ob Vorschläge<br />
im ursprünglichen Sinne übernommen oder angepasst wurden. Aus diesem Grund wird bewusst<br />
von „Adaption“ und nicht von „Implementierung“ gesprochen, weil Lehrkräfte in der Umsetzung von<br />
Innovationen oft Anpassungen an eigene Vorstellungen oder situative Gegebenheiten vornehmen.<br />
Eine Tendenz zur Adaption von Aspekten in Bezug auf die Innovation wird als ein natürlicher Bestandteil<br />
eines jeden Wandels verstanden (Hall et al., 2011, S. 43 ff.). Die folgende Abbildung verdeutlicht<br />
eine Adaption in Bezug auf die Innovation eines Autos, die im ersten Bild ideal, im zweiten akzeptabel<br />
und im dritten unakzeptabel ist.<br />
105
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
106<br />
Abbildung 20: Beispiele für Adaptionsmöglichkeiten (Hall et al., 2011, S. 45)<br />
Mögliche Gründe für eine Adaption sind in erster Linie Unsicherheiten bezüglich anstehender Auf-<br />
gaben bzw. vorliegender Erwartungen an beteiligte Personen. Die Probleme beginnen damit, dass<br />
Details über die Art der Umsetzung nicht präzisiert werden und somit die Ausgestaltung der Innovation<br />
von verschiedenen AnwenderInnen variiert, also möglicherweise von der tatsächlichen Grundidee<br />
abweicht oder dem Idealbild entspricht. Eine Umsetzung der Innovation wird dabei allerdings<br />
kaum wahrgenommen. Deshalb ist es in der Bildung nicht ungewöhnlich, dass unterschiedliche<br />
Konfigurationen einer Innovation vorliegen (Hall et al., 2011, S. 43 ff.). Ein weiteres Problem, das<br />
vor allem in Bildungseinrichtungen auftritt, betrifft die zeitliche Ressource, da nur schwer messbar<br />
ist, ob die reale Umsetzung der Innovationen noch mit der ursprünglichen Grundidee einhergeht.<br />
Dieses Phänomen wird vor allem auch dadurch gestützt, dass LehrerInnen, aufgrund der begrenzten<br />
verfügbaren Zeit für die Umsetzung der Innovation, diese isoliert in einzelnen Schritten betrachten<br />
und nur teilweise umsetzen (Hall et al., 2011, S. 45 f.). Darüber hinaus kommt es bei der Implementierung<br />
von Innovationen oftmals zu Missverständnissen, da klare Darstellungen, Definitionen und<br />
Beschreibungen über die Umsetzung der Maßnahme nicht präzisiert sind. Aus diesem Grund ist es<br />
hilfreich, die Innovation zu visualisieren. Der Vorgang des Visualisierens wird hierbei als Innovation<br />
Configuration Mapping bezeichnet. Der Output stellt die sog. Innovation Configuration Map dar (Hall<br />
et al., 2011, S. 46 f.). Diese kann zur Qualitätssicherung, Hilfestellung bei der Selbstreflexion oder<br />
(Unterrichts-)Planung sowie zur Unterstützung der Lehrkraft bei der Innovationsimplementierung<br />
dienen (Hall et al., 2011, S. 50).<br />
Die zweite Dimension des Concerns-Based Adoption Models sind die Stages of Concern (SoC).<br />
Die Stages of Concern beziehen sich auf Gefühle, Einstellungen und Empfindungen von Beteiligten<br />
gegenüber einer Innovation, die sowohl nützlich als auch schädlich sein können. Entscheidend ist die<br />
Art der Gefühle. Sofern Personen von einer Neuerung angetan sind, wird sich dies positiv auf deren<br />
Umsetzung auswirken. Im Gegensatz dazu werden Einschränkungen oder Bedrohungen weitere<br />
Arbeiten an der Innovation verhindern. Diese Gefühle werden durch die sogenannten Stages of
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Concern klassifiziert und ermöglichen einen Einblick über die Empfindungen von Betroffenen in<br />
Bezug auf die Einführung bzw. Umsetzung jeglicher Innovation (Hall et al., 2011, S. 68), also vor<br />
oder während eines Wandels. ‚Concern‘ ist übergreifend eine Bezeichnung für Gefühle, Voreingenommenheit,<br />
Gedanken und Erwägungen eines Individuums bezüglich eines bestimmten Themas<br />
oder Aufgabe. Dementsprechend steht der englische Begriff für den gesamten Prozess mentaler<br />
Aktivität, der aus Hinterfragen, Analysieren, erneutem Analysieren, in Betracht ziehen von Alternativen<br />
und Reaktionen und dem Antizipieren von Konsequenzen besteht (Hall et al., 2011, S. 72).<br />
Eine Klassifizierung dieser Empfindungen einzelner Personen kann in allen Statusgruppen einer<br />
Organisation erfolgen, d. h. sowohl direkt als auch indirekt von der Innovation Betroffene werden in<br />
die Untersuchung einbezogen. Das Ergebnis, die Eingruppierung der Akteure in Stages of Concern,<br />
ermöglicht, individuelle Interventionen zu wählen, um die Neuerung erfolgreich zu integrieren bzw.<br />
voranzubringen (Hall et al., 2011, S. 70, 71). Die Idee, Gefühle und Empfindungen zu gruppieren,<br />
beabsichtigte erstmals Frances Fuller (zitiert in Hall et al., 2011, S. 69 f.) die einen Zusammenhang<br />
zwischen der persönlichen Betroffenheit und thematischem Interesse aufgrund unterschiedlicher<br />
Vorerfahrungen von Personen feststellte. Anhand dieser Erkenntnisse entwickelte sie verschiedene<br />
Stufen der Betroffenheit, die eine Grundlage für das Stages of Concern-Instrument darstellen. Die<br />
Stages of Concern gliedern sich nach hall und horD in sieben Stufen, die von den Lehrkräften in<br />
einer Entwicklung nahezu stufenweise durchlaufen und in vier Bereiche eingeordnet werden (Hall et<br />
al., 2011, S. 72, 73). capaul bezeichnet die Stages of Concern als empirisch gesichert (Capaul, 2002,<br />
S. 21).<br />
impact<br />
(wirkungsbezogen)<br />
task<br />
(aufgabenbezogen)<br />
self-concern<br />
(Selbstzweifel)<br />
unrelated<br />
(ohne Bezug)<br />
6<br />
5<br />
4<br />
3<br />
2<br />
1<br />
0<br />
Neuer Fokus<br />
Zusammenarbeit<br />
Auswirkung<br />
Management<br />
Persönliche Betroffenheit<br />
Informelle Betroffenheit<br />
Gleichgültigkeit<br />
Der Akteur richtet den Fokus auf die<br />
Weiterentwicklung und Optimierung der Innovation.<br />
Der Akteur richtet den Fokus auf die Koordination und Zusammenarbeit<br />
mit Anderen in Bezug auf die Anwendung der Innovation.<br />
Der Akteur richtet den Fokus auf den Einfluss, den die Innovation<br />
in der derzeitigen Form der Anwendung auf den Lerner hat.<br />
Der Akteur richtet den Fokus auf den Prozess und die benötigten<br />
Anforderungen in Bezug auf eine effiziente Umsetzung der Innovation.<br />
Der Akteur zeigt Unsicherheit bezüglich persönlicher Anforderungen<br />
und Aufgaben, die mit der Innovation verbunden sind.<br />
Der Akteur zeigt Interesse an der<br />
Innovation und weiterführenden Informationen.<br />
Der Akteur hat wenig Interesse<br />
an der Innovation oder der Integration.<br />
Abbildung 21: Stages of Concern, Stufen der Betroffenheit (Hall et al., 2011, S. 72, 73)<br />
Eine dritte Dimension des Modells bilden die Levels of Use (LoU). Die Levels of Use beziehen sich auf<br />
Verhaltensänderungen und Reaktionen eines Beteiligten in Bezug auf eine Innovation. Im Zentrum<br />
steht also die Frage, welche Einstellungen und Handlungen einzelne Personen mit einer Innovation<br />
selbst bzw. mit deren Umsetzung verbinden, da die Levels of Use den Zusammenhang zwischen dem<br />
107
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
108<br />
Benehmen einer Personen und einer Neuerung herstellen (Hall et al., 2011, S. 93). Die Levels of Use<br />
unterteilen sich in acht Stufen. Eine übergreifende Gliederung erfolgt in zwei Bereiche, in eine Auftei-<br />
lung in Users (= Anwender der Innovation) und Non-Users (= Nicht-Anwender der Innovation). Anhand<br />
der Eingruppierung der Beteiligten in diese acht Ebenen, ist eine organisationsspezifische Steuerung<br />
in Bezug auf eine optimale Weiterentwicklung der Innovation möglich (Hall et al., 2011, S. 94).<br />
Users<br />
Nonusers<br />
VI<br />
V<br />
Erneuern,<br />
Umstrukturieren<br />
Integration,<br />
Eingliederung<br />
IV B Verbesserung<br />
IV A Routine<br />
III Erste Anwendung<br />
II Vorbereitung<br />
I Orientierung<br />
0 Keine Anwendung<br />
Stadium, in welchem der Akteur die Qualität der Anwendung der Innovation evaluiert, um diese mit<br />
dem Ziel zu optimieren, einen noch positiveren Einfluss auf den Lerner zu erreichen. Der Akteur<br />
versucht neue Entwicklungen in Bezug auf die Innovation und weitere Ziele sowohl auf persönlicher<br />
als auch auf organisationaler Ebene zu finden.<br />
Stadium, in welchem der Akteur kollegialen Austausch bezüglich eigener Erfahrungen mit der<br />
Innovation sucht, um einen ganzheitlichen Einfluss auf den Lerner auszuüben.<br />
Stadium, in welchem der Akteur die Anwendung der Innovation verändert, um den Einfluss auf den<br />
Lerner zu verbessern. Änderungen basieren auf sowohl kurzfristigen als auch langfristigen<br />
Erfahrungen.<br />
Stadium, in welchem der Akteur die Innovation konstant umsetzt und nur wenige Anpassungen<br />
vornimmt. Punktuell ist der Gedanke zur Anwendungsoptimierung bzw. der Blick auf die<br />
Auswirkungen der Neuerung vorhanden.<br />
Stadium, in welchem der Akteur den Fokus auf kurzzeitige Anwendung (day-to-day) richtet. Eine<br />
Reflexion der Handlungen ist aus zeitlichen Gründen nicht machbar. Einzelne Modifikationen<br />
erfolgen mit Blick auf gesetzte Ziele bzw. anhand der Vorstellung des Akteurs. Die Perspektive des<br />
Lerners bleibt hier unberührt.<br />
Stadium, in welchem sich der Akteur auf eine erste Anwendung der Innovation vorbereitet.<br />
Stadium, in welchem der Akteur Informationen über die Innovation einholt. Erstmalig wird ein<br />
Nutzen der Innovation und die Anforderung auf den Anwender erkannt.<br />
Stadium, in welchem der Akteur kein oder nur geringes Wissen über die Innovation hat und nicht in<br />
den Innovationsprozess integriert ist. Aktivitäten, um diesem entgegenzuwirken erfolgen nicht.<br />
Abbildung 22: Levels of Use, Stufen der Verhaltensänderung (Hall et al., 2011, S. 94)<br />
Die dargestellten Levels of Use (LoU) entsprechen einem bestimmten Verhalten(smuster), das an<br />
einer Innovation involvierte Person aufweist. Die verschiedenen Stadien der Betroffenheit sind in<br />
einer logischen Reihenfolge angeordnet, die allerdings nicht von jedem Beteiligten systematisch<br />
absolviert werden muss. Typischerweise springen Anwender zwischen verschiedenen Stufen, z. B.<br />
von LoU 0 zu LoU IV A, um möglicherweise zu einem niedrigeren Profil zurückzufallen oder auf einer<br />
Position stehen zu bleiben. Eine Einordnung der beteiligten Individuen in die verschiedenen Levels of<br />
Use ist durch die in der Tabelle genannten Merkmale in Verbindung mit den Informationen bezüglich<br />
der einzelnen Personen in Kategorien möglich (Hall et al., 2011, S. 95) und ist anhand der damit<br />
verbundenen Bedürfnisse der Akteure Basis für spezifische Implementationsschritte mit Blick auf<br />
eine erfolgreiche Umsetzung der Innovation (Hall et al., 2011, S. 98).<br />
Die drei dargestellten Dimensionen sind Instrumente, um den Wandel in einer Organisation im Sinne<br />
der Veränderung einzelner Betroffener zu erfassen und daraufhin geeignete Führungs- und Lenkungsmaßnahmen<br />
abzuleiten. Die einzelnen Akteure mit ihren Handlungen und Verhaltensweisen<br />
bilden das Zentrum des Concerns-Based Adoption Models. hall und horD unterscheiden während<br />
eines Innovationsprozesses drei Arten von Akteuren, dem Change Facilitator Team (CFT), das sich<br />
aus Personen mit Leitungsfunktionen zusammensetzt und die Aufgabe der erfolgreichen Implementierung<br />
der Innovation verfolgt (Hall et al., 2011, S. 117 ff.). Im vorliegenden Fall handelt es sich
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
hierbei um die Schulleitung und den Schulqualitätsprozessmanager. Zwei weitere Gruppen bilden<br />
Personen, die eine Innovation umsetzen (AnwenderInnen) oder nicht bzw. noch nicht anwenden<br />
(Nicht-AnwenderInnen).<br />
Im Zentrum des Concerns-Based Adoption Models steht die Bedeutung, jede an der Veränderung<br />
beteiligte Person und deren individuelle Sichtweise des Prozesses zu berücksichtigen. Beteiligte<br />
unterscheiden sich bezüglich des Verständnisses und der Fähigkeit zur Umsetzung von Innovation<br />
(LoU), ihre Bereitschaft etwas zu verändern (SoC) und ihre Genauigkeit im Erkennen der (tatsächlichen)<br />
Vision der Entwickler der Innovation (IC). Einige werden sofort etwas verändern, einige werden<br />
die Innovation über die Zeit anwenden bzw. umsetzen und manche werden der Innovation niemals<br />
voll und ganz zustimmen. Diese Unterschiede zu verstehen und ansprechen zu können, ist für eine<br />
erfolgreiche bzw. vollständige Implementierung unumgänglich. Aus diesem Grund wird die Ermittlung<br />
der drei Dimensionen empfohlen, um auf der Basis der individuellen Unterschiede bei den<br />
Beteiligten gezielte Handlungen einzuleiten (Hall et al., 2011, S. 264 ff.).<br />
Abbildung 23: Concerns-Based Adoption Model von Hall & Hord (Hall et al., 2011, S. 265)<br />
Das Change Facilitator Team übernimmt während einer Veränderung innerhalb einer Organisation<br />
eine wichtige Funktion, da diese Personengruppe mit der Koordination und Steuerung des<br />
Implementierungsprozesses betraut ist und somit aufgrund der individuellen Verhaltensmuster der<br />
Beteiligten anhand situationsgerechter Interventionen einen erfolgreichen Wandel der Einrichtung<br />
entscheidend beeinflussen kann. Das Ziel des Change Facilitator Team ist, den Wandel möglichst<br />
aller Beteiligten vom Nicht-Anwender zum Anwender zu unterstützen (Hall et al., 2011, S. 228 f., 117<br />
ff.). Das Change Facilitator Team hat dabei die Möglichkeit, diesen Prozess auf der Basis spezifischer<br />
Interventionen zu steuern, um das Erfolgspotential der Innovation zu erhöhen oder zu senken (Hall et<br />
al., 2011, S. 143). Eine Intervention ist eine Aktivität oder ein Event von kurzer Dauer, typischerweise<br />
geplant oder ungeplant, um Individuen, sowohl positiv als auch negativ, im Veränderungsprozess<br />
zu beeinflussen (Hall et al., 2011, S. 145). Interventionen durch das Change Facilitator Team sind<br />
109
2. Die Wirksamkeitsanalyse externer Evaluationen im Gesamtkontext<br />
110<br />
hauptsächlich von Maßnahmen wie dem Kontrollieren des Veränderungsprozesses, dem Bereitstel-<br />
len kontinuierlicher Hilfestellungen, der Planung des Ressourceneinsatzes bzw. der Unterstützung im<br />
professionellen Lernens gekennzeichnet (Hall et al., 2011, S. 147–151). Darüber hinaus tragen geeignete<br />
Informations- und Kommunikationswege zu einem erfolgreichen Wandel in der Organisation bei<br />
(Hall et al., 2011, S. 153–154).<br />
Ein Veränderungsprozess wird aber nicht nur durch Interventionen, sondern auch von Interpretationen<br />
der Beteiligten beeinflusst. Das individuelle Wahrnehmen von Handlungen während einer<br />
Innovation wird im Concerns-Based Adoption Model als Heranwachsen von Pilzen bezeichnet, die<br />
wenig kontrollierbar sind und für eine Veränderung sowohl positive als auch negative Auswirkungen<br />
haben können (Hall et al., 2011, S. 164–166).<br />
2.4.4.2.3 Die dritte Ebene: Änderung des Outputs der Institution in Folge der externen<br />
Evaluation<br />
Die letzte Stufe im kirkpatrick-Modell bezieht sich auf erzielte Ergebnisse für die gesamte Organisation,<br />
die aufgrund einer erfolgreichen Anwendung des erlernten Wissens, der angeeigneten Fähigkeiten<br />
und Fertigkeiten von Teilnehmern vorliegen (Kirkpatrick, 1975, S. 14–17). Ein Zeichen für einen<br />
Geschäftserfolg kann übergreifend mit einer Qualitätsverbesserung bezeichnet werden (Phillips et al.,<br />
2005, S. 28). Bei der Übertragung auf die Schule ist damit der Output der Institution angesprochen.<br />
2.4.4.2.4 Die vierte Ebene: Änderung des Outcome der Institution in Folge der externen<br />
Evaluation<br />
Non scholae, sed vitae discimus. Eine Innovation muss demnach validierbar sein, ob sie einen<br />
Beitrag dazu leistet, dass sich das Leben ihrer BürgerInnen ändert. Dimensionen und Indikatoren für<br />
solche Qualitäten und die damit methodische Probleme diskutieren achtenhaGen und baethGe (2005).<br />
Sie heben zum Beispiel auf die Einkommensentwicklung aufgrund Berufs-/ Qualifikationsabschlüsse<br />
ab (Achtenhagen & Baethge, 2005). Solche Veränderungen müssten auf die externe Evaluation<br />
zurückzuführen sein.<br />
2.4.4.2.5 Die fünfte Ebene: Return on Investment<br />
philippS hat das o. g. Modell von kirkpatrick durch den Return on Investment (ROI) um eine weitere<br />
Stufe erweitert, der sich aus dem Quotienten zwischen Gesamtnutzen und Gesamtkosten berechnet<br />
(Phillips et al., 2005, S. 26). Bei dieser Berechnung handelt es sich um einen Ergebnisvergleich<br />
zwischen dem monetären Nutzen des Programms und den entstandenen Kosten (Phillips et al.,<br />
2005, S. 28).<br />
Eine externe Evaluation muss sich der Frage stellen, ob diese Investition mit Blick auf das veränderte<br />
Leben ihrer BürgerInnen lohnend ist. Die faktische Ermittlung des gesellschaftlichen ROI im Sinne<br />
des durch phillipS erweiterten kirkpatrick-Modells ist nicht Aufgabe des Pilotprojektes. Die Betrach-<br />
tung der Wirtschaftlichkeit mit Blick auf die Schule sowie am Verfahren beteiligten Personen wird
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
hingegen einschätzend-antizipativ berücksichtigt. Aus diesem Grund erfolgt die Gegenüberstellung<br />
als Verhältnis zwischen erzieltem Nutzen und dem entstandenen Aufwand. Die Wirtschaftlichkeit im<br />
Sinne einer Nutzen-Aufwand-Relation (NAR) ergibt sich wie folgt: .<br />
Der Begriff Nutzen wird in diesem Zusammenhang als positiver Effekt definiert, der sich sowie für<br />
einzelne Personen als auch die Bildungseinrichtung selbst aus der externen Evaluation ergibt. Beispielsweise<br />
könnte ein Erhalt neuer Informationen bzw. Hinweise zur Weiterentwicklung der Schule<br />
genannt werden, die zur Erreichung des Ziels der externen Evaluation beitragen. Dieser Sachverhalt<br />
wird dem Aufwand gegenübergestellt, der personelles Engagement, individuelle Aktivitäten sowie zu<br />
erbringende Leistungen ausdrückt, die im Rahmen des Verfahrens auszuführen sind.<br />
111
3. Empirisches Forschungsdesign<br />
112<br />
3. Empirisches Forschungsdesign<br />
3.1 Kontext dieser Erhebung: Das Peer Review in European VET<br />
Bei der Entwicklung der externen Evaluation im Nürnberger Qualitätsmanagementsystem (vgl.<br />
2.3.1.3.2.5) wurde auf die Konzeption des Europäischen Peer Reviews zurückgegriffen, das im Herbst<br />
2009 als ‚Peer Review in QIBB‘ als freiwilliges externes Evaluationsverfahren im Rahmen der Qualitätsinitiative<br />
Berufsbildung (QIBB) implementiert wurde. Das Peer Review in QIBB ist als externe Evaluation<br />
im Rahmen einer Schwerpunktinitiative der Sektion Berufsbildung des Bundesministeriums<br />
für Unterricht, Kunst und Kultur zur Einführung eines umfassenden Qualitätsmanagementsystems in<br />
QIBB, der QualitätsInitiative BerufsBildung, eingebunden (vgl. 2.3.2) und wird von der österreichischen<br />
Referenzstelle für Qualität in der Berufsbildung, ARQA-VET, koordiniert. Die Zusammenarbeit<br />
konnte bei der Konzeption von NQS-E mit ARQA-VET weiter intensiviert werden, in dem im „Konferenz<br />
Peer Review“ im Rahmen der 1. Qualitätsnetzwerk-Konferenz in Wien die Rolle eines Peers<br />
übernommen sowie am Informations- und Erfahrungsaustausch über Qualitätsmanagementsysteme<br />
in berufsbildenden Schulen in Bremen, Sachsen, Bayern und Österreich teilgenommen wurde.<br />
Wie bereits in Kapitel 2.4 erläutert, ist die Frage der Wirksamkeit externer Evaluationen Kern dieser<br />
Arbeit. Zum Zeitpunkt der bevorstehenden Datenerhebung konnte nur bedingt auf die Schulen innerhalb<br />
des Nürnberger Qualitätsmanagementsystems zurückgegriffen werden, da sich das externe<br />
Verfahren noch in der Entwicklung befand bzw. eine Erhebung mit Berücksichtigung des notwendigen<br />
Handlungsbedarfs der Schule im Anschluss an NQS-E nur mit entsprechender Zeitverzögerung<br />
möglich ist. In diesem Zusammenhang wurde nach vergleichbaren Schulen gesucht, die eine externe<br />
Evaluation in einem annähernd gleichen Zeitraum durchführten. Mit Blick auf die Parallelen zwischen<br />
NQS-E und dem Peer Review in QIBB sowie die intensive Zusammenarbeit mit ARQA-VET ergab<br />
sich die Möglichkeit, die sieben Schulen zu untersuchen, die an der Pilotstudie zur Adaptierung des<br />
europäischen Peer Review Verfahrens an die Erfordernisse österreichischer berufsbildender Schulen<br />
teilnahmen (vgl. 2.3.2.5).<br />
3.1.1 Wirkungsbereich des Peer Review in European VET<br />
Innerhalb des Peer Reviews wird das Ziel verfolgt, die Qualität einer Bildungseinrichtung zu sichern<br />
und zu fördern sowie durch die Unterbreitung nützlicher Verbesserungsvorschläge einen kontinuierlichen<br />
Prozess der Qualitätsentwicklung in der Institution anzuregen (vgl. 2.3.2.3). Aus diesem<br />
Grund wird diese externe Evaluation primär als Instrument im Bereich der Schulentwicklung und<br />
Erkenntnisgewinnung zugeordnet.
3.1.2 Ziel der Erhebung<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Ziel der Analyse ist die Erhebung 3 von Steuerungsinformationen in Bezug auf die Wirkung des Peer<br />
Reviews anhand der im Pilotversuch beteiligten Schulen. Darüber hinaus soll die Frage beantwortet<br />
werden, ob das Ziel des Peer Review Verfahrens selbst sowie die Förderung der Qualitätssicherung<br />
und -entwicklung in der zugrundeliegenden Schule (Gutknecht-Gmeiner et al., 2007, S. 1) erreicht<br />
wurde bzw. welche Wirkung das Peer Review Verfahren auf die Schulen hat.<br />
Die Wirksamkeitsanalyse des Peer Reviews erfolgt als formative Evaluation. Diese Evaluationsart<br />
dient der Qualitätssicherung und verfolgt das Ziel der Entwicklung und Optimierung einer Maßnahme<br />
(vgl. 2.2.2.1). Die Form und Methodik der Evaluation wird konzipiert, um Schwachstellen in der Umsetzung<br />
einer Maßnahme zu identifizieren. Das Ergebnis der Evaluation sind Empfehlungen für eine<br />
Optimierung des untersuchten Vorgangs (Tergan, 2000, S. 25). Eine formative Evaluation impliziert<br />
also Handlungen und Aktivitäten, um einen „[...] Prozess kontinuierlich zu verbessern“ (Brunnhuber<br />
et al., 2007, S. 207). Idealerweise erfolgt eine erste Rückmeldung von Ergebnissen im Rahmen einer<br />
formativen Evaluation während der Entwicklungsphase, um erzielte Ergebnisse unmittelbar in das<br />
Konzept zu integrieren (Scriven, 1972, S. 64) und im Sinne eines PDCA-Kreislaufs Änderungen und<br />
Verbesserungsvorschläge für die Weiterentwicklung der Maßnahme zu erhalten.<br />
Zielgruppe der Evaluation sind dabei alle beteiligten Statusgruppen, indem alle durchführenden<br />
Personen auftretende Probleme bei der Durchführung durch Interaktion oder Diskussion erläutern,<br />
um umfassende Verbesserungsvorschläge für die Maßnahme zu erheben (Kuckartz, Dresing, Rädiker<br />
& Stefer, 2008, S. 17–19). Diese Evaluation richtet sich also an Personen bzw. Organisationen, die<br />
Verantwortung für die Durchführung der Maßnahme haben (Schimitzek, 2008, S. 24) und aufgrund<br />
ihrer Funktion in der Lage sind, zur Behebung qualitativer Defizite entsprechende Schritte einzuleiten.<br />
Die vorliegende Forschungsarbeit bezieht sich auf den Pilotversuch des Peer Reviews und soll<br />
auf der Basis des entwickelten Fünf-Stufen-Modells zur Wirksamkeit im Rahmen einer formativen<br />
Evaluation die Stärken und Schwächen dieser externen Evaluation ermitteln. Sekundär wird die<br />
Frage betrachtet, inwieweit das Ziel des Peer Reviews, die Qualitätsverbesserung von Bildungseinrichtungen,<br />
erreicht wurde. Darüber hinaus bietet die Erhebung die Möglichkeit, das Verfahren auf<br />
der Basis erzielter Ergebnisse weiterzuentwickeln. Eine Optimierung des Peer Reviews ist damit die<br />
zugrundeliegende Motivation der Erhebung, indem Empfehlungen für die einzelnen Phasen dieser<br />
externen Evaluation unterbreitet werden. Der Fokus der Analyse bezieht sich insbesondere auf die<br />
vierte Phase des Peer Reviews, der Interpretation von Evaluationsergebnissen und die damit verbundene<br />
Umsetzung von Zielen und Maßnahmen, da dies eine der größten Herausforderungen für<br />
Bildungseinrichtungen ist, aber mit Blick auf die Qualitätsverbesserung von Schulen einen zentralen<br />
Punkt für die Wirksamkeit des Verfahrens darstellt.<br />
Im Zuge der Wirksamkeitsanalyse wurden zunächst Personen mit direktem Bezug zum Verfahren, wie<br />
Schulleitung, Schulqualitätsbeauftragter, Peer Review Organisator und Beteiligte an der Erstellung<br />
des Selbstberichts befragt, um Rückmeldungen über vorhandene Probleme bei der Durchführung<br />
3 Die Erhebung wird im Folgenden als Projekt definiert.<br />
113
3. Empirisches Forschungsdesign<br />
114<br />
des Peer Reviews zu erhalten. Weitere Erhebungsschritte richteten sich an alle Lehrkräfte der Pilotschulen,<br />
um eine ganzheitliche Einschätzung des Verfahrens mit umfassenden Vorschlägen für eine<br />
Optimierung des Verfahrens zu erhalten.<br />
3.1.3 Quantitative und qualitative Forschung<br />
Die vorliegende Wirksamkeitsanalyse verfolgt neben der Ermittlung der Stärken und Schwächen<br />
des Peer Reviews das Ziel, mögliche Verbesserungsvorschläge für eine Optimierung des Verfahrens<br />
durch Empfehlungen für einzelne Phasen der externen Evaluation zu unterbreiten. Um diese Fragen<br />
beantworten zu können, muss zunächst geprüft werden, ob die Beteiligten das Peer Review akzeptieren<br />
und mit dem Verfahren zufrieden sind. Darüber hinaus spielen Innovationen, die aufgrund<br />
der Inputs während des Verfahrens angeregt wurden, eine wichtige Rolle, da diese Maßnahmen<br />
zur Qualitätsverbesserung der Bildungseinrichtung und somit zur Zielerreichung des Peer Reviews<br />
beitragen. Schließlich sind die Bereiche des Outputs im Sinne einer Veränderung der Lernleistung<br />
von Schülern bzw. die Frage der Wirtschaftlichkeit des Peer Reviews zu berücksichtigen, um letztlich<br />
umfassende Ergebnisse mit Blick auf die Stärken-/Schwächenanalyse zu erhalten. Auf Basis dieser<br />
Daten werden denkbare Verbesserungsvorschläge für das Verfahren ermittelt, um mögliche Felder<br />
für eine Weiterentwicklung der externen Evaluation aufzuzeigen.<br />
Auf der Basis der zugrundeliegenden Ziele der Wirksamkeitsanalyse wurde ein Fünf-Stufen-Modell<br />
(vgl. 2.4.4) entwickelt, das eine Grundlage für die Beantwortung der aufgeworfenen Fragen bilden<br />
soll. Zunächst sollten alle Schulen bezüglich der Akzeptanz des Verfahrens, der Umsetzung von<br />
Maßnahmen (Innovationen), der Veränderung der Lernleistung sowie der Wirtschaftlichkeit der<br />
externen Evaluation befragt werden. Diese Ergebnisse sollen schulübergreifend miteinander verglichen<br />
werden, um auf der Basis der erzielten Werte Bildungseinrichtungen für weitere Befragungen<br />
auszuwählen, die eine ausführliche Darlegung der Situation während des Peer Reviews sowie einen<br />
intensiven Austausch bezüglich möglicher Verbesserungsvorschläge für das Verfahren ermöglichen.<br />
Die Überprüfung eines Ausgangspunktes, der Wirksamkeit des Peer Reviews, basiert auf der Theorie<br />
quantitativer Forschung. Im Gegensatz dazu ist die Entwicklung einer Thematik ein Merkmal des<br />
qualitativen Designs (Flick, 2009, S. 26). Aus diesem Grund ist die Wirksamkeitsanalyse des Peer<br />
Reviews sowohl qualitativ als auch quantitativ orientiert, da im Rahmen dieser Forschungsarbeit<br />
Fragen beantwortet werden, die eine Integration beider Forschungsmethoden impliziert, um einerseits<br />
die Akzeptanz des Verfahrens sowie die Tragweite von Innovationen nach dem Peer Review zu<br />
erfassen und andererseits Möglichkeiten für eine Optimierung der externen Evaluation zu erhalten.<br />
mayrinG verdeutlicht, dass „qualitatives und quantitatives Denken [...] in der Regel in jedem Forschungs-<br />
und Erkenntnisprozess enthalten [sind]“ (Mayring, 2002, S. 19). Vielmehr sind quantitative<br />
Daten erst anhand eines weiteren qualitativen Forschungsprozesses umfassend zu betrachten, um<br />
die Ganzheitlichkeit eines Sachverhalts erschließen zu können (Flick, 2006, S. 41). In Kapitel 3.2 ist<br />
das Zusammenspiel der qualitativen und quantitativen Datenerhebung bei der Wirksamkeitsanalyse<br />
des Peer Review Verfahrens weiter verdeutlicht.
3.1.4 Forschungsrahmen<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Untersuchungsgegenstand der vorliegenden Studie ist das Peer Review, insbesondere die vierte<br />
Phase, in der eine Bildungseinrichtung individuelle Ergebnisse verarbeitet und Maßnahmen ableitet,<br />
indem die Wirksamkeit des Verfahrens untersucht sowie Vorschläge für eine Weiterentwicklung des<br />
Verfahrens unterbreitet werden. Auf der Grundlage der externen Evaluation wird die Qualitätsentwicklung<br />
von Schulen, speziell die Initiierung von Innovationen, näher beleuchtet, die einen kontinuierlichen<br />
Entwicklungsprozess für eine Bildungseinrichtung darstellt. Übergreifend ist ein Fortschritt<br />
im Sinne der Optimierungsfelder für das Verfahren selbst erkennbar. Aus diesem Grund wird als<br />
Forschungsrahmen die Fallstudie gewählt, um diese Entwicklungen von verschiedenen Standpunkten<br />
sowie tiefgreifende Erkenntnisse bezüglich des Peer Reviews zu erfassen und Methoden zur<br />
Datengewinnung individuell anpassen zu können. Die genannten Gründe tragen letztlich dazu bei, die<br />
Fallstudie als geeigneten Forschungsrahmen für die vorliegende Analyse zu definieren.<br />
Die vorliegende Fallstudie basiert auf den Erfahrungen des Pilotversuchs, an dem sieben Schulen<br />
beteiligt waren (vgl. 2.3.2.5). Vor diesem Hintergrund liegt eine qualitative Fallstudie vor, da nur<br />
wenige Fälle untersucht werden, aber anhand verschiedener Methoden ‚tiefe‘ Informationen ermittelt<br />
werden, um eine ganzheitliches Verständnis des Untersuchungsgegenstands zu erzielen (Lamnek,<br />
2008, S. 309). Qualitative Daten sollen hierbei den Ausgangspunkt der Erhebung bilden, um anhand<br />
der erzielten Resultate durch eine qualitative Evaluation zusätzliche Erkenntnisse zu erheben (Kuckartz,<br />
Dresing, Rädiker & Stefer, 2008, S. 18).<br />
Eine Fallstudie impliziert eine genaue Beschreibung oder Rekonstruktion eines Falls (Flick, 2009,<br />
S. 83). Ziel der Fallanalyse ist „[...] die Überprüfung der Adäquatheit der Methoden auf dem Hintergrund<br />
eines individuellen Falles; eine Erleichterung der Interpretation von quantitativ gewonnenen<br />
Ergebnissen und das Ermöglichen von tiefer gehenden Einsichten in schwer zugängliche<br />
Gegenstandsfelder“ (Mayring, 2002, S. 44). Anhand einer Fallstudie wird die Komplexität des Forschungsgegenstandes<br />
erfasst, indem elementare Einflussfaktoren untersucht und Zusammenhänge<br />
interpretiert werden (Mayring, 2002, S. 44). Ein zentraler Faktor dieses Forschungsrahmens stellt die<br />
Identifikation, Abgrenzung und Einordnung des Falls sowie die Auswahl methodischer Zugänge dar<br />
(Flick, 2006, S. 177), um eine ganzheitliche Betrachtung des Forschungsgegenstandes mit Blick auf<br />
die Ermittlung individueller Ergebnisse zu gewährleisten. Ein Fall ist also ein Untersuchungsfeld, das<br />
auf der Basis zugrundeliegender Forschungsfragen und -rahmen abzugrenzen ist.<br />
lamnek bezeichnet die Fallstudie selbst als „kein eigenständiges methodologisches Paradigma“ bzw.<br />
„keine konkrete Erhebungstechnik“ (Lamnek, 2008, S. 298), die häufig in Verbindung bei der Erläuterung<br />
von Techniken erwähnt wird. Vielmehr wird die Fallanalyse als ein ‚approach‘ im Sinne eines<br />
Forschungsrahmens mit vielschichtigen methodischen Vorgehensweisen bezeichnet (Hartfiel, 1982,<br />
S. 160). Diese ist somit ein Ansatz, um „[...] die theoretischen Vorgaben der Methodologie in praktische<br />
Handlungsweisen [umzusetzen]“ (Lamnek, 2008, S. 299). Die Fallstudie ist also bezüglich des Forschungsdesigns<br />
nicht an bestimmte paradigmatische Hintergründe gebunden und ermöglicht Datenerhebungen<br />
anhand der gesamten Vielfalt sozialwissenschaftlicher Methoden (Lamnek, 2008, S. 298),<br />
die sich somit an qualitativen als auch quantitativen Daten sowie einer Kombination beider orientieren<br />
115
3. Empirisches Forschungsdesign<br />
116<br />
können (Yin, 2009, S. 132 f.). Die Wahl der Erhebungstechnik ist innerhalb der Fallstudie somit sekundär<br />
zu betrachten, wobei diesbezüglich eine Abgrenzung zu anderen Forschungsstrategien, beispielsweise<br />
dem Experiment, vorliegt. Die Wahl einer Forschungsstrategie ist von drei Bedingungen abhängig:<br />
• Welche Art von Forschungsfragen wird gestellt?<br />
• Welches Maß an Kontrolle über die Ereignisse wird vorausgesetzt?<br />
• In welchen Zeithorizonten ist der Untersuchungsgegenstand einzugruppieren?<br />
Nach yin bewährt sich die Fallstudie als mögliches Forschungsdesign insbesondere dann, wenn es<br />
sich bei den Fragestellungen um „Wie“, „Was“ oder „Warum“-Fragen handelt, keine Kontrolle über die<br />
Ereignisse vorausgesetzt wird und der Untersuchungsgegenstand auf eine zeitnahe Angelegenheit<br />
Bezug nimmt (Yin, 2009, S. 8–13). Primär geht es in einer Fallstudie darum, neue Erkenntnisse zu<br />
erforschen, indem eine tiefgreifende Sicht im täglichen Alltagsgeschehen untersucht wird (Yin, 2009,<br />
S. 18). Im Vordergrund der Fallstudie steht also „[...] die Beschreibung und Analyse eines einzelnen<br />
Falls, einer einzelnen Untersuchungseinheit“ (Lamnek, 2008, S. 311), wobei jede Befragung eines<br />
Beteiligten anhand identischer Erhebungstechniken selbst als Einzelfallstudie betrachtet werden kann<br />
(Lamnek, 2008, S. 313). In einer Fallstudie geht es übergreifend um die ganzheitliche Erfassung des<br />
Untersuchungsgegenstands, indem „[...] alle für das Untersuchungsobjekt relevanten Dimensionen in<br />
die Analyse [einbezogen werden]“ (Lamnek, 2008, S. 299). Also auch die Integration aller beteiligten<br />
Personen ermöglicht, tiefer gehende Erkenntnisse über den Forschungsgegenstand zu gewinnen.<br />
Die Fallstudie verkörpert einen Forschungsansatz, nicht eine Erhebungstechnik. Aus diesem Grund<br />
bezieht sich die Typisierung anhand der folgenden Merkmale auf das Forschungsdesign von Fallstudien<br />
(Lamnek, 2008, S. 320 f.):<br />
• Untersuchungseinheit: Eine Fallstudie bezieht sich grundsätzlich auf Personen mit Blick auf<br />
das menschliche Handeln. In diesem Zusammenhang erfolgt eine Unterscheidung zwischen<br />
Einzelpersonen versus soziales Aggregat, das eine Gruppe von Einzelpersonen vorsieht.<br />
• Forschungsfrage: Ganzheitliche Einzelfallstudien beziehen sich bei der Analyse auf die Außenkontakte<br />
eines Falls. Im Gegensatz dazu kann die Binnenstruktur einzelner Komponenten<br />
untereinander betrachtet werden.<br />
Aus der Kombination zwischen den zwei Formen der Untersuchungseinheit sowie den beiden Möglichkeiten<br />
der Forschungsfrage (Binnenstruktur versus Außenkontakte) ergeben sich vier verschiedene<br />
Typen von Fallstudien:<br />
Tabelle 4: Typologisierung der Fallstudie (Lamnek, 2008, S. 322)<br />
Untersuchungseinheit der Studie<br />
Forschungsfrage<br />
Einzelperson Soziales Aggregat<br />
Binnenstruktur Typ 1 Typ 3<br />
Außenkontakte Typ 2 Typ 4
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Im Zentrum der Wirksamkeitsanalyse stehen nicht die einzelnen Lehrkräfte der am Pilotversuch<br />
beteiligten Schulen, sondern die Bildungseinrichtung als Ganzes in Form eines sozialen Aggregates.<br />
Betroffene Personen werden unter dem Gesichtspunkt der Beteiligung am Peer Review Verfahren als<br />
homogen betrachtet.<br />
Die Forschungsfrage bezieht sich insofern auf die Binnenstruktur, da innerhalb der vorliegenden<br />
Analyse die einzelnen Peer Reviews als Teileinheiten definiert werden und anhand der jeweiligen<br />
Erfahrungen der Schulen im Pilotversuch die Wirksamkeit der externen Evaluation ermittelt wird und<br />
Möglichkeiten für eine Optimierung des Verfahrens erhoben werden. Anhand der genannten Indizien<br />
wird die vorliegende Wirksamkeitsanalyse dem Typ 3 der Fallstudie zugeordnet.<br />
3.1.5 Forschungsfragen<br />
Das Peer Review Verfahren hat das Ziel, die Qualität einer Schule zu erhöhen (vgl. 2.3.2.3). Um dies<br />
gewährleisten zu können, sind Veränderungen in der Bildungseinrichtung nach der externen Evaluation<br />
notwendig, um in den jeweiligen Bereichen der Schule eine Verbesserung zu erzielen. Auf dieser<br />
Basis wurde für die vorliegende Forschungsarbeit ein Modell entwickelt, um die Wirksamkeit externer<br />
Evaluationen zu ermitteln und zu optimieren. Folgende übergreifende Fragestellungen stehen dabei<br />
im Zentrum der Analyse:<br />
• Wie kann die schulische Wirksamkeit des Peer Reviews erhöht werden?<br />
• Wie kann das Peer Review weiterentwickelt werden?<br />
Mit Blick auf die Beantwortung der ersten Frage soll zunächst geklärt werden, ob das Peer Review<br />
Verfahren an sich unter den beteiligten Pilotschulen akzeptiert ist. Kern der Analyse bildet das<br />
Concerns-Based Adoption Model, das jede beteiligte Personen mit ihren individuellen Sichtweisen,<br />
Anliegen und Interessen berücksichtigt. Auf der Basis des Innovationsmodells wird festgestellt, ob<br />
die Inputs des Peer Reviews Innovationen in einer Schule anregen konnten. Insbesondere geht es<br />
hierbei um folgende Fragen:<br />
• Welchen Grad der Betroffenheit weisen die Lehrpersonen bei der Umsetzung von Maßnahmen auf?<br />
• Welchen Grad der Verhaltensänderung zeigen die Betroffen bezüglich der Neuerungen?<br />
• Welche Steuerungsmöglichkeiten ergeben sich für die Schule?<br />
Des Weiteren stellen sich die Fragen, ob die Innovation die Lernleistungen der Schüler verbessert<br />
und wie direkt am Verfahren beteiligte Personen Aufwand und Nutzen des Verfahrens einschätzen.<br />
Anhand der quantitativen Analyseergebnisse werden erste Schlussfolgerungen gezogen und weitere<br />
Daten erhoben, um Möglichkeiten für die Erhöhung der Wirksamkeit sowie Weiterentwicklung<br />
des Verfahrens zu entwickeln. Abschließend sollen die einzelnen Schulen Rückmeldungen für eine<br />
weitere Gestaltung und Steuerung von Innovationsprozessen erhalten, um einen Wandel der Bildungseinrichtung<br />
mit Blick auf die Integration aller Beteiligten zu optimieren und die Entwicklung der<br />
Lehrpersonen zum ‚Innovationsanwender‘ zu unterstützen.<br />
117
3. Empirisches Forschungsdesign<br />
118<br />
3.2 Anlage der Erhebung<br />
Der Forschungsprozess wird, wie in der folgenden Abbildung visualisiert, in drei Phasen unter-<br />
gliedert. Auf der Basis der Erfahrungen des Pretests werden alle an dem Pilotversuch des Peer<br />
Review Verfahrens beteiligten Bildungseinrichtungen in einem zweistufigen quantitativen Verfahren<br />
befragt. Diese Ergebnisse sind die Basis für die Auswahl von Pilotschulen, die anschließend qualitativ<br />
untersucht werden, um aufgrund der erzielten Werte im quantitativen Prozess intensive Erkenntnisse<br />
und Verbesserungsvorschläge für die Optimierung des Peer Reviews zu erhalten.<br />
Abbildung 24: Phasen des Forschungsprozesses
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Der Forschungsprozess bringt sowohl quantitative als auch qualitative Erhebungsmethoden zum<br />
Einsatz (vgl. 3.1.3) und wird nach lamnek in die Schritte Auswahl der Schulen, Datenerhebung<br />
sowie Auswertung der Daten unterteilt (Lamnek, 2008, S. 313–320). Diese werden in den folgenden<br />
Kapiteln erläutert.<br />
3.2.1 Der Pretest<br />
Der Konzeption des Forschungsprozesses geht ein Pretest voraus, in dem an einer NQS-Schule<br />
(vgl. 2.3.1.3) der erste Entwurf eines Fragebogens zum Einsatz kam, um diesen auf Verständlichkeit<br />
zu prüfen und das geplante Vorgehen reflektieren zu können (Diekmann, 2010, S. 195). Daraufhin<br />
wurde die Datenerhebung in zwei Schritte unterteilt, um zunächst Personen mit direktem Bezug<br />
zur externen Evaluation befragen zu können, da alle Lehrkräfte nicht mit den Details des Verfahrens<br />
betraut waren. Im zweiten Schritt sollte nun die Befragung des Gesamtkollegiums erfolgen. Ferner<br />
wurden die Items des Fragebogens analog der Funktion der zu befragenden Personen gegliedert und<br />
ein weiteres Erhebungsinstrument erarbeitet sowie weitere Feinheiten im Bereich der Formulierung<br />
von Items vorgenommen.<br />
3.2.2 Der quantitative Erhebungsteil<br />
3.2.2.1 Erhebungsziele des quantitativen Teils<br />
Im quantitativen Teil der Erhebung wurde das Ziel verfolgt, auf der Reaktionsebene die Zufriedenheit<br />
der am Verfahren beteiligten Personen zu erheben, um eine Rückmeldung hinsichtlich der Gefühle,<br />
Bewertungen und Einschätzungen zum Verfahren zu erhalten. Darüber hinaus ist die Adaptierung<br />
von Maßnahmen, die auf der Basis des Peer Reviews abgeleitet wurden, näher untersucht worden.<br />
Die Erhebung von Einschätzungen in Bezug auf eine Veränderung der Lernleistung von SchülerInnen<br />
anhand der Innovationen bildet den dritten Baustein der quantitativen Erhebung. Schließlich erfolgte,<br />
mit Blick auf das Peer Review Verfahren, eine Bewertung von Nutzen und Aufwand aus persönlicher<br />
und organisationaler Sicht, um eine Einschätzung zur Wirtschaftlichkeit des Peer Reviews zu erhalten.<br />
3.2.2.2 Auswahl der Schulen<br />
In der vorliegenden Studie erfolgt eine Wirksamkeitsanalyse des Peer Reviews, das im Rahmen eines<br />
Pilotprojekts während des Schuljahres 2008/09 an sieben österreichischen berufsbildenden Schulen<br />
erprobt wurde (vgl. 2.3.2.5). Diese Bildungseinrichtungen wurden für erste Erhebungen ausgewählt,<br />
um Erfahrungen, Einstellungen und Meinungen von Beteiligten vollständig zu erfassen. Aus diesem<br />
Grund basiert der quantitative Forschungsprozess auf einer Vollerhebung, da die Auswahl der Schulen<br />
anhand bestimmter Kriterien erfolgt und die „[..] in Frage kommenden Fälle [soweit einschränkt],<br />
dass diese vollständig in der Untersuchung berücksichtigt werden können“ (Flick, 2006, S. 157). In<br />
der vorliegenden Studie richtet sich das Kriterium zur Auswahl der Schulen an der Teilnahme am<br />
Pilotversuch zum Peer Review Verfahren. Somit bezieht sich der quantitative Forschungsprozess<br />
auf diese sieben ausgewählten Schulen, um die Wirksamkeit der externen Evaluation aufgrund der<br />
Erfahrungen in der Pilotphase zu erheben.<br />
119
3. Empirisches Forschungsdesign<br />
120<br />
3.2.2.3 Datenerhebung und -auswertung<br />
Die Datenerhebung erfolgt dadurch, „[...] dass der Forscher sich in ein Feld begibt und sich mit seinen<br />
bisherigen Kenntnissen dort zu informieren sucht, vertraut macht mit Praktiken, Handlungs- und<br />
Sprechweisen der dort ansässigen Menschen, an deren Wissen partizipiert und Kenntnisse von<br />
den Gegenständen und Prozessen bekommt, mit denen er im Feld zu tun hat“ (Hermanns, Tkocz &<br />
Winkler, 1984, S. 147). Die Wahl der Erhebungsmethode hängt also in erster Linie vom Erhebungsgegenstand<br />
ab, indem Inhalte, Konzepte und Strukturen erarbeitet werden und auf dieser Basis<br />
entsprechende Erhebungsformen ausgewählt werden.<br />
3.2.2.3.1 Quantitative Befragung des erweiterten Qualitätsteams<br />
In einem ersten Schritt der quantitativen Datenerhebung erfolgte eine schriftliche Befragung folgender<br />
Personengruppen: Schulleitung, Schulqualitätsprozessmanager, Peer Review Organisatoren,<br />
Ersteller des Selbstberichts. Diese Personen machen das sogenannte erweitere Qualitätsteam der<br />
Schule aus und sind am stärksten in den Prozess der externen Evaluation eingebunden.<br />
Die Befragten werden dabei aufgefordert, ihre Einschätzungen zu den vier Phasen des Peer Review<br />
Verfahrens (vgl. 2.3.2.4) mit Hilfe eines standardisierten Fragebogens anhand einer vier-stufigen<br />
Likert-Skala einzustufen (Mayer, 2009, S. 87). Die Entwicklung des Fragebogens erfolgte auf der<br />
Basis des Handbuchs zum Peer Review Verfahren, in dem die vier Phasen der externen Evaluation<br />
genau beschrieben sind (Gutknecht-Gmeiner et al., 2007). Auf dieser Grundlage wurde das Erhebungsinstrument<br />
zunächst in die vier Bereiche Vorbereitung, Peer Besuch, Peer Review Bericht und<br />
Umsetzen von Maßnahmen gegliedert. Innerhalb dieser Gliederung wurden anhand der detaillierten<br />
Ausführungen im Handbuch einzelne Fragen abgeleitet und wichtige Schritte bzw. Aufgaben für jede<br />
Phase herausgearbeitet. Mit Hilfe dieses Befragungsteils sollten ‚neuralgische‘ Punkte im Prozess<br />
ermittelt werden. Außerdem wurden die Personen aufgefordert, fünf Maßnahmen zu nennen, die<br />
nach dem Peer Review Verfahren umgesetzt wurden, um diese im zweiten Schritt der quantitativen<br />
Datenerhebung im Gesamtkollegium erheben zu können. Diese Innovationen wurden hinsichtlich der<br />
Relevanz für alle Lehrkräfte sowie der individuellen Bedeutung abgefragt, um eine hohe Betroffenheit<br />
der Pädagogen sowie eine hohe Bedeutsamkeit der abzufragenden Maßnahmen sicherzustellen.<br />
In einem nächsten Abschnitt erfolgte eine erste umfassende Einschätzung des Peer Reviews, indem<br />
die Befragten besonders positive bzw. negative Aspekte sowie Verbesserungsvorschläge nennen<br />
konnten, damit ein erster Eindruck über mögliche Stärken und Schwächen des Verfahrens ersichtlich<br />
wurde. Abschließend erfolgte, neben der Angabe soziodemographischer Daten, anhand einer sechsstufigen<br />
Likert Skala eine Einschätzung von Nutzen und Aufwand der externen Evaluation sowohl auf<br />
persönlicher Ebene als auch auf Ebene der Schule.<br />
Ein weiterer Bezugspunkt bei der Entwicklung von Fragen zum Peer Review Verfahren bildeten die<br />
vier Wirkungsbereiche der externen Schulevaluation nach lanDWehr (vgl. 2.2.3.5). In Bezug auf die<br />
Funktion der Erkenntnisgewinnung wurde eine Formulierung von Items gewählt, inwiefern das Peer<br />
Review neue Erkenntnisse oder Ergebnisse lieferte, die bereits an der Schule diskutiert wurden bzw.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
bekannt waren, aber nicht angesprochen wurden. Darüber hinaus wurden Fragen berücksichtigt,<br />
ob das Peer Review bereits bekannte Ergebnisse aufgezeigte, die anschließend offiziell besprochen<br />
werden können (Landwehr, 2011, S. 44). „Von der externen Schulevaluation wird erwartet,<br />
dass die Evaluationsergebnisse wirksame Impulse geben für die Weiterentwicklung der Schule [...]“<br />
(Landwehr, 2011, S. 48). Die Funktion der Schulentwicklung betreffend sind innerhalb der Datenerhebung<br />
Fragen aufgeworfen worden, die sich damit befassen, ob die im Peer Review Bericht<br />
genannten Verbesserungsbereiche die Schule in der Qualitätsarbeit voranbringen oder zielführende<br />
Verbesserungsmaßnahmen vorgeschlagen wurden. Der dritte Wirkungsbereich nach lanDWehr, die<br />
Rechenschaftslegung, findet insoweit Berücksichtigung, inwieweit umgesetzte Maßnahmen in die<br />
nächste Zielvereinbarung eingegangen sind bzw. die Ergebnisse des Peer Review Verfahrens in den<br />
Schulqualitätsbericht integriert wurden. Die Funktion der Normendurchsetzung bezieht sich darauf,<br />
ob die Nachricht im Hinblick auf eine anstehende externe Evaluation und deren detaillierten Aspekte<br />
bzw. Kriterien eine Wahrnehmungs- und Aufmerksamkeitsverschiebung in der schulischen Einrichtung<br />
verursachen, in dem Maßnahmen initiiert werden, um in diesen Bereichen einen zu vertretenden<br />
Qualitätszustand erreichen zu können (Landwehr, 2011, S. 60). Eine Übertragung dieser These auf<br />
ein bevorstehendes Peer Review wird insoweit gänzlich zu einer Erhöhung der Aufmerksamkeit in<br />
Bezug auf die Qualitätsarbeit führen, da die Schule mit Blick auf das bevorstehende Verfahren den<br />
vorgegebenen Qualitätsbereich einschätzen bzw. eigene Themen positionieren kann. Aus diesem<br />
Grund ist dieser Sachverhalt mit hoher Wahrscheinlichkeit vor jedem Verfahren gewährleistet und<br />
wird aus diesem Grund in der vorliegenden Erhebung nicht weiter verfolgt.<br />
In der ersten Phase der Datenauswertung stand die Interpretation der standardisierten Fragebögen<br />
der am Peer Review Verfahren beteiligten Personen im Fokus, um erste Ergebnisse über die Zufriedenheit<br />
mit der externen Evaluation zu erhalten. Die Aufbereitung der Daten aus dem ersten Schritt<br />
des quantitativen Forschungsprozesses in einer Datenmatrix ermöglichte eine Ermittlung von Verteilungsparametern.<br />
Um die unterschiedliche Anzahl der Evaluierenden einer Schule zu relativieren,<br />
wurde anhand der zugrundeliegenden Skala (Porst, 2009, S. 71) ein arithmetisches Mittel für jedes<br />
Item berechnet (Flick, 2009, S. 158). Diese neu berechneten Werte ermöglichten eine erste Interpretation<br />
und Gegenüberstellung der Ergebnisse. Darüber hinaus wurde die Standardabweichung<br />
berechnet, um die Verteilung, also die Streuung der Werte, abzubilden. Aus den Daten standardisierter<br />
Erhebungen können Stärken und Schwächen festgestellt werden, wobei die zugrundeliegenden<br />
Argumente für Bewertung sowie mögliche Optimierungsbereiche allerdings nur mit Hilfe qualitativer<br />
Forschungsmethoden erhoben werden können (Brunnhuber, 2009, S. 64–67).<br />
3.2.2.3.2 Quantitative Befragung der Lehrkräfte<br />
3.2.2.3.2.1 Übersicht<br />
Im zweiten Schritt des quantitativen Forschungsprozesses wurden alle Lehrkräfte der am Pilotversuch<br />
beteiligten Schulen mit einem standardisierten Fragebogen befragt. Hierbei sollten die auf der<br />
Basis des Peer Reviews initiierten Maßnahmen, durch die Erhebung der Stages of Concern und der<br />
Levels of Use, bewertet sowie eine Einschätzung bezüglich einer Verbesserung der Lernleistungen<br />
von SchülerInnen durch diese Maßnahme getroffen werden.<br />
121
3. Empirisches Forschungsdesign<br />
122<br />
3.2.2.3.2.2 Messung der Stages of Concern und der Levels of Use<br />
3.2.2.3.2.2.1 Messung der Stages of Concern<br />
Die Stages of Concern ermitteln die subjektive Betroffenheit von Beteiligten an einem Innovationsvorhaben,<br />
wobei sich diese Ausprägungen in sieben Stufen unterteilen (vgl. 2.4.4.2.2). Für die<br />
Erhebung der Stages of Concern stehen während eines Innovationsprozesses drei Möglichkeiten zur<br />
Verfügung, um Gefühle und Emotionen von Beteiligten zu bestimmen (Hall et al., 2011, S. 78):<br />
• One-legged interview: Diese Erhebungsform bezeichnet kurze, informelle Gespräche während<br />
des Schulalltags zwischen einem Mitglied des Change Facilitator Team und einer Lehrkraft (Hall<br />
et al., 2011, S. 78 f.).<br />
• Open-Ended Statement: Innerhalb dieser Variante beschreiben Lehrpersonen innerhalb einer<br />
offenen, schriftlichen Befragung ihre emotionale Befindlichkeit in einer kurzen Mitteilung (Hall<br />
et al., 2011, S. 79).<br />
• Stages of Concern Questionnaire (SoCQ): Diese Erhebungstechnik ermöglicht anhand eines<br />
Fragebogens einen quantitativen Zugang zur emotionalen Betroffenheit von Beteiligten an<br />
einem Innovationsprozess (Hall et al., 2011, S. 80 f.). Auf der Basis von 35 Items führt jede<br />
Lehrkraft mit Hilfe einer sieben-stufigen-Likert-Skala eine Selbsteinschätzung über die persönliche<br />
Befindlichkeit in Bezug auf eine Maßnahme durch, wobei jede der sieben Stufen der<br />
Stages of Concern in fünf verschiedenen Items positioniert ist (Hall et al., 2011, S. 282–286).<br />
Aufgrund dieser Ausgangssituationen kann innerhalb einer Stufe eine Summe von 0 bis 35<br />
erzielt werden (Hall et al., 2011, S. 286), wobei grundsätzlich ein hoher Wert eine hohe bzw. ein<br />
niedriger Wert eine geringe Betroffenheit symbolisiert. Innerhalb einer Leerkategorie können<br />
Items als irrelevant eingestuft werden (George, 2008, S. 25). Diese Eingruppierung von Betroffenen<br />
in Stages of Concern kann punktuell als Querschnitt oder über mehrere Erhebungen<br />
als Längsschnitt vorgenommen werden, um Entwicklungen bezüglich der Betroffenheit von<br />
Beteiligten zu erfassen (Hall et al., 2011, S. 262–266). Diese quantitative Technik nimmt bei der<br />
Erhebung der Stages of Concern eine ganz entscheidende Position ein, da der Fragebogen in<br />
einem mehrstufigen Verfahren entwickelt sowie anhand einer extensiven Analyse überarbeitet<br />
wurde und eine große interne Reliabilität und hohe Validität aufweist (Hall et al., 2011, S. 80). Das<br />
quantitative Instrument konnte auf der Basis zahlreicher Validitätsüberprüfungen die Eignung<br />
der einzelnen Items zur Abbildung der Stufen individueller Betroffenheit unter Beweis stellen<br />
(George, 2008, S. 20 f.).<br />
Aufgrund der Vielzahl an Lehrkräften, die von den Maßnahmen der externen Evaluation betroffen<br />
sind, wurde für die Erhebung der Stages of Concern der dafür vorgesehene Fragebogen als<br />
integriertes Instrument des Concerns-Based Adoption Model ausgewählt. Im Rahmen der Auswertung<br />
des ersten Schritts der quantitativen Datenerhebung wurde im Bereich der Umsetzung<br />
von Maßnahmen festgestellt, dass eine inhaltliche Verdichtung der Angaben in den meisten Fällen<br />
zu einer Summe von drei Innovationen führt. Ein vollständiges Abfragen der 35 Items in Bezug auf
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
diese drei implementierten Konzepte wurde vor dem Hintergrund des Umfangs des Fragebogens<br />
aus erhebungstechnischen Gründen nicht weiter verfolgt. Allerdings sollte die Anzahl der Items<br />
annähernd dem Musterfragebogen entsprechen. Aus diesem Grund wurden die sieben Stufen der<br />
Stages of Concern in Bezug auf eine Innovation jeweils zwei Mal positioniert, um die Komplexität<br />
des Fragebogens nicht weiter auszudehnen und dennoch eine quantitative Analyse der subjektiven<br />
Betroffenheit von Lehrkräften durchführen zu können.<br />
3.2.2.3.2.2.2 Messung der Levels of Use<br />
Die Levels of Use beschreiben Verhaltensänderungen und Reaktionen eines Beteiligten in Bezug<br />
auf eine Innovation (vgl. 2.4.4.2.2). Für die Ermittlung der Levels of Use stehen während eines Innovationsprozesses<br />
zwei Möglichkeiten zur Verfügung, um Handlungen von Beteiligten zu bestimmen:<br />
• Branching interview: Das Konzept des Gesprächs entspricht einem Fragenkatalog (vgl. Hall<br />
et al., 2011, S. 101), um Informationen über das Verhalten eines Beteiligten zu erhalten und auf<br />
dieser Grundlage das Individuum zu einer Stufe zu klassifizieren. Zuerst wird die Lehrkraft mit<br />
der Frage konfrontiert, ob sie die Innovation in die tägliche Arbeit integriert hat. Die Antwort<br />
unterscheidet Anwender von Nicht-Anwendern und bildet die Basis für die Ausprägung weiterer<br />
Fragen. Entscheidend dabei ist, den Beteiligten sein eigenes Verhalten beschreiben zu lassen,<br />
um die Zuordnung zu den acht Stufen zu verifizieren (Hall et al., 2011, S. 99 f.).<br />
• Focused Interview: Diese Erhebungstechnik ist ähnlich zum Branching interview. Allerdings<br />
basiert dieses Gespräch auf spezielle Definitionen der einzelnen Levels of Use, relevanten<br />
Entscheidungspunkten und detaillierte Informationen über die verschiedenen Stufen, die in<br />
Kategorien gefasst werden. Das Ergebnis des Gesprächs ist eine Gesamteinschätzung der<br />
Person bezüglich des Levels of Use. Hierfür wird neben einem Protokoll ein Beurteilungsbogen<br />
ausgefüllt, um eine genaue Darstellung des individuellen Verhaltens zu erhalten (Hall et al., 2011,<br />
S. 100–104).<br />
Diese Erhebungsformen bedeuten hohen zeitlichen Aufwand für die Bestimmung der Levels of Use.<br />
Aus diesem Grund wurde der Fragenkatalog (Hall et al., 2011, S. 101), der dem Branching Interview<br />
zugrunde liegt, als Entscheidungsbaum umfunktioniert und in den standardisierten Fragebogen<br />
integriert. Die Lehrkräfte waren somit in der Lage, ihr eigenes Verhalten in Bezug auf eine Maßnahme<br />
anhand der einzelnen Verzweigungen und Merkmalsausprägungen selbst zu bestimmen, indem die<br />
vorgesehenen Möglichkeiten verfolgt werden. Anhand einer Eventualität wurde das individuelle Verhalten<br />
bestimmt, indem ein am Ende der Entscheidungskette stehender Buchstabe gewählt wurde.<br />
Der Entscheidungsprozess ist der folgenden Abbildung zu entnehmen:<br />
123
3. Empirisches Forschungsdesign<br />
124<br />
Haben Sie die<br />
Maßnahme in Ihre<br />
tägliche Arbeit<br />
integriert?<br />
nein<br />
ja<br />
Beabsichtigen Sie,<br />
dies in Zukunft zu<br />
tun?<br />
Haben Sie für Ihre<br />
tägliche Arbeit<br />
Anpassungen<br />
vorgenommen?<br />
nein<br />
ja<br />
nein<br />
ja<br />
Sind Sie an weiterführenden<br />
Informationen interessiert?<br />
Sind Sie an weiterführenden<br />
Informationen interessiert?<br />
Für meine tägliche Arbeit sind<br />
keine (weiteren) Anpassungen<br />
notwendig.<br />
Ich habe die Maßnahme an<br />
meine persönlichen Bedürfnisse<br />
als Lehrkraft angepasst.<br />
Ich habe die Anpassungen mit<br />
meinen Kollegen abgestimmt.<br />
nein<br />
ja<br />
nein<br />
ja<br />
nein<br />
ja<br />
A<br />
B<br />
C<br />
D<br />
E<br />
F<br />
Versuchen Sie die<br />
Maßnahme in Ihrer<br />
täglichen Arbeit<br />
weiterzuentwickeln?<br />
Versuchen Sie die<br />
Maßnahme in Ihrer<br />
täglichen Arbeit<br />
weiterzuentwickeln?<br />
Abbildung 25: Entscheidungskette Levels of Use; Fullan zitiert nach Hall et al., 2011, S. 101<br />
Jeder dieser Entscheidungswege kann einer Stufe der Levels of Use zugeteilt werden. Der ursprüng-<br />
liche Fragenkatalog wurde allerdings um weitere Positionen ergänzt, die im Folgenden erläutert<br />
werden.<br />
hall und horD gehen in Level of Use II davon aus, dass ein Beteiligter dieser Stufe typischerweise<br />
Materialien studiert und sich auf eine erste Anwendung vorbereitet (Hall et al., 2011, S. 69). Dieser<br />
Prozessschritt wurde mit Blick auf das Interesse an weiterführenden Informationen erweitert, um<br />
detaillierte Aussagen über den Beginn einer möglichen Umsetzung der Maßnahme zu erhalten. Es<br />
wird angenommen, dass eine Sichtung von Unterlagen mit einer zeitnahen Integration der Maßnahme<br />
in die tägliche Arbeit einhergeht. Im Gegensatz dazu wird der Mangel an weiteren Informationen und<br />
die fehlende Absicht, diese Lücke zu schließen, mit einem geringeren Engagement bezüglich der<br />
Umsetzung der Innovation verbunden. Diese Thematik ist in der Entscheidungskette in den Fällen ‚C‘<br />
und ‚D‘ symbolisiert.<br />
Die Levels of Use IV B, V und VI sind anhand des ursprünglichen Fragenkatalogs verhältnismäßig<br />
schwer einzuordnen (Hall et al., 2011, S. 101). Die Unterschiede dieser drei Stufen beziehen sich auf<br />
eventuelle Absprachen zwischen dem Individuum und Kollegen oder weiteren Personen hinsichtlich<br />
nein<br />
ja<br />
nein<br />
ja<br />
G<br />
H<br />
I<br />
J
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
getroffener Anpassungen sowie um die Motivation, die Maßnahme in der täglichen Arbeit weiterzuentwickeln<br />
(Hall et al., 2011, S. 97 f.). Mit Blick auf eine deutlichere Veranschaulichung des Sachverhalts,<br />
wurden diese beiden Merkmale in einzelne, aufeinander folgende Verzweigungen integriert, die<br />
sich in den Fällen ‚G‘ bis ‚J‘ wiederfinden.<br />
In der folgenden Tabelle wird der Zusammenhang zwischen den einzelnen Levels of Use und den<br />
einzelnen Wegen der Entscheidungskette verdeutlicht:<br />
Stadium, in welchem der Akteur die Qualität der Anwendung der Innovation evaluiert, um diese mit<br />
VI<br />
Erneuern,<br />
Umstrukturieren<br />
dem Ziel zu optimieren, einen noch positiveren Einfluss auf den Lerner zu erreichen. Der Akteur<br />
versucht neue Entwicklungen in Bezug auf die Innovation und weitere Ziele sowohl auf persönlicher<br />
als auch auf organisationaler Ebene zu finden.<br />
H, J<br />
V<br />
Integration,<br />
Eingliederung<br />
Stadium, in welchem der Akteur kollegialen Austausch bezüglich eigener Erfahrungen mit der<br />
Innovation sucht, um einen ganzheitlichen Einfluss auf den Lerner auszuüben.<br />
Stadium, in welchem der Akteur die Anwendung der Innovation verändert, um den Einfluss auf den<br />
I<br />
IV B Verbesserung Lerner zu verbessern. Änderungen basieren auf sowohl kurzfristigen als auch langfristigen<br />
Erfahrungen.<br />
Stadium, in welchem der Akteur die Innovation konstant umsetzt und nur wenige Anpassungen<br />
G<br />
IV A Routine vornimmt. Punktuell ist der Gedanke zur Anwendungsoptimierung bzw. der Blick auf die<br />
Auswirkungen der Neuerung vorhanden.<br />
Stadium, in welchem der Akteur den Fokus auf kurzzeitige Anwendung (day-to-day) richtet. Eine<br />
E<br />
III Erste Anwendung<br />
Reflexion der Handlungen ist aus zeitlichen Gründen nicht machbar. Einzelne Modifikationen<br />
erfolgen mit Blick auf gesetzte Ziele bzw. anhand der Vorstellung des Akteurs. Die Perspektive des<br />
Lerners bleibt hier unberührt.<br />
F<br />
II Vorbereitung Stadium, in welchem sich der Akteur auf eine erste Anwendung der Innovation vorbereitet. C, D<br />
I Orientierung<br />
Stadium, in welchem der Akteur Informationen über die Innovation einholt. Erstmalig wird ein<br />
Nutzen der Innovation und die Anforderung auf den Anwender erkannt.<br />
Stadium, in welchem der Akteur kein oder nur geringes Wissen über die Innovation hat und nicht in<br />
B<br />
0 Keine Anwendung den Innovationsprozess integriert ist. Aktivitäten, um diesem entgegenzuwirken erfolgen nicht. A<br />
Users<br />
Nonusers<br />
Abbildung 26: Zusammenhang Levels of Use und Entscheidungskette<br />
3.2.2.3.2.2.3 Auswertung der Daten zu den Stages of Concern und den Levels of Use<br />
Nach den Forschungsergebnissen von hall & horD verläuft die Entwicklung von Personen, die an<br />
einem Innovationsprozess beteiligt sind, stufenweise, indem die sieben Stages of Concern (vgl.<br />
2.4.4.2.2) nacheinander folgend durchlaufen werden (Hall et al., 2011, S. 72 f.). Allerdings kann nur bei<br />
einem mustergültigen Verlauf der Innovationsimplementierung von einem linearen, hierarchischem<br />
Verlauf ausgegangen werden. capaul bezeichnet die Stages of Concern als empirisch gesichert<br />
(Capaul, 2002, S. 21). Zunächst wurden die Werte einzelner Items für jede Stufe der Betroffenheit<br />
aufsummiert und mit dem Faktor 2,5 multipliziert, um die zweifache Positionierung der sieben Stufen<br />
zu relativieren und, mit Blick auf eine analoge Ausgangsbasis zum Musterfragebogen, eine Auswer-<br />
tung nach hall und horD zu ermöglichen. Anschließend wurden diese absoluten Werte anhand einer<br />
vorgegebenen Tabelle in relative Werte konvertiert (George, 2008, S. 23, 27). Die Perzentile wurden in<br />
ein Koordinatensystem übertragen, um die Entwicklung der subjektiven Betroffenheit anhand eines<br />
Funktionsgraphen darzustellen (Hall et al., 2011, S. 285 f.).<br />
Während einer Innovation entwickelt sich der Beteiligte stufenweise (George, 2008, S. 7 ff.). „SoC<br />
profiles are a very informative way to illustrate movement and nonmovement during a change process.<br />
[...] As the term stages implies, and as the numbering of the stages suggests, there is a hypothesized<br />
pattern to the evolution of concerns profiles when the change process unfolds successfully.<br />
125
3. Empirisches Forschungsdesign<br />
126<br />
This progression takes the form of a „wave motion“ of intensities that begins with Self-concerns<br />
being more intense prior to fist use of the innovation. Then, as implementation begins, Task concerns<br />
become more intense, and Self-concerns gradually reduce in intensity. With time [...], Impact concerns<br />
can increase in intensity as the Self and Task concerns decrease“ (Hall et al., 2011, S. 76 f.). Im<br />
Allgemeinen verläuft die Entwicklung vom Nicht-Anwender zum Anwender (Hall et al., 2011, S. 77).<br />
Die Stages of Concern bezeichnen allerdings den Grad der Betroffenheit im Sinne von Gefühlen und<br />
Empfindungen einer Person in Bezug auf eine Innovation. Die eigentliche Verhaltensänderung, also<br />
das Umsetzen einer Maßnahme, kommt letztendlich durch die Levels of Use zu Ausdruck. In diesem<br />
Sinn wird die Entwicklung vom Nicht-Betroffenen zum Betroffenen unterschieden.<br />
Typischerweise zeigen Personen zu Beginn einer Innovation wenig Interesse an der Maßnahme<br />
und fühlen sich also nicht betroffen. Im weiteren Entwicklungsverlauf rücken Selbstzweifel in den<br />
Vordergrund, indem das Interesse für die Maßnahme zwar zunimmt, aber Probleme, Schwierigkeiten<br />
sowie die eigene Rolle innerhalb der Innovation analysiert werden (Hall et al., 2011, S. 73). Bewegt<br />
sich die Masse der Lehrkräfte in den Stufen 0 bis 2, so befindet sich der Prozess in einer labilen Phase<br />
(Capaul, 2002, S. 21), da sich die meisten Personen nicht bzw. wenig mit der Maßnahme identifizieren<br />
können. Die Personen, die sich in diesem Bereich bewegen, werden als Nicht-Betroffene definiert.<br />
In der nächsten Phase, die von aufgabenbezogenen Inhalten gekennzeichnet ist, beginnt die sachliche<br />
Auseinandersetzung mit der Maßnahme, indem der Beteiligte seine Aufmerksamkeit auf die<br />
Innovation richtet und sich mit einer bestmöglichen Nutzung von Informationen und Ressourcen<br />
auseinandersetzt. In den Stufen vier, fünf und sechs befasst sich der Beteiligte mit den Wirkungen<br />
der Innovation. Zunächst bezieht der Beteiligte den Fokus auf mögliche Konsequenzen und Einflüsse<br />
auf den Lerner. Im nächsten Schritt rückt die Kollektivarbeit im Sinne einer Koordination und<br />
Zusammenarbeit mit anderen Personen ins Zentrum. Auf der letzten Stufe steht die Optimierung<br />
und Verbesserung der Maßnahme im Vordergrund (Hall et al., 2011, S. 73). capaul bezeichnet eine<br />
Innovation als ideal „[...] wenn die Lehrkräfte die Stufen 4 und 5 erreichen und sich die Wirkung der<br />
Innovation überlegen“ (Capaul, 2002, S. 21), da hierbei ein Austausch von Materialien, persönlichen<br />
Erfahrungen und Kenntnissen erfolgt, auf deren Basis die Maßnahme weiterentwickelt werden kann<br />
und somit ein übergreifender Mehrwert für die Bildungseinrichtung entsteht. Übergreifend muss<br />
berücksichtigt werden, dass nur bei einem mustergültigen Verlauf der Implementierung einer Innovation<br />
von einem linearen, hierarchischem Verlauf ausgegangen werden kann. Fehlen bestimmte<br />
Bedingungen, werden zu häufig neue Innovationen gleichzeitig oder in zu kurzer zeitlicher Distanz<br />
hinzugefügt bzw. fehlt die notwendige Unterstützung seitens einer Schlüsselperson, so kann es<br />
möglich sein, dass Anwender auf einem bestimmten Stage „stehen“ bleiben oder gar wieder zu Stufe<br />
1 zurückfallen (Hall et al., 2011, S. 74).
Relative Intensität (Percentile)<br />
100<br />
80<br />
60<br />
40<br />
20<br />
0<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Selbstzweifel AufgabenWirkungsbezogenbezogen 1 2 3 4 5 6<br />
Stages of Concern<br />
Abbildung 27: Entwicklungen von Personen in einem Innovationsprozess (Hall et al., 2011, S. 77)<br />
Die Graphik verdeutlicht Entwicklungen von Personen innerhalb der Stages of Concern, die durch<br />
eine Abbildung von Funktionsgraphen veranschaulicht wird. Der Funktionsgraph eines Nicht-Betrof-<br />
fenen weist beispielsweise in den Stufen 0, 1 und 2 hohe Werte auf und zeigt, dass der Beteiligte<br />
127
3. Empirisches Forschungsdesign<br />
128<br />
mehr Informationen über die Innovation und seine Rolle wünscht. Im Gegensatz dazu demonstrieren<br />
niedrige Werte der Stufen 4, 5 und 6 (Hord, Rutherford, Huling & Hall, 2008, S. 36), dass sich die Person<br />
diesbezüglich nicht mit Kollegen austauscht bzw. keine Ideen hat, die Innovation zu optimieren.<br />
Vielmehr zeigt dieser Akteur gar kein Interesse, die Innovation zu verändern.<br />
Eine Analyse der Graphen ermöglicht die Gruppierung der Beteiligten in die einzelnen Stages of<br />
Concern (George, 2008, S. 33), wobei sich grundsätzlich der Beteiligte in der Stufe befindet, die im<br />
Funktionsgraphen den höchsten Wert aufweist (Hord et al., 2008, S. 37). Anhand dieser Ergebnisse<br />
kann festgestellt werden, inwieweit sich der Beteiligte von der Innovation betroffen fühlt, um individuelle<br />
Interventionsmöglichkeiten unterbreiten zu können. Diese Auswertungsmethode kann sich<br />
sowohl auf ein einzelnes Individuum, eine Teil- oder Gesamtgruppe bzw. auf ganze Organisationen<br />
beziehen (Hall et al., 2011, S. 266). Anhand einer ersten Interpretation der Funktionsgraphen wurde<br />
festgestellt, dass sich die Beteiligten unterschiedlich stark von der Innovation betroffen fühlen und<br />
nur durch eine intensive Begutachtung, möglicherweise durch den Vergleich einzelner Items, eine<br />
sinnvolle Zuordnung möglich ist. Aus diesem Grund wurden die Funktionsgraphen anhand eines<br />
jeden Individuums und nicht über die Bildung von Durchschnittswerten interpretiert, um die Verteilung<br />
im Kollegium so genau wie möglich erfassen zu können.<br />
Die Levels of Use bringen den Grad der Verhaltensänderung von beteiligten Personen anhand einer<br />
Innovation zum Ausdruck. Diese unterteilen sich in acht Stufen und wurden anhand des Frageleitfadens<br />
erhoben, in dem die Lehrkräfte ihr eigenes Verhalten bezüglich einer Innovation anhand<br />
der einzelnen Verzweigungen und Merkmalsausprägungen selbst einschätzten. Die Auswertung der<br />
Levels of Use erfolgte anhand der Entscheidungskette, da jede einzelne Stufe der Levels of Use mit<br />
möglichen Entscheidungswegen verknüpft ist. Die Angabe des Buchstabens gibt also unmittelbar<br />
Aufschluss über die Stufe der Verhaltensänderung (vgl. Abbildung 26). Während sich die Stages<br />
of Concern auf die affektive, gefühlsbezogene Seite, im Sinne von Emotionen und Einstellungen,<br />
beziehen, stehen die Levels of Use in Zusammenhang mit der Bestimmung eines Verhaltensmusters,<br />
insbesondere dem Benehmen sowie den Reaktionen in Bezug auf eine Neuerung. Die Levels of Use<br />
beschäftigen sich vielmehr mit der Frage, wie die Innovation von einem Beteiligten genutzt wird,<br />
als mit der Frage, ob sie genutzt wird. Die Verhaltensentwicklung einer Person bei der Umsetzung<br />
einer Maßnahme verläuft vom Nichtanwender zum Anwender. Die Levels of Use erleichtern es, zu<br />
verstehen und vorherzusagen, welche Schritte getan werden sollten, um einen Innovationsprozess<br />
voranzubringen. Anhand der acht Levels können Handlungen der betrachtenden Personen gegenüber<br />
einer Innovation und deren Umsetzung untersucht und eingestuft werden, um auf die Bedürfnisse<br />
des Beteiligten reagieren zu können, indem geeignete Interventionen gewählt werden und<br />
der Betroffene optimal bei der Umsetzung der Maßnahme durch konkrete Implementationsschritte<br />
unterstützt wird (Hall et al., 2011, S. 93 f.).<br />
Zu Beginn einer Innovation erfolgt grundsätzlich keine Anwendung der Maßnahme, da der Person<br />
diesbezüglich keine oder nur wenige Informationen vorliegen. Von Seiten der Lehrkraft wird<br />
in dieser Phase auch keinerlei Anstrengung unternommen, um in die Innovation involviert zu werden.<br />
In der nächsten Phase erfolgt eine erste Orientierung, in welcher der Akteur eigenständige
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Schritte unternimmt, Informationen über die Maßnahme einzuholen und daraus seine persönlichen<br />
Anforderungen ableitet. Im nächsten Schritt bereitet sich der Akteur auf die erste Anwendung der<br />
Innovation vor. Diese beschriebenen Levels 0 bis II werden dem Nichtanwender zugeteilt (Hall et al.,<br />
2011, S. 94–96). capaul bezeichnet auch hier die Innovation als „versandet“, sofern sich die Masse<br />
des Kollegiums in diesen Stufen bewegt (Capaul, 2002a, S. 62), da noch keine eigentliche Verhaltensänderung<br />
in Bezug auf die Maßnahme erfolgt. Die folgenden Kategorien werden zum Bereich<br />
des Anwenders gruppiert, da in Level III eine erste, kurzzeitige Anwendung der Innovation erfolgt.<br />
In der Stufe IV, die sich in die Bereiche Routine und Verbesserung unterteilt, erfolgen einerseits<br />
konstante Umsetzungen der Innovation und andererseits erste Veränderungen, um den Einfluss auf<br />
den Lerner zu verbessern. In der Phase V sucht der Akteur kollegialen Austausch bezüglich eigener<br />
Erfahrungen. In dem höchsten Level erfolgen Evaluationen der Maßnahme, um die Anwendung auf<br />
persönlicher und organisationaler Ebene zu optimieren (Hall et al., 2011, S. 96–98). Die Innovation<br />
kann als erfolgreich bezeichnet werden, wenn sich die meisten Personen auf einem Level zwischen III<br />
und VI bewegen, da die Maßnahme institutionalisiert ist. Anhand der Levels of Use kann letztendlich<br />
die Wirkung der Innovation im Sinne eines Resultats gemessen werden (Capaul, 2002a, S. 62), da<br />
diese Dimension die Verhaltensänderungen zum Ausdruck bringt.<br />
Hall und Hord stellen die Stages of Concern, den Grad der Betroffenheit, mit den Levels of Use, dem<br />
Grad der Verhaltensänderung, in Relation (Hall & Hord, 1987).<br />
Abbildung 28: Relation zwischen Stages of Concern und Levels of Use<br />
129
3. Empirisches Forschungsdesign<br />
130<br />
Die Einführung einer Innovation verläuft wirksam und unbedenklich, wenn sich ein Beteiligter<br />
bezüglich beider Dimensionen, dem Grad der Betroffenheit und dem Grad der Verhaltensänderung,<br />
gleichmäßig entwickelt (Dubs, 1994, S. 282). Im ersten Schritt wird der Akteur ein generelles<br />
Bewusstsein in Bezug auf die Innovation entwickeln (Stage of Concern 1) und anschließend detailliertere<br />
Informationen zur Maßnahme sammeln (Level of Use I). Gewonnene Erkenntnisse werden<br />
nun auf die eigene Person übertragen, indem persönliche Anforderungen und die Rolle innerhalb<br />
der Innovation reflektiert (Stage of Concern 2) sowie eine erste Anwendung vorbereitet wird (Level<br />
of Use II). In einem nächsten Schritt richtet der Beteiligte seine Aufmerksamkeit auf den Prozess<br />
und benötigte Anforderungen (Stage of Concern 3), um die Maßnahme im Sinne eines kurzzeitigen,<br />
mechanischen Gebrauchs anzuwenden (Level of Use III). Anschließend beschäftigt sich die Lehrkraft<br />
mit möglichen Konsequenzen, insbesondere mit Einflüssen der Innovation auf den Lerner (Stage<br />
of Concern 4), wobei sich eine routinierte Anwendung der Maßnahmen einstellt (Level of Use IV<br />
A) bzw. die Anwendung verändert wird, um Effekte auf die SchülerInnen zu optimieren (Level of<br />
Use IV B). Darauf aufbauend befasst sich der Akteur damit, sich mit Anderen über die Innovation<br />
auszutauschen oder zusammenzuarbeiten (Stage of Concern 5) und setzt diese Pläne um (Level of<br />
Use V). Im Folgenden sucht der Beteiligte nach Vorteilen und Alternativen (Stage of Concern 6), um<br />
die Innovation optimieren zu können (Level of Use VI).<br />
Stages of<br />
Concern<br />
Levels of Use<br />
Abbildung 29: Interdependenz Stages of Concern und Levels of Use<br />
Diese Entwicklung verdeutlicht die Interdependenz zwischen den Stages of Concern und den Levels<br />
of Use, da sich zunächst Gefühle und Einstellungen entwickeln müssen, um anschließend das Verhalten<br />
ändern zu können. Die Levels of Use werden somit in Bezug auf die Stages of Concern als<br />
Resultat betrachtet. Der beschriebene Vorgang ist im Bereich der Ideallinie positioniert, die in der<br />
Abbildung 28 schraffiert dargestellt ist. Befinden sich aber Personen in einer Dimension deutlich<br />
höher oder niedriger als bei der anderen, so ist die erfolgreiche Einführung und Implementierung der<br />
Maßnahme gefährdet. Diese Personen würden dem Bereich außerhalb des Idealbereichs zugeordnet<br />
werden.<br />
Befindet sich beispielsweise ein Akteur in der Zelle I/5, so ist er von der Innovation stark betroffen,<br />
zeigt aber noch keine Verhaltensänderung. Diese Beteiligten sind Innovationsverweigerer oder Skeptiker<br />
(Seitz & Capaul, 2000, S. 6). Mögliche Gründe hierfür könnten fehlende Rahmenbedingungen<br />
oder die grundsätzliche Ablehnung der Maßnahme darstellen. Im Allgemeinen wird festgehalten,<br />
dass eine Verhaltensänderung nur von einem Beteiligten selbst zu verwirklichen ist und eine erfolgreiche<br />
Implementierung nur erfolgen kann, wenn die Akteure selbst bereit sind, die Innovation
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
umzusetzen. Aus diesem Grund können Interventionsmöglichkeiten lediglich in Bezug auf die emoti-<br />
onale Betroffenheit der Beteiligten, die Stages of Concern, erfolgen, da sich die Verhaltensänderung<br />
aus den Einstellungen und Gefühlen der Personen ergeben und diese lediglich von dem Beteiligten<br />
selbst gesteuert werden können. Diese Entwicklungslinie verläuft, im Vergleich zur Ideallinie, deutlich<br />
flacher und wird mit dem Schlagwort ‚Philosoph‘ versehen, da diese Personen primär über die<br />
Innovation nachdenken.<br />
Im Gegensatz dazu zeigt eine Person, die der Zelle V/1 zugeordnet wird, bereits Verhaltensänderungen,<br />
fühlt sich aber von der Maßnahme weniger betroffen. Diese Personen eilen der Entwicklung<br />
voraus und werden als Enthusiasten oder positiv agierende Pioniere bezeichnet (Seitz et al., 2000,<br />
S. 6). Es wird allerdings ausgeschlossen, dass die zugrundeliegenden Maßnahmen lediglich einen<br />
geringen Anteil des Kollegiums betreffen und sich somit Lehrkräfte nicht betroffen fühlen könnten,<br />
da diese Tatsache im ersten Schritt des quantitativen Forschungsprozesses explizit ausgeschlossen<br />
wurde (vgl. 3.2.2.3.2). D. h. die ausgewählten Innovationen beziehen sich auf das Gesamtkollegium,<br />
so dass alle Lehrkräfte von der Maßnahme betroffen sein sollten. Die Entwicklungslinie dieser<br />
Personen wird, im Vergleich zur Ideallinie, eine deutlich höhere Steigung aufweisen und wird dem<br />
‚Aktionismus‘ zugeordnet, da diese Akteure das Handeln in den Vordergrund stellen.<br />
Einzelne Lehrkräfte befinden sich während einer Innovation in einer Zelle des Koordinatensystems,<br />
das sich aus den Levels of Use und den Stages of Concern ergibt. Aufgabe des Change Facilitator<br />
Teams (vgl. 2.4.4.2.2) ist, die beteiligten Personen so zu begleiten, dass sich diese in der Nähe der<br />
Ideallinie befinden (Hall et al., 1987). Es wird davon ausgegangen, dass eine Ungleichverteilung beider<br />
Ausprägungen auf der Basis von Interventionen nur durch eine Erhöhung im Bereich der Stages<br />
of Concern erfolgen kann, um die Relation zwischen der Betroffenheit und der Verhaltensänderung<br />
wieder herzustellen, da lediglich an die Bereitschaft der Person zur Innovationsimplementierung<br />
appelliert, aber keine Verhaltensänderung erzwungen werden kann. Zeigt ein Beteiligter beispielsweise<br />
geringe Betroffenheit (Stage of Concern 2), aber bereits deutliche Verhaltensänderungen<br />
(Level of Use V), soll versucht werden, auf der Basis eingeforderter Berichterstattungen, einer<br />
Verdeutlichung von Handlungsanforderungen oder einer Integration in entsprechende Netzwerke,<br />
den Akteur intensiver in die Innovation zu integrieren als ihn bei der Umsetzung der Maßnahme<br />
zurückzuhalten. Im Gegensatz dazu, kann bei einem Beteiligten, der eine hohe Betroffenheit (Stage<br />
of Concern 4) aber eine geringe Verhaltensänderung (Level of Use II) aufweist, ebenso nur an den<br />
Willen zur Umsetzung appelliert werden, da Verhaltensänderungen nur durch die Person selbst<br />
erfolgen können. Möglicherweise kann in diesem Fall ein Gespräch mit der Schulleitung zu einer<br />
Innovationsumsetzung beitragen.<br />
Vor diesem Hintergrund werden die folgenden Interventionsmöglichkeiten bezüglich der Stages of<br />
Concern zu Grunde gelegt.<br />
131
3. Empirisches Forschungsdesign<br />
132<br />
impact<br />
(wirkungsbezogen)<br />
task<br />
(aufgabenbezogen)<br />
Self-concern<br />
(Selbstzweifel)<br />
Unrelated<br />
(ohne Bezug)<br />
6<br />
5<br />
4<br />
3<br />
2<br />
1<br />
0<br />
Neuer Fokus<br />
Zusammenarbeit<br />
Auswirkung<br />
Management<br />
Persönliche<br />
Betroffenheit<br />
Informelle<br />
Betroffenheit<br />
Gleichgültigkeit<br />
- Diskussionen anregen<br />
- günstige Rahmenbedingungen für die Weiterentwicklung schaffen<br />
- Verantwortungen für die Betreuung der Innovation definieren<br />
- Sicherstellung fachlicher Weiterentwicklung<br />
- Wege zur intensiven Zusammenarbeit ermöglichen<br />
- Erfahrungsaustausch sicherstellen<br />
- Zusammenarbeit institutionalisieren (z. B. Team-Teaching)<br />
- mögliche Konsequenzen für Lehrpersonen und Lernende aufzeigen<br />
- Berichterstattungen einfordern<br />
- Unterstützungsprozesse sicherstellen<br />
- Kernprozesse dokumentieren<br />
- Handlungsanforderungen transparent machen<br />
- Lösungsprozesse iterativ gestalten (Schwierigkeiten akzeptieren)<br />
- persönliche Entwicklungsmöglichkeiten aufzeigen<br />
- schulinterne Fortbildungen anbieten<br />
- Hospitation bei Dritten ermöglichen<br />
- Befürchtungen und Widerstände ernst nehmen<br />
- konkrete Maßnahmen zur Behebung ableiten<br />
- Netzwerke als tragende Basis aufbauen (Vertrauen schaffen)<br />
- Problembewusstsein in einen Zielvereinbarungsprozess überführen<br />
- Umsetzung erläutern / Praxisbeispiele aufzeigen<br />
- Bedeutung und Notwendigkeit der Innovation aufzeigen<br />
- Problembewusstsein schaffen<br />
- laufend über die Innovation informieren (formell und informell)<br />
Abbildung 30: Stufenbezogene Interventionsmöglichkeiten zitiert nach Robbins & Alvy, 2003, S. 78;<br />
Seitz, 2005, S. 78<br />
3.2.2.3.2.3 Erfassung der Einschätzung zu den Lernleistungen (output)<br />
Für eine umfassende faktische Erfassung der Änderungen aufgrund der externen Evaluation ist es<br />
mit Blick auf den Pilotversuch im Schuljahr 2008/2009 noch zu früh. Aus diesem Grund werden die<br />
Einschätzungen der Lehrkräfte zur Veränderung des Outputs, also der Lernleistungen der SchülerInnen,<br />
erfasst. Den dritten Teil des Fragebogens, der sich an alle Lehrkräfte der Pilotschulen<br />
richtet, bildet die Einschätzung der Pädagogen bezüglich einer Verbesserung der Lernleistungen von<br />
SchülerInnen, die aus einzelnen Maßnahmen nach dem Peer Review resultieren. Diese Beurteilung<br />
erfolgt anhand einer vierstufigen Likert-Skala, um erzielte Ergebnisse in der Unterrichtsentwicklung<br />
zu erfassen.<br />
3.2.2.3.2.4 Einschätzung der Wirtschaftlichkeit (ROI)<br />
Auch hier erscheint eine faktische Erfassung sehr aufwändig und mit Blick auf den Pilotzeitraum<br />
zu früh. Die Berechnung der Wirtschaftlichkeit erfolgte mit Hilfe einer sechs-stufigen Likert-Skala<br />
anhand der einzelnen Einschätzungen von Nutzen und Aufwand. Der numerische Wert 6 steht dabei<br />
für einen hohen Nutzen bzw. Aufwand. Analog dazu wird ein geringer Nutzen bzw. Aufwand durch<br />
die Zahl 1 ausgedrückt. Auf der Basis einer Gegenüberstellung beider Größen können Aussagen<br />
über die Nutzen-Aufwand-Relation des Verfahrens getroffen werden. Wird dem persönlichen oder
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
organisationalen Nutzen ein höherer Wert zugemessen als dem Aufwand, so liegt eine positive<br />
Wirtschaftlichkeit vor. Im umgekehrten Verhältnis, der höheren Einschätzung des Aufwands, wird<br />
von einer negativen Wirtschaftlichkeit ausgegangen. Die Auswertung dieser Erhebung erfolgte<br />
schulübergreifend, da innerhalb einer Institution lediglich zwei bis fünf Personen an dieser Evaluation<br />
teilnahmen und somit eine Interpretation der Ergebnisse bezogen auf jede Bildungseinrichtung wenig<br />
sinnvoll erschien.<br />
3.2.3 Der qualitative Erhebungsteil<br />
3.2.3.1 Erhebungsziele des qualitativen Teils<br />
Das Ziel des qualitativen Teils der Erhebung bestand zunächst darin, weitere Informationen hinsichtlich<br />
der Zufriedenheit mit dem Peer Review zu erhalten, da in diesem Erhebungsschritt auch<br />
Lehrkräfte integriert wurden, die bei der Durchführung des Verfahrens unbeteiligt oder lediglich<br />
durch die Teilnahme an einem Interview integriert waren, aber mit der Umsetzung der Innovationen<br />
konfrontiert werden. Der Fokus dieses Teilbereichs lag allerdings bei der Ermittlung und Optimierung<br />
von Verbesserungsvorschlägen für das Verfahren, um mögliche Felder für eine Weiterentwicklung<br />
der externen Evaluation aufzuzeigen.<br />
3.2.3.2 Auswahl der Schulen<br />
Für den weiteren qualitativen Forschungsprozess sollten Bildungseinrichtungen ausgewählt werden,<br />
um mögliche Verbesserungsvorschläge für eine Optimierung des Peer Reviews und Empfehlungen<br />
für einzelne Phasen der externen Evaluation zu erheben. Anhand dieser Tatsache liegt im qualitativen<br />
Forschungsprozess ein theoretisches Sampling vor, „[... das] in der Absicht durchgeführt [wird],<br />
Kategorien und ihre Eigenschaften zu entdecken und das interne Beziehungsgefüge einer Theorie<br />
zu entwerfen“ (Schratz et al., 2000, S. 78). Die Auswahl der Untersuchungsgegenstände erfolgt im<br />
Prozess der Datenerhebung- und Auswertung (Flick, 2009, S. 93) und bezieht sich darauf, „[...] einen<br />
Fall [...] zu finden, der die theoretischen Konzepte des Forschers komplexer, differenzierter und profunder<br />
gestalten kann“ (Lamnek, 2008, S. 314). Die Anzahl der Erhebungsgegenstände richtet sich<br />
dabei nach der Entscheidung, ob die ganze Bandbreite aller Möglichkeiten oder nur ein singulärer<br />
Fall näher beleuchtet werden soll. In beiden Fällen werden die Erhebungseinheiten auf der Basis<br />
ihrer Eignung als extremer oder idealer Typ, anhand von Vermutungen oder äußerlichen Merkmalen,<br />
ausgewählt (Lamnek, 2008, S. 314).<br />
Anhand der Daten, die im quantitativen Forschungsprozess ermittelt wurden, erfolgte eine schulübergreifende<br />
Gegenüberstellung der Ergebnisse hinsichtlich der Zufriedenheit der Beteiligten mit<br />
dem Peer Review sowie den Werten in Bezug auf Innovationen, als Folge der externen Evaluation. Die<br />
Schulen wurden hierbei in verschiedene Kategorien eingeteilt. Grundlage bildeten hierfür die Werte<br />
des quantitativen Forschungsprozesses. Die Anzahl der Personen, die an der Befragung zur Akzeptanz<br />
des Peer Reviews teilnahmen, beschränkte sich auf zwei bis sechs Personen (vgl. 4.1.1). Aus<br />
diesem Grund wurden diese Ergebnisse für die Auswahl weiterer Schulen sekundär betrachtet. Die<br />
133
3. Empirisches Forschungsdesign<br />
134<br />
systematische Analyse von Innovationen erfolgte auf der Basis der Stages of Concern, der Grad der<br />
Betroffenheit, und der Levels of Use, der Grad der Verhaltensänderung. Die Auswertung der Stages<br />
of Concern gestaltete sich aufwendig und umfangreich. Darüber hinaus war für dieses theoretische<br />
Sampling, aufgrund der Verlängerung des Abstimmungszeitraums für die Befragung der Lehrkräfte,<br />
weniger Zeit vorhanden, als ursprünglich im Projektplan vorgesehen. Darüber hinaus geben die<br />
Levels of Use letztendlich Aufschluss über eine tatsächliche Implementierung der Maßnahmen im<br />
Sinne einer entsprechenden Verhaltensänderung. Aus diesem Grund wurden für die Auswahl der<br />
Schulen im qualitativen Forschungsprozess die Ergebnisse der Levels of Use herangezogen. Die<br />
Auswahl der Schulen erfolgte dabei maßnahmenübergreifend anhand hoher bzw. niedriger Werte<br />
der Levels of Use. Für den qualitativen Forschungsprozess wurden anhand der Ergebnisse in Bezug<br />
auf die Levels of Use drei Schulen ausgewählt, da, mit Blick auf die Teilnahme von sieben Schulen<br />
am Pilotversuch, eine theoretische Sättigung angenommen, und nach der Durchführung der Interviews,<br />
auch festgestellt wurde (Glaser, Strauss, Paul, Kaufmann & Hildenbrand, 2010, S. 80). Dies<br />
bedeutet, dass nach der dritten qualitativen Datenerhebung keine entscheidend neuen Daten mehr<br />
erhoben werden (Flick, 2006, S. 161), die zur Weiterentwicklung des Peer Reviews beitragen. Im<br />
vorliegenden Auswahlprozess liegen allerdings auch Ansätze des statistischen Samplings vor, da die<br />
Stichprobengröße, also die Anzahl der Schulen im qualitativen Forschungsprozess, zuvor festgelegt<br />
wurde und der Umfang der Grundgesamtheit, die alle Pilotschulen repräsentiert, vorab bekannt war<br />
(Flick, 2006, S. 161). „Das statistische Sampling wird benutzt, um Individuen empirisch exakt auf<br />
für die Beschreibung und Verifizierung notwendigen Kategorien zu verteilen“ (Schratz et al., 2000,<br />
S. 78). Die qualitative Erhebung sollte allerdings primär Möglichkeiten für eine Optimierung des Peer<br />
Reviews aufzeigen. Aus diesem Grund liegt hier übergreifend ein theoretisches Sampling zu Grunde.<br />
Eine sukzessive Bestimmung der Schulen für den qualitativen Forschungsprozess (Schratz et al.,<br />
2000, S. 86) war mit Blick auf den Projektplan und der notwendigen Abstimmung der qualitativen<br />
Workshops mit den Bildungseinrichtungen nicht möglich.<br />
3.2.3.3 Datenerhebung und -auswertung<br />
Der qualitative Forschungsprozess wurde vor dem Hintergrund durchgeführt, Verbesserungsvorschläge<br />
für eine mögliche Optimierung des Peer Reviews und Empfehlungen für einzelne Phasen der<br />
externen Evaluation zu gewinnen. Interviews mit verschiedenen Statusgruppen einer Schule sollten<br />
dazu beitragen, eine möglichst umfassende Sichtweise der Beteiligten zu erhalten und individuell<br />
auf einzelne Meinungen reagieren zu können, um genannte Sachverhalte ganzheitlich zu erschließen.<br />
„Experten sind Menschen, welche ein besonderes Wissen über soziale Sachverhalte besitzen,<br />
und Experteninterviews sind eine Methode, dieses Wissen zu erschließen“ (Redaktion: BMBF LS15<br />
Internetredaktion, 01.01.2011, S. 10). boGner und menz definiert einen Experten als Person, die „[...]<br />
über technisches, Prozess- und Deutungswissen [verfügen], das sich auf ein spezifisches Handlungsfeld<br />
bezieht, in der er in relevanter Weise agiert [...]. Insofern besteht das Expertenwissen nicht<br />
allein aus systematisiertem, reflexiv zugänglichem Fach- oder Sonderwissen, sondern es weist zu<br />
großen Teilen den Charakter von Praxis- oder Handlungswissen auf [...]“ (Greubel, 2010, S. 73). Die<br />
Lehrkräfte der Pilotschulen werden als Experten bezeichnet, da die Lehrkräfte zum einen an dem<br />
Peer Review teilgenommen haben oder zum anderen direkt in die Ausarbeitung und Umsetzung der
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Ergebnisse eingebunden waren. Aus diesem Grund wird angenommen, dass diese Pädagogen über<br />
besonderes Wissen innerhalb des relevanten Kontexts verfügen, „[...] das aber doch nicht jedermann<br />
in dem interessierten Handlungsfeld zugänglich ist“ (Horn, 2008, S. 37). Der Experte verfügt über<br />
eine „institutionalisierte Kompetenz zur Konstruktion von Wirklichkeit“ (Senge, 1994), da sich diese<br />
Personen in einem System von Relevanzen bewegen, die ihm „durch die auf seinem Gebiet vorausgesetzten<br />
Probleme“ auferlegt sind (Horn, 2008, S. 38). Die besonderen Erfahrungen und speziellen<br />
Kenntnisse sollen anhand des Interviews erhoben werden, um mögliche Wege für eine Weiterentwicklung<br />
des Peer Reviews aufzuzeigen. Die vorliegende Erhebungsform kann aus diesem Grund als<br />
Experteninterview bezeichnet werden, da hierbei Expertenwissen abgefragt wird (Horn, 2008, S. 35).<br />
Die Betrachtung des Befragten als Fachmann für Interpretationen seiner Alltagswelt wird dabei als<br />
Besonderheit der Fallstudie gesehen, die sich von einer Stichprobenauswahl oder einer Betrachtung<br />
als austauschbares Mitglied unterscheidet. Die vorliegende Datenerhebung wird aus den genannten<br />
Gründen in die Kategorie des theoriegenerierenden Experteninterviews zugeteilt, da anhand einer<br />
Rekonstruktion des Wissens der Pädagogen eine Theorie im Sinne der Weiterentwicklung des Peer<br />
Reviews entwickelt werden soll (Flick, 2006, S. 216).<br />
Die Interviews wurden zum Teil als Einzel- bzw. Partnerinterview, aber auch als Gruppeninterview<br />
durchgeführt, in dem zunächst die Schulleitung in einem 45-minütigen Interview befragt wurde.<br />
Die zweite Statusgruppe bildete der Schulqualitätsprozessmanager und Peer Review Organisator,<br />
die 60 Minuten ihre Erfahrungen mit dem Peer Review erläuterten. Die Lehrkräfte der Bildungseinrichtungen<br />
wurden innerhalb eines Gruppeninterviews, hauptsächlich mit sechs Personen, befragt.<br />
Hierbei wurde darauf geachtet, sowohl Personen zu integrieren, die im Rahmen eines Interviews am<br />
Peer Review beteiligt waren bzw. lediglich mit der Umsetzung der Ergebnisse konfrontiert wurden.<br />
Darüber hinaus erfolgte die Auswahl der zu befragenden Lehrkräfte anhand des Organigramms der<br />
Schule, um ein möglichst umfassendes Bild über die Gestaltung der Innovationen und Erfahrungen<br />
mit der externen Evaluation zu erhalten. Diese Überlegung konnte an einer Schule nicht praktiziert<br />
werden, wo daraufhin das Sampling anhand verschiedener Fächerkombinationen der Lehrkräfte<br />
erfolgte.<br />
Im zugrundeliegenden Leitfaden wurden positionierte Fragen bewusst sehr offen formuliert, um den<br />
Lehrpersonen möglichst viel Spielraum für die Erwähnung von Fakten innerhalb ihrer Alltagssprache<br />
und anhand ihrer Strukturierungen zu ermöglichen (Lamnek, 2008, S. 345), um Vorstellungen und<br />
Denkrichtungen der Befragten einfach nachvollziehen zu können.<br />
Um die Qualität quantitativer Daten zu erhöhen, wurde darauf geachtet, „[...] dass allen Befragten dieselben<br />
Fragen gestellt werden, um darüber die Vergleichbarkeit der Antworten zu gewährleisten oder<br />
zumindest zu erhöhen“ (Flick, 2006, S. 174). Auch Befragungen mit qualitativen Erhebungsmethoden<br />
unterliegen zum gewissen Grad einem Kontrollgedanken, indem das Ausmaß an der Vergleichbarkeit<br />
von Rahmenbedingungen zu reflektieren ist (Flick, 2006, S. 175). Die Peer Reviews der am Pilotversuch<br />
beteiligten Schulen wurden im Schuljahr 2008/09 auf der Basis des Peer Review Handbuchs<br />
durchgeführt, sodass alle Bildungseinrichtungen anhand eines identischen Verfahrens untersucht<br />
wurden und nahezu eine gleiche Zeitspanne für die Umsetzung an Maßnahmen vorlag. Die Qualität<br />
135
3. Empirisches Forschungsdesign<br />
136<br />
der externen Evaluation, die unter anderem von Inhalten des Selbstberichts, der Qualifikationen der<br />
Peers, sowie der Offenheit der zu interviewenden Personen und übergreifend auch von der Qualität<br />
der Schule an sich abhängt, kann aufgrund der Komplexität der dafür notwendigen Erhebungen nicht<br />
berücksichtigt werden. Qualitätsunterschiede der Peer Reviews sind allerdings punktuell während<br />
der Wirksamkeitsanalyse festgestellt worden. Darüber hinaus können umfassende Rahmenbedingungen,<br />
insbesondere finanzieller Art, nicht berücksichtigt werden, die allerdings für eine Anregung<br />
weiterer Innovationen eine nicht unerhebliche Voraussetzung darstellen. Auch das Engagement bzw.<br />
die Expertise der Schulleitung sowie des Schulqualitätsprozessmanagers nehmen Einfluss auf das<br />
Peer Review. Dieser Bereich konnte in der Wirksamkeitsanalyse aufgrund der Komplexität nicht<br />
untersucht werden. Anhand der vorgenannten Überlegungen und der zugrundeliegenden Tatsache,<br />
dass alle Bildungseinrichtungen mit denselben Fragen konfrontiert wurden, wird von einer Vergleichbarkeit<br />
der Daten ausgegangen.<br />
Eine Tonbandaufzeichnung kann bei Experteninterviews zu Vorbehalten oder gar zu Antwortverweigerungen<br />
führen (Flick, 2006, S. 218). Darüber hinaus sollte die Aufbereitung der Ergebnisse mit<br />
Blick auf den Abschluss des Forschungsprojekts zeitnah erfolgen. Aus diesen genannten Gründen<br />
wurden die Inhalte der Experteninterviews durch eine nur für diese Funktion vorgesehene Protokollantin<br />
schriftlich festgehalten und anhand einer anschließenden Kodierung im Sinne einer inhaltlichen<br />
Strukturierung den zugrundeliegenden Kategorien im Leitfaden zugeteilt (Mayring, 2002, S. 119).<br />
3.2.4 Kombination quantitativer und qualitativer Forschung<br />
Die praktizierte Verkettung quantitativer und qualitativer Forschung bringt eine sog. Triangulation<br />
mit sich, die eine „[...] Einnahme unterschiedlicher Perspektiven auf einen untersuchten Gegenstand<br />
[beinhaltet]“ (Flick, 2009, S. 226). In der Wirksamkeitsanalyse des Peer Reviews trägt eine wechselseitige<br />
Ergänzung von Methoden dazu bei, die Vor- und Nachteile einer Methode zu relativieren,<br />
(Flick, 2006, S. 44), um die Validität der Resultate, also die Belastbarkeit von Aussagen, zu erhöhen.<br />
So werden beispielsweise zur Erhebung der Einschätzungen bezüglich der Zufriedenheit von Beteiligten,<br />
der Umsetzung von Innovationen standardisierte Befragungen im Sinne der quantitativen<br />
Forschung durchgeführt, da mögliche Alternativen aufgrund des Projektplans zeitlich nicht realisierbar<br />
waren. Vielmehr haben die Evaluierenden bei der schriftlichen Befragung die Möglichkeit, die<br />
Fragen ausgiebig zu reflektieren und werden in keiner Weise von weiteren Personen, beispielsweise<br />
dem Interviewer, beeinflusst (Diekmann, 2010, S. 514). Im Gegensatz dazu wurde insbesondere zur<br />
Erhebung von Verbesserungsvorschlägen für die Optimierung des Peer Reviews im Rahmen der<br />
qualitativen Methode das Interview gewählt, das eine Anknüpfung an den schulischen Alltag ermöglicht,<br />
um auf der Basis einer offenen Gesprächsführung tiefere und umfassendere Erkenntnisse und<br />
Impulse zu erhalten (Diekmann, 2010, S. 532). Diese methodische Verknüpfung von quantitativer<br />
und qualitativer Datenerhebung wird übergreifend als methodische Triangulation, insbesondere als<br />
‚between-method‘ bezeichnet (Flick, 2006, S. 519 f.).<br />
Die Datenauswertung erfolgt anhand einer weiteren Verknüpfung von quantitativer und qualitativer<br />
Forschung, indem die Ergebnisse der Datenerhebungen ganzheitlich betrachtet werden, um einen<br />
Mehrwert an Erkenntnissen für die vorliegende Studie zu erhalten (Flick, 2006, S. 48–49). Diese
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
„Datentriangulation‘“ sieht eine Integration unterschiedlicher Datenquellen vor (Flick, 2006, S. 519),<br />
damit inhaltliche Interpretationen anhand verschiedener Aussagen begründet werden können. In<br />
der vorliegenden Analyse erfolgt die Datenauswertung anhand des zugrundeliegenden Modells zur<br />
Wirksamkeitsanalyse (vgl. 2.4.4), um die aufgeworfenen Forschungsfragen unter Einbeziehung aller<br />
gewonnenen Daten zu beantworten.<br />
137
4. Ergebnisse der Erhebung<br />
138<br />
4. Ergebnisse der Erhebung<br />
4.1 Ergebnisse des quantitativen Erhebungsteils<br />
4.1.1 Ablauf der quantitativen Erhebungen<br />
Die quantitative Datenerhebung erfolgte im Online-Verfahren. Die Generierung einer schulspezifi-<br />
schen Losung ermöglichte eine Teilnahme an der Abstimmung, die in einem separaten Anschreiben<br />
mit einem Verweis auf den elektronischen Fragebogen bekannt gegeben wurde. Die Ansicht des Instruments<br />
erfolgte als Gesamtfragebogen, um eine Evaluierung zu erleichtern und einen umfassenden<br />
Überblick in Bezug auf die positionierten Fragen zu ermöglichen.<br />
An dem ersten Schritt der quantitativen Datenerhebung, der Befragung des erweiterten Qualitätsteams,<br />
haben alle Pilotschulen teilgenommen, wobei die Beteiligung zwischen zwei und sechs<br />
Evaluierenden pro Bildungsrichtung liegt. An der zweiten quantitativen Datenerhebung haben alle<br />
Pilotschulen teilgenommen, wobei die Beteiligung zwischen 21 und 65 Prozent der Lehrkräfte liegt.<br />
Sofern die onlinebasierte Teilnahme der Lehrkräfte einer Schule unter einem Wert von 40 Prozent lag,<br />
wurde die Schulleitung gebeten, die Umfrage im Kollegium nochmals vorzubringen, um durch die<br />
Erweiterung des Befragungszeitraums und weiteren Abstimmungen eine repräsentative Datenmenge<br />
zu erhalten. Die Durchführung der Umfrage erfolgte in einer Bildungseinrichtung, aufgrund interner<br />
Probleme, außerhalb des im Projektplan vorgesehenen Zeitplans. Aus diesem Grund konnte diese<br />
Schule im Sampling für den qualitativen Forschungsprozess nicht berücksichtigt werden, da die<br />
Befragung der Lehrkräfte erst nach der Durchführung der Interviews erfolgte. Die folgende Tabelle<br />
verdeutlicht schließlich die Beteiligungsquote der Kollegien.<br />
Tabelle 5: Beteiligung der Lehrkräfte am quantitativen Forschungsprozess<br />
Schulen A B C D E F G<br />
Beteiligung des Kollegiums 65 % 46 % 31 % 50 % 46 % 21 % 41 %<br />
4.1.2 Ergebnisse zu den einzelnen Erhebungsebenen<br />
4.1.2.1 Erste Ebene (Reaktion): Die Zufriedenheit mit der externen Evaluation<br />
Die erste Ebene des Modells zur Wirksamkeitsanalyse bezieht sich auf die Zufriedenheit mit der<br />
externen Evaluation (vgl. 2.4.4.2.1). Diesbezüglich wurden Einschätzungen der Personen abgefragt,<br />
die direkt in das Verfahren integriert waren. Diese Beurteilung erfolgte anhand einer vierstufigen<br />
Likert-Skala, wobei der numerische Wert 4 für eine vollkommene Zustimmung der Aussage steht. Im<br />
Gegensatz dazu wird eine Verneinung der Items durch die Zahl 1 ausgedrückt. Die Auswertung erfolgte<br />
schulübergreifend, da innerhalb einer Schule lediglich zwei bis fünf Personen an dieser Evaluation<br />
teilnahmen und somit eine Auswertung bezogen auf jede Bildungseinrichtung wenig sinnvoll erschien.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Tabelle 6: Werte zur ersten Phase des Peer Reviews: Vorbereitung des Peer Reviews<br />
Item / Wert<br />
Mittel-<br />
wert<br />
Standard-<br />
abweichung<br />
Definition von Verantwortlichkeiten für die Organisation 3,7 0,9<br />
Festlegung von Zweck und Zielen mit dem Kollegium 3,0 0,8<br />
Auswahl der Qualitätsbereiche mit dem Kollegium 2,8 1,0<br />
strukturiertes Verfahren zur Erstellung des Selbstberichts 3,5 0,9<br />
Beteiligung des Kollegiums bei der Erstellung des Selbstberichts 2,4 1,0<br />
Erläuterung der Auswahl der Peers im Kollegium 3,0 1,2<br />
Abstimmung der Peer Besuch Agenda mit Peers 3,6 1,1<br />
Die Daten der Tabelle beziehen sich auf die erste Phase, die Vorbereitung des Peer Reviews. Aus<br />
den Daten geht hervor, dass nahezu ganzheitlich eine Definition von Verantwortlichkeiten für die<br />
Organisation der externen Evaluation, die Abstimmung der Peer Besuch Agenda mit Peers sowie<br />
die Erstellung des Selbstberichts anhand eines strukturierten Verfahrens erfolgte. Die Einbeziehung<br />
des Kollegiums im Bereich der Festlegung von Zweck und Ziel, der Qualitätsbereiche sowie der<br />
Erläuterung der Auswahl der Peers erfolgte nur teilweise. Die drei Items hinsichtlich der Beteiligung<br />
des Kollegiums wurden entsprechend der Mittelwerte gruppiert, um eventuelle Verhaltensweisen der<br />
Bildungseinrichtungen ableiten zu können. Sofern sich in Bezug auf die Items Festlegung von Zweck<br />
und Zielen, Auswahl der Qualitätsbereiche und Erläuterung der Auswahl der Peers im Kollegium ein<br />
geringerer Mittelwert als 2 ergibt, wird die Bildungseinrichtung als ‚nicht beteiligend‘ klassifiziert. Bei<br />
einem Wert zwischen den Größen 2 und 3 wird von einer ‚teilweise beteiligenden‘ und ab dem Wert<br />
von einer ‚beteiligenden Schule‘ gesprochen. Die folgende Tabelle verdeutlicht die Vorgehensweise<br />
in der Vorbereitungsphase des Peer Reviews.<br />
Tabelle 7: Verhaltensweisen der Bildungseinrichtungen in der Vorbereitungsphase<br />
Item / Schule A B C D E F G<br />
Festlegung von Zweck<br />
und Zielen mit dem<br />
Kollegium<br />
beteiligend<br />
teilweise<br />
beteiligend<br />
nicht<br />
beteiligendbeteiligendbeteiligend<br />
teilweise<br />
beteiligendbeteiligend<br />
Bei der Erstellung des Selbstberichts wurde das Kollegium eher nicht beteiligt. Dies kann unter<br />
Umständen daran liegen, dass die Bildungseinrichtung die einzelnen Lehrkräfte mit diesem Verfahrensschritt<br />
nicht weiter belasten wollte und so die Aufgaben auf Einzelpersonen, insbesondere auf<br />
die Schulleitung und den SQPM, aufteilte.<br />
139
4. Ergebnisse der Erhebung<br />
140<br />
Tabelle 8: Werte zur zweiten Phase des Peer Reviews: Peer Besuch<br />
Item / Wert<br />
Mittel-<br />
wert<br />
Standard-<br />
abwei<br />
Kompetenz und Motivation des Peer Teams 3,9 0,4<br />
Vorbereitung der Peers auf die Schule 3,7 0,8<br />
Strukturierung der Interviews 3,6 0,9<br />
Stimmung bei den Peer Beobachtungen 3,7 1,1<br />
Visualisierung zentraler Ergebnisse bei der Feedback-Besprechung 3,6 0,9<br />
Möglichkeit für Rückfragen während der Feedback-Sitzung 3,6 1,0<br />
Strukturierung und Nachvollziehbarkeit der Ergebnispräsentation 3,5 0,9<br />
chung<br />
Vermittlung eines ersten Eindrucks über Stärken und Schwächen<br />
während der Feedback-Sitzung<br />
3,1 1,0<br />
Möglichkeit für Kommentierungen während der Feedback-Sitzung 3,4 1,0<br />
Aufnahme von Kommentaren während der Feedback-Sitzung 3,0 1,2<br />
Die Ergebnisse bezüglich der zweiten Phase des Peer Reviews, dem eigentlichen Peer Besuch,<br />
werden im Folgenden erläutert. Auch dieser Bereich der standardisierten Umfrage wird durchaus<br />
positiv evaluiert, da sämtliche Items Zustimmung erfahren. Diese Tatsache kann vermutlich auf die<br />
hohe Kompetenz und umfassende Vorbereitung der Peers durch die verpflichtende Teilnahme an<br />
einem Schulungsprogramm zurückgeführt werden, die zu einer umfassenden Information über das<br />
externe Verfahren, den Ablauf und die Aufgaben der Peers beiträgt (Gutknecht-Gmeiner et al., 2007,<br />
S. 41). Die Vermittlung eines ersten Eindrucks über Stärken und Schwächen, die Möglichkeit für<br />
Kommentierungen sowie die Aufnahme von Kommentaren während der Feedback-Sitzung wird, mit<br />
Blick auf die Standardabweichung, punktuell verneinend evaluiert.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Tabelle 9: Werte zur dritten Phase des Peer Reviews: Peer Review Bericht<br />
Item / Wert<br />
Mittel-<br />
wert<br />
Standard-<br />
abweichung<br />
Leichte Zugänglichkeit zum Bericht 3,5 1,0<br />
Verständlichkeit des Berichts 3,4 1,0<br />
Richtige Wiedergabe von Stärken und Schwächen der Schule im Bericht 3,3 1,0<br />
Berücksichtigung von Stellungnahmen zu den Ergebnissen im Bericht 2,9 1,2<br />
Persönliche Relevanz der Ergebnisse 3,1 1,0<br />
Ermittlung neuer Erkenntnisse für die Schule durch das Peer Review 3,1 1,1<br />
Ermittlung von bereits diskutierten Erkenntnissen 3,2 0,7<br />
Ermittlung von bereits bekannten, aber nicht thematisierten Erkenntnis-<br />
sen<br />
2,3 0,8<br />
Ermittlung von bereits bekannten Ergebnissen, die nach den Peer<br />
Review offiziell besprochen werden<br />
3,0 1,2<br />
Besseres Kennenlernen der Stärken und Schwächen der Schule durch<br />
das Peer Review<br />
3,1 1,0<br />
Persönliche Relevanz der Verbesserungsvorschläge 2,6 1,1<br />
Mögliche Weiterentwicklung der schulischen Qualitätsarbeit durch die im<br />
Bericht genannten Verbesserungsbereiche<br />
3,0 1,1<br />
Vorschlag von Verbesserungsmaßnahmen durch die Peers 2,6 1,4<br />
Bezugnehmend auf die dritte Phase des Peer Reviews, den Peer Review Bericht, können im Vergleich<br />
zu den vorangehenden Werten, ähnlich affirmative, anerkennenswerte Ergebnisse festgestellt<br />
werden. Die Zugänglichkeit zum Bericht wird als unproblematisch dargestellt. Hierbei handelt<br />
es sich allerdings um die Einschätzung der am Verfahren beteiligten Personen, dem erweiterten<br />
Qualitätsteam. In diesem Zusammenhang kann festgestellt werden, dass die Verhaltensweise der<br />
Bildungseinrichtung in der Vorbereitungsphase mit der Zugänglichkeit zum Bericht nicht einhergeht,<br />
da in diesem Bereich kein Zusammenhang festgestellt wurde. D. h. die Veröffentlichung des Berichts<br />
steht nicht in Bezug zum Vorgehen in der ersten Phase des Peer Reviews. Hierbei handelt es sich um<br />
ein deskriptives Ergebnis. Eine Überprüfung der statistischen Signifikanz konnte aufgrund der Stichprobengröße<br />
nicht durchgeführt werden. Des Weiteren geht aus den Daten hervor, dass eine richtige<br />
Wiedergabe von Stärken und Schwächen der Schule erfolgt, die eine kompetente und urteilsfähige<br />
Arbeit der Peers bescheinigt. Durch das Peer Review werden verstärkt neue oder bereits diskutierte<br />
Erkenntnisse ermittelt. Teilweise wird das externe Verfahren auch genutzt, um bereits bekannte<br />
Themen auf die Agenda zu setzen. Die persönliche Relevanz bzw. die Ausarbeitung zielführender<br />
Verbesserungsvorschläge durch die Peers wird eher negativ beurteilt.<br />
141
4. Ergebnisse der Erhebung<br />
142<br />
Tabelle 10: Werte zur vierten Phase des Peer Reviews: Umsetzung von Maßnahmen<br />
Item / Wert<br />
Mittel-<br />
wert<br />
Standard-<br />
abweichung<br />
Persönliche Auseinandersetzung mit den Ergebnissen des Peer Reviews 3,6 0,9<br />
Ausführliche Diskussion und Priorisierung der Ergebnisse im Kollegium 2,8 1,0<br />
Diskussion der Verbesserungsmaßnahmen im Kollegium vor der<br />
Umsetzung<br />
2,7 1,0<br />
Umsetzung von ausgewählten Empfehlungen des Berichts 2,5 1,3<br />
Entwicklung eines Maßnahmenplans für die Umsetzung der aus dem<br />
Bericht abgeleiteten Maßnahmen<br />
2,4 1,0<br />
Durchführung einer Evaluation zur Umsetzung abgeleiteter Maßnahmen 2,0 1,0<br />
Integration umgesetzter Maßnahmen in die nächste Zielvereinbarung 2,5 1,1<br />
Integration der Ergebnisse des Peer Reviews in den Schulqualitätsbericht<br />
2,7 1,3<br />
Integration der Ergebnisse des Peer Reviews in das Schulprogramm 2,1 1,0<br />
Integration der Ergebnisse des Peer Reviews in andere <strong>Dokument</strong>e 2,4 1,4<br />
Hinsichtlich der vierten Phase des Peer Reviews, der Umsetzung von Maßnahmen, fällt die Einschätzung<br />
der am Verfahren integrierten Personen deutlich zurückhaltender aus und wird, im Vergleich zu<br />
den anderen Phasen des Peer Reviews, negativer bewertet. Eine persönliche Auseinandersetzung<br />
mit den Ergebnissen der externen Evaluation kann noch weitgehend festgestellt werden. Allerdings<br />
findet eine Einbindung des Kollegiums in das weitere Vorgehen, insbesondere eine Diskussion und<br />
Priorisierung der Ergebnisse sowie ein Austausch bezüglich der Verbesserungsmaßnahmen, nicht<br />
übergreifend statt, wobei dieses Vorgehen für eine ganzheitliche Implementierung von Innovationen<br />
im Kollegium einen entscheidenden Stellenwert einnimmt (vgl. 4.2). In diesem Zusammenhang kann<br />
festgestellt werden, dass sich die Verhaltensweisen der Bildungseinrichtungen in der Vorbereitungsphase<br />
in Bezug auf die Diskussion der Verbesserungsmaßnahmen im Kollegium niederschlägt, da in<br />
fünf der sieben Fälle ein identisches Vorgehen diagnostiziert werden kann. Hierbei handelt es sich<br />
um ein deskriptives Ergebnis. Eine Überprüfung der statistischen Signifikanz konnte aufgrund der<br />
Stichprobengröße nicht durchgeführt werden.<br />
Tabelle 11: Zusammenhang der schulischen Verhaltensweise in der Vorbereitungsphase und der<br />
Diskussion von Verbesserungsmaßnahmen<br />
Item / Schule A B C D E F G<br />
Vorgehen in der Vorbereitungsphase<br />
versus<br />
Diskussion der Verbesserungsmaßnahmen<br />
identisch<br />
identisch<br />
nicht<br />
identisch<br />
nicht<br />
identisch<br />
identisch<br />
identisch<br />
identisch
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Eine Umsetzung von ausgewählten Empfehlungen aus dem Bericht erfolgte nicht übergreifend.<br />
Bezüglich der Integration von Resultaten aus dem Peer Review sind die höchsten Werte der Standardabweichung<br />
zu verzeichnen, was auf eine große Streuung der Antworten hinweist. Darüber<br />
hinaus kann festgestellt werden, dass die weitere Einspeisung von Ergebnissen nur punktuell und<br />
verstärkt in den Schulqualitätsbericht erfolgt.<br />
Übergreifend kann festgestellt werden, dass die befragte Personengruppe, die direkt in das Peer<br />
Review eingebunden war, mit dem Verfahren zufrieden ist, da vorwiegend eine positive Bewertung<br />
der Items erfolgte.<br />
Mit Blick auf die verschiedenen Statusgruppen kann festgestellt werden, dass die Phasen des Peer<br />
Review nahezu identisch bewertet werden. Lediglich von Seiten der Peer Review Organisatoren<br />
erfolgt eine marginal niedrigere Beurteilung. Die Streuungswerte innerhalb der Personengruppen<br />
sind nahezu identisch und liegen zwischen den Werten 0,9 und 1,1, wobei auch bei den Peer Review<br />
Organisatoren inhaltlich die höchste Abweichung innerhalb der einzelnen Nennungen vorliegt.<br />
Tabelle 12: Werte zu den Peer Review Phasen in Bezug auf die Statusgruppen<br />
Statusgruppe /<br />
Wert bzgl. Peer Review Phase<br />
Vorbereitung<br />
Besuch Bericht<br />
Maßnahmen<br />
Insgesamt<br />
MW SD MW SD MW SD MW SD MW SD<br />
Schulleitung 3,4 0,9 3,5 0,8 3,2 0,9 3,3 1,0 3,5 1,0<br />
Schulqualitätsprozessmanager<br />
3,2 0,9 3,7 0,6 3,3 0,8 2,9 0,8 3,4 0,9<br />
Peer Review Organisator 2,9 1,1 3,5 0,8 2,6 1,1 2,0 1,0 2,7 1,1<br />
sonstige Mitwirkung 3,4 1,0 3,7 0,7 3,4 0,8 3,1 0,9 3,4 0,9<br />
4.1.2.2 Zweite Ebene: schulische Innovationen als Folge der externen Evaluation<br />
Die zweite Ebene des Modells zur Wirksamkeitsanalyse bezieht sich auf Innovationen als Folge<br />
der externen Evaluation. In diesem Zusammenhang wurde anhand des Concerns-Based Adoption<br />
Models von hall & horD (vgl. 2.4.4.2.2) untersucht, ob sich die Lehrkräfte von abgeleiteten Maß-<br />
nahmen betroffen fühlen (Stages of Concern) und daraufhin ihr Verhalten ändern (Levels of Use).<br />
Die erste Größe bringt Gefühle und Empfindungen einer Person in Bezug auf eine Innovation zum<br />
Ausdruck, die zweite erfasst eigentliche Reaktionen. Die Entwicklung eines Beteiligten ist bei der<br />
Einführung von Innovationen grundsätzlich vorerst durch eine emotionale Betroffenheit gekennzeichnet,<br />
indem sich die Person mit der Maßnahme auseinandersetzt und im zweiten Schritt ihr Verhalten<br />
ändert. Im mustergültigen Fall ergibt sich eine lineare, stufenweise Entwicklung, indem einem Gefühl<br />
oder Empfinden (Stages of Concern) eine Verhaltensänderung (Levels of Use) folgt (vgl. 3.2.2.3.2.2.3).<br />
Anhand der Levels of Use kann letztendlich die Wirkung der Innovation im Sinne eines Resultats<br />
gemessen werden (Capaul, 2002a, S. 62), da diese Dimension die Verhaltensänderungen zum<br />
143
4. Ergebnisse der Erhebung<br />
144<br />
Ausdruck bringt. Eine Innovation wird als erfolgreich implementiert bezeichnet, wenn die meisten<br />
Lehrkräfte ihr Verhalten ändern und die Innovation anwenden. Ab dem Level III wird ein Akteur als<br />
Innovationsanwender definiert (vgl. 2.4.4.2.2). Zunächst wird nun die Frage beantwortet, ob die<br />
Innovationen auf der Basis des Peer Reviews in den Bildungseinrichtungen institutionalisiert sind.<br />
Es wird die Annahme getroffen, dass eine Maßnahme erfolgreich implementiert ist, sobald mehr als<br />
50 % der evaluierenden Personen als Innovationsanwender bezeichnet werden können.<br />
Tabelle 13: Bewertung der Innovationsadaptierung<br />
Maßnahme /<br />
Schule<br />
Maßnahme 1<br />
Maßnahme 2<br />
Maßnahme 3<br />
A B C D E F G<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
nicht<br />
erfolgreich<br />
nicht<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
nicht<br />
erfolgreich<br />
erfolgreich<br />
nicht<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
erfolgreich<br />
nicht<br />
erfolgreich<br />
nicht<br />
erfolgreich<br />
In der vorangehenden Tabelle ist die Bewertung der Adaption von Innovationen komprimiert dargestellt.<br />
Aus den Daten geht hervor, dass 70 % aller Maßnahmen erfolgreich umgesetzt wurden<br />
und somit von Seiten des Kollegiums Anwendung finden. Drei Schulen erzielten eine vollständige<br />
Adaptierung ihrer Maßnahmen, wobei hier teilweise genau der zugrundeliegende Schwellenwert<br />
erreicht wurde.<br />
Auf der Basis der vorliegenden Ergebnisse stellte sich die Frage, ob die einzelnen Werte der Stages of<br />
Concern und Levels of Use in signifikantem Zusammenhang mit den soziodemografischen Daten einer<br />
Lehrkraft stehen. Mit Blick auf die weitere Datenauswertung sollte beispielsweise ermittelt werden,<br />
ob sich jüngere LehrerInnen betroffener fühlen als ältere oder einen höheren Grad der Verhaltensänderung<br />
aufweisen. Diese Fragen sollten anhand der vorliegenden Informationen bezüglich des Alters<br />
und dem Geschlecht der Lehrkraft, der Unterrichtsform (Vollzeit/Teilzeit), der Schule und die Dauer<br />
der jeweiligen Schulzugehörigkeit beantwortet werden. Darüber hinaus wurde berücksichtigt, ob<br />
die Lehrkraft der Schulleitung bzw. dem Qualitätsteam angehört. Um diese Fragen zu beantworten,<br />
wurde eine Regressionsanalyse durchgeführt, um den linearen Zusammenhang zwischen den Stages<br />
of Concern bzw. Levels of Use und den soziodemografischen Daten darzustellen. Anhand dieser<br />
Auswertung war allerdings aufgrund zu geringer Fallzahlen kein Zusammenhang nachweisbar. Aus<br />
diesem Grund wurde eine bivariate Datenanalyse durchgeführt, um die „[...] Beziehungen zwischen<br />
zwei verschiedenen Variablen simultan zu untersuchen“ (Wittenberg et al., 2003, S. 164), wobei dies<br />
zu einer Vernachlässigung der Mehrebenenstruktur führte. Auf der Basis der Varianzanalyse (Bühl,<br />
2008, S. 442–228) konnten folgende Ergebnisse nachgewiesen werden:
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Hoch signifikant ist der Zusammenhang zwischen dem Geschlecht und den Stages of Concern<br />
mit dem Resultat, dass Frauen bei dem Grad der Betroffenheit einen höheren Wert erzielen als<br />
Männer. Somit fühlen sich weibliche Personen von Maßnahmen stärker betroffen als ihre Kollegen.<br />
Im Bereich der Levels of Use ist allerdings kein Zusammenhang nachweisbar. Ähnlich dazu schätzen<br />
Frauen statistisch hoch signifikant die Veränderung der Lernleistung von SchülerInnen durch die<br />
Maßnahmen auf der Basis des Peer Reviews höher ein als Männer. In Bezug auf das Alter sind keine<br />
Relationen bezüglich der Stages of Concern, Levels of Use oder der Einschätzung zur Veränderung<br />
der Lernleistungen von SchülerInnen feststellbar.<br />
Interessant ist das Ergebnis in Bezug auf Unterrichtsform und die Stages of Concern, da die Werte<br />
der Betroffenheit bei Vollzeitbeschäftigten hochsignifikant niedriger sind als bei Lehrkräften, die ihren<br />
Beruf innerhalb einer geringeren Arbeitszeit ableisten. D. h., dass sich Teilzeitlehrkräfte von Maßnahmen<br />
höher betroffen fühlen als die Kollegen mit vollem Stundenkontingent. Allerdings ist diese<br />
Tatsache im Bereich der Levels of Use nicht erkennbar. Aus diesem Grund ist die Interpretation, dass<br />
Lehrkräfte, die nicht Vollzeit beschäftigt sind, mehr Engagement bei der Umsetzung von Maßnahmen<br />
zeigen, nur sehr vage formulierbar.<br />
Bezüglich der Schulleitung und der Stages of Concern bzw. Levels of Use liegt die Vermutung nahe,<br />
dass in diesem Bereich höchstsignifikante Effekte zu erwarten sind, da diese Personen neben der<br />
Vorbildfunktion innerhalb der Bildungseinrichtung im Qualitätsmanagement eine zentrale Schlüsselrolle<br />
einnehmen (vgl. 2.1.2.1.2) und somit eine hohe Betroffenheit sowie große Verhaltensänderung<br />
in Bezug auf die implementierten Maßnahmen aufweisen müssten. Diese Annahme bestätigt sich<br />
allerdings nicht, da kein signifikanter Unterschied zu anderen Lehrkräften erkennbar ist. Dementgegen<br />
liegt im Bereich der Mitglieder eines Qualitätsteams und den Levels of Use eine hohe Signifikanz<br />
vor, in dem dieser Personenkreis signifikant höhere Werte erzielt als deren KollegInnen und somit das<br />
Ausmaß der Verhaltensänderung innerhalb des Teams höher bewertet wird.<br />
Hochsignifikante Effekte lassen sich auch im Bereich der Stages of Concern und der Schulen feststellen.<br />
Dies bedeutet, dass zwischen den einzelnen Bildungseinrichtungen im Bereich der Einschätzung<br />
der Betroffenheit von Maßnahmen qualitative Unterschiede vorliegen und Bildungseinrichtungen im<br />
Vergleich zu den anderen untersuchten Organisationen höhere Werte erzielen. Im Bereich der Levels<br />
of Use ist dieser direkte Zusammenhang allerdings nicht nachweisbar. Somit nehmen befragte Schulen<br />
keine deutlich höhere Einschätzung der Verhaltensänderung auf der Basis von implementierten<br />
Maßnahmen vor als andere Bildungseinrichtungen.<br />
4.1.2.3 Dritte Ebene (Output): Änderung des Outputs der Institution in Folge der externen<br />
Evaluation<br />
Die dritte Ebene des Modells zur Wirksamkeitsanalyse bezieht sich auf Änderungen des Outputs der<br />
Institution in Folge der externen Evaluation. Diesbezüglich wurden Einschätzungen der Lehrkräfte zur<br />
Veränderung des Outputs, also der Lernleistungen der SchülerInnen, erfasst (vgl. 2.4.4.2.3). Diese<br />
Beurteilung erfolgte anhand einer vierstufigen Likert-Skala, wobei der numerische Wert 1 keine bzw.<br />
4 eine Verbesserung der Lernleistung ausdrückt.<br />
145
4. Ergebnisse der Erhebung<br />
146<br />
Tabelle 14: Einschätzungen zur Veränderung der Lernleistungen von SchülerInnen<br />
Maßnahme / Schule A B C D E F G<br />
Maßnahme 1 2,3 1,5 1,1 2,0 2,8 2,0 1,4<br />
Maßnahme 2 2,6 1,2 1,9 2,1 3,1 1,5 1,7<br />
Maßnahme 3 2,3 1,5 2,0 2,5 2,9 2,2<br />
Wie der Tabelle entnommen werden kann, liegen die Werte bezüglich der Einschätzung grundsätzlich<br />
im Bereich zwischen 1 und 2. Dies bedeutet, dass die Maßnahmen in Folge des Peer Reviews eher<br />
zu einer geringeren Verbesserung der Lernleistung von SchülerInnen beitragen. Dies kann unter<br />
Umständen daran liegen, dass Innovationen nicht zwangsläufig im Bereich der Unterrichtsentwicklung<br />
erfolgen müssen, da lediglich ein Qualitätsbereich des Peer Reviews in diesem Rahmen erfolgt.<br />
Somit treten Auswirkungen auf die Lernleistung zeitlich verzögert auf bzw. werden diese nicht in Verbindung<br />
zum Peer Review gebracht. Die Schule E sieht eher eine Verbesserung der Lernleistungen<br />
von SchülerInnen anhand der Maßnahmen, die auf der Basis der externen Evaluation implementiert<br />
wurden. Diese Innovationen können, anhand der vorliegenden Beschreibungen, weitgehend der<br />
Unterrichtsentwicklung zugeordnet werden, so dass diese Bildungseinrichtung möglicherweise<br />
diesen Bereich stärker fokussierte.<br />
Grundsätzlich kann festgestellt werden, dass erfolgreich adaptierte Innovationen mit Blick auf die<br />
Veränderung der Lernleistungen von SchülerInnen besser beurteilt werden, als Maßnahmen die nicht<br />
erfolgreich adaptiert werden.<br />
4.1.2.4 Vierte Ebene (Outcome): Resultate der Änderung des Outcome der Institution in Folge<br />
der externen Evaluation<br />
Innovationen tragen dazu bei, dass sich das Leben der Betroffenen ändert. Berufs- bzw. Qualifikationsabschlüsse<br />
wirken sich beispielsweise auf die Einkommensentwicklung aus. Eventuelle Resultate<br />
bezüglich der Änderung des Outcomes einer Institution in Folge der externen Evaluation kann allerdings<br />
nicht präsentiert werden, da diese Ebene im Rahmen des Projekts nicht berücksichtigt wurde<br />
(vgl. 2.4.4.2.4).<br />
4.1.2.5 Fünfte Ebene (Return on Investment): Return on Investment der externen Evaluation<br />
Eine faktische Erfassung der Wirtschaftlichkeit scheidet wegen des Erhebungsaufwandes aus. Eine<br />
Ermittlung beider genannter Größen erfolgt daher mit Hilfe einer quantitativen Einschätzung durch<br />
Lehrkräfte, die direkt in das Peer Review Verfahren involviert wurden, da diese Personen “oftmals<br />
die verlässlichsten Einschätzungen geben [können]” (Phillips et al., 2005, S. 119). Die Ermittlung des<br />
Ergebnisses erfolgt durch eine Gegenüberstellung von Nutzen und Aufwand, um die Frage nach<br />
der Wirtschaftlichkeit des externen Verfahrens, beurteilen zu können. Handelt es sich hierbei um<br />
einen Wert, der numerisch gesehen größer als 1 ist, so wurden durch das Peer Review Verfahren in<br />
der Bildungseinrichtung mehr Impulse erzielt als Arbeitsaufwand investiert. Unter wirtschaftlichen
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Aspekten wird in diesem Zusammenhang von einem Gewinn, also von Wirtschaftlichkeit, gespro-<br />
chen. Verhält sich diese Relation genau gegengleich, indem eine höhere Einschätzung des Aufwands<br />
als des erzielten Nutzens erfolgt, so liegt keine Wirtschaftlichkeit und ein Verlust vor.<br />
In der vorliegenden Wirksamkeitsanalyse wurde eine Einschätzung von Nutzen und Aufwand in<br />
Bezug auf den Evaluierenden und die gesamte Bildungseinrichtung erhoben, um eine Aussage hinsichtlich<br />
der Wirtschaftlichkeit des Peer Reviews treffen zu können (vgl. 2.4.4.2.5). Der nummerische<br />
Wert 6 steht dabei für einen hohen Nutzen bzw. Aufwand. Analog dazu wird ein geringer Nutzen<br />
bzw. Aufwand durch die Zahl 1 ausgedrückt. Auf der Basis einer Gegenüberstellung beider Größen<br />
können Aussagen über die Nutzen-Aufwand-Relation des Verfahrens getroffen werden. Wird dem<br />
persönlichen oder organisationalen Nutzen ein höherer Wert zugemessen als dem Aufwand, so<br />
liegt eine positive Wirtschaftlichkeit vor. Im umgekehrten Verhältnis, der höheren Einschätzung des<br />
Aufwands, wird von einer negativen Wirtschaftlichkeit ausgegangen.<br />
Tabelle 15: Nutzen-Aufwand-Relation<br />
Item / Schule A B C D E F G<br />
persönlicher Aufwand 4,6 6 3,5 3,6 5,5 4,8 4<br />
persönlicher Nutzen 3,8 4 5 4,2 4 4,3 5<br />
persönliche Nutzen-Aufwand-<br />
Relation<br />
negativnegativ<br />
positiv positiv negativnegativ<br />
positiv<br />
Aufwand bezüglich der Schule 5,2 4,7 5 5 4 4,5 5<br />
Nutzen bezüglich der Schule 4,4 3,3 5,5 4,2 5 4,3 4,7<br />
Nutzen-Aufwand-Relation bezüglich<br />
der Schule<br />
negativnegativ<br />
positiv negativ<br />
positiv negativnegativ<br />
Wie der vorangehenden Tabelle entnommen werden kann, erfolgt in vier Bildungseinrichtungen die<br />
Bewertung des persönlichen Aufwands höher als der individuelle Nutzen in Bezug auf das Peer<br />
Review. Dieses Ergebnis ist allerdings annehmbar, da die befragten Personen, das erweiterte Qualitätsteam,<br />
direkt in die externe Evaluation eingebunden waren, sei es in der Position des Schulleiters,<br />
dem Peer Review Organisator, dem Schulqualitätsprozessmanager oder bei der Erstellung des<br />
Selbstberichts. Aus den Daten geht hervor, dass selbst diese Personen die Wirtschaftlichkeit des<br />
Verfahrens in drei Fällen positiv einschätzen und somit einen Mehrwert im Sinne neuer Erkenntnisse<br />
aus dem Peer Review ziehen.<br />
Auf der Schulebene wird die Wirksamkeit des Verfahrens zwei Mal positiv beurteilt. Dies ist insofern<br />
unzureichend für das Verfahren, da der Mehrwert für die Schule grundsätzlich höher sein müsste, als<br />
für die einzelnen Personen, die am Verfahren mitgewirkt haben. Der Nutzen der Schulen wird durch<br />
hohe Werte eingeschätzt. Es ist anzunehmen, dass die Empfehlungen aus dem Peer Review bzw.<br />
die Phase der Umsetzung von Maßnahmen nicht bei den Beteiligten präsent ist oder die Bedeutung<br />
der Innovationen, vielmehr deren Implementierung, nicht erkannt wird. Allerdings werden aus dem<br />
Peer Review abgeleitete Maßnahmen zu 70 % erfolgreich implementiert (vgl. 4.1.2.2), wobei diese<br />
147
4. Ergebnisse der Erhebung<br />
148<br />
Innovationen allerdings eher zu einer geringen Verbesserung der Lernleistung von SchülerInnen bei-<br />
tragen. Insgesamt wird die Wirtschaftlichkeit sowohl auf persönlicher als auch auf organisationaler<br />
Ebene eher negativ bewertet. Weitere Erläuterungen und Vorschläge diese Tatsache zu beheben,<br />
werden in Kapitel 5 aufgezeigt.<br />
4.2 Ergebnisse des qualitativen Erhebungsteils<br />
4.2.1 Ablauf der qualitativen Erhebung<br />
Die Interviewpartner sind während des Interviews nicht starr anhand des entwickelten Leitfadens mit<br />
speziellen Kategorien befragt worden, um eine Basis für eine natürliche und realitätsnahe Kommunikation<br />
zu schaffen sowie eine Schilderung individueller Eindrücke in einer ganzheitlichen Komplexität<br />
zu ermöglichen.<br />
4.2.2 Ergebnisse der qualitativen Erhebung<br />
Im Allgemeinen kann hinsichtlich des Peer Reviews unter den Pilotschulen eine übergreifende Akzeptanz<br />
des Verfahrens festgestellt werden, das primär als Methode betrachtet wird, ‚blinde Flecken‘<br />
aufzuzeigen. Ein Interesse an den Ergebnissen ist generell vorhanden, wobei der Bericht nur teilweise<br />
von Seiten der Lehrkräfte gelesen wird. Die Aktivitäten in der vierten Phase des Peer Reviews, der<br />
Umsetzung von Maßnahmen, könnten allerdings noch weiter intensiviert werden, um eine ganzheitliche<br />
Verarbeitung der Ergebnisse zu erzielen, da dieser Schritt, bezüglich der Nachhaltigkeit des Verfahrens<br />
und hinsichtlich einer Qualitätsverbesserung der zu evaluierenden Schule, ein essentielles<br />
Kriterium darstellt. Die Peer Review Berichte sind einheitlich auf der Basis der vorgegebenen Struktur<br />
aufgebaut und inhaltlich gegliedert. Übergreifend erfolgte die Strukturierung der Qualitätsbereiche<br />
anhand der Stärken und Verbesserungsbereiche in diesem Themenfeld. Punktuell sind inhaltliche<br />
und strukturelle Qualitätsunterschiede festzustellen. Alle evaluierten Bildungseinrichtungen haben<br />
auf der Basis des Peer Reviews Maßnahmen umgesetzt bzw. Innovationen adaptiert. Schulübergreifend<br />
kann in diesem Zusammenhang allerdings ein unterschiedliches Niveau der Maßnahmen<br />
festgestellt werden.<br />
Mit Blick auf eine hohe Akzeptanz der externen Evaluation und eine erfolgreiche Verarbeitung der<br />
Ergebnisse, sollte eine Durchführung des Peer Reviews analog zur Verfahrensbeschreibung im<br />
Handbuch gewährleistet werden. Genaue Details werden, analog zu den definierten Phasen des<br />
Peer Reviews (vgl. 2.3.2.4), im Folgenden erläutert:<br />
Teilweise konnte in der Vorbereitungsphase des Peer Reviews eine defizitäre Integration des Kollegiums<br />
festgestellt werden. Diesbezüglich wurde von den befragten Personen der Wunsch geäußert, zu<br />
Beginn des Verfahrens umfassend integriert zu werden, indem zunächst die Phasen und Strukturen<br />
der externen Evaluation ausführlich erläutert werden und die Festlegung von Ziel und Zweck sowie<br />
die Auswahl der Qualitätsbereiche und Peers bzw. die Festsetzung der Interviewteilnehmer anhand<br />
einer ganzheitlichen Beteiligung der Lehrkräfte erfolgt. Eine individuellere Abstimmung der Zeiträume
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
zur externen Evaluation, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung von<br />
Ergebnissen, wird von den beteiligten Schulen als notwendig erachtet. Darüber hinaus wurde eine<br />
inhaltliche Reduzierung des Selbstberichts anhand individueller Schwerpunktsetzungen gefordert.<br />
Dieser Sachverhalt bezieht sich insbesondere auf die Umfeldanalyse. Von Seiten der Befragten<br />
wurde der Wunsch geäußert, den Prozess hinsichtlich finanzieller Abrechnungen zum Verfahren<br />
einfacher zu gestalten.<br />
Zum Teil wurden zu Beginn des Peer Besuchs, der zweiten Phase des Verfahrens, die Peers nicht vorgestellt.<br />
Die Ergebnispräsentation und Berichterstattung im Rahmen der Feedback-Sitzung erfolgte<br />
nicht immer durch die Peers bzw. den Peer Koordinator, sondern auch durch schulinterne Personen.<br />
Das Treffen am Ende des Peer Besuchs wurde nur teilweise unter Einbeziehung aller Betroffenen zur<br />
anschließenden Diskussion zentraler Ergebnisse abgehalten. In diesem Zusammenhang wird eine<br />
Durchführung verpflichtender Konferenzen als sinnvoll erachtet.<br />
Innerhalb der dritten Phase, dem Peer Review Bericht, erfolgte nur teilweise eine Stellungnahme der<br />
evaluierten Bildungseinrichtung zum Rohbericht. Aus diesem Grund konnten nicht immer Rückfragen<br />
gestellt oder Fehler bzw. Unrichtigkeiten korrigiert werden. Die Zugänglichkeit zum Bericht wird<br />
im ersten Schritt der quantitativen Datenerhebungen unter der Personengruppe, die direkt in das<br />
Verfahren eingebunden war, unproblematisch dargestellt. Während der qualitativen Datenerhebung<br />
entstand der Eindruck, dass diese Tatsache nicht auf das Gesamtkollegium zutrifft, was allerdings<br />
einen entscheidenden Einfluss auf die Akzeptanz des Verfahrens sowie die weitere Umsetzung abgeleiteter<br />
Maßnahmen mit sich bringt. Die Zugänglichkeit zum Bericht war nicht immer gewährleistet.<br />
In der letzten Phase des Peer Reviews, der Umsetzung von Maßnahmen, wurde mit Blick auf die<br />
Erhebung von Qualitätsdefiziten eine Erarbeitung von Lösungen verstärkt innerhalb der Bildungseinrichtung<br />
erwünscht, da Vorschläge durch Peers zum Teil als nicht zielführend erachtet werden.<br />
Andere Schulen hingegen wünschten umfassendere Verbesserungsvorschläge zu den einzelnen<br />
Q-Bereichen durch die kritischen Freunde. Die Verarbeitung der Ergebnisse erfolgte nicht immer<br />
transparent und unter Integration des Kollegiums. Der Peer Review Bericht wurde hierbei gelegentlich<br />
eingebunden. Es wurde der Wunsch geäußert, die Nachbereitung transparent und durch<br />
Einbeziehung aller Lehrkräfte zu gestalten. Teilweise wurden von Seiten der Befragten bemängelt,<br />
dass die Verarbeitung der Ergebnisse bzw. die Ableitung von Maßnahmen geringe Effekte zeige. In<br />
manchen Fällen wurden eine Steuergruppe und Projektteams gegründet sowie Workshops durchgeführt,<br />
um die Resultate aus dem Bericht aufzugreifen. Der vorgesehene Maßnahmenplan oder andere<br />
<strong>Dokument</strong>e wurden teilweise erstellt. Es wurde der Wunsch geäußert, das Peer Review durch eine<br />
Follow-up-Evaluation zu erweitern und die Ergebnisse in eine folgende Selbstevaluation oder weitere<br />
Begehung einzubinden. Darüber hinaus wurde Interesse an verschiedenen Unterstützungsmöglichkeiten<br />
geäußert, beispielsweise durch pädagogische Hochschulen, dem Austausch zwischen<br />
Erfahrungsgruppen durch Benchmarking oder weitere externe Beratung.<br />
In Bezug auf eine konzeptionelle Weiterentwicklung des Peer Review Verfahrens konnte ermittelt<br />
werden, dass die Kopplung des Peer Reviews an die Qualitätsbereiche im Sinne einer notwendigen<br />
Begutachtung des Kerngeschäfts von den beteiligten Pilotschulen einschränkend wahrgenommen<br />
149
4. Ergebnisse der Erhebung<br />
150<br />
wurde, da gerade auf der Basis einer externen Evaluation Innovationen beurteilt und dadurch weiter<br />
intensiviert werden sollen. Der notwendige Bezug zur Unterrichtsentwicklung wurde eingrenzend<br />
empfunden. Aus diesem Grund wurde der Wunsch geäußert, diese Eingrenzung zu entschärfen. Bei<br />
der Durchführung der Analyse entstand der Eindruck, dass punktuell eine Implementationsreihenfolge<br />
im Sinne einer Durchführung des Peer Reviews und anschließender Bestimmung von Prozessen<br />
und Zielen erfolgte bzw. eine vollständige Implementierung des Qualitätsmanagementsystems noch<br />
nicht abgeschlossen war. Die Rolle des Schulqualitätsprozessmanagers war in den beteiligten Schulen<br />
teilweise unklar.<br />
Von Seiten der Befragten wurde der Wunsch geäußert, das Zeitfenster für das Verfahren auszuweiten.<br />
Insbesondere wurde die zeitliche Einteilung während des Peer Besuchs als unzureichend<br />
praktikabel bezeichnet, da, aufgrund der umfassenden Struktur des Zeitplans kaum Möglichkeiten<br />
für eine Reflexion bleiben und die Peers ihre Aufgaben in komprimierter und effizienter Weise<br />
zu erfüllen haben. Dies impliziert für diese engagierten Personen u. U. weitere Stresssituationen.<br />
Übergreifend wurden für die Begehung weitere Peer Besuchstage gewünscht. Weiterhin wurde von<br />
Seiten der Befragten in Bezug auf die zeitliche Konzeption die Empfehlung geäußert, mehr Zeit für<br />
Erstellung des Selbstberichts einzuplanen, da sich dieser extrem zeitaufwendig gestaltet. Im Bereich<br />
der Ergebnispräsentation wurde der Vorschlag unterbreitet, den Peers mehr Zeit für die Vorbereitung<br />
des Feedbacks einzuräumen. Die Beteiligten äußerten den Wunsch, Pilotverfahren in einem engen<br />
Zeitschema zu vermeiden oder in der Auswertung zu berücksichtigen.<br />
Von Seiten der teilnehmenden Schulen wird eine verpflichtende Einführung externer Evaluationsverfahren<br />
und Zertifizierungen, analog zur Situation in der Schweiz, für sinnvoll erachtet. Darüber hinaus<br />
ist eine online-basierte Datenerhebung im Zuge der externen Evaluation erwünscht. Übergreifend<br />
wurde aufgeführt, dass für die Qualitätsarbeit der Bildungseinrichtungen, insbesondere für die<br />
Umsetzung der Ergebnisse des Peer Reviews, zu wenig Werteinheiten vergütet werden. Auch die<br />
Bezahlung der Peers wurde als unzureichend bewertet. Aufgrund der geringen Vergütung ist es nicht<br />
möglich, externe Akteure für die Teilnahme am Verfahren zu gewinnen. Insbesondere gilt dies für<br />
Gutachter, die nicht im System beschäftigt sind.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
5.1 Empfehlungen zur Gestaltung von Peer Review in QIBB (Pilotversuch)<br />
5.1.1 Empfehlungen zu den einzelnen Phasen des Peer Reviews<br />
Generell wird empfohlen, das Peer Review gemäß der Beschreibung im diesbezüglichen Handbuch<br />
durchzuführen und insbesondere auf die Kommunikation, Partizipation und Integration aller beteiligten<br />
Lehrkräfte zu achten.<br />
5.1.1.1 Empfehlungen für die erste Phase des Peer Reviews<br />
Die Statusgruppen der Bildungseinrichtungen sollten, mit Blick auf eine Nachhaltigkeit der Evaluation,<br />
bereits zu Beginn des Verfahrens umfassend beteiligt werden, indem zunächst die Phasen<br />
und Strukturen der externen Evaluation ausführlich erläutert werden. Dabei sollte die Festlegung<br />
von Ziel und Zweck sowie die Auswahl der Qualitätsbereiche, anhand einer ganzheitlichen Einbeziehung<br />
der Lehrkräfte, in einen partizipativen Prozess integriert sein, um eine hohe Identifikation<br />
mit dem Verfahren zu erzielen. Im nächsten Schritt sollte sichergestellt werden, dass die Auswahl<br />
der Peers grundsätzlich im Kollegium erläutert wird oder – soweit möglich – in Zusammenarbeit mit<br />
den Lehrkräften erfolgt. Auch die Entscheidung über die Festsetzung der Interviewteilnehmer sollte<br />
unter Integration der Pädagogen ablaufen, aber nicht allein von der Schulleitung ausgewählt werden,<br />
und kurz erläutert werden, um im Vorfeld den Eindruck eines gezielten Samplings zu vermeiden.<br />
Diese Tatsache wurde als Verbesserungspotential genannt, da diese Punkte für die Akzeptanz und<br />
Transparenz des Verfahrens eine wesentliche Rolle darstellen. In jedem Fall sollte sichergestellt<br />
werden, dass die Lehrkräfte über diese Verfahrensmerkmale informiert werden.<br />
Die Zeiträume zur externen Evaluation, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung<br />
von Ergebnissen, sollten individuell mit der Schule abgestimmt werden.<br />
Die Instrumente des Selbstberichts sollten komprimiert werden bzw. eine inhaltliche Auswahl individueller<br />
Schwerpunktsetzungen, insbesondere im Bereich der Umfeldanalyse ermöglichen, indem<br />
irrelevante Informationen abstrahiert werden können. Im Selbstbericht ist klar zu definieren, ob<br />
Verbesserungsvorschläge von Seiten der Peers unterbreitet werden sollen. Spezielle Absprachen<br />
zwischen den Peers und der zu evaluierenden Einheit sollten auch im Hinblick auf die zeitliche<br />
Planung des Verfahrens, insbesondere hinsichtlich des Peer Besuchs und der Übermittlung von<br />
Ergebnissen Berücksichtigung finden.<br />
Eine Verbesserung zur einfacheren Gestaltung finanzieller Abrechnungen in Bezug auf das Peer<br />
Review ist anzuraten.<br />
151
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
152<br />
5.1.1.2 Empfehlungen für die zweite Phase des Peer Reviews<br />
Zu Beginn des Peer Besuchs sollten eine Vorstellung der kritischen Freunde und eine weitere Erläuterung<br />
des zeitlichen Ablaufs der externen Evaluation sowie des anschließenden Schulbesuchs vor dem<br />
Kollegium erfolgen, um nicht in das Verfahren integrierte Pädagogen zu informieren und eine Basis<br />
für die Akzeptanz von Ergebnissen zu schaffen. Die Ergebnispräsentation und Berichterstattung im<br />
Rahmen der Feedback-Sitzung sollte in jedem Fall durch die Peers bzw. den Peer Koordinator und<br />
nicht durch schulinterne Personen vorgenommen werden, da dies die Wahrnehmung in Bezug auf<br />
eine externe Rückmeldung erhöht. Darüber hinaus wird dann die Möglichkeit gewährleistet, Rückfragen<br />
zu stellen. Das Treffen am Ende des Peer Besuchs sollte unter Einbeziehung aller Betroffenen von<br />
einer anschließenden Diskussion über zentrale Ergebnisse gekennzeichnet sein.<br />
Sowohl vor als auch nach dem Peer Review Besuch ist mit Blick auf die Integration aller Beteiligten,<br />
die Durchführung einer verpflichtenden Konferenz anzuraten, um das Verfahren und gewonnene<br />
Erkenntnisse vorzustellen bzw. relevante Entscheidungen hinsichtlich der Festsetzung von Zielen<br />
und Qualitätsbereichen sowie der Auswahl der Peers zu treffen. Hierbei sollte eine erste Ableitung<br />
und Priorisierung von Maßnahmen stattfinden, um eine kommunikative Verarbeitung und Diskussion<br />
der Resultate zu ermöglichen, die für eine weitere wirkungsvolle Qualitätsarbeit von zentraler Bedeutung<br />
ist. Die folgende Abbildung verdeutlicht die Möglichkeit einer zeitlichen Abfolge in Bezug auf<br />
einen Peer Review Besuch und anzuberaumende Konferenzen.<br />
Vorangehende Konferenz<br />
• Erläuterung des Verfahrensablaufs<br />
• Definition von Zielen<br />
• Festlegung der Peers<br />
• Darstellung der Informationsflüsse<br />
Peer<br />
Review<br />
Besuch<br />
Abbildung 31: Einbindung des Peer Review Besuchs in Konferenzen<br />
Nachfolgende Konferenz<br />
• Präsentation/Diskussion der<br />
Ergebnisse<br />
• Ableitung von Maßnahmen<br />
• Definition von Verantwortlichkeiten<br />
• Aufstellung erster Zeitpläne<br />
Die nachfolgende Konferenz sollte zeitnah einberufen werden, um eine Bereitschaft des Wandels auf<br />
der Basis des Peer Reviews durch frühzeitige Aktionen in erste Umsetzungsschritte zu integrieren. In<br />
diesem Zusammenhang sollte ein professionelles Projektmanagement verfolgt werden, in dem einzelne<br />
Maßnahmen in eine umfassende Konzeption, einschließlich der Definition von Verantwortlichkeiten<br />
und der Aufstellung erster Zeitpläne, einbezogen werden, da dieser Bereich ein ganzheitliches<br />
Werkzeug darstellt, „[...] das Instrumente zur Planung und Durchführung bereitstellt. Ein Vorhaben<br />
durchläuft demnach mehrere Phasen: Vorplanung, Detailplanung, <strong>Dokument</strong>ation und Evaluation.<br />
Während dieser Phasen ist ein Kernteam dafür verantwortlich, dass die notwendigen Aufgaben der<br />
Planung, Koordinierung, Überwachung, Änderung etc. wahrgenommen werden und dass festgelegte<br />
Schriftstücke (Projektauftrag, Teilprojektaufträge, Gesprächsprotokolle, Evaluationsanforderungen<br />
etc.) erstellt werden“ (Bülow-Schramm, 2006, S. 67). Im Handbuch zum Peer Review wird, basierend<br />
auf den externen Evaluationsergebnissen, ein Qualitäts- bzw. Maßnahmenplan erwähnt (Gutknecht-<br />
Gmeiner et al., 2007, S. 2), auf den im weiteren Verlauf nochmals Bezug genommen wird.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
5.1.1.3 Empfehlungen für die dritte Phase des Peer Reviews<br />
Wie im Peer Review Handbuch vorgesehen, sollte eine Stellungnahme der evaluierten Bildungseinrichtung<br />
zum Rohbericht erfolgen, um vor Erstellung der Endversion Rückfragen stellen und Fehler<br />
bzw. Unrichtigkeiten vermeiden zu können. Die Zugänglichkeit zum Bericht wird im ersten Schritt der<br />
quantitativen Datenerhebungen unter der Personengruppe, die direkt in das Verfahren eingebunden<br />
war, unproblematisch dargestellt. Während der qualitativen Datenerhebung entstand der Eindruck,<br />
dass diese Tatsache nicht auf das Gesamtkollegium zutrifft, was allerdings einen entscheidenden<br />
Einfluss auf die Akzeptanz des Verfahrens sowie die weitere Umsetzung abgeleiteter Maßnahmen mit<br />
sich bringt. Mit Blick auf den Bericht sollte nicht nur eine leichte Zugänglichkeit, um die Ergebnisse<br />
der externen Evaluation nachlesen zu können, sondern idealerweise auch eine Verarbeitung der<br />
Ergebnisse in der nachfolgenden Konferenz auf dessen Basis erfolgen. Dieser Sachverhalt ist für<br />
eine weitere Qualitätsarbeit und hinsichtlich der Haltung des Kollegiums essentiell. Auch innerhalb<br />
des Peer Review Berichts kann über eine Komprimierung hinsichtlich der Beschreibung der Berufsbildungseinrichtung<br />
nachgedacht werden.<br />
5.1.1.4 Empfehlungen für die vierte Phase des Peer Reviews<br />
Mit Blick auf eine Erhebung von Qualitätsdefiziten wurde erwähnt, dass eine Erarbeitung von Lösungen<br />
innerhalb der Bildungseinrichtung bzw. unter Integration des Kollegiums sinnvoller erscheint, da<br />
Vorschläge durch Peers als nicht zielführend erachtet werden. Andere Schulen hingegen wünschten<br />
umfassendere Verbesserungsvorschläge zu den einzelnen Q-Bereichen durch die kritischen<br />
Freunde. Es wird angeraten, diese Tatsache explizit vor der externen Evaluation zu klären, um auch<br />
die Erwartungen der Bildungseinrichtungen erfüllen zu können.<br />
Die Verarbeitung der Ergebnisse sollte transparent verlaufen und unter Integration aller Akteure erfolgen,<br />
da die Bildungseinrichtung „[...] ihren Wandel anhand ihrer Interessen durch die Mitwirkung aller<br />
Beteiligten selbst gestalten [muss]. Die Schulleitung nimmt dabei eine zentrale Rolle ein, da es ihre<br />
Aufgabe ist, der Bildungseinrichtung bei der Entwicklung zu helfen (Buchen, Horster & Rolff, 1995,<br />
S. 6). Die Einbindung des Kollegiums in das Peer Review ist gerade in der letzten Phase des Peer<br />
Reviews verstärkt zu beachten, um eine Bereitschaft hinsichtlich des Wandels erfahren zu können.<br />
Um diesen Schritt schon im Voraus einfacher zu gestalten, wurde ein <strong>Dokument</strong> in Bezug auf die<br />
Planung der Umsetzung von Maßnahmen entwickelt. Die zugrundeliegenden Fragen sollen beantwortet<br />
werden, um eine umfassende Integration des Kollegiums gewährleisten zu können. Die Rolle<br />
des Schulqualitätsprozessmanagers ist sowohl im Bereich der Verarbeitung von Ergebnissen als<br />
auch im übergreifenden Bereich des Qualitätsmanagements genau zu definieren. Es ist Aufgabe der<br />
Schulleitung, die Umsetzung von Maßnahmen, anhand einer Integration der Daten in die schulinterne<br />
Struktur des Qualitätsmanagements bzw. der Nutzung eines Projektmanagements, professionell zu<br />
gestalten. Diesbezüglich wird empfohlen, die Resultate anhand der Qualitätsmanagementstruktur in<br />
die einzelnen Qualitätsausschüsse zu integrieren bzw. Workshops oder Arbeitsgruppen zu bilden.<br />
Auch bei der Verarbeitung der Ergebnisse wird die Einbindung aller Statusgruppen nahe gelegt.<br />
153
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
154<br />
Das Peer Review Verfahren selbst orientiert sich am Qualitätsregelkreis, in dem die Vorbereitungsphase<br />
als ‚plan‘, der Peer Besuch als ‚do‘, der Peer Bericht als ‚check‘ sowie die Umsetzung von<br />
Maßnahmen als ‚act‘ zugeordnet werden kann. Dieser Qualitätsregelkreis ist allerdings innerhalb der<br />
vierten Phase des Peer Reviews ebenfalls zu gewährleisten, um eine erfolgreiche Implementierung<br />
und Optimierung der Innovation erzielen zu können. Bereits bei der Ableitung von Maßnahmen sollte<br />
auch eine Schließung der Qualitätsregelkreise berücksichtigt werden.<br />
Abbildung 32: Ebenen der Qualitätsregelkreise<br />
Im Peer Review Handbuch wird angeraten, mit Blick auf eine Ableitung weiterer Schritte, einen<br />
Maßnahmenplan zu erstellen, der mit dem Schulprogramm verknüpft ist (Gutknecht-Gmeiner et<br />
al., 2007, S. 32). Die Einordnung der abgeleiteten Maßnahmen in das Schulprogramm bzw. in die<br />
Schulentwicklung erscheint von zentraler Bedeutung. Hierfür sollte ein detaillierteres Instrument<br />
entwickelt werden, das eine Schließung der Qualitätsregelkreise berücksichtigt. Diese Logik wurde<br />
bei der Entwicklung der Struktur des Maßnahmenplans berücksichtigt, indem die Festlegung von<br />
Zielen dem Schritt ‚plan‘ zugeordnet wird.<br />
Bezüglich der Maßnahmen wird ein unterschiedliches Niveau festgestellt. Aus diesem Grund wird<br />
in Bezug auf die Struktur des Maßnahmenplans eine dreistufige Einteilung der Ziele empfohlen, um<br />
diese Thematik zu entschärfen und die Innovationen auf ein einheitliches Maß anzugleichen.
Abbildung 33: Zielaufbau<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Leitbild<br />
Schulprogramm<br />
Ziele einzelner<br />
Maßnahmen<br />
Zunächst sind die Ziele des Schulprogramms aus dem Leitbild abzuleiten und durch die Einordnung<br />
der Maßnahmen weiter auszudifferenzieren. Der Aufbau des Maßnahmenplans sieht durch die Orientierung<br />
am Qualitätsregelkreis zunächst die Ziele des Schulprogramms vor, die mit Blick auf die<br />
längerfristige Perspektive für das weitere Vorgehen priorisiert werden können (z. B. Kategorien A, B,<br />
C), um die Vorsätze stufenweise zu verfolgen und zeitliche Schwerpunkte setzen zu können. Darüber<br />
hinaus ist eine Beurteilung der vorhandenen Qualitätslevels einzelner Teilziele vorgesehen (z. B. Kategorie<br />
rot, gelb, grün), um eine Rückmeldung über den Stand des Entwicklungsprozesses darzustellen<br />
und Erfordernisse weiterer Schritte in der Qualitätsarbeit zu veranschaulichen. Die Statuseinschätzung<br />
könnte anhand interner Evaluationen erfolgen oder mit Blick auf ein ressourcenschonendes<br />
Qualitätsmanagement von dem erweiterten Qualitätsteam der Schule in einem Arbeitskreis erfolgen.<br />
In einer weiteren Stufe des Maßnahmenplans sollen die strategischen Ziele konkretisiert und operationalisiert<br />
werden, um transparente Merkmale zur Zieldefinition zu erhalten. Des Weiteren wird<br />
das Umsetzen von Maßnahmen bzw. die Angabe des Konzepts zur Optimierung der Schulqualität<br />
vorgesehen. Ein weiterer Bereich des Maßnahmenplans bildet das Evaluieren, indem Qualitätskriterien<br />
bzw. Indikatoren festgesetzt werden, um eine Messbarkeit der Zielerreichung (quantitativ und<br />
qualitativ) zu ermöglichen, die aufgrund des festgesetzten QM-Instruments zur Überprüfung der Ziele<br />
erfolgt. Eine Überprüfung der Zielerreichung ist hier ausgeblendet, da dieser Schritt auf der Basis<br />
der individuellen Ergebnisse durch die Akteure bzw. Gremien innerhalb des Qualitätsmanagements<br />
erfolgen muss. Für jeden Teilbereich des Maßnahmenplans soll ein Verantwortlicher definiert werden,<br />
um klare Zuordnungen und Zuständigkeiten von Aktivitäten in der Qualitätsarbeit zu gewährleisten.<br />
Es wird empfohlen, für den Maßnahmenplan sowie im Rahmen des Projektmanagements weitere<br />
Instrumente für die Toolbox zur Verfügung zu stellen.<br />
Die vierte Phase des Peer Reviews könnte insofern noch weiter ausgebaut werden, indem eine<br />
Bewertung abgeleiteter Maßnahmen durch eine Follow-up-Evaluation erfolgt. Hier stehen sowohl<br />
Möglichkeiten im Rahmen einer Selbstevaluation oder durch eine Berichtspflicht bzw. Rechenschaftslegung<br />
zur Verfügung. Eine weitere Eventualität bietet die Durchführung einer Follow-up-Begehung<br />
nach geraumer Zeit, beispielsweise nach zwei Jahren, in der ein Teil des bereits ausgewählten Peer<br />
Teams oder auch nur der Vorsitzende insbesondere die Umsetzung von Maßnahmen auf der Basis<br />
des vorangehenden Peer Reviews begutachtet. Die Konzeption dieses Detailschritts sollte allerdings<br />
möglichst ressourcenschonend verlaufen und insbesondere eine Schließung des Qualitätsregelkreises<br />
untersuchen.<br />
155
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
156<br />
Im Zuge der Ermittlung von Möglichkeiten, das Peer Review weiterzuentwickeln, wurde der Wunsch<br />
geäußert, nach dem Verfahren optionale Unterstützung zu erhalten, um eine weitere Verarbeitung<br />
der Ergebnisse aufgrund der schulspezifischen Situation optimierend zu gestalten. Diese könnte<br />
einerseits durch eine Zusammenarbeit zwischen der evaluierten Einheit und den pädagogischen<br />
Hochschulen bei der Verarbeitung der Ergebnisse erfolgen. Andererseits könnte auch ein Austausch<br />
zwischen Erfahrungsgruppen im Sinne des Benchmarking und weiterer externer Beratung innerhalb<br />
der entsprechenden Schulbereiche oder regionalen Gebiete hergestellt werden, wobei hier die Problematik<br />
der Mikropolitik zu berücksichtigen ist. Auch ein direkter Ansprechpartner, beispielsweise<br />
durch externe Experten oder das ARQA-VET Team für einzelne Bereiche ist denkbar. In diesem<br />
Zusammenhang kann externe Hilfe übergreifend durch ein umfassendes Projektmanagement erfolgen,<br />
das in ein ganzheitliches Qualitätsmanagementsystem und funktionierende Qualitätsregelkreise<br />
integriert ist.<br />
5.1.2 Stärken und Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens<br />
5.1.2.1 Stärken des Peer Review Verfahrens<br />
Das Peer Review Verfahren ist übergreifend akzeptiert und wird als Verfahren zur Erkennung ‚blinder<br />
Flecken‘ betrachtet. Übergreifend kann unter dem erweiterten Qualitätsteam eine hohe Zufriedenheit<br />
und Identifikation mit der externen Evaluation festgestellt werden, speziell bei der Vorbereitungsphase,<br />
dem Peer Besuch sowie bei dem Peer Review Bericht. So wurden Verantwortlichkeiten für<br />
die Organisation des Verfahrens definiert, der Selbstbericht anhand eines strukturierten Verfahrens<br />
erstellt und die Agenda mit den Peers abgestimmt. Vor allem die positive Beurteilung des Peer<br />
Besuchs, insbesondere die richtige Wiedergabe von Stärken und Schwächen der Schule, bescheinigt<br />
eine kompetente und urteilsfähige Arbeit der Peers. Von Seiten des erweiterten Qualitätsteams<br />
wird ein mittlerer bis hoher Nutzen durch das Peer Review bestätigt. Schließlich wurden 70 % der<br />
schulischen Innovationen, basierend auf dem Peer Review, erfolgreich adaptiert.<br />
5.1.2.2 Konzeptionelle Weiterentwicklungsmöglichkeiten des Peer Review Verfahrens<br />
Im Allgemeinen sollte während des gesamten Verfahrens eine offene, transparente und intensive<br />
Informationspolitik betrieben werden, die für die Wirksamkeit des Peer Reviews, insbesondere für<br />
die Akzeptanz des Verfahrens und einer motivierenden Umsetzung von Innovationen, von essentieller<br />
Bedeutung ist. In einem Workshop im März diesen Jahres „[...] wurde deutlich, dass Peer Review [...]<br />
nicht ohne Einsatz des Kollegiums umgesetzt werden kann“ (Vormfenne, 2011, S. 7).<br />
Die Kopplung des Peer Reviews an die Qualitätsbereiche im Sinne einer notwendigen Begutachtung<br />
des Kerngeschäfts wurde von den beteiligten Pilotschulen einschränkend wahrgenommen, da<br />
gerade auf der Basis einer externen Evaluation Innovationen beurteilt und dadurch weiter intensiviert<br />
werden sollen. Der notwendige Bezug zur Unterrichtsentwicklung wurde eingrenzend empfunden.<br />
Aus diesem Grund wurde der Wunsch geäußert, diese Eingrenzung zu entschärfen. Im Rahmen<br />
weiterer Durchführung von Peer Reviews wird angeraten, vorab eine umfassende Implementierung
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
des Qualitätsmanagementsystems QIBB zu prüfen, um als Folge der Definition von Zielen und Prozessen<br />
sowie auf der Basis einer Selbstevaluation ein externes Verfahren durchzuführen zu können.<br />
Folglich sollte zu Beginn eine Qualitätsarbeit in einzelnen Ausschüssen, wie beispielsweise einer<br />
Steuergruppe und weiteren Projektteams, anlaufen und die Konzeption von Qualitätsroutinen durch<br />
eine Verfolgung von Jahreszielen initiiert werden, da die Vermutung besteht, „[...] dass eine externe<br />
Evaluation ohne vorangegangene interne Evaluation eher sachlogische Nachteile hat. Internationale<br />
Erfahrungen zeigen, dass die Anschlussfähigkeit der Evaluationsergebnisse erhöht werden kann,<br />
wenn die externe Schulevaluation an eine vorangegangene schulinterne Evaluation anschließt“<br />
(Brägger et al., 2005, S. 72 f.). Darüber hinaus könnte die Struktur des Qualitätsmanagementsystems,<br />
insbesondere in der Rolle des Schulqualitätsprozessmanagers, weiter ausdifferenziert bzw.<br />
stabilisiert werden, um eine offizielle Linie zu erhalten.<br />
Pilotverfahren, die in einem engen Zeitschema durchzuführen sind, sollten vermieden werden bzw.<br />
in der Auswertung der Ergebnisse berücksichtigt werden, da eine vorangehende Selbstevaluation<br />
mit einer umfassenden Stärken-/Schwächenanalyse notwendig ist, um nach dem Peer Review einen<br />
Soll-Ist-Vergleich durchführen zu können. Für die Durchführung von Peer Review Verfahren sollte,<br />
auf der Basis des schulinternen Vorgehensweise, ausreichend Zeit, insbesondere während der<br />
Begehung, zur Verfügung gestellt werden. Darüber hinaus sollte die Datenerhebung im Zuge der<br />
externen Evaluation online-basiert durchgeführt werden. Bei einer Follow-up-Evaluation könnte, mit<br />
geringem Aufwand, auf vorliegende Daten zurückgegriffen werden, um eine Qualitätsentwicklung<br />
feststellen zu können.<br />
Für die Qualitätsarbeit der Bildungseinrichtungen, insbesondere für die Umsetzung der Ergebnisse<br />
des Peer Reviews, sollten eine ausreichende Anzahl von Werteinheiten vergütet werden, da für eine<br />
wirksame Umsetzung von Verbesserungsmaßnahmen teilweise erhebliche Ressourcen erforderlich<br />
sind. Letztendlich ergibt sich die Wirksamkeit von externen Evaluationen auf die Initiierung von<br />
Folgeschritten nach der Evaluation. Gerade aus diesem Grund sollte in der Phase 4, der Umsetzung<br />
von Maßnahmen, Ressourcen bereitgestellt werden, da die Planung notwendiger Folgemaßnahmen<br />
von der evaluierten Bildungseinrichtung ein hohes Maß an Zeit und damit auch an finanziellen<br />
Mitteln erfordert (Schweizerische Konferenz der kantonalen Erziehungsdirektoren, 2008, S. 22).<br />
Eine Gewährleistung ausreichender Werteinheiten ist auch auf die Peers zu übertragen, indem eine<br />
angemessene Vergütung gewährt werden sollte.<br />
5.1.3 Empfehlungen zur Weiterentwicklung für die teilnehmenden Schulen<br />
Im Rahmen der Erhebung schulinterner Innovationen wurde festgestellt, dass 70 % aller Maßnahmen<br />
erfolgreich umgesetzt wurden und somit von Seiten des Kollegiums Anwendung finden. Weitere<br />
Verhaltensänderungen können nur auf der emotionalen Ebene über die Stages of Concern, dem Grad<br />
der Betroffenheit, gesteuert werden, da sich Reaktionen aus den Einstellungen und Gefühlen der<br />
Personen ergeben und diesbezügliche Anpassungen nur von einem Beteiligten selbst verwirklicht<br />
werden können. Aus diesem Grund werden die Stufen für Interventionsmöglichkeiten bezüglich<br />
jeder Adaption unterbreitet, um neben einer tatsächlichen Anwendung der Maßnahmen weitere<br />
157
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
158<br />
Verhaltensänderungen implizieren zu können und schließlich eine Optimierung der Innovation auf<br />
persönlicher und organisationaler Ebene zu erzielen. In Kapitel 3.2.2.3.2.2.3 werden verschiedene<br />
Möglichkeiten von Interventionen auf den verschiedenen Ebenen vorgestellt. Es liegt im Aufgabenbereich<br />
der Schulleitung, individuelle Interventionsmöglichkeiten umzusetzen, um die beteiligten<br />
Lehrkräfte weiter zu fördern. Anhand der ermittelten Stages of Concern werden für eine weitere<br />
Qualitätsarbeit in der folgenden Tabelle die Stufen empfohlen, die den Großteil des Kollegiums<br />
betreffen. Jede Zelle der Tabelle gibt darüber Aufschluss, auf welcher Stufe Interventionen für die<br />
einzelnen Maßnahmen einer Schule erfolgen sollten. Anhand der Verteilung des Kollegiums werden<br />
unter Umständen zwei Entwicklungsfelder dargelegt, wobei eine stufenweise Entwicklung von Stufe<br />
0 nach Stufe 6 empfohlen wird.<br />
Tabelle 16: Interventionsmöglichkeiten der einzelnen Schulen<br />
Maßnahme / Schule A B C D E F G<br />
Maßnahme 1 4 2 3 / 5 3 / 4 4 / 5 1 / 2 1 / 2<br />
Maßnahme 2 2 2 2 2 / 3 2 / 4 1 / 2 0 / 2<br />
Maßnahme 3 3 1 / 2 3 3 3 2 / 3<br />
5.2 Weitere Empfehlungen zur Gestaltung externer Evaluationen<br />
5.2.1 Allgemeine Empfehlungen zur Gestaltung externer Evaluationen aufgrund der<br />
Erfahrungen aus dem Peer Review<br />
Die Ergebnisse der vorliegenden Erhebung geben Hinweise, wie die Wirksamkeit externer Evaluationen<br />
erhöht werden können. Die Vorschläge, die im Folgenden erläutert werden, beziehen sich primär<br />
auf die Konzeption bzw. Gestaltung der Verfahren.<br />
Die vorliegende Studie zeigt, dass bezüglich der Durchführung externer Evaluationen eine hohe<br />
Partizipation und Integration aller Lehrkräfte angestrebt werden sollte (vgl. 2.4.3), da dies sowohl<br />
zur Akzeptanz des Verfahrens als auch zu einer höheren Bereitschaft für eine Umsetzung von Veränderungen<br />
führt, wobei die Implementierung von Innovationsmaßnahmen letztendlich auch den<br />
Ausgangspunkt für eine Wirksamkeit darstellen. Darüber hinaus bewirken eine offene und transparente<br />
Informationspolitik zu den einzelnen Phasen des Verfahrens eine höhere Identifikation mit der<br />
externen Evaluation. Dieser Aspekt wurde auch bereits von bräGGer als Faktor ermittelt, der zu einer<br />
Erhöhung der Wirksamkeit von Evaluationen beiträgt (vgl. 2.4.3). Ferner ist bezüglich der Evaluationsinhalte<br />
eine Auswahl von Wahlmöglichkeiten zu gewährleisten, um den Bildungseinrichtungen<br />
eigene Gestaltungsspielräume bei der Durchführung der externen Evaluation zu ermöglichen und<br />
eine Anerkennung des Verfahrens zu stärken. Auch die Gewährleistung eines ausreichenden Zeitfensters<br />
ist mit Blick auf die Qualität der einzelnen Komponenten, wie beispielsweise die Erstellung<br />
des Selbstberichts, die Durchführung des Schulbesuchs sowie die Vorbereitung des Feedbacks, zu<br />
berücksichtigen. Übergreifend sollte eine anwendungsbezogene Gestaltungsweise des Verfahrens
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
praktiziert werden, um das Engagement der beteiligten Personen auf die externe Evaluation zu<br />
fokussieren. Eine individuelle Abstimmung relevanter Fristen sollte einen reibungslosen Ablauf des<br />
Verfahrens ermöglichen.<br />
In Kapitel 2.2.3.3 sind die einzelnen Phasen externer Evaluationen erläutert. Anhand dieser Einteilungen<br />
werden im Folgenden Änderungsvorschläge mit Blick auf eine Erhöhung der Wirksamkeit<br />
unterbreitet:<br />
• Vorbereitungsphase: Die Aspekte der Definition von Evaluationsinhalten, die Auswahl der EvaluatorInnen<br />
sowie die Festsetzung der Personen, die an der anschließenden Fremdbewertung<br />
integriert sind, sollten unter Integration und Partizipation des Lehrerkollegiums erfolgen<br />
• Selbstbewertung: Analog der Auswahl von Schwerpunkten für die externe Evaluation sollte die<br />
Gestaltung des relevanten Selbstberichts erfolgen<br />
• Fremdbewertung: Während des Schulbesuchs sollten alle Lehrkräfte in Kontakt mit den EvaluatorInnen<br />
treten, beispielsweise im Rahmen einer kurzen Vorstellungsrunde während einer<br />
anberaumten Begrüßung; erste Ergebnisse sollten bereits am Ende des Schulbesuchs durch<br />
die EvaluatorInnen während einer Lehrerkonferenz an das gesamte Kollegium kommuniziert<br />
werden, die im Anschluss weiter zu diskutieren sind<br />
• Feedback: Die evaluierte Bildungseinrichtung sollte die Möglichkeit erhalten, zu den Ergebnissen<br />
der Fremdbewertung Stellung zu nehmen, um Unklarheiten oder Falschaussagen zu<br />
korrigieren<br />
• Nachbereitung: Dem gesamte Lehrerkollegium und allen weiteren beteiligten Personen sollte<br />
eine freie Zugänglichkeit zum Evaluationsbericht gewährleistet werden, um eine hohe Verbreitung<br />
der Ergebnisse erzielen zu können; anschließende Verbesserungsmaßnahmen sind, je<br />
nach Einstellung der Schule, anhand der Impulse von EvaluatorInnen oder interner Personen<br />
zu erarbeiten; dabei sind konkrete Maßnahmen bzw. Projekte abzuleiten; bei der Konzeption<br />
nachfolgender Schritte ist eine hohe Transparenz, eine Integration des Kollegiums sowie eine<br />
Nutzung bisheriger Schulentwicklungsstrukturen zu gewährleisten; dabei sollten Unterstützungsmöglichkeiten<br />
sichergestellt werden; die Verarbeitung der Evaluationsergebnisse sollte<br />
durch den Einsatz eines professionellen Projektmanagements und detaillierter Instrumente<br />
erfolgen. „Projektmanagement ist ein ganzheitliches Werkzeug, das Instrumente zur Planung<br />
und Durchführung bereitstellt. Ein Vorhaben durchläuft demnach mehrere Phasen: Vorplanung,<br />
Detailplanung, Durchführung, <strong>Dokument</strong>ation und Evaluation. Während dieser Phasen ist ein<br />
Kernteam dafür verantwortlich, dass die notwendigen Aufgaben der Planung, Koordinierung,<br />
Überwachung, Änderung etc. wahrgenommen werden und dass festgelegte Schriftstücke [...]<br />
erstellt werden“ (Bülow-Schramm, 2006, S. 67).<br />
Mit Blick auf die Erweiterung bisher definierter Verfahrensschritte ist eine weitere Evaluation in<br />
interner oder externer Form (vgl. 2.2.2.2) anzudenken, um erzielte Qualitätserhöhungen feststellen zu<br />
können. Die folgende Abbildung verbildlicht die Aspekte, die zur Erhöhung der Wirksamkeit externer<br />
Evaluationen beitragen können:<br />
159
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
160<br />
Abbildung 34: Allgemeine Empfehlungen für die Durchführung externer Evaluationen zur Erhöhung<br />
von Wirksamkeit<br />
Hinsichtlich der Effekte externer Evaluationen unterscheidet lanDWehr zwischen dem Begriff der<br />
Wirkung im Sinne von beabsichtigten und unbeabsichtigten Effekten, die durch Schulevaluation<br />
generiert werden sowie der Wirksamkeit, eine „Eigenschaft/Fähigkeit von bestimmten Faktoren bzw.<br />
Massnahmen, die beabsichtigen Wirkungen auch tatsächlich hervorzurufen“ (Landwehr, 2011, S. 36)<br />
(vgl. 2.4.1). Die in der vorangehenden Abbildung genannten Empfehlungen bilden die Basis für eine<br />
hohe Wirksamkeit externer Evaluationen.<br />
5.2.2 Spezielle Empfehlungen zur Gestaltung externer Evaluationen aufgrund der<br />
Übertragung der Ergebnisse aus dem Peer Review<br />
5.2.2.1 Methodik der Übertragung auf Basis der vorliegenden Ergebnisse<br />
Auf der Basis der abgeleiteten Empfehlungen für das Peer Review Verfahren stellte sich die Frage,<br />
ob die ermittelten Konsequenzen auch auf andere externe Evaluationen übertragen werden können.<br />
Um dies zu beantworten, wurde eine kriterienorientierte Gegenüberstellung externer Evaluationen
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
vorgenommen, um die unterschiedlichen Konzeptionen mit dem vorliegenden Untersuchungsgegen-<br />
stand bzw. anhand der entwickelten Wirksamkeitsaspekte zu vergleichen und anschließend weitere<br />
Gestaltungsvorschläge ableiten zu können.<br />
Ein umfassender Vergleich von externen Evaluationen wurde bereits im Jahr 2008 von Döbert, rürup<br />
& DeDerinG vorgenommen, der sich auf „[...] Aspekte der Institutionalisierung und Ausstattung sowie<br />
des Arbeitsstandes und des konkreten Verfahrens des Steuerungsinstruments in den Ländern<br />
[bezieht]“ (Döbert et al., 2008, S. 130). In der vorliegenden Studie wurden österreichische Bildungseinrichtungen,<br />
die am Pilotversuch zur Implementierung des European Peer Review teilnahmen (vgl.<br />
2.3.2.5), hinsichtlich der Wirksamkeit externer Evaluationen untersucht. Diese Erkenntnisse bildeten<br />
die Basis für die Entwicklung von Faktoren, die zu einer Erhöhung der Wirksamkeit externer Evaluationen<br />
beitragen können (vgl. 5.2.1). Die Entwicklung eines Kriterienschemas zum Vergleich externer<br />
Evaluationen bezieht sich zunächst auf die Konzeption der Verfahren, um nicht nur einen allgemeinen<br />
Überblick, sondern primär eine Einteilung der Systeme vornehmen zu können, da die erarbeiteten<br />
Empfehlungen aus der Analyse des Peer Review Verfahrens nur unverändert auf die Evaluationen<br />
übertragen werden können, die einer ähnlichen Konzeption zu Grunde liegen.<br />
Aus diesem Grund bezieht sich die erste Kategorie auf ‚allgemeine Informationen zur Konzeption der<br />
externen Evaluation‘, in dem neben der (1) Bezeichnung der (2) Hintergrund des Verfahrens erfasst<br />
wird, das als Audit, Peer Review, Schulberatung oder Schulinspektion erfolgen kann (vgl. 2.2.3.2).<br />
Weitere Kriterien bilden die (3) Ebene des Verfahrens, die sich auf eine Primär- bzw. Metaevaluation<br />
bezieht (vgl. 2.2.3.4), sowie der (4) Wirkungsbereich, der sich auf die Erkenntnisgewinnung,<br />
Schulentwicklung, Rechenschaftslegung oder Normendurchsetzung beziehen kann (vgl. 2.2.3.5).<br />
Schließlich beschreibt der (5) Referenzrahmen (vgl. 2.2.3.6) Qualitätsansprüche, die der externen<br />
Evaluation zugrunde liegen. Liegt einer externen Evaluation ein Referenzrahmen zugrunde, wird von<br />
einer kriteriengeleiteten in anderen Fällen von einer beobachtend-beschreibenden bzw. explorativen<br />
Evaluation gesprochen. Der Abschluss von (6) Zielvereinbarungen nach der externen Evaluation<br />
mit der Schulaufsicht ist dabei ein weiterer Indikator für die Funktion der Rechenschaftslegung und<br />
ermöglicht somit Rückschlüsse auf die Konzeption sowie die Durchführung des Verfahrens.<br />
Die Entwicklung weiterer Kriterien bezieht sich auf die Aspekte, die innerhalb der vorliegenden<br />
Wirksamkeitsanalyse erarbeitet wurden und mit Blick auf die Nachhaltigkeit externer Evaluationen<br />
als zentrales Kriterium erachtet werden. So erfasst die zweite Kategorie ‚Kommunikation und Partizipation<br />
des Kollegiums‘ die Personengruppe, die eine (7) Auswahl der Evaluationsschwerpunkte/<br />
-themen und eine (8) Auswahl der EvaluatorInnen übernimmt. Darüber hinaus bezieht sich der Vergleich<br />
auf das Kriterium der (9) Information des Kollegiums. Die dritte Kategorie bezieht sich auf<br />
die ‚Nachbereitung des Verfahrens‘, da diese Phase den Fokus der vorliegenden Analyse darstellt<br />
und die Interpretation von Evaluationsergebnissen sowie die damit verbundene Umsetzung von<br />
Maßnahmen eine der größten Herausforderungen für Bildungseinrichtungen darstellt, aber mit Blick<br />
auf die Qualitätsverbesserung von Schulen einen zentralen Punkt für die Wirksamkeit des Verfahrens<br />
bedeutet. Teilweise werden hier auch Aspekte der Kommunikation integriert, die aber explizit der<br />
Nachbereitung des Verfahrens zugeordnet werden können und deshalb in diese Kategorie gruppiert<br />
werden. Die Kriterien des dritten Bereichs beziehen sich darauf, vor welcher Personengruppe die<br />
161
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
162<br />
(10) Vorstellung der Ergebnisse erfolgt und ob eine (11) Diskussion der Ergebnisse im Kollegium<br />
vorgesehen ist. Weitere Kriterien beziehen sich auf den Entscheidungsbereich hinsichtlich der (12)<br />
Ableitung von Maßnahmen sowie die Beabsichtigung einer (13) Evaluation der Maßnahmen. Schließlich<br />
bildet die Frage bezüglich des Erhaltens von (14) Unterstützung nach der externen Evaluation den<br />
Abschluss des Vergleichs der externen Evaluationen.<br />
5.2.2.2 Kriterienorientierte Gegenüberstellung externer Evaluationen in der BRD und in<br />
ausgewählten Systemen<br />
Allgemeine Informationen zur Konzeption der externen Evaluation<br />
Land/<br />
Bundesland<br />
bzw. Region<br />
(1)<br />
Bezeichnung<br />
Schweiz 1 Externe<br />
Evaluation<br />
in Q2E<br />
Österreich 2 Peer Review<br />
in QIBB<br />
Baden-<br />
Württemberg<br />
3<br />
Bayern<br />
(Staat) 4<br />
Fremdevaluation<br />
an<br />
beruflichen<br />
Schulen in<br />
Baden-<br />
Württemberg<br />
Externe<br />
Evaluation<br />
an Bayerns<br />
Schulen<br />
(2)<br />
Hintergrund<br />
Peer<br />
Review<br />
Peer<br />
Review<br />
Schulinspektion<br />
(inkl.<br />
kritischem<br />
Freund)<br />
Schulinspektion<br />
(3)<br />
Ebene<br />
Ausgewählte Systeme<br />
Metaevaluation<br />
mit<br />
Primärevaluation<br />
Primärevaluation,Metaevaluation<br />
möglich<br />
Deutschland<br />
Metaevaluation<br />
Primärevaluation<br />
(4)<br />
Wirkungsbereich<br />
Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />
Erkenntnisgewinnung,Schulentwicklung<br />
Schulentwicklung,Rechenschaftslegung<br />
Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />
(5)<br />
Referenzrahmen<br />
(6)<br />
Zielvereinbarungen<br />
ja ja, in<br />
jährlichen<br />
Reporting-/<br />
Controllinggesprächen<br />
mit der<br />
kantonalen<br />
Amtsstelle<br />
ja nicht<br />
verpflichtend,<br />
entscheidet<br />
die Schule<br />
ja ja<br />
ja ja
Land/<br />
Bundesland<br />
bzw. Region<br />
Bayern<br />
(Nürnberg) 5<br />
(1)<br />
Bezeichnung<br />
Externe<br />
Evaluation<br />
im<br />
Nürnberger<br />
Qualitätsmanagementsystem<br />
Berlin 6 Berliner<br />
Schulinspektion<br />
Brandenburg<br />
7<br />
Schulvisitation<br />
im Land<br />
Brandenburg<br />
Bremen 8 Externe<br />
Evaluation<br />
an Bremer<br />
Schulen<br />
Hamburg 9 Schulinspektion<br />
Hamburg<br />
Hessen 10 Schulinspektion<br />
Mecklenburg-Vorpommern<br />
11<br />
Niedersachsen<br />
12<br />
externe<br />
Qualitätsanalyse<br />
bzw.<br />
externe<br />
Evaluation<br />
Schulinspektion<br />
in<br />
Niedersachsen<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
(2)<br />
Hintergrund<br />
Peer<br />
Review<br />
Schulinspektion<br />
Schulinspektion <br />
Schulinspektion<br />
Schulinspektion<br />
Schulinspektion<br />
Schulinspektion<br />
Schulinspektion<br />
(3)<br />
Ebene<br />
Meta-<br />
Evaluation;<br />
Primärevaluation<br />
in einzelnen<br />
Bereichen<br />
möglich<br />
Primärevaluation<br />
Primärevaluation<br />
Primärevaluation<br />
Primärevaluation<br />
Primärevaluation<br />
Primärevaluation<br />
Primärevaluation<br />
(4)<br />
Wirkungsbereich<br />
Erkenntnisgewinnung,Schulentwicklung<br />
Erkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinnung,Schulentwicklung,RechenschaftslegungErkenntnisgewinn,Schulentwicklung,RechenschaftslegungSchulentwicklung,Rechenschaftslegung <br />
Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />
(5)<br />
Referenzrahmen<br />
nein nein<br />
ja ja<br />
(6)<br />
Zielvereinbarungen<br />
ja bei<br />
Schulen mit<br />
erheblichem<br />
Entwicklungsbedarf<br />
ja ja<br />
ja ja<br />
ja ja<br />
ja ja<br />
ja ja, vor allem<br />
bei „Schulen<br />
unter<br />
Standard“<br />
163
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
164<br />
Land/<br />
Bundesland<br />
bzw. Region<br />
Nordrhein-<br />
Westfalen 13<br />
Rheinland-<br />
Pfalz 14<br />
(1)<br />
Bezeichnung<br />
Qualitätsanalyse<br />
Nordrhein-<br />
Westfalen<br />
Externe<br />
Evaluation<br />
Saarland 15 Qualitätssicherung<br />
durch<br />
externe<br />
Evaluation<br />
Sachsen 16 Externe<br />
Evaluation<br />
Sachsen-<br />
Anhalt 17<br />
Schleswig-<br />
Holstein 18<br />
Externe<br />
Evaluation<br />
Externe<br />
Evaluation<br />
im Team –<br />
EVIT<br />
Thüringen 19 Externe<br />
Evaluation<br />
(2)<br />
HintergrundSchulinspektion<br />
Schulinspektion<br />
(3)<br />
Ebene<br />
Primärevaluation<br />
Primärevaluation<br />
Audit Metaevaluation <br />
Schulinspektion<br />
Schulinspektion<br />
Schulinspektion<br />
(inkl.<br />
kritischem<br />
Freund)<br />
Schulinspektion <br />
Primärevaluation<br />
Primärevaluation <br />
Primärevaluation <br />
Primärevaluation<br />
(4)<br />
WirkungsbereichErkenntnisgewinn,Schulentwicklung,<br />
Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />
Erkenntnisgewinnung,Schulentwicklung<br />
Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />
Schulentwicklung,Rechenschaftslegung<br />
Erkenntnisgewinnung,Schulentwicklung,Rechenschaftslegung<br />
Schulentwicklung,Rechenschaftslegung<br />
(5)<br />
Referenzrahmen<br />
ja ja<br />
ja ja<br />
ja nein<br />
ja ja<br />
ja ja<br />
ja ja<br />
ja ja<br />
(6)<br />
Zielvereinbarungen
Land/<br />
Bundesland<br />
bzw. Region<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Kommunikation und Partizipation des Kollegiums<br />
(7)<br />
Auswahl der Evaluationsschwerpunkte/<br />
-themen<br />
Schweiz 20 teils vorgegebene<br />
Qualitätsbereiche, teils<br />
freie Entscheidung der<br />
Schule<br />
Österreich 21 teils vorgegebene<br />
Qualitätsbereiche, teils<br />
freie Entscheidung der<br />
Schule<br />
Baden-<br />
Württemberg 22<br />
Bayern<br />
(Staat) 23<br />
Bayern<br />
(Nürnberg) 24<br />
Landesinstitut für<br />
Schulentwicklung<br />
4 Qualitätsbereiche im<br />
Leitfaden bereits vorgegeben<br />
(Untergliederung in<br />
16 Teilbereiche)<br />
(8)<br />
Auswahl der EvaluatorInnen<br />
Ausgewählte Systeme<br />
drei Personen wählt<br />
das Institut für Schulentwicklung<br />
auf der<br />
Sekundarstufe II (IFES),<br />
ein Peer wird durch die<br />
Schule bestimmt<br />
durch die Schule aus<br />
Pool an EvaluatorInnen<br />
Deutschland<br />
Landesinstitut für<br />
Schulentwicklung,<br />
kritischer Freund von<br />
Schule benannt<br />
Schulaufsicht und<br />
Qualitätsagentur<br />
Schule Lehrstuhl für Wirtschaftspädagogik<br />
&<br />
Personalentwicklung,<br />
Nürnberg in Abstimmung<br />
mit der Schule<br />
Berlin 25 6 Qualitätsbereiche<br />
festgelegt im „HandlungsrahmenSchulqualität<br />
in Berlin“ mit<br />
19 Qualitätsmerkmalen<br />
vorgegeben<br />
Referat Berliner<br />
Schulinspektion, EvaluationsberaterInnen<br />
durch<br />
die Schule wählbar<br />
(9)<br />
Information des<br />
Kollegiums<br />
Konferenz<br />
Entscheidungsbereich<br />
der Schule<br />
Vorbereitungsgespräch<br />
mit der Schule<br />
Konferenz<br />
Konferenz<br />
Vorbesprechung zwischen<br />
Inspektionsteam<br />
und Einzelpersonen<br />
vorgesehen<br />
165
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
166<br />
Land/<br />
Bundesland<br />
bzw. Region<br />
(7)<br />
Auswahl der Evaluationsschwerpunkte/<br />
-themen<br />
Brandenburg 26 teils vorgegebene<br />
Qualitätsbereiche, teils<br />
freie Entscheidung der<br />
Schule<br />
Bremen 27 teils vorgegebene<br />
Qualitätsbereiche, teils<br />
freie Entscheidung der<br />
Schule<br />
Hamburg 28 fixiert durch<br />
„Orientierungs-rahmen<br />
Schulqualität“<br />
Hessen 29 durch „Hessischen<br />
Referenzrahmen<br />
Schulqualität“ vorgegeben,<br />
Profilschwerpunkte<br />
möglich<br />
Mecklenburg-<br />
Vorpommern 30<br />
Niedersachsen31<br />
Nordrhein-<br />
Westfalen 32<br />
Rheinland-<br />
Pfalz33 durch Referenzrahmen<br />
festgelegt<br />
durch Qualitätsprofil<br />
festgelegt<br />
durch Qualitätstableau<br />
festgelegt<br />
durch Orientierungsrahmen<br />
Schulqualität<br />
festgelegt<br />
Saarland 34 im Rahmen der DIN EN<br />
ISO festgelegt<br />
(8)<br />
Auswahl der EvaluatorInnen<br />
Ministerium für Bildung,<br />
Jugend und Sport<br />
Evaluationsteam<br />
(2 EvaluatorInnen,<br />
2 Peers) werden aus<br />
Pool von freiberufliche<br />
EvaluatorInnen durch die<br />
zuständige Referentin bei<br />
der Senatorin für Bildung<br />
zugeteilt, Schule hat bei<br />
Peers Veto-Recht<br />
Team der Schulinspektion<br />
Hamburg<br />
Institut für Qualitätsentwicklung<br />
(9)<br />
Information des<br />
Kollegiums<br />
Vorbesprechung<br />
zwischen Einzelpersonen<br />
vorgesehen<br />
durch die Schulleitung<br />
Vorbereitungstreffen mit<br />
Schulleitung und weiteren<br />
Personen vorgesehen<br />
durch die Schulleitung, im<br />
Rahmen der Vorstellung<br />
und Information durch<br />
das Evaluationsteam<br />
Schulamtsbezirk im Rahmen der Vorstellung<br />
und Information<br />
durch das Evaluationsteam<br />
Niedersächsische durch die Schulleitung<br />
Schulinspektion (NSchI)<br />
durch jeweilige Dezernate durch das Qualitätsteam<br />
Agentur für Qualitätssicherung,<br />
Evaluation und<br />
Selbstständigkeit von<br />
Schulen (AQS)<br />
Ministerium für Bildung<br />
wählt Zertifizierungsagenturen<br />
durch die Schulleitung,<br />
während des Vorbereitungsbesuchs<br />
und<br />
Information durch das<br />
AQS-Team im Rahmen<br />
einer Gesamtkonferenz<br />
im Rahmen einer<br />
Dienstbesprechung bzw.<br />
Aushängen
Land/<br />
Bundesland<br />
bzw. Region<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
(7)<br />
Auswahl der Evaluationsschwerpunkte/<br />
-themen<br />
Sachsen 35 durch Qualitätskriterien<br />
festgelegt<br />
Sachsen-<br />
Anhalt 36<br />
Schleswig-<br />
Holstein 37<br />
durch Qualitätsrahmen<br />
festgelegt<br />
durch Qualitätsbereiche<br />
festgelegt<br />
Thüringen 38 einerseits durch Qualitätsrahmen<br />
festgelegt,<br />
andererseits kann Schule<br />
Beobachtungsschwerpunkte<br />
festsetzen<br />
Land/<br />
Bundesland<br />
bzw. Region<br />
(10)<br />
Vorstellung<br />
der Ergebnisse<br />
Schweiz 39 Gesamtkollegium<br />
(8)<br />
Auswahl der EvaluatorInnen<br />
Sächsisches Bildungsinstitut,<br />
Abteilung IV: Externe<br />
Evaluation<br />
Kultusministerium<br />
Sachsen-Anhalt<br />
Evaluationsteam ist festgelegt,<br />
kritischer Freund<br />
ist von Schulleitung zu<br />
benennen<br />
Koordinierungsstelle<br />
(Kost EVAS)<br />
Nachbereitung des Verfahrens<br />
(11)<br />
Diskussion der<br />
Ergebnisse im<br />
Kollegium<br />
(12)<br />
Ableitung von<br />
Maßnahmen<br />
Ausgewählte Systeme<br />
die<br />
Schulleitung<br />
entscheidet<br />
über die<br />
interne<br />
Kommunikation<br />
und<br />
Verarbeitung<br />
der Evaluationsergebnisse<br />
durch die<br />
Schule in<br />
Absprache mit<br />
der kantonalen<br />
Amtsstelle<br />
(9)<br />
Information des<br />
Kollegiums<br />
durch die Kontaktgruppe,<br />
die aus Schulleitung und<br />
vier bis sechs Lehrkräften<br />
besteht<br />
ein Teil des Kollegiums<br />
wird im Rahmen einer<br />
Vorstellung der EvaluatorInnen<br />
informiert, weitere<br />
Informationen erfolgen<br />
über die Schulleitung<br />
durch EVIT-BS-<br />
Schulteam (internes<br />
einberufenes Team)<br />
Schulleitung trifft die<br />
Entscheidung, ob sich<br />
das Expertenteam dem<br />
Kollegium oder der<br />
schulischen Vorbereitungsgruppe<br />
vorstellt<br />
(13)<br />
Evaluation der<br />
Maßnahmen<br />
liegt im<br />
Entscheidungsbereich<br />
der Schule<br />
(14)<br />
Unterstützung<br />
nach der<br />
externen<br />
Evaluation<br />
die Schulen<br />
verfügen über<br />
ein Globalbudget,<br />
in dessen<br />
Rahmen sie<br />
selbständig<br />
Gelder auch<br />
für externe<br />
Beratungen<br />
oder Projekte<br />
einsetzen<br />
können<br />
167
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
168<br />
Land/<br />
Bundesland<br />
bzw. Region<br />
(10)<br />
Vorstellung<br />
der Ergebnisse<br />
Österreich 40 Feedbackpräsentation<br />
der<br />
Peers<br />
Baden-<br />
Württemberg 41<br />
Bayern<br />
(Staat) 42<br />
Bayern<br />
(Nürnberg) 43<br />
Gesamtkollegium<br />
(11)<br />
Diskussion der<br />
Ergebnisse im<br />
Kollegium<br />
(12)<br />
Ableitung von<br />
Maßnahmen<br />
empfohlen durch die<br />
Schule<br />
in Gesamtlehrerkonferenz<br />
Konferenz innerhalb<br />
von innerschulischen<br />
Gremien<br />
Deutschland<br />
durch die<br />
Schule in<br />
Gesamtlehrerkonferenz<br />
durch die<br />
Schulleitung<br />
und die<br />
Schulaufsicht<br />
Konferenz empfohlen durch die<br />
Schule<br />
(13)<br />
Evaluation der<br />
Maßnahmen<br />
Folgeevaluationen<br />
möglich,<br />
aber nicht vorgeschrieben<br />
Folgeevaluationen<br />
möglich,<br />
aber nicht vorgeschrieben<br />
durch interne<br />
Evaluation<br />
(14)<br />
Unterstützung<br />
nach der<br />
externen<br />
Evaluation<br />
teilweise im<br />
Rahmen der<br />
bestehenden<br />
Strukturen<br />
vorhanden,<br />
z. B.<br />
Schulentwicklungsberater<br />
durch das<br />
Regierungspräsidium<br />
im<br />
Rahmen von<br />
Workshops,<br />
Gespräche,<br />
Beratung und<br />
Prozessbegleitung<br />
durch die<br />
Schulaufsicht<br />
sowie durch<br />
verschiedene<br />
zentrale und<br />
regionale<br />
Unterstützungsstrukturen<br />
möglich<br />
empfohlen Pädagogisches<br />
Institut<br />
der Stadt<br />
Nürnberg
Land/<br />
Bundesland<br />
bzw. Region<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
(10)<br />
Vorstellung<br />
der Ergebnisse<br />
Berlin 44 mündliche<br />
Präsentation<br />
in Schulkonferenz<br />
Brandenburg 45 Rückmeldung<br />
vor einzelnen<br />
Personengruppen<br />
vorgesehen<br />
Bremen 46 Abschlussgespräche<br />
mit<br />
Schulleitung<br />
und Kollegium<br />
vorgesehen<br />
Hamburg 47 Schulleitung,<br />
auf Wunsch<br />
auch Schulöffentlichkeit<br />
Hessen 48 Auswertungsgespräch<br />
zwischen der<br />
Schule und<br />
den InspektorInnen<br />
(11)<br />
Diskussion der<br />
Ergebnisse im<br />
Kollegium<br />
Erörterung des<br />
Berichts durch<br />
das Inspektionsteam<br />
mit<br />
der Schulleitung,<br />
den<br />
Evaluationsberatern<br />
und<br />
der Schulkonferenz<br />
(12)<br />
Ableitung von<br />
Maßnahmen<br />
Maßnahmen<br />
nicht<br />
zwingend<br />
erforderlich<br />
empfohlen durch die<br />
Schule und die<br />
Schulaufsicht<br />
empfohlen:<br />
hohes Maß an<br />
Transparenz,<br />
gemeinsame<br />
Auswertung<br />
mit dem<br />
Kollegium<br />
im Rahmen<br />
der schulinternenAuseinandersetzung<br />
mit den<br />
Ergebnissen<br />
vorgesehen<br />
Auswertungs-<br />
bzw.<br />
Schulkonferenz<br />
unter<br />
Beteiligung<br />
der<br />
zuständigen<br />
Schulaufsicht<br />
vorgesehen<br />
durch die<br />
Schule<br />
durch die<br />
Schule in<br />
Absprache mit<br />
der Schulaufsicht<br />
durch die<br />
Schule und<br />
zuständiges<br />
Staatliches<br />
Schulamt<br />
(13)<br />
Evaluation der<br />
Maßnahmen<br />
(14)<br />
Unterstützung<br />
nach der<br />
externen<br />
Evaluation<br />
vorgesehen durch Schulaufsicht<br />
oder<br />
regionale Qualifizierungsangebote<br />
möglich, bei<br />
Schulen mit<br />
erheblichem<br />
Entwicklungsbedarf<br />
erfolgt<br />
Prozessbegleitung<br />
Schulen mit<br />
erheblichen<br />
Entwicklungsbedarfen<br />
erhalten eine<br />
Nachvisitation<br />
durch interne<br />
Evaluation<br />
Bilanzgespräch<br />
mit der<br />
Schulleitung<br />
nach einem<br />
Jahr<br />
Anschlussevaluation<br />
im<br />
Turnus von<br />
vier Jahren<br />
nach Wunsch<br />
der Schule<br />
durch die<br />
Schulaufsicht<br />
durch die<br />
Referentin bei<br />
der Senatorin<br />
für Bildung<br />
sowie einem<br />
Beratungspool<br />
durch die<br />
Schulaufsicht<br />
und die<br />
Agentur für<br />
Schulberatung<br />
Unterstützung<br />
ist durch<br />
Schulberater<br />
bzw. Schulamt<br />
vorgesehen<br />
169
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
170<br />
Land/<br />
Bundesland<br />
bzw. Region<br />
Mecklenburg-<br />
Vorpommern 49<br />
Niedersachsen<br />
50<br />
Nordrhein-<br />
Westfalen 51<br />
Rheinland-<br />
Pfalz 52<br />
(10)<br />
Vorstellung<br />
der Ergebnisse<br />
Weiterleitung<br />
des Berichts<br />
an die Schulkonferenz<br />
mündliche<br />
Rückmeldung<br />
durch das Inspektionsteam<br />
vor allen<br />
Beteiligten<br />
mündliche<br />
Rückmeldung<br />
durch das<br />
Qualitätsteam<br />
an die<br />
Schulleitung<br />
und das<br />
Kollegium<br />
durch AQS-<br />
Teamleitung<br />
bei Rückmeldebesuch<br />
im<br />
Rahmen einer<br />
Gesamtkonferenz<br />
Saarland 53 Abschlussbesprechung<br />
mit<br />
Schulleitung<br />
und QM-<br />
Beauftragte,<br />
weitere<br />
Beteiligte<br />
möglich<br />
(11)<br />
Diskussion der<br />
Ergebnisse im<br />
Kollegium<br />
in Schulkonferenz<br />
vorgesehen<br />
Weitergabe<br />
des Berichts<br />
an innerschulische<br />
Gremien<br />
vorgesehen<br />
in innerschulischen<br />
Gremien<br />
(12)<br />
Ableitung von<br />
Maßnahmen<br />
durch die<br />
Schulkonferenz<br />
durch die<br />
Schule<br />
durch die<br />
Schule<br />
vorgesehen durch die<br />
Schule mit<br />
Beschluss der<br />
Gesamtkonferenz<br />
Audit ist<br />
Tagesordnungspunkt<br />
der nächsten<br />
Dienstbesprechung<br />
durch die<br />
Schule<br />
(13)<br />
Evaluation der<br />
Maßnahmen<br />
(14)<br />
Unterstützung<br />
nach der<br />
externen<br />
Evaluation<br />
vorgesehen durch<br />
Schulräte,<br />
Fach- und<br />
Schulberater<br />
möglich<br />
Nachinspektion<br />
nach vier<br />
Jahren bei<br />
gravierenden<br />
Mängeln<br />
erneute Evaluation<br />
nach<br />
vier Jahren;<br />
Nachanalyse<br />
bei gravierenden<br />
Mängeln<br />
nach einem<br />
Jahr<br />
durch interne<br />
Evaluation<br />
durch interne<br />
Evaluation<br />
und nächstes<br />
externes Audit<br />
durch Landesschulbehörde<br />
möglich<br />
k. A.<br />
durch<br />
pädagogische<br />
Serviceeinrichtungen<br />
in<br />
Rheinland-<br />
Pfalz möglich<br />
durch das<br />
Ministerium<br />
für Bildung,<br />
den Schulträger<br />
und die<br />
Schulaufsicht
Land/<br />
Bundesland<br />
bzw. Region<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
(10)<br />
Vorstellung<br />
der Ergebnisse<br />
Sachsen 54 mediengestützte<br />
Präsentation<br />
vor allen<br />
beteiligten<br />
Personengruppen<br />
Sachsen-<br />
Anhalt 55<br />
Schleswig-<br />
Holstein 56<br />
im Rahmen<br />
eines<br />
Rückmeldebesuchs<br />
durch<br />
EvaluatorInnen<br />
Weiterleitung<br />
des EVIT-BS-<br />
Abschlussberichts<br />
durch<br />
Schulleitung in<br />
Konferenz<br />
Thüringen 57 mündliche,<br />
schriftliche<br />
Rückmeldung<br />
der Evaluationsergebnisse<br />
durch das<br />
Expertenteam<br />
an die Schule<br />
(11)<br />
Diskussion der<br />
Ergebnisse im<br />
Kollegium<br />
(12)<br />
Ableitung von<br />
Maßnahmen<br />
vorgesehen durch die<br />
Schule<br />
vorgesehen durch die<br />
Schule<br />
Weitergabe<br />
des Berichts<br />
vorgesehen<br />
Evaluationsergebnisse<br />
werden dem<br />
Kollegium<br />
mündlich in<br />
Rückmeldeveranstaltung<br />
vorgestellt,<br />
schriftlicher<br />
Bericht geht<br />
nur an die<br />
Schule<br />
durch die<br />
Schulleitung<br />
in Zusammenarbeit<br />
mit der<br />
Schulaufsicht<br />
durch die<br />
Schule<br />
(13)<br />
Evaluation der<br />
Maßnahmen<br />
interne<br />
Evaluation<br />
empfohlen;<br />
weitere<br />
externe<br />
Evaluation<br />
erfolgt nach<br />
fünf Jahren<br />
Folgeevaluationen<br />
im<br />
Turnus von<br />
fünf Jahren<br />
vorgesehen<br />
Anschlussevaluationen<br />
alle vier Jahre<br />
vorgesehen<br />
weitere<br />
externe<br />
Evaluation in<br />
ca. drei Jahren<br />
vorgesehen<br />
(14)<br />
Unterstützung<br />
nach der<br />
externen<br />
Evaluation<br />
durch<br />
Sächsische<br />
Bildungsagentur<br />
in Form<br />
von Prozessmoderatoren,<br />
verschiedene<br />
Trainer, etc.<br />
durch<br />
schulfachliche<br />
ReferentInnen<br />
Unterstützungssystem<br />
des Instituts<br />
für Qualitätsentwicklung<br />
an Schulen<br />
Schleswig-<br />
Holstein<br />
Unterstützungssystem<br />
des Schulamts<br />
als Qualitätsagentur<br />
171
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
172<br />
5.2.2.3 Gestaltungsvorschläge für externe Evaluationen in der BRD und in ausgewählten<br />
Systemen<br />
Auf der Basis einer kriterienorientierten Gegenüberstellung externer Evaluationen (vgl. 5.2.2.2) werden<br />
die verschiedenen Verfahren klassifiziert, da die speziellen Empfehlungen der vorliegenden<br />
Wirksamkeitsanalyse an den Pilotversuch des Peer Reviews in QIBB gerichtet sind und eine Übertragung<br />
dieser Vorschläge lediglich anhand gleichartiger Konzeptionen, vielmehr in Bezug auf eine<br />
identische Merkmalsausprägung möglich ist. Die Charakteristik der zugrundegelegten Verfahren<br />
ermöglicht eine dreiteilige Klassifizierung der externen Evaluationen, da die genannten Verfahren<br />
in Österreich, der Schweiz und in Nürnberg vor dem Hintergrund eines Peer Reviews durchgeführt<br />
werden. In Deutschland beziehen sich die Konzeptionen überwiegend auf eine Schulinspektion,<br />
die das zweite Cluster bildet. Die Ausnahme bildet hierbei das Bundesland Saarland, da hierbei die<br />
externe Evaluation als Audit abgewickelt wird und die dritte Gruppe bildet.<br />
Im Folgenden werden Empfehlungen für die Schweiz im Rahmen der externen Evaluation in Q2E<br />
sowie für die Evaluation auf der Basis des Nürnberger Qualitätsmanagements ausgesprochen, da<br />
diese Verfahren in die Kategorie ‚Peer Review Verfahren‘ gruppiert werden.<br />
Das Konzept der externen Evaluation in Q2E (vgl. 2.3.1.1.2.5) ermöglicht einer schulischen Organisation<br />
insofern Handlungsspielraum, da die Bildungseinrichtung Evaluationsthemen bzw.<br />
-schwerpunkte teilweise selbst festsetzen und die Akquirierung eines Peers übernehmen kann.<br />
Allerdings wird insoweit der Wirkungsbereich der Rechenschaftslegung integriert, da auf der<br />
Basis der Ergebnisse Zielvereinbarungen abgeleitet werden. Die eigentliche Schulaufsicht ist in<br />
vielen Kantonen abgeschafft. An ihre Stelle treten die externe Schulevaluation und die jährlichen<br />
Reporting-/Controllinggespräche der Schulleitung mit der zuständigen kantonalen Amtsstelle. In<br />
diesem Zusammenhang wird verbindlich festgelegt, welche Maßnahmen die Schulen aufgrund der<br />
Ergebnisse der externen Schulevaluation initiieren (Burri, 15.08.2011). Vor diesem Hintergrund kann<br />
auch ansatzweise der Aspekt der Schulinspektion festgestellt werden, da sich ein Peer Review<br />
grundsätzlich auf die Unterstützung von institutionellen Lernprozessen und nicht auf eine Kontrolle<br />
der Bildungseinrichtung bezieht (vgl. 2.2.3.2). Die externe Evaluation in Q2E wird in der Broschüre<br />
‚Grundlagen der externen Evaluation‘ von lanDWehr & Steiner ausführlich beschrieben. Detaillierte<br />
Informationen bezüglich der Auswahl der EvaluatorInnen, der Evaluation von Anschlussmaßnahmen<br />
bzw. vorhandener Unterstützungsstrukturen nach dem Verfahren werden dort nicht erwähnt. Aus<br />
diesem Grund wurden bei dem Institut für Externe Schulevaluation auf der Sekundarstufe II (IFES)<br />
weitere Angaben in Bezug auf die ausgewählten Kriterien eingeholt. Bei der weiteren Verarbeitung<br />
der Ergebnisse ist eine hohe Eigenverantwortung der Schule bzw. der Schulleitung zu erkennen, da<br />
diese über die interne Kommunikation und Verarbeitung der Evaluationsergebnisse sowie über die<br />
Evaluation der Anschlussmaßnahmen entscheidet. Darüber hinaus verfügt die Schule über ein Budget,<br />
nach der externen Evaluation Projekte zu initiieren oder externe Beratungen einzuholen (Burri,<br />
15.08.2011). Diese Aspekte verdeutlichen eine hohe Selbständigkeit der Bildungseinrichtung in Bezug<br />
auf die schulische Qualitätsarbeit sowie – im Vergleich zu Deutschland – eine verhältnismäßig autonome<br />
Position der Schulleitung. Diese Tatsache ist einerseits positiv zu beurteilen, da der Schule,<br />
vielmehr der Schulleitung ein hohes Maß an Steuerungsmöglichkeiten zugesprochen wird und ein
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
großer Spielraum bezüglich der Schulentwicklung vorliegt. Allerdings könnte sich die Schulleitung<br />
auch für eine Verarbeitung der Evaluationsergebnisse entscheiden, die eine Isolation des Kollegiums<br />
vorsieht. Aus diesem Grund sollten jedenfalls Empfehlungen für diesen Prozessschritt ausgesprochen<br />
werden, das Kollegium zu integrieren und ein hohes Maß an Transparenz anzustreben. Dieser<br />
Vorschlag bezieht sich auch auf den Aspekt der Evaluation von Anschlussmaßnahmen, da dieser<br />
im Entscheidungsbereich der Schule liegt und eine externe Folgeevaluation erst nach sechs Jahren<br />
vorgesehen ist. Hierbei wird aber die Schließung der Regelkreise des Qualitätsmanagements im<br />
Allgemeinen überprüft und nicht explizit die Maßnahmen der vorangehenden externen Schulevaluation<br />
untersucht. Aus diesem Grund wäre eine interne Erhebung bezüglich der initiieren Maßnahmen<br />
anzuraten. Die enge Verbindung zwischen der Qualität der Schulleitung und den damit verbundenen<br />
Einfluss auf das Qualitätsmanagement der Schule wurde bereits in Kapitel 2.3.1.1.3 näher erläutert,<br />
der durch die hohe Autonomie sowohl Chance als auch Risiko bedeuten kann, sofern eine fehlende<br />
Unterstützung und keine offene Kommunikation bzw. Integration des Kollegiums vorliegt.<br />
Die externe Evaluation im Nürnberger Qualitätsmanagementsystem (NQS-E; vgl. 2.3.1.3.2.5) ist vor<br />
dem Hintergrund eines Peer Reviews konzipiert, um Erkenntnisse über die Qualitätsarbeit und -level<br />
der Bildungseinrichtung zu gewinnen und die Schulentwicklung zu forcieren. Aus diesem Grund sind<br />
auch keine Zielvereinbarungen auf der Basis der Evaluationsergebnisse vorgesehen. Im Hinblick auf<br />
eine hohe Akzeptanz der EvaluatorInnen, die in direktem Zusammenhang mit der Anerkennung der<br />
Evaluationsergebnisse steht, wird die Entwicklung einer Datenbank angeraten, um der zu evaluierenden<br />
Schule die Möglichkeit einzuräumen, die Mitglieder des Evaluationsteams selbst auswählen<br />
zu können. NQS-E ist auf der Basis der zugrundeliegenden Schulentwicklungsfunktion dadurch<br />
gekennzeichnet, dass die Peers der Bildungseinrichtung Empfehlungen für die Beseitigung von<br />
Qualitätsdefiziten bzw. Gestaltung der weiteren Qualitätsarbeit unterbreiten. Diese werden innerhalb<br />
einer Lehrerkonferenz von Seiten eines Mitglieds des Evaluationsteams vorgestellt. Es wird empfohlen,<br />
die Vorschläge zur weiteren Schulentwicklung vor der Ergebnispräsentation mit der Schulleitung<br />
bzw. dem NQS-Team (vgl. 2.3.1.3.2.4) zu besprechen. Hierbei ist die Tatsache auszuschließen, dass<br />
Empfehlungen vorgeschlagen werden, die bereits angedacht, im Kollegium diskutiert und unter<br />
Begründung zurückgewiesen wurden, da sich diese im Schullalltag als nicht praktikabel erwiesen<br />
haben. Möglicherweise könnte diese Gegebenheit die Wertschätzung und Akzeptanz der Evaluationsergebnisse<br />
von Seiten der Lehrkräfte in Frage stellen (Müller, 12.12.2010). Nach dem Abschluss<br />
von NQS-E sollte eine Evaluation des Verfahrens sowie eine Befragung hinsichtlich der Zufriedenheit<br />
mit dem Evaluationsteam an der evaluierten Schule durchgeführt werden, um diesbezüglich eine<br />
Rückmeldung zu erhalten, die eine Weiterentwicklung und Optimierung der externen Evaluation,<br />
z. B. in Bezug auf einen reibungslosen Ablauf oder der Nützlichkeit von Ergebnissen, ermöglicht.<br />
Um NQS-E von den anderen externen Evaluationen in Deutschland abzugrenzen, die überwiegend<br />
vor dem Hintergrund der Schulinspektion erfolgen, wird eine Umbenennung des Verfahrens in ‚Peer<br />
Review in NQS‘ vorgeschlagen.<br />
Die zweite Kategorie bezieht sich auf den Hintergrund einer Schulinspektion, deren Konzeption – mit<br />
der Ausnahme des Bundeslandes Saarland – in Deutschland übergreifend gewählt wurde. In diesem<br />
Zusammenhang liegen bei den externen Evaluationen nahezu identische Ziele vor. Bereits DeDerinG<br />
& müller stellen fest, dass trotz der verschiedenen Konzepte externer Evaluationen Konsens im<br />
173
5. Empfehlungen zur Gestaltung externer Evaluationen<br />
174<br />
Hinblick auf die Ziele der Verfahren vorliegen (Dedering & Müller, 2010, S. 303). Diese Feststellung<br />
geht mit den Erfahrungen aus dem vorangehenden Vergleich externer Evaluationen einher, da hauptsächlich<br />
die Funktionen der Schulentwicklung- bzw. Erkenntnisgewinnung vorliegen. Mit Ausnahme<br />
des Bundeslandes Brandenburg kann übergreifend der Wirkungsbereich der Rechenschaftslegung<br />
bei den Konzepten externer Evaluationen in Deutschland festgestellt werden, da alle diese Verfahren<br />
die Basis für folgende Zielvereinbarungen bildet und dieses Kriterium in der vorliegenden Arbeit mit<br />
einem Kontrollmechanismus verbunden wird (vgl. 2.2.3.5). Die externen Verfahren sind Pflichtvisitationen<br />
der Schulaufsicht (vgl. 2.2.3.2) und durch deren ‚Überwachungsbedürfnis‘ gekennzeichnet.<br />
Dabei werden sog. InspektorInnen von der Schulaufsicht ausgewählt, um die Bildungseinrichtung<br />
zu visitieren. In den Bundesländern Baden-Württemberg und Schleswig-Holstein kann ein Ansatzpunkt<br />
aus dem Peer Review konstatiert werden, da ein kritischer Freund in das Evaluationsteam<br />
integriert ist. Die Konzeption einer Metaevaluation (vgl. 2.2.3.4) ist in Deutschland in den Bundesländern<br />
Baden-Württemberg und Saarland zu verzeichnen. Ansonsten finden externe Verfahren auf<br />
der Ebene einer Primärevaluation statt. Mit Blick auf eine übergreifende Qualitätserhöhung von<br />
Bildungseinrichtungen würde ein Wechsel zwischen Primär- und Metaevaluationen möglicherweise<br />
die optimale Gestaltungsform begründen, in dem beispielsweise initiierte Anschlussmaßnahmen an<br />
eine Metaevaluation nach gewissem Zeitabstand durch eine Primärevaluation untersucht werden. Im<br />
Gegensatz dazu könnte die Verankerung überarbeiteter Prozesse oder Strukturen und das Zusammenspiel<br />
innerhalb des Qualitätsmanagements durch eine Metaevaluation erfolgen.<br />
In Bezug auf eine anstehende Schulinspektion, die mit anschließenden Zielvereinbarungen und einer<br />
zugrundeliegenden Rechenschaftspflicht verbunden ist, erhöht sich der Druck auf die Bildungseinrichtung<br />
und deren Akteure, da die Ergebnisse mit unmittelbaren Konsequenzen verbunden sind<br />
und die InspektorInnen der Schule nicht wie im Peer Review auf gleicher Augenhöhe im Sinne<br />
von ‚kritischen Freunden‘ begegnen. Gerade vor dem Hintergrund sollte während des Verfahrens<br />
eine offene und transparente Informationspolitik verfolgt werden, um unter dem Kollegium mögliche<br />
Evaluationsängste und Anspannungen beseitigen zu können. Diese Aufgabe kann allerdings nicht<br />
von schulinternen Personen übernommen werden und sollte von Seiten der InspektorInnen erfolgen.<br />
Bezüglich der Auswahl der EvaluatorInnen sollte die zu evaluierende Einheit mehr Entscheidungsspielraum<br />
erhalten, in dem beispielsweise eine Person des Teams selbst ausgewählt werden kann,<br />
da dies zu einer höheren Akzeptanz des Verfahrens und somit auch zu einer größeren Anerkennung<br />
der Ergebnisse führt. Die externen Evaluationen in Deutschland haben die Funktion, in den Bildungseinrichtungen<br />
die Schulentwicklung zu forcieren. Aus diesem Grund liegt die Forderung nahe,<br />
den Schulen Gestaltungsspielräume bei der Auswahl der Evaluationsschwerpunkte bzw. -themen<br />
einzuräumen, damit spezielle Entwicklungsbereiche näher untersucht werden können.<br />
Im Hinblick auf die Phase der Nachbereitung des externen Verfahrens wird empfohlen, die Vorstellung<br />
der Evaluationsergebnisse in jedem Fall durch die InspektorInnen vor dem gesamten Kollegium<br />
zu gewährleisten und nicht nur ausgewählte Personen zu fokussieren, da dies die Wahrnehmung in<br />
Bezug auf die externe Rückmeldung erhöht und die Möglichkeit gewährleistet, Rückfragen zu stellen.<br />
Dies bietet wiederum die Gelegenheit, das Feedback unter allen Lehrkräften und am Verfahren beteiligten<br />
Personen zu diskutieren. Vor allem die Ableitung der Anschlussmaßnahmen sollte von einer
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Partizipation und Integration des Gesamtkollegiums gekennzeichnet sein, um die Bereitschaft für<br />
eine Umsetzung von Veränderungen zu erhöhen und Betroffene als Beteiligte in die Qualitätsarbeit zu<br />
integrieren. Eine Teilnahme der Schulaufsicht in diesem Prozessschritt ist ein weiteres Indiz für den<br />
zugrundeliegenden Kontrollgedanken des Verfahrens. Die Beschreibung der Evaluationsverfahren<br />
endet in den meisten Fällen damit, dass eine Evaluation der InspektorInnen erfolgt bzw. die Evaluationsergebnisse<br />
als Vorlage für die Schließung von Zielvereinbarungen dienen. Vor dem Aspekt einer<br />
systematischen Qualitätsentwicklung sollte am Ende des externen Verfahrens die Verarbeitung der<br />
Ergebnisse bzw. Ableitung von Folgeschritten anhand des PDCA-Kreislaufs erfolgen.<br />
Vorhandene Unterstützungsstrukturen bieten den Schulen nach der externen Evaluation die Möglichkeit,<br />
eine weitere Verarbeitung der Ergebnisse aufgrund der schulspezifischen Situation optimierend<br />
zu gestalten. Dies wird den Bildungseinrichtungen in Deutschland nicht flächendeckend<br />
bzw. teilweise durch die Schulaufsicht gewährt. Im letzteren Fall liegt wieder das hierarchische<br />
Prinzip zugrunde, da die Bildungseinrichtung im Abhängigkeitsverhältnis zur Schulaufsicht steht. In<br />
Bezug auf eine angestrebte Schulentwicklung sollte allerdings auch die Möglichkeit gewährt werden,<br />
unabhängige Experten oder Einrichtungen kontaktieren zu können.<br />
Die dritte Gruppierung der untersuchten externen Evaluationen bildet das Audit, das im Bundesland<br />
Saarland im Rahmen des Qualitätsmanagements DIN EN ISO durchgeführt wird. Diese Konzeption<br />
externer Evaluation bildet nicht den Fokus der vorliegenden Arbeit, zumal Empfehlungen auf der<br />
Basis des untersuchten Peer Review Verfahrens übertragen werden. Als ableitbare Empfehlungen<br />
können daher die angeführten Vorschläge in Kapitel 5.2.1 genannt werden.<br />
175
6. Zusammenfassung und Ausblick<br />
176<br />
6. Zusammenfassung und Ausblick<br />
Die Implementierung und Anwendung von Qualitätsmanagementsystemen entwickelt sich im Laufe<br />
der Zeit auch in vielen schulischen Einrichtungen fast zu einer Selbstverständlichkeit. Allerdings stellt<br />
sich hierbei die Frage, ob sich die Qualität der Schulen auf der Basis kontinuierlicher Qualitätsarbeit<br />
verbessert. In diesem Zusammenhang bleibt der Aspekt der Wirksamkeit von Qualitätsmanagementsystemen<br />
in Bildungseinrichtungen derzeit offen, wobei erste Modelle und Studien in Bezug<br />
auf die Nützlichkeit externer Evaluationen sowie intensive Diskussionen zu diesem Thema vorliegen.<br />
Vor diesem Hintergrund stellte sich die Frage, wie die schulische Wirksamkeit externer Evaluationen<br />
erhöht werden kann bzw. wie externe Evaluationen weiterentwickelt werden können. Auf dieser Basis<br />
erfolgte zunächst eine thematische Einordnung der Wirksamkeitsanalyse in den Gesamtkontext,<br />
in dem die Thematik des Qualitätsmanagements in schulischen Einrichtungen, insbesondere der<br />
Bereich externer Evaluationen sowie der Aspekt der Wirksamkeit, näher beleuchtet wurde. Mit Blick<br />
auf die vorliegende Wirksamkeitsanalyse wurde folgendes mehrstufiges Modell entwickelt:<br />
• Erste Ebene: Die Zufriedenheit mit der externen Evaluation<br />
Auf der Reaktionsebene wird die Zufriedenheit der Teilnehmenden mit der externen Evaluation<br />
erhoben, in dem Gefühle, Bewertungen und Einschätzungen der Beteiligten zu den Phasen<br />
erhoben werden.<br />
• Zweite Ebene: Schulische Innovationen als Folge der externen Evaluation<br />
Der erzielte Lernerfolg der Institution bezieht sich auf eine Aneignung von Wissen, Fähigkeiten<br />
und Fertigkeiten auf der Basis des Peer Reviews. Dabei wird die Umsetzung von Maßnahmen<br />
als Folge der externen Evaluation betrachtet. In diesem Zusammenhang wurde anhand des<br />
Concerns-Based Adoption Models von hall & horD untersucht, ob sich die Lehrkräfte von<br />
abgeleiteten Maßnahmen betroffen fühlen (Stages of Concern) und daraufhin ihr Verhalten<br />
ändern (Levels of Use). Bei der Einführung von Innovationen ist die Entwicklung grundsätzlich<br />
vorerst durch eine emotionale Betroffenheit gekennzeichnet, indem sich die Person mit der<br />
Maßnahme auseinandersetzt und im zweiten Schritt ihr Verhalten ändert. Im mustergültigen<br />
Fall ergibt sich eine lineare, stufenweise Entwicklung, in dem ein Gefühl oder Empfinden (Stages<br />
of Concern) mit einer Verhaltensänderung (Levels of Use) verbunden ist.<br />
• Dritte Ebene: Änderung des Outputs der Institution in Folge der externen Evaluation<br />
Erzielte Ergebnisse für die gesamte Organisation, die aufgrund einer erfolgreichen Anwendung<br />
des erlernten Wissens, der angeeigneten Fähigkeiten und Fertigkeiten von Teilnehmern<br />
vorliegen, tragen zur Veränderung des Outputs bei. Aufgrund der zeitnahen Analyse des<br />
Pilotversuchs erfolgte eine Einschätzung der Lehrkräfte zur Veränderung des Outputs, also<br />
der Lernleistungen der SchülerInnen, die aus einzelnen Maßnahmen nach dem Peer Review<br />
resultieren.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
• Vierte Ebene: Resultate der Änderung des Outcomes der Institution in Folge der externen<br />
Evaluation<br />
Innovationen tragen dazu bei, dass sich das Leben der Betroffenen ändert. Berufs- bzw. Qualifikationsabschlüsse<br />
wirken sich beispielsweise auf die Einkommensentwicklung aus. Diese<br />
Ebene wurde in der Wirksamkeitsanalyse nicht berücksichtigt.<br />
• Fünfte Ebene: Return on Investment der externen Evaluation<br />
Die Wirtschaftlichkeit eines Verfahrens bezieht sich auf die Betrachtung von Nutzen versus<br />
Kosten. Die Betrachtung der Wirtschaftlichkeit mit Blick auf die Schule sowie am Verfahren<br />
beteiligter Personen wird einschätzend-antizipativ berücksichtigt. Aus diesem Grund erfolgt<br />
die Gegenüberstellung als Verhältnis zwischen erzieltem Nutzen und dem entstandenen Aufwand<br />
auf persönlicher und organisationaler Ebene.<br />
Die vorliegende Analyse der Wirksamkeit bezieht sich auf den Pilotversuch zur Adaptierung des Europäischen<br />
Peer Review Verfahrens auf berufsbildende Schulen in Österreich. Der Forschungsprozess<br />
ist in drei Phasen untergliedert. Auf der Basis der Erfahrungen eines Pretests wurden alle Personen<br />
mit direktem Bezug zum Verfahren befragt, um Rückmeldungen über vorhandene Probleme bei<br />
der Durchführung des Peer Reviews zu erhalten. Ein weiterer Erhebungsschritt bezog sich auf alle<br />
Lehrkräfte der Pilotschulen, um die Adaptierung von Maßnahmen im Sinne des Grades der Betroffenheit<br />
(Stages of Concern) und des Grades der Verhaltensänderung (Levels of Use) einschätzen<br />
zu können. Diese Ergebnisse bildeten die Basis für die Auswahl von Pilotschulen, die anschließend<br />
qualitativ untersucht wurden, um weitergehende Erkenntnisse und Verbesserungsvorschläge für die<br />
Optimierung des Peer Reviews zu erhalten und diese in weitere Empfehlungen einarbeiten zu können.<br />
Auf der Basis dieser ermittelten Ergebnisse wurden sowohl Empfehlungen für das Peer Review<br />
Verfahren als auch allgemeine Empfehlungen zur Gestaltung externer Evaluationen abgeleitet, um<br />
die Forschungsfrage abschließend beantworten zu können. Die Wirksamkeit externer Evaluationen<br />
kann durch eine hohe Partizipation und Integration aller Lehrkräfte intensiviert werden, da dies<br />
sowohl zur Akzeptanz des Verfahrens als auch zu einer höheren Bereitschaft für eine Umsetzung von<br />
Veränderungen führt, wobei eine Implementierung von Innovationsmaßnahmen letztendlich auch<br />
den Ausgangspunkt für die Wirksamkeit externer Evaluationen darstellen. Darüber hinaus bewirken<br />
eine offene und transparente Informationspolitik zu den einzelnen Phasen der externen Verfahren<br />
eine höhere Identifikation mit der externen Evaluation. Ferner ist bezüglich der Evaluationsinhalte<br />
eine Auswahl von Wahlmöglichkeiten zu gewährleisten, um den Bildungseinrichtungen eigene<br />
Gestaltungsspielräume bei der Durchführung der externen Evaluation zu ermöglichen und eine<br />
Anerkennung des Verfahrens zu stärken. Auch die Gewährleistung eines ausreichenden Zeitfensters<br />
ist mit Blick auf die Qualität der einzelnen Komponenten zu berücksichtigen. Übergreifend sollte eine<br />
anwendungsbezogene Gestaltungsweise des Verfahrens praktiziert werden, um das Engagement<br />
der beteiligten Personen auf die externe Evaluation zu fokussieren.<br />
177
6. Zusammenfassung und Ausblick<br />
178<br />
Auf der Basis dieser abgeleiteten Ergebnisse erfolgte eine kriterienorientierte Gegenüberstellung<br />
von externen Evaluationen, um die unterschiedlichen Konzeptionen mit dem vorliegenden Untersuchungsgegenstand<br />
bzw. anhand der entwickelten Wirksamkeitsaspekte zu vergleichen und<br />
anschließend weitere Gestaltungsvorschläge ableiten zu können.<br />
Insgesamt stellt die Wirksamkeit externer Evaluation ein zentrales Element der Qualitätsentwicklung<br />
in beruflichen Schulen dar. Vor diesem Hintergrund wird eine systematische und langfristige Betrachtung<br />
von Wirksamkeitsanalysen angeraten. Angesichts der Bedeutung dieser Herausforderung wäre<br />
eine periodische Erfassung der Wirksamkeit anzuraten. Dafür sollten für zukünftige Analysen weitreichendere<br />
Daten zur Verfügung stehen und insbesondere die Follow-up-Planung näher erfassen.
7. Anhang<br />
7.1 Literaturverzeichnis<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Achtenhagen, F. & Baethge, M. (2005). Kompetenzentwicklung unter einer internationalen Perspektive –<br />
makro- und mikrostrukturelle Aspekte. In P. Gonon (Hrsg.), Kompetenz, Kognition und neue Konzepte<br />
der beruflichen Bildung. 1. Aufl. (Schriftenreihe der Sektion Berufs- und Wirtschaftspädagogik der DGfE,<br />
S. 25–54). Wiesbaden: VS Verl. für Sozialwiss.<br />
Ackeren, I. van. (2003). Evaluation, Rückmeldung und Schulentwicklung. Erfahrungen mit zentralen Tests,<br />
Prüfungen und Inspektionen in England, Frankreich und den Niederlanden (1. Aufl.). s.l.: Waxmann Verlag<br />
GmbH.<br />
Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen, Agentur für Qualitätssicherung,<br />
Evaluation und Selbstständigkeit von Schulen. Verfügbar unter: http://www.aqs.rlp.de/impressum/<br />
[17.7.2011].<br />
Baer, D. & Wermke, M. (2002). Duden Fremdwörterbuch (7., neu bearb. und erw. Aufl., Weltbild<br />
Sonderausgabe.). Der Duden: Bd. : in zwölf Bänden; das Standardwerk zur deutschen Sprache / hrsg.<br />
vom Wissenschaftlichen Rat der Dudenredaktion: Matthias Wermke; Bd. 5. Augsburg: Dudenverl.; Weltbild<br />
Verlag.<br />
Bals, T., Hegmann, K. & Wilbers, K. (Hrsg.). (2009). Qualität in Schule und Betrieb: Forschungsergebnisse<br />
und gute Praxis ; Tagungsband zu den 15. Hochschultagen Berufliche Bildung 2008 in Nürnberg. Aachen:<br />
Shaker.<br />
Balzer, L. (2009). Evaluation im Bildungsbereich: Ein Ländervergleich zwischen Deutschland, Österreich und<br />
der Schweiz. In T. Widmer, W. Beywl & C. Fabian (Hrsg.), Evaluation. Ein systematisches Handbuch. 1. Aufl.<br />
(S. 193–199). s.l.: VS Verlag für Sozialwissenschaften (GWV).<br />
Bauer, K.-O. (2004). Evaluation – via regia zu besserer Qualität in Schule und Unterricht? In H. Günter<br />
Holtappels, K. Klemm, H. Pfeiffer, H.-G. Rolff & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung.<br />
Daten, Beispiele und Perspektiven (Eine Veröffentlichung der Arbeitsstelle für Schulentwicklungsforschung<br />
der <strong>Universität</strong> Dortmund, S. 161–186). Weinheim: Juventa Verl.<br />
Bayerische Staatsministerien für Unterricht und Kultus und Wissenschaft, Forschung und Kunst (2006).<br />
Amtsblatt, 10, S. 101–110.<br />
Bayerisches Staatsministerium für Unterricht und Kultus. (2011, 14. Juni). Stiftung Bildungspakt Bayern.<br />
Verfügbar unter: http://www.bildungspakt-bayern.de/ [15.6.2011].<br />
Behrens, S. & Esser, C. (2003). Qualitätsmanagement in beruflichen Schulen – Eignung des EFQM-Modells für<br />
Excellence. Berufsbildung in Wissenschaft und Praxis (1), 40–44.<br />
Berkemeyer, N. & Holtappels, H. Günter. (2006). Steuergruppen als organisationsinterner Akteur zur<br />
Qualitätssicherung und Qualitätsentwicklung? In F. Eder (Hrsg.), Qualität durch Standards? Beiträge zum<br />
Schwerpunktthema der 67. Tagung der AEPF (S. 173–186). Münster: Waxmann.<br />
Binder, H.-M. & Trachsler, E. (2002). wif! – Projekt „Neue Schulaufsicht an der Volksschule“: Externe Evaluation.<br />
Luzern.<br />
Bohlinger, S. & Münk, D. (2009). Qualitätssicherungsansätze für die Berufliche Bildung im europäischen<br />
Vergleich. In T. Bals, K. Hegmann & K. Wilbers (Hrsg.), Qualität in Schule und Betrieb. Forschungsergebnisse<br />
und gute Praxis ; Tagungsband zu den 15. Hochschultagen Berufliche Bildung 2008 in Nürnberg (S.<br />
127–137). Aachen: Shaker.<br />
Böttcher, W. & Keune, M. (2011). Wirkungsanalyse der Schulinspektion: Empirische Ergebnisse aus<br />
Deutschland. In C. Quesel, V. Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der<br />
externen Schulevaluation (S. 123–144). Bern: hep.<br />
Böttcher, W., Keune, M. & Neiwert, P. (2010). „Schulinspektion in Hessen – Wirkungen auf die<br />
Qualitätsentwicklung von Schulen und die Arbeit der Schulaufsicht“. Münster.<br />
179
7. Anhang<br />
180<br />
Brägger, G., Bucher, B. & Landwehr, N. (2005). Schlüsselfragen zum Entwicklungsstand der externen<br />
Schulevaluation. In G. Brägger, B. Bucher & N. Landwehr (Hrsg.), Schlüsselfragen zur externen<br />
Schulevaluation. 1. Aufl. (Pädagogik, S. 19–76). Bern: hep.<br />
Bräu, K. (2009). Schulentwicklung 2020 – Wissenschaftliche Begleitung als „Lernberatung“ für lernende<br />
Schulen. In D. Bosse & P. Posch (Hrsg.), Schule 2020 aus Expertensicht. Zur Zukunft von Schule, Unterricht<br />
und Lehrerbildung. 1. Aufl. (S. 315–320). s.l.: VS Verlag für Sozialwissenschaften (GWV).<br />
Brimblecombe, N., Ormston, M. & Shaw, M. (1996). Teachers‘ perceptions of inspections. In J. Ouston, P. Earley<br />
& B. Fidler (Hg.), Ofsted-Inspections: the early experience. London: Fulton.<br />
Brimblecombe, N., Ormston, M. & Shaw, M. (1995). Teachers’ Perceptions of School Inspection: a stressful<br />
experience. Cambridge Journal of Education, 25 (1), 53.<br />
Brunnhuber, M. (2009). Entwicklung und Erprobung eines Qualitätsmanagements für berufliche Schulen<br />
in Bayern (QmbS). Dissertation, Ludwig Maximilian <strong>Universität</strong>. München. Verfügbar unter: http://edoc.<br />
ub.uni-muenchen.de/10311/ [1.11.2009].<br />
Brunnhuber, M. (2009). Wie funktioniert QmbS – ein Zwischenbericht. vlb-akzente, (03-04/2009), 21–23.<br />
Brunnhuber, M. & Kennerknecht, M. (2008, 13. März). Qualitätsmanagement an beruflichen Schulen in Bayern:<br />
Das Ganze ist mehr als die Summe seiner Teile. Nürnberg: Hochschultage Berufliche Bildung, Bals, Thomas;<br />
Hegmann, Kai; Wilbers, Karl. Verfügbar unter: http://www.kibb.de/cps/rde/xbcr/SID-3C5594CA-7F95FDC8/<br />
kibb/Praesentation_HT08_WS01_Kennerknecht_Brunnhuber.pdf [23.9.2009].<br />
Brunnhuber, M. & Kennerknecht, M. (2007). Individualfeedback: Qualität durch individuelles Lernen.<br />
Berufsbildung, 61 (107/108), 44–46.<br />
Buchen, H., Horster, L. & Rolff, H.-G. (1995). Ein neues Konzept der Schulentwicklung. In H. Buchen (Hrsg.),<br />
Schulleitung und Schulentwicklung. Ein Reader (Raabe Nachschlagen-Finden, S. 6–12). Stuttgart: Raabe.<br />
Bühl, A. (2008). SPSS 16: Einführung in die moderne Datenanalyse (11., überarb. und erw. Aufl.).<br />
st – Scientific tools. München: Pearson Studium. Verfügbar unter: http://deposit.d-nb.de/cgi-bin/<br />
dokserv?id=3091188&prov=M&dok_var=1&dok_ext=htm / http://www.gbv.de/dms/ilmenau/toc/562978054.<br />
PDF.<br />
Bülow-Schramm, M. (2006). Qualitätsmanagement in Bildungseinrichtungen. Studienreihe Bildung und<br />
Wissenschaftsmanagement: Bd. 6. Münster: Waxmann. Verfügbar unter: http://www.gbv.de/dms/bs/<br />
toc/522227414.pdf / http://www.waxmann.com/kat/1752.html.<br />
Buichl, M., Heinrich, M., Wilbers, K. & Wittmann, M. (2010). Leitfaden zur Modellierung von Prozessen am<br />
Fachbereich Wirtschaftswissenschaften der <strong>Friedrich</strong>-<strong>Alexander</strong>-<strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg, <strong>Universität</strong><br />
<strong>Erlangen</strong>-Nürnberg. Nürnberg.<br />
Buichl, M. & Wilbers, K. (2009). Nürnberger Qualitätsmanagement an beruflichen Schulen. vlb-akzente, 08-09,<br />
S. 10–12.<br />
Bundesinstitut für Berufsbildung (BIBB). (2011, 01. Januar), BIBB A1.2 Internetredaktion, letzte Bearbeitung<br />
durch: Kuehn, Bernd (Administrator). Verfügbar unter: http://www.bibb.de/de/impressum.htm [2.8.2011].<br />
Bundesministerium für Unterricht, Kunst und Kultur (Hrsg.). (2011). Berufsbildende Schulen in Österreich: Eine<br />
Informationsbroschüre der Sektion Berufsbildung (Berufsbildendes Schulwesen, Erwachsenenbildung<br />
und Schulsport). Verfügbar unter: http://www.abc.berufsbildendeschulen.at/de/download.<br />
asp?id=33&theme=Information [10.6.2011].<br />
Burkhard, C. (2005). Ergebnisorientierte Systemsteuerung: Konsequenzen für die externe Evaluation. In<br />
G. Brägger, B. Bucher & N. Landwehr (Hrsg.), Schlüsselfragen zur externen Schulevaluation. 1. Aufl.<br />
(Pädagogik, S. 79–110). Bern: hep.<br />
Burri, T. (2011, 15. August). Externe Evaluation an beruflichen Schulen (E-Mail).<br />
Capaul, R. (2009, 14. Dezember), Interview mit Melanie Buichl. Sankt Gallen/Nürnberg.<br />
Capaul, R. (2002). Die Bedeutung der Schulleitung bei der Gestaltung von Schulinnovationsprozessen. Journal<br />
für Schulentwicklung, 6 (2), 16–30.<br />
Capaul, R. (2002a). Über die Bedeutung der Schulleitung bei der Gestaltung von Schulinnovationsprozessen.<br />
Zeitschrift für Berufs- und Wirtschaftspädagogik, 98 (1), 56–70.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Carstensen, D. (September 1997). Wirksamkeit der internen und externen Evaluation von Lehre und Studium<br />
(HIS-Hochschul-Informations-System GmbH, Hrsg.) (Nr. A 12/97). Hannover.<br />
Chapman, C. (2001). Changing classrooms through inspection. School Leadership Management, 21 (1), 59–73.<br />
Cuckle, P. & Broadhead, P. (1999). Effects of Ofsted inspection on school development and staff morale. In C.<br />
Cullingford (Hrsg.), An inspector calls – Ofsted and its effect on school standards (176–187). London: Kogan.<br />
Cullingford, C. & Daniels, S. (1999). Effects of Ofsted inspections on school performance. In C. Cullingford<br />
(Hg.), An inspector calls – Ofsted and its effect on school standards (59-69). London: Kogan.<br />
Cuttance, P. (1994). Quality Assurance in Education Systems. Studies in Educational Evaluation (20), 99–112.<br />
de Wolf, I. F. & Janssens, F. J. G. (2007). Effects and side effects of inspections and accountability in education:<br />
an overview of empirical studies. Oxford Review of Education, 33 (3), 379–396.<br />
Dedering, K. & Müller, S. (2010). School improvement through inspections? First empirical insights from<br />
Germany. Journal of Educational Change, 12 (3), 301–322.<br />
Dedering, K. & Müller, S. (2008). Schulinspektion in Deutschland – Forschungsbereiche und -desiderata. In W.<br />
Böttcher (Hrsg.), Bildungsmonitoring und Bildungscontrolling in nationaler und internationaler Perspektive.<br />
<strong>Dokument</strong>ation zur Herbsttagung der Kommission Bildungsorganisation, -planung, -recht (KBBB) (S.<br />
241–252). Münster: Waxmann.<br />
Deutsche Gesellschaft zur Zertifizierung von Managementsystemen. Das neue EFQM-Modell 2010 – DQS<br />
Deutschland. Verfügbar unter: https://de.dqs-ul.com/index.php?id=4071 [16.7.2011].<br />
Diekmann, A. (2010). Empirische Sozialforschung: Grundlagen, Methoden, Anwendungen (Orig.-Ausg., vollst.<br />
überarb. und erw. Neuausg. 2007, 4. Aufl., [21. Aufl. der Gesamtausg.]. Rororo Rowohlts Enzyklopädie: Bd.<br />
55678. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl. Verfügbar unter: http://www.gbv.de/dms/ilmenau/<br />
toc/622636618.PDF.<br />
DIN Deutsches Institut für Normung e. V. (2009). Ein Qualitätsmanagementansatz (ISO 9004:2009);<br />
Dreisprachige Fassung EN ISO 9004:2009. Berlin: Beuth Verlag GmbH.<br />
DIN Deutsches Institut für Normung e. V. (2008). Qualitätsmanagementsysteme – Anforderungen (ISO<br />
9001:2008); Dreisprachige Fassung EN ISO 9001:2008. Berlin: Beuth Verlag GmbH.<br />
DIN Deutsches Institut für Normung e. V. (2005). Qualitätsmanagementsysteme – Grundlagen und Begriffe (ISO<br />
9000:2005); Dreisprachige Fassung EN ISO 9000:2005. Berlin: Beuth Verlag GmbH.<br />
Ditton, H. (2009). Evaluation und Qualitätssicherung. In R. Tippelt & B. Schmidt (Hrsg.), Handbuch<br />
Bildungsforschung. 2. Aufl. (S. 607–623). VS Verlag für Sozialwissenschaften (GWV).<br />
Döbert, H., Rürup, M. & Dedering, K. (2008). Externe Evaluation von Schulen in Deutschland – die Konzepte<br />
der Bundesländer, ihre Gemeinsamkeiten und Unterschiede. In H. Döbert & K. Dedering (Hrsg.), Externe<br />
Evaluation von Schulen. Historische, rechtliche und vergleichende Aspekte (S. 63–152). Münster: Waxmann.<br />
Dubs, R. (2009). Qualitätsmanagement: Grundbegriffe und Systematik. In H. Buchen & H.-G. Rolff (Hrsg.),<br />
Professionswissen Schulleitung. 2., erw. Aufl. (S. 1206–1270). Weinheim: Beltz.<br />
Dubs, R. (2007). Erweiterte Selbstständigkeit der Einzelschule und Entwicklung von Schulqualität in der<br />
Schweiz – Eine kritische Zwischenbilanz. In J. van Buer & C. Wagner (Hrsg.), Qualität von Schule. Ein<br />
kritisches Handbuch (S. 515–526). Frankfurt am Main: Lang.<br />
Dubs, R. (2005). Die Führung einer Schule: Leadership und Management (2. Aufl.). Pädagogik. Stuttgart:<br />
Steiner. Dubs, R. (2006). Qualitätsmanagement: Grundbegriffe und Systematik. In H. Buchen & H.-G. Rolff<br />
(Hrsg.), Professionswissen Schulleitung (S. 1206–1270). Weinheim: Beltz.<br />
Dubs, R. (2004). Qualitätsmanagement für Schulen (2. Aufl. (Nachdr.)). Studien und Berichte des IWP: Bd. 13.<br />
St. Gallen: Inst. für Wirtschaftspädag.<br />
Dubs, R. (1994). Die Führung einer Schule: Leadership und Management ; mit 12 Tabellen (Lizenzausg.).<br />
Stuttgart: Steiner. Verfügbar unter: http://www.dandelon.com/intelligentSEARCH.nsf/alldocs/DD94AC7970C<br />
0CC42C1257176004A364E/.<br />
EFQM (Hrsg.). (1999). Das EFQM-Modell für Excellence: Öffentlicher Dienst und soziale Einrichtungen. Brüssel.<br />
181
7. Anhang<br />
182<br />
Ehren, M. C. M. & Visscher, A. J. (2010). TOWARDS A THEORY ON THE IMPACT OF SCHOOL INSPECTIONS.<br />
British Journal of Educational Studies, 54 (1), 51–72.<br />
Ehren, M. C. M. & Visscher, A. J. (2008). THE RELATIONSHIPS BETWEEN SCHOOL INSPECTIONS, SCHOOL<br />
CHARACTERISTICS AND SCHOOL IMPROVEMENT. British Journal of Educational Studies, 56 (2), 205–227.<br />
Ehren, M. C. M. & Visscher, A. J. (2006). Towards a theory on the impact of school inspections. British Journal<br />
of Educational Studies, 54 (1), 51–72.<br />
Ernst, S. (2008). Manual Lehrevaluation. Wiesbaden: VS Verlag für Sozialwissenschaften / Springer Fachmedien<br />
Wiesbaden GmbH Wiesbaden. Verfügbar unter: http://dx.doi.org/10.1007/978-3-531-91198-4.<br />
Euler, D. (2004). Qualitätsentwicklung in der Berufsausbildung. Verfügbar unter: www.edudoc.ch/static/<br />
infopartner/iwp_fs/2005/iwp28_250105.pdf [1.7.2011].<br />
European Foundation for Quality Management; Deutsche Gesellschaft für Qualität. (2003). Die Grundkonzepte<br />
der Excellence. Frankfurt am Main: Deutsche Gesellschaft für Qualität. Verfügbar unter: http://www.efqm.<br />
org.<br />
Feldmayer, J. & Seidenschwarz, W. (2005). Marktorientiertes Prozessmanagement: Wie Process Mass<br />
Customization Kundenorientierung und Prozessstandardisierung integriert. München: Vahlen.<br />
Fidler, B., Earley, P. & Ouston, J. (1995). Ofsted school improvement through inspection. European Conference<br />
on Educational Research, Bath University.<br />
Fidler, B., Ouston, J. & Earley, P. (1994). Ofsted inspections and their contribution to school development.<br />
Annual Conference of the British Educational Research Association, Oxford University.<br />
Fitz-Gibbon, C. T. & Stephenson-Forster, N. J. (1999). Is Ofsted helpful? In C. Cullingford (Hrsg.). An inspector<br />
calls – Ofsted and its effect on school standards (97–118). London: Kogan.<br />
Flick, U. (2009). Sozialforschung: Methoden und Anwendungen ; ein Überblick für die BA-Studiengänge<br />
(Orig.-Ausg.). Rororo Rowohlts Enzyklopädie: Bd. 55702. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl.<br />
Verfügbar unter: http://www.gbv.de/dms/ilmenau/toc/568946812.PDF / http://deposit.d-nb.de/cgi-bin/<br />
dokserv?id=3120486&prov=M&dok_var=1&dok_ext=htm.<br />
Flick, U. (Hrsg.). (2006). Qualitative Sozialforschung: Eine Einführung (4. Aufl., vollst. überarb. und erw.<br />
Neuausg.). Rororo Rowohlts Enzyklopädie: Bd. 55654. Reinbek bei Hamburg: Rowohlt-Taschenbuch-Verl.<br />
Verfügbar unter: http://www.gbv.de/dms/hebis-darmstadt/toc/181803488.pdf.<br />
Fullan, M. (1999). Die Schule als lernendes Unternehmen: Konzepte für eine neue Kultur in der Pädagogik.<br />
Stuttgart: Klett-Cotta.<br />
Fußstetter, H. (2008, 14. März). Qualitätsmanagement an Schulen – Beurteilung aus Sicht eines externen<br />
Insiders. Nürnberg, 15. Hochschultage Berufliche Bildung 2008. Verfügbar unter: www.kibb.de/…/<br />
Praesentation_HT08_WS01_Fussstetter.pdf [3.6.2011].<br />
Gärtner, H., Hüsemann, D. & Pant, H. A. (2009). Wirkungen von Schulinspektion aus Sicht betroffener<br />
Schulleitungen. Die Brandenburger Schulleiterbefragung. Empirische Pädagogik, 23 (1), 1–18.<br />
Gärtner, H. & Wurster, S. (2009). Befragung zur Wirkung von Schulvisitation in Brandenburg: Ergebnisbericht.<br />
Berlin: Institut für Schulqualität der Länder Berlin und Brandenburg.<br />
Galetzka, C. (2008, 17. März). Schulen in der Verantwortung – Q2E in der Praxis. Nürnberg: Institut für<br />
Qualitätsentwicklung, Hessen, 15. Hochschultage Berufliche Bildung. [29.6.2011].<br />
George, A. A. (2008). The stages of concern questionnaire (2. print. with minor add. and corr.).<br />
Glaser, B. G., Strauss, A. L., Paul, A. T., Kaufmann, S. & Hildenbrand, B. (2010). Grounded theory: Strategien<br />
qualitativer Forschung (3., unveränd. Aufl.). Programmbereich Gesundheit. Bern: Huber. Verfügbar unter:<br />
http://deposit.d-nb.de/cgi-bin/dokserv?id=3499336&prov=M&dok_var=1&dok_ext=htm.<br />
Gonon, P. (2001). Qualitätssysteme auf dem Prüfstand: Die neue Qualitätsdiskussion in Schule und Bildung ;<br />
[Analyse und Perspektiven] (3., aktualisierte Aufl.). Pädagogik bei Sauerländer Schwerpunkt: Bd. 5. Aarau:<br />
Bildung Sauerländer.<br />
Goodlad, J. I. (1991). Teachers for our nation‘s schools (2. printing.). The Jossey-Bass Higher Education Series.<br />
San Francisco: Jossey-Bass. Verfügbar unter: http://www.gbv.de/dms/bowker/toc/9781555422707.pdf.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Gray, C. & Gardner, J. (1999). The Impact of School Inspections. Oxford Review of Education, 25 (4), 455–468.<br />
Greubel, M. (2010). EQARF – Europäischen Bezugsrahmen für die Qualitätssicherung. vlb-akzente (02).<br />
Verfügbar unter: http://www.vlb-bayern.de/index.php?option=com_content&view=article&id=1100:eq<br />
arf--europaeischen-bezugsrahmen-fuer-die-qualitaetssicherung-&catid=153:akzente-201002&Itemid=225<br />
[15.6.2011].<br />
Gutknecht-Gmeiner, M. (2009). Machbarkeitsstudie zur Umsetzung der Ergebnisse der europäischen Peer<br />
Review Projekte an österreichischen berufsbildenden Schulen: Endbericht (öibf – Österreichisches Institut<br />
für Berufsbildungsforschung, Hrsg.). Wien.<br />
Gutknecht-Gmeiner, M. (2008). Peer Review in der Berufsbildung: Projekte und Erfahrungen – ein Reader. Wien.<br />
Gutknecht-Gmeiner, M. & Österreichisches Institut für Berufsbildungsforschung. (2007). Europäisches Peer-<br />
Review-Handbuch für die berufliche Erstausbildung: Peer-Review als Instrument der Qualitätssicherung und<br />
-entwicklung in der beruflichen Erstausbildung ; Leonardo-da-Vinci-Projekt AT/04/C/F/TH-82000 ; [peer<br />
review in initial VET]. Wien: ÖIBF – Österr. Inst. für Berufsbildungsforschung.<br />
Gutknecht-Gmeiner, M. (2007, 5. März). Das Europäische Peer Review Verfahren: Impulsveranstaltung.<br />
Gutknecht-Gmeiner, M. (2006). Peer Review in der beruflichen Erstausbildung in Europa. In S. Basel,<br />
D. Giebenhain & J. Rützel (Hrsg.), Peer-Evaluation an beruflichen Schulen. Impuls für dauerhafte<br />
Schulentwicklung durch Öffnung nach außen (Darmstädter Beiträge zur Berufspädagogik, S. 117–139).<br />
Paderborn: Eusl.<br />
Hall, G. E. & Hord, S. M. (2011). Implementing change: Patterns, principles, and potholes (3. ed.). Boston:<br />
Pearson.<br />
Hall, G. E. & Hord, S. M. (1987). Change in schools: Facilitating the process. SUNY series in educational<br />
leadership. Albany, N.Y: State University of New York Press. Verfügbar unter: http://site.ebrary.com/lib/<br />
academiccompletetitles/home.action.<br />
Hanushek, E. A. & Raymond, M. E. (2005). Does school accountability lead to improved student performance?<br />
Journal of Policy Analysis and Management, 24 (2), 297–327.<br />
Hartfiel, G. (1982). Wörterbuch der Soziologie. Stuttgart.<br />
Heinrich, A. (2011, 9. August), Interview mit Melanie Buichl. Saarbrücken /Nürnberg.<br />
Helmke, A., Hornstein, W. & Terhart, E. (2000). Qualität und Qualitätssicherung im Bildungsbereich. Zeitschrift<br />
für Pädagogik (41. Beiheft).<br />
Hermanns, H., Tkocz, C. & Winkler, H. (1984). Berufsverlauf von Ingenieuren: Biografie-analytische Auswertung<br />
narrativer Interviews. Campus-Forschung: Bd. 386. Frankfurt Main u.a.: Campus-Verl.<br />
Hessisches Kultusministerium. Institut für Qualitätsentwicklung. Verfügbar unter: http://www.iq.hessen.de/irj/<br />
IQ_Internet?cid=7dff0f358c1d3d10b487c190f16f9904 [17.7.2011].<br />
Hirsch-Kreinsen, H. (1997). Einführung: Wechselwirkungen zwischen Qualitätsmanagement und Organisation.<br />
In H. Hirsch-Kreinsen (Hrsg.), Organisation und Mitarbeiter im TQM (Qualitätsmanagement, S. 1–12). Berlin:<br />
Springer.<br />
Holling, H. & Liepmann, D. (2007). Personalentwicklung. In H. Schuler (Hrsg.), Lehrbuch<br />
Organisationspsychologie. 4., aktualisierte Aufl. (Psychologie Lehrbuch, S. 345–383). Bern: Huber.<br />
Holtappels, H. Günter. (2003). Schulqualität durch Schulentwicklung und Evaluation: Konzepte,<br />
Forschungsbefunde, Instrumente. München: Luchterhand.<br />
Hopkins, D., West, M. & Skinner, J. (1995). „Improvement through Inspection?“: A Critique of the OFSTED<br />
Inspection System. School Evaluation in England and Wales. Zeitschrift für Sozialisationsforschung und<br />
Erziehungssoziologie, 15 (4), 337–350.<br />
Hord, S. M., Rutherford, W. L., Huling, L. & Hall, G. E. (2008). Taking Charge of Change (2. print. with minor add.<br />
and corr.).<br />
Horn, W. (2008). Qualitätsanalyse an Schulen – ein Erfahrungsbericht. Berufsbildung (113/114), 63–69.<br />
183
7. Anhang<br />
184<br />
Horster, L. (1995). Ein pädagogisches Management in der Schule: Selbststeuerung in bestehenden Strukturen.<br />
In H. Buchen (Hrsg.), Schulleitung und Schulentwicklung. Ein Reader (Raabe Nachschlagen-Finden,<br />
S. 37–50). Stuttgart: Raabe.<br />
Hosenfeld, I. & Groß Ophoff, J. (2007). Nutzung und Nutzen von Evaluationsstudien in Schule und Unterricht. In<br />
I. Hosenfeld & J. Groß Ophoff (Hrsg.), Nutzung und Nutzen von Evaluationsstudien in Schule und Unterricht.<br />
1. Aufl. (Empirische Pädagogik, S. 352–367). Landau in der Pfalz: Verlag Empirische Pädagogik.<br />
Huber, F. (2008). Konsequenzen aus der externen Evaluation an Bayerns Schulen. In W. Böttcher (Hrsg.),<br />
Bildungsmonitoring und Bildungscontrolling in nationaler und internationaler Perspektive. <strong>Dokument</strong>ation<br />
zur Herbsttagung der Kommission Bildungsorganisation, -planung, -recht (KBBB) (S. 265–278). Münster:<br />
Waxmann.<br />
Hügli, E. (1998). Die ISO-Norm für Schulen: Interpretation und Anwendungshilfe zur ISO-Norm 9001, speziell für<br />
berufsbildende Schulen (1. Aufl.). Pädagogik bei Sauerländer: Bd. 4. Aarau: Bildung Sauerländer.<br />
Husfeldt, V. (2011). Externe Schulevaluation: Ein länderübergreifender Blick auf Forschungen und Modelle.<br />
In C. Quesel, V. Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der externen<br />
Schulevaluation (S. 13–34). Bern: hep.<br />
Husfeldt, V. (2011). Wirkungen und Wirksamkeit der externen Schulevaluation: Überblick zum Stand der<br />
Forschung. Zeitschrift für Erziehungswissenschaft (14), 259–282.<br />
Husfeldt, V. (2010, 02. Juli). Stand der internationalen Forschung zur Wirkung und Wirksamkeit von externer<br />
Schulevaluation: Atelier. Baden.<br />
Husfeldt, V. (2010). Wirkungen und Wirksamkeit der externen Schulevaluation: Überblick zum Stand der<br />
Forschung. Aarau.<br />
Institut für Bildungsmonitoring Hamburg. Schulinspektion Hamburg, Institut für Bildungsmonitoring Hamburg.<br />
Verfügbar unter: http://www.schulinspektion.hamburg.de/index.php/impressum [17.7.2011].<br />
Institut für Schulentwicklung. Externe Evaluation Bremer Schulen: Information für die beteiligten Schulen.<br />
Verfügbar unter: http://www.bildung.bremen.de/fastmedia/13/evaluation_info.pdf.<br />
Jacob, B. A. (2005). Accountability, Incentives and Behavior: The Impact of High-Stakes Testing in the Chicago<br />
Public Schools. Journal of Public Economics, 89 (5–6), 761–796.<br />
Kaiser-Aretz, S., Kimmler-Schad, S., Knaupp, V., Hammer, H., Plehn, R. & Thimet, S. (Landesinstitut für<br />
Schulentwicklung, Hrsg.). (2010). Fremdevaluation an beruflichen Schulen in Baden-Württemberg. Verfügbar<br />
unter: http://www.schule-bw.de/entwicklung/qualieval/evabs/fevbs/FEV-BS_Info-QE4_2010-08.pdf.<br />
Kamiske, G. F. & Brauer, J.-P. (2008). Qualitätsmanagement von A bis Z: Erläuterungen moderner Begriffe<br />
des Qualitätsmanagements (6. Aufl.). München: Hanser. Verfügbar unter: http://books.hanser.de:8080/vkb/<br />
default.jsf?doi=9783446412736_ISBN / http://books.hanser.de:8080/vkb/default.jsf?doi=9783446412736_<br />
ISBN.<br />
Keller, G. (2007). Wirksamkeit der Schulevaluation. In M. Ruep & G. Keller (Hrsg.), Schulevaluation. Grundlagen,<br />
Methoden, Wirksamkeit (Erziehungskonzeptionen und Praxis, S. 90–95). Frankfurt am Main: Lang.<br />
Keller, G. (2002). Qualitätsentwicklung in der Schule: Ziele, Methoden, kleine Schritte. Heidelberg: Asanger.<br />
Verfügbar unter: http://www.dandelon.com/intelligentSEARCH.nsf/alldocs/5536D90A8DD9E6C4C1257139<br />
00572FCD/.<br />
Keller, H., Landwehr, N. & Steiner, P. (2003). Q2E – Qualität durch Evaluation und Entwicklung: : Konzepte,<br />
Verfahren und Instrumente zum Aufbau eines Qualitätsmanagements an Schulen (2. Aufl.). Bern: h.e.p.-Verl.<br />
Kempfert, G. & Rolff, H.-G. (2002). Pädagogische Qualitätsentwicklung: Ein Arbeitsbuch für Schule und<br />
Unterricht (3., unveränd. Aufl.). Beltz-Pädagogik. Weinheim: Beltz.<br />
Kempfert, G. & Rolff, H.-G. (2008). Qualität und Evaluation: Ein Leitfaden für pädagogisches<br />
Qualitätsmanagement (4., überarb. und erw. Aufl. [Nachdr.]. Neue Lehrerbildung und Schulentwicklung.<br />
Weinheim: Beltz.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Kennerknecht, M. (2008, 08. November). Qualitätsmanagement an beruflichen Schulen in Bayern (QmbS):<br />
Das Ganze ist mehr als die Summe seiner Teile: Institut für Schulqualität und Bildungsforschung. Verfügbar<br />
unter: http://www.schulentwicklung.bayern.de/schwaben/userfiles/BSBFS/081111_SL_Schwaben_QmbS.<br />
pdf [2.11.2009].<br />
Kirkpatrick, D. L. (Hrsg.). (1975). Evaluating Training Programs: A Collection of Articles from the Journal of the<br />
American Society for Training and Development. Madison, Wisconsin.<br />
Kogan, M. & Maden, M. (1999). An evaluation of evaluators: the Ofsted system of school inspection. In C.<br />
Cullingford (Hg.), An inspector calls – Ofsted and its effect on school standards (9–31). London: Kogan.<br />
Kotthoff, H.-G. (2003). Bessere Schulen durch Evaluation?: Internationale Erfahrungen. Studien zur international<br />
und interkulturell vergleichenden Erziehungswissenschaft: Bd. 1. Münster: Waxmann (Univ., Habil.-Schr.--<br />
Münster (Westf.), 2002.). Verfügbar unter: http://www.gbv.de/dms/hebis-darmstadt/toc/118772554.pdf.<br />
Kromrey, H. (1995). Evaluation. Empirische Konzepte zur Bewertung von Handlungsprogrammen und die<br />
Schwierigkeiten ihrer Realisierung. Zeitschrift für Sozialisationsforschung und Erziehungssoziologie, 15 (4),<br />
313–336.<br />
Krüger, W. & Petry, T. (2005). 3W-Modell des Unternehmungswandels: Bezugsrahmen für ein erfolgreiches<br />
Wandlungsmanagement. soFid Organisations- und Verwaltungsforschung (2), 11–18.<br />
Kuckartz, U., Dresing, T., Rädiker, S. & Stefer, C. (2008). Qualitative Evaluation: Der Einstieg in die Praxis<br />
(2., aktualisierte Auflage.). Wiesbaden: VS Verlag für Sozialwissenschaften / GWV Fachverlage GmbH<br />
Wiesbaden. Verfügbar unter: http://dx.doi.org/10.1007/978-3-531-91083-3.<br />
Kurz, S. & Schmid, H. B. (2009). Konkrete Erfahrungen mit Q2E-basierten Qualitätsmanagementsystemen:<br />
Praxis und Forschungsfragen. In T. Bals, K. Hegmann & K. Wilbers (Hrsg.), Qualität in Schule und Betrieb.<br />
Forschungsergebnisse und gute Praxis ; Tagungsband zu den 15. Hochschultagen Berufliche Bildung 2008<br />
in Nürnberg (S. 149–155). Aachen: Shaker.<br />
Lamnek, S. (2008). Qualitative Sozialforschung: Lehrbuch (4., vollst. überarb. Aufl., [Nachdr.]. Weinheim: Beltz<br />
PVU. Verfügbar unter: http://www.gbv.de/dms/ilmenau/toc/592809021.PDF / http://www.socialnet.de/<br />
rezensionen/isbn.php?isbn=978-3-621-27544-6.<br />
Landesinstitut für Schule und Ausbildung. (2006). Gute Schule: Externe Evaluation von Schulen in<br />
Mecklenburg-Vorpommern.<br />
Landesportal Sachsen-Anhalt. Evaluation, Landesportal Sachsen-Anhalt. Verfügbar unter: http://www.<br />
sachsen-anhalt.de/index.php?id=25920 [17.7.2011].<br />
Landwehr, N. (2011). Thesen zur Wirkung und Wirksamkeit der externen Schulevaluation. In C. Quesel, V.<br />
Husfeldt, N. Landwehr & P. Steiner (Hrsg.), Wirkungen und Wirksamkeit der externen Schulevaluation (S.<br />
35–70). Bern: hep.<br />
Landwehr, N. (2007). Basisinstrument zur Schulqualität. Q2E – Qualität durch Evaluation und Entwicklung (2),<br />
1–42.<br />
Landwehr, N. (2007). Grundlagen zum Aufbau einer Feedbackkultur. Q2E – Qualität durch Evaluation und<br />
Entwicklung (3), 1–84.<br />
Landwehr, N. & Steiner, P. (2007). Grundlagen der externen Evaluation. Q2E – Qualität durch Evaluation und<br />
Entwicklung (5), 1–40.<br />
Landwehr, N. & Steiner, P. (2007). Steuerung des Qualitätsmanagements durch die Schulleitung. Q2E – Qualität<br />
durch Evaluation und Entwicklung (6), 1–75.<br />
Landwehr, N., Steiner, P. & Keller, H. (2007). Schritte zur datengestützten Schulevaluation. Q2E – Qualität durch<br />
Evaluation und Entwicklung (4), 1–65.<br />
Landwehr, N. (2010, 02. Juli). Wirkung und Wirksamkeit der externen Schulevaluation: 11 Thesen. Baden,<br />
ARGEV.<br />
Landwehr, N. (2004). Q2E – Qualität durch Evaluation und Entwicklung: Das Q2E-Modell. In H. Buchen, L.<br />
Horster & H.-G. Rolff (Hrsg.), Schulleitung und Schulentwicklung . Stuttgart/Berlin: Raabe-Verlag.<br />
185
7. Anhang<br />
186<br />
Lorenz, K. (2007). Qualitätsmanagement an Schulen: Zwischen Eigenständigkeit und Rechenschaftslegung.<br />
Berufsbildung, 61 (107/108), 2.<br />
Lowe, G. (1998). Inspection and change in the classroom: rhetoric and reality? In P. Earley (Hg.), School<br />
improvement after inspection – School and LEA Responses. London: Paul Chapman Publishing.<br />
Luginbuhl, R., Webbink, D. & de Wolf, I. (2007). Do School Inspections Improve Primary School Performance?.<br />
Den Haag: CPB Netherlands Bureau for Economic Policy Analysis.<br />
Maritz, B., Gerber, N., Perrottet, A., Rüegg, A., Studer, H., Wenger, B. et al. (2006). Bewertungsbuch für<br />
Schulen: Eine Anleitung zur Evaluation der Schulqualität auf der Grundlage des Modells der European<br />
Foundation for Quality Management (EFQM). Bern: hep.<br />
Maritzen, N. (1998). Autonomie der Schule: Schulentwicklung zwischen Selbst- und Systemsteuerung. In W.<br />
Schley (Hrsg.), Handbuch zur Schulentwicklung (Bibliothek Schulentwicklung, S. 609–637). Innsbruck:<br />
Studien-Verl.<br />
Mayer, H. O. (2009). Interview und schriftliche Befragung: Entwicklung, Durchführung und Auswertung (5.,<br />
überarb. Aufl.). München, Wien: Oldenbourg Verlag.<br />
Mayring, P. (2002). Einführung in die qualitative Sozialforschung: Eine Anleitung zu qualitativem Denken (5.,<br />
überarb. und neu ausgestattete Aufl.). Beltz Studium. Weinheim: Beltz-Verl.<br />
McCrone, T., Rudd, P., Blenkinsop, S. & Wade, P. (2006). Impact of Section 5 inspections: maintained schools<br />
in England. Slough: National Foundation for Educational Research.<br />
Ministerium für Bildung, J. und Sport. (2008). SCHULVISITATION IM LAND BRANDENBURG: Handbuch zur<br />
Schulvisitation. [17.7.2011].<br />
Ministerium für Bildung und Frauen des Landes Schleswig-Holstein. (2008). Qualitätshandbuch für die Arbeit<br />
an Berufsbildenden Schulen und Regionalen Berufsbildungszentren in Schleswig-Holstein: EVIT – BS.<br />
Verfügbar unter: http://www.evit.lernnetz2.de/bs/materials/handbuch08.pdf.<br />
Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen. Kurzinformation zur<br />
Qualitätsanalyse. Verfügbar unter: http://www.schulministerium.nrw.de/QA/A_Grundlagen/4_<br />
Kurzinformation.pdf.<br />
Mittag, S. (2006). Qualitätssicherung an Hochschulen: Eine Untersuchung zu den Folgen der Evaluation von<br />
Studium und Lehre. Internationale Hochschulschriften: Bd. 475. Münster: Waxmann (Univ., Diss.--Kassel.).<br />
Verfügbar unter: http://www.gbv.de/dms/hbz/toc/ht014835968.pdf.<br />
Moser, H. (1999). Selbstevaluation und Schulentwicklung. PÄD Forum, 27 (3), 206-210.<br />
Müller, M. (2010, 12. Dezember). Ergebnispräsentation NQS-E (E-Mail).<br />
Müller, M. (2010). Qualitätsorientierte Schulentwicklung an der Berufsschule: Entwicklung von<br />
Unterrichtsqualität mit Lehrerklassenteams. Habilitationsschrift, <strong>Universität</strong> Bayreuth. Bayreuth.<br />
Müller, S. (2010a). Erste Effekte von Schulinspektion – eine Zwischenbilanz. In N. Berkemeyer, W. Bos, H.<br />
Günter Holtappels, N. McElvany & R. Schulz-Zander (Hrsg.), Jahrbuch der Schulentwicklung. Daten,<br />
Beispiele und Perspektiven (S. 289–308). Weinheim: Juventa Verlag.<br />
Müller, S. (2002). Schulinterne Evaluation – Gelingensbedingungen und Wirkungen. Beiträge zur<br />
Bildungsforschung und Schulentwicklung: Bd. 18. Dortmund: IFS-Verl.<br />
Müller-Kohlenberg, H. & Beywl, W. (2003). Standards der Selbstevaluation – Begründung und aktueller<br />
Diskussionsstand. Zeitschrift für Evaluation (1), 65–75.<br />
Niedersächsischer Bildungsserver, Niedersächsischer Bildungsserver. Verfügbar unter: http://www.nibis.de/<br />
nibis.phtml?menid=479 [17.7.2011].<br />
Ouston, J., Fidler, B. & Earley, P. (1997). What do schools do after Ofsted school inspections or before? School<br />
Leadership and Management, 17 (1), 95–104.<br />
Pädagogisches Institut der Stadt Nürnberg. Das Nürnberger Qualitätsmanagement an Schulen (NQS).<br />
Verfügbar unter: http://www.pi-nuerberg.de/wir_ueber_uns/Arbeitsbereiche/Schulentwicklung/<br />
NQS_einzelheiten.php [10.10.2009].
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Phillips, J. J. & Schirmer, F. C. (2005). Return on Investment in der Personalentwicklung: Der 5-Stufen-<br />
Evaluationsprozess ; mit 38 Tabellen. Berlin: Springer. Verfügbar unter: http://www.myilibrary.com?id=62274.<br />
Posch, P., Altrichter, H. & Rauscher, E. (1997). Möglichkeiten und Grenzen der Qualitätsevaluation und<br />
Qualitätsentwicklung im Schulwesen: Forschungsbericht des Bundesministeriums für Unterricht und<br />
Kulturelle Angelegenheiten (1. Aufl.). Bildungsforschung des Bundesministeriums für Unterricht und<br />
Kulturelle Angelegenheiten: Bd. 12. Innsbruck: Studien-Verl.<br />
Porst, R. (2009). Fragebogen: Ein Arbeitsbuch (2. Aufl.). Studienskripten zur Soziologie. Wiesbaden: VS Verlag<br />
für Sozialwissenschaften.<br />
Pressemitteilung des Bayerischen Staatsministeriums für Unterricht und Kultus. (2009). Kultusminister<br />
Dr. Ludwig Spaenle stellt Ergebnisse vor: Schulversuch Qualitätsmanagement an beruflichen Schulen.<br />
vlb-akzente, 1992 (6), 10–11.<br />
Quesel, C., Husfeldt, V., Landwehr, N. & Steiner, P. (Hrsg.). (2011). Wirkungen und Wirksamkeit der externen<br />
Schulevaluation. Bern: hep.<br />
Rahm, S. (2005). Einführung in die Theorie der Schulentwicklung. Beltz StudiumErziehung und Bildung.<br />
Weinheim: Beltz. Verfügbar unter: http://deposit.ddb.de/cgi-bin/dokserv?id=2635050&prov=M&dok_<br />
var=1&dok_ext=htm / http://www.gbv.de/dms/hebis-darmstadt/toc/129370576.pdf.<br />
Rahm, S. (2010). Qualitätssicherung und Schulentwicklung – zwei Seiten einer Medaille? In B. Schaal & F. Huber<br />
(Hrsg.), Qualitätssicherung im Bildungswesen. Auftrag und Anspruch der Bayerischen Qualitätsagentur (S.<br />
109–118). Münster, Westf: Waxmann.<br />
Redaktion: BMBF LS15 Internetredaktion. (2011, 01. Januar). DEQA-VET: Der Deutsche Qualifikationsrahmen<br />
(DQR). Verfügbar unter: http://www.deqa-vet.de/de/2009.php [15.6.2011].<br />
Reezigt, G. J. & Creemers, B. P. (2005). A comprehensive framework for effective school improvement. School<br />
Effectiveness and School Improvement, 16 (4), 407-424.<br />
Robbins, P. & Alvy, H. B. (2003). The principal‘s companion: Strategies and hints to make the job easier (2nd<br />
ed.). Thousand Oaks Calif.: Corwin Press.<br />
Rolff, H.-G. (2009, 28. August). Qualitätsmanagement in der Schule – ein Orientierungs- und Handlungsrahmen.<br />
Bremen: Landesinstitut für Schule.<br />
Rolff, H.-G. (2009). Schulentwicklung, Schulprogramm und Steuergruppe. In H. Buchen & H.-G. Rolff (Hrsg.),<br />
Professionswissen Schulleitung. 2., erw. Aufl. (S. 296–364). Weinheim: Beltz.<br />
Rolff, H.-G. (1999). Manual Schulentwicklung: Handlungskonzept zur pädagogischen<br />
Schulentwicklungsberatung (SchuB) (2. Aufl.). Beltz-Pädagogik. Weinheim: Beltz.<br />
Ruep, M. & Keller, G. (2007). Schulevaluation: Grundlagen, Methoden, Wirksamkeit. Erziehungskonzeptionen<br />
und Praxis: Bd. 69. Frankfurt am Main: Lang. Verfügbar unter: http://www.gbv.de/dms/bs/toc/53988779X.<br />
pdf.<br />
Rützel, J. & Basel, S. (2006). Bildung in Zeiten der Outputsteuerung. In S. Basel, D. Giebenhain & J. Rützel<br />
(Hrsg.), Peer-Evaluation an beruflichen Schulen. Impuls für dauerhafte Schulentwicklung durch Öffnung nach<br />
außen (Darmstädter Beiträge zur Berufspädagogik, S. 10–33). Paderborn: Eusl.<br />
Ruf, M. (2009). „Ohne Moos nix los“ oder „Qualitätsmanagement ist nicht zum Nulltarif zu haben“. vlb-akzente<br />
(05), 6–9.<br />
Sächsisches Bildungsinstitut. (2008). Handreichung zum Verfahren der externen Evaluation an sächsischen<br />
Schulen: Berufsbildende Schulen.<br />
Salzbrenner, C. (2001). Erfahrungen aus einem Jahr BLK-Programm „21“. In I. Bormann (Hrsg.), Audit an<br />
Schulen – leicht gemacht (BLK-Programm „21“, S. 45–55). Hamburg: Krämer.<br />
Scanlon, M. (1999). The impact of Ofsted inspections. Slough: National Foundation for Educational Research.<br />
Schießl, O. (2005). Externe Evaluation an Bayerns Schulen. Lehrerinfo (4), 5–8.<br />
Schimitzek, C. (2008). „Es ist etwas in Bewegung geraten!“: Begleituntersuchung zur Startphase<br />
Selbstevaluation an allgemein bildenden Schulen in Baden-Württemberg (Als Ms. gedr.). Dissertation.de: Bd.<br />
1448. Berlin: dissertation.de (Pädag. Hochsch., Diss--Weingarten, 2008.).<br />
187
7. Anhang<br />
188<br />
Schmid, H. B. (2011, 29. Juli). Nürnberger Qualitätsmanagementsystem (Telefonat).<br />
Schmid, H. B. (September 2007). Qualitätsmanagement an den kommunalen Nürnberger Schulen: Fortsetzung<br />
bzw. Erweiterung von NQS. Nürnberg: Pädagogisches Institut der Stadt Nürnberg.<br />
Schmidt, U. (2010, 26. November). „Es ist die subjektive Beschaffenheit des Wissens, die uns glücklich<br />
macht…“: Ansätze für ein ungelöstes Problem: Wie definiere ich Qualität? Berlin, Heinz Nixdorf Stiftung,<br />
Hochschulrektorenkonferenz, Stifterverband für die Deutsche Wissenschaft.<br />
Schnoor, H., Mietens, A. & Lange, C. (2006). Qualitätszirkel: Theorie und Praxis der Problemlösung in<br />
Schulen. UTB Pädagogik: Bd. 2757. Paderborn: Schöningh. Verfügbar unter: http://deposit.ddb.de/cgi-bin/<br />
dokserv?id=2754398&prov=M&dok_var=1&dok_ext=htm / http://www.gbv.de/dms/hebis-darmstadt/<br />
toc/176846409.pdf.<br />
Schratz, M., Iby, M. & Radnitzky, E. (2000). Qualitätsentwicklung: Verfahren, Methoden, Instrumente. Beltz<br />
Pädagogik. Weinheim: Beltz. Verfügbar unter: http://www.gbv.de/dms/bsz/toc/bsz083585486inh.pdf.<br />
Schratz, M. (1995). Durch Evaluation den Stand schulinterner Entwicklungsprozesse widerspiegeln:<br />
Qualitätssicherung und Rechenschaftslegung im Spannungsfeld zwischen Kontrolle und Entwicklung. In H.<br />
Buchen (Hrsg.), Schulleitung und Schulentwicklung. Ein Reader (Raabe Nachschlagen-Finden, S. 116–120).<br />
Stuttgart: Raabe.<br />
Schweizerische Konferenz der kantonalen Erziehungsdirektoren (Hrsg.). (2008). Evaluation und Schulqualität:<br />
Orientierungsrahmen zuhanden von Bildungsbehören, Aufsichtsorganen und Schulleitungen (Studien und<br />
Berichte Nr. 28A). Bern.<br />
Scriven, M. (1972). Die Methodologie der Evaluation. In C. Wulf (Hrsg.), Evaluation. Beschreibung und<br />
Bewertung von Unterricht, Curricula und Schulversuchen ; Texte (Erziehung in Wissenschaft und Praxis,<br />
S. 60–91). München: Piper.<br />
Seitz, H. & Capaul, R. (2007). Schulführung und Schulentwicklung: Theoretische Grundlagen und<br />
Empfehlungen für die Praxis (2., überarb. Aufl.). Bern: Haupt. Verfügbar unter: http://deposit.d-nb.de/cgi-bin/<br />
dokserv?id=2979331&prov=M&dok_var=1&dok_ext=htm / http://www.gbv.de/dms/bs/toc/538240717.pdf.<br />
Seitz, H. (2005). Reform der kaufmännischen Grundausbildung in der Schweiz – Erste provisorische Ergebnisse<br />
aus einem Forschungsprojekt. In H. Ertl (Hrsg.), Innovationen in schulischen Kontexten. Ansatzpunkte für<br />
berufsbegleitende Lernprozesse bei Lehrkräften (S. 67–81). Paderborn: Eusl-Verlagsgesellschaft.<br />
Seitz, H. & Capaul, R. (2000). Gestaltung von Schulinnovationsprozessen. In H. Buchen, L. Horster & H.-G. Rolff<br />
(Hrsg.), Schulleitung und Schulentwicklung. Erfahrungen – Konzepte – Strategien (B 2.11, S. 1–19). Berlin:<br />
Raabe.<br />
Senatsverwaltung für Bildung, J. und Sport. (2005). Externe Evaluation: Konzept zur Inspektion der Berliner<br />
Schulen.<br />
Senatsverwaltung für Bildung, W. und Forschung. (2009). Handbuch Schulinspektion. [17.7.2011].<br />
Senge, P. M. (1994). The fifth discipline: The art and practice of the learning organization (1. Currency<br />
paperback ed.). New York, NY: Currency Doubleday.<br />
Senge, P. M. & Klostermann, M. (1998). Die fünfte Disziplin: Kunst und Praxis der lernenden<br />
Organisation. Stuttgart: Schäffer-Poeschel. Verfügbar unter: http://deposit.d-nb.de/cgi-bin/<br />
dokserv?id=3154988&prov=M&dok_var=1&dok_ext=htm.<br />
Shaw, I., Newton, D. P., Aitkin, M. & Darnell, R. (2003). Do Ofsted inspections of secondary schools make a<br />
difference to GCSE results? British Educational Research Journal, 29 (1), 63–75.<br />
Staatsinstitut für Schulqualität und Bildungsforschung. (2008). Zwischenbericht: „Zwei Jahre QmbS – an der<br />
Schwelle zur bayernweiten Einführung“. München. Verfügbar unter: http://www.qmbs-bayern.de/userfiles/<br />
Zwischenbericht.pdf.<br />
Staatsinstitut für Schulqualität und Bildungsforschung. (2007). Interne Evaluation an Bayerns Schulen<br />
(Bayerisches Staatsministerium für Unterricht und Kultus, Hrsg.). München.<br />
Staatsinstitut für Schulqualität und Bildungsforschung (Hrsg.). (2007). QmbS: Qualitätsmanagement an<br />
beruflichen Schulen. München. Verfügbar unter: http://www.isb.bayern.de/isb/download.aspx?DownloadFile<br />
ID=923891ba8d3392d0f5503125535ddee6.
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Staatsinstitut für Schulqualität und Bildungsforschung. (2005). Externe Evaluation an Bayerns Schulen<br />
(Bayerisches Staatsministerium für Unterricht und Kultus, Hrsg.). München.<br />
Steffens, U. (2007). Schulqualitätsdiskussion in Deutschland – Ihre Entwicklung im Überblick. In J. van Buer &<br />
C. Wagner (Hrsg.), Qualität von Schule: Ein kritisches Handbuch (S. 21–51). Frankfurt am Main: Lang.<br />
Steiner, P. & Landwehr, N. (2007). Das Q2E-Modell – Schritte zur Schulqualität. Q2E – Qualität durch Evaluation<br />
und Entwicklung (1), 1–75.<br />
Stockmann, R. (2010). Wissensbasierte Evaluation. In R. Stockmann & W. Meyer (Hrsg.), Evaluation. Eine<br />
Einführung (UTB Sozialwissenschaften, S. 55–100). Opladen: Budrich.<br />
Stockmann, R. (2007). Einführung in die Evaluation. In R. Stockmann (Hrsg.), Handbuch zur Evaluation.<br />
Eine praktische Handlungsanleitung (Sozialwissenschaftliche Evaluationsforschung, S. 24–70). Münster:<br />
Waxmann.<br />
Strahm, P. (2008). Qualität durch systematisches Feedback: Grundlagen, Einblicke und Werkzeuge. Impulse zur<br />
Schulentwicklung. Bern: Schulverlag blmv.<br />
Temme, K. (2002). Qualitätsmanagement in der Schule: Neue Konzepte für Bildung und Ausbildung in der<br />
Schule. Hannover: Schroedel.<br />
Tergan, S.-O. (2000). Grundlagen der Evaluation: ein Überblick. In P. Schenkel (Hrsg.), Qualitätsbeurteilung<br />
multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand (Multimediales<br />
Lernen in der Berufsbildung, S. 22–51). Nürnberg: BW Bildung und Wiss. Verl. und Software.<br />
Terhart, E. (2000). Qualität und Qualitätssicherung im Schulsystem. Zeitschrift für Pädagogik, 46 (6), 809–829.<br />
Thüringer Ministerium für Bildung, Wissenschaft und Kultur. Thüringer Schulportal. Verfügbar unter: http://<br />
www.schulportal-thueringen.de/web/guest/impressum [17.7.2011].<br />
Vaccaro, D. (2010). Innere Schulentwicklung und Vergleichbarkeit: Eine Herausforderung für die externe<br />
Evaluation. In B. Schaal & F. Huber (Hrsg.), Qualitätssicherung im Bildungswesen. Auftrag und Anspruch der<br />
Bayerischen Qualitätsagentur (S. 169–184). Münster, Westf: Waxmann.<br />
Vormfenne, E. (2011). Qualitätsentwicklung durch Peer Review. DIE KAUFMÄNNISCHE SCHULE (3), 6–7.<br />
Wenzel, H. (2004). Studien zur Organisations- und Schulkulturentwicklung. In W. Helsper & J. Böhme (Hrsg.),<br />
Handbuch der Schulforschung. 1. Aufl. (S. 391–416). Wiesbaden: VS Verl. für Sozialwiss.<br />
Wilbers, K. (2011). Berufs- und Wirtschaftspädagogische Didaktik: Teil II: <strong>Universität</strong>sschule Texte zur Didaktik.<br />
Nürnberg: Lehrstuhl für Wirtschaftspädagogik und Personalentwicklung.<br />
Wilbers, K. (2009, 23. Juni). Qualitätsmanagement an beruflichen Schulen. Nürnberg: Bürgermeister Dr. Gsell,<br />
Schulausschuss der Stadt Nürnberg.<br />
Wilbers, K. (2008). Hochschultage Berufliche Bildung – Qualität in Schule und Betrieb: Interview mit Professor<br />
Dr. Karl Wilbers. Berufsbildung in Wissenschaft und Praxis, 36 (1), 48–49.<br />
Wilbers, K. (2007). Die Qualität von <strong>Universität</strong>en und beruflichen Schulen (Berichte zur Wirtschaftspädagogik<br />
und Personalentwicklung Nr. 2007-1). Nürnberg: <strong>Universität</strong> <strong>Erlangen</strong>-Nürnberg, Lehrstuhl für<br />
Wirtschaftspädagogik und Personalentwicklung.<br />
Wilcox, B. & Gray, J. (1996). Inspecting Schools: Holding Schools to account and helping them to improve.<br />
Buckingham: Open university press.<br />
Wittenberg, R. & Cramer, H. (2003). Datenanalyse mit SPSS für Windows: Mit zahlreichen Tabellen und<br />
Übersichten (3., neubearb. Aufl.). UTB: Bd. 1841. Stuttgart: Lucius & Lucius. Verfügbar unter: http://www.<br />
gbv.de/dms/goettingen/378543024.pdf.<br />
Wottawa, H. & Thierau, H. (1990). Lehrbuch Evaluation. Huber. Bern: Huber.<br />
Yin, R. K. (2009). Case study research: Design and methods (4th ed.). Applied social research methods: Bd. 5.<br />
Los Angeles Calif.: SAGE Publications.<br />
Zirkler, S. (2007). Qualitätsmanagement an Schulen: Eine Untersuchung der Qualitätsarbeit der Beruflichen<br />
Schulen in Nürnberg. <strong>Erlangen</strong> (Magisterarbeit).<br />
189
7. Anhang<br />
190<br />
Zöller, A. (2009, 18. Juni). Qualitätsmanagement an beruflichen Schulen in Bayern: Projektvorstellung<br />
im Rahmen der regionalen Informationsveranstaltungen. Landshut: Institut für Schulqualität und<br />
Bildungsforschung. Verfügbar unter: www.schulentwicklung.bayern.de/…/QmbSPraesRegInfoZoe.ppt<br />
[26.9.2009].<br />
Zöller, A. (2007). „QmbS“ – praxistaugliches Qualitätsmanagementsystem für berufliche Schulen: Ein<br />
Gesamtsystem zur Unterstützung eines professionellen schulinternen Qualitätsmanagementprozesses.<br />
Berufsbildung, 61 (107/108), 19–21.<br />
Zöller, A. (2007). Wegmarken zu einer systematischen schulischen Qualitätsentwicklung. Berufsbildung, 61<br />
(107/108), 3–8.<br />
Zurwehme, A. (2011, 09. Juni). Wirkungsanalyse externer Evaluation (E-Mail).
7.2 Abbildungsverzeichnis<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Abbildung 1: Ziele von Qualitätsmanagementsystemen erweitert nach (Dubs, 2009, S. 1230) ........ 28<br />
Abbildung 2: Darstellung eines prozessorientierten Qualitätsmanagementsystems (DIN Deutsches<br />
Institut für Normung e. V., 2009) ....................................................................................................... 30<br />
Abbildung 3: Das EFQM Modell 2010 (Deutsche Gesellschaft zur Zertifizierung von Management-<br />
systemen) ........................................................................................................................................... 34<br />
Abbildung 4: Wirkungsbereiche der externen Schulevaluation und ihre Interaktionseffekte nach<br />
lanDWehr (Landwehr, 2011, S. 41) ..................................................................................................... 44<br />
Abbildung 5: Deming-Kreis (Steiner et al., 2007, S. 7) ......................................................................... 48<br />
Abbildung 6: Die Komponenten des Q2E-Modells nach Steiner/Landwehr (Steiner et al., 2007, S. 18)<br />
49<br />
Abbildung 7: Basisinstrument zur Schulqualität (Landwehr, 2007) .....................................................51<br />
Abbildung 8: Das bayerische Qualitätsmanagementsystem QmbS (Staatsinstitut für Schulqualität<br />
und Bildungsforschung, 2007, S. 9) .................................................................................................. 60<br />
Abbildung 9: Zusammenspiel der Bausteine in QmbS (Staatsinstitut für Schulqualität und Bildungs-<br />
forschung, 2007, S. 10) ...................................................................................................................... 61<br />
Abbildung 10: Arbeitsschritte und Verantwortlichkeiten bei der Erarbeitung eines schulspezifischen<br />
Qualitätsverständnisses (Staatsinstitut für Schulqualität und Bildungsforschung, 2007, S. 14) .. 62<br />
Abbildung 11: Zusammensetzung des QmbS-Teams (Kennerknecht, 08.11.2008, S. 18) ................. 65<br />
Abbildung 13: Prozess der NQS-Routine ............................................................................................. 75<br />
Abbildung 14: Ablauf der externen Evaluation nach NQS ................................................................... 77<br />
Abbildung 15: Zusammensetzung des Peer-Teams in NQS-E ............................................................ 80<br />
Abbildung 16: Wirkungsmodell externer Schulevaluation nach ehren & ViSScher (Ehren et al., 2006,<br />
S. 66) .................................................................................................................................................. 93<br />
Abbildung 17: Phasen und idealtypische Aufgaben des Wandlungsmanagements nach Krüger<br />
(Krüger et al., 2005, S. 14) ................................................................................................................. 94<br />
Abbildung 18: Strukturierungsmodell nach Böttcher zur Schulentwicklung nach einer Schulinspek-<br />
tion (Böttcher et al., 2010, S. 27) ....................................................................................................... 95<br />
Abbildung 19: Modell der Wirksamkeit externer Evaluation .............................................................. 102<br />
Abbildung 20: Beispiele für Adaptionsmöglichkeiten (Hall et al., 2011, S. 45) .................................. 106<br />
Abbildung 21: Stages of Concern, Stufen der Betroffenheit (Hall et al., 2011, S. 72, 73) ..................107<br />
Abbildung 22: Levels of Use, Stufen der Verhaltensänderung (Hall et al., 2011, S. 94) .................... 108<br />
Abbildung 23: Concerns-Based Adoption Model von Hall & Hord (Hall et al., 2011, S. 265) ........... 109<br />
Abbildung 24: Phasen des Forschungsprozesses ..............................................................................118<br />
Abbildung 25: Entscheidungskette Levels of Use; Fullan zitiert nach Hall et al., 2011, S. 101 ..........124<br />
191
7. Anhang<br />
192<br />
Abbildung 26: Zusammenhang Levels of Use und Entscheidungskette ............................................125<br />
Abbildung 27: Entwicklungen von Personen in einem Innovationsprozess (Hall et al., 2011, S. 77) . 127<br />
Abbildung 28: Relation zwischen Stages of Concern und Levels of Use ......................................... 129<br />
Abbildung 29: Interdependenz Stages of Concern und Levels of Use ............................................. 130<br />
Abbildung 30: Stufenbezogene Interventionsmöglichkeiten zitiert nach Robbins & Alvy, 2003, S. 78;<br />
Seitz, 2005, S. 78 ............................................................................................................................ 132<br />
Abbildung 31: Einbindung des Peer Review Besuchs in Konferenzen .............................................. 152<br />
Abbildung 32: Ebenen der Qualitätsregelkreise ................................................................................. 154<br />
Abbildung 33: Zielaufbau .................................................................................................................... 155<br />
Abbildung 34: Allgemeine Empfehlungen für die Durchführung externer Evaluationen zur Erhöhung<br />
von Wirksamkeit .............................................................................................................................. 160
7.3 Tabellenverzeichnis<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
Tabelle 1: Systematische Qualitätsentwicklung an beruflichen Schulen verändert<br />
nach Zöller, 2007a, S. 6; Wilbers, 23.06.2009 .................................................................................. 29<br />
Tabelle 2: Externe Bedingungen der effektiven Schulentwicklung<br />
nach Reezigt & Creemers (2005, S. 409) .......................................................................................... 91<br />
Tabelle 3: Interne Bedingungen der effektiven Schulentwicklung<br />
nach Reezigt & Creemers (2005, S. 414) .......................................................................................... 92<br />
Tabelle 4: Typologisierung der Fallstudie (Lamnek, 2008, S. 322) .....................................................116<br />
Tabelle 5: Beteiligung der Lehrkräfte am quantitativen Forschungsprozess .................................... 138<br />
Tabelle 6: Werte zur ersten Phase des Peer Reviews: Vorbereitung des Peer Reviews ................... 139<br />
Tabelle 7: Verhaltensweisen der Bildungseinrichtungen in der Vorbereitungsphase ....................... 139<br />
Tabelle 8: Werte zur zweiten Phase des Peer Reviews: Peer Besuch ............................................... 140<br />
Tabelle 9: Werte zur dritten Phase des Peer Reviews: Peer Review Bericht .....................................141<br />
Tabelle 10: Werte zur vierten Phase des Peer Reviews: Umsetzung von Maßnahmen .....................142<br />
Tabelle 11: Zusammenhang der schulischen Verhaltensweise in der Vorbereitungsphase und der<br />
Diskussion von Verbesserungsmaßnahmen ...................................................................................142<br />
Tabelle 12: Werte zu den Peer Review Phasen in Bezug auf die Statusgruppen .............................. 143<br />
Tabelle 13: Bewertung der Innovationsadaptierung ........................................................................... 144<br />
Tabelle 14: Einschätzungen zur Veränderung der Lernleistungen von SchülerInnen ....................... 146<br />
Tabelle 15: Nutzen-Aufwand-Relation .................................................................................................147<br />
Tabelle 16: Interventionsmöglichkeiten der einzelnen Schulen ......................................................... 158<br />
193
7. Anhang<br />
194<br />
7.4 Abkürzungen<br />
ARGEV Arbeitsgemeinschaft Externer Evaluationen von Schulen<br />
BBB Berufsbereichsbetreuer<br />
BMUKK Bundesministerium für Unterricht, Kunst und Kultur<br />
BRD Bundesrepublik Deutschland<br />
CBAM Concerns-Based Adoption Model<br />
EQR europäischer Qualifikationsrahmen<br />
EFQM European Foundation for Quality Management<br />
EQA European Quality Award<br />
IFES Institut für Externe Schulevaluation auf der Sekundarstufe II<br />
ISB Institut für Schulqualität und Bildungsforschung<br />
ISO International Organisation for Standardisation<br />
k. A. keine Angabe<br />
LoU Levels of Use<br />
MW Mittelwert<br />
NAR Nutzen-Aufwand-Relation<br />
NW EDK Nordwestschweizerische Erziehungsdirektorenkonferenz<br />
OE Organisationsentwicklung<br />
OES Operativ Eigenständige Schule<br />
Ofsted Office for Standards in Education<br />
PE Personalentwicklung<br />
PDCA Plan, Do, Check, Act<br />
PI Pädagogisches Institut<br />
Quabs Qualitätsentwicklung an beruflichen Schulen<br />
QM Qualitätsmanagement<br />
QmbS Qualitätsmanagement an beruflichen Schulen<br />
QMS Qualitätsmanagementsystem<br />
SD Standardabweichung<br />
SoC Stages of Concern<br />
TQM Total Quality Management<br />
UE Unterrichtsentwicklung<br />
Wipäd Wirtschaftspädagogik
7.5 Footnotes<br />
1 Landwehr & Steiner (2007)<br />
2 Gutknecht-Gmeiner et al., 2007<br />
3 Kaiser-Aretz et al. (2010)<br />
Analyse der Wirksamkeit und Möglichkeiten der Weiterentwicklung externer Evaluationen<br />
4 Staatsinstitut für Schulqualität und Bildungsforschung (2005)<br />
5 vgl. 2.3.1.3.2.5<br />
6 Senatsverwaltung für Bildung (2005); Senatsverwaltung für Bildung (2009)<br />
7 Ministerium für Bildung (2008)<br />
8 Institut für Schulentwicklung<br />
9 Institut für Bildungsmonitoring Hamburg<br />
10 Hessisches Kultusministerium<br />
11 Landesinstitut für Schule und Ausbildung (2006)<br />
12 Niedersächsischer Bildungsserver<br />
13 Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen<br />
14 Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen<br />
15 Heinrich, 09.08.2011<br />
16 Sächsisches Bildungsinstitut (2008)<br />
17 Landesportal Sachsen-Anhalt<br />
18 Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (2008)<br />
19 Thüringer Ministeriums für Bildung, Wissenschaft und Kultur<br />
20 Landwehr & Steiner (2007)<br />
21 Gutknecht-Gmeiner et al., 2007<br />
22 Kaiser-Aretz et al. (2010)<br />
23 Staatsinstitut für Schulqualität und Bildungsforschung (2005)<br />
24 vgl. 2.3.1.3.2.5<br />
25 Senatsverwaltung für Bildung (2005); Senatsverwaltung für Bildung (2009)<br />
26 Ministerium für Bildung (2008)<br />
27 Institut für Schulentwicklung<br />
28 Institut für Bildungsmonitoring Hamburg<br />
29 Hessisches Kultusministerium<br />
30 Landesinstitut für Schule und Ausbildung (2006)<br />
31 Niedersächsischer Bildungsserver<br />
32 Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen<br />
33 Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen<br />
34 Heinrich, 09.08.2011<br />
35 Sächsisches Bildungsinstitut (2008)<br />
36 Landesportal Sachsen-Anhalt<br />
37 Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (2008)<br />
195
7. Anhang<br />
196<br />
38 Thüringer Ministeriums für Bildung, Wissenschaft und Kultur<br />
39 Landwehr & Steiner (2007);<br />
40 Gutknecht-Gmeiner et al., 2007<br />
41 Kaiser-Aretz et al. (2010)<br />
42 Staatsinstitut für Schulqualität und Bildungsforschung (2005)<br />
43 vgl. 2.3.1.3.2.5<br />
44 Senatsverwaltung für Bildung (2005); Senatsverwaltung für Bildung (2009)<br />
45 Ministerium für Bildung (2008)<br />
46 Institut für Schulentwicklung<br />
47 Institut für Bildungsmonitoring Hamburg<br />
48 Hessisches Kultusministerium<br />
49 Landesinstitut für Schule und Ausbildung (2006)<br />
50 Niedersächsischer Bildungsserver<br />
51 Ministerium für Schule und Weiterbildung des Landes Nordrhein-Westfalen<br />
52 Agentur für Qualitätssicherung, Evaluation und Selbstständigkeit von Schulen<br />
53 Heinrich, 09.08.2011<br />
54 Sächsisches Bildungsinstitut (2008)<br />
55 Landesportal Sachsen-Anhalt<br />
56 Ministerium für Bildung und Frauen des Landes Schleswig-Holstein (2008)<br />
57 Thüringer Ministeriums für Bildung, Wissenschaft und Kultur