Peer Review als externe Evaluation - vLw NRW eV
Peer Review als externe Evaluation - vLw NRW eV
Peer Review als externe Evaluation - vLw NRW eV
Sie wollen auch ein ePaper? Erhöhen Sie die Reichweite Ihrer Titel.
YUMPU macht aus Druck-PDFs automatisch weboptimierte ePaper, die Google liebt.
<strong>Evaluation</strong> und Organisationsberatung<br />
<strong>Evaluation</strong> and Organisational Development<br />
<strong>Peer</strong> <strong>Review</strong> für Berufskollegs<br />
Eine Alternative zur Qualitätsanalyse<br />
Arbeitstagung des Verbands der Lehrerinnen und<br />
Lehrer an Wirtschaftsschulen <strong>NRW</strong><br />
Dr. Maria Gutknecht-Gmeiner<br />
18. März 2011<br />
1 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Was Sie erwartet<br />
Dimensionen von Steuerung und <strong>Evaluation</strong><br />
<br />
Was Wer Wozu (Wie)<br />
<strong>Peer</strong> <strong>Review</strong> <strong>als</strong> <strong>externe</strong> <strong>Evaluation</strong><br />
<br />
<br />
<br />
Definition und Anwendung<br />
Das Europäische <strong>Peer</strong> <strong>Review</strong> Verfahren<br />
Erfahrungen<br />
Chancen und Grenzen von <strong>Peer</strong> <strong>Review</strong><br />
Diskussion<br />
2 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Was wird gesteuert und evaluiert<br />
CIPP-Modell (Stufflebeam)<br />
Input Process Output<br />
Outcome<br />
Context<br />
3 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Wer steuert und evaluiert<br />
Staat<br />
<br />
Inputsteuerung durch gesetzlichen Rahmen,<br />
Inspektionen, Qualitätsanalysen, Schul-TÜVs, Tests etc.<br />
Markt<br />
<br />
(Simulierung von) Wettbewerb zwischen Schulen, Profilbildung,<br />
„Abstimmung mit den Füßen“, Gutscheinsysteme/Vouchers etc.<br />
Profession<br />
<br />
(Weiter)Entwicklung und Überwachung von Standards<br />
in der Ausübung der Profession durch die Profession selbst,<br />
<strong>Peer</strong> <strong>Review</strong><br />
4 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Wozu wird gesteuert und evaluiert<br />
Gutknecht-Gmeiner nach Nisbet 1990<br />
5 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Was ist <strong>Peer</strong> <strong>Review</strong><br />
<strong>Peer</strong><br />
<br />
<br />
Person, die gleichgestellt ist in Bezug auf bestimmtes Merkmal (rechtlicher, sozialer<br />
Status, Alter)<br />
Berufliches Umfeld: Professionszugehörigkeit, Fachkolleg/innen<br />
<strong>Review</strong><br />
<br />
<br />
Sichtung und Überprüfung mit dem Ziel Verbesserungen einzuleiten<br />
Als Synonym für <strong>Evaluation</strong> verwendet = <strong>Peer</strong> <strong>Evaluation</strong><br />
Merkmale von <strong>Peer</strong> <strong>Review</strong><br />
<br />
<br />
<br />
<br />
<br />
Externe <strong>Evaluation</strong><br />
Basiert auf einer Selbstevaluation<br />
Durchgeführt von "<strong>Peer</strong>s", d.h. gleichgestellten, unabhängigen (Fach)Kolleg/innen<br />
aus anderen (vergleichbaren) Institutionen<br />
Schließt einen <strong>Peer</strong> Besuch ein<br />
<strong>Evaluation</strong>sverfahren mit langer Tradition im Hochschulbereich<br />
6 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Europäische <strong>Peer</strong> <strong>Review</strong> Projekte<br />
Entwicklung eines <strong>Peer</strong> <strong>Review</strong> Verfahrens<br />
für die berufliche Bildung in Europa<br />
3 bzw. 4 Europäische <strong>Peer</strong> <strong>Review</strong> Projekte 2004-2011<br />
<strong>Peer</strong> <strong>Review</strong> in initial VET (2004-2007),<br />
<strong>Peer</strong> <strong>Review</strong> Extended (2007), <strong>Peer</strong> <strong>Review</strong> Extended II (2007-2009)<br />
<strong>Peer</strong> <strong>Review</strong> Impact (2009-2011)<br />
<br />
<br />
25 transnationale <strong>Peer</strong> <strong>Review</strong>s<br />
<br />
<br />
2006-2009 in 11 europäischen Ländern<br />
Begleitende <strong>Evaluation</strong> und Wirkungsanalyse<br />
Wichtigste Produkte<br />
<br />
<br />
<br />
Europäisches <strong>Peer</strong> <strong>Review</strong> Handbuch<br />
Toolbox, Schulungskonzept<br />
Website: www.peer-review-education.net<br />
Lifelong Learning Award 2009<br />
Ziel <strong>Peer</strong> <strong>Review</strong><br />
unterstützt<br />
Qualitätsentwicklung<br />
an Schulen<br />
“improve not prove”<br />
7 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Europäisches <strong>Peer</strong> <strong>Review</strong> Verfahren - Güte<br />
Europäisches <strong>Peer</strong> <strong>Review</strong> Handbuch für die berufliche (Erstaus)Bildung<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
Entwickelt auf der Basis internationaler Recherchen und vergleichender Analysen<br />
<br />
<br />
<br />
internationale Recherche (professionelle Anwendungsgebiete)<br />
Wissenschaftliche Aufarbeitung<br />
Recherche von Modellversuchen bzw. Best Practice aus 11 Ländern<br />
Berücksichtigung von <strong>Evaluation</strong>sstandards (DeGEval)<br />
Entspricht europäischen Vorgaben (CQAF/EQAVET)<br />
Bedürfnisse und Interessen von Beteiligten und Betroffenen eingeholt, europäischer<br />
Abstimmungsprozess<br />
Europaweites Angebot: transnationale Anwendung möglich<br />
Erfolgreiche Pilotierung von transnationalen <strong>Peer</strong> <strong>Review</strong>s, <strong>Evaluation</strong><br />
Eignung <strong>als</strong> Impuls für Schulentwicklungsprozesse bestätigt<br />
8 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Europäisches <strong>Peer</strong> <strong>Review</strong> Verfahren – Definition1<br />
<br />
<br />
Was ist das Europäische <strong>Peer</strong> <strong>Review</strong> Verfahren<br />
– Definition und grundlegende Charakteristika<br />
<br />
Das Europäische <strong>Peer</strong> <strong>Review</strong> Verfahren ist eine<br />
freiwillige, formative (d.h. entwicklungsorientierte), qualitative <strong>externe</strong> <strong>Evaluation</strong><br />
innerhalb der Profession und im Netzwerk.<br />
Wer evaluiert<br />
– die <strong>Peer</strong>s<br />
<br />
<br />
Unabhängige FachkollegInnen aus anderen Berufsbildungseinrichtungen, die den<br />
Evaluierten gleichgestellt sind.<br />
Zusätzlich kann ein "Stakeholder <strong>Peer</strong>" einbezogen werden und ein internationaler<br />
<strong>Peer</strong> (aus einem anderen Land).<br />
9 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Europäisches <strong>Peer</strong> <strong>Review</strong> Verfahren – Definition2<br />
<br />
<br />
Wie wird das Europäische <strong>Peer</strong> <strong>Review</strong> Verfahren durchgeführt<br />
– der Ablauf<br />
<br />
<br />
<br />
Stufiges Verfahren: kombiniert Selbstevaluation mit <strong>externe</strong>r <strong>Evaluation</strong>.<br />
Folgt einem systematischen Ablauf (4 Phasen).<br />
Baut auf qualitativen Methoden auf, nutzt quantitative Daten<br />
Was wird evaluiert<br />
– die Qualitätsbereiche<br />
<br />
<br />
<br />
<br />
<br />
Institutionelle <strong>Evaluation</strong>: Schulen oder Teile von Schulen<br />
Frei wählbar, fokussierte <strong>Evaluation</strong> empfohlen<br />
Lernen und Lehren im Mittelpunkt jedes <strong>Peer</strong> <strong>Review</strong><br />
Transnational <strong>Peer</strong> <strong>Review</strong>s: 14 Europäische Qualitätsbereiche<br />
Kann mit jedem Qualitätsrahmen verwendet werden.<br />
10 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Das <strong>Peer</strong> Team<br />
4 <strong>Peer</strong>s<br />
2 (min.)<br />
1<br />
1<br />
Beruflicher Hintergrund /<br />
Institutionelle Herkunft<br />
KollegInnen aus anderen Schulen<br />
(LehrerInnen, Management, Qualitätsbeauftragte,<br />
etc.)<br />
VertreterInnen von Stakeholdergruppen<br />
(Unternehmen, zubringende und abnehmende<br />
Systeme, Sozialpartner, etc.)<br />
ProfessionelleR EvaluatorIn<br />
(kann auch von einer/m <strong>Peer</strong> der anderen<br />
Kategorien abgedeckt werden)<br />
Erforderliche Kenntnisse und<br />
Kompetenzen<br />
Qualitätsbereiche<br />
Unterrichtserfahrung<br />
Qualitätssicherung und<br />
<strong>Evaluation</strong><br />
Qualitätsbereiche<br />
Qualitätssicherung und<br />
<strong>Evaluation</strong><br />
Expertise in <strong>Evaluation</strong>,<br />
Moderation and<br />
Kommunikation<br />
Berufsbildungssystem<br />
Gender Mainstreaming Expertise; ein <strong>Peer</strong> aus einem anderen Land<br />
11 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Ablauf <strong>Peer</strong> <strong>Review</strong><br />
12 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Qualitätsbereiche<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
QA 1: Lehrpläne<br />
QA 2: Lernen und Lehren<br />
QA 3: Prüfen und Beurteilen<br />
QA 4: Lernergebnisse und<br />
berufliche Verwertbarkeit<br />
QA 5: Sozioökonomisches<br />
Umfeld und Zugang<br />
QA 6: Management und<br />
Verwaltung<br />
QA 7: Ziele & Werte und<br />
strategische Planung<br />
QA 8: Infrastruktur und finanzielle<br />
Ressourcen<br />
QA 9: Personal: Planung,<br />
Rekrutierung, Entwicklung<br />
QA 10: Arbeitsbedingungen<br />
QA 11: Außenbeziehungen und<br />
Internationalisierung<br />
QA 12: Partizipation und soziale<br />
Beziehungen<br />
QA 13: Gender Mainstreaming<br />
QA 14: Qualitätsmanagement und<br />
Evaluierung<br />
2 wählen, mindestens einen der Qualitätsbereiche 1-4 "Schlüsselprozesse"<br />
13 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Chancen von <strong>Peer</strong> <strong>Review</strong><br />
<br />
<br />
<br />
<br />
<br />
Niederschwellige <strong>externe</strong> <strong>Evaluation</strong> durch kritische Freund/innen,<br />
„freundlich und human“, fördert <strong>Evaluation</strong>skultur<br />
„<strong>Evaluation</strong>, die nützt“<br />
Basiert auf Eigenverantwortung der Schulen und unterstützt Schulentwicklung<br />
Flexibles Verfahren, baut auf Qualitätsaktivitäten auf (keine Dopplungen)<br />
Fördert Öffnung, Dialog und Vernetzung der Schulen<br />
Stärkt institutionenübergreifendes professionelles Qualitätsbewusstsein<br />
<br />
Nutzen für Schulen und <strong>Peer</strong>s (und deren Schulen)<br />
<br />
Ergebnisse und Erfahrungen bleiben „im System“<br />
<br />
<br />
<br />
Unterstützt Transfer von guter Praxis und Innovationen<br />
Macht Lust auf <strong>Evaluation</strong><br />
Kostengünstig (kein Aufbau von <strong>Evaluation</strong>sstäben)<br />
14 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Grenzen von <strong>Peer</strong> <strong>Review</strong><br />
<br />
<br />
<br />
<br />
<br />
Anerkennung und Glaubwürdigkeit von <strong>Peer</strong> <strong>Review</strong> <strong>als</strong> <strong>externe</strong>s Verfahren<br />
innerhalb der Profession<br />
<br />
<br />
Lehren <strong>als</strong> Profession<br />
Zusätzliche <strong>externe</strong> Qualitätssicherung, um Interessen anderer Anspruchsgruppen zu<br />
gewährleisten<br />
<strong>Peer</strong> <strong>Review</strong> <strong>als</strong> Verfahren zur (staatlichen) Überprüfung und Kontrolle<br />
nicht geeignet<br />
Ebenso nicht geeignet <strong>als</strong> erschöpfende <strong>Evaluation</strong>, die<br />
einrichtungsübergreifende Vergleiche (Rankings) zulässt<br />
(qualitative Ausrichtung; Aufwand/Machbarkeit)<br />
Überprüfung von Mindeststandards: Potenzial von <strong>Peer</strong> <strong>Review</strong> nicht<br />
genutzt!<br />
Verpflichtung zu <strong>Peer</strong> <strong>Review</strong>: Gewährleistung von Offenheit<br />
15 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Offene Fragen und Gefahren<br />
Parallelität von <strong>Peer</strong> <strong>Review</strong> und anderen <strong>externe</strong>n <strong>Evaluation</strong>en –<br />
Doppelbelastung<br />
<br />
<br />
<br />
<br />
Primat der kontrollorientierten <strong>Evaluation</strong><br />
<br />
<br />
Auswirkung auf das Verfahren, z.B. Wahl der Fragestellungen<br />
Vernachlässigung von Befunde des <strong>Peer</strong> <strong>Review</strong>s, Priorität der Empfehlungen von<br />
kontrollorientierten <strong>Evaluation</strong>en<br />
<strong>Peer</strong> <strong>Review</strong> <strong>als</strong> reine „Generalprobe“ für andere <strong>externe</strong> Verfahren<br />
Finanzierung von <strong>Peer</strong> <strong>Review</strong><br />
Unterstützungs- und Koordinationsstrukturen für <strong>Peer</strong> <strong>Review</strong>s<br />
16 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Ein paar Ideen zur Umsetzung…<br />
<br />
<br />
<br />
<br />
Freiwillige <strong>Peer</strong> <strong>Review</strong>s<br />
aus intrinsischem Interesse<br />
Auch bei Beibehaltung kontrollorientierter<br />
Verfahren könnten Schulen, die dabei gut<br />
abgeschnitten haben, diese durch <strong>Peer</strong><br />
<strong>Review</strong> ersetzen<br />
<strong>Peer</strong> <strong>Review</strong> statt kontrollorientierter<br />
Verfahren, andere Mechanismen zur<br />
Durchsetzung von Mindeststandards<br />
…<br />
Ihre Ideen und Vorschläge<br />
17 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Danke für Ihre Aufmerksamkeit<br />
Dr. Maria Gutknecht-Gmeiner<br />
IMPULSE – <strong>Evaluation</strong> und Organisationsberatung<br />
m.gutknecht-gmeiner@impulse.at<br />
www.impulse.at<br />
www.peer-review-education.net<br />
18 <strong>Peer</strong> <strong>Review</strong> für Berufskollegs – eine Alternative zur Qualitätsanalyse
Change language