PISA 2012: Die Studie im Überblick - Bifie
PISA 2012: Die Studie im Überblick - Bifie
PISA 2012: Die Studie im Überblick - Bifie
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
<strong>PISA</strong> <strong>2012</strong><br />
Internationaler Vergleich<br />
von Schülerleistungen<br />
<strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Herausgegeben von<br />
Ursula Schwantner & Claudia Schreiner
Schwantner, U. & Schreiner, C. (Hrsg.)<br />
<strong>PISA</strong> <strong>2012</strong><br />
Internationaler Vergleich von<br />
Schülerleistungen<br />
<strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Leykam
Bundesministerium für Unterricht, Kunst und Kultur<br />
Minoritenplatz 5 / 1014 Wien<br />
Das Bundesministerium hat die Durchführung der OECD-<strong>Studie</strong> <strong>PISA</strong> in Österreich<br />
beauftragt.<br />
Bundesinstitut für Bildungsforschung, Innovation & Entwicklung<br />
des österreichischen Schulwesens<br />
Alpenstraße 121 / 5020 Salzburg<br />
Direktoren: MMag. Christian Wiesner & Mag. Martin Netzer, MBA<br />
www.bifie.at<br />
<strong>PISA</strong> <strong>2012</strong>. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong>.<br />
Schwantner, U. & Schreiner, C. (Hrsg.)<br />
Graz: Leykam 2013<br />
ISBN 978-3-7011-7888-9<br />
Einbandgestaltung und Layout:<br />
<strong>Die</strong> Fliegenden Fische, Salzburg &<br />
Andreas Kamenik, BIFIE I Zentrales Management & Services<br />
Satz: Hannes Kaschnig, BIFIE I Zentrales Management & Services<br />
Druck: Steiermärkische Landesdruckerei GmbH, 8020 Graz<br />
© by Leykam Buchverlagsgesellschaft m. b. H. Nfg. & Co. KG, Graz 2013<br />
www.leykamverlag.at<br />
Kein Teil des Werks darf in irgendeiner Form (durch Fotografie, Mikrofilm oder ein anderes Verfahren)<br />
ohne schriftliche Genehmigung des Verlags reproduziert oder unter Verwendung elektronischer<br />
Systeme verarbeitet, vervielfältigt oder verbreitet werden.
Vorwort<br />
Österreich kann seine Zukunft gestalten und entwickeln, wenn alle Menschen Chancen auf<br />
ein Vorwärtskommen haben. Unser Bildungssystem muss allen Kindern und Jugendlichen,<br />
unabhängig von der Herkunft oder dem sozialem Status der Eltern, die Möglichkeiten bieten,<br />
die sie für die Entwicklung ihrer Persönlichkeit und ihrer Talente benötigen. Wir können<br />
in unserer Gesellschaft auf kein Talent verzichten.<br />
Das erfordert auch die verlässliche Vermittlung von Kompetenzen in Lesen, Mathematik und<br />
den Naturwissenschaften. Schließlich sind diese ein Fundament für lebenslanges Lernen und<br />
den Umgang mit neuen Anforderungen <strong>im</strong> Laufe des Lebens.<br />
<strong>PISA</strong> untersucht, inwieweit fünfzehn- bzw. sechzehnjährige Schülerinnen und Schüler gegen<br />
Ende ihrer Pflichtschulzeit, über diese Kompetenzen verfügen. <strong>Die</strong> Ergebnisse geben darüber<br />
hinaus Auskunft über demografische Kontextindikatoren sowie Merkmale der häuslichen<br />
und schulischen Umwelt und ermöglichen einen internationalen Vergleich. Nachdem in der<br />
vorangegangenen Erhebung besonderes Augenmerk auf die Lesekompetenz gerichtet wurde,<br />
ist in der vorliegenden <strong>Studie</strong> die Mathematikkompetenz <strong>im</strong> Mittelpunkt. Zusätzlich beinhaltet<br />
die <strong>Studie</strong> den Bereich des Problemlösens.<br />
Für unsere faktenbasierte Bildungspolitik sind empirische Befunde eine essenzielle Voraussetzung.<br />
<strong>Die</strong> letzten <strong>PISA</strong>-Ergebnisse haben uns einmal mehr deutlich gezeigt, dass es keine<br />
Alternative zu dem eingeschlagenen Weg der Weiterentwicklung des österreichischen Schulwesens<br />
gibt. Viele der Erkenntnisse, die aus den vorangegangenen Erhebungen gewonnen<br />
werden konnten, sind in die Reformprojekte der letzten Jahre eingeflossen. <strong>Die</strong> <strong>PISA</strong>-<strong>Studie</strong><br />
hat dazu beigetragen, Bewusstsein und Akzeptanz für standardisierte Leistungsmessung und<br />
Ergebnisorientierung zu schaffen. <strong>Die</strong> Einführung der Bildungsstandards (Schuljahr 2011/12)<br />
und der standardisierten Reifeprüfung (2013/14) sind ein Paradigmenwechsel in der Prüfund<br />
Lernkultur. Der Notwendigkeit der Erhöhung der Chancengerechtigkeit wird mit der<br />
Einführung der Neuen Mittelschule und dem Ausbau der qualitätsvollen Ganztagsschule<br />
Rechnung getragen. Erste Ergebnisse des 2007 eingeschlagenen Reformkurses werden nun<br />
erstmals wirksam und sichtbar.<br />
Ich danke den Forscherinnen und Forschern des BIFIE (Bundesinstitut für Bildungsforschung,<br />
Innovation und Entwicklung des österreichischen Schulwesens), für die erfolgreiche<br />
Planung und Durchführung der <strong>Studie</strong> sowie Aufbereitung der Ergebnisse.<br />
Für das österreichische Bildungsmonitoring, das vom BMUKK finanziert und gefördert<br />
wird, ist <strong>PISA</strong> zu einem unverzichtbaren Baustein geworden. Auf dieser wissenschaftlichen<br />
Grundlage soll auch weiterhin an der Verbesserung des österreichischen Bildungssystems gearbeitet<br />
werden.<br />
Dr. in Claudia Schmied<br />
Bundesministerin für Unterricht, Kunst und Kultur
Inhalt<br />
7 Vorwort der Herausgeberinnen<br />
10 1 Was ist <strong>PISA</strong>?<br />
13 2 Wie ist <strong>PISA</strong> organisiert?<br />
17 3 Was misst <strong>PISA</strong>?<br />
33 4 <strong>PISA</strong>-Population und Stichprobe <strong>2012</strong><br />
38 5 <strong>Die</strong> Tests und Fragebögen bei <strong>PISA</strong> <strong>2012</strong><br />
43 6 Datenerhebung und -verarbeitung<br />
47 7 Der Feldtest zu <strong>PISA</strong> <strong>2012</strong><br />
50 8 Datenaufbereitung für die Ergebnisanalyse<br />
56 9 Qualitätssicherung<br />
59 10 Ergebnisse und Produkte von <strong>PISA</strong><br />
61 Bibliografie<br />
Einen wesentlichen Beitrag zu dieser Publikation in Form von Tabellen, Grafiken und Aktualisierungen<br />
von Texten leisteten (in alphabetischer Reihenfolge): Heidelinde Bitesnich, Manuela<br />
Pareiss, Juliane Schmich, Claudia Schreiner, Ursula Schwantner und Bettina Toferer. Einige<br />
Textstellen wurden aus der Broschüre „<strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong>“ zu <strong>PISA</strong> 2009 (Schwantner &<br />
Schreiner, 2010) übernommen, so Inhalte und Sachverhalte gleich geblieben sind.
7<br />
Liebe Leserinnen und Leser!<br />
International vergleichende Schülerleistungsstudien sind neben der Überprüfung der nationalen<br />
Bildungsstandards ein wichtiger Bestandteil des österreichischen Bildungsmonitorings –<br />
der regelmäßigen, systematischen und standardisierten Beobachtung des Schulsystems. <strong>PISA</strong><br />
erhebt seit dem Jahr 2000 <strong>im</strong> regelmäßigen Abstand von drei Jahren die Kompetenzen von<br />
15-/16-jährigen Schülerinnen und Schülern in den drei Bereichen Lesen, Mathematik und<br />
Naturwissenschaft. Im Alter von 15/16 Jahren befinden sich die Schüler/innen in den meisten<br />
Teilnehmerländern am Ende der Pflichtschulzeit, wodurch mithilfe von <strong>PISA</strong> der kumulierte<br />
Lernertrag festgestellt werden kann. Ergänzend dazu erheben die beiden internationalen<br />
Vergleichsstudien der IEA die Fähigkeiten <strong>im</strong> Lesen (PIRLS) sowie in Mathematik<br />
und Naturwissenschaft (TIMSS) von Kindern am Ende der Volksschule. <strong>Die</strong> internationalen<br />
<strong>Studie</strong>n liefern damit Informationen über den Ist-Stand zentraler Kompetenzen an wichtigen<br />
Schnittstellen des österreichischen Schulsystems <strong>im</strong> Vergleich zu anderen Ländern und<br />
Schulsystemen. <strong>Die</strong> Erkenntnisse daraus helfen Bildungsverantwortlichen, die Qualität der<br />
angebotenen Ausbildung zu beurteilen und Stärken und Schwächen des österreichischen<br />
Schulsystems aus internationaler Perspektive zu betrachten.<br />
<strong>PISA</strong> <strong>2012</strong><br />
<strong>PISA</strong> <strong>2012</strong> stellt den insgesamt fünften Durchgang der <strong>Studie</strong> dar. Zum zweiten Mal – nach<br />
<strong>PISA</strong> 2003 – steht dabei die Mathematikkompetenz <strong>im</strong> Mittelpunkt. <strong>Die</strong> schwerpunktmäßige<br />
Erfassung eines Bereichs mit gut der Hälfte der Testaufgaben ermöglicht eine genauere Betrachtung<br />
und die Erstellung von kompakten Leistungsvergleichen – sowohl <strong>im</strong> Querschnitt<br />
als auch <strong>im</strong> Längsschnitt von neun Jahren. Bei <strong>PISA</strong> <strong>2012</strong> wurden zentrale Teilbereiche der<br />
Mathematikkompetenz (mathematische Inhaltsbereiche und Prozesse), sowie wichtige Hintergrundmerkmale,<br />
die mit den Kompetenzen in Zusammenhang stehen, erfasst. Dazu gehören<br />
z. B. der Unterricht, den Jugendliche in Mathematik erleben, ihre Motivation und ihre<br />
Selbstwahrnehmung in Mathematik, der familiäre oder Migrationshintergrund der Schüler/<br />
innen, das Geschlecht etc. Darüber hinaus wurde bei <strong>PISA</strong> <strong>2012</strong> die Mathematikkompetenz<br />
auch computerbasiert erfasst. Da digitale Medien und Geräte <strong>im</strong> Alltag von Jugendlichen<br />
einen hohen Stellenwert einnehmen und sich mit digitalen Medien auch neue, vielfältige<br />
Lernwege eröffnen, sind computerbasierte Tests zu einem wichtigen Bestandteil von <strong>PISA</strong><br />
geworden. So bieten elektronisch aufbereitete (Mathematik-) Aufgaben die Möglichkeit der<br />
direkten Interaktion mit der Problemstellung, indem z. B. S<strong>im</strong>ulationen ausgeführt oder Prozesse<br />
direkt durchgeführt werden können. Neben computerbasierten Mathematikaufgaben<br />
wurden bei <strong>PISA</strong> <strong>2012</strong> auch die internationale Option zum Lesen elektronischer Medien aus<br />
<strong>PISA</strong> 2009 weitergeführt sowie Aufgaben zum allgemeinen Problemlösen eingesetzt. Be<strong>im</strong><br />
nächsten Durchgang 2015 wird <strong>PISA</strong> auf Initiative der OECD voraussichtlich bereits vollständig<br />
computerbasiert durchgeführt werden.<br />
Publikationen zu <strong>PISA</strong> <strong>2012</strong><br />
Im Dezember 2013 veröffentlicht die OECD den internationalen Erstbericht zu <strong>PISA</strong> <strong>2012</strong><br />
in vier Bänden (OECD 2013b, c, d, e). Band 1 über die Ergebnisse in den drei Kernkompetenzbereichen<br />
(OECD, 2013b) sowie eine Zusammenfassung der wichtigsten Ergebnisse<br />
werden auch auf Deutsch erhältlich sein. <strong>Die</strong> Ergebnisse zum Bereich Problemlösen (Band 5)<br />
werden <strong>im</strong> Frühjahr 2014 veröffentlicht.
8 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Parallel zur Präsentation der ersten Ergebnisse durch die OECD werden in Österreich drei<br />
nationale Berichte veröffentlicht:<br />
<strong>Die</strong> vorliegende <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong> widmet sich kompakt jenen Aspekten der <strong>PISA</strong>-<br />
<strong>Studie</strong>, die für die Interpretation der Ergebnisse relevant sind. Dazu gehören die Organisation<br />
und die Ziele der <strong>Studie</strong>, die getesteten Kompetenzbereiche, die Abläufe und Prozeduren<br />
in Österreich (z. B. Stichprobenziehung, Testablauf, Datenverarbeitung),<br />
Maßnahmen zur Qualitätssicherung und die Produkte der <strong>Studie</strong>. Inhaltlich beruht diese<br />
Publikation in weiten Teilen auf dem nationalen technischen Bericht.<br />
Der nationale technische Bericht zu <strong>PISA</strong> <strong>2012</strong> (Schwantner & Schreiner, 2013) stellt eine<br />
Langversion der Beschreibung der <strong>Studie</strong> dar, in der die Methoden, Abläufe und Prozeduren<br />
der <strong>PISA</strong>-<strong>Studie</strong> in Österreich <strong>im</strong> Detail für wissenschaftlich interessierte Leser/<br />
innen dokumentiert werden, z. B. genaue Angaben zur Stichprobenziehung und Abdeckung<br />
der österreichischen Population, zur Organisation der Testdurchführung, zur Bewertung<br />
der Schülerantworten auf offene Fragen oder zur Datenverarbeitung. Der technische<br />
Bericht ist als Web-Dokument ab 3. Dezember 2013 unter www.bifie.at/pisa<br />
verfügbar.<br />
<strong>Die</strong> dritte Publikation widmet sich den ersten Ergebnissen von <strong>PISA</strong> <strong>2012</strong>, die aus österreichischer<br />
Perspektive <strong>im</strong> <strong>Überblick</strong> präsentiert werden (Schwantner, Toferer & Schreiner,<br />
2013).<br />
DIE DREI ÖSTERREICHISCHEN ERST-PUBLIKATIONEN ZU <strong>PISA</strong> <strong>2012</strong><br />
Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). <strong>PISA</strong> <strong>2012</strong>. Internationaler<br />
Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft.<br />
Graz: Leykam.<br />
Schwantner, U. & Schreiner, C. (Hrsg.). (2013). <strong>PISA</strong> <strong>2012</strong>. Internationaler Vergleich<br />
von Schülerleistungen. <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong>. Graz: Leykam.<br />
Schwantner, U. & Schreiner, C. (Hrsg.). (2013). <strong>PISA</strong> <strong>2012</strong>. Internationaler Vergleich<br />
von Schülerleistungen. Technischer Bericht. Zugriff ab 03.12.2013. Verfügbar unter: www.<br />
bifie.at/pisa<br />
<strong>Die</strong> nationalen <strong>PISA</strong>-Publikationen sowie Beispielaufgaben zu <strong>PISA</strong> sind über die Webseite<br />
des BIFIE verfügbar: www.bifie.at/pisa<br />
<strong>Die</strong> Durchführung von <strong>PISA</strong> <strong>2012</strong> in Österreich<br />
<strong>Die</strong> <strong>PISA</strong>-<strong>Studie</strong> wird in Österreich <strong>im</strong> Auftrag des Bundesministeriums für Unterricht,<br />
Kunst und Kultur durchgeführt. Dr. Mark Német vom BMUKK vertritt Österreich <strong>im</strong> <strong>PISA</strong><br />
Governing Board der OECD. Das BIFIE ist für die internationale Kooperation und die Abwicklung<br />
des Projekts in Österreich verantwortlich.<br />
Am Department für Bildungsstandards und Internationale Assessments des BIFIE (unter der<br />
Leitung von Mag. Dr. Claudia Schreiner) trugen zum Gelingen von <strong>PISA</strong> <strong>2012</strong> vor allem
Vorwort 9<br />
folgende Mitarbeiterinnen bei (in alphabetischer Reihenfolge): Dipl.-Päd. Julia Franken<br />
(Field Operations), MMag. Dr. Andrea Grafendorfer (Testinstrumente Naturwissenschaft),<br />
Monika Kaltenbrunner (Administration), Mag. Manuela Pareiss (Datenmanagement und<br />
Field Operations), Christina Reichl (Projektassistentin), Mag. Dr. Juliane Schmich (Testinstrumente<br />
Problemlösen), Mag. Dr. Ursula Schwantner (Projektleitung, Fragebogenerstellung,<br />
Testinstrumente Lesen), Dipl.-Päd. Bettina Toferer, MA (Testinstrumente Mathematik<br />
und Naturwissenschaft).<br />
MMag. DDr. Ulrike Kipman, B.Sc. hat bei allen statistischen Fragen kompetent beraten.<br />
Mag. Hannes Kaschnig (Department Zentrales Management & Services des BIFIE) hat die<br />
Broschüre gestaltet.<br />
Dr. Arnold Klaffenböck hat die Texte Korrektur gelesen.<br />
Unser ganz besonderer Dank gilt:<br />
allen Schülerinnen und Schülern, die durch ihre Teilnahme an den Tests und Befragungen<br />
die Durchführung der <strong>Studie</strong> ermöglicht haben.<br />
den Schulleiterinnen und Schulleitern der 191 <strong>PISA</strong>-Schulen sowie jenen Lehrerinnen<br />
und Lehrern, die sich als Kontaktpersonen zur Verfügung gestellt haben.<br />
den engagierten Testleiterinnen und Testleitern – sie haben durch ihre professionelle Arbeit<br />
die hohen Rücklaufquoten und die gute Qualität der Daten ermöglicht.<br />
Sie alle tragen dazu bei, die Weiterentwicklung des österreichischen Schulsystems mit entsprechenden<br />
Daten zu unterstützen.<br />
Mag. Dr. Ursula Schwantner<br />
Nationale Projektmanagerin<br />
<strong>PISA</strong> <strong>2012</strong><br />
Mag. Dr. Claudia Schreiner<br />
Leiterin Department Bildungsstandards<br />
und Internationale Assessments<br />
Salzburg, <strong>im</strong> Dezember 2013
1 Was ist <strong>PISA</strong>?<br />
OECD/<strong>PISA</strong><br />
<strong>PISA</strong>, das „Programme for International<br />
Student Assessment“, wurde 1997 von der<br />
OECD (Organisation für wirtschaftliche<br />
Zusammenarbeit und Entwicklung) und<br />
ihren Mitgliedsstaaten ins Leben gerufen,<br />
um regelmäßig verlässliche Daten über das<br />
Wissen und die Fähigkeiten der Schüler/<br />
innen sowie die Effektivität der Bildungssysteme<br />
in den Mitgliedsstaaten zu erhalten.<br />
Seit der ersten Erhebung <strong>im</strong> Jahr 2000<br />
werden alle drei Jahre die Grundkompetenzen<br />
von 15-/16-jährigen Schülerinnen und<br />
Schülern in Lesen, Mathematik und Naturwissenschaft<br />
in den OECD-Mitgliedsstaaten<br />
erhoben. Österreich als ein Gründungsmitglied<br />
der OECD beteiligt sich<br />
seit Beginn an <strong>PISA</strong>. <strong>PISA</strong> <strong>2012</strong> stellt den<br />
nunmehr fünften Durchgang dar. Mithilfe<br />
der bei <strong>PISA</strong> gewonnenen Daten konnte<br />
die OECD <strong>im</strong> letzten Jahrzehnt eine<br />
umfassende Datenbasis aufbauen, die Vergleiche<br />
von Schülerleistungen und deren<br />
Zusammenhänge mit ökonomischen und<br />
sozialen Merkmalen ermöglicht und die<br />
Beobachtung von Entwicklungstrends erlaubt.<br />
Als internationale Wirtschaftsorganisation<br />
verfolgt die OECD als wesentliche Ziele,<br />
in ihren 34 Mitgliedsstaaten ein nachhaltiges<br />
Wirtschaftswachstum, eine höhere Beschäftigung,<br />
finanzielle Stabilität und eine<br />
Steigerung des Lebensstandards zu fördern<br />
und zur Entwicklung der Weltwirtschaft<br />
beizutragen. Darüber hinaus ist es auch ein<br />
Anliegen der OECD, die Entwicklung anderer<br />
Länder zu unterstützen (http://www.<br />
oecd.org/berlin/dieoecd/). So ist auch die<br />
<strong>PISA</strong>-<strong>Studie</strong> nicht auf OECD-Länder beschränkt,<br />
sondern offen für die Beteiligung<br />
von Partnerländern und -volkswirtschaften.<br />
Bildung gilt als ein Schlüsselfaktor zur<br />
Erreichung dieser Ziele. In ihren Bemühungen,<br />
Regierungen in einer effektiven<br />
Bildungspolitik zu unterstützen, veröffentlicht<br />
die OECD in den jährlichen Berichten<br />
Education at a Glance (Bildung auf<br />
einen Blick, z. B. OECD, <strong>2012</strong>) international<br />
vergleichbare, quantitative Indikatoren,<br />
die eine kontinuierliche Beobachtung<br />
sowie eine aussagekräftige Rückmeldung<br />
über die Leistungsfähigkeit der Bildungssysteme<br />
in den OECD-Mitgliedsstaaten ermöglichen.<br />
OECD/<strong>PISA</strong> ist eine der zentralen<br />
Datenquellen für diese Indikatoren.<br />
Zudem fließen Daten der internationalen<br />
Befragung zu Lehren und Lernen (OECD<br />
Teaching and Learning International Survey<br />
– TALIS) sowie der Erhebung zu den<br />
Kompetenzen von Erwachsenen (OECD<br />
Programme for the International Assessment<br />
of Adult Competencies – PIAAC) ein<br />
(OECD, <strong>2012</strong>, S. 3 f.). Österreich beteiligte<br />
sich an beiden <strong>Studie</strong>n (TALIS 2008,<br />
PIAAC <strong>2012</strong>).<br />
Nationaler Nutzen von <strong>PISA</strong><br />
Gemeinsam mit den beiden <strong>Studie</strong>n der<br />
IEA (International Association for the<br />
Evaluation of Educational Achievement),<br />
PIRLS (Progress in International Reading<br />
Literacy Study) und TIMSS (Trends in International<br />
Mathematics and Science Study)<br />
ist <strong>PISA</strong> ein wesentlicher Bestandteil<br />
des österreichischen Bildungsmonitorings,<br />
das seit dem Jahr 2008 eine der Kernaufgaben<br />
des BIFIE (Bundesinstitut für Bildungsforschung,<br />
Innovation und Entwicklung<br />
des österreichischen Schulsystems)<br />
ist. PIRLS (Beteiligung Österreichs 2006<br />
und 2011) erfasst die Lesekompetenz und<br />
TIMSS (Beteiligung Österreichs 1995,<br />
2007 und 2011) die Mathematik- und<br />
Naturwissenschaftsfähigkeiten von 10-jährigen<br />
Schülerinnen und Schülern am Ende<br />
der Volksschule. Somit werden in regelmäßigen<br />
Abständen international vergleichbare<br />
Daten grundlegender Kompetenzen der<br />
Schüler/innen an wesentlichen Schnittstellen<br />
des Schulsystems (4. Klasse Volksschule<br />
und 9./10. Schulstufe – Ende der Pflicht-
Was ist <strong>PISA</strong>? 11<br />
schulzeit) erhoben und analysiert. <strong>Die</strong> internationalen<br />
Schülerleistungsvergleiche ergänzen<br />
die nationalen Standardüberprüfungen in der<br />
4. Schulstufe (Deutsch und Mathematik) und<br />
in der 8. Schulstufe (Deutsch, Mathematik<br />
und Englisch), indem sie den Vergleich auf<br />
Systemebene – mit anderen Schulsystemen –<br />
ermöglichen. Gemeinsam liefern internationa<br />
le und nationale Assessments regelmäßig<br />
wichtige Daten zur Qualität, Effizienz und zu<br />
Ent wicklungsfeldern des Schulsystems, die u. a.<br />
<strong>im</strong> österreichischen Bildungsbericht (vgl. z. B.<br />
Herzog-Punzenberger, <strong>2012</strong>; Bruneforth &<br />
Lassnigg, <strong>2012</strong>) für Bildungsverantwortliche<br />
aufbereitet sowie der breiten Öffentlichkeit<br />
zugänglich gemacht werden.<br />
Ziele von <strong>PISA</strong><br />
NATURWISSENSCHAFT<br />
2015<br />
2006<br />
Lesen<br />
Mathematik<br />
LESEN<br />
2009<br />
2000<br />
Mathematik<br />
Naturwissenschaft<br />
Abbildung 1.1: Der <strong>PISA</strong>-Zyklus<br />
MATHEMATIK<br />
<strong>2012</strong><br />
2003<br />
Naturwissenschaft<br />
Lesen<br />
Hauptziel von <strong>PISA</strong> ist, die Effektivität von Schulsystemen<br />
festzustellen und mithilfe des internationalen Vergleichs<br />
Stärken und Schwächen zu identifizieren, auf deren Grundlage<br />
Schulsysteme weiterentwickelt werden können. <strong>Die</strong> Effektivität<br />
wird anhand des kumulierten Ertrags eines Schulsystems<br />
best<strong>im</strong>mt. Dazu werden die Kompetenzen von<br />
Schülerinnen und Schülern <strong>im</strong> Alter von 15/16 Jahren (in<br />
diesem Alter befinden sich die Schüler/innen in den meisten<br />
Ländern am Ende der Pflichtschulzeit) in den drei Bereichen<br />
Lesen, Mathematik und Naturwissenschaft sowie zentrale<br />
Hintergrundmerkmale, die mit den Kompetenzen in Zusammenhang<br />
stehen, in regelmäßigen Abständen von drei<br />
Jahren erhoben, ausgewertet und international verglichen.<br />
Lesekompetenz (Reading Literacy) wird bei <strong>PISA</strong> erhoben,<br />
weil diese in allen Gesellschaften zu den Grundfertigkeiten<br />
zählt und für die Teilhabe am beruflichen, sozialen, kulturellen<br />
und politischen Leben unabdingbar ist (OECD,<br />
2013, S. 61). Außerdem ist Lesen eine zentrale Voraussetzung<br />
für lebenslanges Lernen. Mathematikkompetenz<br />
(Mathematical Literacy) und Naturwissenschaftskompetenz<br />
(Scientific Literacy) werden bei <strong>PISA</strong> gemessen, weil<br />
diese <strong>im</strong> 21. Jahrhundert eine <strong>im</strong>mer größere Rolle spielen<br />
und daher die gesamte Bevölkerung einer modernen Gesellschaft<br />
über Grundfähigkeiten aus diesen Bereichen verfügen<br />
sollte (OECD, 2013, S. 24, S. 98). <strong>Die</strong>se Kompetenzen<br />
ermöglichen es auch, die Chancen neuer Entdeckungen<br />
und Technologien einerseits zu erkennen, andererseits neu<br />
aufgeworfene Probleme realistisch einzustufen und als Bürger/in<br />
entsprechend zu reagieren.<br />
Bei jeder <strong>PISA</strong>-Erhebung wird einer der drei Kompetenzbereiche<br />
sehr umfangreich, mit gut der Hälfte der Aufgaben,<br />
erfasst („Hauptdomäne“). In den beiden anderen Bereichen<br />
werden jeweils zusammenfassende Leistungsprofile erhoben<br />
(s. Abbildung 1.1).<br />
Der erste <strong>PISA</strong>-Zyklus fand mit Erhebungen in den Jahren<br />
2000 (Schwerpunkt Lesen), 2003 (Schwerpunkt Mathematik)<br />
und 2006 (Schwerpunkt Naturwissenschaft) statt. Mit<br />
<strong>PISA</strong> 2009 begann der zweite Zyklus mit Erhebungen in<br />
den Jahren 2009 (erneut Schwerpunkt Lesen), <strong>2012</strong> (erneut<br />
Schwerpunkt Mathematik) und 2015 (erneut Schwerpunkt<br />
Naturwissenschaft). Mit dem Abschluss des zweiten <strong>PISA</strong>-<br />
Zyklus <strong>im</strong> Jahr 2015 wird jeder der drei Kompetenzbereiche<br />
zwe<strong>im</strong>al schwerpunktmäßig erfasst worden sein.<br />
Zusätzlich zu den drei Kerndomänen wird jeder <strong>PISA</strong>-<br />
Durchgang durch einen innovativen Bereich ergänzt, an<br />
dem sich die Länder in der Regel als internationale Option<br />
beteiligen können. Österreich nahm bei <strong>PISA</strong> 2000 an der<br />
internationalen Zusatzbefragung zu fächerübergreifenden<br />
Fähigkeiten (Cross-Curricular-Competencies, CCC) teil,<br />
bei der die Schüler/innen u. a. zu Strategien des selbstregulierenden<br />
Lernens und der Handlungskontrolle, zu kooperativem<br />
Lernen, ihrer Motivation und Zielorientierung<br />
befragt wurden. Bei <strong>PISA</strong> 2003 und <strong>2012</strong> wurden die<br />
Testdomänen um die fächerübergreifende Problemlösekompetenz<br />
erweitert, wobei diese 2003 mittels Testheften<br />
und <strong>2012</strong> am Computer erfasst wurde. 2009 beteiligte sich<br />
Österreich an der Option Lesen elektronischer Medien,<br />
die bei <strong>PISA</strong> <strong>2012</strong> fortgeführt wurde. Zudem wurden bei<br />
<strong>PISA</strong> <strong>2012</strong> Mathematikaufgaben am Computer gestellt.<br />
Gemeinsam bildet die computerbasierte Erhebung von Problemlösen,<br />
Lesen elektronischer Medien und Mathematik<br />
die internationale Option Computer-based Assessment of<br />
Literacy (CBAL). Da digitale Medien und Geräte <strong>im</strong> Alltag<br />
von Jugendlichen einen hohen Stellenwert einnehmen<br />
und sich mit digitalen Medien neue, vielfältige Lernwege<br />
eröffnen, sind computerbasierte Tests ein wesentlicher Bestandteil<br />
von <strong>PISA</strong>. Be<strong>im</strong> nächsten Durchgang 2015 wird<br />
<strong>PISA</strong> auf Initiative der OECD voraussichtlich vollständig<br />
computerbasiert durchgeführt werden.
12 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Eine weitere internationale Option bei <strong>PISA</strong> <strong>2012</strong> war die<br />
Erfassung der „Financial Literacy“, an der sich Österreich<br />
je doch nicht beteiligte.<br />
<strong>PISA</strong> liefert drei Arten von Indikatoren<br />
<strong>PISA</strong> erfasst, in welchem Ausmaß Jugendliche das Wissen,<br />
das sie <strong>im</strong> Laufe der Pflichtschulzeit erworben haben, in realitätsnahen<br />
Situationen einsetzen und anwenden können.<br />
Be<strong>im</strong> Kompetenzerwerb wirken dabei neben Merkmalen<br />
der Bildungseinrichtungen, die die Schüler/innen <strong>im</strong> Laufe<br />
ihrer Schulzeit besuchen (z. B. Betreuungsqualität <strong>im</strong> Kindergarten,<br />
Schulart, Unterrichtsqualität, Strategien der Lehrer/innen,<br />
soziales Kl<strong>im</strong>a in der Klasse), auch demografische,<br />
sozial-ökonomische, familiäre und individuelle Faktoren<br />
(z. B. Einkommen, Bildung und Beruf der Eltern, Migrationshintergrund,<br />
Lern- und Leistungsmotivation etc.).<br />
Da her werden bei <strong>PISA</strong> nicht nur die Kompetenzen der<br />
Schüler/innen erhoben, sondern auch wichtige Kontextmerkmale,<br />
die mit diesen in Zusammenhang stehen. Indem<br />
<strong>PISA</strong> regelmäßig alle drei Jahre durchgeführt wird, ist es<br />
möglich, die Entwicklungen der Kompetenzen und der Zusammenhänge<br />
über die Zeit zu verfolgen. Zusammengefasst<br />
ergibt das drei Qualitätsindikatoren, anhand derer Schulsysteme<br />
beschrieben werden:<br />
1. <strong>Die</strong> Leistungen der Schüler/innen in den Kompetenzbereichen<br />
(die <strong>PISA</strong>-Testergebnisse) bilden die Basisindikatoren.<br />
Der direkte Vergleich der Ergebnisse mit den<br />
Leistungen anderer Teilnehmerländer (auf Grundlage<br />
von „Benchmarks“) ermöglicht eine Identifizierung von<br />
Stärken und Schwächen in den nationalen Bildungssystemen.<br />
2. <strong>Die</strong> mittels Fragebögen für Schüler/innen und für<br />
Schulleiter/innen erhobenen Kontextindikatoren geben<br />
Einsicht in Zusammenhänge von demografischen, sozialen,<br />
ökonomischen oder allgemein pädagogischen<br />
Faktoren mit der Leistung.<br />
<strong>PISA</strong>-Daten: aggregiert und kumuliert<br />
<strong>Die</strong> Informationen, die internationale Schülerleistungsvergleiche<br />
wie <strong>PISA</strong> in Form von Qualitätsindikatoren liefern,<br />
sind (mehr oder weniger)<br />
„aggregiert“, d. h. über Wirkungen bzw. Effekte auf allen<br />
Ebenen hinweg summiert (z. B. die erreichten Punkte<br />
der österreichischen Schüler/innen in Lesen spiegeln den<br />
Ertrag bzw. die Qualität der Prozesse auf allen drei Ebenen,<br />
Unterricht – Schule – Systemorganisation, wider),<br />
und „kumuliert“, d. h. sie sind die Summe der Wirkungen<br />
aller beteiligten Elemente (von der Durchführung<br />
des Unterrichts, den Kompetenzen der Lehrer/innen,<br />
der Selbstorganisation der Schüler/innen über die Unterstützung<br />
der Eltern, des sozialen Kl<strong>im</strong>as in der Klasse<br />
bis zur Wirkung von Medien).<br />
Damit sind evaluative <strong>Studie</strong>n vom <strong>PISA</strong>-Typ zum Monitoring<br />
gut geeignet, um den Zustand von Qualitätsmerkmalen<br />
(die erfassten Kompetenzen und Kontextindikatoren)<br />
und Zusammenhänge zwischen Leistungen und Hinter -<br />
grundmerkmalen relativ präzise zu beschreiben. Um die<br />
Ursachen für die vielfältig aggregierten und kumulierten<br />
Wirkungen zu erforschen, ist <strong>PISA</strong> weniger gut geeignet. So<br />
ist es möglich, den Erfolg des finnischen oder kanadischen<br />
Schulsystems mit <strong>PISA</strong> festzustellen (<strong>im</strong> Vergleich zu den<br />
anderen), oder auszusagen, dass Mädchen in allen OECD-<br />
Ländern be<strong>im</strong> Lesen besser abschneiden als Burschen; es ist<br />
jedoch ungleich schwieriger, die Ursachen dieser Ergebnisse<br />
zu best<strong>im</strong>men (z. B. welches Zusammenspiel von welchen<br />
Merkmalen nun genau zu diesem Ergebnis geführt hat). <strong>Die</strong><br />
bei <strong>PISA</strong> beobachteten Zusammenhänge zwischen Leis -<br />
tungen und Kontextmerkmalen können jedoch zum Verständnis<br />
von Wirkungen beitragen (etwa die Korrelation<br />
zwischen sozioökonomischem Status und den Leistungen<br />
der Schüler/innen) oder zumindest zu neuen Hypothesen<br />
mit der Chance auf mögliche neue Einsichten führen.<br />
3. <strong>Die</strong> regelmäßige standardisierte Erfassung der Kompetenzen<br />
und Kontextmerkmale ermöglicht einen Vergleich<br />
der Ergebnisse über die Zeit und somit die Bildung<br />
von Trendindikatoren. <strong>Die</strong>se systematische Da -<br />
ten basis dient der Beobachtung von Entwicklungstrends<br />
<strong>im</strong> Kompetenzbestand in den verschiedenen Ländern<br />
und von verschiedenen demografischen Gruppen.<br />
Durch den Vergleich der Ergebnisse über die Zeit kann<br />
die Dynamik der Entwicklung erfasst werden. Zugleich<br />
können Konsequenzen zwischenzeitlich eingeleiteter<br />
Verbesserungen <strong>im</strong> System sichtbar gemacht werden.<br />
Mit dem <strong>PISA</strong>-Untersuchungsdesign ist dafür gesorgt,<br />
dass in jedem Kompetenzbereich <strong>im</strong> 9-Jahres-Abstand<br />
eine detaillierte und profunde Leistungsanalyse sowie<br />
alle drei Jahre ein Leistungsprofil erstellt wird.
2 Wie ist <strong>PISA</strong> organisiert?<br />
<strong>Die</strong> Teilnehmerländer von<br />
<strong>PISA</strong> <strong>2012</strong><br />
An <strong>PISA</strong> <strong>2012</strong> nahmen weltweit 65 Länder<br />
teil, darunter alle 34 OECD-Mitgliedsstaaten<br />
sowie weitere 31 „Partnerländer“. Abbildung<br />
2.1 gibt einen <strong>Überblick</strong> über die<br />
Teilnehmerländer bei <strong>PISA</strong> <strong>2012</strong>.<br />
<strong>Die</strong> internationale Organisation<br />
von <strong>PISA</strong> <strong>2012</strong><br />
<strong>Die</strong> Managementverantwortung für das<br />
gesamte <strong>PISA</strong>-Projekt trägt das OECD-<br />
Sekretariat in Paris (Gesamtkoordinator:<br />
Dr. Andreas Schleicher). <strong>Die</strong> grundlegenden<br />
Entscheidungen werden <strong>im</strong> <strong>PISA</strong> Governing<br />
Board (PGB) getroffen, in dem<br />
alle <strong>PISA</strong>-Teilnehmerländer vertreten, aber<br />
nur OECD-Mitgliedsländer st<strong>im</strong>mberechtigt<br />
sind. Das PGB legt <strong>im</strong> Rahmen der<br />
Zielsetzungen der OECD die politischen<br />
Prioritäten für <strong>PISA</strong> fest und überwacht<br />
den gesamten Implementierungsprozess.<br />
Österreich wird <strong>im</strong> PGB von Dr. Mark<br />
Német (BMUKK) vertreten.<br />
Für das Design und die Implementierung<br />
von <strong>PISA</strong> <strong>2012</strong> innerhalb des vom PGB<br />
gesteckten Rahmens waren zehn internationale<br />
Vertragspartner verantwortlich, die<br />
gemeinsam unter der Leitung von ACER<br />
(Australian Council for Educational Research)<br />
das <strong>PISA</strong>-Konsortium <strong>2012</strong> bildeten:<br />
Australian Council for Educational<br />
Research (ACER)<br />
Analyse des systèmes et des pratiques<br />
d’enseignement (aSPe) in Belgien<br />
cApStAn – Linguistic Quality Control<br />
in Belgien<br />
Deutsches Institut für Internationale<br />
Pädagogische Forschung (DIPF)<br />
Educational Testing Service (ETS) in<br />
den USA<br />
Institutt for Lærerutdanning og Skoleutvikling<br />
(ILS) in Norwegen<br />
Leibniz – Institut für die Pädagogik<br />
der Naturwissenschaften und Mathematik<br />
(IPN) in Deutschland<br />
National Institute for Educational<br />
Policy Research (NIER) in Japan<br />
Henri Tudor (CRP) and Université de<br />
Luxembourg (EMACS)<br />
Westat in den USA<br />
<strong>Die</strong>ses Konsortium unter der Leitung von<br />
ACER trug die Verantwortung für die Entwicklung<br />
und das Design der Tests, die<br />
Entwicklung und Adaption der Fragebögen<br />
sowie für alle Angelegenheiten bezüglich<br />
Sampling, Durchführung der <strong>Studie</strong>,<br />
Übersetzung und deren Verifikation, Datenmanagement,<br />
Qualitätssicherung usw.<br />
Um die wissenschaftliche Expertise und<br />
das praktische Know-how aus allen <strong>PISA</strong>-<br />
Teilnehmerstaaten und den nationalen<br />
Pro jektzentren zu nutzen, wurden internationale<br />
Expertengruppen zu Lesen, Mathematik,<br />
Naturwissenschaft und Problemlösen<br />
sowie für die Fragebögen gebildet<br />
(Subject Matter Expert Groups). Aufgabe<br />
der internationalen Expertinnen und Experten<br />
war es, die bei <strong>PISA</strong> verwendeten<br />
Tests und Fragebögen zu entwickeln und<br />
zu gewährleisten, dass <strong>PISA</strong> mit der größtmöglichen<br />
international verfügbaren fachwissenschaftlichen<br />
und verfahrenstechnischen<br />
Kompetenz umgesetzt wird.<br />
<strong>Die</strong> Technical Advisory Group (TAG), der<br />
renommierte internationale Sozialwissenschafter/innen<br />
und Methodiker/innen angehören,<br />
gewährleistet höchste technische<br />
Qualität des Projekts (z. B. be<strong>im</strong> Design<br />
der <strong>Studie</strong>, bei der Umsetzung der technischen<br />
Standards oder bei Analysen).
14 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
OECD-Länder <strong>PISA</strong> <strong>2012</strong><br />
Australien (AUS)<br />
Großbritannien (GBR)<br />
Mexiko (MEX)<br />
Slowakische Republik<br />
(SVK)<br />
Belgien (BEL)<br />
Irland (IRL)<br />
Neuseeland (NZL)<br />
Slowenien (SVN)<br />
Chile (CHL)<br />
Island (ISL)<br />
Niederlande (NLD)<br />
Spanien (ESP)<br />
Dänemark (DNK)<br />
Israel (ISR)<br />
Norwegen (NOR)<br />
Tschechische Republik<br />
(CZE)<br />
Deutschland (DEU)<br />
Italien (ITA)<br />
Österreich (AUT)<br />
Türkei (TUR)<br />
Estland (EST)<br />
Japan (JPN)<br />
Polen (POL)<br />
Ungarn (HUN)<br />
Finnland (FIN)<br />
Kanada (CAN)<br />
Portugal (PRT)<br />
Vereinigte Staaten<br />
von Amerika (USA)<br />
Frankreich (FRA)<br />
Korea (KOR)<br />
Schweden (SWE)<br />
Griechenland (GRC)<br />
Luxemburg (LUX)<br />
Schweiz (CHE)<br />
OECD-Partnerländer <strong>PISA</strong> <strong>2012</strong><br />
Albanien (ALB)<br />
Kasachstan (KAZ)<br />
Malaysia (MYS)<br />
Taiwan (TWN)<br />
Argentinien (ARG)<br />
Katar (QAT)<br />
Montenegro (MNE)<br />
Thailand (THA)<br />
Brasilien (BRA)<br />
Kolumbien (COL)<br />
Peru (PER)<br />
Tunesien (TUN)<br />
Bulgarien (BGR)<br />
Costa Rica (CRI)<br />
Kroatien (HRV)<br />
Lettland (LVA)<br />
Rumänien (ROU)<br />
Russische Föderation<br />
(RUS)<br />
Uruguay (URY)<br />
Vereinigte Arabische<br />
Emirate (QAR)<br />
Hongkong* (HKG)<br />
Liechtenstein (LIE)<br />
Serbien (SRB)<br />
Vietnam (VNM)<br />
Indonesien (IDN)<br />
Litauen (LTU)<br />
Schanghai** (QCN)<br />
Zypern*** (CYP)<br />
Jordanien (JOR)<br />
Macau* (MAC)<br />
Singapur (SGP)<br />
* Sonderverwaltungszone Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.<br />
** Provinz Chinas, wird bei der Berichterstattung von der OECD wie ein eigenes Land behandelt.<br />
*** <strong>Die</strong> Informationen über Zypern in diesem Bericht beziehen sich auf das Gebiet, das unter Kontrolle der Regierung der Republik Zypern<br />
steht (OECD, 2013b).<br />
Abbildung 2.1: <strong>Die</strong> <strong>PISA</strong>-<strong>2012</strong>-Teilnehmerländer
Wie ist <strong>PISA</strong> organisiert? 15<br />
<strong>Die</strong> nationale Organisation<br />
von <strong>PISA</strong> <strong>2012</strong><br />
In Österreich wird – wie in allen anderen <strong>PISA</strong>-Ländern –<br />
die nationale Durchführung der <strong>Studie</strong> vom Unterrichtsministerium<br />
in Auftrag gegeben und finanziert. Frau BM<br />
Dr. Claudia Schmied be auftragte das BIFIE (Bundesinstitut<br />
für Bildungsforschung, Innovation & Entwicklung des<br />
österreichischen Schulwesens) mit der wissenschaftlichen<br />
Planung und der praktischen Umsetzung von <strong>PISA</strong> <strong>2012</strong>.<br />
Das Department Bildungsstandards und Internationale Assessments<br />
(Leitung Mag. Dr. Claudia Schreiner) zeichnet<br />
für die nationale Umsetzung der <strong>PISA</strong>-<strong>Studie</strong> verantwortlich.<br />
Als nationale Projektmanagerin war Mag. Dr. Ursula<br />
Schwantner für die Planung, Umsetzung und Auswertung<br />
von <strong>PISA</strong> <strong>2012</strong> zuständig.<br />
In Zusammenarbeit mit dem internationalen Konsortium<br />
und anderen nationalen <strong>PISA</strong>-Projektzentren – insbesondere<br />
in Kooperation mit Deutschland, der Schweiz und Luxemburg<br />
(DACHL) bei den Übersetzungen – wird von den<br />
BIFIE-Mitarbeiterinnen und -Mitarbeitern die <strong>PISA</strong>-<strong>Studie</strong><br />
in Österreich realisiert. Dazu werden das Untersuchungsdesign<br />
auf die nationalen Gegebenheiten abgest<strong>im</strong>mt, die<br />
Tests und Fragebögen mitentwickelt, übersetzt und angepasst,<br />
die Erhebungen durchgeführt, die Daten verarbeitet<br />
und analysiert.<br />
Um den <strong>PISA</strong>-Test bestmöglich an die nationalen Gegebenheiten<br />
anzupassen, kooperiert das BIFIE bei der Begutachtung<br />
der Frameworks und der Testaufgaben mit nationalen<br />
Fachexpertinnen und -experten. Für die nationale<br />
Begutachtung des Mathematik-Frameworks (s. Kapitel 3)<br />
und der neuen Mathematikaufgaben beauftragte das BIFIE<br />
das Österreichische Kompetenzzentrum für Mathematikdidaktik<br />
(AECC-Mathematik) am Institut für Didaktik und<br />
Mathematik an der Alpen-Adria-Universität Klagenfurt<br />
unter der Leitung von Univ.-Prof. Dipl.-Ing. Dr. Werner<br />
Peschek. <strong>Die</strong> Begutachtung des Frameworks zum Bereich<br />
Problemlösen übernahmen Ao. Univ.-Prof. Mag. Dr. Stefan<br />
Götz und Univ.-Prof. Mag. Dr. Hans Humenberger (beide<br />
Fakultät für Mathematik und Zentrum für LehrerInnenbildung,<br />
Universität Wien). An der Begutachtung der Problemlöseaufgaben<br />
beteiligten sich Mag. Franz Altinger (BG<br />
Zaunergasse, Salzburg), Univ. Doz. Dr. Franz Embacher<br />
(Fakultät für Mathematik, Fakultät für Physik, Universität<br />
Wien) sowie Univ.-Prof. Mag. Dr. Hans Humenberger.<br />
Zeitplan<br />
<strong>Die</strong> Durchführung der <strong>PISA</strong>-<strong>Studie</strong> – von der Entwicklung<br />
der Rahmenkonzepte der Testbereiche (Frameworks) bis<br />
zum Ergebnisbericht – erstreckt sich über mehrere Jahre.<br />
2010, etwa zwei Jahre vor der Haupterhebung, haben die<br />
unmittelbaren Vorbereitungsarbeiten für <strong>PISA</strong> <strong>2012</strong> begonnen.<br />
In dieser Zeit wurden die theoretischen und konzeptionellen<br />
Grundlagen erarbeitet sowie die Tests und Fragebögen<br />
entwickelt.<br />
Im Jahr 2011 wurde in allen teilnehmenden Ländern ein<br />
Feldtest zur Erprobung der neuen Aufgaben und aller Abläufe<br />
durchgeführt. In Österreich waren daran 60 Schulen<br />
mit 1 156 Schülerinnen und Schülern beteiligt.<br />
Auf Basis der durch den Feldtest gewonnenen Erkenntnisse<br />
wurden alle neuen Testaufgaben, Fragebogeninhalte und<br />
Prozeduren für den Haupttest <strong>2012</strong> opt<strong>im</strong>iert. Der Haupttest<br />
fand in Österreich <strong>im</strong> April/Mai <strong>2012</strong> an 191 Schulen<br />
mit 4 755 Schülerinnen und Schülern statt. Zur selben<br />
Zeit testeten auch die anderen <strong>PISA</strong>-Länder der nördlichen<br />
Hemisphäre. Teilnehmerländer der südlichen Hemisphäre<br />
testen ca. ein halbes Jahr später, da das Schuljahr erst etwa<br />
<strong>im</strong> Februar beginnt und so der Testzeitraum entsprechend<br />
verschoben ist.<br />
Nach der Datenerhebung <strong>im</strong> Frühjahr <strong>2012</strong> dauert es bis<br />
zur ersten Ergebnisveröffentlichung (Dezember 2013) etwa<br />
eineinhalb Jahre. In dieser Zeit werden die erhobenen Daten<br />
aller 65 Länder – der nördlichen sowie der zeitlich verschoben<br />
testenden südlichen Hemisphäre – entsprechend<br />
aufbereitet, geprüft, gewichtet und schließlich ausgewertet.<br />
Im Dezember 2013 veröffentlicht die OECD die ersten Ergebnisberichte<br />
zu <strong>PISA</strong> <strong>2012</strong> (OECD, 2013b, c, d, e). Zeitgleich<br />
erscheinen drei österreichische Erstpublikationen: die<br />
Broschüre zu ersten Ergebnissen von <strong>PISA</strong> <strong>2012</strong> aus österreichischer<br />
Perspektive, die vorliegende <strong>Studie</strong>nbeschreibung<br />
sowie der nationale technische Bericht, der eine detaillierte Beschreibung<br />
und Erklärung aller österreichspezifischen <strong>PISA</strong>-<br />
<strong>2012</strong>-Aktivitäten enthält. Alle Publikationen des BIFIE<br />
sind ab dem Zeitpunkt der Veröffentlichung auf der BIFIE-<br />
Homepage erhältlich (http://www.bifie.at/pisa).<br />
In Abbildung 2.2 ist der Zeitplan für <strong>PISA</strong> <strong>2012</strong> <strong>im</strong> Detail<br />
dargestellt.<br />
Bei Tätigkeiten <strong>im</strong> Rahmen der Datenerhebung und Datenverarbeitung,<br />
die mit einem hohen Arbeitsaufwand verbunden<br />
sind, werden die Mitarbeiter/innen des BIFIE von<br />
externen, speziell geschulten Personen unterstützt (Testleiter/innen,<br />
Coder/innen, Datenerfassungspersonal).<br />
Für die Datenanalysen und die Erstellung von Publikationen<br />
und Vorträgen ist ebenfalls das BIFIE verantwortlich<br />
und kooperiert dabei mit Fachexpertinnen und -experten.
16 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
1<br />
Vorbereitung<br />
01/2010 bis<br />
10/2010<br />
Feldtest (FT)<br />
11/2010 bis<br />
08/2011<br />
Haupttest (HT)<br />
09/2011 bis<br />
10/<strong>2012</strong><br />
Datenaufbereitung<br />
und -analyse<br />
11/<strong>2012</strong> bis<br />
12/2013<br />
2013<br />
<strong>2012</strong><br />
2011<br />
2010<br />
2<br />
3<br />
4<br />
5<br />
6<br />
7<br />
8<br />
9<br />
10<br />
11<br />
12<br />
1<br />
2<br />
3<br />
4<br />
5<br />
6<br />
7<br />
8<br />
9<br />
10<br />
11<br />
12<br />
1<br />
2<br />
3<br />
4<br />
5<br />
6<br />
7<br />
8<br />
9<br />
10<br />
11<br />
12<br />
1<br />
2<br />
3<br />
4<br />
5<br />
6<br />
7<br />
8<br />
9<br />
10<br />
11<br />
12<br />
Entwicklung der Rahmenkonzeption (Frameworks);<br />
Festlegung des Untersuchungsdesigns<br />
Entwicklung, Begutachtung und Überarbeitung der neuen Mathematikund<br />
Problemlöse-Aufgaben<br />
Erstellung des Stichprobenplans für den Feldtest<br />
Übersetzung und nationale Anpassung der Testaufgaben und Fragebögen;<br />
Stichprobenziehung – Schulen; Information der Schulbehörden<br />
Übersetzungsverifikation; Information der ausgewählten Schulen;<br />
Stichprobenziehung – Schüler/innen; Druck der Testhefte und Fragebögen<br />
Verpackung der Testmaterialien; Schulung der Testleiter/innen<br />
Feldtest an den Schulen<br />
Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning<br />
internationales File-Cleaning und Datenanalyse<br />
Itemauswahl und Erstellung des Stichprobenplans für den Haupttest<br />
Überarbeitung der Testaufgaben und Fragebögen für den Haupttest;<br />
Stichprobenziehung – Schulen; Information der Schulbehörden<br />
Übersetzungsverifikation; Information der ausgewählten Schulen;<br />
Stichprobenziehung – Schüler/innen; Druck der Testhefte und Fragebögen<br />
Verpackung der Testmaterialien, Schulung der Testleiter/innen<br />
Haupttest an den Schulen<br />
Vercodung der offenen Antworten, Datenerfassung; nationales File-Cleaning<br />
internationales File-Cleaning und Datenanalyse<br />
internationale Datenskalierung<br />
Erstellung des internationalen Datensatzes<br />
Datenanalysen<br />
Veröffentlichung der Ergebnisse<br />
Abbildung 2.2: Zeitplan für <strong>PISA</strong> <strong>2012</strong>
3 Was misst <strong>PISA</strong>?<br />
Das Modell des lebenslangen<br />
Lernens<br />
Schüler/innen können nicht alles, was sie<br />
<strong>im</strong> Leben einmal benötigen werden, bereits<br />
„auf Vorrat“ in der Schule lernen. Sie müssen<br />
jedoch umfassende Grundkompetenzen<br />
erwerben, die es ihnen ermöglichen,<br />
aktiv und erfolgreich am gesellschaftlichen,<br />
beruflichen, kulturellen und politischen<br />
Leben teilzunehmen.<br />
Im Zentrum von <strong>PISA</strong> steht die Frage, inwieweit<br />
15-/16-jährige Schüler/innen, die<br />
sich in den meisten Teilnehmerländern am<br />
Ende der Pflichtschulzeit befinden, in drei<br />
zentralen Bereichen – Lesen, Mathematik<br />
und Naturwissenschaft – über solche<br />
Grundkompetenzen verfügen. <strong>Die</strong>se Fragestellung<br />
beruht auf dem dynamischen<br />
Modell des lebenslangen Lernens, das davon<br />
ausgeht, dass Kenntnisse und Fertigkeiten<br />
kontinuierlich über die gesamte Lebensspanne<br />
hinweg, inner- und außerhalb von<br />
Bildungseinrichtungen, erworben werden.<br />
<strong>Die</strong> Voraussetzungen für ein erfolgreiches<br />
lebenslanges Lernen werden dabei zu einem<br />
wesentlichen Teil in der Schule gelegt.<br />
Zum einen müssen die Schüler/innen spezifisches<br />
Fachwissen sowie Kenntnisse über<br />
grundlegende Konzepte erwerben, zum<br />
anderen benötigen sie Fähigkeiten, die es<br />
ihnen ermöglichen, ihr Wissen in verschiedenen<br />
Situationen anzuwenden und sich<br />
an veränderte Bedingungen anpassen zu<br />
können – sowohl <strong>im</strong> schulischen Kontext<br />
als auch außerhalb.<br />
Da elektronische Medien und Geräte einen<br />
<strong>im</strong>mer größeren Stellenwert einnehmen<br />
und diese zudem vielfältige neue Lernmöglichkeiten<br />
eröffnen, ist die Erfassung<br />
der Nutzung von Informations- und Kommunikationstechnologien<br />
sowie der Einsatz<br />
computerbasierter Tests mittlerweile<br />
fester Bestandteil von <strong>PISA</strong>. <strong>Die</strong> Nutzung<br />
von Informations- und Kommunikationstechnologien<br />
zählt zu den fächerübergreifenden<br />
Kompetenzen und wird bei <strong>PISA</strong><br />
<strong>im</strong> Rahmen eines internationalen Zusatzfragebogens<br />
erfasst. Als weiterer wichtiger<br />
fächerübergreifender Kompetenzb e-<br />
reich wird die allgemeine Problemlöse kompet<br />
enz der Jugendlichen erachtet. <strong>Die</strong>se<br />
wurde <strong>im</strong> Rahmen von <strong>PISA</strong> 2003 mittels<br />
gedruckten Testheften und bei <strong>PISA</strong> <strong>2012</strong><br />
mittels Computertest erfasst. Bei <strong>PISA</strong><br />
<strong>2012</strong> wurden darüber hinaus computerbasierte<br />
Mathematik- und Leseaufgaben<br />
eingesetzt. Computerbasierte Testaufgaben<br />
gehen über papierbasierte Testaufgaben<br />
hinaus, indem sie die Möglichkeit bieten,<br />
Aufgabenstellungen zu an<strong>im</strong>ieren, mit Pro -<br />
blemstellungen zu interagieren und z. B.<br />
auch Lösungswege und verschiedene Lösungsversuche<br />
und Herangehensweisen aufzu<br />
zeichnen.<br />
Mithilfe der (sowohl papier- als auch computerbasierten)<br />
<strong>PISA</strong>-Aufgaben sollen Fertigkeiten<br />
gemessen werden, die in realen<br />
Lebenssituationen gefordert sind und die<br />
<strong>im</strong> Hinblick auf das lebenslange Lernen<br />
und die konstruktive Teilhabe an der Gesellschaft<br />
relevant sind. Das Augenmerk<br />
der Testinhalte liegt dabei auf dem Verständnis<br />
von grundlegenden Konzepten,<br />
der Beherrschung von Prozessen sowie auf<br />
der Fähigkeit, nachhaltig vernetztes Wissen<br />
in unterschiedlichen alltagsbezogenen Situationen<br />
bzw. auf realitätsnahe Problemstellungen<br />
anwenden zu können.<br />
<strong>Die</strong> <strong>PISA</strong>-Frameworks<br />
Für jeden bei <strong>PISA</strong> gemessenen Kompetenzbereich<br />
wird von internationalen Expertinnen<br />
und Experten ein Framework<br />
ent wickelt. Ein Framework ist ein Experten -<br />
curriculum, in dem beschrieben und definiert<br />
wird, welches Wissen und welche<br />
Fähigkeiten für die einzelnen Bereiche relevant<br />
sind und bei <strong>PISA</strong> getestet werden.<br />
Basis für die Entwicklung der Frameworks<br />
ist das Modell des lebenslangen Lernens.
18 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
<strong>Die</strong> Schüler/innen sollen zeigen, dass sie best<strong>im</strong>mte grundlegende<br />
Konzepte kennen und verstehen und ihr Wissen<br />
darüber in verschiedenen Situationen und Kontexten flexibel<br />
anwenden können. <strong>Die</strong> Kompetenzen werden als kontinuierlich<br />
angesehen und in ihrer quantitativen Ausprägung<br />
(höhere/niedrigere Kompetenz) erfasst.<br />
Bei der Erstellung der Frameworks werden nationale Lehrpläne<br />
zwar konsultiert, sie spielen jedoch bei der Festlegung<br />
der Testinhalte eine untergeordnete Rolle. Eine Konzentration<br />
auf Lehrplaninhalte würde bei einer internationalen<br />
Vergleichsstudie dazu führen, dass nur solche Aspekte gemessen<br />
werden können, die in den Lehrplänen von allen<br />
oder den meisten Ländern enthalten sind. <strong>Die</strong>s würde zahlreiche<br />
Kompromisse erfordern und die Messungen letztendlich<br />
zu sehr einschränken (OECD, 2000, S. 9 f.). <strong>Die</strong><br />
Vorteile eines von Expertinnen und Experten entwickelten<br />
Frameworks liegen u. a. darin, dass es ein gemeinsames Verständnis<br />
dessen liefert, was als relevant erachtet und daher<br />
getestet werden soll. Somit ermöglichen die Frameworks<br />
eine präzise Messung der jeweiligen Kompetenzbereiche<br />
(OECD, 2013a, S. 15).<br />
Das Framework umfasst für jeden Kompetenzbereich:<br />
die Definition des Kompetenzbereichs mit Erläuterungen<br />
die Organisation des Kompetenzbereichs<br />
die Aufgabenmerkmale und die Erhebungsstruktur<br />
einige Beispielaufgaben<br />
Im Folgenden werden die Inhalte der Frameworks für die<br />
bei <strong>PISA</strong> <strong>2012</strong> gemessenen Kompetenzbereiche erläutert.<br />
Das Mathematik-Framework basiert auf <strong>PISA</strong> 2003, der<br />
ersten schwerpunktmäßigen Erhebung der Mathematikkompetenz,<br />
und wurde für <strong>PISA</strong> <strong>2012</strong> aktualisiert und<br />
erweitert. Ebenso wurde das Problemlöse-Framework aus<br />
<strong>PISA</strong> 2003 weiterentwickelt. Das aktuelle Framework für<br />
den Kompetenzbereich Lesen stammt aus <strong>PISA</strong> 2009 (der<br />
zweiten schwerpunktmäßigen Erfassung) und jenes für Naturwissenschaft<br />
aus <strong>PISA</strong> 2006.<br />
LESEHINWEIS<br />
Das <strong>PISA</strong>-<strong>2012</strong>-Framework (OECD, 2013a) kann<br />
von der Webseite der OECD kostenlos heruntergeladen<br />
werden (http://www.oecd.org/pisa/).<br />
Mathematikkompetenz (Schwerpunkt <strong>2012</strong>)<br />
Mathematisches Grundverständnis und die Anwendung<br />
mathematischer Konzepte, Verfahren und Werkzeuge sind<br />
<strong>im</strong> Alltag unverzichtbar. Sei es der Umgang mit Finanzen,<br />
der tägliche Einkauf oder das Interpretieren von Statistiken –<br />
all diese Situationen verlangen mathematisches Wissen, um<br />
angemessene Entscheidungen treffen zu können.<br />
<strong>PISA</strong> stellt bei der Definition der Mathematikkompetenz<br />
den Aspekt der Anwendung und Nutzung des mathematischen<br />
Wissens in einer Vielzahl von unterschiedlichen Kontexten<br />
in den Vordergrund und wird wie folgt definiert:<br />
„Mathematikkompetenz ist die Fähigkeit einer Person, Mathematik<br />
in einer Vielzahl von Kontexten zu formulieren,<br />
anzuwenden und zu interpretieren. Dazu gehört mathematisches<br />
Schlussfolgern sowie die Anwendung mathematischer<br />
Konzepte, Verfahren, Fakten und Werkzeuge, um Phänomene<br />
zu beschreiben, zu erklären und vorherzusagen. Mathematikkompetenz<br />
hilft jedem/jeder Einzelnen, die Rolle zu erkennen,<br />
die Mathematik in der Welt spielt, sowie fundierte Urteile abzugeben<br />
und gut begründete Entscheidungen zu treffen, wie sie<br />
von konstruktiven, engagierten und reflektierenden Bürgerinnen<br />
und Bürgern benötigt werden“ (OECD, 2013a, S. 25;<br />
Übersetzung: BIFIE).<br />
Das Modell der Mathematikkompetenz<br />
Das Modell der Mathematikkompetenz gibt einen <strong>Überblick</strong><br />
über die wichtigsten D<strong>im</strong>ensionen des Mathematik-<br />
Frameworks und zeigt an, wie sich diese aufeinander beziehen<br />
(s. Abbildung 3.1). Den äußeren Rahmen des Modells<br />
bilden die Kontexte sowie die mathematischen Inhaltsbereiche,<br />
in denen ein Problem angesiedelt ist. Um kontextbezogene<br />
Probleme lösen zu können, müssen Schüler/innen<br />
mathematisch denken und handeln. Sie stützen sich dazu<br />
auf mathematische Konzepte, Kenntnisse und Fertigkeiten.<br />
Mathematisches Handeln wird <strong>im</strong> Framework anhand<br />
von sieben grundlegenden mathematischen Fähigkeiten<br />
charakterisiert. Zur Auseinandersetzung mit dem Problem<br />
selbst sind drei mathematische Prozesse gefordert, die diese<br />
grundlegenden Fähigkeiten involvieren: Formulieren, Anwenden,<br />
Interpretieren/Bewerten.<br />
<strong>Die</strong> drei Prozesse bilden die Kernelemente des Kreislaufs des<br />
mathematischen Modellierens, der <strong>im</strong> Inneren des Modells<br />
in Abbildung 3.1 vereinfacht dargestellt ist. Be<strong>im</strong> Kreislauf<br />
des mathematischen Modellierens müssen die Schüler/innen<br />
in einem realen Problem ein mathematisches Problem<br />
erkennen, dieses mathematisch formulieren und damit in<br />
ein mathematisches Problem transformieren. Mithilfe des<br />
Anwendens mathematischer Konzepte, Prozeduren und<br />
Denkweisen wird eine mathematische Lösung gefunden,<br />
die anschließend in eine reale Lösung rückübersetzt wird.<br />
Abschließend wird das Ergebnis interpretiert und die Sinnhaftigkeit<br />
der realen Lösung in Bezug zum anfänglichen<br />
Problem bewertet (OECD, 2013a, S. 25 f.).<br />
Auf Basis dieses Modells können die Mathematikaufgaben<br />
bei <strong>PISA</strong> <strong>2012</strong> drei relevanten D<strong>im</strong>ensionen zugeordnet<br />
werden: Kontexte, mathematische Inhaltsbereiche und mathematische<br />
Prozesse (vgl. OECD, 2013a, S. 27 f.):
Was misst <strong>PISA</strong>? 19<br />
Reale Situationen<br />
Kontexte: persönlich, beruflich, gesellschaftlich, wissenschaftlich<br />
Mathematische Inhaltsbereiche: Größen, Raum & Form,<br />
Veränderung & Zusammenhänge, Unsicherheit & Daten<br />
Mathematisches Denken und Handeln<br />
Mathematische Konzepte, Kenntnisse und Fertigkeiten<br />
Grundlegende mathematische Fähigkeiten:<br />
Kommunizieren und Repräsentieren; Strategien entwickeln;<br />
Mathematisieren; Begründen und Argumentieren; symbolische,<br />
formale, technische Sprache und Operationen anwenden;<br />
mathematische Werkzeuge verwenden;<br />
Mathematische Prozesse:<br />
Formulieren, Anwenden, Interpretieren/Bewerten<br />
Problem in einer<br />
realen Situation<br />
Bewerten<br />
Formulieren<br />
mathematisches<br />
Problem<br />
Anwenden<br />
ren von Ergebnissen und das Ziehen von<br />
Schlussfolgerungen.<br />
Mathematische Prozesse<br />
<strong>Die</strong> Mathematikkompetenz bei <strong>PISA</strong> <strong>2012</strong><br />
wird als die Fähigkeit einer Person beschrieben,<br />
Mathematik in einer Vielzahl von Kontexten<br />
zu formulieren, anzuwenden und zu<br />
interpretieren. Für <strong>PISA</strong> sind daher vor allem<br />
Aufgaben relevant, die reale Problemstellungen<br />
mit der Mathematik verknüpfen und die<br />
den Aspekt der Anwendung und Nutzung<br />
des mathematischen Wissens beinhalten.<br />
<strong>Die</strong> Lösung solcher Aufgaben involviert drei<br />
zentrale Prozesse:<br />
Der Prozess des Formulierens erfordert von<br />
den Jugendlichen, dass sie mathematische<br />
Aspekte und Strukturen eines realen Problems<br />
erkennen, dieses mathematisch repräsentieren<br />
und in ein mathematisches Problem<br />
übersetzen, damit die Problemstellung<br />
anschließend auf mathematischem Weg analysiert<br />
und gelöst werden kann.<br />
reale<br />
Lösung<br />
Interpretieren<br />
mathematische<br />
Lösung<br />
Abbildung 3.1: Das Modell der Mathematikkompetenz bei <strong>PISA</strong> <strong>2012</strong><br />
(vgl. OECD, 2013a, S. 26)<br />
Kontexte<br />
<strong>Die</strong> bei <strong>PISA</strong> <strong>2012</strong> zu lösenden Mathematikaufgaben<br />
sind in unterschiedlichen Kontexten angesiedelt und<br />
decken das persönliche, berufliche, gesellschaftliche oder<br />
wissenschaftliche Umfeld ab.<br />
Der Prozess des Anwendens erfordert von den<br />
Schülerinnen und Schülern, dass sie mathematische<br />
Konzepte, Fakten, Prozeduren und<br />
Denkweisen verwenden und Strategien zur<br />
Lösung mathematischer Probleme entwickeln,<br />
um ein mathematisches Ergebnis zu erhalten.<br />
Dabei führen die Schüler/innen z. B.<br />
arithmetische Berechnungen durch, lösen<br />
Mathematische Inhaltsbereiche<br />
<strong>Die</strong> vier Inhaltsbereiche werden als essenzielle Bestandteile<br />
der Mathematik gesehen. Be<strong>im</strong> Inhaltsbereich Größen<br />
geht es um Fähigkeiten, numerische Muster zu erkennen,<br />
ein Zahlenverständnis zu entwickeln und<br />
Zahlen in unterschiedlichen Kontexten anzuwenden<br />
und darzustellen sowie mathematische Operationen<br />
einzusetzen. Der Inhaltsbereich Raum & Form beinhaltet<br />
Kenntnisse über Proportionen von Objekten sowie<br />
ein Verständnis von Zusammenhängen zwischen räumlichen<br />
und geometrischen Formen. Be<strong>im</strong> Inhaltsbereich<br />
Veränderung & Zusammenhänge geht es um Veränderungsprozesse,<br />
funktionale Zusammenhänge und Abhängigkeiten<br />
zwischen Variablen. Unsicherheit & Daten<br />
umfasst Kenntnisse über das Sammeln, Analysieren und<br />
Darstellen von Daten, den Umgang mit Messunsicherheiten<br />
und Wahrscheinlichkeiten sowie das Interpretie-<br />
Gleichungen, ziehen logische Schlussfolge-<br />
rungen aus mathematischen Annahmen oder entnehmen<br />
mathematische Informationen aus Tabellen und<br />
Grafiken.<br />
Der Prozess des Interpretierens erfordert von den Jugendlichen,<br />
mathematische Ergebnisse in Bezug auf die anfängliche<br />
reale Problemstellung zu reflektieren und die<br />
Sinnhaftigkeit der mathematischen Lösung in Bezug auf<br />
den realen Kontext zu bewerten.<br />
Computerbasierte Erfassung der<br />
Mathematikkompetenz<br />
Österreich beteiligte sich bei <strong>PISA</strong> <strong>2012</strong> neben 31 weiteren<br />
Ländern an der internationalen Option zur computerbasierten<br />
Erhebung der Mathematikkompetenz. Ausschlaggebend<br />
für die Entscheidung der OECD, Mathematik bei<br />
<strong>PISA</strong> <strong>2012</strong> auch computerbasiert zu erfassen, waren vor<br />
allem zwei Aspekte: Erstens ist die Nutzung von Computern<br />
in vielen Bereichen des täglichen Lebens, am Arbeitsplatz<br />
oder in der Wissenschaft allgegenwärtig. Bezüglich<br />
Mathematik bieten Computer eine Reihe an Werkzeugen
20 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
(„Tools“) für Berechnungen, Repräsentationen, Visualisierungen,<br />
Modifizierungen, und das Erforschen von sowie<br />
Exper<strong>im</strong>entieren mit mathematischen Objekten, Phänomenen<br />
und Prozessen. Daher sollte Mathematikkompetenz <strong>im</strong><br />
21. Jahrhundert auch die Verwendung des Computers und<br />
den Umgang mit elektronischen Werkzeugen beinhalten.<br />
Zweitens bieten Computer neue Wege der Erfassung der<br />
Mathematikkompetenz, indem Schüler/innen direkt mit<br />
einer Problemstellung interagieren können. <strong>Die</strong> Möglichkeit,<br />
Prozesse zu an<strong>im</strong>ieren oder dreid<strong>im</strong>ensionale Objekte<br />
rotieren zu lassen, kann dazu beitragen, dass Aufgaben besser<br />
verstanden werden. Darüber hinaus können am Computer<br />
neue Aufgaben- und Antwortformate (z. B. „drag and<br />
drop“) eingesetzt und das Erscheinungsbild farblich und<br />
grafisch ansprechender gestaltet werden.<br />
Eine Herausforderung bei der Umsetzung der computerbasierten<br />
Erhebung der Mathematikkompetenz ist es, die<br />
benötigten Kenntnisse für die Nutzung des Computers und<br />
der zur Verfügung gestellten Tools von den mathematischen<br />
Anforderungen der jeweiligen Aufgabe zu unterscheiden.<br />
Für jede computerbasierte Mathematikaufgabe werden daher<br />
drei Aspekte festgelegt (OECD, 2013a, S. 43 f.):<br />
<strong>Die</strong> zu testende Mathematikkompetenz, die grundsätzlich<br />
in jeder Umgebung (nicht nur am Computer) benötigt<br />
wird. <strong>Die</strong>se wird in allen computerbasierten Testaufgaben<br />
getestet.<br />
Kompetenzen, die sowohl die Anwendung der Mathematik<br />
als auch Kenntnisse der Computernutzung erfordern, z. B.<br />
ein Diagramm auf Basis von Daten erstellen, Informationen<br />
effizient sortieren, einen Bildschirmtaschenrechner<br />
oder ein Bildschirmlineal verwenden; diese Kompetenzen<br />
werden in einigen Computertestaufgaben ge -<br />
testet.<br />
Grundlegende informations- und kommunikationstechnologische<br />
Fertigkeiten, z. B. die Verwendung von Hardware<br />
wie Tastatur und Maus oder Kenntnisse über<br />
grundlegende Konventionen wie die Verwendung von<br />
Kreis- oder Pfeilschaltflächen oder eines Scroll-Balkens.<br />
<strong>Die</strong> reinen IKT-Fertigkeiten werden bei allen computerbasierten<br />
Mathematikaufgaben so gering wie möglich<br />
gehalten.<br />
Lesekompetenz<br />
Lesekompetenz gilt als Grundvoraussetzung, um am gesellschaftlichen<br />
Leben aktiv teilhaben und sich <strong>im</strong> Sinn des lebenslangen<br />
Lernens weiterentwickeln zu können.<br />
Lesekompetenz wird bei <strong>PISA</strong> <strong>2012</strong> wie folgt definiert: „Lesefähigkeit<br />
bedeutet, geschriebene Texte zu verstehen, zu nutzen,<br />
über sie zu reflektieren und sich mit ihnen auseinanderzusetzen,<br />
um eigene Ziele zu erreichen, das eigene Wissen und<br />
Potenzial weiterzuentwickeln und am gesellschaftlichen Leben<br />
teilzunehmen“ (OECD, 2013a, S. 61; Übersetzung: BIFIE).<br />
<strong>Die</strong>se Definition zeigt deutlich, dass die bei <strong>PISA</strong> gemessene<br />
Lesekompetenz über ein reines Dekodieren von Texten und<br />
ein rein wörtliches Textverständnis hinausgeht. Lesen ist ein<br />
dynamischer Prozess, bei dem jeder Leser/jede Leserin auf<br />
unterschiedliche Art und Weise versucht, den Inhalt des<br />
Textes zu verstehen, die Bedeutung zu interpretieren und<br />
zu reflektieren.<br />
<strong>Die</strong> Leseaufgaben bei <strong>PISA</strong> können nach drei Merkmalen<br />
differenziert werden (vgl. OECD, 2013a, S. 62 f.):<br />
Situationen<br />
<strong>Die</strong> Situationen beschreiben das Umfeld, aus dem die<br />
Texte stammen bzw. in denen Lesen stattfindet. Vier Arten<br />
von Situationen werden dabei unterschieden: persönlich<br />
oder öffentlich (z. B. Briefe, Webseiten), beruflich<br />
oder bildungsnah (z. B. Jobangebote oder Lehrbücher).<br />
Textklassifikationen<br />
<strong>Die</strong> bei <strong>PISA</strong> eingesetzten Texte werden anhand von vier<br />
Merkmalen klassifiziert: Medium, Textformat, Texttyp<br />
und Textumfeld.<br />
Das Medium dient der Unterscheidung von Texten in<br />
gedruckter Form (z. B. Magazine oder Bücher) und Texten<br />
in elektronischer Form (z. B. Hypertexte mit Navigationstools).<br />
Bei der Klassifikation nach Textformat werden vier<br />
Formate unterschieden: kontinuierliche, nichtkontinuierliche,<br />
gemischte und multiple Textformate. <strong>Die</strong>se<br />
sind jeweils anders organisiert und verlangen eine unterschiedliche<br />
Herangehensweise durch den Leser/die<br />
Leserin. Kontinuierliche Texte bestehen aus Sätzen und<br />
sind in Absätze gegliedert, die wiederum Teil von größeren<br />
Strukturen wie Abschnitten, Kapiteln oder Büchern<br />
sind. Dazu gehören z. B. Erzählungen oder Erläuterungen.<br />
Nichtkontinuierliche Texte basieren auf einer Kombination<br />
von Listen, wie z. B. Tabellen, Formulare oder<br />
Diagramme. Gemischte Textformate enthalten sowohl<br />
kontinuierliche als auch nichtkontinuierliche Textteile<br />
und sind häufig in Magazinen oder auf Webseiten zu<br />
finden. Multiple Textformate kommen hauptsächlich<br />
bei elektronischen Texten vor und ergeben unabhängig<br />
voneinander eine Sinneinheit.<br />
<strong>Die</strong> Klassifikation Texttyp bezieht sich auf den hauptsächlichen<br />
Charakter eines Textes und umfasst sechs<br />
Kategorien: Beschreibungen (z. B. Reiseberichte oder<br />
Tagebücher), Erzählungen (z. B. Romane oder Kurzge-
Was misst <strong>PISA</strong>? 21<br />
Leseprozesse<br />
Informationen ermitteln<br />
Kombinieren<br />
und Interpretieren<br />
Reflektieren<br />
und Bewerten<br />
pr<strong>im</strong>äre Nutzung von Informationen,<br />
die <strong>im</strong> Text enthalten sind<br />
pr<strong>im</strong>äres Heranziehen von externem Wissen<br />
erforderlich<br />
Heraussuchen von<br />
Informationen<br />
Entwickeln eines<br />
allgemeinen<br />
Verständnisses<br />
Entwickeln einer<br />
Interpretation<br />
über den Textinhalt<br />
reflektieren und diesen<br />
bewerten<br />
über die Textform<br />
reflektieren und diese<br />
bewerten<br />
Abbildung 3.2: Leseprozesse bei <strong>PISA</strong> (vgl. OECD, 2013a, S. 67)<br />
schichten), Darstellungen (z. B. Formen von Definitionen<br />
und Erklärungen), Begründungen (z. B. Leserbriefe<br />
oder Online-Postings), Anleitungen (z. B. Bedienungsanleitungen)<br />
und Transaktionen (z. B. berufliche Termine<br />
organisieren).<br />
<strong>Die</strong> Klassifikation Textumfeld bezieht sich auf computerbasierte<br />
elektronische Texte. Dabei wird unterschieden,<br />
ob der Inhalt eines Textes durch den Leser/die Leserin<br />
verändert werden kann (z. B. E-Mails oder Online-Formulare)<br />
oder nicht.<br />
Leseprozesse<br />
<strong>Die</strong> Leseaufgaben bei <strong>PISA</strong> involvieren vor allem drei Leseprozesse:<br />
Informationen ermitteln, Kombinieren und<br />
Interpretieren, Reflektieren und Bewerten.<br />
Bei Aufgaben mit der Intention Informationen ermitteln<br />
müssen die Schüler/innen einen oder mehrere<br />
Informationsinhalt(e) aus dem Text heraussuchen. <strong>Die</strong>ser<br />
Vorgang setzt sowohl be<strong>im</strong> gedruckten als auch be<strong>im</strong><br />
elektronischen Lesen Fähigkeiten wie das Heraussuchen,<br />
Sammeln und Wiederfinden von Informationen<br />
voraus. Be<strong>im</strong> elektronischen Lesen gehört dazu auch das<br />
Navigieren <strong>im</strong> Internet, das Zugreifen auf und das Abrufen<br />
von Informationen.<br />
Integrieren bedeutet, dass die Schüler/innen ein allgemeines<br />
Textverständnis zeigen und z. B. Zusammenhänge<br />
zwischen benachbarten Sätzen, verschiedenen<br />
Absätzen oder über multiple Texte hinweg erkennen<br />
können. Be<strong>im</strong> Interpretieren müssen die Jugendlichen<br />
verschiedene Textteile miteinander in Beziehung setzen<br />
oder Unterschiede aufzeigen.<br />
Bei den Leseaufgaben zu Reflektieren und Bewerten müssen<br />
die Schüler/innen zusätzliches Wissen, eigene Ideen<br />
und Erfahrungen heranziehen, um entweder über den<br />
Inhalt oder die Form des Textes zu reflektieren bzw.<br />
diese zu bewerten. Dabei müssen sie die Informationen<br />
hinsichtlich ihrer Genauigkeit, Zuverlässigkeit und Aktualität<br />
evaluieren.<br />
Abbildung 3.2 stellt das Zusammenspiel der Leseprozesse<br />
grafisch dar.<br />
Lesen elektronischer Medien<br />
Computer und andere elektronische Geräte werden auch<br />
als Lesemedien vielseitig genutzt. Dabei geht es nicht nur<br />
um das Lesen von elektronisch aufbereiteten Texten wie Bücher,<br />
Artikel oder Nachrichten, sondern auch um alltägliche<br />
Vorgänge wie das Suchen von spezifischen Informationen<br />
<strong>im</strong> Internet, das Ausfüllen von Online-Formularen, die<br />
Teilnahme in sozialen Netzwerken oder die Nutzung von<br />
E-Mail. Neben neuen Möglichkeiten der Texterstellung<br />
und -gestaltung, die elektronische Medien bieten, verändert
22 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
sich auch der Vorgang des Lesens selbst und die dazu benötigten<br />
Fertigkeiten und Kompetenzen. Für Politik, Gesellschaft<br />
und Bildung ist es wichtig, diese Veränderungen zu<br />
erkennen und zu verstehen (OECD, 2011, S. 32 f.).<br />
Unterschiede zwischen gedruckten und<br />
elektronischen Texten<br />
Elektronische Texte unterscheiden sich in best<strong>im</strong>mten<br />
Merkmalen hinsichtlich ihrer Erstellung, Darstellung, Organisation<br />
und Verknüpfung mit anderen Texten von gedruckten<br />
Texten. Während gedruckte Texte relativ stabil<br />
sind, sind elektronische Texte dynamisch und können jederzeit<br />
verändert oder aktualisiert werden.<br />
Unterschiedliche Darstellungsformen ergeben sich bei elektronischen<br />
Texten durch eine vorgegebene Bildschirmgröße<br />
und die Qualität der Anzeige, die sich auf die Lesbarkeit des<br />
Textes auswirken. Elektronische Texte präsentieren Informationen<br />
häufig fragmentarisch, wobei es die Möglichkeit<br />
gibt, sowohl innerhalb einer Seite als auch zwischen verschiedenen<br />
Seiten zu navigieren (z. B. mittels Bildlaufleiste,<br />
Menüs oder Tabs). Darüber hinaus können unterschiedliche<br />
Seiten mittels Hyperlinks verknüpft und vernetzte Strukturen<br />
aufgebaut werden. <strong>Die</strong> Navigation und Orientierung<br />
innerhalb solcher nichtlinearer Strukturen erfordern vom<br />
Leser/von der Leserin die Fähigkeit, übergeordnete Strukturen<br />
mental abzubilden, und eine gewisse Vertrautheit <strong>im</strong><br />
Umgang mit Navigationstools und Hyperlinks.<br />
Ein weiteres wichtiges Unterscheidungsmerkmal gedruckter<br />
und elektronischer Texte ist die Verlagerung von autorenbest<strong>im</strong>mten<br />
Texten hin zu mitteilungsbasierten Texten, die vor<br />
allem zur Kommunikation genutzt werden (z. B. E-Mails,<br />
Blogs, Chatrooms oder Web-Foren). Autorenbest<strong>im</strong>mte<br />
Texte haben einen unveränderlichen Inhalt, der vom Leser/<br />
von der Leserin nicht beeinflusst werden kann. Bei mitteilungsbasierten<br />
Texten hingegen können Leser/innen Einfluss<br />
nehmen, indem sie etwas hinzufügen oder den Inhalt<br />
verändern (OECD, 2011, S. 33 ff.).<br />
Einfluss elektronischer Medien auf die<br />
Lesekompetenz<br />
Eine große Bandbreite an Leseaktivitäten kann sowohl mittels<br />
gedruckter als auch elektronischer Medien ausgeführt<br />
werden. Gängige Beispiele sind das Lesen von Artikeln,<br />
Büchern, Nachrichten, Informationstexten, Gebrauchsanleitungen<br />
oder Wegbeschreibungen. Prozesse auf niedriger<br />
Stufe, wie das Identifizieren von Wörtern, Phrasen oder<br />
Sätzen, sind be<strong>im</strong> Lesen gedruckter und elektronischer Medien<br />
sehr ähnlich; ebenso Prozesse, die daran beteiligt sind,<br />
den Text mental abzubilden, z. B. um lokale oder globale<br />
Zusammenhänge herzustellen. Unterschiede treten eher in<br />
Bezug auf Makro-Aspekte des Lesens auf, wie be<strong>im</strong> Zugreifen<br />
auf spezifische Texte, be<strong>im</strong> Vergleichen oder In-Beziehung-<br />
Setzen von Informationen über Texte hinweg oder bei der<br />
Beurteilung der Qualität und Glaubwürdigkeit von Texten.<br />
<strong>Die</strong>se Fähigkeiten sind zwar auch be<strong>im</strong> Lesen gedruckter<br />
Medien erforderlich, jedoch stellen elektronische Medien<br />
aus vorab beschriebenen Eigenschaften wie Navigationsmöglichkeiten,<br />
nichtlinearen Strukturen, ständiger Veränderbarkeit<br />
sowie der großen Informationsmenge komplexere<br />
Anforderungen an die Leserschaft. So müssen Leser/innen<br />
meist selbst herausfinden, wer einen Text zu welchem Zweck<br />
verfasst und veröffentlicht hat und wie vertrauenswürdig<br />
bzw. verlässlich die Informationen sind, da Veröffentlichungen<br />
<strong>im</strong> Internet nicht reglementiert sind und Quellenangaben<br />
häufig fehlen (OECD, 2011, S. 36 f.).<br />
Lesekompetenz bei elektronischen Medien beinhaltet demnach<br />
die Fähigkeit, auf best<strong>im</strong>mte Texte zuzugreifen, diese<br />
zu verstehen, aufeinander zu beziehen und hinsichtlich ihrer<br />
Glaubwürdigkeit und Gültigkeit zu bewerten. <strong>Die</strong> Zusatzerhebung<br />
zum Lesen elektronischer Medien ist seit 2009<br />
ein wichtiger Bestandteil von <strong>PISA</strong> und ermöglicht es, den<br />
Umgang der Jugendlichen mit elektronischen Texten in einer<br />
Bandbreite an Lesekontexten und Aufgaben zu untersuchen.<br />
Österreich beteiligte sich sowohl 2009 (vgl. Schwantner<br />
& Schreiner, 2011) als auch <strong>2012</strong> daran.<br />
<strong>Die</strong> Naturwissenschaftskompetenz<br />
Naturwissenschaftskompetenz bei <strong>PISA</strong> geht davon aus,<br />
dass es für Jugendliche <strong>im</strong> 21. Jahrhundert von zentraler<br />
Bedeutung ist,<br />
naturwissenschaftliche Prozesse und Phänomene sowie<br />
technologische Errungenschaften verstehen zu können,<br />
Prozesse und Fortschritte eigenständig beurteilen bzw.<br />
deren Folgen und Auswirkungen auf das persönliche,<br />
soziale, berufliche und kulturelle Leben einschätzen zu<br />
können und<br />
darauf basierend verantwortungsbewusst zu handeln<br />
und Entscheidungen treffen zu können.<br />
Erfasst wird naturwissenschaftliches Wissen, das für die<br />
Lebenssituationen der Jugendlichen relevant ist. Schüler/<br />
innen sollen grundlegende naturwissenschaftliche Konzepte<br />
und Theorien verstehen, Methoden der Datengewinnung<br />
kennen (z. B. Beobachtung, Exper<strong>im</strong>ent) und Daten kritisch<br />
beurteilen bzw. Schlussfolgerungen ziehen können.<br />
<strong>Die</strong>s wird auch in der Definition der Naturwissenschaftskompetenz<br />
deutlich. Im Sinne von <strong>PISA</strong> ist Naturwissenschaftskompetenz<br />
definiert als:<br />
das Maß, indem eine Person<br />
„… naturwissenschaftliches Wissen besitzt und dieses Wissen<br />
anwendet, um Fragestellungen zu identifizieren, neue<br />
Kenntnisse zu erwerben, naturwissenschaftliche Phänomene<br />
zu erklären und aus Belegen Schlussfolgerungen in Bezug<br />
auf naturwissenschaftsbezogene Sachverhalte zu ziehen;<br />
die charakteristischen Eigenschaften der Naturwissenschaften<br />
als eine Form menschlichen Wissens und Forschens versteht,
Was misst <strong>PISA</strong>? 23<br />
Kontexte<br />
lebensnahe Situationen<br />
in Verbindung mit NW:<br />
• persönliche,<br />
• soziale und<br />
• globale Kontexte<br />
Fähigkeiten<br />
• Naturwissenschaftliche<br />
erfordern Fragestellungen erkennen beeinflussen<br />
• Phänomene naturwissenschaftlich<br />
erklären<br />
• Naturwissenschaftliche Beweise<br />
heranziehen<br />
Wissen<br />
• in den Naturwissenschaften<br />
(Physikalische Systeme, Biologische<br />
Systeme, Erd- und Weltraumsysteme,<br />
Technologische Systeme)<br />
• über die Naturwissenschaften<br />
(naturwiss. Forschen und naturwiss.<br />
Erklärungen)<br />
Abbildung 3.3: Organisation der Domäne Naturwissenschaft (vgl. OECD, 2013a, S. 102)<br />
erkennt, wie Naturwissenschaften und Technologie unsere<br />
materielle, intellektuelle und kulturelle Umgebung prägen;<br />
sich mit naturwissenschaftlichen Themen und Ideen als reflektierender<br />
Bürger [reflektierende Bürgerin] befasst“<br />
(OECD, 2007, S. 25).<br />
Abbildung 3.3 zeigt die drei Komponenten Kontext, Fähigkeiten<br />
und Wissen, die den Kompetenzbereich Naturwissenschaft<br />
strukturieren (vgl. OECD, 2013a, S.101 f.).<br />
Naturwissenschaftlicher Kontext<br />
Der naturwissenschaftliche Kontext stellt den Bezugsrahmen<br />
dar, in dem die Jugendlichen ihr naturwissenschaftliches<br />
Wissen und ihre naturwissenschaftlichen<br />
Fähigkeiten zeigen können. <strong>Die</strong> Naturwissenschaftsaufgaben<br />
sind dabei in lebensnahe Situationen eingebettet,<br />
die sich auf persönliche (sich selbst und die Familie), soziale<br />
(Gesellschaft) und globale Kontexte (Leben auf der<br />
ganzen Welt) beziehen.<br />
Naturwissenschaftliche Fähigkeiten<br />
Um naturwissenschaftliche Aufgabenstellungen lösen zu<br />
können, müssen Schüler/innen drei zentrale Fähigkeiten<br />
zeigen: naturwissenschaftliche Fragestellungen erkennen,<br />
Phänomene naturwissenschaftlich erklären und naturwissenschaftliche<br />
Beweise heranziehen. <strong>Die</strong>se Fähigkeiten<br />
wurden ausgewählt, da sie in der naturwissenschaftlichen<br />
Praxis unbedingt erforderlich sind und zudem in<br />
Erklärungstext zur Abbildung <br />
Verbindung mit essenziellen kognitiven Fähigkeiten stehen,<br />
wie z. B. induktivem/deduktivem Schließen, Denken<br />
in Modellen oder Analysieren von Daten.<br />
<br />
Wissen<br />
Eine weitere Klassifikation ist die Erfassung des Wissens<br />
der Schüler/innen in den Naturwissenschaften („knowledge<br />
of science“) und das Wissen über die Naturwissenschaften<br />
(„knowledge about science“). Bei dem Aspekt<br />
Wissen in den Naturwissenschaften geht es um das<br />
Verständnis grundlegender Konzepte und Theorien in<br />
den Hauptgebieten Physik, Chemie, Biologie, Erd- und<br />
Weltraumwissenschaft sowie Technologie. Es soll Wissen<br />
getestet werden, das für reale Lebenssituationen relevant<br />
ist. Für die Erfassung des Wissens über die Naturwissenschaften<br />
sind zwei Komponenten von Bedeutung: naturwissenschaftliches<br />
Forschen als zentraler Prozess der Naturwissenschaft<br />
(z. B. den Zweck von Untersuchungen<br />
erkennen) und naturwissenschaftliche Erklärungen (z. B.<br />
Theorien, Hypothesen) als Ergebnisse der Forschung.<br />
Problemlösekompetenz<br />
Problemlösekompetenz ist ein zentrales Bildungsziel in vielen<br />
Ländern. Eine hohe Problemlösekompetenz bietet eine<br />
gute Basis dafür, sich an veränderte Bedingungen anzupassen<br />
und auf neue Gegebenheiten und Herausforderungen<br />
flexibel zu reagieren. <strong>PISA</strong> <strong>2012</strong> erhebt die individuelle<br />
Problemlösekompetenz der Schüler/innen. Der Fokus liegt<br />
dabei auf grundlegenden kognitiven Prozessen des Problemlösens.<br />
Fachspezifisches Wissen tritt – weiter als bei den drei<br />
Domänen Lesen, Mathematik und Naturwissenschaft – in<br />
den Hintergrund. Problemlösekompetenz wird bei <strong>PISA</strong><br />
<strong>2012</strong> wie folgt definiert:<br />
„Problemlösekompetenz ist die Kapazität eines Individuums,<br />
kognitive Prozesse zu nutzen, um Probleme, bei denen die Lösungsmethode<br />
nicht sofort erkennbar ist, zu verstehen und zu<br />
lösen. Sie beinhaltet die Bereitschaft, sich mit solchen Situationen<br />
auseinanderzusetzen, um sich als konstruktive/r und<br />
reflektierende/r Bürger/in einzubringen“ (OECD, 2013a,<br />
S.122; Übersetzung: BIFIE).<br />
Abbildung 3.4 veranschaulicht eine Problemsituation. <strong>Die</strong><br />
Ausgangssituation repräsentiert das Wissen, das eine Person<br />
über ein Problem am Anfang hat. <strong>Die</strong> Mittel sind zulässige<br />
Handlungen, die ausgeführt werden können, um das angestrebte<br />
Ziel unter Hinzunahme von verfügbaren Werkzeugen<br />
zu erreichen. Hindernisse (z. B. Mangel an Wissen oder<br />
Strategien) stehen der Zielerreichung <strong>im</strong> Weg und müssen<br />
überwunden werden. An der Überwindung der Hindernisse<br />
(der Transformation der Ausgangssituation in eine Zielsituation)<br />
sind sowohl kognitive als auch motivationale und<br />
affektive Faktoren (u. a. die Bereitschaft, sich mit Problemsituationen<br />
auseinanderzusetzen) beteiligt.<br />
Das Ausmaß der Problemlösefähigkeit einer Person (hoch/<br />
niedrig) best<strong>im</strong>mt, wie schnell eine Lösung gefunden wird<br />
und wie effektiv der Lösungsweg ist.
24 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Erfassung der Problemlösekompetenz bei <strong>PISA</strong> <strong>2012</strong><br />
Problemlösekompetenz wird bei <strong>PISA</strong> <strong>2012</strong> ausschließlich<br />
computerbasiert erfasst. <strong>Die</strong>s ermöglicht es, relativ komplexe<br />
Probleme als Ausgangsbasis zu nehmen, die es den<br />
Jugendlichen erlauben, direkt mit der Problemstellung zu<br />
interagieren.<br />
<strong>Die</strong> Domäne Problemlösen beinhaltet drei wichtige D<strong>im</strong>ensionen<br />
(OECD, 2013a, S. 124 ff.):<br />
Problemkontext<br />
<strong>Die</strong> Vertrautheit einer Person mit einem Problemkontext<br />
und das Verständnis für diesen Kontext haben Einfluss<br />
darauf, wie schwierig es für diese Person ist, das<br />
Problem zu lösen. <strong>Die</strong> Problemkontexte bei <strong>PISA</strong> können<br />
in technische (z. B. Funktionsweise eines technischen<br />
Gerätes) oder nichttechnische (z. B. Planen von Routen<br />
oder Entscheidungsfindung) unterschieden werden. Je<br />
nach Schwerpunkt ist der Kontext darüber hinaus entweder<br />
persönlich (Bezug auf sich selbst, die Familie und<br />
die Peers) oder sozial (Bezug auf die Gemeinde oder Gesellschaft,<br />
z. B. Arbeitsplatz oder Weiterbildung). Zum<br />
Beispiel: Das Einstellen der Uhrzeit auf einer Digitaluhr<br />
würde als technisch und persönlich klassifiziert werden;<br />
die Erstellung einer Basketball-Spielerliste würde als<br />
nichttechnisch und sozial klassifiziert werden.<br />
Beschaffenheit der Problemsituation<br />
<strong>Die</strong> Problemlösesituationen bei <strong>PISA</strong> <strong>2012</strong> sind entweder<br />
interaktiv oder statisch. Interaktiv bedeutet, dass<br />
sich die Situation während der Beantwortung verändert.<br />
<strong>Die</strong>s kann automatisch oder durch Eingriff des Schülers/der<br />
Schülerin passieren (z. B. durch Starten einer<br />
S<strong>im</strong>ulation). Statische Problemsituationen verändern<br />
sich während der Bearbeitung nicht.<br />
Problemlöseprozesse<br />
Vier kognitive Prozesse sind hauptsächlich am Problemlösen<br />
beteiligt:<br />
Erforschen und Verstehen<br />
Ziel be<strong>im</strong> Erforschen und Verstehen ist es, eine mentale<br />
Repräsentation eines jeden Stückchens an Information,<br />
das in der Problemstellung vorhanden ist, aufzubauen.<br />
Erforscht wird die Problemsituation durch Beobachten,<br />
Interagieren, Suchen nach Informationen, Einschränkungen<br />
oder Hindernissen. Alle Informationen (die<br />
gegebenen sowie jene, die be<strong>im</strong> Erforschen entdeckt<br />
werden) sowie relevante Konzepte müssen zudem verstanden<br />
werden.<br />
Darstellen und Formulieren<br />
Ziel dieses Prozesses ist es, eine schlüssige mentale Repräsentation<br />
der gesamten Problemsituation aufzubauen.<br />
Um dies zu tun, müssen relevante Informationen ausgewählt,<br />
mental organisiert und mit den einschlägigen<br />
Vorkenntnissen kombiniert werden. Darstellen umfasst<br />
z. B. eine tabellarische, grafische, symbolische oder verbale<br />
Darstellung der Problemsituation und das Wechseln<br />
zwischen verschiedenen Repräsentationsformen.<br />
Formulieren bezieht sich auf das Formulieren von Hypothesen,<br />
indem relevante Faktoren des Problems und ihre<br />
Zusammenhänge identifiziert werden. Zudem werden<br />
die Informationen organisiert und kritisch ausgewertet.<br />
Planen und Ausführen<br />
Planen bezieht sich auf das Setzen von Zielen (Klären<br />
übergeordneter Ziele und Setzen von Teilzielen) sowie<br />
das Ausarbeiten eines Plans oder einer Strategie, einschließlich<br />
der zu unternehmenden Schritte, zur Erreichung<br />
des Ziels. Ausführen bezieht sich auf die Umsetzung<br />
des Plans/der Strategie.<br />
Beobachten und Reflektieren<br />
<strong>Die</strong>ser Prozess bezieht sich auf die Überwachung der<br />
Fortschritte <strong>im</strong> Hinblick auf das Ziel, einschließlich der<br />
Überprüfung von Zwischen- und Endergebnissen, dem<br />
Aufdecken unerwarteter Ereignisse und der Durchführung<br />
von Hilfsmaßnahmen, so diese erforderlich sind.<br />
Dabei müssen Lösungen aus verschiedenen Perspektiven<br />
reflektiert sowie Annahmen und alternative Lösungen<br />
kritisch ausgewertet werden.<br />
<strong>Die</strong> Fähigkeiten zum logischen Denken (z. B. deduktives,<br />
induktives, quantitatives, zusammenhängendes, kombinatorisches,<br />
mehrd<strong>im</strong>ensionales und Analogiedenken), die mit<br />
Ausgangssituation<br />
Ziel<br />
Hindernis<br />
Mittel zur<br />
Überwindung<br />
Abbildung 3.4: Problemsituation (vgl. Frensch & Funke, 1995 in OECD, 2013a, S.121)
Was misst <strong>PISA</strong>? 25<br />
diesen Prozessen verbunden sind, sind in die Problemlöseaufgaben<br />
eingebettet. Für den <strong>PISA</strong>-Kontext sind sie auch<br />
insofern wichtig, da die Fähigkeiten zum logischen Denken<br />
<strong>im</strong> Unterricht gelehrt und modelliert werden können<br />
(OECD, 2013a, S. 126).<br />
Aufgabenbeispiele<br />
Im Folgenden finden Sie einige der Aufgaben der Hauptdomäne<br />
Mathematik aus <strong>PISA</strong> <strong>2012</strong>, die von der OECD<br />
für die Öffentlichkeit freigegeben wurden. Ein Großteil der<br />
<strong>PISA</strong>-Aufgaben wird stets für zukünftige Erhebungen zurückgehalten,<br />
um Vergleiche zwischen den verschiedenen<br />
Erhebungszeitpunkten zu ermöglichen.<br />
<strong>Die</strong> Auswahl der Aufgabenbeispiele wurde so getroffen,<br />
dass die wesentlichen Aspekte des Mathematik-Frameworks<br />
(Kontexte, mathematische Inhaltsbereiche und mathematische<br />
Prozesse) abgedeckt sind und leichte sowie schwierige<br />
Aufgaben enthalten sind. Zu jeder Aufgabe sind auch die<br />
Lösungen bzw. die Richtlinien für die Bewertung der Schülerantworten<br />
bei offenen Fragen enthalten (s. Kapitel 6).<br />
<strong>Die</strong> Prozent korrekt geben jeweils den Anteil an Schülerinnen<br />
und Schülern in Österreich und <strong>im</strong> Schnitt der OECD-<br />
Länder an, die die Aufgabe vollständig lösen konnten.<br />
<strong>PISA</strong>-AUFGABENBEISPIELE<br />
Alle bisher freigegebenen Haupttestaufgaben der drei<br />
Kompetenzbereiche sind auf der <strong>PISA</strong>-Webseite des<br />
BIFIE als PDF erhältlich (https://www.bifie.at/pisa).<br />
Beispielaufgaben des Computertests für Mathematik,<br />
Lesen elektronischer Medien und Problemlösen (in<br />
der österreichischen/deutschen Fassung sowie in der<br />
englischen Originalfassung) können unter folgenden<br />
Links eingesehen bzw. selbst bearbeitet werden:<br />
Über die Webseite der OECD<br />
http://www.oecd.org/pisa<br />
oder direkt über http://cbasq.acer.edu.au/<br />
<strong>Die</strong> Zugangsdaten für die Beispielaufgaben sind:<br />
Name: public; Password: access
26 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Aufgabenbeispiel CHARTS<br />
CHARTS<br />
Im Jänner kamen die neuen CDs der Bands 4U2Rock und The Kicking Kangaroos<br />
heraus. Im Februar folgten die CDs der Bands No One's Darling und The<br />
Metalfolkies. Das folgende Diagramm zeigt die CD-Verkaufszahlen der Bands von<br />
Jänner bis Juni.<br />
CD-Verkaufszahlen pro Monat<br />
Anzahl verkaufter CDs pro Monat<br />
2250<br />
2000<br />
1750<br />
1500<br />
1250<br />
1000<br />
4U2Rock<br />
The Kicking Kangaroos<br />
No One´s Darling<br />
The Metalfolkies<br />
750<br />
500<br />
250<br />
0<br />
Jän Feb März Apr Mai Jun<br />
Monat<br />
Frage 1: CHARTS<br />
Wie viele CDs hat die Band The Metalfolkies <strong>im</strong> April verkauft?<br />
A 250<br />
B 500<br />
C 1000<br />
D 1270<br />
CHARTS BEWERTUNG 1<br />
ABSICHT DER FRAGE: Ein Balkendiagramm lesen und die Höhe von zwei Balken
Was misst <strong>PISA</strong>? 27<br />
Informationen zu Frage 1<br />
Absicht der Frage:<br />
Kontext:<br />
Inhaltsbereich:<br />
Prozess:<br />
Format:<br />
Richtige Antwort:<br />
Ein Balkendiagramm lesen und die Höhe von zwei Balken vergleichen<br />
gesellschaftlich<br />
Unsicherheit & Daten<br />
Interpretieren<br />
Einfache Multiple-Choice-Aufgabe<br />
B<br />
Prozent korrekt: Österreich: 85 %, OECD 87 %<br />
Frage 2: CHARTS<br />
Der Manager von The Kicking Kangaroos macht sich Sorgen, weil die Anzahl der<br />
verkauften CDs von Februar bis Juni gesunken ist.<br />
Wie hoch ist die geschätzte Verkaufszahl für Juli, falls sich dieser negative Trend<br />
genauso fortsetzt?<br />
A<br />
B<br />
C<br />
D<br />
70 CDs<br />
370 CDs<br />
670 CDs<br />
1340 CDs<br />
CHARTS BEWERTUNG 2<br />
Informationen zu Frage 2<br />
ABSICHT DER FRAGE: Ein Balkendiagramm interpretieren und schätzen, wie viele CDs<br />
Absicht der Frage:<br />
Ein Balkendiagramm<br />
in Zukunft<br />
interpretieren<br />
verkauft<br />
und<br />
werden,<br />
schätzen, wie<br />
unter<br />
viele CDs<br />
der<br />
in Zukunft<br />
Annahme, dass sich der<br />
verkauft werden, unter der Annahme, dass sich der lineare Trend fortsetzt<br />
lineare Trend fortsetzt<br />
Kontext:<br />
Full Credit<br />
Inhaltsbereich:<br />
Code 1: B. 370 CDs<br />
Prozess:<br />
No Credit<br />
Format:<br />
Code 0: Andere Antworten.<br />
Richtige Antwort:<br />
Code 9: Missing<br />
gesellschaftlich<br />
Unsicherheit & Daten<br />
Anwenden<br />
Einfache Multiple-Choice-Aufgabe<br />
Prozent korrekt: Österreich: 75 %, OECD 77 %<br />
B
28 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Aufgabenbeispiel TROPFRATE<br />
TROPFRATE<br />
Mit Infusionen (oder einem intravenösen Tropf) werden Patientinnen und Patienten<br />
mit Flüssigkeiten und Medikamenten versorgt.<br />
Pflegekräfte müssen die Tropfrate D in Tropfen pro Minute für Infusionen berechnen.<br />
Sie verwenden dazu die Formel<br />
, wobei gilt:<br />
d ist der Tropffaktor gemessen in Tropfen pro Milliliter (ml)<br />
v ist das Volumen der Infusion in ml<br />
n ist die Anzahl Stunden, die die Infusion angeschlossen bleiben muss.<br />
Frage 1: TROPFRATE<br />
Eine Pflegekraft möchte die Infusionsdauer verdoppeln.<br />
Beschreibe genau, wie sich D verändert, wenn n verdoppelt wird, aber d und v sich<br />
nicht ändern.<br />
......................................................................................................................................<br />
......................................................................................................................................<br />
......................................................................................................................................<br />
TROPFRATE BEWERTUNG 1<br />
ABSICHT DER FRAGE: Erklären, welche Auswirkung die Verdoppelung einer Variablen in<br />
einer Formel auf das Ergebnis hat, wenn die anderen Variablen
Was misst <strong>PISA</strong>? 29<br />
Informationen zu Frage 1<br />
Absicht der Frage:<br />
Kontext:<br />
Inhaltsbereich:<br />
Prozess:<br />
Format:<br />
Erklären, welche Auswirkung die Verdoppelung einer Variable in einer Formel<br />
auf das Ergebnis hat, wenn die anderen Variablen konstant gehalten werden<br />
beruflich<br />
Veränderung & Zusammenhänge<br />
Anwenden<br />
lange, offene Aufgabe<br />
Bewertungsvorschriften: Code 2 (Full Credit): <strong>Die</strong> Erklärung beschreibt sowohl die Richtung der<br />
Auswirkung als auch deren Größe (z. B. „Es halbiert<br />
sich.“; „D wird 50 % kleiner.“).<br />
Code 1 (Partial Credit): Eine Antwort, die ENTWEDER die Richtung ODER<br />
die Größe der Veränderung richtig angibt, aber nicht<br />
BEIDE (z. B. „D wird kleiner.“ [keine Größe]; „<strong>Die</strong><br />
Veränderung beträgt 50 %.“ [keine Richtung]; „D<br />
wird um 50 % größer.“ [falsche Richtung, aber richtige<br />
Größe]).<br />
Code 0 (No Credit): Andere Antworten (z. B. „D wird sich ebenfalls verdoppeln.“<br />
[Sowohl die Größe als auch die Richtung<br />
sind falsch.]).<br />
Prozent korrekt: Österreich: 25 %, OECD 22 %
30 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Aufgabenbeispiel WOHNUNGSKAUF<br />
WOHNUNGSKAUF<br />
Das ist der Grundriss der Wohnung, die Georgs Eltern von einer Wohnbaugesellschaft<br />
kaufen wollen.<br />
Maßstab:<br />
1 cm entspricht 1 m<br />
Frage 1: WOHNUNGSKAUF<br />
Um die gesamte Grundfläche der Wohnung (einschließlich der Terrasse und Wände)<br />
zu schätzen, kann man die Größe jedes Raumes messen, seine Fläche berechnen<br />
und dann alle Flächen addieren.<br />
Es gibt jedoch ein effektiveres Verfahren, bei dem man nur vier Längen messen<br />
muss, um die gesamte Grundfläche zu schätzen. Markiere <strong>im</strong> Grundriss oben die<br />
vier Längen, die benötigt werden, um die gesamte Grundfläche der Wohnung zu<br />
schätzen.<br />
WOHNUNGSKAUF BEWERTUNG 1<br />
ABSICHT DER FRAGE: Beschreibung: Anwenden von räumlichem Denken, um bei einem<br />
Grundriss (oder durch eine andere Methode) die niedrigste, be-
Was misst <strong>PISA</strong>? 31<br />
Informationen zu Frage 1<br />
Absicht der Frage:<br />
Kontext:<br />
Inhaltsbereich:<br />
Prozess:<br />
Format:<br />
Anwenden von räumlichem Denken, um bei einem Grundriss (oder durch eine<br />
andere Methode) die niedrigste, benötigte Anzahl von Seitenlängen anzugeben,<br />
um die Grundfläche zu ermitteln<br />
persönlich<br />
Raum & Form<br />
Formulieren<br />
lange, offene Aufgabe<br />
Bewertungsvorschriften: Code 1 (Full Credit): <strong>Die</strong> vier Abmessungen, die zur Schätzung der Grundfläche<br />
der Wohnung erforderlich sind, wurden auf<br />
dem Grundriss markiert. Es gibt 9 mögliche Lösungen,<br />
wie in den Abbildungen unten angezeigt. (Z. B.<br />
A = (9,7 m ∙ 8,8 m) – (2 m ∙ 4,4 m), A = 76,56 m 2<br />
[Verwendung von genau 4 Längen, um die benötigte<br />
Fläche zu messen und zu berechnen.])<br />
Code 0 (No Credit):<br />
Andere Antworten.<br />
Prozent korrekt: Österreich: 46 %, OECD 45 %
32 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Aufgabenbeispiel SAUCE<br />
SAUCE<br />
Frage 1: SAUCE<br />
Du bereitest dein eigenes Salatdressing zu.<br />
Hier ist ein Rezept für 100 Milliliter (ml) Dressing.<br />
Salatöl:<br />
Essig:<br />
Sojasauce:<br />
60 ml<br />
30 ml<br />
10 ml<br />
Wie viele Milliliter (ml) Salatöl brauchst du, um 150 ml dieses Dressings zu machen?<br />
Antwort: ........................... ml<br />
SAUCE BEWERTUNG 1<br />
Informationen zu Frage 1<br />
ABSICHT DER FRAGE: Anwenden von Mengenverhältnissen in einer Alltagssituation,<br />
Absicht der Frage:<br />
Anwenden<br />
um<br />
von<br />
die<br />
Mengenverhältnissen einer einer<br />
Zutat,<br />
Alltagssituation,<br />
die in einem<br />
um die Menge<br />
Rezept benötigt wird,<br />
einer Zutat, die in einem Rezept benötigt wird, auszurechnen<br />
auszurechnen<br />
Kontext:<br />
Full Credit<br />
Inhaltsbereich:<br />
Code 1: 90<br />
Prozess:<br />
• 60 + 30<br />
Format:<br />
No Credit<br />
Code 0: Andere Antworten.<br />
• 1,5 Mal mehr<br />
Code 9: Missing.<br />
persönlich<br />
Größen<br />
Formulieren<br />
kurze, offene Aufgabe<br />
Bewertungsvorschriften: Code 1 (Full Credit): 90 (z. B. 60 + 30)<br />
Code 0 (No Credit): Andere Antworten (z. B. 1,5 Mal mehr).<br />
Prozent korrekt: Österreich: 64 %, OECD 64 %
4 <strong>PISA</strong>-Population und Stichprobe<br />
<strong>Die</strong> einheitliche Definition der Zielpopula<br />
tion sowie die Festlegung best<strong>im</strong>mter<br />
Regeln für die Größe und Zusammensetzung<br />
der Stichprobe sind zentrale Voraussetzungen<br />
für die Vergleichbarkeit der<br />
<strong>PISA</strong>-Daten sowohl zwischen den Teilnehmerländern<br />
als auch über die einzelnen Erhebungszeitpunkte<br />
hinweg.<br />
<strong>Die</strong> <strong>PISA</strong>-Population<br />
<strong>Die</strong> Definition der Grundgesamtheit bei<br />
<strong>PISA</strong> ist altersbasiert und umfasst nur die<br />
beschulte Population des definierten Jahrgangs.<br />
<strong>Die</strong> <strong>PISA</strong>-Population bilden alle<br />
Schüler/innen, die zum Testzeitpunkt zwischen<br />
15 Jahre und drei Monate und 16<br />
Jahre und zwei Monate alt sind und die<br />
mindestens die 7. Schulstufe besuchen<br />
(etwa 0,06 % der 15-/16-jährigen Schüler/<br />
innen in Österreich haben die 7. Schulstufe<br />
noch nicht erreicht). Für die Testfenster<br />
<strong>im</strong> empfohlenen Zeitraum zwischen März<br />
und Mai wird das Alter durch einen vollen<br />
Jahrgang, den Altersjahrgang 1996,<br />
definiert. Da das Testfenster in Österreich<br />
von 11. April bis 23. Mai <strong>2012</strong> festgesetzt<br />
wurde, umfasst die Zielpopulation Schüler/innen,<br />
die zwischen 1. Jänner 1996 und<br />
31. Dezember 1996 geboren wurden.<br />
Jugendliche <strong>im</strong> Alter von 15/16 Jahren befinden<br />
sich in den meisten Teilnehmerländern<br />
am Ende der Pflichtschulzeit – eine<br />
für die Vergleichbarkeit opt<strong>im</strong>ale Bedingung,<br />
da <strong>PISA</strong> somit den kumulativen<br />
„Bildungsertrag“ der einzelnen Schulsysteme<br />
(aus Grundschule und Sekundarstufe I)<br />
erfasst.<br />
<strong>Die</strong> <strong>PISA</strong>-Population in Österreich<br />
<strong>Die</strong> Populationsdefinition für die Erhebung<br />
<strong>2012</strong> lautete für Österreich präzise:<br />
„Zielpopulation von <strong>PISA</strong> <strong>2012</strong> sind Schülerinnen<br />
und Schüler des Altersjahrgangs 1996<br />
ab der 7. Schulstufe.“<br />
In Österreich streuen die rund 89 000 <strong>im</strong><br />
Jahr 1996 geborenen Schüler/innen über<br />
ca. 2 400 Schulen der Sekundarstufe I und<br />
II, von den Pflichtschulen (Hauptschulen,<br />
Neue Mittelschulen, Sonderschulen, Polytechnische<br />
Schulen) über die Berufsschulen<br />
und berufsbildenden mittleren Schulen<br />
bis zu den allgemeinbildenden und berufsbildenden<br />
höheren Schulen.<br />
Da <strong>PISA</strong> die Kompetenzen aller Schüler/<br />
innen eines Jahrgangs erfasst, wird auch ein<br />
Teil der Schüler/innen der Sekundarstufe I<br />
(insbesondere Hauptschulen, Neue Mittelschulen,<br />
AHS-Unterstufen, Sonderschulen)<br />
getestet. Jugendliche, die <strong>im</strong> Alter von<br />
15/16 Jahren noch eine Hauptschule oder<br />
Neue Mittelschule besuchen, weisen meist<br />
eine erhebliche Schullaufbahnverzögerung<br />
auf (d. h. sie haben mindestens eine Klasse<br />
wiederholt). Auch wenn es sich bei diesen<br />
Jugendlichen meist um schwächere Schüler/innen<br />
handelt, gehören sie doch zum<br />
<strong>PISA</strong>-Jahrgang und zum Gesamtbild des<br />
Leistungsstands der Population.<br />
Ebenso gehören Schüler/innen mit besonderen<br />
Bedürfnissen zur Zielgruppe, die, wenn<br />
es möglich, sinnvoll und ethisch vertretbar<br />
ist, auch am <strong>PISA</strong>-Test teilnehmen. Für<br />
sie wurde international eine eigene Testheftform<br />
„Testheft 60“ („60“ steht für die<br />
Testdauer von 60 Minuten) mit einfacheren<br />
Aufgaben und einer kürzeren Bearbeitungszeit<br />
zusammengestellt, um die Schüler/innen<br />
mit der langen Originaltestform<br />
nicht zu überfordern. Mithilfe dieses von<br />
Österreich wesentlich initiierten „Testhefts<br />
60“ werden Jugendliche an Sonderschulen<br />
getestet sowie Schüler/innen mit besonderen<br />
Bedürfnissen, die als Integrationsschüler/innen<br />
andere Schulen besuchen (z. B.<br />
Hauptschulen oder Neue Mittelschulen in<br />
Österreich). Unter best<strong>im</strong>mten Voraussetzungen<br />
werden stark beeinträchtigte Schüler/innen<br />
jedoch von vornherein vom Test<br />
ausgenommen. Eine Testung wäre diesen<br />
Schülerinnen und Schülern nicht zumutbar<br />
und würde auch zu keinen brauchbaren
34 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Informationen führen. <strong>Die</strong>se Ausschlüsse geschehen bereits<br />
vor der Information der Schüler/innen durch Schulkoordinator/in<br />
bzw. Klassenlehrer/in – d. h. Jugendliche, die<br />
aufgrund einer Beeinträchtigung ausgeschlossen werden,<br />
kommen mit <strong>PISA</strong>-Tests oder Fragebögen gar nicht in<br />
Kontakt.<br />
Da <strong>PISA</strong> unter „Schülerinnen und Schülern“ nicht nur<br />
Vollzeit-, sondern auch Teilzeitschüler/innen versteht, zählen<br />
auch Berufsschulen/Lehrlinge (Schüler/innen <strong>im</strong> „dualen<br />
System“) laut Vorschriften der OECD zur Population. In<br />
Österreich entsteht dabei durch lehrgangsmäßig geführte<br />
Berufsschulen eine Besonderheit. Zahlreiche Berufsschüler/innen<br />
sind zwar Schüler/innen <strong>im</strong> laufenden Schuljahr,<br />
sie sind jedoch während des sechswöchigen Testfensters<br />
(<strong>im</strong> April/Mai) nicht mehr an der Schule anwesend, weil<br />
ihr lehrgangsmäßig geblockter Unterricht bereits zu einem<br />
früheren Zeitpunkt (z. B. <strong>im</strong> November/Dezember) stattgefunden<br />
hat. Um trotzdem möglichst viele Schüler/innen<br />
zu erreichen, wird seit <strong>PISA</strong> 2003 das Testfenster für lehrgangsmäßig<br />
geführte Berufsschulen in Österreich in Absprache<br />
mit der OECD ausgeweitet (Beginn 12. März <strong>2012</strong><br />
statt 11. April <strong>2012</strong> für alle anderen Schulen; Dauer für alle<br />
Schulen bis 23. Mai <strong>2012</strong>). Eine zur Validierung der Berufsschulstichprobe<br />
durchgeführte <strong>Studie</strong> <strong>im</strong> Rahmen von<br />
<strong>PISA</strong> 2003 zeigt, dass sich die „Herbst/Winter“-Schüler/innen<br />
in einigen wesentlichen Merkmalen nicht auffällig von<br />
den (getesteten) „Frühjahr/Sommer“-Berufsschülerinnen<br />
und -schülern unterscheiden (Reiter, 2004, S. 131 ff.). Zur<br />
Gewährleistung der Repräsentativität wird eine exakte Gewichtung<br />
durch das internationale Konsortium vorgenommen.<br />
Bei <strong>PISA</strong> 2000 wurde in der ursprünglichen Gewichtung<br />
durch die OECD der Anteil der Berufsschüler/innen<br />
nicht korrekt abgebildet. Im Nachhinein wurde daher eine<br />
Neugewichtung vorgenommen, die jetzt für Trendanalysen<br />
herangezogen wird (Neuwirth, 2006).<br />
Wie diese Ausführungen zeigen, erfordert die differenzierte<br />
Struktur des österreichischen Schulsystems ein komplexes<br />
Stichprobendesign mit sorgfältiger Schichtung (Stratifizierung),<br />
damit die einzelnen Schulsparten repräsentativ erfasst<br />
werden.<br />
Out-of-School-Population<br />
Der <strong>PISA</strong>-Population gehören nur beschulte Jugendliche<br />
an. Das hat zur Folge, dass 15-/16-Jährige, die ihre Schulpflicht<br />
zum Testzeitpunkt bereits beendet haben und keine<br />
weiterführende Schule mehr besuchen („Out-of-School-<br />
Population“), nicht erfasst werden. <strong>Die</strong> Unterschiede hinsichtlich<br />
der Größe der „nichtbeschulten“ Population der<br />
15-/16-Jährigen in den Teilnehmerländern sind be<strong>im</strong> Vergleich<br />
der Mittelwerte zwischen den Schulsystemen zu berücksichtigen.<br />
Es ist anzunehmen, dass die nicht erfasste<br />
Out-of-School-Population leistungsmäßig keine zufällige<br />
Gruppe darstellt, sondern großteils aus dem unteren Leistungsbereich<br />
stammt. <strong>Die</strong> Mittelwerte eines Landes mit<br />
einer hohen Out-of-School-Population sind demnach höher,<br />
als sie es bei einer vollständigen Erfassung des gesamten<br />
Jahrgangs wären. Das muss be<strong>im</strong> Vergleich der Mittelwerte<br />
zum Beispiel mit Ländern mit sehr geringer Out-of-School-<br />
Population berücksichtigt werden.<br />
In Österreich ist der Anteil der Out-of-School-Population<br />
am jeweiligen Geburtsjahrgang der 15-/16-Jährigen <strong>im</strong> Ver <br />
gleich der OECD-Länder relativ groß. Er bewegt sich über<br />
die Erhebungszeitpunkte hinweg zwischen 4,8 % und 5,8 %<br />
(<strong>2012</strong>: 4,8 %). Bei <strong>PISA</strong> <strong>2012</strong> gibt es insgesamt 25 OECD-<br />
Länder mit einer geringeren Out-of-School-Population als<br />
in Österreich, darunter alle Nachbarländer, mit der Ausnahme<br />
von Italien (6 %). Ebenso einen Anteil von rund 5 %<br />
gibt es in Frankreich, Griechenland, Israel und Spanien. Mit<br />
Abstand am größten ist die Out-of-School-Population <strong>im</strong><br />
OECD-Raum in Mexiko (30 %) und in der Türkei (24 %)<br />
(vgl. OECD, 2013b, Anhang A2).<br />
<strong>Die</strong> Stichprobenziehung in Österreich bei<br />
<strong>PISA</strong> <strong>2012</strong><br />
<strong>Die</strong> Stichprobenziehung bei <strong>PISA</strong> verläuft ähnlich wie bei<br />
anderen internationalen Vergleichsstudien zweistufig: In einem<br />
ersten Schritt wird aus allen Schulen, die von Zielschülerinnen<br />
und Zielschülern besucht werden, die erforderliche<br />
Anzahl an Schulen zur Teilnahme an der Erhebung zufällig<br />
best<strong>im</strong>mt. Im zweiten Schritt wird aus diesen Schulen<br />
eine Schülerstichprobe gezogen. <strong>Die</strong> Schülerstichprobe einer<br />
Schule umfasst gewöhnlich Schüler/innen unterschiedlicher<br />
Klassen und Schulstufen, da sich Schüler/innen des<br />
gleichen Geburtsjahrgangs meist in mehreren Klassen und<br />
Schulstufen einer Schule befinden. Schüler/innen derselben<br />
Klasse sind leistungsmäßig meist etwas homogener als ihre<br />
Kolleginnen und Kollegen in der gesamten Schule. Durch<br />
die Ziehung einzelner Schüler/innen über die Klassen hinweg<br />
bleibt daher der Designeffekt geringer (d. h. die Schätzung<br />
der Mittelwerte und Streuungen ist bei gleicher Zahl<br />
getesteter Schüler/innen präziser).<br />
<strong>Die</strong> Stichprobenziehung auf Schulebene (Schritt 1)<br />
<strong>Die</strong> Stichprobenziehung auf Schulebene wird bei <strong>PISA</strong><br />
durch einen Partner des internationalen Konsortiums,<br />
Westat, vorgenommen. <strong>Die</strong>s sichert den einheitlichen Ablauf<br />
für alle Teilnehmerländer.<br />
<strong>Die</strong> Grundlage für die Stichprobenziehung in Österreich<br />
bildet die offizielle Schuldatenbank der Statistik Austria.<br />
Etwa ein halbes Jahr vor der Haupterhebung erhielt das<br />
Konsortium vom BIFIE eine Liste mit allen Schulen, die<br />
Zielschüler/innen des Jahrgangs 1996 (ca. 2 400 Schulen)<br />
aufweisen, sowie einen Stichprobenplan mit genauen Informationen<br />
zu den Schulen und zur vorgesehenen Stratifizierung.<br />
Bei <strong>PISA</strong> <strong>2012</strong> wurden 17 Strata verwendet, die<br />
die österreichischen Schulformen abbilden (s. Tabelle 4.1).<br />
Innerhalb dieser Strata wurden die Schulen nach Schultyp,<br />
Bundesland, Anteil der Mädchen und Schulgröße <strong>im</strong>plizit<br />
stratifiziert, um eine gute Verteilung der ausgewählten
<strong>PISA</strong>-Population und Stichprobe 35<br />
Nationale Stratifizierung bei <strong>PISA</strong> <strong>2012</strong><br />
Allgemeinbildende Pflichtschulen<br />
1 Pfl ichtschulen (Hauptschulen, Neue Mittelschulen und<br />
Sonderschulen)<br />
2 Polytechnische Schulen<br />
Allgemeinbildende höhere Schulen (AHS)<br />
3 AHS-Langform<br />
4 AHS-Kurzform<br />
Schulen mit Statut<br />
5 Waldorfschulen<br />
6 Sonstige Schulen mit Statut (z. B. Montessorischulen)<br />
Berufsschulen<br />
7 Berufsschulen (kaufmännisch/gewerblich)<br />
8 Berufsschulen (landwirtschaftlich)<br />
Berufsbildende mittlere Schulen (BMS)<br />
9 BMS (gewerblich)<br />
10 BMS (kaufmännisch)<br />
11 BMS (wirtschaftlich)<br />
12 BMS (landwirtschaftlich)<br />
Berufsbildende höhere Schulen (BHS)<br />
13 BHS (gewerblich)<br />
14 BHS (kaufmännisch)<br />
15 BHS (wirtschaftlich)<br />
16 BHS (landwirtschaftlich)<br />
17 BAKIP<br />
Tabelle 4.1: Stratifizierung der österreichischen<br />
<strong>PISA</strong>-<strong>2012</strong>-Stichprobe<br />
Schulen über diese Merkmale zu erreichen. Details zum<br />
Stichprobendesign sind <strong>im</strong> nationalen technischen Bericht<br />
zu <strong>PISA</strong> <strong>2012</strong> beschrieben (Pareiss, 2013a).<br />
<strong>Die</strong> Stichprobenziehung auf Schülerebene (Schritt 2)<br />
Etwa vier Monate vor der Testdurchführung übermittelte<br />
das internationale Konsortium die Liste mit den zufällig<br />
ausgewählten Schulen an das BIFIE. Nach einer genauen<br />
Prüfung der Schulstichprobe wurden die Landes- und Bezirksschulbehörden<br />
über die gezogenen Schulen und das<br />
weitere Prozedere informiert und die ausgewählten Schulen<br />
um ihre Teilnahme und die Zusendung einer Liste mit allen<br />
Schülerinnen und Schülern des Zieljahrgangs (1996), ab<br />
der 7. Schulstufe, ersucht. Mithilfe einer speziellen Software<br />
des Konsortiums wurde auf Basis dieser Listen eine Zufallsstichprobe<br />
von max. 35 Schülerinnen und Schülern je Schule<br />
für den papierbasierten Test gezogen. Hatte eine Schule weniger<br />
als 35 Zielschüler/innen, nahmen alle Schüler/innen<br />
des Geburtsjahrgangs 1996 am papierbasierten Test teil.<br />
Für den Computertest, der Aufgaben aus den Bereichen Problemlösen,<br />
Lesen elektronischer Medien und Mathematik<br />
umfasst, wurde aus der Schülerstichprobe eine Teilstichprobe<br />
gezogen. Dabei wurden aus den max. 35 Schülerinnen<br />
und Schülern, die an jeder Schule für den papierbasierten<br />
Test ausgewählt waren, 18 Schüler/innen zufällig best<strong>im</strong>mt,<br />
die <strong>im</strong> Anschluss daran den Computertest bearbeiten sollten.<br />
Gab es an einer Schule weniger als 18 Schüler/innen<br />
des Jahrgangs 1996, nahmen alle Schüler/innen am Computertest<br />
teil.<br />
DATENSCHUTZ<br />
Alle bei <strong>PISA</strong> erhobenen Daten unterliegen den Best<strong>im</strong>mungen<br />
des Datenschutzes. Es werden nur „indirekt<br />
personenbezogene“ Schülerdaten erhoben und<br />
verarbeitet, d. h. es werden zu keinem Zeitpunkt Namen<br />
von Schülerinnen und Schülern benötigt. Alle<br />
Schuldaten werden nach der Erhebung anonymisiert.<br />
Im <strong>PISA</strong>-Datensatz können weder einzelne Schulen<br />
noch einzelne Schüler/innen identifiziert und mit den<br />
Leistungsdaten in Verbindung gebracht werden. Bei<br />
der Auswertung werden Statistiken großer Gruppen<br />
erstellt (z. B. Lesemittelwert aller 15-/16-jährigen<br />
Schüler/innen in Österreich) – individuelle Ergebnisse<br />
auf Schul- oder Schülerebene sind nicht Gegenstand<br />
von Analysen.<br />
Mögliche Ausschließungsgründe<br />
Ziel von <strong>PISA</strong> ist es, mithilfe der gezogenen Stichprobe die<br />
Leistungen aller Schüler/innen eines Jahrgangs abzubilden,<br />
um die Effizienz eines Schulsystems umfassend darzustellen.<br />
Daher achtet die OECD streng darauf, dass mögliche<br />
Ausschlüsse einzelner Schüler/innen ausschließlich gemäß<br />
den internationalen Richtlinien erfolgen. Generell gilt für<br />
alle Teilnehmerländer, dass (auf Schul- und Schülerebene<br />
insgesamt) max<strong>im</strong>al 5 % der <strong>PISA</strong>-Population eines Landes<br />
vom Test ausgeschlossen werden.<br />
Ausschlüsse auf Schülerebene sind durch sehr strenge Vorgaben<br />
der OECD geregelt. Einzelne Schüler/innen können<br />
aus einem der in Tabelle 4.2 angeführten Gründe als „nicht<br />
geeignet“ für die Teilnahme am Test eingestuft werden.<br />
<strong>Die</strong> Punkte 1 (körperliche/geistige Beeinträchtigung) und<br />
2 (mangelnde Sprachkenntnisse) gelten als Ausschließungsgründe,<br />
Punkt 3 bedeutet, dass diese Schüler/innen für die<br />
Testung nicht in Frage kommen, weil sie be<strong>im</strong> Test nicht<br />
mehr an der ausgewählten Schule erreichbar sind.<br />
Der Ausschluss erfolgt vor der Information der ausgewählten<br />
Schüler/innen durch den/die <strong>PISA</strong>-Schulkoordinator/in<br />
in Zusammenarbeit mit den jeweiligen Klassenvorständen.<br />
Der Prozentsatz der so ausgeschlossenen Schüler/innen beträgt<br />
bei <strong>PISA</strong> <strong>2012</strong> in Österreich 3,3 %.
36 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Mögliche Ausschließungsgründe bei <strong>PISA</strong><br />
1. Der/die ausgewählte Schüler/in weist eine so schwere<br />
dauernde körperliche oder geistige Beeinträchtigung auf,<br />
dass eine Teilnahme an der <strong>PISA</strong>-Erhebung nicht möglich<br />
bzw. sinnvoll ist.<br />
2. Der/die ausgewählte Schüler/in ist nichtdeutscher Muttersprache,<br />
verfügt über mangelnde Deutschkenntnisse und<br />
befi ndet sich seit weniger als einem Jahr als ordentlicher<br />
Schüler/ordentliche Schülerin in Österreich bzw. hat<br />
weniger als ein Jahr lang eine deutschsprachige Schule<br />
besucht. Es mangelt ihm/ihr derart an Deutschkenntnissen,<br />
dass ein Verstehen der Anleitungen und Testaufgaben<br />
nicht möglich ist.<br />
3. Der/die ausgewählte Schüler/in hat zwischen Erstellung<br />
der Schülerliste an der teilnehmenden Schule (Jänner/<br />
Februar) und der <strong>PISA</strong>-Testung (April/Mai) an eine andere<br />
Schule gewechselt oder die Schule verlassen.<br />
Tabelle 4.2: Mögliche Ausschließungsgründe bei <strong>PISA</strong><br />
Stichprobengrößen<br />
Für eine gute Datenqualität ist es wichtig, dass möglichst alle<br />
ausgewählten Schulen und Schüler/innen (bei denen kein<br />
Ausschließungsgrund vorliegt) am Test teilnehmen. <strong>Die</strong> internationalen<br />
Richtlinien für den Haupttest <strong>2012</strong> sehen in<br />
der Regel eine realisierte Stichprobengröße von mindestens<br />
4 500 Schülerinnen und Schülern aus mindestens 150 Schulen<br />
vor. <strong>Die</strong>se Schüler- und Schulenzahl soll trotz „natürlicher<br />
Ausfälle“ (z. B. fehlende Schüler/innen am Testtag)<br />
und einer allfälligen Nichtteilnahme von Schulen erreicht<br />
werden – es sei denn, die Population eines Landes ist kleiner<br />
(dann muss eine Vollerhebung durchgeführt werden).<br />
Zudem schreibt die OECD sehr hohe gewichtete Mindestrücklaufquoten<br />
von 85 % auf Schulebene und 80 % auf<br />
Schülerebene vor. Können diese Kriterien von einem Land<br />
nicht erfüllt werden, werden die betreffenden Daten nicht<br />
– oder nur mit einem entsprechenden Verweis – international<br />
berichtet (das war bei <strong>PISA</strong> 2000 bei den Niederlanden<br />
sowie 2000 und 2003 bei Großbritannien der Fall).<br />
beinhaltet, an denen es <strong>im</strong> Schuljahr der Erhebung potenziell<br />
Schüler/innen des Zieljahrgangs geben kann. An zwei<br />
der ausgewählten Schulen befanden sich nur Schüler/innen,<br />
die wegen eines der drei Ausschließungsgründe (s. Tabelle<br />
4.2) vom Test ausgenommen werden mussten. Eine Schule<br />
war zwischenzeitlich mit einem anderen Schulstandort zusammengelegt<br />
worden. An diesen insgesamt zehn Schulen<br />
konnte der <strong>PISA</strong>-Test nicht durchgeführt werden. <strong>Die</strong> verbleibenden<br />
191 Schulen bilden die Basis für die Berechnung<br />
der Teilnahmequote auf Schulebene.<br />
Alle 191 für den Test ausgewählten Schulen haben an <strong>PISA</strong><br />
<strong>2012</strong> teilgenommen. <strong>Die</strong> internationale Datenbank umfasst<br />
damit Daten aus 191 österreichischen Schulen, was<br />
einer Teilnahmequote von 100 % entspricht.<br />
Rücklauf auf Schülerebene 95,2 %<br />
<strong>Die</strong> in Österreich auf Schülerebene realisierte Stichprobe bei<br />
<strong>PISA</strong> <strong>2012</strong> umfasst insgesamt 4 755 Schüler/innen und entspricht<br />
allen Vorgaben der OECD (s. Tabelle 4.3).<br />
Insgesamt ist in Österreich auf Schülerebene ein Ausfall von<br />
240 Schülerinnen und Schülern (4,8 %), die am Testtag abwesend<br />
waren, zu verzeichnen.<br />
<strong>Die</strong>se daraus resultierende ungewichtete Rücklaufquote von<br />
95,2 % (ohne Berücksichtigung der <strong>im</strong> Testfenster nicht erreichbaren<br />
Berufsschüler/innen) entspricht einem von der<br />
OECD gewichteten Rücklauf von 91,7 % (bei diesem sind<br />
die erwähnten nicht erreichbaren Berufsschüler/innen als<br />
be<strong>im</strong> Test fehlend gewertet).<br />
Nicht zur Rücklaufquote zählen jene Schüler/innen, die<br />
vor dem Test unter Berücksichtigung eines der drei Ausschließungsgründe<br />
ausgenommen wurden (dauernde starke<br />
geistige/körperliche Beeinträchtigung oder mangelnde<br />
Deutschkenntnisse und Schüler/innen, die zwischen der<br />
Erstellung der Schülerliste und dem <strong>PISA</strong>-Test die Schule<br />
verlassen oder gewechselt haben). Bei <strong>PISA</strong> <strong>2012</strong> macht der<br />
Anteil dieser Jugendlichen in Österreich 3,3 % aus.<br />
Bei der Ergebnisinterpretation sind die aufgrund eines der<br />
drei Ausschließungsgründe nicht getesteten Schüler/innen<br />
sowie die Out-of-School-Population besonders zu berücksichtigen.<br />
Sie beeinflussen durch ihre Abwesenheit bei <strong>PISA</strong><br />
nicht nur den Landesmittelwert systematisch (ins Positive),<br />
sie beeinflussen z. B. auch die Schätzung der Größe der Risikogruppen.<br />
<strong>Die</strong> österreichischen Leistungsdaten werden<br />
durch die relativ große Gruppe der Out-of-School-Population<br />
merklich begünstigt.<br />
Rücklauf auf Schulebene 100 %<br />
In Österreich wurden insgesamt 201 Schulen für die Teilnahme<br />
an <strong>PISA</strong> <strong>2012</strong> ausgewählt. An sieben der ausgewählten<br />
Schulen befanden sich <strong>im</strong> Schuljahr 2011/12 keine<br />
Schüler/innen des Jahrgangs 1996. <strong>Die</strong>s kann vorkommen,<br />
weil die Datenbasis, die der Stichprobenziehung auf Schulebene<br />
zugrunde liegt, auf den Daten der Schulstatistik des<br />
jeweils vorhergehenden Schuljahrs beruht und alle Schulen<br />
LESEHINWEIS<br />
Detaillierte Informationen zur Stichprobe finden Sie<br />
<strong>im</strong> nationalen technischen Bericht zu <strong>PISA</strong> <strong>2012</strong><br />
(Schwantner & Schreiner, 2013).
<strong>PISA</strong>-Population und Stichprobe 37<br />
zu testende Schüler/innen teilgenommen nicht teilgenommen<br />
Schulsparte<br />
Anzahl Anzahl Prozent Anzahl Prozent<br />
Allgemeinbildende Pflichtschulen:<br />
HS, NMS und Sonderschulen 116 109 94,0 % 7 6,0 %<br />
Polytechnische Schulen 483 459 95,0 % 24 5,0 %<br />
APS gesamt 599 568 94,8 % 31 5,2 %<br />
Allgemeinbildende höhere Schulen:<br />
AHS-Langform 949 898 94,6 % 51 5,4 %<br />
AHS-Kurzform 318 302 95,0 % 16 5,0 %<br />
AHS gesamt 1 267 1 200 94,7 % 67 5,3 %<br />
Schulen mit Statut:<br />
Waldorfschulen 154 147 95,5 % 7 4,5 %<br />
Sonstige Schulen mit Statut 2 2 100,0 % 0 0,0 %<br />
Statutschulen gesamt 156 149 95,5 % 7 4,5 %<br />
Berufsschulen:<br />
BS kaufmännisch/gewerblich 779 740 95,0 % 39 5,0 %<br />
BS landwirtschaftlich 14 14 100,0 % 0 0,0 %<br />
BS gesamt 793 754 95,1 % 39 4,9 %<br />
Berufsbildende mittlere Schulen:<br />
BMS gewerblich 109 106 97,2 % 3 2,8 %<br />
BMS kaufmännisch 90 86 95,6 % 4 4,4 %<br />
BMS wirtschaftlich 150 143 95,3 % 7 4,7 %<br />
BMS landwirtschaftlich 198 187 94,4 % 11 5,6 %<br />
BMS gesamt 547 522 95,4 % 25 4,6 %<br />
Berufsbildende höhere Schulen:<br />
BHS gewerblich 678 644 95,0 % 34 5,0 %<br />
BHS kaufmännisch 480 458 95,4 % 22 4,6 %<br />
BHS wirtschaftlich 302 288 95,4 % 14 4,6 %<br />
BHS landwirtschaftlich 69 69 100,0 % 0 0,0 %<br />
BAKIP 104 103 99,0 % 1 1,0 %<br />
BHS gesamt 1 633 1 562 95,7 % 71 4,3 %<br />
GESAMT 4 995 4 755 95,2 % 240 4,8 %<br />
Tabelle 4.3: Rücklauf auf Schülerebene <strong>PISA</strong> <strong>2012</strong>
5 <strong>Die</strong> Tests und Fragebögen bei<br />
<strong>PISA</strong> <strong>2012</strong><br />
Bei <strong>PISA</strong> kommen als Erhebungsmethoden<br />
gedruckte Tests und Fragebögen sowie<br />
computerbasierte Tests zum Einsatz: Bei<br />
<strong>PISA</strong> <strong>2012</strong> wurden die drei Kompetenzbereiche<br />
Lesen, Mathematik und Naturwissenschaft<br />
mittels schriftlicher, gedruckter<br />
Tests erfasst. Darüber hinaus beteiligte sich<br />
Österreich gemeinsam mit 31 weiteren<br />
Län dern an der computerbasierten Erfassung<br />
der Mathematik- und der Lesekompetenz<br />
sowie der Problemlösekompetenz<br />
(an Letzterem beteiligten sich insgesamt<br />
44 Länder).<br />
Zur Erfassung zentraler Kontextinformationen<br />
wurden Fragebögen für Schüler/<br />
in nen und Schulleiter/innen eingesetzt.<br />
<strong>Die</strong> se für alle Länder verbindlichen Fragebögen<br />
wurden in Österreich durch nationale<br />
Zusatzerhebungen ergänzt.<br />
<strong>Die</strong> Testinstrumente und ihre<br />
Entwicklung<br />
Basis für die Entwicklung der <strong>PISA</strong>-<br />
Testaufgaben sind die Frameworks für die<br />
einzelnen Kompetenzbereiche (OECD,<br />
2013a; s. Kapitel 3), die quasi „internationale<br />
Bildungsstandards“ für 15-/16-Jährige<br />
darstellen. Neue Aufgaben werden jeweils<br />
nur für den Bereich entwickelt, der schwerpunktmäßig<br />
erfasst wird. In den anderen<br />
Kompetenzbereichen werden jeweils Aufgaben<br />
aus den vorangegangenen <strong>PISA</strong>-Erhebungen<br />
eingesetzt. <strong>Die</strong>se so genannten<br />
Link-Aufgaben gibt es auch für den schwerpunktmäßig<br />
erfassten Bereich. Sie haben<br />
eine testtheoretisch wichtige Funktion: Indem<br />
diese Aufgaben bei mehreren <strong>PISA</strong>-<br />
Erhebungen in gleicher Weise eingesetzt<br />
werden, kann der Schwierigkeitsgrad der<br />
Leistungsskala über die Zeit hinweg verankert<br />
werden (s. Kapitel 8). Dadurch bleiben<br />
die Leistungen zwischen den Erhebungszeitpunkten<br />
vergleichbar.<br />
Bei <strong>PISA</strong> <strong>2012</strong> wurden zur Erfassung der<br />
Mathematikkompetenz 109 papierbasierte<br />
Aufgaben (74 neue und 35 Link-Aufgaben)<br />
sowie 41 computerbasierte Aufgaben eingesetzt<br />
(s. Tabelle 5.1). In Lesen wurden<br />
44 papierbasierte Aufgaben aus vorhergehenden<br />
Erhebungen sowie 19 computerbasierte<br />
Link-Aufgaben (Lesen elektronischer<br />
Medien aus <strong>PISA</strong> 2009) verwendet.<br />
Der Bereich Naturwissenschaft wurde mit<br />
53 Link-Aufgaben erhoben. Zur Erfassung<br />
der Problemlösekompetenz wurden 42 neue<br />
Aufgaben eingesetzt.<br />
<strong>Die</strong> Entwicklung von neuen Aufgaben findet<br />
auf internationaler Ebene <strong>im</strong> Rahmen<br />
eines genau vorgeschriebenen Prozesses<br />
statt. <strong>Die</strong> Aufgaben werden von internationalen<br />
Expertinnen und Experten konstruiert<br />
und von den Teilnehmerländern<br />
hinsichtlich vorgegebener Kriterien überprüft,<br />
wie z. B. die Übereinst<strong>im</strong>mung mit<br />
dem Lehrplan der 15-/16-Jährigen in dem<br />
jeweiligen Land oder ob eine Aufgabe aufgrund<br />
einer kulturellen Färbung eine best<strong>im</strong>mte<br />
Schülergruppe bevorzugt oder be -<br />
nachteiligt. Ebenso können die Teilnehmerländer<br />
Aufgaben einreichen, die dann von<br />
den internationalen Aufgabenentwicklergruppen<br />
begutachtet, überarbeitet und<br />
übersetzt werden. Bei der nationalen Begutachtung<br />
der neuen Mathematik- und Problemlöseaufgaben<br />
kooperierte das BIFIE<br />
mit nationalen Fachexpertinnen und -experten<br />
(s. Kapitel 2).<br />
Alle Aufgaben, die diese Begutachtungsschleifen<br />
positiv bestanden hatten, wurden<br />
be<strong>im</strong> <strong>PISA</strong>-Feldtest <strong>im</strong> Jahr 2011 erprobt<br />
(s. Kapitel 7). Sorgfältige statistische Analysen<br />
der Aufgabeneigenschaften durch das<br />
internationale Zentrum bildeten dann die<br />
Basis für die Überarbeitung und Auswahl<br />
der Aufgaben für den Haupttest. Durch<br />
diese Vorgehensweise wird sichergestellt,<br />
dass letztlich nur Aufgaben verwendet werden,<br />
die in allen Teilnehmerländern einwandfrei<br />
funktionieren.<br />
Da die Lese- und Naturwissenschafts-Link-<br />
Aufgaben in unveränderter Form aus vorhergehenden<br />
<strong>PISA</strong>-Erhebungen übernommen<br />
wurden, brauchten sie in Österreich keinem<br />
Feldtest mehr unterzogen zu werden.
<strong>Die</strong> Tests und Fragebögen bei <strong>PISA</strong> <strong>2012</strong> 39<br />
Aufbau der Tests und Bearbeitungszeit<br />
Im Haupttest <strong>2012</strong> wurden insgesamt 206 papierbasierte<br />
und 102 computerbasierte Aufgaben eingesetzt. <strong>Die</strong> Aufgaben<br />
sind in Form von Units organisiert, die jeweils einen<br />
thematischen Rahmen für mehrere Testaufgaben bilden.<br />
Jede Unit umfasst einen oder mehrere St<strong>im</strong>uli (z. B. Texte,<br />
Bilder, Diagramme etc.), begleitet von einer oder mehreren<br />
darauf bezogenen Aufgabe/n. Innerhalb eines Kompetenzbereichs<br />
werden die einzelnen Units zu Aufgabenblöcken<br />
(Cluster) so zusammengefasst, dass Cluster mit einer Bearbeitungszeit<br />
von 30 Minuten entstehen. Tabelle 5.1 zeigt die<br />
Anzahl der ausgewählten Aufgaben nach Units und Clustern<br />
für den Haupttest <strong>2012</strong>.<br />
papierbasiert<br />
<strong>Die</strong> Testhefte<br />
Testaufgaben <strong>PISA</strong> <strong>2012</strong><br />
neu Link Gesamt Units Cluster<br />
Mathematik 74 35 109 46 7<br />
Lesen 0 44 44 13 3<br />
Naturwissenschaft 0 53 53 18 3<br />
Gesamt 74 132 206 77 13<br />
computerbasiert<br />
Problemlösen 42 0 42 16 4<br />
Mathematik 41 0 41 15 4<br />
Lesen 0 19 19 6 2<br />
Gesamt 83 19 102 37 10<br />
Tabelle 5.1: Aufgaben nach Units und Clustern (<strong>PISA</strong> <strong>2012</strong>)<br />
<strong>Die</strong> Cluster werden nach einem festgelegten Schema auf 13<br />
Testheftformen verteilt: Ein Testheft besteht dabei jeweils<br />
aus vier Clustern, was eine Bearbeitungszeit von zwei Stunden<br />
pro Heft bzw. Schüler/in ergibt. <strong>Die</strong> Cluster werden über<br />
die einzelnen Testheftformen „rotiert“, sodass jeder Cluster<br />
jeweils an verschiedenen Stellen innerhalb der Testhefte vorkommt<br />
(s. Tabelle 5.2). Dadurch können Positionseffekte<br />
vermieden werden. <strong>Die</strong>se Konstruktionsform hat auch den<br />
Vorteil, dass in jedem Kompetenzbereich wesentlich mehr<br />
Aufgaben eingesetzt und mehr Informationen gewonnen<br />
werden können, als wenn nur eine einheitliche Testheftform<br />
für alle Schüler/innen verwendet werden würde. <strong>Die</strong><br />
Leistungen der Schüler/innen können dadurch wesentlich<br />
breiter erhoben werden, obwohl jede/r Schüler/in nur eine<br />
verhältnismäßig geringe Anzahl an Aufgaben bearbeitet.<br />
Ein festgelegtes Schema für die Zuordnung der Testhefte<br />
zu den Schülerinnen und Schülern stellt sicher, dass alle 13<br />
Testheftformen gleich oft eingesetzt werden.<br />
Wie bereits bei <strong>PISA</strong> 2009 gab es auch bei <strong>PISA</strong> <strong>2012</strong> zwei<br />
unterschiedliche Testheft-Zusammenstellungen: Das Standard<br />
Booklet Set und das Easier Booklet Set. Das Easier Booklet<br />
Set enthält einen etwas größeren Anteil an leichten Aufgaben<br />
als das Standard Booklet Set und steht jenen Ländern<br />
optional zur Verfügung, die in Mathematik wahrscheinlich<br />
einen Mittelwert von 480 oder weniger auf der <strong>PISA</strong>-Skala<br />
(s. Kapitel 8) erreichen. Mithilfe der größeren Anzahl an<br />
leichten Aufgaben ist es möglich, detailliertere Aussagen<br />
über die Kompetenzen der Schüler/innen am unteren Ende<br />
der Leistungsskala zu treffen.<br />
Mehr Informationen zu den Booklet Sets und zum Testdesign<br />
finden sich <strong>im</strong> internationalen technischen Bericht der<br />
OECD (OECD, forthcoming). Für Österreich kommt aufgrund<br />
der bisher erzielten mittleren Leistungen das Easier<br />
Booklet Set nicht in Frage.<br />
Zusätzlich zu den 13 Testheftformen wurde in Österreich<br />
das „Testheft 60“ eingesetzt. Dabei handelt es sich um ein<br />
kürzeres Testheft mit einer Bearbeitungszeit von 60 Minuten,<br />
das vom internationalen Konsortium für Schüler/<br />
innen in Sonderschulen bzw. Integrationsschüler/innen zu -<br />
sammengestellt wurde. <strong>Die</strong>ses kürzere Testheft enthält vorwiegend<br />
leichtere Aufgaben, die dennoch eine exakte Best<strong>im</strong>mung<br />
der Leistung ermöglichen.<br />
Der Computertest<br />
<strong>Die</strong> 102 computerbasierten Testaufgaben wurden zu 10 Clustern<br />
zu je 20 Minuten Bearbeitungszeit zusammengefasst<br />
(4 in Problemlösen, 4 in Mathematik, 2 in Lesen) und wie<br />
bei der Erstellung der Testhefte nach einem festgelegten<br />
Schema auf 24 verschiedene Computertestformen verteilt.<br />
Eine Testform bestand jeweils aus 2 Clustern. <strong>Die</strong> reine<br />
Bearbeitungszeit betrug demnach 40 Minuten, wobei insgesamt<br />
60 Minuten für den gesamten Testablauf zur Verfügung<br />
standen (5 Minuten Vorbereitung, 15 Minuten<br />
Instruk tion und Übung). Das Testprogramm wurde direkt<br />
von einem USB-Stick ausgeführt, auf dem auch die<br />
Antwort dateien der Schüler/innen gespeichert wurden. Der<br />
Computertest wurde großteils auf Schulcomputern durchgeführt.<br />
In Fällen, wo dies nicht möglich war, wurden vom<br />
BIFIE Leih laptops zur Verfügung gestellt.<br />
Aufgabenformat und Testcharakteristiken<br />
Bei den <strong>PISA</strong>-Aufgaben werden verschiedene Formate eingesetzt:<br />
Multiple-Choice-Aufgaben (zum Ankreuzen): Bei einfachen<br />
Multiple-Choice-Aufgaben müssen die Schüler/innen<br />
aus mehreren vorgegebenen Antwortalternativen<br />
eine auswählen. Komplexe Multiple-Choice-Aufgaben enthalten<br />
mehrere Antworten, die von den Schülerinnen<br />
und Schülern jeweils mit „richtig“ oder „falsch“ (bzw.<br />
„ja“ oder „nein“) beantwortet werden müssen (ebenso<br />
durch Ankreuzen der richtigen Alternative neben einer<br />
Antwort). Sie werden blockweise vorgegeben und bewertet.
40 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Booklet Cluster <strong>im</strong> Standard Booklet Set Cluster <strong>im</strong> Easier Booklet Set<br />
1 PM5 PS3 PM6A PS2<br />
2 PS3 PR3 PM7A PR2<br />
3 PR3 PM6A PS1 PM3<br />
4 PM6A PM7A PR1 PM4<br />
5 PM7A PS1 PM1 PM5<br />
6 PM1 PM2 PR2 PM6A<br />
7 PM2 PS2 PM3 PM7A<br />
8 PS2 PR2 PM4 PS1 PS2 PR2 PM4 PS1<br />
9 PR2 PM3 PM5 PR1 PR2 PM3 PM5 PR1<br />
10 PM3 PM4 PS3 PM1 PM3 PM4 PS3 PM1<br />
11 PM4 PM5 PR3 PM2 PM4 PM5 PR3 PM2<br />
12 PS1 PR1 PM2 PS3 PS1 PR1 PM2 PS3<br />
13 PR1 PM1 PS2 PR3 PR1 PM1 PS2 PR3<br />
21 PM5 PS3 PM6B PS2<br />
22 PS3 PR3 PM7B PR2<br />
23 PR3 PM6B PS1 PM3<br />
24 PM6B PM7B PR1 PM4<br />
25 PM7B PS1 PM1 PM5<br />
26 PM1 PM2 PR2 PM6B<br />
27 PM2 PS2 PM3 PM7B<br />
PM = paper based Mathematics (Mathematik-Cluster), PR = paper based Reading (Lese-Cluster),<br />
PS = paper based Science (Naturwissenschafts-Cluster); A = Standard Cluster, B = Easier Cluster<br />
Tabelle 5.2: Testdesign <strong>PISA</strong> <strong>2012</strong><br />
Aufgaben mit offenem Antwortformat: <strong>Die</strong>se können<br />
lang oder kurz sein – je nachdem, ob sie von den Jugendlichen<br />
eine längere oder kurze selbst formulierte Antwort<br />
erfordern. Bei langen, offenen Aufgaben müssen<br />
die Schüler/innen die Antwort häufig auch begründen<br />
bzw. argumentieren.<br />
32 %<br />
31 %<br />
Abbildung 5.3 zeigt die Verteilung der Formate für die papierbasierten<br />
Aufgaben <strong>im</strong> Haupttest <strong>2012</strong>. Von den 206<br />
Haupttestaufgaben erforderten 52 % eine Antwort durch<br />
die Schüler/innen (kurzes und langes offenes Format). Bei<br />
etwas weniger als der Hälfte der Aufgaben wählten die<br />
Schüler/innen aus mehreren vorgegebenen Antwortalternativen<br />
eine aus (Multiple-Choice oder komplexe Multiple-<br />
Choice-Aufgabe).<br />
<strong>Die</strong> Fragebögen<br />
20 % 17 %<br />
Multiple-Choice-Aufgaben<br />
komplexe Multiple-Choice-Aufgaben<br />
kurze, offene Aufgaben<br />
lange, offene Aufgaben<br />
Abbildung 5.3: Aufgabenformate <strong>PISA</strong> <strong>2012</strong><br />
Neben den Leistungsdaten werden bei <strong>PISA</strong> wichtige Kontextinformationen<br />
auf Schul- und Schülerebene erhoben<br />
(z. B. Geschlecht, Bildung der Eltern, sozioökonomischer<br />
Status, Migrationshintergrund, Motivation der Schüler/innen<br />
in Bezug auf den Schwerpunkt Mathematik, Rahmenbedingungen<br />
für Unterricht und Lernen in Mathematik,<br />
Merkmale der Schule etc.). <strong>Die</strong>se Kontextdaten liefern eine<br />
detaillierte Grundlage für Analysen von Zusammenhängen
<strong>Die</strong> Tests und Fragebögen bei <strong>PISA</strong> <strong>2012</strong> 41<br />
mit Leistungsdaten (z. B. Einfluss der Bildung der Eltern<br />
auf die Mathematikkompetenz, Geschlechterunterschiede<br />
in Lesen etc.).<br />
<strong>Die</strong> Fragebögen werden von einer internationalen Expertengruppe<br />
auf Basis eines theoriegeleiteten Frameworks entwickelt.<br />
Darüber hinaus werden auch aktuelle bildungspolitische<br />
Interessen der Teilnehmerländer in die Entwicklung<br />
einbezogen. <strong>Die</strong> internationalen Fragebögen werden von<br />
den politischen Vertreterinnen und Vertretern aller Teilnehmerländer<br />
(<strong>im</strong> <strong>PISA</strong> Governing Board) sowie von den<br />
nationalen Zentren begutachtet.<br />
Der internationale Schülerfragebogen bei <strong>PISA</strong> <strong>2012</strong><br />
Der internationale Schülerfragebogen wird in allen Teilnehmerländern<br />
eingesetzt. <strong>Die</strong> Kernfragen, die sich vor allem<br />
auf demografische Daten und den familiären Hintergrund<br />
beziehen, sind in allen Erhebungsjahren etwa gleich und<br />
werden <strong>im</strong> Längsschnitt erhoben. Passend zum Bereich, der<br />
schwerpunktmäßig erfasst wird, werden jeweils spezifische<br />
Fragen gestellt, die – sofern ein Bereich bereits zum zweiten<br />
Mal getestet wird – ebenso <strong>im</strong> Längsschnitt fortgeführt<br />
werden. Darüber hinaus werden bei jeder Erhebung auch<br />
einige neue Fragen eingesetzt, die aktuelle bildungspolitische<br />
Themen beleuchten.<br />
Folgende Themen wurden <strong>im</strong> internationalen Schülerfragebogen<br />
zu <strong>PISA</strong> <strong>2012</strong> behandelt:<br />
Demografische Daten: Schulstufe, Alter, Geschlecht<br />
(Längsschnitt)<br />
Familiärer Hintergrund: Beruf und Schulbildung der<br />
Eltern, Migrationshintergrund (Längsschnitt)<br />
Mathematik: Lernen in Mathematik, Motivation und<br />
Selbstwahrnehmung (zum Teil <strong>im</strong> Längsschnitt aus<br />
<strong>PISA</strong> 2003 fortgeführt), Unterricht in Mathematik,<br />
Mat hematikaktivitäten<br />
Klassen- und Schulkl<strong>im</strong>a (zum Teil <strong>im</strong> Längsschnitt aus<br />
<strong>PISA</strong> 2003 fortgeführt)<br />
Erfahrungen <strong>im</strong> Problemlösen<br />
Zusätzlich wurden in Österreich zwei optionale internationale<br />
Fragebögen eingesetzt: der Fragebogen zu Informationsund<br />
Kommunikationstechnologien (ICT) und der Edu -<br />
ca tional-Career-Fragebogen. Der ICT-Fragebogen wird in<br />
Österreich bei allen Erhebungen seit <strong>PISA</strong> 2003 eingesetzt.<br />
<strong>2012</strong> wurde er auf internationaler Ebene erweitert und behandelte<br />
folgende Themen:<br />
Nutzung und Verfügbarkeit von Informations- und<br />
Kommunikationstechnologien<br />
Computernutzung der Schüler/innen inner- und außerhalb<br />
der Schule<br />
Einstellungen zu Computern<br />
Der Educational-Career-Fragebogen wurde bei <strong>PISA</strong> 2003,<br />
2009 sowie <strong>2012</strong> auf internationaler Ebene und bei <strong>PISA</strong><br />
2006 nur in Österreich eingesetzt. <strong>Die</strong> Fragen, die darin<br />
enthalten sind, können frei ausgewählt werden. Sie werden<br />
stark national adaptiert, damit sie den jeweiligen Schulsystemen<br />
entsprechen. Folgende Themenbereiche wurden bei<br />
<strong>PISA</strong> <strong>2012</strong> <strong>im</strong> Rahmen des Educational-Career-Fragebogens<br />
in Österreich behandelt:<br />
Berufsorientierung der Schüler/innen<br />
Unterstützung be<strong>im</strong> Lernen der Unterrichtssprache<br />
Der internationale Schülerfragebogen wurde <strong>im</strong> Haupttest<br />
<strong>2012</strong> in drei Formen aufgeteilt, wobei der erste Fragebogenteil,<br />
der hauptsächlich demografische Trendfragen und<br />
die Fragen zum familiären Hintergrund beinhaltet, in allen<br />
Versionen gleich war und von allen Schülerinnen und Schülern<br />
beantwortet wurde. <strong>Die</strong> restlichen Frageblöcke wurden<br />
ähnlich wie bei den kognitiven Domänen über die drei Formen<br />
rotiert, sodass jeder Themenbereich von 2/3 der Schüler/innen<br />
beantwortet wurde. Auf diese Weise konnte die<br />
Menge der gestellten Fragen um ein Drittel erhöht werden.<br />
Eine detaillierte Aufstellung der Themenbereiche nach Fragebogenformen<br />
findet sich <strong>im</strong> „<strong>PISA</strong> <strong>2012</strong> Assessment and<br />
Analytical Framework“ (OECD, 2013a, S. 193 f.).<br />
Der internationale Schulfragebogen bei <strong>PISA</strong> <strong>2012</strong><br />
Der internationale Schulfragebogen richtet sich an Schulleiter/innen.<br />
<strong>Die</strong> meisten Fragen zu den folgenden Themen<br />
aus <strong>PISA</strong> <strong>2012</strong> wurden dabei <strong>im</strong> Längsschnitt fortgeführt:<br />
Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl,<br />
Lehrerzahl etc.)<br />
Informationen über Schulressourcen und Lernumgebung<br />
Unterricht, Unterrichtsangebot und Prüfungskultur<br />
Schulkl<strong>im</strong>a<br />
Richtlinien und Praktiken<br />
Wie bereits bei <strong>PISA</strong> 2009 wurde die Befragung der Schulleiter/innen<br />
auch <strong>2012</strong> online durchgeführt.<br />
Nationale Zusatzerhebungen<br />
Sowohl der Schul- als auch der Schülerfragebogen wurden<br />
durch nationale Zusatzerhebungen ergänzt. <strong>Die</strong>se sind wich -<br />
tig, um das österreichische Schulsystem besser charakterisieren<br />
zu können und die Effektivität des Systems in Verbindung<br />
mit den Schülerleistungen darstellen zu können.<br />
Dabei werden schwerpunktmäßig relevante Informationen<br />
erhoben bzw. einige Themen <strong>im</strong> Längsschnitt weitergeführt:<br />
Spezifische Fragen zum Mathematikunterricht<br />
(zum Teil aus <strong>PISA</strong> 2003; Schülerfragebogen)<br />
Selbstkonzept der Schüler/innen in Mathematik<br />
(Schülerfragebogen)<br />
Nutzung von Informationstechnologien innerhalb und<br />
außerhalb der Schule<br />
(seit <strong>PISA</strong> 2000; Schul- und Schülerfragebogen)
42 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Qualitätsentwicklungsmaßnahmen an Schulen<br />
(seit <strong>PISA</strong> 2000; Schul- und Schülerfragebogen)<br />
Zusatzfragen zum Migrationshintergrund<br />
(seit <strong>PISA</strong> 2006; Schülerfragebogen)<br />
Zusatzfragen zur Schullaufbahn<br />
(seit <strong>PISA</strong> 2003; Schülerfragebogen)<br />
Zusatzfragen zu den Noten der Schüler/innen<br />
(seit <strong>PISA</strong> 2003; Schülerfragebogen)<br />
Zusatzfragen zur inneren Differenzierung<br />
(Schulfragebogen)<br />
<strong>Die</strong> nationalen Zusatzfragen <strong>im</strong> Schülerfragebogen wurden<br />
auf die drei internationalen Fragebogenformen verteilt und<br />
somit von ungefähr einem Drittel der Schüler/innen bearbeitet.<br />
LESEHINWEIS<br />
<strong>Die</strong> internationalen Fragebögen und nationalen Zusatzerhebungen<br />
sind auf der BIFIE-Webseite als PDF<br />
erhältlich (www.bifie.at/pisa).<br />
Übersetzung der Tests und Fragebögen<br />
Bei <strong>PISA</strong> werden die Schüler/innen stets in der Unterrichtssprache<br />
des jeweiligen Landes (der jeweiligen Schule) getestet<br />
und befragt. Daher müssen in jedem Land entsprechende<br />
Versionen der Testinstrumente und Fragebögen in<br />
den Unterrichtssprachen der nationalen Stichprobe erstellt<br />
werden.<br />
<strong>Die</strong> Übersetzung der Testaufgaben in die jeweilige(n) Landessprache(n)<br />
ist dabei ein sehr sensibler Vorgang, da die<br />
Eigenschaften der Aufgaben gewahrt bleiben müssen. Es<br />
darf bei der Übersetzung z. B. nicht passieren, dass das<br />
Ver ständnis des Textes, der Grafiken, Tabellen oder Fragen<br />
schwieriger oder einfacher wird. Ebenso muss bei den Fragebögen<br />
gewährleistet werden, dass sich das zu erfassende<br />
Konstrukt nicht verändert. Zur Sicherung der Qualität der<br />
Erhebungsinstrumente werden daher vom internationalen<br />
Zentrum umfassende Übersetzungsrichtlinien vorgeschrieben<br />
und deren Umsetzung genau kontrolliert.<br />
<strong>Die</strong> hauptsächliche Übersetzungsarbeit findet vor dem Feldtest<br />
statt, da hier alle neu entwickelten Aufgaben und Kontextfragen<br />
erstmals zu übersetzen sind. Für den Haupttest<br />
müssen meist keine neuen Übersetzungen mehr vorgenommen,<br />
sondern nur die aus den Feldtestergebnissen resultierenden<br />
Änderungen in die nationalen Versionen über -<br />
tragen werden.<br />
Als Basis für die Übersetzung der Testaufgaben werden<br />
Quellversionen in englischer und französischer Sprache vom<br />
internationalen Konsortium entwickelt und zur Verfügung<br />
gestellt. Vorzugsweise soll in jedem Land jeweils eine Übersetzung<br />
des englischen und eine des französischen Originals<br />
unabhängig voneinander durchgeführt werden (Double<br />
Translation) und diese Texte danach von einer dritten Person<br />
zusammengeführt werden. Es ist jedoch auch möglich,<br />
zwei Übersetzungen von nur einer Quellversion unabhängig<br />
voneinander zu erstellen und unter Heranziehung des<br />
verbleibenden Originals zusammenzuführen.<br />
Übersetzungskooperation<br />
<strong>Die</strong> Übersetzung der Testaufgaben ins Deutsche erfolgte<br />
auch bei <strong>PISA</strong> <strong>2012</strong> in mittlerweile langjähriger Kooperation<br />
zwischen allen deutschsprachigen <strong>PISA</strong>-Ländern: Deutschland,<br />
Luxemburg, Österreich und der Schweiz (auch Südtirol<br />
und die deutschsprachige Gemeinschaft Belgiens profitieren<br />
von diesem Verbund). Deutschland übernahm für<br />
<strong>PISA</strong> <strong>2012</strong> die Übersetzung aller neuen Mathematikaufgaben,<br />
Österreich die Übersetzung der Problemlöseaufgaben.<br />
Anschließend wurde für beide Kompetenzbereiche eine<br />
gemeinsame deutsche Basisversion erarbeitet, von der aus<br />
nur in wenigen Passagen, wo es aus regionalen sprachlichen<br />
oder kulturellen Gründen notwendig war, weitere nationale<br />
Adaptionen vorgenommen wurden (klassische Beispiele:<br />
„Sackerl“ statt „Tüte“ und „Baustein“ statt „Bauklotz“).<br />
Alle so übersetzten und angepassten Testaufgaben wurden<br />
dann zur Überprüfung („Verifikation“) an das internationale<br />
Zentrum gesendet, wo sie von speziell geschulten Mitarbeiterinnen<br />
und Mitarbeitern kontrolliert und kommentiert<br />
wurden. Alle Adaptionen müssen formell genehmigt<br />
werden. Zudem gibt es von internationaler Seite eine abschließende<br />
Kontrolle des Layouts der Testheft- und Com -<br />
putertestformen. Erst danach dürfen die nationalen Testhefte<br />
in Druck gehen bzw. die USB-Sticks für den Computertest<br />
produziert werden.<br />
Außerdem wurden die Übersetzungen der neuen Mathematik-<br />
und Problemlöseaufgaben in Österreich auch von<br />
den Expertinnen und Experten begutachtet, die bereits bei<br />
der Erstbegutachtung der neuen Aufgaben involviert waren<br />
(s. Kapitel 2).<br />
Für die Übersetzung der Fragebögen gelten dieselben strengen<br />
internationalen Richtlinien wie für die Übersetzung<br />
der Aufgaben. Im Zuge der Übersetzungskooperation der<br />
deutschsprachigen Länder übernahm die Schweiz für <strong>PISA</strong><br />
<strong>2012</strong> die Übersetzung der Fragebogen-Basisversionen.<br />
Wichtig bei der Übersetzung der Fragebögen ist, dass die<br />
Fragen für die Schüler/innen sowie Schulleiter/innen eindeutig<br />
zu verstehen und zu beantworten sind, wobei auf<br />
Besonderheiten der nationalen Schulsysteme Rücksicht genommen<br />
werden muss. <strong>Die</strong> Fragebögen erfordern daher oft<br />
deutlich umfassendere Adaptionen auf nationaler Ebene als<br />
die Testaufgaben. <strong>Die</strong> internationale Verifikation der Fragebögen<br />
durch das Konsortium gewährleistet auch hier die<br />
Vergleichbarkeit zwischen den Teilnehmerländern.<br />
Insgesamt ist die Übersetzung und Adaption der Testaufgaben<br />
und Fragebögen zeitlich und finanziell ein enorm<br />
aufwändiger Prozess. <strong>Die</strong>ser Einsatz ist aber unbedingt notwendig,<br />
um die Qualität der <strong>Studie</strong> zu sichern, insbesondere<br />
<strong>im</strong> Bereich der Ländervergleiche.
6 Datenerhebung und -verarbeitung<br />
<strong>Die</strong> unmittelbaren Vorbereitungen für die<br />
Datenerhebung <strong>im</strong> Haupttest beginnen<br />
nach Ziehung der Schulstichprobe durch<br />
das internationale Konsortium, etwa vier<br />
Monate vor der Er hebung. <strong>Die</strong>ser sensible<br />
Prozess der Daten erhebung und -verarbeitung,<br />
der die Kontaktaufnahme mit den<br />
zuständigen Behör den und den ausgewählten<br />
Schulen, die Ein schulung der Testleiter/<br />
innen, die Durch führung der <strong>PISA</strong>-Testungen<br />
und die Erfassung und Bewertung<br />
der Schülerantworten beinhaltet, ist für die<br />
Qualität der Daten und die internationale<br />
Vergleichbarkeit von großer Bedeutung.<br />
Kontaktaufnahme mit den<br />
Schulen und Testorganisation<br />
bei <strong>PISA</strong> <strong>2012</strong><br />
Im November 2011 informierte die OECD<br />
das BIFIE über die bei der Schulstichprobenziehung<br />
für <strong>PISA</strong> <strong>2012</strong> ausgewählten<br />
Schulen. Das BIFIE informierte anschließend<br />
die zuständigen Schulbehörden: die<br />
Landesschulratspräsidenten, die Präsidentin<br />
des Stadtschulrats für Wien, die Landes-<br />
und Bezirksschulinspektorinnen und<br />
-inspektoren sowie die Berufsschulinspektorinnen<br />
und -inspektoren. Mit Jahresbeginn<br />
<strong>2012</strong> wurden die Schulleiter/innen<br />
der gezogenen Schulen über die Auswahl<br />
in Kenntnis gesetzt und um Kooperation<br />
gebeten.<br />
<strong>Die</strong> <strong>PISA</strong>-Tests wurden in Österreich von<br />
schulexternen Testleiterinnen und Testleitern<br />
durchgeführt, die großteils Mitarbeiter/innen<br />
von Pädagogischen Hochschulen oder<br />
Lehrer/innen sind. Lehrer/innen werden als<br />
Testleiter/innen nur an Schulen eingesetzt,<br />
an denen sie nicht selbst unterrichten.<br />
Im Jänner <strong>2012</strong> ernannten die Schulleiter/<br />
innen der <strong>PISA</strong>-Schulen einen Schulkoordinator/eine<br />
Schulkoordinatorin, der/die als<br />
Kontaktperson zwischen der Schule und<br />
dem BIFIE fungierte und für die weiteren<br />
organisatorischen Tätigkeiten <strong>im</strong> Rahmen<br />
der Erhebung an der Schule verantwortlich<br />
war.<br />
<strong>Die</strong> erste Aufgabe der Schulkoordinatorinnen<br />
und -koordinatoren bestand darin,<br />
eine Liste aller Schüler/innen des Geburtsjahrgangs<br />
1996 ab der 7. Schulstufe an der<br />
Schule zu erstellen und an das BIFIE zu<br />
übermitteln. Das BIFIE konnte auf dieser<br />
Basis den zweiten Schritt der Stichprobenziehung<br />
– die Zufallsauswahl der zu testenden<br />
Schüler/innen – durchführen.<br />
Mitte März <strong>2012</strong> erhielt der/die Schulkoordinator/in<br />
die <strong>PISA</strong>-Schülerliste, auf der<br />
die ausgewählten Schüler/innen anhand einer<br />
laufenden Nummer aufgelistet waren.<br />
Laut Stichprobenplan wurden je Schule<br />
max<strong>im</strong>al 35 Schüler/innen zur Teilnahme<br />
am papierbasierten Testteil (Testheft und<br />
Schülerfragebogen) zufällig best<strong>im</strong>mt; max<strong>im</strong>al<br />
18 dieser Schüler/innen (ebenfalls<br />
zufällig ausgewählt) bearbeiteten zusätzlich<br />
den Computertest. <strong>Die</strong> ausgewählten<br />
Schüler/innen und deren Eltern wurden<br />
vom/von der Schulkoordinator/in mit<br />
einem Folder und einem Schreiben des<br />
BIFIE über die <strong>PISA</strong>-<strong>Studie</strong> informiert.<br />
Darüber hinaus vereinbarte die Schulkoordination<br />
mit der Testleitung einen Termin<br />
für die Testsitzung und reservierte adäquate<br />
Räume an der Schule. Außerdem prüfte<br />
er/sie, ob die schuleigenen PCs für die<br />
Durchführung des Computertests geeignet<br />
waren. Der/die Schulkoordinator/in informierte<br />
auch die Lehrer/innen der Schule<br />
über die teilnehmenden Schüler/innen<br />
und den Testtermin.<br />
Vorbereitung und Druck der<br />
Testmaterialien<br />
Nach der Übersetzung, nationalen An pas -<br />
sung, Layoutierung, Verifikation und finalen<br />
Überprüfung der Testhefte und Fra -<br />
gebögen gingen diese Mitte Februar <strong>2012</strong><br />
in Druck. Der Computertest wurde nach<br />
der finalen Überprüfung auf USB-Sticks<br />
vervielfältigt. Anschließend erfolgte am<br />
BIFIE eine stich probenartige Qualitätskontrolle<br />
der fertig produzierten Erhe-
44 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
bungsmaterialien; danach wurden die Pakete für die einzelnen<br />
Schulen zusammengestellt.<br />
Schulung der Testleiter/innen und Übergabe der<br />
Schulpakete<br />
<strong>Die</strong> Testleiter/innen lasen als Vorbereitung auf die Testadministration<br />
ein Handbuch durch und nahmen an einer halbtägigen<br />
Testleiterschulung des BIFIE teil. Dabei wurden die<br />
Testleiter/innen insbesondere in der standardisierten Testdurchführung<br />
geschult. Ein weiterer Fokus der Schulung<br />
lag auf der Demonstration des Computertests, um die Testleiter/innen<br />
mit den technischen Anforderungen vertraut<br />
zu machen.<br />
Im Anschluss an das Training bekamen die Testleiter/innen<br />
für jede ihnen zugeteilte Schule ein Schulpaket, in dem alle<br />
benötigten Testinstrumente und Unterlagen (Testhefte,<br />
Fragebögen, USB-Sticks mit der Computertest-Software,<br />
<strong>PISA</strong>-Schülerliste, Testsitzungsprotokoll usw.) enthalten<br />
war en. Bis zum Rückversand der Schulpakete an das BIFIE<br />
nach Abschluss der Testsitzungen waren die Testleiter/innen<br />
für die Sicherheit der Materialien verantwortlich.<br />
<strong>Die</strong> Durchführung der <strong>PISA</strong>-Tests<br />
<strong>Die</strong> <strong>PISA</strong>-Testungen müssen entsprechend den Vorgaben<br />
der OECD innerhalb eines vorab festgelegten, max<strong>im</strong>al<br />
sechswöchigen Testfensters stattfinden, welches nicht innerhalb<br />
der ersten sechs Wochen eines Schuljahrs liegen darf.<br />
In Österreich fanden die Tests <strong>im</strong> Zeitraum von 11. April<br />
bis 23. Mai <strong>2012</strong> statt (mit Ausnahme einiger lehrgangsmäßig<br />
geführter Berufsschulen, an denen schon ab 12. März<br />
getestet wurde). Im Haupttest <strong>2012</strong> waren in Österreich 85<br />
Testleiter/innen <strong>im</strong> Einsatz.<br />
Der Ablauf einer <strong>PISA</strong>-Testsitzung ist in hohem Maße<br />
standardisiert und muss an allen beteiligten Schulen und<br />
in allen teilnehmenden Ländern gleich sein, um die Vergleichbarkeit<br />
der Ergebnisse zu gewährleisten. Abbildung<br />
6.1 zeigt den Ablauf des <strong>PISA</strong>-Tests <strong>2012</strong>.<br />
nach der ersten Hälfte. Nach einer weiteren Pause von 15<br />
Minuten füllten die Jugendlichen den Schülerfragebogen<br />
aus (s. Kapitel 5). Für die Bearbeitung des Schülerfragebogens<br />
– bestehend aus einem internationalen Fragebogenteil<br />
und nationalen Zusatzerhebungen – waren insgesamt ca. 50<br />
Minuten vorgesehen.<br />
Danach war der <strong>PISA</strong>-Test für einen Teil der Schüler/innen<br />
zu Ende. Für die max<strong>im</strong>al 18 Schüler/innen pro Schule, die<br />
zusätzlich für den Computertest ausgewählt worden waren,<br />
folgte eine einstündige Pause, in der die Testleiter/innen die<br />
Vorbereitungen für den Computertest trafen. Der computerbasierte<br />
Testteil begann mit einer kurzen, standardisierten<br />
Instruktions- und Übungsphase (ca. 20 Minuten), der<br />
Test selbst dauerte 40 Minuten.<br />
Um möglichst viele der ausgewählten Schüler/innen testen<br />
zu können und um die geforderte Rücklaufquote auf Schülerebene<br />
zu erreichen (s. Kapitel 4), wurde an Schulen, an<br />
denen am Testtag mehr als 15 % der Schüler/innen fehlten,<br />
ein Nachtest durchgeführt. <strong>Die</strong> Notwendigkeit eines Nachtests<br />
wurde separat für den papier- und für den computerbasierten<br />
Test best<strong>im</strong>mt. Bei <strong>PISA</strong> <strong>2012</strong> wurden insgesamt<br />
29 Nachtests abgehalten.<br />
Aufgaben der Testleiter/innen<br />
<strong>Die</strong> Testleiter/innen haben bei der Durchführung der Tests<br />
verschiedene Aufgaben: Sie prüfen die Anwesenheit der<br />
ausgewählten Schüler/innen, verteilen die Testhefte und<br />
Schülerfragebögen, bereiten die PCs oder Leihlaptops für<br />
den Computertest vor, verlesen die standardisierten Anleitungen,<br />
überwachen den Testablauf und nehmen die Materialien<br />
nach der Testung wieder mit, damit niemand an<br />
der Schule diese einsehen kann. <strong>Die</strong> Anweisungen an die<br />
Schüler/innen zum Bearbeiten der Tests bzw. zum Ausfüllen<br />
des Fragebogens müssen von den Testleiterinnen und<br />
Testleitern wörtlich vorgelesen werden. Durch diese Vorgehensweise<br />
erhalten Schüler/innen an allen Schulen und in<br />
allen Teilnehmerländern die gleichen Instruktionen. Hilfestellungen<br />
durch die Testleiter/innen zur Lösung der Testaufgaben<br />
sind nicht erlaubt.<br />
Nach einer kurzen, standardisierten Begrüßung und Einleitung<br />
durch den/die Testleiter/in bearbeiteten die Schüler/innen<br />
das <strong>PISA</strong>-Testheft (s. Kapitel 5). Dazu hatten sie<br />
zwe<strong>im</strong>al 60 Minuten Zeit, mit einer 5-minütigen Pause<br />
Begrüßung und<br />
Einleitung durch<br />
Testleiter/in<br />
<strong>PISA</strong>-Testheft:<br />
2 x 60 Min<br />
(mit 5 Min Pause)<br />
15 Min<br />
Pause<br />
<strong>PISA</strong>-Schülerfragebogen:<br />
ca. 50 Min<br />
Testheft Schülerfragebogen Computertest<br />
Abbildung 6.1: Ablauf einer <strong>PISA</strong>-Testsitzung (<strong>PISA</strong> <strong>2012</strong>)<br />
60 Min<br />
Pause<br />
<strong>PISA</strong>-Computertest:<br />
20 Min Instruktion<br />
und Übung,<br />
40 Min Test<br />
Zu jeder Testsitzung vervollständigen die Testleiter/innen<br />
zudem ein Testsitzungsprotokoll, in dem die genauen Beginn-,<br />
Pausen- und Endzeiten festgehalten und besondere<br />
Vorkommnisse notiert werden. <strong>Die</strong> Testleiter/innen sind<br />
während der gesamten Datenerhebung<br />
(vom Zeitpunkt<br />
der Ausgabe bis zur Rücksendung<br />
ans BIFIE) für die<br />
Sicherheit der Materialien<br />
verantwortlich. Dadurch wird<br />
sichergestellt, dass die Materialien<br />
vertraulich gehandhabt<br />
werden und keine Materialien/Daten<br />
verloren gehen.
Datenerhebung und -verarbeitung 45<br />
Datenerfassung und Bewertung der<br />
Schülerantworten auf offene Fragen<br />
Bevor mit der Erfassung der Daten aus den Testheften und<br />
Schülerfragebögen begonnen wird, wird eine Rücklaufkontrolle<br />
der Testmaterialien durchgeführt. <strong>Die</strong>se fand in Öster<br />
reich <strong>im</strong> Mai <strong>2012</strong> statt. Dabei wurde für jede Schule<br />
dokumentiert, ob die Materialien vollständig retourniert<br />
worden waren. Zusätzlich wurde für jeden/jede Schüler/in<br />
notiert, ob die ihm/ihr zugeordneten Testinstrumente bearbeitet<br />
oder unbearbeitet retourniert wurden. <strong>Die</strong> Protokolle<br />
aller Testsitzungen wurden gesammelt, kontrolliert und zu<br />
einem späteren Zeitpunkt analysiert.<br />
Im nächsten Schritt wurden die Schülerantworten aus den<br />
Testheften und Schülerfragebögen elektronisch erfasst. <strong>Die</strong>s<br />
erfolgte bei <strong>PISA</strong> <strong>2012</strong> größtenteils automatisiert, indem<br />
die Testhefte und Fragebögen mithilfe von Scannern und<br />
einer Spezialsoftware verarbeitet wurden. Alle Antworten<br />
in den Schülerfragebögen, bei denen die Jugendlichen<br />
eine Antwort ankreuzen mussten, sowie Antworten auf<br />
Multiple-Choice-Fragen (s. Tabelle 6.2) wurden von der<br />
Scansoftware automatisch erkannt und erfasst. Konnte das<br />
Programm eine Antwort nicht eindeutig lesen, wurde der<br />
entsprechende Eintrag von speziell geschulten Personen manuell<br />
eingegeben („Verifikation“). Im Vergleich zur manuellen<br />
Dateneingabe sind bei der automatisierten Datenerfassung<br />
sowohl der zeitliche Aufwand als auch die Fehlerquote<br />
geringer.<br />
<strong>Die</strong> Qualität der Daten wurde durch Kontrollen während<br />
der Datenerfassung und umfangreiche File-Cleaning-Prozeduren<br />
auf nationaler und internationaler Ebene <strong>im</strong> Anschluss<br />
an die Datenerfassung sichergestellt.<br />
<strong>Die</strong> frei formulierten Antworten der Schüler/innen auf die<br />
offenen Fragen (s. Tabelle 6.2) in den Testheften und <strong>im</strong><br />
Computertest wurden mithilfe einer Online-Codiersoftware<br />
des internationalen Konsortiums elektronisch codiert<br />
(s. „Coding“).<br />
<strong>Die</strong> restlichen Antwortdaten aus dem Computertest, die<br />
keine Bewertung erforderten, lagen bereits in elektronischer<br />
Form vor und mussten daher nicht weiter bearbeitet werden.<br />
<strong>Die</strong> Bewertungsrichtlinien für die offenen Fragen<br />
Um zu gewährleisten, dass die frei formulierten Schülerantworten<br />
in allen Teilnehmerländern einheitlich bewertet („co -<br />
diert“) werden, gibt es präzise Coding Guides, in denen die<br />
notwendigen Bewertungsrichtlinien für die offenen Fragen<br />
<strong>im</strong> Detail ausgeführt werden.<br />
<strong>Die</strong>se umfangreichen Coding Guides wurden ins Deutsche<br />
übersetzt und anschließend wie die Testaufgaben international<br />
verifiziert. Zusätzlich zu den Richtlinien in den Coding<br />
Guides wurde ein internationales Training veranstaltet, bei<br />
dem Vertreter/innen aus allen teilnehmenden Ländern anhand<br />
von konkreten Schülerantworten die Anwendung der<br />
Codes übten und diskutierten. Ziel der Schulung war es,<br />
einen internationalen Konsens zu erreichen, der eine konsistente<br />
Anwendung der Richtlinien gewährleistete und damit<br />
den Prozess des Codings standardisierte.<br />
Das Coding<br />
Generell werden bei <strong>PISA</strong> Schülerantworten auf offene Fragen<br />
nicht in „richtig“ oder „falsch“ eingeteilt, sondern je nach<br />
Qualität des Ergebnisses erhalten die Schüler/innen für ihre<br />
Antworten Punkte: Full Credit bedeutet, dass die Schüler/<br />
innen alle möglichen Punkte für ihre Antwort erhalten, Partial<br />
Credit heißt, dass sie einen Teil der Punkte erhalten und<br />
bei No Credit wird kein Punkt vergeben bzw. der Code 0.<br />
Welche Antworten Full Credit, Partial Credit oder No Credit<br />
erhalten, ist in den Coding Guides für jede Aufgabe festgehalten.<br />
Dabei werden akzeptable Lösungsansätze und -wege<br />
beschrieben sowie gängige Missverständnisse und Fehler erläutert.<br />
Zu jedem Code sind in den Bewertungsrichtlinien<br />
auch mehrere Beispiele von Schülerantworten aufgeführt.<br />
<strong>Die</strong> Aufgabenbeispiele in Kapitel 3 beinhalten jeweils die dazugehörenden<br />
Bewertungsrichtlinien.<br />
Single und Multiple Coding<br />
Bei <strong>PISA</strong> gibt es zwei Coding-Designs: das Single Coding<br />
und das Multiple Coding. Als Single Coding wird die „normale“<br />
Prozedur des Codings von Schülerantworten bezeich-<br />
Aufgabenformat Antworttypen Bewertung<br />
Multiple-Choice-Aufgaben nur eine korrekte Antwort kein Coding erforderlich<br />
komplexe Multiple-Choice-Aufgaben<br />
kurze, offene Aufgaben<br />
Serie von Richtig/Falsch- bzw.<br />
Ja/Nein-Antworten<br />
kurze, selbst konstruierte<br />
verbale/numerische Antwort<br />
kein Coding erforderlich<br />
teilweise Coding erforderlich; je nach<br />
Bewertungsvorschriften<br />
lange, offene Aufgaben längere, selbst konstruierte verbale Antwort Coding laut Bewertungsvorschriften<br />
Tabelle 6.2 Aufgabenformate und erforderliche Bewertung der Schülerantworten
46 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
net, bei der jede Schülerantwort von je einem Coder/einer<br />
Coderin bewertet wird. Während des Single Codings können<br />
die Coder/innen Rücksprache mit den Mitarbeiterinnen<br />
und Mitarbeitern des BIFIE, die für das Coding verantwortlich<br />
sind, halten. Das Multiple Coding ist eine<br />
Qualitätssicherungsmaßnahme, bei der eine gewisse Anzahl<br />
von Schülerantworten durch vier Coder/innen unabhängig<br />
voneinander bewertet wird. Anders als be<strong>im</strong> Single Coding<br />
dürfen die Coder/innen keine Rücksprache halten, sie müssen<br />
selbstständig entscheiden. Ziel ist die Feststellung der<br />
Qualität des Codings, gemessen an der Übereinst<strong>im</strong>mung<br />
zwischen den Coderinnen und Codern.<br />
Das Coding <strong>im</strong> Online-Coding-System bei <strong>PISA</strong> <strong>2012</strong><br />
Für die elektronische Codierung der frei formulierten Antworten<br />
der Schüler/innen wurden die gescannten Bilddateien<br />
der Schülerantworten bzw. die entsprechenden Antwortdaten<br />
aus dem Computertest in das Online-Coding-System<br />
des internationalen Konsortiums transferiert.<br />
Das Coding selbst wurde von qualifiziertem, speziell geschultem<br />
externem Personal, den Coderinnen und Codern,<br />
durchgeführt. Geleitet wurde dieser Prozess von den Coding-<br />
Verantwortlichen („Coding-Supervisorinnen“) des BIFIE,<br />
die das internationale Training für den jeweiligen Kompetenzbereich<br />
besucht hatten.<br />
<strong>Die</strong> Supervisorinnen wählten die externen Coder/innen auf<br />
Basis eines Bewerbungsverfahrens aus. Um sich als Coder/<br />
in bewerben zu können, ist als Qualifikation Erfahrung <strong>im</strong><br />
Umgang mit den Antworten von 15-/16-Jährigen sowie<br />
fachliches Wissen über den Schulstoff der entsprechenden<br />
Kompetenzbereiche gefordert. <strong>Die</strong> Coder/innen in Österreich<br />
sind Lehramtsstudentinnen und -studenten am Ende<br />
ihrer Ausbildung (für Hauptschulen oder AHS), Unterrichtspraktikantinnen<br />
und -praktikanten oder ausgebildete<br />
Lehrer/innen. Für den Schwerpunkt Mathematik wurden<br />
<strong>im</strong> Jahr <strong>2012</strong> insgesamt 16 Coder/innen eingesetzt, für Lesen,<br />
Naturwissenschaft und Problemlösen jeweils vier.<br />
<strong>Die</strong> Coder/innen wurden intensiv in die Vercodung der<br />
<strong>PISA</strong>-Aufgaben eingeschult, sodass sie die richtige Anwendung<br />
der Bewertungsrichtlinien beherrschten. <strong>Die</strong> Bewertung<br />
der Schülerantworten erfolgte „Item by Item“, das<br />
bedeutet, dass die Coder/innen <strong>im</strong>mer alle Antworten, die<br />
es zu einer Aufgabe gibt, vollständig bewerteten, ehe sie mit<br />
der nächsten begannen. <strong>Die</strong>se Vorgehensweise gewährleistet,<br />
dass bei der Bewertung einer Aufgabe durchgehend die<br />
gleichen Bewertungsmaßstäbe angewendet werden.<br />
Vercodungsprozesses. Wurden bei diesen Kontrollen systematische<br />
oder grobe Fehler entdeckt, fand für die jeweils<br />
betroffenen Coder/innen eine Nachschulung statt und die<br />
bereits vercodeten Schülerantworten mussten nachbearbeitet<br />
werden. Für das Multiple Coding wurden pro Aufgabe<br />
des Schwerpunktbereichs Mathematik 100 Schülerantworten<br />
mehrfach vercodet und pro Aufgabe aus den anderen<br />
Kompetenzbereichen jeweils 50. Nach vollständiger Beantwortung<br />
einer Aufgabe konnte eine Reliabilitäts-Statistik,<br />
die Angaben über die Übereinst<strong>im</strong>mung zwischen den<br />
Coderinnnen und Codern be<strong>im</strong> Multiple Coding enthält,<br />
abgerufen werden. In dem Fall, dass die Übereinst<strong>im</strong>mung<br />
nicht hoch genug war, erhielten die Coder/innen<br />
für die betreffende Aufgabe eine Nachschulung und vercodeten<br />
die Aufgaben erneut. Als weitere Qualitätssicherungsmaßnahme<br />
wurden so genannte Control scripts ein -<br />
gesetzt. Das sind Schülerantworten, die vom internationalen<br />
Zentrum vorgegeben und in alle Sprachen übersetzt<br />
werden. Mithilfe dieser standardisierten Schülerantworten<br />
kann kontrolliert werden, ob die Bewertungsrichtlinien von<br />
den Coderinnen und Codern in den verschiedenen Teilnehmerländern<br />
korrekt und konsistent angewendet werden.<br />
<strong>Die</strong> großen Anstrengungen bei der Qualitätssicherung <strong>im</strong><br />
Bereich der Bewertung der Schülerantworten wurden unternommen,<br />
um letztendlich eine objektive Vergleichbarkeit<br />
der <strong>PISA</strong>-Daten gewährleisten zu können.<br />
<strong>Die</strong> Datenübermittlung<br />
Jedes Teilnehmerland musste „seine“ Daten innerhalb von<br />
zwölf Wochen nach dem Ende des Testfensters an das internationale<br />
Konsortium übermitteln, um sicherzustellen,<br />
dass alle Daten zeitgerecht für die internationale Datenaufbereitung<br />
zur Verfügung standen. <strong>Die</strong>s war insbesondere für<br />
Länder der südlichen Hemisphäre von großer Bedeutung,<br />
weil sich deren Testfenster bis Ende August <strong>2012</strong> erstreckte.<br />
Erst wenn die Daten aller Länder be<strong>im</strong> internationalen<br />
Konsortium vorliegen und nochmals auf Unst<strong>im</strong>migkeiten<br />
hin überprüft worden sind, kann mit der Aufbereitung der<br />
Daten für die Ergebnisanalysen begonnen werden (s. Kapitel<br />
8). Ein detaillierter Zeitplan, in dem auch die Datenerhebungs-<br />
und Verarbeitungsphase dargestellt ist, befindet<br />
sich in Kapitel 2.<br />
<strong>Die</strong> Zuteilung der Items zu den Coderinnen und Codern<br />
erfolgte automatisch <strong>im</strong> Online-Coding-System. Antworten,<br />
die für die Coder/innen nicht eindeutig waren, konnten<br />
markiert und an die Supervisorinnen zum Review gesendet<br />
werden. Darüber hinaus unterlag die Arbeit der Coder/innen<br />
ständigen Qualitätskontrollen. Eine davon ist die stichprobenartige<br />
Kontrolle der vergebenen Codes während des
7 Der Feldtest zu <strong>PISA</strong> <strong>2012</strong><br />
Der Feldtest, der genau ein Jahr vor der<br />
Haupterhebung stattfindet, ist ein sehr<br />
wichtiger Bestandteil von <strong>PISA</strong> und stellt<br />
eine zentrale Maßnahme zur Qualitätssicherung<br />
dar. In erster Linie dient der Feldtest<br />
der Erprobung der neuen Aufgaben und<br />
Fragebogeninhalte sowie aller wichtigen<br />
Prozeduren <strong>im</strong> Bereich der Stichprobenziehung,<br />
der Testdurchführung, der Datenverarbeitung<br />
und der Bewertung der<br />
Schülerantworten auf offene Fragen.<br />
<strong>Die</strong> <strong>im</strong> Feldtest gewonnenen Daten dienen<br />
nicht der Leistungsmessung. Sie werden<br />
herangezogen, um umfassende Aufgabenstatistiken<br />
zu berechnen, die Hinweise auf<br />
Verbesserungspotenzial der Aufgaben liefern<br />
und auf deren Basis die besten Aufgaben<br />
für den Haupttest ausgewählt werden.<br />
Zudem werden <strong>im</strong> Feldtest alle Abläufe, die<br />
für den Haupttest vorgesehen sind, erprobt<br />
und mithilfe der Rückmeldungen aus den<br />
Teilnehmerländern und den Erfahrungen<br />
des internationalen Konsortiums für den<br />
Haupttest opt<strong>im</strong>iert. Der Feldtest leistet<br />
somit einen wichtigen Beitrag zur Qualitätssicherung<br />
bei der Datengewinnung <strong>im</strong><br />
Haupttest.<br />
Im Feldtest zu <strong>PISA</strong> <strong>2012</strong> nahm die Vorbereitung<br />
und Durchführung des Computertests<br />
(s. Kapitel 5) inklusive der Erprobung<br />
der technischen Voraussetzungen an den<br />
Schulen eine wichtige Rolle ein. In Österreich<br />
wurde darüber hinaus die automatisierte<br />
Datenverarbeitung mittels Scanning<br />
(s. Kapitel 6) erprobt.<br />
Der Feldtest zu <strong>PISA</strong> <strong>2012</strong> fand <strong>im</strong> Frühjahr<br />
2011 statt. Im Folgenden werden die<br />
Stichprobenziehung, die Instrumente sowie<br />
die Datenerhebung und -verarbeitung<br />
für den Feldtest näher beschrieben.<br />
<strong>Die</strong> Stichprobe für den Feldtest<br />
zu <strong>PISA</strong> <strong>2012</strong><br />
<strong>Die</strong> Feldteststichprobe unterscheidet sich<br />
von der Hauptteststichprobe in zwei wesentlichen<br />
Punkten: (1) Sie ist deutlich<br />
kleiner und (2) die internationalen Richtlinien<br />
für die Stichprobenziehung sind weniger<br />
strikt. <strong>Die</strong> Feldteststichprobe muss<br />
in erster Linie alle wesentlichen Teile der<br />
Population enthalten – also Schüler/innen<br />
aller relevanten Schulformen und Schulstufen<br />
sowie möglichst aller Regionen.<br />
<strong>Die</strong> Populationsdefinition wird für den<br />
Feldtest so angepasst, dass die Schüler/innen<br />
das entsprechende Alter (15/16 Jahre)<br />
aufweisen. In Österreich bildete der Geburtsjahrgang<br />
1995 die Zielpopulation für<br />
den Feldtest <strong>im</strong> Jahr 2011.<br />
<strong>Die</strong> Stichprobe umfasste in Österreich 60<br />
Schulen, die sich auf alle Bundesländer verteilten.<br />
Mit Ausnahme der Schulen mit eigenem<br />
Statut deckte die Feldteststichprobe<br />
alle Schulsparten ab. Statutschulen wurden<br />
in Österreich aufgrund ihres sehr geringen<br />
Anteils an der Schülerpopulation vom<br />
Feldtest ausgenommen.<br />
Ein wichtiger Aspekt des Feldtests zu <strong>PISA</strong><br />
<strong>2012</strong> war die Erprobung der Stichprobenziehung<br />
auf Schülerebene. An 14 der 60<br />
ausgewählten Schulen wurden zufällig je<br />
35 Schüler/innen für die Teilnahme am papierbasierten<br />
Testteil (mit gedruckten Testheften<br />
und Schülerfragebögen) ausge wählt.<br />
Aus diesen 35 Schülerinnen und Schü -<br />
lern wurden 20 Schüler/innen zufällig best<strong>im</strong>mt,<br />
die <strong>im</strong> Anschluss an den papierbasierten<br />
Test zusätzlich den Computertest<br />
bearbeiten sollten. An den verbleibenden<br />
46 Schulen wurden je 20 Schüler/innen
48 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Schulen<br />
Schüler/innen<br />
teilgenommen<br />
Stratum Anzahl Prozent Anzahl Prozent<br />
Allgemeinbildende Pfl ichtschulen 9 15,0 % 131 11,3 %<br />
Schulen mit eigenem Statut 0 0,0 % 0 0,0 %<br />
Allgemeinbildende höhere Schulen 17 28,3 % 355 30,7 %<br />
Berufsschulen 8 13,3 % 137 11,9 %<br />
Berufsbildende mittlere Schulen 10 16,7 % 197 17,0 %<br />
Berufsbildende höhere Schulen 16 26,7 % 336 29,1 %<br />
Teilnahme gesamt 60 100,0 % 1 156 100,0 %<br />
Tabelle 7.1: <strong>Die</strong> realisierte österreichische Stichprobe <strong>im</strong> Feldtest zu <strong>PISA</strong> <strong>2012</strong><br />
sowohl für den papierbasierten Test als auch für den Computertest<br />
ausgewählt.<br />
Insgesamt umfasste die Feldteststichprobe 1 392 Schüler/innen.<br />
28 Jugendliche mussten aufgrund von körperlichen/<br />
geistigen Beeinträchtigungen oder mangelnden Deutschkenntnissen<br />
vom Test ausgeschlossen werden. 64 Schüler/<br />
innen hatten <strong>im</strong> Zeitraum zwischen der Ziehung der Schülerstichprobe<br />
und dem Testtermin die Schule verlassen<br />
(44 Schüler/innen) oder gewechselt (20 Schüler/innen). 57<br />
Schüler/innen besuchten lehrgangsmäßig geführte Berufsschulen<br />
und hatten während des Testfensters keinen Unterricht,<br />
wodurch sie für die <strong>PISA</strong>-Testung nicht in Frage<br />
kamen. <strong>Die</strong>se Schüler/innen zählen international als Nichtteilnahme.<br />
Bei der Berechnung des Rücklaufs auf nationaler<br />
Ebene werden sie jedoch nicht berücksichtigt, da sie am<br />
Test gar nicht teilnehmen hätten können.<br />
<strong>Die</strong>s ergibt 1 243 zu testende Schüler/innen, von denen 87<br />
am Testtag abwesend waren. Mit einer Teilnahmequote von<br />
100 % auf Schulebene und 93 % auf Schülerebene (ohne<br />
Berücksichtigung der nicht erreichbaren Berufsschüler/innen)<br />
lagen schließlich verwendbare Daten von 1 156 Schülerinnen<br />
und Schülern aus 60 Schulen vor. Tabelle 7.1 zeigt<br />
die realisierte Feldteststichprobe für Schulen und Schüler/<br />
innen getrennt nach Schulsparten.<br />
<strong>Die</strong> Testhefte und Schülerfragebögen<br />
für den Feldtest<br />
Eine ganz wesentliche Aufgabe des Feldtests ist die Erprobung<br />
der neu entwickelten Aufgaben. In Mathematik wurde<br />
eine große Menge an neuen Aufgaben benötigt (sowohl für<br />
den papierbasierten Test als auch für den Computertest),<br />
da dieser Bereich bei <strong>PISA</strong> <strong>2012</strong> schwerpunktmäßig erfasst<br />
wurde. <strong>Die</strong> computerbasierten Mathematikaufgaben wur -<br />
den in Österreich <strong>im</strong> Feldtest nicht eingesetzt, da die Entscheidung<br />
zur Teilnahme an dieser Option erst nach dem<br />
Feldtest getroffen wurde. <strong>Die</strong> deutschsprachige Version der<br />
Mathematikaufgaben wurde jedoch in Deutschland <strong>im</strong><br />
Feldtest erprobt und mit nur einigen wenigen Adaptionen<br />
in Österreich <strong>im</strong> Haupttest verwendet. Ebenso wurden<br />
neue Aufgaben für den Bereich Problemlösen entwickelt.<br />
<strong>Die</strong> neuen Aufgaben wurden zunächst auf internationaler<br />
und nationaler Ebene von Expertinnen und Experten begutachtet<br />
(s. Kapitel 2). <strong>Die</strong> als geeignet erachteten Aufgaben<br />
wurden dann <strong>im</strong> Feldtest erprobt.<br />
<strong>Die</strong> Analysen der Feldtestdaten sowie die detaillierten<br />
Rückmeldungen über die Erfahrungen mit den neuen Aufgaben<br />
aus den Teilnehmerländern (z. B. bei der Bewertung<br />
der Schülerantworten) geben Aufschluss darüber, welche<br />
Aufgaben gut „funktionieren“ und welche weniger gut für<br />
die Kompetenzmessung geeignet sind. <strong>Die</strong> statistischen Informationen<br />
geben zudem Aufschluss über die Schwierigkeit<br />
und die Trennschärfe der Testaufgaben sowie darüber,<br />
inwieweit einzelne Aufgaben faire Vergleiche zwischen Ländern<br />
oder zwischen Mädchen und Burschen zulassen. Zudem<br />
können mithilfe der Analysen etwaige Schwächen der<br />
Übersetzung oder der nationalen Anpassungen aufgedeckt<br />
werden, die dann bei der Überarbeitung für den Haupttest<br />
behoben werden können.<br />
Auf Basis dieser Analysen und Rückmeldungen werden die<br />
am besten funktionierenden Aufgaben für den Haupttest<br />
ausgewählt und, wenn notwendig, überarbeitet. An den Auf -<br />
gaben werden nur dann Änderungen vorgenommen, wenn<br />
diese dazu beitragen, die Kompetenz präziser zu messen.<br />
Neben den neu entwickelten Testaufgaben werden <strong>im</strong> Feldtest<br />
auch die Kontextfragebögen auf Schul- und Schülerebene<br />
erprobt. Im internationalen Schülerfragebogen für<br />
<strong>PISA</strong> <strong>2012</strong> (s. Kapitel 5) standen dabei vor allem die neuen<br />
Skalen zum Mathematik-Schwerpunkt, zum Problemlösen<br />
und zur Computernutzung auf dem Prüfstand. Darüber<br />
hinaus wurden neue Frageformate erprobt, wie zum<br />
Beispiel „forced choice“, bei dem sich die Schüler/innen<br />
zwischen zwei Aussagen entscheiden müssen, oder so ge-
Der Feldtest zu <strong>PISA</strong> <strong>2012</strong> 49<br />
nannte „Anchoring Vignettes“, mit deren Hilfe kulturelle<br />
Unterschiede <strong>im</strong> Antwortverhalten der Schüler/innen in<br />
den verschiedenen Teilnehmerländern ausgeglichen werden<br />
können (OECD, forthcoming).<br />
Ebenso wurden alle für <strong>PISA</strong> <strong>2012</strong> neu entwickelten nationalen<br />
Zusatzfragen <strong>im</strong> Feldtest erprobt.<br />
Datenerhebung und -verarbeitung<br />
<strong>im</strong> Feldtest<br />
Da <strong>im</strong> Feldtest überprüft wird, ob die für den Haupttest<br />
geplanten Abläufe funktionieren, sind die wesentlichen<br />
Eckpunkte der Datenerhebung <strong>im</strong> Feld- und <strong>im</strong> Haupttest<br />
identisch. Dazu gehören vor allem die Information der<br />
Schulbehörden, die Kontaktaufnahme mit den ausgewählten<br />
Schulen, die Information der Schüler/innen, die Schulung<br />
der Testleiter/innen, die Durchführung der Tests, die<br />
Datenverarbeitung am BIFIE und die Bewertung der Schülerantworten<br />
auf offene Fragen.<br />
Be<strong>im</strong> Feldtest zu <strong>PISA</strong> <strong>2012</strong> lag der Fokus auf der Abwicklung<br />
und der technischen Umsetzung des Computertests<br />
einschließlich der Erprobung der Testsoftware und der<br />
Übermittlung der Schülerantwortdaten an das BIFIE und<br />
an das internationale Zentrum.<br />
Zentral war auf nationaler Ebene auch die Erprobung der<br />
automatisierten Datenerfassung mittels Scannern und Spezialsoftware<br />
und des Online-Codings. <strong>Die</strong> gedruckten Testhefte<br />
und Fragebögen wurden eingescannt, die Schülerantworten<br />
durch eine Spezialsoftware interpretiert sowie frei<br />
formulierte Schülerantworten auf offene Fragen (bzw. die<br />
entsprechenden Bilddateien) in das Online-Coding-System<br />
transferiert und bewertet (s. Kapitel 6). Alle diese Schritte<br />
mussten hinsichtlich ihrer Funktionalität vor dem Einsatz<br />
<strong>im</strong> Haupttest getestet werden.<br />
<strong>Die</strong> Bewertung der Schülerantworten auf offene Fragen<br />
n<strong>im</strong>mt <strong>im</strong> Feldtest einen besonderen Stellenwert ein. Gerade<br />
hier treten oft Schwächen der Aufgaben und/oder<br />
Bewertungsvorschriften zutage. Im Feldtest zu <strong>PISA</strong> <strong>2012</strong><br />
wurden 80 Schülerantworten pro Testaufgabe von mehreren<br />
Coderinnen und Codern unabhängig voneinander bewertet<br />
(Multiple Coding). Sind sich die Coder/innen bei<br />
der Bewertung uneinig, kann dies auf generelle Mängel in<br />
der Formulierung der Bewertungsvorschriften in der internationalen<br />
Quellversion, auf Probleme bei der Übersetzung<br />
dieser Bewertungsvorschriften oder auf Schwächen bei der<br />
Coderschulung hinweisen. <strong>Die</strong> Erfahrungen aus dem Feldtest<br />
sowie die Ergebnisse aus den Mehrfachbeurteilungen<br />
der Schülerantworten stellen daher eine wesentliche Grundlage<br />
für eventuell notwendige Verbesserungen der Bewertungsvorschriften<br />
– oder deren Übersetzungen – vor dem<br />
Einsatz <strong>im</strong> Haupttest dar.<br />
Da die Erfahrung der Mitarbeiter/innen enormes Potenzial<br />
für eine qualitativ hochwertige Abwicklung des Haupttests<br />
birgt, wird <strong>im</strong> Feld- und <strong>im</strong> Haupttest – soweit möglich –<br />
das gleiche Personal eingesetzt. <strong>Die</strong>s gilt auch für das externe<br />
Personal (Testleiter/innen, Datenerfassungspersonal und<br />
Coder/innen). <strong>Die</strong> be<strong>im</strong> Feldtest gesammelten Erfahrungen<br />
fließen in alle Bereiche der Umsetzung des Haupttests ein.<br />
<strong>Die</strong> Durchführung eines Feldtests an sich stellt damit eine<br />
wesentliche Maßnahme zur Qualitätssicherung <strong>im</strong> Haupttest<br />
dar.
Nachdem die Qualität der Daten aller Teilnehmerländer<br />
vom internationalen Konsortium<br />
umfassend geprüft worden ist,<br />
wird die internationale Datenbasis für die<br />
Ergebnisanalysen aufbereitet. Ein zentraler<br />
Schritt dabei ist die Skalierung der Leistungsdaten<br />
aller teilnehmenden Länder<br />
und die Bildung der Kompetenzstufen.<br />
<strong>Die</strong> <strong>PISA</strong>-Skala für die<br />
Kompetenzbereiche<br />
<strong>Die</strong> bei <strong>PISA</strong> gemessenen Kompetenzen<br />
werden für jeden Bereich auf einer kontinuierlichen<br />
Skala, der <strong>PISA</strong>-Skala dargestellt.<br />
<strong>Die</strong>se wird anhand eines statistischen<br />
Modells auf Basis der Aufgabenschwierigkeit<br />
und der Testwerte der Schüler/innen<br />
konstruiert (s. „Schülerscore und Aufgabenschwierigkeit“).<br />
<strong>Die</strong> <strong>PISA</strong>-Skala für die<br />
einzelnen Kompetenzbereiche wurde jeweils<br />
zu dem Zeitpunkt festgelegt, als der<br />
betreffende Bereich schwerpunktmäßig<br />
erfasst wurde (Lesen: <strong>PISA</strong> 2000, Mathematik:<br />
<strong>PISA</strong> 2003, Naturwissenschaft:<br />
<strong>PISA</strong> 2006). <strong>Die</strong> Skala wurde jeweils so<br />
transformiert, dass sich über alle OECD-<br />
Länder gerechnet ein Mittelwert von 500<br />
Punkten und eine Standardabweichung von<br />
100 Punkten ergaben. Dadurch weisen <strong>im</strong><br />
OECD-Schnitt etwa 65 % der 15-/16-jährigen<br />
Schüler/innen einen Wert zwischen<br />
400 und 600 Punkten auf. Abbildung 8.1<br />
zeigt den Aufbau einer solchen <strong>PISA</strong>-Skala.<br />
Mithilfe der Link-Aufgaben (Aufgaben, die<br />
bei allen Erhebungszeitpunkten ident verwendet<br />
werden, s. Kapitel 5) können die<br />
Skalen der jeweiligen Kompetenzbereiche<br />
über die Erhebungszeitpunkte hinweg<br />
verankert werden. <strong>Die</strong> Metrik der <strong>PISA</strong>-<br />
<strong>2012</strong>-Mathematikskala basiert daher auf<br />
der Mathematikskala von <strong>PISA</strong> 2003, die<br />
einen Mittelwert der OECD-Länder von<br />
500 Punkten und eine Standardabweichung<br />
von 100 Punkten aufweist.<br />
<strong>Die</strong> bei <strong>PISA</strong> <strong>2012</strong> eingesetzten Mathematikaufgaben<br />
können drei mathematischen<br />
Prozessen (Formulieren, Anwenden und<br />
Interpretieren) und vier Inhaltsbereichen<br />
(Größen, Raum & Form, Veränderung &<br />
Zusammenhänge sowie Unsicherheit &<br />
Daten) zugeordnet werden. Für jeden<br />
die ser Bereiche wird zur Darstellung der<br />
Ergebnisse eine eigene Skala gebildet<br />
(OECD, 2013b).<br />
überdurchschnittliche Schülerscores<br />
8 Datenaufbereitung für die Ergebnisanalysen<br />
OECD-<br />
Mittelwert<br />
unterdurchschnittliche Schülerscores<br />
700<br />
600<br />
500<br />
400<br />
300<br />
S<br />
Im Bereich von +/-<br />
einer Standardabweichung<br />
(s) liegen<br />
ca. 65 % aller<br />
Schüler/innen<br />
S<br />
Abbildung 8.1: <strong>Die</strong> <strong>PISA</strong>-Skala
Datenaufbereitung für die Ergebnisanalysen 51<br />
Schülerscore und Aufgabenschwierigkeit<br />
Basis für die Datenskalierung sind die<br />
Werte (Scores) der Schüler/innen zu<br />
den einzelnen Aufgaben (Full Credit,<br />
Partial Credit oder No Credit, s. Kapitel<br />
6) sowie die Schwierigkeit der<br />
Aufgabe. Im Zuge der Skalierung<br />
wird für jeden Schüler/jede Schülerin<br />
ein Gesamtwert in jedem Kompetenzbereich<br />
berechnet, der mit einem<br />
best<strong>im</strong>mten Punkt auf der Skala verknüpft<br />
ist. Ebenso wird jeder Testaufgabe<br />
eine Position auf derselben Skala<br />
zugewiesen, die die Schwierigkeit der<br />
Aufgabe angibt. <strong>Die</strong> Skalen sind somit<br />
kontinuierlich mit aufsteigender<br />
Schwierigkeit und theoretisch nach<br />
unten und oben offen. Das bedeutet,<br />
dass eine gute Leistung mit einem hohen<br />
Schülerscore und eine schlechte<br />
Leistung mit einem niedrigen Schülerscore<br />
einhergehen. Für die Testaufgaben<br />
heißt das, dass schwierige<br />
Aufgaben einen hohen Skalenwert<br />
(Aufgabenschwierigkeit) und leichte<br />
Aufgaben einen niedrigen Skalenwert<br />
aufweisen. Abbildung 8.2 zeigt dies<br />
exemplarisch für die Mathematikaufgaben<br />
aus dem <strong>PISA</strong>-<strong>2012</strong>-Haupttest,<br />
die in Kapitel 3 dargestellt sind.<br />
Kompetenzstufen<br />
Damit die Werte der Schüler/innen<br />
besser interpretiert werden können,<br />
wurden die Skalen mithilfe statistischer<br />
Prozeduren in unterschiedliche<br />
Kompetenzstufen (Proficiency Levels)<br />
unterteilt. <strong>Die</strong> Kompetenzstufen werden<br />
so gebildet, dass die kontinuierliche<br />
<strong>PISA</strong>-Skala (500, 100) an best<strong>im</strong>mten<br />
(statistisch sinnvollen und<br />
inhaltlich interpretierbaren) Punkten<br />
geteilt wird. Dadurch kann jeder<br />
Schüler/jede Schülerin entsprechend<br />
dem jeweils erreichten Punktwert ei <br />
ner Kompetenzstufe zugeordnet werden.<br />
Jeder Level enthält somit Schüler/<br />
innen, denen ein best<strong>im</strong>mtes Wissen<br />
und best<strong>im</strong>mte Fertigkeiten gemeinsam<br />
sind. Da der <strong>PISA</strong>-Skala auch<br />
die Testaufgaben zugeordnet werden,<br />
gehören jeder Kompetenzstufe auch<br />
best<strong>im</strong>mte Testaufgaben an, wodurch<br />
die Fähigkeiten der Schüler/innen, die<br />
Tropfrate − Aufgabe 1<br />
Full Credit: 658 – schwierig<br />
Partial Credit: 611<br />
Wohnungskauf − Aufgabe 1<br />
Schwierigkeit 576 – eher schwierig<br />
Sauce − Aufgabe 1<br />
Full Credit: 489 – mittel<br />
Charts− Aufgabe 2<br />
Schwierigkeit 428 – leicht<br />
Charts − Aufgabe 1<br />
Schwierigkeit 348 – leicht<br />
800<br />
700<br />
600<br />
500<br />
400<br />
300<br />
200<br />
Score 754<br />
Schüler/in A<br />
Score<br />
500<br />
Score 500<br />
Schüler/in B<br />
Score 381<br />
Schüler/in C<br />
Abbildung 8.2: Verankerung von Schülerleistung und Aufgabenschwierigkeit<br />
an der <strong>PISA</strong>-Skala am Beispiel von freigegebenen Mathematikaufgaben
52 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
für eine erfolgreiche Lösung dieser Aufgaben benötigt werden,<br />
anschaulich beschrieben werden können.<br />
Für den Bereich Mathematik wurden <strong>im</strong> Rahmen von <strong>PISA</strong><br />
2003 sechs Kompetenzstufen gebildet. Level 1 ist die niedrigste<br />
Stufe, die mithilfe der Aufgaben beschrieben werden<br />
kann, gefolgt von Level 2, Level 3 und so weiter – bis Level 6,<br />
der höchsten Kompetenzstufe. Abbildung 8.3 zeigt, wie die<br />
Teilung der Mathematikskala in die Kompetenzstufen erfolgt.<br />
Für den Bereich Naturwissenschaft wurden bei <strong>PISA</strong> 2006<br />
ebenfalls sechs Kompetenzstufen gebildet (s. Abbildung<br />
8.6). Für Lesen wurden anfänglich (<strong>PISA</strong> 2000) fünf Kompetenzstufen<br />
festgelegt. Im Zuge der zweiten schwerpunktmäßigen<br />
Erhebung bei <strong>PISA</strong> 2009 wurden sowohl mehr<br />
leichte als auch mehr schwierige Aufgaben eingesetzt, um<br />
die Fähigkeiten der Jugendlichen am unteren und oberen<br />
Ende der Skala besser beschreiben zu können (Unterteilung<br />
von Level 1 in Level 1b und Level 1a; Unterteilung von<br />
Level 5 in Level 5 und Level 6; s. Schwantner & Schreiner,<br />
2010, S. 54). Daraus ergeben sich für Lesen sieben Kompetenzstufen.<br />
Für das Lesen elektronischer Medien wurden bei<br />
<strong>PISA</strong> 2009 vier Kompetenzstufen gebildet (s. Schwantner &<br />
Schreiner, 2011). Ebenso werden für die beiden anderen<br />
computerbasiert getesteten Bereiche Problemlösen und<br />
Mathematik Kompetenzstufen erstellt. <strong>Die</strong>se liegen jedoch<br />
zum Zeitpunkt der Erstellung der vorliegenden <strong>Studie</strong>nbeschreibung<br />
(Dezember 2013) noch nicht vor.<br />
Der erreichte Punktwert eines Schülers/einer Schülerin innerhalb<br />
eines Kompetenzbereichs repräsentiert die höchste<br />
Schwierigkeit einer Testaufgabe, die die jeweilige Schülerin/<br />
der jeweilige Schüler mit best<strong>im</strong>mter Wahrscheinlichkeit<br />
lösen kann. Von den Schülerinnen und Schülern eines Levels<br />
kann erwartet werden, dass sie zumindest die Hälfte<br />
der diesem Level zugeordneten Testaufgaben lösen können.<br />
Schüler/innen am oberen Ende eines Levels<br />
können <strong>im</strong> Schnitt 70 % der Testaufgaben<br />
dieser Stufe lösen. Von Schülerinnen und<br />
Schülern am unteren Ende eines Levels<br />
kann erwartet werden, dass sie 50 % der<br />
Aufgaben des Levels lösen können bzw. für<br />
die leichtesten Testaufgaben dieser Stufe<br />
eine Lösungswahrscheinlichkeit von 62 %<br />
besitzen. Schüler/innen eines best<strong>im</strong>mten<br />
Levels verfügen sowohl über das Wissen und<br />
die Fertigkeiten, durch die diese Stufe charakterisiert<br />
ist, als auch über die Fähigkeiten<br />
aller niedrigeren Kompetenzstufen.<br />
Schüler/innen, von denen auf Basis ihrer<br />
Testleistungen nicht erwartet werden kann,<br />
dass sie zumindest 50 % der einfachsten<br />
<strong>PISA</strong>-Aufgaben eines Bereichs lösen können,<br />
befinden sich jeweils unter Kompetenzstufe 1<br />
(bzw. 1b in Lesen). Das bedeutet nicht, dass<br />
sie keine Kompetenz <strong>im</strong> jeweiligen Bereich<br />
besitzen. Ihre Fähigkeit ist aber mit dem<br />
<strong>PISA</strong>-Test nicht exakt beschreibbar; es kann<br />
unter Stufe<br />
1<br />
Scores<br />
< 359<br />
300<br />
Stufe 1<br />
Scores<br />
359–420<br />
lediglich ausgesagt werden, dass sie nicht in der Lage sind,<br />
die bei <strong>PISA</strong> gemessenen grundlegendsten Fähigkeiten routinemäßig<br />
zu zeigen.<br />
Schüler/innen auf den obersten Kompetenzstufen werden<br />
<strong>im</strong> Allgemeinen als <strong>PISA</strong>-„Spitzenschüler/innen“ bezeichnet,<br />
während Schüler/innen der Stufe 1 und darunter als<br />
„Risikoschüler/innen“ gelten – sie verfügen über sehr geringe<br />
Grundkompetenzen in diesem Bereich.<br />
<strong>Die</strong> Abbildungen 8.4 bis 8.6 beschreiben, durch welche<br />
Fähigkeiten Schüler/innen der einzelnen Kompetenzstufen<br />
in den drei Domänen charakterisiert werden können. <strong>Die</strong><br />
Grenzwerte der einzelnen Levels sind dem Balken links zu<br />
entnehmen. <strong>Die</strong> Kompetenzstufen der computerbasiert getesteten<br />
Bereiche (Problemlösen, Mathematik, Lesen elektronischer<br />
Medien) werden in den Ergebnispublikationen<br />
zu diesen Bereichen berichtet.<br />
Aufbereitung der Fragebogendaten<br />
<strong>Die</strong> Daten aus den Kontextfragebögen können zum Teil<br />
ohne größere Aufbereitung für Analysen herangezogen werden.<br />
Bei einigen Variablen werden von internationaler Seite<br />
Rekodierungen durchgeführt – z. B. wird aus den Angaben<br />
der Schüler/innen zum eigenen Geburtsort und dem der Eltern<br />
die Variable „Migrationsstatus“ generiert. Darüber hinaus<br />
müssen die Fragebogenskalen gebildet werden, die mithilfe<br />
von einzelnen, inhaltlich zusammengehörenden Fragen<br />
erhoben wurden, wie z. B. die Skalen zum mathematischen<br />
Selbstkonzept der Schüler/innen oder zum Unterricht in<br />
Mathematik. <strong>Die</strong>se Skalen werden umfangreichen statistischen<br />
Prüfungen unterzogen. Dadurch wird sichergestellt,<br />
dass sie die entsprechenden Merkmale zuverlässig erheben<br />
und zwischen den Ländern vergleichbar sind.<br />
400<br />
Stufe 2<br />
Scores<br />
421–482<br />
Stufe 3<br />
Scores<br />
483–545<br />
500<br />
Stufe 4<br />
Scores<br />
546–607<br />
Scores<br />
608–669<br />
600<br />
Stufe 5<br />
Abbildung 8.3: Kompetenzstufen am Beispiel Mathematik<br />
Stufe 6<br />
Scores<br />
> 669<br />
700
Datenaufbereitung für die Ergebnisanalysen 53<br />
Gewichtung<br />
Wie auch bei anderen sozialwissenschaftlichen Untersuchungen<br />
gibt es bei <strong>PISA</strong> eine best<strong>im</strong>mte Anzahl an Stichprobenausfällen<br />
(z. B. am Testtag fehlende Schüler/innen).<br />
Zudem werden bei <strong>PISA</strong> best<strong>im</strong>mte Teile der Population<br />
gezielt über- oder untersampelt, d. h. sie sind in der Stichprobe<br />
über- oder unterrepräsentiert (z. B. werden weniger<br />
sehr kleine Schulen in die Stichprobe aufgenommen). Beide<br />
Fälle erfordern es, dass die Stichprobe durch adäquate<br />
Gewichtungsmethoden nachträglich wieder ausgeglichen<br />
wird. Ansonsten würden die Ausfälle oder das gezielte Unter-<br />
oder Übersampeln zu Verzerrungen in der Stichprobe<br />
und somit auch der Ergebnisse führen. <strong>Die</strong> Gewichtung<br />
stellt sicher, dass die Stichprobe die Population möglichst<br />
exakt abbildet. <strong>Die</strong>s ist für stark differenzierte Schulsysteme,<br />
wie das österreichische, schwieriger als für eher „einfache“,<br />
in dieser Altersgruppe weniger gegliederte Systeme, wie die<br />
angloamerikanischen oder nordischen.<br />
<strong>Die</strong> Gewichtungsmethoden bei <strong>PISA</strong> sind genau geregelt<br />
und werden von der OECD (bzw. dem beauftragten Konsortium)<br />
durchgeführt. Eine detaillierte Beschreibung der<br />
niedrige Mathematikkompetenz hohe Mathematikkompetenz<br />
Level 6<br />
669<br />
Level 5<br />
607<br />
Level 4<br />
545<br />
Level 3<br />
482<br />
Level 2<br />
420<br />
Level 1<br />
358<br />
Schüler/innen des sechsten Levels können durch eigenständiges Überprüfen und Modellieren von Problemlösesituationen<br />
Informationen konzeptualisieren, generalisieren und nutzen. Sie können verschiedene<br />
Informationsquellen und Repräsentationen verbinden und flexibel zwischen ihnen wechseln. Weiters besitzen<br />
diese Schüler/innen Fähigkeiten zum mathematischen Denken und Schlussfolgern auf einem fortgeschrittenen<br />
Niveau. Sie beherrschen symbolische und formale mathematische Operationen.<br />
Auf dem fünften Level sind die Schüler/innen in der Lage, Modelle für komplexe Situationen zu entwickeln und<br />
mit ihnen zu arbeiten, geeignete Problemlösestrategien für den Umgang mit komplexen Problemen (die mit<br />
diesen Modellen verbunden sind) auszuwählen, zu vergleichen und zu evaluieren sowie mithilfe breit<br />
gefächerter, gut entwickelter Denk- und Schlussfolgerungsfähigkeiten strategisch zu arbeiten. <strong>Die</strong><br />
Schüler/innen reflektieren ihre Handlungen und kommunizieren ihre Interpretationen.<br />
Schüler/innen, die aufgrund ihrer erbrachten Leistungen dem vierten Level zugeordnet werden, sind fähig,<br />
effektiv mit expliziten Modellen für komplexe, konkrete Situationen zu arbeiten. Es gelingt ihnen, Repräsentationen<br />
(u. a. Symbole) mit Situationen der realen Welt zu verknüpfen. Weiters können sie Erklärungen und<br />
Argumente basierend auf ihren Interpretationen und Handlungen konstruieren und kommunizieren.<br />
Schüler/innen des dritten Levels können klar beschriebene Prozeduren, auch solche, die sequenzielle<br />
Entscheidungen erfordern, ausführen. Sie selektieren und wenden verschiedene einfache Problemlösestrategien<br />
an. Sie sind in der Lage, Repräsentationen zu konstruieren und zu verwenden, die auf verschiedenen<br />
Informationsquellen basieren, und folgern direkt von diesen Repräsentationen. Sie können kurze Kommunikationsberichte<br />
ihrer Interpretationen, Ergebnisse und Folgerungen entwickeln.<br />
Schüler/innen des zweiten Levels sind in der Lage, Situationen in Kontexten zu interpretieren, die nicht mehr<br />
als direkte Schlussfolgerungen erfordern. Sie können die relevante Information aus einer einzelnen Quelle<br />
beschaffen und verwenden eine einfache Darstellungsform. Sie verwenden einfache Algorithmen, Formeln<br />
oder Prozeduren und können direkte Schlussfolgerungen und wörtliche Interpretationen der Ergebnisse<br />
machen.<br />
Auf dem untersten – ersten Level – sind Schüler/innen in der Lage, einfache Fragen zu beantworten, die in<br />
einen bekannten Kontext eingebettet sind, in dem alle Informationen vorhanden und die Fragen klar definiert<br />
sind. Sie können Informationen identifizieren und Routineprozeduren anhand direkter Instruktionen und in<br />
expliziten Situationen ausführen. Weiters können die Schüler/innen Handlungen durchführen, die offensichtlich<br />
sind und unmittelbar aus einem gegebenen St<strong>im</strong>ulus resultieren.<br />
unter Level 1<br />
Abbildung 8.4: Definition der Kompetenzstufen in Mathematik (<strong>PISA</strong> 2003, 2006, 2009, <strong>2012</strong>)
54 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Gewichtungsprozeduren gibt der internationale technische<br />
Bericht der OECD (forthcoming). Alle Berechnungen und<br />
Ergebnisse von <strong>PISA</strong> basieren ausschließlich auf gewichteten<br />
Daten, wodurch die internationale Vergleichbarkeit der<br />
Stichproben gewährleistet wird.<br />
<strong>Die</strong> Verteilung der Schüler/innen auf die Schulsparten und<br />
die Bundesländer in Österreich in der gewichteten <strong>PISA</strong>-<br />
<strong>2012</strong>-Stichprobe st<strong>im</strong>mt mit der Verteilung der Schüler/<br />
innen in der Schulstatistik des Schuljahres 2011/<strong>2012</strong> überein<br />
(Pareiss, 2013b).<br />
LESEHINWEIS<br />
<strong>Die</strong> Skalierung der Testdaten, die Aufbereitung der<br />
Fragebogendaten sowie die Gewichtung werden detailliert<br />
<strong>im</strong> internationalen technischen Bericht der<br />
OECD (forthcoming) beschrieben.<br />
niedrige Lesekompetenz hohe Lesekompetenz<br />
Level 6<br />
698<br />
Level 5<br />
626<br />
Level 4<br />
553<br />
Level 3<br />
480<br />
Level 2<br />
407<br />
Level 1a<br />
335<br />
Level 1b<br />
262<br />
Schüler/innen des sechsten Levels sind in der Lage, mehrfache Schlussfolgerungen zu ziehen und detaillierte und<br />
präzise Vergleiche zu machen. Sie zeigen ein vollständiges und detailliertes Verständnis von einem oder mehreren<br />
Texten und können Informationen aus mehreren Texten kombinieren. <strong>Die</strong> Schüler/innen setzen sich mit<br />
ungewohnten Ideen auseinander, auch wenn widersprüchliche Informationen gegeben werden. Sie können<br />
Hypothesen über einen komplexen Text mit einem ihnen nicht vertrauten Thema aufstellen oder diesen kritisch<br />
bewerten.<br />
Schüler/innen des fünften Levels sind in der Lage, sehr komplexe Leseaufgaben zu lösen und mehrere Informationen<br />
aus ungewohnten Texten zu lokalisieren und organisieren. Sie können Texte kritisch beurteilen und Hypothesen<br />
durch Heranziehen von fachspezifischem Wissen aufstellen. <strong>Die</strong> Jugendlichen zeigen ein detailliertes<br />
Textverständnis und können Informationen ableiten, die für die Lösung der Aufgabe relevant sind. Sie können<br />
Konzepte miteinander in Einklang bringen, die entgegen den Erwartungen sein können.<br />
Schüler/innen des vierten Levels sind fähig, schwierige Leseaufgaben zu lösen, die Fähigkeiten erfordern wie das<br />
Heraussuchen eingebetteter Informationen, die Deutung des Sinns bei sprachlichen Feinheiten und die kritische<br />
Bewertung eines Textes. Sie zeigen ein genaues Verständnis von langen oder komplexen Texten, deren Inhalt<br />
oder Form unbekannt sein kann.<br />
Schüler/innen des dritten Levels können Leseaufgaben mäßiger Komplexität lösen. Sie sind in der Lage, mehrere<br />
Informationen aus einem Text herauszusuchen, Zusammenhänge zwischen Textteilen herzustellen, und Textverständnis<br />
<strong>im</strong> Zusammenhang mit vertrautem Alltagswissen zu zeigen. Sie können die Hauptaussage eines Textes<br />
identifizieren, Informationen heraussuchen, die <strong>im</strong> Text nicht leicht ersichtlich sind oder miteinander konkurrieren<br />
oder nicht den Erwartungen entsprechen.<br />
Schüler/innen des zweiten Levels können elementare Aufgaben lösen, in denen sie einfache Informationen<br />
lokalisieren, einfache Schlussfolgerungen ziehen, die Hauptaussage eines gut gekennzeichneten Textteils<br />
erkennen und etwas Allgemeinwissen und persönliche Erfahrung anwenden müssen, um dieses Verständnis zu<br />
zeigen. Sie können einzelne Textteile vergleichen oder gegenüberstellen.<br />
Schüler/innen des Levels 1a sind fähig, eindeutig angegebene Informationen aus einem oder mehreren unabhängigen<br />
Textstücken herauszufinden, das Hauptthema eines Textes über einen vertrauten Gegenstand zu erkennen<br />
oder Informationen <strong>im</strong> Text mit einfachem Alltagwissen zu verknüpfen. <strong>Die</strong> erforderliche Information ist an einer<br />
hervorstechenden Stelle <strong>im</strong> Text enthalten und es gibt keine konkurrierenden Informationen.<br />
Schüler/innen des Levels 1b sind in der Lage, einzelne, eindeutig angegebene Informationen in einer hervorstechenden<br />
Textstelle aufzufinden. Der Text selbst ist kurz, syntaktisch einfach und steht in einem für Jugendliche<br />
geläufigen Kontext.<br />
unter Level 1b<br />
Abbildung 8.5: Definition der Kompetenzstufen in Lesen (<strong>PISA</strong> 2009, <strong>2012</strong>)
Datenaufbereitung für die Ergebnisanalysen 55<br />
niedrige Naturwissenschaftskompetenz hohe Naturwissenschaftskompetenz<br />
Level 6<br />
708<br />
Level 5<br />
633<br />
Level 4<br />
559<br />
Level 3<br />
484<br />
Level 2<br />
409<br />
Level 1<br />
335<br />
Schüler/innen auf dem höchsten Level 6 können Wissen in den sowie über die Naturwissenschaften<br />
konsistent in einer Vielzahl realitätsnaher Situationen identifizieren, erklären und anwenden, Informationen aus<br />
verschiedenen Quellen und Erklärungen verknüpfen und Belege aus diesen Quellen zur Rechtfertigung ihrer<br />
Entscheidungen verwenden. Sie zeigen fortgeschrittenes naturwissenschaftliches Denken und Argumentieren<br />
und verwenden ihr naturwissenschaftliches Verständnis zur Lösung ungewohnter wissenschaftlicher und<br />
technologischer Situationen. Sie verwenden ihr Wissen und entwickeln Argumente zur Unterstützung von<br />
Empfehlungen und Entscheidungen, die persönliche, soziale oder globale Situationen betreffen.<br />
Schüler/innen auf Level 5 können naturwissenschaftliche Komponenten in vielen komplexen Situationen des<br />
Lebens identifizieren, naturwissenschaftliche Konzepte und Wissen über die Naturwissenschaften auf diese<br />
Situationen anwenden und angemessene naturwissenschaftliche Belege für solche Situationen vergleichen,<br />
auswählen und bewerten. Sie besitzen gut entwickelte Untersuchungsfähigkeiten, können Wissen angemessen<br />
verknüpfen und auch kritische Sichtweisen integrieren. Sie können basierend auf ihrer kritischen Analyse beweisgestützte<br />
Erklärungen und Argumente konstruieren.<br />
Auf Level 4 können Schüler/innen effektiv mit Situationen und Fragestellungen, die best<strong>im</strong>mte Phänomene<br />
betreffen, umgehen, welche von ihnen verlangen, Rückschlüsse über die Rolle von Naturwissenschaft oder<br />
Technologie zu ziehen. Sie können Erklärungen von verschiedenen Bereichen der Naturwissenschaft oder<br />
Technologie auswählen, verknüpfen und diese direkt mit lebensnahen Situationen in Verbindung bringen. Sie<br />
können über ihre Handlungen reflektieren und Entscheidungen unter Verwendung von naturwissenschaftlichem<br />
Wissen und Belegen kommunizieren.<br />
Schüler/innen auf dem dritten Level können klar beschriebene naturwissenschaftliche Sachverhalte in einer<br />
Reihe von Kontexten identifizieren, Fakten und Wissen auswählen, um Phänomene zu erklären, und einfache<br />
Modelle oder Untersuchungsstrategien anwenden. Sie können naturwissenschaftliche Konzepte aus<br />
verschiedenen Bereichen interpretieren und direkt anwenden. Darüber hinaus sind sie fähig, Fakten zu<br />
kommunizieren und Entscheidungen basierend auf naturwissenschaftlichem Wissen zu fällen.<br />
Das naturwissenschaftliche Wissen der Schüler/innen auf dem zweiten Level reicht aus, um mögliche<br />
Erklärungen in vertrauten Kontexten zu geben und Schlussfolgerungen zu ziehen, die auf einfachen Untersuchungen<br />
basieren. Ihre Schlussfolgerungen und die Interpretation von Ergebnissen naturwissenschaftlicher<br />
Untersuchungen oder technologischer Problemlösungen sind direkt.<br />
Schüler/innen auf dem ersten – untersten – Level weisen sehr eingeschränktes naturwissenschaftliches<br />
Wissen auf, das sie nur in wenigen, ihnen sehr gut vertrauten Situationen anwenden können. Sie können<br />
naturwissenschaftliche Erklärungen geben, die offensichtlich sind und direkt aus vorgegebenen Belegen<br />
abgeleitet werden können.<br />
unter Level 1<br />
Abbildung 8.6: Definition der Kompetenzstufen in Naturwissenschaft (<strong>PISA</strong> 2006, 2009, <strong>2012</strong>)
9 Qualitätssicherung<br />
In einer weltweit durchgeführten <strong>Studie</strong><br />
wie <strong>PISA</strong> wird in allen Phasen der <strong>Studie</strong><br />
besonderes Augenmerk auf die Qualität<br />
und die Sicherung der fairen Vergleichbarkeit<br />
gelegt. Um die bestmögliche Datenqualität<br />
gewährleisten zu können, werden<br />
sowohl auf internationaler als auch auf<br />
nationaler Ebene umfassende Maßnahmen<br />
zur Qualitätssicherung umgesetzt.<br />
Während die OECD als Auftraggeber die<br />
allgemeinen Zielsetzungen festlegt, ist das<br />
internationale Konsortium für das Design<br />
und die Richtlinien zur Durchführung der<br />
<strong>Studie</strong> <strong>im</strong> internationalen Rahmen verantwortlich.<br />
<strong>Die</strong> nationalen Projektmanager/<br />
innen sind mit den nationalen Zentren für<br />
die Umsetzung auf nationaler Ebene zuständig.<br />
<strong>Die</strong> OECD hat hierbei – in erster Linie<br />
durch das <strong>PISA</strong> Governing Board (PGB) –<br />
die Aufgabe, allgemeine Qualitätsanforderungen<br />
bzw. -maßstäbe festzusetzen und<br />
Entscheidungen in Bezug auf Konsequenzen<br />
des Nicht-Erreichens dieser Maßstäbe<br />
zu treffen. <strong>Die</strong>se Qualitätsstandards sind in<br />
den „<strong>PISA</strong> <strong>2012</strong> – Technical Standards“ formuliert<br />
und für alle Teilnehmerländer ver -<br />
bindlich.<br />
In den einzelnen Kapiteln der vorliegenden<br />
<strong>Studie</strong>nbeschreibung wurden bereits einige<br />
Qualitätssicherungsmaßnahmen beschrieben<br />
(z. B. <strong>im</strong> Bereich der Stichprobenziehung,<br />
bei der Konstruktion der Tests und<br />
Fragebögen, bei der Datenverarbeitung, der<br />
Feldtest an sich etc.). Im Folgenden werden<br />
die Qualitätssicherungsmaßnahmen<br />
der zentralen Bereiche von <strong>PISA</strong> zusammengefasst<br />
dargestellt: die Qualität der<br />
Stichproben, die Qualität der Übersetzung,<br />
die Qualität der Durchführung und die<br />
Qualität der Daten.<br />
Qualität der Stichproben<br />
<strong>Die</strong> Vergleichbarkeit der Daten der verschiedenen<br />
Teilnehmerländer wird unter<br />
anderem durch die Vergleichbarkeit der<br />
Stichproben best<strong>im</strong>mt. Deshalb wird besonderer<br />
Wert auf eine zentrale Stichprobenziehung<br />
und die exakte Einhaltung der<br />
vorgeschriebenen Rücklaufquoten gelegt.<br />
Ein wesentlicher Qualitätsaspekt ist dabei<br />
die exakte Populationsdefinition. <strong>Die</strong>se<br />
er folgt altersbasiert so, dass die Schüler/<br />
innen aller Länder zum jeweiligen Testzeitpunkt<br />
gleich alt sind und jeweils einen<br />
Querschnitt eines Altersjahrgangs pro<br />
Land abbilden. Für die Vergleichbarkeit<br />
ist es wesentlich, Schüler/innen aus allen<br />
Teilen des Schulsystems einzubeziehen, in<br />
denen Personen des Zielalters zu finden<br />
sind. Deshalb sind die Ergebnisse zwischen<br />
den Ländern auch dann vergleichbar, wenn<br />
die dahinterstehenden Schulsysteme große<br />
Unterschiede aufweisen.<br />
<strong>Die</strong> Ziehung der Schulen erfolgt zentral<br />
durch das internationale Konsortium und<br />
ein „Sampling Referee“ überprüft, dass diese<br />
korrekt umgesetzt wird.<br />
<strong>Die</strong> Vorgaben der OECD bezüglich erforderlicher<br />
Rücklaufquoten sind sehr<br />
streng. 85 % Rücklauf auf Schulebene und<br />
mindestens 80 % auf Schülerebene sind<br />
Voraussetzung für die uneingeschränkte<br />
Aufnahme der Daten eines Landes in den<br />
internationalen Datensatz und die internationale<br />
Berichterstattung.<br />
Österreich erfüllt die von der OECD vorgegebenen<br />
Standards mit einem sehr guten<br />
Rücklauf auf Schulebene von 100 % und<br />
auf Schülerebene von rund 95 % (gewichtet:<br />
rund 92 %). <strong>Die</strong> Verteilung der Schü-
Qualitätssicherung 57<br />
ler/innen auf die Schultypen entspricht jener der offiziellen<br />
Schulstatistik.<br />
Qualität der Übersetzung<br />
Für die Übersetzung der Materialien (Testaufgaben, Fragebögen<br />
und Handbücher) gibt es genaue Richtlinien, die von<br />
allen Teilnehmerländern eingehalten werden müssen. Als<br />
Basis für die Übersetzungen der Testaufgaben und Fragebögen<br />
werden Quellversionen in englischer und französischer<br />
Sprache vom internationalen Konsortium entwickelt, wobei<br />
zwei unabhängige Übersetzungen – vorzugsweise je eine aus<br />
jeder Quellsprache – anzufertigen sind, die dann von einer<br />
dritten Person zur Endversion zusammengeführt werden.<br />
<strong>Die</strong>s ist ein wichtiger Beitrag zur Opt<strong>im</strong>ierung der Qualität.<br />
Ein weiterer Qualitätsaspekt ist die Zusammenarbeit der<br />
deutschsprachigen Länder bei der Übersetzung: Durch<br />
diese Kooperation findet Qualitätskontrolle durch die gemeinsame<br />
Produktion einer deutschen Basisversion der<br />
Testaufgaben und Fragebögen statt. <strong>Die</strong> damit verbundenen<br />
Rückmeldeprozesse zwischen den Expertinnen und<br />
Experten sowie den nationalen <strong>PISA</strong>-Projektzentren aller<br />
deutschsprachigen Länder tragen zu einer hohen Qualität<br />
der Übersetzungen bei. Auf internationaler Ebene sichert<br />
die „Verifikation“ der Übersetzungen und des Layouts der<br />
Testaufgaben und der Fragebögen die hohe Qualität der nationalen<br />
Versionen, die für die deutschsprachigen Länder<br />
vom internationalen Konsortium mehrfach bestätigt wurde.<br />
Qualität der Durchführung der <strong>Studie</strong><br />
<strong>Die</strong> Durchführung des <strong>PISA</strong>-Tests an den Schulen ist standardisiert<br />
und läuft in allen Teilnehmerländern gleich ab.<br />
<strong>Die</strong> <strong>PISA</strong>-Tests werden von eigens geschulten Personen<br />
abgehalten, die pädagogisch versiert sind. <strong>Die</strong>se Testleiter/<br />
innen können nach internationalen Vorgaben schulintern<br />
sein – solange sie keine teilnehmenden Schüler/innen selbst<br />
unterrichten – oder externe Personen. In Österreich werden<br />
für die Durchführung des Tests schulexterne Testleiter/<br />
innen eingesetzt. <strong>Die</strong>s ist ein wesentlicher Bestandteil der<br />
umfassenden Qualitätssicherungsmaßnahmen bei der Testdurchführung<br />
und hat zahlreiche Vorteile:<br />
Objektive Testdurchführung<br />
Schulexterne Testleiter/innen sind unbefangen und haben<br />
kein Interesse an der Beeinflussung der Testergebnisse<br />
einzelner Schüler/innen bzw. Schulen. Auch wenn<br />
schulinterne Testleiter/innen die Schüler/innen selbst<br />
nicht unterrichten, steigert der Einsatz von schulexternen<br />
Testleiterinnen und Testleitern die Durchführungsobjektivität<br />
darüber hinaus.<br />
Wahrung der Vertraulichkeit<br />
Da die externen Testleiter/innen nicht in das Schulgeschehen<br />
der jeweiligen Testschule involviert sind, ist der<br />
vertrauliche Umgang des Testleiters/der Testleiterin mit<br />
den Schülerantworten gewährleistet. Zudem steigert die<br />
Durchführung durch eine schulexterne Person die Bereitschaft<br />
der Schüler/innen, die Fragen offen zu beantworten<br />
und beeinflusst so das Antwortverhalten positiv.<br />
Standardisierter und kontrollierter Ablauf der Testsitzung<br />
Für die Vergleichbarkeit der Ergebnisse ist es von großer<br />
Bedeutung, dass die international vorgegebenen Richtlinien<br />
zur Durchführung der <strong>PISA</strong>-Testsitzungen an<br />
den Schulen exakt eingehalten werden. Im Rahmen<br />
einer verpflichtenden Schulung wurden die Testleiter/<br />
innen ergänzend zum Selbststudium des Test leiterhandbuches<br />
vom BIFIE in Hinblick auf die einheitliche<br />
administrative Durchführung der Tests instruiert. Bei<br />
<strong>PISA</strong> <strong>2012</strong> wurde auf eine Reihe von pädagogisch erfahrenen<br />
Personen zurückgegriffen, die bereits in vorhergehenden<br />
<strong>PISA</strong>-Zyklen bzw. <strong>im</strong> Feldtest 2011 oder<br />
<strong>im</strong> Rahmen an derer internationaler Schülerleistungsstudien<br />
als Testleiter/in tätig waren. Der Einsatz versierter<br />
Personen, die gezielte Schulung und die in vorhergehenden<br />
Erhebungen gesammelten Erfahrungen<br />
unterstützen die Standardisierung des Testablaufs und<br />
führen zu einer hohen Durchführungsreliabilität.<br />
Min<strong>im</strong>ierung des Aufwands für die Schulen<br />
Der Einsatz externer Testleiter/innen führt zu einer Min<strong>im</strong>ierung<br />
des organisatorischen Aufwands für die<br />
Schu len. <strong>Die</strong>se sind weder mit der konkreten Testdurchführung<br />
noch mit der Administration der Erhebungsmaterialien<br />
befasst.<br />
Sicherheit der Testmaterialien<br />
<strong>Die</strong> Sicherheit der Testmaterialien ist bei <strong>PISA</strong> ein sehr<br />
wichtiger und sensibler Punkt. Da bei <strong>PISA</strong> ein Teil der<br />
Testaufgaben auch in künftigen Erhebungen eingesetzt<br />
wird, dürfen diese nicht an die Öffentlichkeit gelangen.<br />
Da die Testleiter/innen mit dem gesamten Testmaterial<br />
an die Schule kommen und dieses nach der Durchführung<br />
der Testsitzung wieder mitnehmen, wird sichergestellt,<br />
dass sich zu keinem Zeitpunkt Material unbeaufsichtigt<br />
an der Schule befindet.<br />
Um zu überprüfen, ob die nationalen Zentren ihre Testleiter/innen<br />
entsprechend in die standardisierte Durchführung<br />
eingewiesen haben und ob sie diese auch korrekt<br />
abwickeln, besuchen <strong>PISA</strong>-Quality-Monitors (PQM) <strong>im</strong><br />
Auftrag des internationalen Konsortiums einige Testsitzungen.<br />
<strong>Die</strong> PQMs kommen am Testtag unangekündigt zur<br />
Schule, beobachten und protokollieren die Testdurchführung<br />
und leiten ihre Aufzeichnungen an das internationale<br />
Konsortium weiter.<br />
In Österreich war be<strong>im</strong> Haupttest <strong>2012</strong> ein <strong>PISA</strong>-Quality-<br />
Monitor <strong>im</strong> Einsatz, der <strong>im</strong> Auftrag des internationalen<br />
Konsortiums sieben Testsitzungen beobachtete und dokumentierte.<br />
<strong>Die</strong> Ergebnisse der Schulbesuche wurden vom
58 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
PQM direkt an das internationale Konsortium übermittelt<br />
und werden <strong>im</strong> internationalen technischen Bericht der<br />
OECD zu <strong>PISA</strong> <strong>2012</strong> publiziert.<br />
Qualität der Daten<br />
<strong>Die</strong> Qualität der Daten hängt von allen Phasen der <strong>Studie</strong><br />
ab, von der Entwicklung der theoretischen Rahmenkonzepte<br />
und der Aufgaben, von der Übersetzung und Adaption<br />
der Testinstrumente und deren Zusammenstellung bis hin<br />
zur Testdurchführung und Datenverarbeitung.<br />
<strong>Die</strong> automatische Verarbeitung der Test- und Fragebogen daten<br />
(konkret das Scannen der Instrumente, die Verifikation<br />
nicht eindeutig interpretierbarer Schülerantworten und deren<br />
manuelle Nachbearbeitung) wurde von speziell geschulten<br />
Personen durchgeführt, von denen einige bereits über<br />
Erfahrung bei der Datenerfassung <strong>im</strong> Rahmen anderer <strong>Studie</strong>n<br />
am BIFIE verfügten. Vor Beginn jedes Arbeitsschritts<br />
erfolgte eine Einschulung, die die Datenerfasser/innen auf<br />
die neue Aufgabe vorbereitete. Insbesondere bei der Verifikation<br />
wurde sichergestellt, dass die Codevergaben durch<br />
alle Mitarbeiter/innen einheitlich erfolgten. So musste jede<br />
Mitarbeiterin/jeder Mitarbeiter vor Beginn der Verifikation<br />
eine Probeverifikation positiv absolvieren.<br />
Während der Datenverarbeitung stellt die Bewertung der<br />
Schülerantworten auf die offenen Testfragen einen sehr sensiblen<br />
Bereich dar. <strong>Die</strong> „Coding Guides“, die eine exakte<br />
Beschreibung der Bewertungsrichtlinien enthalten, sind dabei<br />
die wichtigste Basis für die Qualitätssicherung. <strong>Die</strong>se<br />
müssen den gleichen Übersetzungs- und Verifikationsprozess<br />
durchlaufen wie die Aufgaben selbst. Dadurch wird<br />
sichergestellt, dass in allen Teilnehmerländern die Basis für<br />
die Bewertung der offenen Fragen gleich ist.<br />
Folgende Maßnahmen sichern die Qualität des Coding-<br />
Prozesses:<br />
Stichprobenartige Kontrollen der vergebenen Codes sichern<br />
die korrekte Anwendung der Bewertungsrichtlinien<br />
bereits während des Coding-Prozesses. Wurden bei<br />
diesen Kontrollen Fehler entdeckt, fand für die jeweils<br />
betroffenen Coder/innen eine Nachschulung statt und<br />
die bereits vercodeten Schülerantworten mussten nachbearbeitet<br />
werden.<br />
Mithilfe der Control scripts (standardisierte Schülerantworten,<br />
die vom internationalen Konsortium vorgegeben<br />
und in alle Sprachen übersetzt werden) ist es möglich,<br />
die Übereinst<strong>im</strong>mung zwischen den Coderinnen/<br />
Codern auch international zu prüfen (Inter-Country-<br />
Rater-Reliability-Study). Zudem werden die national<br />
vergebenen Codes für die standardisierten Schülerantworten<br />
mit den vorab vergebenen Expertencodierungen<br />
des Konsortiums abgeglichen.<br />
Durch diese Maßnahmen wird sichergestellt, dass die Codes<br />
zum einen innerhalb jedes Landes auf vergleichbare Weise<br />
vergeben werden und dass zum anderen zwischen den Ländern<br />
keine systematischen Unterschiede darin bestehen, wie<br />
strikt die Bewertungsvorschriften angewendet werden. <strong>Die</strong><br />
Ergebnisse des Multiple Codings und der Inter-Country-<br />
Rater-Reliability-Study waren für Österreich bei <strong>PISA</strong> <strong>2012</strong><br />
unauffällig. <strong>Die</strong>s zeugt von der hohen Qualität der Beurteilung<br />
der offenen Fragen durch das BIFIE und den kompetenten<br />
Coderinnen und Codern.<br />
Zur Feststellung ungünstiger (statistischer) Eigenschaften<br />
von Aufgaben auf Länderebene werden zudem vom internationalen<br />
Konsortium psychometrische Analysen durchgeführt.<br />
Sie bilden einerseits die Grundlage für die Auswahl<br />
bzw. Überarbeitung der Aufgaben für den Haupttest, andererseits<br />
werden auch Aufgaben, die <strong>im</strong> Haupttest Auffälligkeiten<br />
zeigen, aus der Datenbasis ausgenommen. Somit<br />
wird gewährleistet, dass letztlich nur jene Aufgaben in die<br />
Skalierung der Daten einfließen, die in den jeweiligen Teilnehmerländern<br />
einwandfrei funktionieren.<br />
Ebenso sorgt eine umfassende, abschließende „Data Adjudication“<br />
durch die Technical Advisory Group der OECD für<br />
die Sicherung der Qualität der Daten. Dabei wird festgehalten,<br />
inwieweit die vorab definierten „Technical Standards“<br />
von den Teilnehmerländern eingehalten wurden. Für Österreich<br />
gab es für <strong>PISA</strong> <strong>2012</strong> diesbezüglich keine Vermerke,<br />
was bedeutet, dass die Qualität der österreichischen <strong>PISA</strong>-<br />
<strong>2012</strong>-Daten einwandfrei ist. Generell zeugen die Rückmeldungen<br />
des internationalen Konsortiums an das BIFIE von<br />
der hohen Zufriedenheit mit der Durchführung des <strong>PISA</strong>-<br />
Tests in Österreich – auch aus internationaler Sicht.<br />
Be<strong>im</strong> Multiple Coding wurden pro Aufgabe des Schwerpunkts<br />
Mathematik 100 Schülerantworten und in jedem<br />
anderen Bereich 50 Antworten mehrfach (von vier<br />
verschiedenen Coderinnen bzw. Codern) codiert. <strong>Die</strong><br />
Antworten wurden durch die Codiersoftware zufällig<br />
zugeteilt. <strong>Die</strong> Vergleiche zwischen den vergebenen Codes<br />
ermöglichen Rückschlüsse auf die Qualität bzw.<br />
Übereinst<strong>im</strong>mung der Coder/innen bei den Bewertungen<br />
(Interrater-Reliability).
10 Ergebnisse und Produkte von <strong>PISA</strong><br />
Ein zentrales Produkt von <strong>PISA</strong> ist die umfassende<br />
internationale Datenbasis, anhand<br />
derer die Daten über die Schülerleistungen<br />
und die damit verbundenen Kontext informationen<br />
analysiert und international verglichen<br />
werden können. <strong>Die</strong> Datenbasis<br />
enthält die Leistungswerte in den getesteten<br />
Kompetenzbereichen, die Antworten<br />
der Schüler/innen und Schulleiter/innen<br />
aus den Kontextfragebögen sowie die entsprechenden<br />
Gewichtungsvariablen. <strong>Die</strong>se<br />
Daten bilden die Grundlage für alle Analysen<br />
und Berichte über die Ergebnisse von<br />
<strong>PISA</strong>.<br />
<strong>Die</strong> internationalen Daten werden nach<br />
Publikation der ersten Ergebnisse durch<br />
die OECD öffentlich zugänglich gemacht<br />
und sind für interessierte Personen auf der<br />
ganzen Welt über das Internet kostenlos<br />
verfügbar (http://www.oecd.org/pisa).<br />
<strong>Die</strong> OECD veröffentlicht hierbei zwei Versionen:<br />
Erstens, eine interaktive Webseite,<br />
auf der man (ohne selbst die umfangreiche<br />
Datenbasis technisch und statistisch handhaben<br />
zu müssen) verschiedenartige Abfragen<br />
durchführen kann. Darüber hinaus<br />
können über eine zweite Web-Anwendung<br />
multid<strong>im</strong>ensionale Analysen angefordert<br />
werden. Zweitens wird die vollständige<br />
Datenmatrix für die zwei großen gängigen<br />
Statistikpakete SPSS und SAS zur Verfügung<br />
gestellt. <strong>Die</strong> interaktive Webseite ist<br />
dabei auch für Personen gedacht, die keine<br />
großen statistischen Erfahrungen besitzen,<br />
während die gesamte Datenmatrix interessierten<br />
Wissenschafterinnen und Wissenschaftern<br />
für umfassende und detaillierte<br />
Analysen zur Verfügung steht.<br />
Zudem erstellt das internationale Konsortium<br />
eine umfangreiche Dokumentation,<br />
die auch als Unterstützung bei der Datenanalyse<br />
dient: die <strong>PISA</strong>-Frameworks, die die<br />
Kompetenzbereiche definieren, beschreiben<br />
und organisieren, das <strong>PISA</strong> Data Analysis<br />
Manual, welches vor allem die Methodik<br />
von Skalierung und Gewichtung<br />
der <strong>PISA</strong>-Daten beschreibt und konkrete<br />
Anleitungen zur Verwendung der Datenmatrix<br />
gibt, sowie den internationalen<br />
Technischen Bericht, der alle Vorgänge der<br />
<strong>Studie</strong> von internationaler Seite genau dokumentiert.<br />
Eine detaillierte Dokumentation speziell<br />
der österreichischen Umsetzung der internationalen<br />
Richtlinien von <strong>PISA</strong> <strong>2012</strong> wird<br />
<strong>im</strong> nationalen technischen Bericht publiziert<br />
(www.bifie.at/pisa). <strong>Die</strong>ser liefert Informationen<br />
für ein vertieftes methodisches Verständnis<br />
der Ergebnisse. <strong>Die</strong> vorliegende<br />
Broschüre ist ebenfalls als – allerdings kurz<br />
gefasste – technische Dokumentation der<br />
<strong>Studie</strong> zu verstehen. Ihr Schwerpunkt liegt<br />
darauf, alle Informationen übersichtlich<br />
zusammenzufassen, die für die Interpretation<br />
der Ergebnisse in österreichischen<br />
<strong>PISA</strong>-<strong>2012</strong>-Publikationen notwendig sind.<br />
Neben der Dokumentation der Abläufe<br />
publiziert die OECD die Ergebnisse von<br />
<strong>PISA</strong> <strong>2012</strong> in verschiedenen Berichten.<br />
<strong>Die</strong> Erstveröffentlichung der Ergebnisse<br />
erscheint in sechs Bänden, von denen vier<br />
gemeinsam am 3. Dezember 2013 erstveröffentlicht<br />
werden. Sie beinhalten neben<br />
der Einführung in <strong>PISA</strong> <strong>2012</strong> eine Betrachtung<br />
der ersten Ergebnisse hinsichtlich<br />
der folgenden Themen:<br />
Band 1: Schülerleistungen bei <strong>PISA</strong><br />
<strong>2012</strong> – Mathematik, Lesen und Naturwissenschaft<br />
<strong>im</strong> internationalen Vergleich<br />
Band 2: Chancengerechtigkeit – Einfluss<br />
sozialer Merkmale sowie des Migrationshintergrunds<br />
auf die Schülerleistungen
60 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
Band 3: Allgemeine individuelle Merkmale der Schüler/<br />
innen und mathematikbezogene Faktoren wie Engagement,<br />
Motivation, Selbstwahrnehmung, Unterricht<br />
Band 4: Schul- und Systemcharakteristiken – Ressourcen,<br />
Richtlinien und Praktiken<br />
<strong>Die</strong> Veröffentlichung des fünften Bandes, der die Ergebnisse<br />
zum Kompetenzbereich Problemlösen enthalten wird,<br />
ist <strong>im</strong> Frühjahr 2014 geplant. Band sechs widmet sich dem<br />
Bereich Financial Literacy, an dem Österreich nicht teilgenommen<br />
hat.<br />
Darüber hinaus plant die OECD die Herausgabe von Berichten<br />
mit speziellen inhaltlichen Schwerpunkten sowie<br />
die regelmäßig erscheinenden Kurzinformationen, genannt<br />
„<strong>PISA</strong> in Focus“.<br />
Auf nationaler Ebene werden parallel zur internationalen<br />
Erstveröffentlichung die ersten <strong>PISA</strong>-Ergebnisse aus nationaler<br />
Perspektive (Schwantner, Toferer & Schreiner, 2013),<br />
die vorliegende <strong>Studie</strong>nbeschreibung und der nationale<br />
technische Bericht zu <strong>PISA</strong> <strong>2012</strong> (Schwantner & Schreiner,<br />
2013) veröffentlicht. Zusätzlich zu diesen offiziell <strong>im</strong><br />
Auftrag des BMUKK herausgegebenen Publikationen sind<br />
auch auf nationaler Ebene weitere Publikationen mit verschiedenen<br />
inhaltlichen Schwerpunkten geplant.<br />
Interessierte Wissenschafter/innen und Forschergruppen in<br />
Österreich können zudem die Möglichkeit nutzen, die auf<br />
der OECD-Webseite kostenlos zugänglichen <strong>PISA</strong>-Daten<br />
zur Bearbeitung eigener wissenschaftlicher Fragestellungen<br />
heranzuziehen.<br />
LESEHINWEIS<br />
<strong>Die</strong> nationalen <strong>PISA</strong>-<strong>2012</strong>-Publikationen sowie Beispielaufgaben<br />
zu <strong>PISA</strong> sind über die Webseite des<br />
BIFIE verfügbar: www.bifie.at/pisa<br />
Alle Produkte der OECD von <strong>PISA</strong> <strong>2012</strong> sind über<br />
die Webseite der OECD verfügbar:<br />
www.oecd.org/pisa/pisaproducts
Bibliografie<br />
B Bruneforth, M. & Lassnigg, L. (Hrsg.). (<strong>2012</strong>). Nationaler Bildungsbericht Österreich <strong>2012</strong>.<br />
Band 1. Das Schulsystem <strong>im</strong> Spiegel von Daten und Indikatoren. Graz: Leykam.<br />
H<br />
Herzog-Punzenberger, B. (Hrsg.). (<strong>2012</strong>). Nationaler Bildungsbericht Österreich <strong>2012</strong>. Band<br />
2. Fokussierte Analysen bildungspolitischer Schwerpunktthemen. Graz: Leykam.<br />
N<br />
Neuwirth, E. (2006). <strong>PISA</strong> 2000: Sample Weight Problems in Austria. OECD Education<br />
Working Papers, No. 5, OECD Publishing. Zugriff am 21. 08. 2013. Verfügbar unter<br />
http://dx.doi.org/10.1787/220456725273<br />
O<br />
OECD (2000). Measuring Student Knowledge and Skills. The <strong>PISA</strong> 2000 Assessment of<br />
Reading, Mathematical and Scientific Literacy. Paris: OECD.<br />
OECD (2007). <strong>PISA</strong> 2006. Schulleistungen <strong>im</strong> internationalen Vergleich. Naturwissenschaftliche<br />
Kompetenzen für die Welt von morgen. Paris: OECD.<br />
OECD (2011). Students On Line: Digital Technologies and Performance. Volume VI. Paris:<br />
OECD.<br />
OECD (<strong>2012</strong>). Bildung auf einen Blick <strong>2012</strong>. OECD-Indikatoren. Paris: OECD.<br />
OECD (2013a). <strong>PISA</strong> <strong>2012</strong> Assessment and Analytical Framework: Mathematics, Reading,<br />
Science, Problem Solving and Financial Literacy. Paris: OECD Publishing. Verfügbar unter:<br />
http://dx.doi.org/10.1787/9789264190511-en<br />
OECD (2013b). <strong>PISA</strong> <strong>2012</strong> Results. What Students Know and Can Do: Student Performance<br />
in Mathematics, Reading and Science. Volume I. Paris: OECD Publishing.<br />
OECD (2013c). <strong>PISA</strong> <strong>2012</strong> Results. Excellence through Equity: Giving Every Student the<br />
Chance to Succeed. Volume II. Paris: OECD Publishing.<br />
OECD (2013d). <strong>PISA</strong> <strong>2012</strong> Results. Ready to Learn: Student Engagement. Volume III.<br />
Paris: OECD Publishing.<br />
OECD (2013e). <strong>PISA</strong> <strong>2012</strong> Results. What Makes a School Successful? Resources, Policies<br />
and Practices. Volume IV. Paris: OECD Publishing.<br />
OECD (forthcoming). <strong>PISA</strong> <strong>2012</strong>. Technical Report. Paris: OECD.<br />
P<br />
Pareiss, M. (2013a). Sampling-Design und Stichproben. In U. Schwantner & C. Schreiner<br />
(Hrsg.), <strong>PISA</strong> <strong>2012</strong>. Internationaler Vergleich von Schülerleistungen. Technischer Bericht.<br />
Zugriff ab 03. 12. 2013. Verfügbar unter www.bifie.at/pisa<br />
Pareiss, M (2013b). Rücklauf, Stichprobenausfälle und Stichprobengrößen bei <strong>PISA</strong> <strong>2012</strong>. In<br />
U. Schwantner & C. Schreiner & (Hrsg.), <strong>PISA</strong> <strong>2012</strong>. Internationaler Vergleich von Schülerleistungen.<br />
Technischer Bericht. Zugriff ab 03. 12. 2013. Verfügbar unter: www.bifie.at/pisa
62 <strong>PISA</strong> <strong>2012</strong>: <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong><br />
R Reiter, C. (2004). Rücklauf, Stichprobenausfälle und Stichprobengrößen. In C. Reiter, B.<br />
Lang & G. Haider (Hrsg.), <strong>PISA</strong> 2003: Internationaler Vergleich von Schülerleistungen.<br />
Technischer Bericht. Zugriff am 18.02.2013. Verfügbar unter www.bifie.at/node/267<br />
S<br />
Schwantner, U. & Schreiner, C. (Hrsg.). (2010). <strong>PISA</strong> 2009. Internationaler Vergleich von<br />
Schülerleistungen. <strong>Die</strong> <strong>Studie</strong> <strong>im</strong> <strong>Überblick</strong>. Graz: Leykam.<br />
Schwantner, U. & Schreiner, C. (Hrsg.). (2011). <strong>PISA</strong> 2009. Lesen <strong>im</strong> elektronischen<br />
Zeitalter. <strong>Die</strong> Ergebnisse <strong>im</strong> <strong>Überblick</strong>. Zugriff am 13. 11. 2013. Verfügbar unter:<br />
www.bifie.at/pisa<br />
Schwantner, U. & Schreiner, C. (Hrsg.). (2013). <strong>PISA</strong> <strong>2012</strong>. Internationaler Vergleich von<br />
Schülerleistungen. Technischer Bericht. Zugriff ab 03. 12. 2013. Verfügbar unter:<br />
www.bifie.at/pisa<br />
Schwantner, U., Toferer, B. & Schreiner, C. (Hrsg.). (2013). <strong>PISA</strong> <strong>2012</strong>. Internationaler<br />
Vergleich von Schülerleistungen. Erste Ergebnisse. Mathematik, Lesen, Naturwissenschaft.<br />
Graz: Leykam.
www.bifie.at<br />
Leykam Buchverlag<br />
office@leykamverlag.at<br />
www.leykamverlag.at<br />
ISBN 978-3-7011-7888-9