PISA 2006 Technischer Bericht - Bifie
PISA 2006 Technischer Bericht - Bifie
PISA 2006 Technischer Bericht - Bifie
Erfolgreiche ePaper selbst erstellen
Machen Sie aus Ihren PDF Publikationen ein blätterbares Flipbook mit unserer einzigartigen Google optimierten e-Paper Software.
<strong>PISA</strong> <strong>2006</strong><br />
INTERNATIONALER VERGLEICH<br />
VON SCHÜLERLEISTUNGEN<br />
Claudia Schreiner,<br />
Günter Haider (Hrsg.)<br />
TECHNISCHER BERICHT<br />
Naturwissenschaft<br />
Mathematik<br />
Lesen<br />
ZVB<br />
Österreichisches Projektzentrum für<br />
Vergleichende Bildungsforschung
Bundesministerium für Unterricht, Kunst und Kultur 1014 Wien Minoritenplatz 5<br />
Das Bundesministerium hat die Errichtung des Projektzentrums für Vergleichende Bildungsforschung an der Universität<br />
Salzburg initiiert und finanziert. Das Projektzentrum ist vom Bundesministerium mit der Durchführung<br />
der OECD-Studie <strong>PISA</strong> in Österreich beauftragt. Die Kosten der österreichischen Teilnahme an <strong>PISA</strong> insgesamt<br />
werden vom Bundesministerium getragen.<br />
Projektzentrum für Vergleichende Bildungsforschung<br />
Universität Salzburg Fachbereich Erziehungswissenschaft 5020 Salzburg Akademiestr. 26<br />
Leiter: DDr. Günter Haider<br />
<strong>PISA</strong> <strong>2006</strong>. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Technischer</strong> <strong>Bericht</strong>. Claudia Schreiner, Günter Haider (Hrsg.). (2007).<br />
Satz: Ursula Schwantner, ZVB<br />
Die Verwendung dieses Werkes in anderen Publikationen ist nur unter Angabe<br />
der Quelle erlaubt.
INHALT<br />
I. <strong>PISA</strong> – Schulsysteme im internationalen Vergleich ..................................................................................... 6<br />
Günter Haider<br />
1. Die Qualität von Unterricht, Schulen und Schulsystemen ...............................................................................11<br />
2. <strong>PISA</strong> – Steuerungsinformation für die Bildungspolitik ....................................................................................14<br />
3. Resümee .......................................................................................................................................................16<br />
II. Grundkonzeption, Ziele und Organisation von <strong>PISA</strong> ............................................................................. 19<br />
Simone Breit<br />
1. Die <strong>PISA</strong>-Studie und ihre Bedeutung für Österreich .......................................................................................20<br />
2. Die internationale Organisation von <strong>PISA</strong> .....................................................................................................23<br />
3. Die Organisation innerhalb Österreichs .........................................................................................................26<br />
III. Testinstrumente ..................................................................................................................................... 31<br />
Ursula Schwantner<br />
1. Die Frameworks ...........................................................................................................................................32<br />
2. Testdesign .....................................................................................................................................................41<br />
3. Itementwicklung ...........................................................................................................................................43<br />
4. Übersetzung und Verifikation ........................................................................................................................48<br />
5. Qualitätssicherung im Bereich Testinstrumente ...............................................................................................52<br />
IV. Kontextfragebögen ................................................................................................................................. 55<br />
Ursula Schwantner<br />
1. Konzeption der Kontextfragebögen – das Kontext-Framework ..........................................................................56<br />
2. Entwicklung der internationalen Fragebögen ..................................................................................................60<br />
3. Der internationale Schülerfragebogen im Haupttest <strong>2006</strong> ...............................................................................62<br />
4. Der internationale Schulfragebogen im Haupttest <strong>2006</strong> ..................................................................................63<br />
5. Nationale Optionen ......................................................................................................................................64<br />
6. Qualitätssicherung im Bereich Kontextfragebögen ...........................................................................................68<br />
V. Sampling-Design und Stichproben .......................................................................................................... 71<br />
Simone Breit & Claudia Schreiner<br />
1. Die Zielgruppe von <strong>PISA</strong> ..............................................................................................................................72<br />
2. Von der allgemeinen Definition zum konkreten Stichprobenplan ......................................................................74<br />
3. Das allgemeine Sampling-Design ...................................................................................................................75<br />
4. Vorgaben bezüglich der zu erzielenden Rücklaufquoten ...................................................................................79<br />
5. Die österreichische Stichprobe im Feldtest 2005 ..............................................................................................80<br />
6. Die österreichische Stichprobe im Haupttest <strong>2006</strong> ...........................................................................................82<br />
7. Qualitätssicherung ........................................................................................................................................88<br />
VI. Testorganisation und Durchführung ..................................................................................................... 89<br />
Simone Breit<br />
1. Chronologischer Überblick über den Ablauf der Testorganisation .....................................................................90<br />
2. Kooperation mit Schulen und Schulbehörden ..................................................................................................90<br />
3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK) .......................................................................91<br />
4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente .........................................................................93<br />
5. Aufgaben der Testleiter/innen (TL) ................................................................................................................94<br />
6. Qualitätssicherung bei der Testorganisation und -durchführung .....................................................................102<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen ...................................................................... 107<br />
Simone Breit & Claudia Schreiner<br />
1. Rücklauf im <strong>PISA</strong>-Feldtest 2005 .................................................................................................................108<br />
2. Rücklauf im <strong>PISA</strong>-Haupttest <strong>2006</strong> ..............................................................................................................114<br />
3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobenziehung ...............................................................131<br />
Inhalt<br />
Seite 3
VIII. Coding .............................................................................................................................................. 133<br />
Simone Breit & Andrea Grafendorfer<br />
1. Was ist „Coding“? .......................................................................................................................................134<br />
2. Grundlegende Prinzipien zur Differenzierung von Schülerantworten .............................................................135<br />
3. Aufbau der Coding-Instrumente ..................................................................................................................137<br />
4. Internationale Umsetzungsrichtlinien ..........................................................................................................141<br />
5. Ablauf des Codings im Haupttest <strong>2006</strong> ........................................................................................................144<br />
6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess .........................................................................147<br />
IX. Berufsklassifikation ............................................................................................................................. 151<br />
Ursula Schwantner<br />
1. Berufsklassifikation nach ISCO .....................................................................................................................52<br />
2. Die ISCO-Codierung bei <strong>PISA</strong> <strong>2006</strong> ..........................................................................................................156<br />
3. Qualitätssicherung bei der ISCO-Codierung ................................................................................................164<br />
X. Dateneingabe ....................................................................................................................................... 167<br />
Martin Pointinger<br />
1. Der zeitliche und organisatorische Ablauf der Dateneingabe ..........................................................................168<br />
2. Software KeyQuest© ...................................................................................................................................169<br />
3. Dateneingabe nach Instrumenten ................................................................................................................169<br />
4. Qualitätssicherung bei der Dateneingabe ......................................................................................................171<br />
5. Data Submission – Übermittlung der Daten an das internationale Zentrum ..................................................174<br />
XI. Web-Based Assessment ......................................................................................................................... 177<br />
Simone Breit & Andrea Grafendorfer<br />
1. Ziele von CBAS ..........................................................................................................................................178<br />
2. Stichprobe ..................................................................................................................................................178<br />
3. Testinstrumente ...........................................................................................................................................183<br />
4. Technische Voraussetzungen .........................................................................................................................183<br />
5. Testorgabnisation und -durchführung ...........................................................................................................186<br />
6. Datenverarbeitung ......................................................................................................................................187<br />
7. Qualitätssicherung und -kontrolle bei CBAS ................................................................................................187<br />
8. Erkenntnisse aus der Machbarkeitsstudie ......................................................................................................188<br />
XII. Qualitätssicherung bei <strong>PISA</strong> .............................................................................................................. 191<br />
Claudia Schreiner<br />
1. Einleitung ..................................................................................................................................................192<br />
2. Qualitätssicherung in der Vorbereitungsphase ................................................................................................196<br />
3. Qualitätssicherungsmaßnahmen während der Datenerhebung .......................................................................207<br />
4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung ...........................................................................213<br />
Seite 4<br />
Inhalt
Einleitung <strong>Technischer</strong> <strong>Bericht</strong> <strong>PISA</strong> <strong>2006</strong><br />
Periodische Bestandsaufnahmen von Ergebnissen, wichtigen Fakten und langfristigen Effekten eines<br />
Bildungssystems dienen als Basis für Steuerungs- und Entwicklungsentscheidungen in der Bildungspolitik.<br />
Ein Schwerpunkt eines solchen Informationssystems liegt auf den Resultaten der schulischen Prozesse – dem<br />
Output. Durch eine regelmäßige Erfassung des Outputs können Entwicklungen verfolgt, Stärken und<br />
Schwächen identifiziert und Fehlentscheidungen rechtzeitig entdeckt werden. Outputmessungen objektivieren<br />
die pädagogischen Leistungen und machen sie für die Öffentlichkeit sichtbarer.<br />
International vergleichende Studien wie OECD/<strong>PISA</strong> oder PIRLS und TIMSS der IEA, ermöglichen<br />
regelmäßige standardisierte Leistungsmessungen, die dem Aufbau eines Informationsbestands über<br />
Entwicklungstrends im Kompetenzbereich der Schüler/innen dienen. Darüber hinaus werden verlässliche<br />
Qualitätsindikatoren gewonnen, wodurch eine detaillierte Rückmeldung an die Verantwortlichen der<br />
Bildungssysteme erfolgen kann.<br />
Die vorliegende aktuelle Studie <strong>PISA</strong> <strong>2006</strong> – zu der dieser Technische <strong>Bericht</strong> verfasst wurde – soll einen<br />
weiteren Baustein bilden, eine Ausweitung unseres Wissens über Schülerleistungen, ihre Evidenz<br />
und ihre Abhängigkeiten. Die Erhebung des „Ist-Zustands der Schülerleistungen“ ist wichtig, damit die<br />
Verantwortlichen im Bildungssystem wissen, wo wir stehen – absolut in der Erreichung unserer Ziele,<br />
relativ gesehen zu unseren Nachbarstaaten, EU- und OECD-Partnern.<br />
Der Technische <strong>Bericht</strong> des österreichischen <strong>PISA</strong>-Projektzentrums ist die Dokumentation der bei <strong>PISA</strong><br />
angewandten Methoden. Er wendet sich in dieser Detailliertheit in erster Linie an nationale Wissenschafter/in<br />
nen und interessierte Laien, die genau nachvollziehen wollen, wie die Daten und Ergebnisse<br />
der Studie zustande kommen. Bereits der erste <strong>Bericht</strong> (Haider [2001]. <strong>PISA</strong> 2000. <strong>Technischer</strong> <strong>Bericht</strong>.<br />
Innsbruck:Studienverlag) war eine sehr umfangreiche Beschreibung der Instrumente und Abläufe bei<br />
OECD/<strong>PISA</strong>. Ebenso der zweite nationale Technische <strong>Bericht</strong> zu <strong>PISA</strong> 2003.<br />
Beide Publikationen sowie die vorliegende können als PDF auf www.pisa-austria.at heruntergeladen werden.<br />
Für jene, die an der Methodik, den Zielen und der Organisation von <strong>PISA</strong> interessiert sind, jedoch weniger<br />
„technische“ Details bevorzugen, ist die Studienbeschreibung <strong>PISA</strong> <strong>2006</strong> zu empfehlen (Schreiner et<br />
al. [2007]. <strong>PISA</strong> <strong>2006</strong>. Internationaler Vergleich von Schülerleistungen. Die Studie im Überblick. Graz:<br />
Leykam).<br />
Über die inzwischen existierenden Technischen <strong>PISA</strong> Dokumentationen des österreichischen<br />
Projektzentrums hinaus, wird Anfang 2008 ein sehr umfangreicher <strong>PISA</strong>-International Technical Report<br />
der OECD zur Verfügung stehen (Download von der OECD Homepage; www.pisa.oecd.org).<br />
Wenn Sie darüber hinaus technische Fragen haben, die durch das Studium dieser Unterlagen nicht zu<br />
beantworten sind, kontaktieren Sie bitte das Nationale <strong>PISA</strong>-Projektzentrum.<br />
Ursula Schwantner<br />
Projektzentrum für Vergleichende Bildungsforschung (<strong>PISA</strong>-PIRLS-TIMSS)<br />
Fachbereich Erziehungswissenschaft<br />
Universität Salzburg<br />
A-5020 Salzburg, Akademiestraße 26<br />
0662/8044-4280<br />
office@zvb-austria.at
I<br />
<strong>PISA</strong>-SCHULSYSTEME IM<br />
INTERNATIONALEN VERGLEICH<br />
Günter Haider<br />
1. Die Qualität von Unterricht, Schule und Schulsystem<br />
1.1 Qualität, empirisch definiert<br />
1.2 <strong>PISA</strong>-Daten: aggregiert und kumuliert<br />
2. <strong>PISA</strong> – Steuerungsinformation für die Bildungspolitik<br />
2.1 Schulsystem: Steuerung a priori vs. autonom und outputorientiert<br />
2.2 Auf dem Weg zur „Output“-Steuerung<br />
3. Resümee<br />
Dieser Text basiert auf Kapitel 1 in Haider & Schreiner, <strong>2006</strong>.
Das Bildungswesen und seine Entwicklung sind Bestandteil gesellschaftlicher und ökonomischer Prozesse<br />
und tief in diese eingebettet. Sie haben erhebliche Auswirkungen auf das Bildungswesen und müssen dort<br />
berücksichtigt bzw. „aufgearbeitet“ werden und die Ergebnisse des Bildungssystems haben wiederum<br />
wesentlichen Einfluss auf Wirtschaft, Politik und Kultur.<br />
Wir befinden uns am Beginn des neuen Millenniums in einer dynamischen Entwicklung von Technologie<br />
und Wissenschaft, in Wirtschafts- und Gesellschaftssystemen. Die Globalisierung, die weltweite<br />
Vernetzung als ein neues komplexes Phänomen, das inzwischen seine ursprünglich rein wirtschaftliche<br />
Interpretation deutlich übersteigt, wirft neue Fragen und Herausforderungen für alle Gesellschaftsbereiche<br />
auf. Auf Grund der hohen Lohnkosten sind entwickelte Länder – wie Österreich bzw. die gesamte<br />
EU – mit ungelernter oder wenig qualifizierter Arbeit im klassischen Produktionsgewerbe auf den globalisierten<br />
Märkten nicht mehr konkurrenzfähig. Der Rückfall in der Wachstumsdynamik Europas, vor<br />
allem im Verhältnis zu den USA, aber auch gegenüber Asien und den neuen Wirtschaftsgroßmächten<br />
China und Indien wirft ernste Zweifel auf, ob das europäische sozioökonomische Modell geeignet ist,<br />
unter den neuen und kommenden Bedingungen zu bestehen.<br />
Betrachtet man aber beispielsweise den Erfolg der nordischen Wohlfahrtsstaaten, so gibt<br />
dies Hoffnung auf Konkurrenzfähigkeit, auf eine aussichtsreiche qualitative und quantitative<br />
Wachstumsstrategie – zeigt aber auch deutlich auf, wo der Veränderungs-, Verbesserungs- und<br />
Reformbedarf hierzulande besteht (vgl. dazu die sorgfältige Analyse von Aiginger, <strong>2006</strong>, S. 25f.).<br />
Denn ihr Erfolg beruht auf drei Säulen: dem privaten und öffentlichen Kostenbewusstsein und der<br />
Reform der Institutionen, der Reform des Arbeitsmarktes (mehr Flexibilität für Firmen, mehr Sicherheit,<br />
Qualifikation und Beratung für Arbeitnehmer) und vor allem der Forcierung der Zukunftsinvestitionen<br />
Wissenschaft, Forschung, Technologie, Qualität von Bildung, Ausbildung und Weiterbildung (Aiginger,<br />
<strong>2006</strong>, S. 40).<br />
Nicht von ungefähr ist es ein nordisches Land (Finnland), das trotz widriger wirtschaftlicher Ausgangslage<br />
in den 80er-Jahren nun alle Innovationsstatistiken des Jahres <strong>2006</strong> anführt. Enorm hohe Abschlussquoten<br />
bei Maturant/innen und Akademiker/innen (fast doppelt so hoch wie in Österreich) und das hervorragende<br />
Abschneiden der Schüler/innen bei allen internationalen Vergleichstests des <strong>PISA</strong>-Typs zeigen den<br />
Erfolg jener Bemühungen auf dem Bildungssektor, die Ende der 80er-Jahre in Angriff genommen wurden.<br />
Auf dem Weg zur Wissensgesellschaft<br />
Wir können mit großer Sicherheit von einer weiter steigenden Abhängigkeit der individuellen<br />
und unternehmerischen Wettbewerbsfähigkeit und des wirtschaftlichen Gesamterfolgs von einem<br />
Vorsprung an Wissen und Qualifikationen ausgehen. Erfolg (und Arbeitsplätze) versprechen vor allem<br />
Wirtschaftszweige, die mit ihren Mitarbeiter/innen Leistungen erbringen, die an Innovationsvorsprünge<br />
oder technologische Weiterentwicklungen gekoppelt sind. „Ein höheres Pro-Kopf-Einkommen ist längerfristig<br />
... mit höherer Forschung, Ausbildung, Weiterbildung und moderner Infrastruktur [zu erreichen]“<br />
(Aiginger, <strong>2006</strong>, S. 32).<br />
Analog dazu wird es für Individuen heute zunehmend schwieriger, ohne qualifizierte Bildung auf<br />
dem Arbeitsmarkt zu bestehen; der Zusammenhang zwischen formaler Bildung und individuellen<br />
Lebenschancen besteht unvermindert weiter und verschärft sich noch (Haider, <strong>2006</strong>, S. 61f.).<br />
Die Industriegesellschaft des 20. Jahrhunderts transformiert sich am Beginn des 21. Jahrhunderts über<br />
eine Informations- in eine globalisierte Wissensgesellschaft – allerdings werden beide Strukturen noch längere<br />
Zeit nebeneinander bestehen. „Wissen“ wird dabei zum wichtigsten Produktionsfaktor gegenüber<br />
Arbeit, Kapital und Bodenschätzen. Der gesamte Sektor Bildungssystem, Wissenschaft, Forschung und<br />
Entwicklung sowie die dazugehörende Infrastruktur, Logistik und Qualitätssicherung erhalten eine herausragende<br />
Bedeutung.<br />
„Wissen“ und erfolgreiches lebensbegleitendes Lernen wachsen jedoch auch in der zentralen Bedeutung<br />
in der Biografie der Bürgerinnen und Bürger – die erworbene Bildung bestimmt über die sozial, ökono-<br />
Seite 8<br />
I. <strong>PISA</strong> – Schulsysteme im internaionalen Vergleich
misch und demokratisch befriedigende Teilhabe jedes Bürgers und jeder Bürgerin am gesellschaftlichen<br />
Leben.<br />
Bildung ist die wichtigste Ressource, die wir als Österreicher, auch als Europäer, im Wettbewerb vorteilhaft<br />
einsetzen können. Der Erfolg in diesen Bereichen wird entscheiden, ob die bisher geschaffenen Werte<br />
erhalten, das Land weiterentwickelt und die hohe Lebensqualität zumindest bewahrt, vielleicht noch<br />
gesteigert werden kann.<br />
Wettbewerb im Bildungsbereich<br />
Die Bedeutung von Bildungserfolgen nimmt daher weiter zu: Die Qualität des Wissens (der erworbenen<br />
Kompetenzen) und die Höhe der Bildungsabschlüsse sind dabei ausschlaggebende Faktoren. Die<br />
Schulsysteme in den entwickelten Ländern befinden sich somit in einer zunehmend schärfer werdenden<br />
Wettbewerbssituation, genauso wie die Universitäten, die Forschungs- und die Erwachsenenbildungsein<br />
richtungen.<br />
Mit der Lissabon-Strategie der EU (2000), die die Entwicklung zum „wettbewerbsfähigsten und dynamischsten<br />
wissensbasierten Wirtschaftsraum bis 2010“ 1 sichern sollte, hat diese Überzeugung eine gewisse<br />
Verbreitung gefunden. Die Lissabon-Ziele und die Lissabon-Strategie der EU stellen einen globalen<br />
Führungsanspruch Europas bis 2010 im Bereich der „Wissensgesellschaft“ – im schulischen Bereich z. B.<br />
durch verlässliche Absicherung hoher Grundkompetenzen beim Lesen, und durch die gezielte Förderung<br />
des lebenslangen Lernens. Folgerichtig gehören Bildungsstand- und Leistungsdaten auch zu den zentralen<br />
Indikatoren, die die EU-Kommission zur Beurteilung des Fortschritts heranzieht. 2<br />
Damit ist knapp umrissen, was mit der Entwicklung hin zur globalen „Wissensgesellschaft“<br />
gemeint ist: Diese ist wesentlich darauf angewiesen, höchstmögliche Qualität im<br />
Bildungssystem, für Aus- und Weiterbildung bereitzustellen, um gleichermaßen wirtschaftlich<br />
wettbewerbsfähig zu bleiben und den Bürger/innen optimale Lebenschancen zu eröffnen. Das verlangt<br />
nach einer „pro-aktiven Wachstumspolitik“ (Aiginger), einer Forcierung der zukunftsträchtigen<br />
Faktoren.<br />
Unter diesem Gesichtspunkt gesehen ist das Bildungssystem permanent reformbedürftig: Die<br />
Verantwortlichen sind herausgefordert, ständig zu prüfen, ob die Kenntnisse, Kompetenzen und<br />
Qualifikationen, die wir vermitteln (wollen), noch den Anforderungen der Zeit entsprechen, ob wir<br />
tatsächlich alle Heranwachsenden mit unserem schulischen Angebot erreichen und welche nachhaltigen<br />
Ergebnisse wir damit tatsächlich erzielen (Haider et al., 2003, S. 11).<br />
Die operative Aufgabe besteht dann darin, durch wirksame Steuerungsentscheidungen im<br />
Bildungsmanagement möglichst optimale Gesamtqualität herzustellen:<br />
• Strategie 1: die notwendigen Verbesserungen hinsichtlich der entdeckten Schwächen oder Defizite<br />
umzusetzen (Kompensation) und/oder<br />
• Strategie 2: eine allgemeine Qualitätssteigerung herbeizuführen, bei der man sich einerseits an Benchmarks,<br />
also an den Methoden der Besten, orientiert und andererseits neue Erkenntnisse der Grundlagenwissenschaften<br />
(Psychologie, Unterrichtsforschung) anwendet. Denn die Entwicklung der letzten<br />
Jahre eröffnet auch eine Reihe neuer Chancen, z. B. durch neue technologische Möglichkeiten.<br />
Beide Strategien streben eine Erhöhung der Gesamtqualität des Systems an, wobei es eine empirisch<br />
entscheidbare Frage ist, bei welcher Strategie das Verhältnis von Innovationskosten<br />
zur erzielten Gesamtleistung am günstigsten ist (Terhart, 2002, S. 59). Jedenfalls ist ein<br />
Höchstmaß an Qualität mit einem ebenso hohen Maß an Effizienz zu verbinden (Haider et al.,<br />
2003, S. 11f.).<br />
Bildungsforschung und <strong>PISA</strong><br />
Um die gewünschte optimale Qualität im Bildungssystem entwickeln zu können, ist die Bildungsforschung<br />
in drei Bereichen gefordert:<br />
I. <strong>PISA</strong> – Schulsysteme im internationalen Vergleich<br />
Seite 9
1. in der Grundlagenforschung (Terhart [2002] bezeichnet sie in diesem Zusammenhang als<br />
„Problemerschließende Forschung“, S. 136), klassische Beispiele sind theoriegeleitete Unterrichtsund<br />
Lernforschung;<br />
2. im Rahmen der Praxisforschung (Praxisentwicklung, Handlungsforschung) zur vorläufigen Erprobung<br />
und Evaluation neuer Entwicklungen bzw. Modelle, und<br />
3. in der „externen“ Systembeobachtung, einer möglichst objektiven und kritischen Überprüfung der<br />
Prozesse und Wirkungen in den Bildungsinstitutionen – „extern“ deswegen, weil sie sich vom „internen“<br />
<strong>Bericht</strong>swesen unterscheidet (die Teil des Systems ist) und von selbstständigen bzw. möglichst<br />
unabhängigen Wissenschaftern betrieben werden sollte.<br />
Internationale Leistungsvergleiche wie <strong>PISA</strong> fallen zum größten Teil in diesen dritten Bereich, die<br />
Systembeobachtung. Analog zu allen großen Organisationen in Gesellschaft und Wirtschaft benötigt<br />
auch das Bildungssystem Managementinformationen als Entscheidungsgrundlage. Im<br />
Zentrum steht – analog dem jährlichen Geschäftsbericht einer Wirtschaftsorganisation – ein periodischer<br />
nationaler Bildungsbericht, der alle wesentlichen nationalen Qualitätsinformationen enthält.<br />
Ein solcher Bildungsbericht wird in vielen Staaten (USA, Kanada, Frankreich, England u. a. m.) seit Jahren<br />
vorgelegt, seit <strong>2006</strong> auch in Deutschland („Bildung in Deutschland“ Konsortium Bildungsberichterstattun<br />
g, <strong>2006</strong>). „Er soll in regelmäßigen Abständen einer möglichst breiten Öffentlichkeit darüber Auskunft geben,<br />
ob es dem Bildungswesen als einem komplexen Institutionengefüge gelingt, die an es gestellten gesellschaftlichen<br />
Anforderungen zu erfüllen. Darüber hinaus soll ein solcher <strong>Bericht</strong> zumindest erste Informationen<br />
dafür liefern, wo für die Bildungspolitik Veränderungsbedarf und Gestaltungsmöglichkeiten zu lokalisieren<br />
sind“ (Rürup, 2003, S. 1). In Österreich befindet sich ein Bildungsbericht derzeit noch im Planungsstadium 3 .<br />
Die <strong>PISA</strong>-Studie liefert zu einem solchen nationalen Bildungsbericht im 3-Jahres-Rhythmus sowohl<br />
Informationen zum IST-Zustand im Bereich Schülerleistungen als auch die interessante Möglichkeit des<br />
Benchmarkings (Vergleich mit den Besten). <strong>PISA</strong> zeigt die kombinierte Wirkung der Bildungseinrichtungen<br />
und Sozialsysteme am erreichten Leistungsstand der 15-/16-Jährigen, gibt Hinweise auf den relativen Stand<br />
des Bildungserfolgs im Vergleich mit anderen Schulsystemen und liefert wichtige Steuerungsinformationen<br />
und Entscheidungsgrundlagen für operative Maßnahmen zur Qualitätsverbesserung.<br />
Ohne solche sorgfältig gewonnenen empirischen Informationen könnten bildungspolitische<br />
Entscheidungen rasch in die Gefahr des „Blindflugs“ geraten – ohne Studien wie <strong>PISA</strong> verhindern „blinde<br />
Flecken“ die freie Sicht auf den tatsächlichen Zustand und ohne brauchbare Informationen kann auch<br />
keine gezielte Weiterentwicklung stattfinden.<br />
Exkurs: Stand der „systembeobachtenden“ Bildungsforschung<br />
Die Makroebene von Schule, d. h. die unterschiedlichen Systemstrukturen und die jeweiligen<br />
Entwicklungen auf nationaler Ebene, geriet erst nach dem Zweiten Weltkrieg stärker in das Blickfeld<br />
wissenschaftlicher Forschung. Ausschlaggebend waren dafür politisch definierte Anforderungen (z. B. die<br />
systematische Verbesserung der Schulsysteme, etwa in den USA nach dem Sputnik-Schock 1957), wissenschaftliche<br />
Entwicklungen (wie das Entstehen der Evaluationsforschung) sowie verbesserte praktische<br />
und methodische Rahmenbedingungen, z. B. die modernen Reise- und Kommunikationsmöglichkeiten<br />
und die zunehmende internationale Verflechtung und Kooperation (UNO, UNESCO, OECD, EU etc.)<br />
sowie später die Möglichkeit der elektronischen Verarbeitung großer Datenmengen.<br />
Aus zwei wissenschaftlichen Entwicklungssträngen hat sich in den letzten Jahrzehnten ein selbstständiger<br />
und rasch wachsender Zweig der Erziehungswissenschaft herausgebildet, der auf die Systembeobachtung<br />
spezialisiert ist:<br />
• Die ältere Vergleichende Erziehungswissenschaft (comparative education), die in der Beschreibung der<br />
verschiedenen Schulsysteme, ihrer Strukturen und deren (historischer) Entwicklung ihren Schwerpunkt<br />
hat, und diese mit politischen, soziologischen oder wirtschaftlichen Faktoren in Zusammenhang<br />
Seite 10<br />
I. <strong>PISA</strong> – Schulsysteme im internaionalen Vergleich
ingt bzw. zu erklären versucht. Im Vordergrund standen ursprünglich hermeneutische Verfahren<br />
und keine eigenen empirischen Erhebungen.<br />
Ein hervorragendes (Basis-)Produkt, das die Weiterentwicklung in diesem Bereich zeigt, bietet<br />
EURYBASE, Teil des Eurydice-Informationsnetzes über Bildung in Europa (www.eurydice.org). Es<br />
enthält die mit Abstand größte Datenbank zu Merkmalen der Bildungssysteme Europas.<br />
• Strikt empirisch-quantitativ ausgerichtet sind dagegen neuere erziehungswissenschaftliche<br />
Evaluationsstudien der Vergleichenden Bildungsforschung (large scale assessments). Im Zentrum stehen<br />
Surveys und Tests, die Input-, Prozess- und vor allem Outputvariablen erfassen und mit Kriterien<br />
(Standards) in Verbindung bringen, um Hinweise auf die Qualität zu erhalten:<br />
Studien der nationalen Evaluation von Schulqualität (educational evaluation, USA ab 1965 durch<br />
NAEP – National Assessment of Educational Progress) d. h. dem Vergleich von Ziel und Ergebnis<br />
auf nationaler bzw. regionaler Ebene zur Verbesserung der Qualität (typische Produkte: nationale<br />
Standard-Überprüfungen und nationale Bildungsberichte), Studien des internationalen (überregionalen)<br />
Vergleichs wichtiger Systemvariablen – wie z. B. die Weiterentwicklung der OECD-<br />
Bildungsindikatoren. Jedes Jahr veröffentlicht die OECD die beiden Bände „Bildung auf einen Blick“<br />
(Education at a Glance) und „Bildungspolitische Analyse“ (Education Policy Analysis, zuletzt 2005)<br />
mit einem umfassenden Vergleich von Qualitätsindikatoren. In diese Kategorie fallen auch alle internationalen<br />
Schülerleistungsvergleiche der IEA und OECD wie <strong>PISA</strong>, PIRLS, TIMSS u. a. 4<br />
Der gesamte wissenschaftliche und administrative Prozess dieser regelmäßigen Untersuchungen wird<br />
häufig als (Schul-)System-Monitoring bezeichnet – es objektiviert die pädagogischen Leistungen und<br />
macht sie für die Öffentlichkeit sichtbarer. Viele Regierungen bzw. Schulbehörden weltweit lassen daher<br />
die Leistungen ihrer Schülerinnen und Schüler und andere wichtige Qualitätsindikatoren regelmäßig<br />
von der Vergleichenden Bildungsforschung untersuchen – auch um Rechenschaft abzulegen und<br />
Fortschritte zu dokumentieren. Nützlich ist auch die Analyse der gewonnenen Ergebnisse im Hinblick<br />
auf die Identifikation erfolgreicher Merkmale von Unterricht, Schule und Schulsystem (Ursachen- bzw.<br />
Wirkungsforschung). Das führt zu Hypothesen, die dann meist von der Schulqualitätsforschung im engeren<br />
Sinne weiterbearbeitet werden, der „problemerschließenden Forschung“.<br />
1. Die Qualität von Unterricht, Schule und Schulsystem<br />
„Die eindeutigen Vorteile, die dem Einzelnen, der Volkswirtschaft und der Gesellschaft aus einer Anhebung<br />
des Bildungsniveaus erwachsen, sind der Beweggrund für das Bestreben der Regierungen, die Qualität<br />
der Bildungsdienstleistungen zu verbessern. Der Wohlstand der OECD-Länder leitet sich heute großteils<br />
von ihrem Humankapital und den Möglichkeiten ihrer Staatsbürger ab, Wissen und Qualifikationen zu<br />
erwerben, die ihnen das nötige Rüstzeug für einen Prozess des lebenslangen Lernens an die Hand geben“<br />
(OECD, 2002, S. 3).<br />
Bei der Bewältigung der Herausforderungen der globalisierten Wissensgesellschaft richtet sich der Fokus<br />
auf vermehrte Anstrengungen im Bereich des Schulsystems, auf eine Optimierung des großteils staatlichen<br />
Bildungsangebots in Umfang, Struktur und Inhalt vom Kindergarten bis zur Matura, von den 4-Jährigen bis zu<br />
den 18-Jährigen. Im Mittelpunkt steht dabei die Steigerung der „Qualität der Schule“, der Beitrag der Schule<br />
(inklusive der Frühförderung) für die Entwicklung und Sicherung der allgemeinen Grundkompetenzen,<br />
zum Einstieg in das lebensbegleitende Lernen und in die berufliche Bildung. Ziel ist die möglichst optimale<br />
Ausschöpfung des Potenzials an Begabungen, von wo aus das Land in allen Bereichen weiterentwickelt<br />
und die hohe Lebensqualität gesichert und weiter verbessert werden soll.<br />
1.1 Qualität, empirisch definiert<br />
Die Frage der Qualität wird hier versucht empirisch zu bestimmen: Erfasst werden sollen die tatsächlichen<br />
Wirkungen bzw. Erfolge von Bildungseinrichtungen – und diese erfassten Wirkungen werden auf zwei<br />
Arten in Beziehung gebracht:<br />
I. <strong>PISA</strong> – Schulsysteme im internationalen Vergleich<br />
Seite 11
• in absolute Beziehung zu den (normativ gesetzten) Zielen bzw. zum Auftrag dieser Einrichtungen –<br />
Qualität als empirisch feststellbares Ausmaß der Zielerreichung, und<br />
• in relative Beziehung zu den Erfolgen vergleichbarer Einheiten (Systeme) – Qualität im Vergleich zu<br />
den Benchmarks im Feld.<br />
„Empirische Bestimmungsversuche erfassen die angestrebten Ziele, die eingesetzten Ressourcen, die verwendeten<br />
Programme und die eingetretenen Wirkungen und versuchen dann, auf der Basis des Vergleichs<br />
von Absicht, Ressourcenverbrauch und Wirkung das Verhältnis von Aufwand und Ertrag zu bestimmen.<br />
Es handelt sich also um eine Wirkungskontrolle mit dem Ziel, wirkungsstarke von wirkungsarmen<br />
Einrichtungen und Prozessen zu unterscheiden, wobei die jeweils unterschiedliche Ausgangslage sowie<br />
auch der jeweils unterschiedliche Aufwand mit berücksichtigt werden“ (Terhart, 2002, S. 55f).<br />
Wichtig ist hier anzumerken, dass für Schulsysteme andere Qualitätskriterien anzulegen sind als für einzelne<br />
Schulen – und wieder andere Kriterien gelten für guten Unterricht (in der Klasse). Diese Unterscheidung<br />
ist bei einer Diskussion von Qualitätsfragen, bei der Zuschreibung von Verantwortung und bei der<br />
Erörterung von möglichen Steuerungsentscheidungen sinnvoll.<br />
Einige Beispiele für Qualitätskriterien auf den drei Ebenen eines Schulsystems:<br />
Unterrichtsqualität (die Qualität von Lehre in der Klasse)<br />
„Guter Unterricht“ bedeutet unter anderem, dass relevante, bedeutsame Themen behandelt werden,<br />
Unterricht sich konsequent am Schüler/an der Schülerin orientiert (Individualisierung) und in einem<br />
positiven sozialen Klima und einer konstruktiven, belastungsarmen Atmosphäre stattfindet, Inhalte überzeugend<br />
und verständlich dargestellt und erarbeitet werden, Unterrichten ergebnisorientiert ist, d. h.<br />
Erfolg und Misserfolg an den langfristigen Lernergebnissen gemessen wird (Nachhaltigkeit) und dass<br />
man Schüler/innen zu selbstständigen, aktiven Wissenskonstrukteuren macht (Haider et al., 2003, S.<br />
38).<br />
Die professionelle Verantwortung für die Qualität von Unterricht trägt zuallererst der jeweilige Lehrer, die<br />
jeweilige Lehrerin – allerdings ist diese Qualität auch von Rahmenbedingungen an der jeweiligen Schule<br />
abhängig, von der Qualität der Lehrer/innen-Bildung und (in geringerem Maße) von allgemeinen, systemischen<br />
Randbedingungen und Ressourcen.<br />
Schulqualität (die Qualität in einer bestimmten Schule)<br />
Darüber sagen Eder et al. (2002): „ ‚Gute‘ Schulen sind – abgesehen davon, dass sie gute Lehrer/innen haben<br />
– charakterisiert durch eine ausgeprägte Schulkultur, ein positives Klima, ein reichhaltiges Schulleben<br />
mit vielfältigen Anreizen zur Partizipation sowie durch aktive Beziehungen zum lokalen Umfeld. ... Gute<br />
Schulen sind wirksame Schulen. Sie sind gekennzeichnet durch aktive Beteiligung aller Betroffenen am<br />
Unterricht und am Schulleben, durch eine positive Befindlichkeit von Schülern, Eltern und Lehrern, sie<br />
fördern den Erwerb von Leistungshaltungen und Leistungen und regen die Persönlichkeitsentwicklung<br />
an“ (S. 24).<br />
Solche Schulqualität entsteht im Zusammenwirken aller Schulpartner (Schüler/innen – Lehrer/innen –<br />
Eltern), die größte Verantwortung tragen und den größten Einfluss dabei haben jedoch die Lehrer/innen<br />
und die Führungskräfte (Schulleiter/innen).<br />
(Schul-)Systemqualität<br />
Bestimmte Qualitätskriterien für ein Schulsystem lassen sich sowohl aus individuellen Rechten der Bürger/innen<br />
als auch aus allgemeinen Verpflichtungen der Gesellschaft ableiten:<br />
1) Zu den wesentlichen individuellen Rechten gehören<br />
• aus gesetzlichen Vereinbarungen wie der UN-Menschenrechtskonvention (speziell dem Sozialpakt;<br />
Motakef, <strong>2006</strong>), der Europäischen Menschenrechtskonvention (EMRK), der österreichischen<br />
Seite 12<br />
I. <strong>PISA</strong> – Schulsysteme im internaionalen Vergleich
Verfassung (z. B. Art. 14 Abs. 5a 5 ) oder dem SCHOG (Schulorganisationsgesetz, z. B. §2 6 ) abgeleitete<br />
Rechte, wie die allgemeine Verfügbarkeit von Bildung; die freie (vor allem diskriminierungsfreie)<br />
Zugänglichkeit ohne Ansehen der Hautfarbe, Sprache, Religion, der ethnischen oder sozialen<br />
Herkunft; die obligatorische und unentgeltliche Grundbildung für alle; die Annehmbarkeit<br />
der Inhalte, die relevant, kulturell angemessen und hochwertig sein sollen; die Adaptierbarkeit und<br />
Flexibilität hinsichtlich der sich verändernden Gesellschaften und Bedürfnisse der Schüler/innen; die<br />
Sicherung und Weiterentwicklung bestmöglicher Qualität für ein höchstmögliches Bildungsniveau<br />
u. a. m.;<br />
• spezielle Postulate der kulturellen und politischen Teilhabe und sozialen Identität, der individuellen<br />
Chance auf Berufsfähigkeit und das Recht auf eine selbstständige, auf eigener Anstrengung und<br />
Qualifikation basierenden Lebensplanung (Fend, <strong>2006</strong>, S. 53f.).<br />
2) Zu den gesellschaftlichen Verpflichtungen rechnet Fend (<strong>2006</strong>, S. 49f.) die Aufgabe des Staates zur<br />
Enkulturation der Schüler/innen (Beherrschung von Sprache und Schrift, Internalisierung grundlegender<br />
Wertorientierungen), zu ihrer Qualifikation (Erwerb grundlegender und berufsbildender Kompetenzen<br />
zur Ausübung „konkreter“ Arbeit), zur Allokation (Zuordnung von bestimmten Personen mit bestimmten<br />
Qualifikationen zu weiteren Aufgaben mit bestimmten Anforderungen – i. A. zur weiteren Bildungsund<br />
Berufslaufbahn) und zur Förderung der sozialen Integration und politischen Teilhabe.<br />
Eder et al. (2002; Weißbuch zur Qualitätsentwicklung und Qualitätssicherung, erstellt im Auftrag des<br />
BMBWK) kommen zu ähnlichen, weiteren und detaillierteren Kriterien: „Auf der Ebene des<br />
Gesamtsystems bedeutet Qualität die Gewährleistung gesellschaftlicher Ansprüche an das<br />
Bildungswesen, die Bereitstellung ausreichender Ressourcen für die einzelnen Teilsysteme sowie<br />
die Vorsorge für die Weiterentwicklung des Systems im Hinblick auf den sozialen<br />
Wandel“ (S. 25).<br />
Obwohl jede Ebene ihre eigenen Qualitätskriterien hat, sind alle drei – die Mikro-Ebene des Unterrichts,<br />
die Meso-Ebene der Schule am Standort und die Makro-Ebene des Gesamtsystems – miteinander erheblich<br />
verzahnt. Zur Erreichung bestimmter aggregierter Systemziele (z. B. möglichst viel problemlöseorientiertes,<br />
nachhaltiges Wissen bei den Schüler/innen) tragen Maßnahmen auf allen Ebenen wesentlich<br />
bei. Für die strategische Analyse und die Planung und Umsetzung von Qualitätsverbesserungen ist der<br />
systemische Zusammenhang enorm wichtig, also die Interdependenz der meisten Variablen auf derselben<br />
Ebene und das Verhältnis der verschiedenen Ebenen zueinander. Politische Zielsetzungen oder administrative<br />
Maßnahmen, die dieses komplexe Gefüge mit ihren Zusammenhängen und Wechselwirkungen<br />
zuwenig beachten, stehen in großer Gefahr zu scheitern.<br />
1.2 <strong>PISA</strong>-Daten: aggregiert und kumuliert<br />
Die Informationen, die Bildungsforschungsstudien wie <strong>PISA</strong> in Form von Qualitätsindikatoren liefern,<br />
sind (mehr oder weniger)<br />
• „aggregiert“, d. h. über Wirkungen bzw. Effekte auf allen drei Ebenen hinweg summiert (Beispiel: Die<br />
erreichten Punkte der österreichischen Schüler/innen in <strong>PISA</strong>-Lesen spiegeln den Ertrag der Arbeit<br />
bzw. deren Qualität auf allen drei Ebenen, Unterricht – Schule – Systemorganisation, wider),<br />
• und „kumuliert“, d. h. sie sind die Summe der Einwirkungen aller Elemente im Feld (von der Selbstorganisation<br />
des Schülers/der Schülerin über die Unterstützung der Eltern, die Kompetenz des<br />
Lehrers, das soziale Klima in der Klasse und den Einfluss von Mitschüler/innen bis zur Wirkung von<br />
Medien).<br />
Damit sind evaluative Studien vom <strong>PISA</strong>-Typ zwar prinzipiell zum Monitoring gut geeignet, also um den<br />
Zustand von Qualitätsmerkmalen wie die erworbenen Kompetenzen relativ präzise zu beschreiben. Sie<br />
sind jedoch weniger gut geeignet, die vielfältig aggregierten und kumulierten Wirkungen kausal „aufzuspalten“<br />
und die entscheidenden Faktoren für Erfolg und Misserfolg zu identifizieren bzw. ihren Einfluss<br />
größenmäßig zu bestimmen.<br />
I. <strong>PISA</strong> – Schulsysteme im internationalen Vergleich<br />
Seite 13
Es ist also möglich, die offensichtliche Wirkungsstärke des finnischen oder kanadischen Schulsystems mit<br />
<strong>PISA</strong> festzustellen (im Vergleich zu den anderen), es ist jedoch ungleich schwieriger, jene Merkmale auf<br />
den unterschiedlichen Ebenen zu identifizieren, die maßgeblich zu diesem Erfolg beitragen.<br />
So wird die Kernaufgabe von <strong>PISA</strong> – das Benchmarking der Leistungen – stets begleitet vom zweckmäßigen<br />
Versuch, mit moderner Analytik wie Pfadanalysen, Strukturgleichungsmodellen oder<br />
Mehrebenenanalysen bestimmte Zusammenhänge zwischen Leistungen und Merkmalen auf verschiedenen<br />
Ebenen zu entdecken. Zusammenhänge, die zum Verständnis der Wirkungen beitragen<br />
können (etwa die Korrelation zwischen sozioökonomischem Status der Eltern und dem<br />
Leseverständnis der Schüler/innen) oder zumindest zu neuen Hypothesen mit der Chance auf mögliche<br />
neue Einsichten führen. Für solche Analysen werden in <strong>PISA</strong> umfangreich Schüler/innen und<br />
Schulleiter/innen über bestimmte pädagogisch relevante Hintergrundvariablen befragt, demografische<br />
Daten gesammelt und Systeminformationen aus anderen Erhebungen (z. B. der OECD-Indikatoren)<br />
beigefügt.<br />
2. <strong>PISA</strong> – Steuerungsinformation für die Bildungspolitik<br />
Ergebnisse und Analysen aus Systembeobachtungsstudien des <strong>PISA</strong>-Typs richten sich an die<br />
Verantwortlichen eines Schulsystems, an die Politik und an die Schulbehörden („Bildungsmanagement“).<br />
An ihnen liegt es, diese Informationen zu bewerten und gegebenenfalls entsprechende Qualitätsentwicklungsmaßnahmen<br />
im System in Gang zu setzen bzw. zu veranlassen, um eine bessere Bewältigung<br />
der übertragenen Sozialisationsaufgabe zu gewährleisten. Richtet sich ein Bildungsmanagement bei seinen<br />
bildungspolitischen und administrativen Maßnahmen auf diese Weise stärker an den beobachteten<br />
Ergebnissen (Output) aus, so spricht man von „Output-orientierter“ Steuerung.<br />
2.1 Schulsystem: Steuerung a priori vs. autonom und outputorientiert<br />
Schule ist ein soziales Feld, dessen Funktion in der „gesellschaftlich kontrollierten und veranstalteten<br />
Sozialisation“ liegt (Fend, 1981, S. 2). Schulsysteme sind formal strukturierte, komplexe Organisationen<br />
zur Bewältigung dieser Sozialisationsaufgabe, ihr Hauptziel ist die „Veranstaltung von absichtlichen und<br />
kontrollierten erzieherischen Kommunikationsprozessen“ (Szaday, Büeler & Favre, 1996, S. 89).<br />
Jedes Schulsystem verfügt dazu über eine bestimmte „Raumstruktur“. Diese besteht aus hierarchisch<br />
angeordneten Elementen unterschiedlicher Komplexitätsgrade (z. B. Personal, Schulen, Lehrpläne,<br />
Schulbehörden, Infrastruktur) sowie ihren Beziehungsmustern untereinander zu einem bestimmten<br />
Beobachtungszeitpunkt. Außerdem existiert eine bestimmte Prozessstruktur – die Elemente und ihre<br />
Beziehungen sowie die Abläufe entwickeln und verändern sich mit der Zeit. Ein solch kompliziertes<br />
Super-System, dessen wichtigste Elemente ja selbst wieder teils komplexe Systeme sind (z. B. Schulen,<br />
Lehrerausbildung – siehe Abbildung 1.1), erfolgreich in eine gewünschte Richtung zu steuern bzw. zu<br />
„kontrollieren“ (wie Fend, 1981, und Szaday, Büeler & Favre, 1996, es bezeichnen) ist keine einfache<br />
Aufgabe.<br />
Die bisher in Mitteleuropa vorherrschende Methode könnte man als „A-priori-Steuerung“ (Von Saldern,<br />
1997, S. 58) bezeichnen: Der Staat bzw. die Politiker/innen definieren durch Gesetze praktisch die<br />
gesamte Raumstruktur, d. h. legen die Organisation (z. B. Schularten), die Systemelemente und ihre<br />
Eigenschaften bzw. die Handlungsspielräume fest und versuchen, durch systematische Beeinflussung dieser<br />
Rahmenbedingungen/Ressourcen auch die gewünschten Prozesse anzustoßen, auf dass sie zu den<br />
angezielten Ergebnissen führen mögen (eine Art von „system-engineering“-Ansatz).<br />
Diese Art der Steuerung beruht implizit auf der Annahme, die Bildungspolitik kenne den IST-Stand<br />
der Bildungsergebnisse, verfüge über die Kenntnis der Zusammenhänge und Wechselwirkungen aller<br />
wesentlichen Systemelemente und könnte die „systemische“ Wirkung der Maßnahmen auf allen Ebenen<br />
einigermaßen präzise vorhersagen und auch herstellen.<br />
Seite 14<br />
I. <strong>PISA</strong> – Schulsysteme im internaionalen Vergleich
NATIONALRAT – LANDTAGE<br />
BILDUNGSPOLITIK<br />
Gesetze zu Organisation, Rahmenbedingungen<br />
& Ressorucen<br />
SCHULBEHÖRDEN<br />
Ministerium, Landes- & Bezirksbehörden<br />
BILDUNGS-<br />
ADMINISTRATION<br />
AUS- UND FORT-<br />
BILDUNGSINSTITUTE<br />
Lehrer- und Erzieherbildung<br />
UNIVERSITÄTEN<br />
BILDUNGS-<br />
FORSCHUNG<br />
Grundlagenforschung – Systembeobachtung<br />
Praxisentwicklung<br />
Schulen<br />
Lehrer/innen<br />
Schüler/innen<br />
Eltern<br />
BILDUNGS-<br />
PRAXIS<br />
Unterricht<br />
Abbildung 1.1: Ein einfaches Modell der wichtigsten Elemente unseres<br />
Schulsystems (nach Ideen von Terhart, 2003)<br />
Das Vorliegen der Annahmen darf in etlichen Fällen durchgeführter Maßnahmen ernsthaft bezweifelt<br />
werden, insbesondere wenn etwa die Bildungspolitik verabsäumt, sich entsprechende Informationen<br />
über eine entsprechend dotierte Bildungsforschung zu „besorgen“ bzw. wenn aus Mangel an „problemerschließender“<br />
Forschung kein adäquates systemisches Modell vorhanden und kein zusammenhängender<br />
strategischer Plan möglich ist. Dann folgen manche Bildungspolitiker stark vereinfachten kausalen<br />
Attributionen oder die Maßnahmen werden gleich „aus dem Bauch heraus“ begründet – wenn<br />
sie nicht ohnehin einflussreichen Lobby-Interessen folgen, mit den entsprechend langfristig negativen<br />
Konsequenzen für die Systemwirkung.<br />
Wie in vielen anderen (mittel-)europäischen Schulsystemen sind auch im österreichischen die bestimmenden<br />
Elemente als Teil der zentralen staatlichen Bürokratie organisiert (im angloamerikanischen<br />
Raum ist das z. B. aus historischen Gründen anders). Wir Österreicher verdanken diese Form<br />
der Schule, die zentrale Gesetzgebung und die sehr komplexen Verschachtelungen der Durchführung<br />
und Verantwortung ganz wesentlich der Tradition in der Habsburgermonarchie. Über Bundes- und<br />
Landesgesetze, Verordnungen der Schulbehörden auf Bundes-, Landes- und Bezirksebene und allgemein<br />
verbindliche Verwaltungsvorschriften des Staates werden das gesamte System und seine Relationen bis<br />
heute „a priori“ und sehr detailliert festgelegt.<br />
Das Gegenteil von strikter „A-priori-Steuerung“ wäre aus der Sicht der Bildungspolitik weitgehende<br />
Autonomie der regionalen und peripheren Einheiten (d. h. der Schulen und der regionalen<br />
Bildungsverwaltung) mit einer Verpflichtung zur Outputkontrolle und entsprechender Rechenschaftslegung.<br />
In einem solchen System hoher Schulautonomie („Subsidiarität“ – wie es in manchen angloamerikanischen<br />
oder skandinavischen Ländern der Fall ist) kümmert sich die Bildungspolitik nur mehr um die<br />
Kernaufgaben (gerechte Ressourcenverteilung, Bildungsorganisation, Lehrerbildung, Qualitätskontrolle/<br />
-entwicklung, Unterstützungssystem und Bildungsforschung), der überwiegende Teil der pädagogischen<br />
Entscheidungen wird subsidiär, „vor Ort“, in der Region bzw. an den autonomen Schulen getroffen.<br />
„Output-“ bzw. „Ergebnis-Orientierung“ ist dann ein zentrales Element in einem solchen System –<br />
denn die Qualität der Ergebnisse (auf Schulebene und aggregiert auf Systemebene), insbesondere der<br />
Schülerleistungen, bestimmen sehr stark mit, in welche Richtung sich Entwicklungen, Qualitätsverbesserungsprozesse<br />
bzw.<br />
Ressourcen in und zwischen<br />
den Einheiten verlagern. Für<br />
die brauchbare und handlungsrelevante<br />
Erfassung<br />
dieses Outputs sind allerdings<br />
Schulrecherchen<br />
bzw. Selbstevaluation an<br />
den Schulen sowie die<br />
regelmäßige überregionale<br />
Überprüfung von<br />
Bildungsstandards samt<br />
Rückmeldung an die<br />
Schulen notwendig.<br />
Die <strong>PISA</strong>-Studie gibt<br />
Auskunft über die aggregierte<br />
und kumulierte<br />
Gesamtleistung des Systems<br />
und ist ein wichtiges Element<br />
einer output-orientierten<br />
Systemsteuerung. Auf<br />
Grund des Studiendesigns<br />
I. <strong>PISA</strong> – Schulsysteme im internationalen Vergleich<br />
Seite 15
kann <strong>PISA</strong> allerdings nicht zur Beurteilung der detaillierten Leistung einzelner Schulen oder Schüler/innen<br />
eines Landes herangezogen werden, regionale oder bundesländerbezogene Auswertungen sind wegen<br />
der Größe der Teilstichproben nicht möglich.<br />
2.2 Auf dem Weg zur „Output“-Steuerung<br />
Lange Zeit glaubte man in Österreich, auf umfassende und systematische Evaluationen der Ergebnisse des<br />
Bildungswesens (den „Output“) verzichten zu können. Die Bildungspolitik legte durchwegs – im falschen<br />
Bewusstsein, alles über „System-Engineering per Erlass“ regeln zu können – keinen großen Wert auf die<br />
Kontrollpflicht bezüglich der tatsächlichen Ergebnisse.<br />
Ich denke, die Erfahrungen und Entwicklungen der letzten 10 Jahre mit TIMSS und <strong>PISA</strong> zeigen inzwischen<br />
deutlich, dass – neben der Forcierung der Qualitätsentwicklung in den Schulen selbst – eine regelmäßige<br />
externe Qualitätsevaluation des gesamten Systems unbedingt notwendig ist. Der Entscheidung<br />
über den Erfolg des Systems, der Bestimmung seiner Stärken und Schwächen und der Entscheidung über<br />
die notwendigen Maßnahmen sollten umfangreiche, periodisch erhobene Daten über die tatsächlichen<br />
Bildungserfolge der Schüler/innen zu Grunde gelegt werden.<br />
<strong>PISA</strong> erfüllt hier (gemeinsam mit PIRLS und TIMSS) die wichtige Funktion der internationalen Anbindung<br />
österreichischer Qualitätsindikatoren und des Benchmarkings. Genauso wichtig wird jedoch künftig<br />
die umfassende Prüfung von Bildungsstandards an den Schnittstellen des Systems – Bildungsstandards,<br />
die an den nationalen Zielen und an gültigen Kompetenzmodellen ausgerichtet sind. Gemeinsam<br />
mit den jährlichen schulstatistischen Daten sollen die Ergebnisse von <strong>PISA</strong> & Co. und die Resultate<br />
der Bildungsstandard-Tests in einen Nationalen Bildungsbericht einfließen und die Leistungen und<br />
Entwicklungen im Schulsystem verlässlich abbilden – als Basis für bildungspolitische Entscheidungen.<br />
Ansonsten besteht die Gefahr, dass die Wünsche und Absichten der jeweils Verantwortlichen bereits automatisch<br />
für Realität gehalten werden.<br />
3. Resümee<br />
Um wirtschaftlich wettbewerbsfähig zu bleiben und den Bürgern und Bürgerinnen optimale Lebenschancen<br />
zu eröffnen, ist es in einem modernen Staat notwendig, höchstmögliche Qualität im Bildungssystem,<br />
für Grund-, Aus- und Weiterbildung, bereitzustellen.<br />
Bildungspolitik und Schulbehörden als Verantwortliche für das Schulsystem sind herausgefordert, ständig<br />
zu prüfen, ob die Kompetenzen und Qualifikationen, die vermittelt werden (sollen), noch den<br />
Anforderungen der Zeit entsprechen, ob tatsächlich alle Heranwachsenden mit dem schulischen Angebot<br />
erreicht und welche nachhaltigen Ergebnisse damit tatsächlich erzielt werden.<br />
Systembeobachtungen dieser Art liefert die Vergleichende Bildungsforschung (durch System-Monitoring).<br />
Dazu gehören u. a. nationale und internationale Assessments – Tests und Vergleiche der von Schülerinnen<br />
und Schülern erworbenen Kompetenzen. Sie geben Aufschluss über die Wirkungen des Systems und begründen<br />
Handlungsprioritäten („Handlungsbedarf“).<br />
Als OECD-Studie stellt <strong>PISA</strong> den größten internationalen Leistungsvergleich dar. Untersucht werden die<br />
Beherrschung des Kulturwerkzeugs Lesen sowie die Grundkompetenzen in den Bereichen Mathematik<br />
und Naturwissenschaft. Die Erfolge bei der beruflichen Bildung und der Einstieg in das lebenslange Lernen<br />
hängen ganz wesentlich von der nachhaltigen Qualität dieses Fundaments ab.<br />
Studien vom <strong>PISA</strong>-Typ sind über alle Ebenen des Systems aggregiert und enthalten die kumulierten Effekte<br />
vieler Faktoren – damit können zwar die „Wirkungsstärken“ verschiedener Systeme festgestellt werden,<br />
sie sind jedoch weniger gut geeignet, die entscheidenden Wirkungsfaktoren eindeutig zu identifizieren<br />
bzw. ihren Einfluss größenmäßig zu bestimmen.<br />
Ergebnisse und Analysen aus Systembeobachtungsstudien des <strong>PISA</strong>-Typs richten sich an die<br />
Verantwortlichen eines Schulsystems, an die Politik und an die Schulbehörden („Bildungsmanagement“).<br />
An ihnen liegt es, diese Informationen zu bewerten und gegebenenfalls entsprechende Qualitätsent-<br />
Seite 16<br />
I. <strong>PISA</strong> – Schulsysteme im internaionalen Vergleich
wicklungsmaßnahmen im System in Gang zu setzen, um eine bessere Bewältigung der übertragenen<br />
Sozialisationsaufgabe zu gewährleisten.<br />
Bibliografie:<br />
Aiginger, K. (<strong>2006</strong>). Die Zukunft Europas. In H. Androsch, H. Krejci & P. Weiser (Hrsg.), Das Neue Österreich. Denkanstöße<br />
(S. 25–60). Wien: Carl Gerold’s Sohn Verlagsbuchhandlung.<br />
Eder F., Posch P., Schratz M., Specht W. & Thonhauser J. (2002). Qualitätsentwicklung und Qualitätssicherung im österreichischen<br />
Schulwesen. Innsbruck: StudienVerlag.<br />
Fend, H. (1981). Theorie der Schule. München: Urban & Schwarzenberg.<br />
Fend, H. (<strong>2006</strong>). Neue Theorie der Schule. Einführung in das Verstehen von Bildungssystemen.Wiesbaden: Verlag für<br />
Sozialwissenschaften<br />
Haider G., Eder F., Specht W. & Spiel C. (2003). zukunft:schule, Reformkonzept der österreichischen Zukunftskommission. Strategien<br />
und Maßnahmen zur Qualitätsentwicklung. Wien: bm:bwk.<br />
Haider G., Eder, F., Specht, W., Spiel, C. & Wimmer, M. (2005). Abschlussbericht der Zukunftskommissionan Frau Bundesministerin<br />
Elisabeth Gehrer. Wien: bmbkw.<br />
Haider, G. & Schreiner, C. (Hrsg.). (<strong>2006</strong>). Die <strong>PISA</strong>-Studie. Österreichs Schulsystem im internationalen Wettbewerb. Wien: Böhlau<br />
Konsortium Bildungsberichterstattung (<strong>2006</strong>). Bildung in Deutschland. Ein indikatorengestützter <strong>Bericht</strong> mit einer Analyse zu<br />
Bildung und Migration. Im Auftrag der Ständigen Konferenz der Kultusminister der Länder in der Bundesrepublik Deutschland<br />
und des Bundesministeriums für Bildung und Forschung. Bielefeld: Bertelsmann.<br />
Motakef, M. (<strong>2006</strong>). Das Menschenrecht auf Bildung und der Schutz vor Diskriminierung. Exklusionsrisiken und Inklusionschancen.<br />
Berlin: Deutsches Institut für Menschenrechte.<br />
OECD (Hrsg.).(2002). Lesen kann die Welt verändern. Leistung und Engagement im Ländervergleich. Ergebnisse von <strong>PISA</strong> 2000.<br />
OECD: Paris.<br />
Rürup, M. (2003). Ausländische und internationale Bildungsberichte – als Orientierung für die nationale Bildungsberichterstattung<br />
in Deutschland. TiBi Nr. 7.<br />
Saldern, M. Von (1997). Evaluation von Schulsystemen – neue Aufgaben für die empirische Pädagogik. In J. Thonhauser & F. Riffert,<br />
Evaluation heute – zwölf Antworten auf aktuelle Fragen (Band 36, S. 57–68). Braunschweig: Braunschweiger Studien zur<br />
Erziehungs- und Sozialwissenschaft.<br />
Szaday, C., Büeler, X. & Favre, B. (1996). Schulqualitäts- und Schulentwicklungsforschung: Trends, Synthese und Zukunftsperspektiven.<br />
Schweizerische Koordinationsstelle für Bildungsforschung.<br />
Terhart, E. (2002). Nach <strong>PISA</strong>. Bildungsqualität entwickeln. Hamburg: Europäische Verlagsanstalt.<br />
1<br />
Die Lissabon-Strategie ist ein Programm, das auf einem Sondergipfel der europäischen Staats- und Regierungschefs im März<br />
2000 in Lissabon verabschiedet wurde. Mit dieser Strategie will die EU „im Rahmen des globalen Ziels der nachhaltigen<br />
Entwicklung ein Vorbild für den wirtschaftlichen, sozialen und ökologischen Fortschritt in der Welt sein“ (Europäischer Rat<br />
[Lissabon] – Schlussfolgerungen des Vorsitzes 23. und 24. März 2000, S. 3).<br />
2<br />
Leider zeigen die bisherigen Zwischenergebnisse des Lissabon-Prozesses, dass es in der ersten Hälfte des Jahrzehnts der EU<br />
nicht gelungen ist, die gewünschte Dynamik in der Bildungsentwicklung tatsächlich zu erzeugen und messbare Fortschritte<br />
gegenüber anderen großen Wirtschaftsräumen wie Nordamerika oder Ostasien zu erzielen. Was unter anderem auch an der<br />
Tatsache liegt, dass die tatsächlichen Entscheidungen und die Finanzierung auf nationaler Basis bleiben und in vielen Staaten<br />
Fortschritte im Bildungssystem nur in sehr langen Zeiträumen passieren und der politische und wirtschaftliche Ertrag nur<br />
langfristig „geerntet“ werden kann.<br />
3<br />
Ein erster (von den Kammern unterstützter) Versuch wurde aber bereits 1997 von einer Gruppe von Wissenschaftern unternommen<br />
(„Indikatoren zum Bildungssystem“, Haider,1997).<br />
4<br />
Österreich hat bisher an folgenden Leistungsvergleichen teilgenommen: COMPED (Computers in Education 1989/91, Haider,<br />
1994), TIMSS 1995 (Third International Mathematics and Science Study, u. a. Haider, 1996) und <strong>PISA</strong> (2000, 2003). Im<br />
Zeitraum 1960 bis 2005 haben aber mehr als 20 solcher internationaler Vergleiche stattgefunden – Österreichs Beteiligung an<br />
nur drei solcher Studien in vier Jahrzehnten bedeutet das Schlusslicht innerhalb der EU (Übersicht dazu siehe Haider, 2001,<br />
S. 29).<br />
5<br />
Ausschnitt aus Art. 14 Abs. 5a BVG: „Demokratie, Humanität, Solidarität, Friede und Gerechtigkeit sowie Offenheit und<br />
Toleranz gegenüber den Menschen sind Grundwerte der Schule, auf deren Grundlage sie der gesamten Bevölkerung, unabhän-<br />
I. <strong>PISA</strong> – Schulsysteme im internationalen Vergleich<br />
Seite 17
gig von Herkunft, sozialer Lage und finanziellem Hintergrund, unter steter Sicherung und Weiterentwicklung bestmöglicher<br />
Qualität ein höchstmögliches Bildungsniveau sichert. ...“<br />
6<br />
Ausschnitt zu SCHOG § 2. (1) „Die österreichische Schule hat die Aufgabe, an der Entwicklung der Anlagen der Jugend<br />
nach den sittlichen, religiösen und sozialen Werten sowie nach den Werten des Wahren, Guten und Schönen durch einen<br />
ihrer Entwicklungsstufe und ihrem Bildungsweg entsprechenden Unterricht mitzuwirken. Sie hat die Jugend mit dem für das<br />
Leben und den künftigen Beruf erforderlichen Wissen und Können auszustatten und zum selbsttätigen Bildungserwerb zu<br />
erziehen. ...“<br />
Seite 18<br />
I. <strong>PISA</strong> – Schulsysteme im internaionalen Vergleich
II<br />
GRUNDKONZEPTION, ZIELE UND<br />
ORGANISATION VON <strong>PISA</strong><br />
Simone Breit<br />
1. Die <strong>PISA</strong>-Studie und ihre Bedeutung für Österreich<br />
1.1 Was ist <strong>PISA</strong>?<br />
1.2 Ziele und Forschungsfragen<br />
1.3 Die Bedeutung von <strong>PISA</strong> für Österreich<br />
2. Die internationale Organisation von <strong>PISA</strong><br />
2.1 <strong>PISA</strong> im Kontext der OECD<br />
2.2 Das OECD-Sekretariat und das <strong>PISA</strong> Governing Board<br />
2.3 Das internationale Konsortium<br />
2.4 Internationale Expertengruppen<br />
3. Die Organisation innerhalb Österreichs<br />
3.1 Auftraggeber und beteiligte Arbeitsgruppen<br />
3.2 Das österreichische <strong>PISA</strong>-Projektzentrum<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Lang, 2001) und <strong>PISA</strong> 2003 (Bergmüller & Lang, 2004).<br />
Die Autorin dieses Kapitels dankt Silvia Bergmüller und Birgit Lang für die Bereitstellung der Texte.
Dieses Kapitel umfasst einen kurzen Überblick über <strong>PISA</strong> (Programme for International Student<br />
Assessment) und beschreibt die Ziele dieser Schülerleistungsstudie. Anschließend wird die internationale<br />
und nationale Organisation von <strong>PISA</strong> dargestellt.<br />
1. Die <strong>PISA</strong>-Studie und ihre Bedeutung für Österreich<br />
1.1 Was ist <strong>PISA</strong>?<br />
<strong>PISA</strong> (Programme for International Student Assessment) ist eine von der OECD (Organisation for<br />
Economic Cooperation and Development) initiierte, internationale Schülerleistungsstudie. Zielpopulation<br />
von <strong>PISA</strong> sind 15-/16-jährige Schüler/innen, wobei in jedem Teilnehmerland so viele Schüler/innen getestet<br />
werden müssen, dass von mindestens 4500 Schülerinnen und Schülern auswertbare Daten vorliegen.<br />
An <strong>PISA</strong> <strong>2006</strong> nehmen 57 Staaten, darunter alle 30 OECD-Mitgliedsstaaten, teil (vgl. Abbildung II.1),<br />
was bedeutet, dass insgesamt die Leistungen von über 260.000 Schülerinnen und Schülern erhoben werden.<br />
Die österreichischen Daten für <strong>PISA</strong> <strong>2006</strong> stammen von ca. 4900 Jugendlichen aus 200 Schulen.<br />
Teilnehmerländer bei <strong>PISA</strong> <strong>2006</strong><br />
Argentinien* Japan Qatar*<br />
Aserbaidschan* Jordanien* Montenegro*<br />
Australien Kanada Rumänien*<br />
Belgien Kirgisische Republik* Russland*<br />
Brasilien* Kolumbien* Schweden<br />
Bulgarien* Korea Schweiz<br />
Chile* Kroatien* Serbische Republik*<br />
Dänemark Lettland* Slowakische Republik<br />
Deutschland Liechtenstein* Slowenien*<br />
Estland* Litauen* Spanien<br />
Finnland Luxemburg Taipei*<br />
Frankreich Macao-China* Thailand*<br />
Griechenland Mexiko Tschechische Republik<br />
Hong Kong-China* Neuseeland Tunesien*<br />
Indonesien* Niederlande Türkei<br />
Irland Norwegen Ungarn<br />
Island Österreich Uruguay*<br />
Israel* Polen Vereinigte Staaten<br />
Italien Portugal Vereinigtes Königreich<br />
* OECD-Partnerländer<br />
1.1.1 Erfasste Kompetenzbereiche<br />
Abbildung II.1: Teilnehmerländer bei <strong>PISA</strong> <strong>2006</strong><br />
Im Rahmen der Leistungstests von <strong>PISA</strong> <strong>2006</strong> werden drei inhaltliche Bereiche (Domänen) erfasst:<br />
Naturwissenschafts-Kompetenz, Mathematik-Kompetenz und Lese-Kompetenz. Die Aufgaben der<br />
<strong>PISA</strong>-Tests beruhen auf dem dynamischen Modell des lebenslangen Lernens. Dieses geht davon aus, dass<br />
Kenntnisse und Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erforderlich<br />
sind, kontinuierlich über die gesamte Lebensspanne hinweg erworben werden. Den Annahmen<br />
dieses Modells entsprechend fokussiert <strong>PISA</strong> nicht die Überprüfung von Lehrplan-Wissen, sondern die<br />
Erhebung allgemeiner Basiskompetenzen, die die Voraussetzung für zukünftigen Wissenserwerb bilden.<br />
Seite 20<br />
II. Grundkonzeption, Ziele und Organisation
Ausgehend vom Modell des lebenslangen Lernens werden die <strong>PISA</strong>-Frameworks (vgl. Abschnitt 1 in<br />
Kapitel III) entwickelt. Diese können als „<strong>PISA</strong>-Lehrpläne“ verstanden werden, in denen für jede <strong>PISA</strong>-<br />
Domäne die allgemeinen Fähigkeiten, die für das lebenslange Lernen notwendig sind, festgelegt und<br />
definiert werden. Die Frameworks stellen wiederum die Grundlage für die Entwicklung der konkreten<br />
Testaufgaben dar. Hierdurch wird sichergestellt, dass alle <strong>PISA</strong>-Aufgaben dem Modell des lebenslangen<br />
Lernens gerecht werden.<br />
1.1.2 Methoden<br />
Die Leistungsmessung erfolgt bei <strong>PISA</strong> mittels Papier-und-Bleistift-Tests, wobei die Testzeit pro Schüler/in<br />
genau zwei Stunden beträgt. Die Tests bestehen aus einer Mischung von Multiple-Choice-Aufgaben und<br />
Fragen, für die die Schüler/innen selbstständig Antworten formulieren müssen. Die einzelnen Fragen sind<br />
zu Gruppen (Units) zusammengefasst, die sich in der Regel auf einen realitätsnahen Kontext beziehen.<br />
Insgesamt werden über 180 verschiedene Fragen eingesetzt, von denen die getesteten Schüler/innen aber<br />
jeweils nur unterschiedliche Teil-Kombinationen (Cluster) bearbeiten. Die Schüler/innen beantworten<br />
außerdem einen Schülerfragebogen, der international vorgegebene Kontextinformationen wie den sozioökonomischen<br />
Hintergrund oder Einstellungen zu Naturwissenschaft erfasst und darüber hinaus nationale<br />
Ergänzungsteile (z. B. einen Fragebogen zum Befinden in der Schule) enthält. Weiters beantworten<br />
die Schulleiter/innen einen Fragebogen, mit dem Informationen zur Schule (z. B. Schulressourcen,<br />
Struktur und Organisation der Schule) erhoben werden.<br />
1.1.3 Erhebungszyklus<br />
Die Erhebungen erfolgen bei <strong>PISA</strong> in einem Dreijahreszyklus (2000 – 2003 – <strong>2006</strong> usw.). Bei jeder<br />
Erhebung fungiert eine der drei Kerndomänen (Lesen, Mathematik, Naturwissenschaft) als Hauptdomäne.<br />
Da der jeweiligen Hauptdomäne zwei Drittel der Testzeit gewidmet sind, kann diese sehr ausführlich erhoben<br />
werden. In den Nebendomänen werden weniger differenzierte Leistungsprofile erhoben. Im Jahr<br />
2000 war die Hauptdomäne Lese-Kompetenz, bei <strong>PISA</strong> 2003 war es die Mathematik-Kompetenz und bei<br />
der aktuellen Erhebung von <strong>2006</strong> liegt das Hauptaugenmerk auf der Naturwissenschafts-Kompetenz. Bei<br />
der nächsten Erhebung im Jahr 2009 steht die Lese-Kompetenz erneut im Mittelpunkt des Interesses, so<br />
dass neunjährige Trendanalysen möglich werden.<br />
1.2 Ziele und Forschungsfragen<br />
Ziel von <strong>PISA</strong> ist es, die Qualität von nationalen Bildungssystemen zu erfassen und Informationen über<br />
qualitätsrelevante Merkmale, sowohl auf kollektiver Ebene (System und Schule) als auch auf individueller<br />
Ebene (einzelne Schüler/innen), bereitzustellen. Dies geschieht bei <strong>PISA</strong> durch die regelmäßige und<br />
international standardisierte Messung von Schülerleistungen und durch die Erhebung von Merkmalen,<br />
von denen angenommen wird, dass sie die Leistung der Schüler/innen beeinflussen. Durch die Ergebnisse<br />
dieser Erhebungen lassen sich Basis-, Kontext- und Trendindikatoren gewinnen sowie eine systematische<br />
Datenbasis aufbauen.<br />
1.2.1 Erhebung von Basisindikatoren<br />
Basisindikatoren sind die Ergebnisse der <strong>PISA</strong>-Leistungsmessung in Lesen, Mathematik und<br />
Naturwissenschaft, welche mittels standardisierter Tests erhoben werden. Diese Leistungsdaten liefern<br />
Informationen über das Wissen, die Fähigkeiten und Kompetenzen der Schüler/innen gegen<br />
Ende der Pflichtschulzeit. Der direkte Vergleich dieser Ergebnisse mit den Leistungsdaten der übrigen<br />
Teilnehmerländer ermöglicht die Identifizierung von Stärken und Schwächen im österreichischen<br />
Bildungssystem und unterstützt damit die Qualitätsentwicklung auf Systemebene.<br />
1.2.2 Erhebung von Kontextindikatoren<br />
Bei den Kontextindikatoren handelt es sich um Merkmale, von denen angenommen wird, dass sie mit der<br />
Kompetenz der Schüler/innen in Zusammenhang stehen und somit einen wichtigen Erklärungsbeitrag<br />
für Unterschiede bei den Leistungen liefern. Die Kontextindikatoren werden im Rahmen von <strong>PISA</strong> durch<br />
II. Grundkonzeption, Ziele und Organisation<br />
Seite 21
die Schüler- und Schulfragebögen erhoben und beinhalten Informationen über demografische, soziale,<br />
ökonomische und pädagogisch-psychologische Merkmale (vgl. Abschnitt 3 und Abschnitt 4 in Kapitel<br />
IV). Über die verpflichtende Erhebung der von internationaler Seite vorgegebenen Kontextvariablen hinaus<br />
hat jedes Teilnehmerland die Möglichkeit, auf freiwilliger Basis an internationalen Optionen teilzunehmen.<br />
Wie bereits bei <strong>PISA</strong> 2003 setzt Österreich auch in <strong>PISA</strong> <strong>2006</strong> den internationalen Fragebogen<br />
über Informations- und Kommunikationstechnologien (ICT) ein (vgl. Abschnitt 3 in Kapitel IV). Zudem<br />
besteht für jedes Land die Möglichkeit, weitere Kontextinformationen auf nationaler Ebene zu erheben<br />
(vgl. Abschnitt 5 in Kapitel IV).<br />
Auf internationaler Ebene können zusätzlich spezifische Merkmale der unterschiedlichen Schulsysteme<br />
als Kontextvariablen herangezogen werden. Diese Merkmale, wie z. B. Ausgaben für das Schulwesen,<br />
Zahl der gemeldeten Schüler/innen, Zahl der Schüler/innen, die einen bestimmten Abschluss machen,<br />
Differenzierung innerhalb des Schulwesens, Ausbildung der Lehrkräfte etc., werden von der OECD regelmäßig<br />
erhoben und berichtet. Durch die gemeinsame Analyse der <strong>PISA</strong>-Leistungsdaten mit den durch<br />
<strong>PISA</strong> sowie durch andere OECD-Programme erhobenen Kontextindikatoren, wird ermöglicht:<br />
• Unterschiede in Schülerleistungen mit Unterschieden zwischen Bildungssystemen und Unterrichtskontexten<br />
zu vergleichen;<br />
• Unterschiede in Schülerleistungen mit Unterschieden zwischen Lehrplänen und pädagogischen Prozessen<br />
zu vergleichen;<br />
• Beziehungen zwischen Schülerleistungen und bestimmten schulbezogenen Faktoren wie Größe und<br />
Ressourcen zu untersuchen sowie länderspezifische Unterschiede hinsichtlich dieser Beziehungen zu<br />
betrachten;<br />
• Unterschiede zwischen den einzelnen Ländern hinsichtlich der Frage zu untersuchen, inwieweit<br />
Schulen jenen Einfluss verringern oder verstärken, den Hintergrundmerkmale von Schülerinnen und<br />
Schülern auf ihre Leistung haben;<br />
• Unterschiede zwischen Bildungssystemen und nationalen Kontexten zu betrachten, die mit Unterschieden<br />
in Schülerleistungen zusammenhängen.<br />
1.2.3 Erhebung von Trendindikatoren<br />
<strong>PISA</strong> ist ein zyklisches Programm, das alle drei Jahre die Leistungen der Schüler/innen am Ende ihrer<br />
Pflichtschulzeit erhebt. Langfristig wird damit ein Bestand an Informationen aufgebaut, der eine<br />
Beobachtung von Entwicklungstrends im Wissens- und Kompetenzbestand von Schülerinnen und<br />
Schülern aus verschiedenen Ländern und aus verschiedenen demografischen Untergruppen erlaubt. Durch<br />
den Vergleich der Ergebnisse über die Zeit kann die Dynamik der Entwicklung erfasst und gleichzeitig<br />
sichtbar gemacht werden, welche Konsequenzen zwischenzeitliche Änderungen im System haben. Wichtig<br />
ist hierbei nicht bloß die isolierte Betrachtung von Änderungen in den Basis- bzw. Kontextindikatoren,<br />
sondern auch die Untersuchung von Veränderungen in den Zusammenhängen zwischen Leistungs- und<br />
Hintergrundvariablen.<br />
1.2.4 Systematischer Aufbau einer Datenbasis<br />
Durch die regelmäßige Erfassung der Schülerleistungen kann systematisch eine Datenbasis aufgebaut<br />
werden, die alle erhobenen Informationen im Zusammenhang berücksichtigt und eine weitgehende und<br />
fundierte bildungspolitische Analyse erlaubt, u. a. im Hinblick auf die Effektivität der Schulsysteme.<br />
Bildungspolitiker/innen und -forscher/innen können diese Datenbasis für viele wichtige Zwecke nutzen:<br />
z. B. um den erreichten Bildungsstand zu prüfen und zu vergleichen, um den Fortschritt der Schüler/innen<br />
zu beobachten oder um relative Stärken und Schwächen zu identifizieren. Darüber hinaus fördert eine solche<br />
internationale Datenbasis den Austausch von Informationen und Ideen, und es ist für die Beteiligten<br />
möglich, sich durch Gespräche, Diskussionen und/oder gemeinsame Aktionen mit den führenden<br />
Wissenschafterinnen und Wissenschaftern sowie Expertinnen und Experten neue, wertvolle Sichtweisen<br />
und Methoden anzueignen.<br />
Seite 22<br />
II. Grundkonzeption, Ziele und Organisation
1.2.5 Publikation von Informationen<br />
Ein wesentliches Ziel von <strong>PISA</strong> ist, die Ergebnisse der Analysen zu den Forschungsfragen so aufzubereiten,<br />
dass sie möglichst vielen Personen zugänglich sind und Verbesserungsmaßnahmen für die Schulund<br />
Systemebene abgeleitet werden können. <strong>PISA</strong> legt daher sowohl auf nationaler als auch auf internationaler<br />
Ebene besonderes Augenmerk auf die Publikation von verständlichen und praxisrelevanten<br />
Forschungsberichten. Die internationalen <strong>Bericht</strong>e erscheinen nicht nur in Buchform, sondern können<br />
auch kostenlos aus dem Internet heruntergeladen werden (www.pisa.oecd.org). Auf der österreichischen<br />
Web-Seite www.pisa-austria.at können darüber hinaus Broschüren bezogen und ein Newsletter abonniert<br />
werden sowie Beispielaufgaben angesehen werden.<br />
1.3 Die Bedeutung von <strong>PISA</strong> für Österreich<br />
<strong>PISA</strong> liefert Verantwortlichen in Politik und Schule Informationen über die Leistungen österreichischer<br />
Schüler/innen im internationalen Vergleich und zeigt, welche Faktoren mit Schulleistung zusammenhängen.<br />
Die Ergebnisse von <strong>PISA</strong> sind daher ein zentraler Ansatzpunkt für Maßnahmen zur<br />
Qualitätsverbesserung auf Schul- und Systemebene. Detaillierter betrachtet erfüllt <strong>PISA</strong> auf nationaler<br />
Ebene unter anderem die folgenden wichtigen Funktionen:<br />
• <strong>PISA</strong> liefert wichtige Anhaltspunkte und Daten für wesentliche Bereiche von Schulqualität.<br />
• Durch die langfristige kontinuierliche Messung können die Effekte von neuen Maßnahmen/Reformen<br />
im Schulwesen auf die Schulleistung und damit zusammenhängenden Hintergrundmerkmalen<br />
gemessen und beurteilt werden.<br />
• <strong>PISA</strong> bietet zentrale Anknüpfungspunkte für zusätzliche, österreichspezifische Forschungsprojekte,<br />
vor allem im Bereich der Bildungsforschung.<br />
• <strong>PISA</strong> erlaubt österreichischen Bildungsforscherinnen und -forschern durch die Beteiligung an Stateof-the-Art-Projekten<br />
ihre Kompetenz und ihre Kenntnisse einzubringen und zu erweitern.<br />
• <strong>PISA</strong> fördert in den beteiligten Schulen und in der Öffentlichkeit das Verständnis für Schülerleistungserhebungen<br />
und Schülerleistungsvergleiche und macht deren Wert für das Bildungswesen transparent.<br />
2. Die internationale Organisation von <strong>PISA</strong><br />
Für die internationale Projektorganisation und die Sicherstellung der Qualität der Studie sind mehrere<br />
Einrichtungen zuständig. Die übergeordnete Projektverantwortung trägt die OECD, die zugleich Initiator<br />
von <strong>PISA</strong> ist.<br />
2.1 <strong>PISA</strong> im Kontext der OECD<br />
Die Organisation for Economic Cooperation and Development (OECD) ist eine weltweite Organisation<br />
mit derzeit 30 Mitgliedsländern und über 70 Partnerländern. Vorrangiges Ziel der OECD – laut<br />
Artikel 1 der OECD-Konvention (OECD, 1960) – ist es, „eine nachhaltige Wirtschaftsentwicklung<br />
und Beschäftigung sowie einen steigenden Lebensstandard in den Mitgliedsländern unter Wahrung der<br />
finanziellen Stabilität zu erreichen, um zur Entwicklung der Weltwirtschaft beizutragen“. Auf Grund<br />
der Tatsache, dass die wirtschaftliche Entwicklung eines Landes sehr eng mit dem Bildungsstand seiner<br />
Bevölkerung verknüpft ist, hat sich die OECD dazu entschlossen, internationale Bildungsstudien durchzuführen.<br />
Diese sollen das Bildungsniveau der Bevölkerung in den Mitgliedsstaaten systematisch erheben<br />
und Stärken-Schwächen-Analysen der einzelnen Bildungssysteme ermöglichen. Auf dieser Grundlage sollen<br />
Anstrengungen zur Verbesserung der Ausbildung der Bürger/innen unternommen werden, so dass über<br />
längere Sicht auch ein höheres Wirtschaftswachstum und steigender Wohlstand in den Mitgliedsländern<br />
und den assoziierten Staaten erreicht wird.<br />
Organisatorisch betrachtet ist <strong>PISA</strong> Teil des OECD-Indikatorenprogramms INES (Indicators of Education<br />
Systems). Ziel von INES ist es, international vergleichbare Bildungssystemdaten zur Verfügung zu stellen.<br />
II. Grundkonzeption, Ziele und Organisation<br />
Seite 23
<strong>PISA</strong> trägt zur Umsetzung dieses Programms bei, indem es unterschiedliche Arten von Systemindikatoren<br />
(vgl. Abschnitt 1.2 in diesem Kapitel [idK.]) international standardisiert erhebt. INES gliedert sich in<br />
mehrere Netzwerke mit unterschiedlichen Aufgaben. Von besonderer Bedeutung für <strong>PISA</strong> ist das INES-<br />
Netzwerk A, da dieses die folgenden Aufgaben hat 1 :<br />
• Bereitstellung von Indikatoren über Bildungsergebnisse und die Auswirkungen des Lernens;<br />
• Langfristige Entwicklung und Evaluation von <strong>PISA</strong> durch Sicherung der Kohärenz der Studie über<br />
die Zeit, ihre Anpassung an wachsende Bedürfnisse und an methodische Innovationen in der Datenerhebung;<br />
• Entwicklung von Methoden zur Erhebung von fächerübergreifenden Kompetenzen (Cross-Curricular-Competencies<br />
wie Problemlösen, Selbstreguliertes Lernen etc.);<br />
• Entwicklung von Instrumenten zur Erfassung von Kompetenzen im Umgang mit neuen Kommunikations-<br />
und Informationstechnologien (ICT skills);<br />
• Fachliche Bewertung von Datenskalierung, Auswertungen und <strong>Bericht</strong>en, Identifizierung verbesserter<br />
Wege der Datenanalyse sowie Präsentation von Indikatoren in der Art, dass die gesammelte Information<br />
den größtmöglichen Nutzen für die Bildungspolitik bereitstellt.<br />
In den folgenden Abschnitten werden die an der Organisation von <strong>PISA</strong> beteiligten internationalen<br />
Einrichtungen beschrieben. Wie diese Instanzen zusammenwirken, wird in Abbildung II.2 dargestellt.<br />
2.2 Das OECD-Sekretariat und das <strong>PISA</strong> Governing Board<br />
Das OECD-Sekretariat (<strong>PISA</strong>-Gesamtkoordination: Dr. Andreas Schleicher) hat die übergreifende<br />
Managementverantwortung für das Programm und verfolgt dessen praktische Umsetzung. Die OECD hat<br />
die Aufgabe – in Absprache mit dem <strong>PISA</strong> Governing Board (PGB – siehe unten) Vertragsbedingungen für<br />
jeden Zyklus vorzubereiten und einen internationalen Vertragspartner für die praktische Umsetzung von<br />
<strong>PISA</strong> zu finden (vgl. Abschnitt 2.3 idK.). Das Sekretariat ist auch verantwortlich für die Konsensbildung<br />
zwischen den teilnehmenden Ländern und dient als Ansprechpartner auf politischer Ebene. Weiters<br />
fungiert das OECD-Sekretariat als Schnittstelle zwischen dem <strong>PISA</strong> Governing Board und dem internationalen<br />
Vertragspartner. Das OECD-Sekretariat erstellt auch die Indikatoren, analysiert und arbeitet<br />
die internationalen <strong>Bericht</strong>e und Veröffentlichungen in Zusammenarbeit mit dem internationalen<br />
Auftragnehmer und in Abstimmung mit den Teilnehmerländern aus.<br />
Die wichtigsten Entscheidungen fallen im <strong>PISA</strong> Governing Board (PGB), in dem alle <strong>PISA</strong>-<br />
Teilnehmerländer auf politischer Ebene vertreten, aber nur OECD-Mitgliedsländer stimmberechtigt<br />
sind. Österreich wird im PGB durch OR Mag. Jürgen Horschinegg aus dem Unterrichtsministerium<br />
(BMUKK) vertreten. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten für<br />
OECD/<strong>PISA</strong> fest und überwacht deren Einhaltung im Verlauf der Implementierung des Programms. Dies<br />
betrifft die Auswahl von Indikatoren, die Entwicklung von Messinstrumenten und die <strong>Bericht</strong>erstattung<br />
über die Ergebnisse.<br />
2.3 Das internationale Konsortium<br />
Verantwortlich für das Design und die Implementierung der Erhebung innerhalb des vom PGB abgesteckten<br />
Rahmens ist ein internationales Konsortium, das so genannte <strong>PISA</strong>-Konsortium. Im Konsortium<br />
arbeiten unter der Führung des Australian Council for Educational Research (A.C.E.R.), folgende<br />
Forschungseinrichtungen zusammen: das „Netherlands National Institute for Educational Measurement“<br />
(Citogroep) in den Niederlanden, das „National Institute for Educational Research“ (NIER) in Japan und<br />
„WESTAT“ in den USA.<br />
Das <strong>PISA</strong>-Konsortium übernimmt die Verantwortung für die Operationalisierung des Projektdesigns<br />
sowie für die Implementierung des Projekts innerhalb der Vertragsbedingungen. Weiters muss das<br />
Konsortium umfangreiche Qualitätssicherungsmaßnahmen gewährleisten. Während der Durchführung<br />
des Projekts muss das internationale Konsortium sicherstellen, dass:<br />
Seite 24<br />
II. Grundkonzeption, Ziele und Organisation
INES-Steuergruppe<br />
<strong>PISA</strong><br />
Governing<br />
Board (PGB)<br />
INES<br />
Netzwerk A<br />
OECD-SEKRETARIAT<br />
Internationales Konsortium<br />
unter der Leitung von<br />
A.C.E.R.<br />
Technical<br />
Advisory Group<br />
(TAG)<br />
Subject Matter<br />
Expert Groups<br />
(SMEGs)<br />
Nationale Projektmanager<br />
(NPMs)<br />
Unterrichtsministerium<br />
Abbildung II.2: Organisation von <strong>PISA</strong> auf internationaler Ebene<br />
• für Belange, wo dies nötig ist, bereichsspezifische Expertinnen und Experten in das Projekt einbezogen<br />
werden (z. B. durch Sub-Vertragspartner),<br />
• die beteiligten Länder aktiv an der Entwicklung der Instrumente (Tests, Fragebögen) durch Expertengruppen<br />
eingebunden werden und<br />
• Konsens der teilnehmenden Länder auf dem operationalen und technischen Niveau erreicht wird.<br />
II. Grundkonzeption, Ziele und Organisation<br />
Seite 25
2.4 Internationale Expertengruppen<br />
Für jeden der bei <strong>PISA</strong> <strong>2006</strong> getesteten Kompetenzbereiche gibt es eine Arbeitsgruppe (Subject Matter<br />
Expert Group; SMEG), die sich aus international führenden Expertinnen und Experten zusammensetzt.<br />
Dies soll gewährleisten, dass die politischen Zielsetzungen von <strong>PISA</strong> mit der größtmöglichen international<br />
verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenz umgesetzt werden.<br />
Aufgabe der SMEGs ist es, die in <strong>PISA</strong> verwendeten Materialien (Tests, Fragebögen) zu entwickeln und<br />
dabei sicherzustellen, dass<br />
• die Instrumente international valide sind und den kulturellen und curricularen Kontext der OECD-<br />
Mitgliedsstaaten berücksichtigen,<br />
• die Testmaterialien sehr gute messtechnische Eigenschaften aufweisen und<br />
• die Instrumente sowohl authentisch als auch bildungspolitisch relevant sind.<br />
Jedes <strong>PISA</strong>-Teilnehmerland hat die Möglichkeit selbst nationale Expertinnen und Experten zu entsenden,<br />
die in einem nach der Hauptdomäne wechselnden Forum zusammenarbeiten und sich regelmäßig treffen.<br />
Diese Expertinnen und Experten spielen eine wichtige Rolle bei der Begutachtung der von den internationalen<br />
SMEGs ausgearbeiteten Frameworks und Aufgaben und stellen sicher, dass in diesen Belangen<br />
die nationalen Interessen gewahrt werden. Insbesondere achten die Mitglieder des Forums darauf, dass<br />
die Aufgaben nicht in unterschiedlichen kulturellen Kontexten unterschiedliche Schwierigkeitsniveaus<br />
aufweisen. Da bei <strong>PISA</strong> <strong>2006</strong> Naturwissenschaft die Hauptdomäne ist, ist das Science Forum von besonderer<br />
Bedeutung. Als Vertreter/innen Österreichs gehören Mitglieder der <strong>PISA</strong> Science Expert Group<br />
(siehe unten) dem Forum an.<br />
Eine weitere wichtige Expertengruppe auf internationaler Ebene ist die Technical Advisory Group (TAG).<br />
Diese stellt sicher, dass alle in <strong>PISA</strong> angewandten Prozeduren dem aktuellen wissenschaftlichen Stand entsprechen<br />
und trägt dadurch wesentlich zu einer hohen technischen Qualität der Studie bei. Die TAG vereint<br />
Personen, die eine führende Rolle bei der Durchführung von <strong>PISA</strong> spielen, mit externen Expertinnen<br />
und Experten.<br />
3. Die Organisation innerhalb Österreichs<br />
Im folgenden Abschnitt wird die Umsetzung von <strong>PISA</strong> auf der nationalen Ebene beschrieben. Abbildung<br />
II.3 gibt einen Überblick über die in Österreich beteiligten Instanzen sowie deren Zusammenarbeit mit<br />
dem internationalen Konsortium, dem PGB und den internationalen Expertengruppen.<br />
3.1 Auftraggeber und beteiligte Arbeitsgruppen<br />
Die Umsetzung von <strong>PISA</strong> wird in Österreich durch das Unterrichtsministerium in Auftrag gegeben,<br />
finanziert und beaufsichtigt. Den Auftrag für <strong>PISA</strong> <strong>2006</strong> erteilte die damalige Frau BM Elisabeth<br />
Gehrer. Auf Grund der Neustrukturierung der Ministerien nach den Wahlen im Herbst <strong>2006</strong> wurde das<br />
Bundesministerium für Bildung, Wissenschaft und Kultur (BMBWK) mit 1. März 2007 aufgelöst und<br />
die Agenden werden seither vom Bundesministerium für Unterricht, Kunst und Kultur (BMUKK) und<br />
vom Bundesministerium für Wissenschaft und Forschung (BMWF) wahrgenommen. Für <strong>PISA</strong> ist seither<br />
das BMUKK unter Frau BM Claudia Schmied verantwortlich 2 .<br />
Die Interessen des Auftraggebers vertritt die Stabstelle internationale Assessments am BMUKK unter der<br />
Leitung von OR Mag. Jürgen Horschinegg. Diese Stabstelle entsendet auch die österreichische Vertretung<br />
in das PGB.<br />
Wichtige Unterstützung für <strong>PISA</strong> auf nationaler Ebene kommt vom National Committee, einer<br />
Expertenrunde, die bei Bedarf einberufen wird. Dem National Commitee gehören Schüler-, Eltern- und<br />
Lehrervertreter/innen, Mitglieder der regionalen Schulbehörden und der Schulaufsicht sowie Wissenschafter/innen<br />
an und es wird von SektChef. Dr. Anton Dobart geleitet. Die Aufgabe des National<br />
Committees ist es, das Projekt zu unterstützen und sicherzustellen, dass nationale Interessen gewahrt<br />
bleiben. Gemeinsam mit dem National Project Manager (NPM) werden in den Sitzungen Fortschritte<br />
analysiert sowie Prozeduren und Ergebnisse des Projekts diskutiert.<br />
Seite 26<br />
II. Grundkonzeption, Ziele und Organisation
Bundesministerium für Unterricht,<br />
Kunst und Kultur (BMUKK)<br />
National<br />
Commitee<br />
(NC)<br />
Nationale Projektmanager<br />
(NPM)<br />
Stabstelle<br />
internationale<br />
Assessments<br />
am BMUKK<br />
Projektzentrum für Vergleichende<br />
Bildungsforschung (ZVB)<br />
verantwortlich für<br />
die nationale Implementation von <strong>PISA</strong> sowie<br />
die Kooperation mit deutschspr. Ländern,<br />
internationale und nationale Optionen<br />
Mathematikund<br />
Naturwissenschaftsexpertinnen<br />
und<br />
-experten<br />
Forum<br />
internationales Konsortium<br />
unter der Leitung von<br />
A.C.E.R.<br />
Subject Matter<br />
Expert Groups<br />
(SMEGs)<br />
Vertretung im<br />
PGB (<strong>PISA</strong><br />
Governing<br />
Board)<br />
OECD-Sekretariat<br />
Abbildung II.3: Organisation von <strong>PISA</strong> auf nationaler Ebene<br />
Um sicherzustellen, dass die beteiligten Länder aktiv an der Entwicklung der Instrumente beteiligt sind,<br />
implementierte die Stabstelle am BMUKK nationale Expertengruppen zu Mathematik (<strong>PISA</strong> Mathematics<br />
Expert Group Austria) und Naturwissenschaft (<strong>PISA</strong> Science Expert Group Austria). Diese bestehen<br />
aus nationalen Expertinnen und Experten (Wissenschafterinnen und Wissenschaftern, Didaktikerinnen<br />
und Didaktikern, Testentwicklerinnen und -entwicklern) für den jeweiligen Kompetenzbereich. In<br />
<strong>PISA</strong> <strong>2006</strong> ist vor allem die Science Expert Group unter der Leitung von HR Dir.i.R. Mag. Dr. Christa<br />
II. Grundkonzeption, Ziele und Organisation<br />
Seite 27
Koenne zum Einsatz gekommen, weil Naturwissenschaft die Hauptdomäne ist und deshalb viele neue<br />
Testaufgaben für diesen Kompetenzbereich entwickelt wurden. Die <strong>PISA</strong> Science Expert Group hatte<br />
folgende Hauptaufgaben:<br />
• Begutachtung des von der internationalen Science Expert Group ausgearbeiteten Frameworks aus<br />
fachtheoretischer bzw. fachdidaktischer Sicht – unter Berücksichtigung des nationalen Hintergrunds<br />
(Lehrplan, Bildungsziele);<br />
• Erstellung von Naturwissenschafts-Testmaterialien (Texte, Testaufgaben) als nationaler Beitrag zu den<br />
internationalen Testinstrumenten von <strong>PISA</strong>;<br />
• Begutachtung der von der internationalen Science Expert Group ausgearbeiteten Naturwissenschafts-<br />
Testinstrumente und Verfassung einer österreichischen Stellungnahme zu den Item-Bundles aus fachtheoretischer<br />
bzw. fachdidaktischer Sicht;<br />
• Vertretung Österreichs beim Science-Forum.<br />
3.2 Das österreichische <strong>PISA</strong>-Projektzentrum<br />
3.2.1 Projektzentrum für Vergleichende Bildungsforschung<br />
In Österreich ist das Projektzentrum für Vergleichende Bildungsforschung (ZVB) mit der Durchführung<br />
von <strong>PISA</strong> <strong>2006</strong> beauftragt. Das ZVB ist an der Universität Salzburg am Fachbereich Erziehungswissenschaft<br />
angesiedelt und neben <strong>PISA</strong> auch für die IEA-Studien PIRLS (Progress in Reading Literacy) und TIMSS<br />
(Trends in Mathematics and Science Study) sowie die OECD Lehrerbegfragungsstudie TALIS (Teaching<br />
and Learning International Survey) verantwortlich. Leiter des Zentrums ist Ass.Prof. DDr. Günter<br />
Haider.<br />
Als nationale Projektmanager für <strong>PISA</strong> <strong>2006</strong> sind DDr. Günter Haider und Mag. Dr. Claudia Schreiner<br />
für die Koordination aller beteiligten nationalen Institutionen und Expertinnen und Experten sowie<br />
für die Planung, Durchführung und Auswertung der <strong>PISA</strong>-Studie in Österreich verantwortlich. Seit<br />
Jahresbeginn 2007 wird diese Funktion ausschließlich von Mag. Dr. Schreiner wahrgenommen.<br />
3.2.3 Nationale Zusatzerhebungen<br />
Zusätzlich zum internationalen Projekt gibt es österreichische Zusatzstudien, die ausgewählte Fragen der<br />
Bildungsforschung detailliert untersuchen. Im Rahmen der nationalen Zusatzerhebungen von <strong>PISA</strong> <strong>2006</strong><br />
werden fünf Themenbereiche genauer erforscht, wobei in jedem Bereich eine Expertin/ein Experte bei der<br />
Konstruktion der Instrumente, der Durchführung der Datenauswertung und der Erstellung der <strong>Bericht</strong>e<br />
beteiligt ist. Im Folgenden sind die nationalen Zusatzprojekte und die dafür Verantwortlichen angeführt<br />
(für eine detaillierte Beschreibung vgl. Abschnitt 5 in Kapitel IV):<br />
• Nutzung von Informationstechnologien (Claudia Schreiner)<br />
• Lesegewohnheiten (Margit Böck)<br />
• Belastung in der Schule (Silvia Bergmüller)<br />
• Befindlichkeit und Schulerfolg (Ferdinand Eder)<br />
• Qualität in Schulen (Günter Haider)<br />
3.2.4 Externe Mitarbeiter/innen<br />
Da die Mitarbeiter/innen des ZVB den mit der Durchführung der Studie verbundenen Arbeitsaufwand<br />
nicht alleine bewältigen können, werden für die folgenden Tätigkeiten externe Mitarbeiter/innen rekrutiert<br />
und eingeschult:<br />
• Materialkontrolle und -etikettierung: Die Kontrolle der Testhefte und Fragebögen auf Druckfehler<br />
sowie das Etikettieren und Verpacken der Testmaterialien wird von Studierenden übernommen (vgl.<br />
Kapitel VI).<br />
• Testdurchführung: Die Durchführung der <strong>PISA</strong>-Tests an den Schulen erfolgt durch erfahrene Lehrpersonen<br />
bzw. durch Mitglieder der Pädagogischen Institute, den so genannten Testleiterinnen und<br />
Testleitern (vgl. Kapitel VI).<br />
Seite 28<br />
II. Grundkonzeption, Ziele und Organisation
• Coding: Die Bewertung der offenen Fragen der <strong>PISA</strong>-Leistungstests übernehmen Personen, die mit<br />
dem Umgang von Schülerantworten vertraut sind und speziell für diese Aufgabe geschult werden (vgl.<br />
Kapitel VIII).<br />
• ISCO-Codierung: Die Vercodung von Beruf und Ausbildung der Eltern nach einem internationalen<br />
Klassifikationsschema führen speziell geschulte Personen durch (vgl. Kapitel IX).<br />
• Dateneingabe: Die elektronische Erfassung der Antworten zu den Fragen der Testhefte und Fragebögen<br />
erfolgt durch eingeschulte Studierende (vgl. Kapitel X).<br />
Bibliografie<br />
Bergmüller, S. & Lang, B. (2004). Grundkonzeption, Ziele und Organisation von <strong>PISA</strong>. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong><br />
2003. Internationaler Vergleich von Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.<br />
pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs: 22.05.2007]<br />
Lang, B. (2001). Ziele, Forschungsfragen und Organisation. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden<br />
und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 39–51). Innsbruck: StudienVerlag.<br />
OECD (1960). Convention on the Organisation for Economic Co-operation and Development. [WWW Dokument ] Verfügbar unter:<br />
http://www.oecd.org/document/7/0,2340,en_2649_34483_1915847_1_1_1_1,00.html. [Datum des Zugriffs: 23.0.07]<br />
1<br />
vgl. [WWW Dokument] Verfügbar unter:http://nces.ed.gov/surveys/international/ines/index.asp?INESSection=A&SubSect<br />
ion=3 [Datum des Zugriffs: 23.05.07]<br />
2<br />
Aus diesem Grund wird in dieser Publikation durchgängig die Bezeichnung BMUKK für das Unterrichtsministerium verwendet.<br />
II. Grundkonzeption, Ziele und Organisation<br />
Seite 29
Seite 30<br />
II. Grundkonzeption, Ziele und Organisation
III<br />
TESTINSTRUMENTE<br />
Ursula Schwantner<br />
1. Die Frameworks<br />
1.1 Naturwissenschafts-Kompetenz<br />
1.2 Mathematik-Kompetenz<br />
1.3 Lese-Kompetenz<br />
2. Testdesign<br />
2.1 Organisation der Aufgaben, Testzusammenstellung und Bearbeitungszeit<br />
2.2 Aufgabenformat und Testcharakteristiken<br />
3. Itementwicklung<br />
3.1 Itementwicklung und Erprobung im Feldtest<br />
3.2 Die Itemauswahl für den Haupttest<br />
4. Übersetzung und Verifikation<br />
4.1 Übersetzungsrichtlinien<br />
4.2 Übersetzungskooperation deutschsprachiger Länder bei <strong>PISA</strong> <strong>2006</strong><br />
4.3 Internationale Verifikation und nationale Adaptionen<br />
5. Qualitätssicherung im Bereich Testinstrumente<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Lang, 2001) und <strong>PISA</strong> 2003 (Lang, 2004). Die Autorin dieses<br />
Kapitels dankt Birgit Lang für die Bereitstellung der Texte sowie Andrea Grafendorfer für die Unterstützung bei der Beschreibung der<br />
Naturwissenschafts-Kompetenz.
Wie bereits bei <strong>PISA</strong> 2000 und <strong>PISA</strong> 2003 werden die 15-/16-jährigen Schüler/innen auch in <strong>PISA</strong> <strong>2006</strong><br />
in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft getestet. Im Erhebungsjahr<br />
<strong>2006</strong> liegt der Fokus auf dem Bereich Naturwissenschaft (2000 Lesen, 2003 Mathematik), womit der erste<br />
vollständige <strong>PISA</strong>-Zyklus seinen Abschluss findet. 2009 startet ein „neuer“ Testzyklus, wiederum mit dem<br />
Kompetenzbereich Lesen als Hauptdomäne. In diesem Kapitel wird die Entwicklung der Testinstrumente,<br />
anhand derer die Kompetenzen der Schüler/innen erfasst werden, beschrieben. Eingegangen wird dabei<br />
auf die theoretische Konzeption der Tests, das Testdesign und wesentliche Aufgabencharakteristiken, die<br />
Itementwicklung sowie die Übersetzung und Adaption der einzelnen Testaufgaben.<br />
1. Die Frameworks<br />
Das Hauptziel von <strong>PISA</strong> ist es, die Grundkompetenzen der Schüler/innen in den Teilnehmerländern am<br />
Ende ihrer Pflichtschulzeit in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft<br />
zu erfassen. Es gilt festzustellen, in welchem Ausmaß die Jugendlichen jene Fähigkeiten erworben haben,<br />
die sie in ihrem weiteren Leben benötigen. Diese Fragestellung beruht auf dem Modell des lebenslangen<br />
Lernens, bei dem davon ausgegangen wird, dass Kenntnisse und Fähigkeiten kontinuierlich über die gesamte<br />
Lebensspanne hinweg erworben werden. Die Voraussetzungen für ein erfolgreiches lebenslanges<br />
Lernen werden dabei u. a. in der Schule gelegt: einerseits durch den spezifischen Wissenserwerb, andererseits<br />
durch den Erwerb breit gefächerter Konzepte und Fähigkeiten (z. B. Denkprozesse, Lernstrategien<br />
und -methoden), welche es den Schülerinnen und Schülern ermöglichen, ihr Wissen in verschiedenen<br />
Situationen anzuwenden und sich an veränderte Gegebenheiten anzupassen.<br />
Als theoretische Basis für die Erhebung der Grundkompetenzen in <strong>PISA</strong> werden – ausgehend vom Modell<br />
des lebenslangen Lernens – von internationalen Expertinnen und Experten für die drei Kompetenzbereiche<br />
Lesen, Mathematik und Naturwissenschaft so genannte Frameworks entwickelt. Darin wird beschrieben<br />
und definiert, welches Wissen und welche Fähigkeiten für die einzelnen Kompetenzbereiche relevant sind<br />
und in <strong>PISA</strong> erfasst werden sollen. Die Inhalte der Frameworks stammen dabei nicht aus den unterschiedlichen<br />
Lehrplänen der Teilnehmerländer, da dies den Fokus der Studie zu sehr auf Inhalte beschränken<br />
würde, die in allen oder den meisten Ländern gleich sind. Darüber hinaus bestehen Lehrpläne großteils<br />
aus Informationen über und Beschreibungen von Techniken, welche die Schüler/innen erwerben sollen,<br />
wobei jedoch nicht auf die Entwicklung jener Fähigkeiten eingegangen wird, die eine Anwendung des<br />
Wissens bzw. einen Transfer ermöglichen und welche für <strong>PISA</strong> relevant sind. Im Framework werden auch<br />
Kompetenzen berücksichtigt, die fächerübergreifend ausgebildet werden (z. B. Problemlösen, Situationen<br />
erfassen, Modelle bilden). Weitere Vorteile liegen laut OECD (<strong>2006</strong>) darin, dass bei der Entwicklung der<br />
Frameworks der Zweck der Erhebung und die Kompetenzbereiche diskutiert werden, was wiederum zur<br />
Konsensfindung rund um das Framework und die Ziele der Messung beiträgt. Die Frameworks liefern<br />
eine gemeinsame Sprache dessen, was gemessen werden soll. Somit ermöglichen die Konstruktion und<br />
Validierung der Frameworks eine präzise Messung der einzelnen Kompetenzbereiche.<br />
Neben der Beschreibung und Definition der Kompetenzbereiche werden in den Frameworks die<br />
Strukturen und Dimensionen der Tests dargestellt, die zu erreichenden Kompetenzniveaus beschrieben<br />
und der Anteil an verschiedenen Aufgabentypen festgelegt (Lang, 2004).<br />
Im Folgenden werden die Frameworks für die Kompetenzbereiche von <strong>PISA</strong> <strong>2006</strong> dargestellt. Das<br />
Framework in Naturwissenschaft wurde im Vergleich zu <strong>PISA</strong> 2000 und 2003 erweitert, da die<br />
Naturwissenschafts-Kompetenz im Erhebungsjahr <strong>2006</strong> die Hauptdomäne darstellt, und wird daher<br />
im Folgenden auch detaillierter beschrieben als die beiden Nebendomänen. Für die Kompetenzbereiche<br />
Lesen und Mathematik werden die Beschreibungen aus dem Technischen <strong>Bericht</strong> 2003 (Lang, 2004) in<br />
gekürzter Form übernommen, da diese Frameworks weitgehend unverändert geblieben sind.<br />
Eine Sammlung sämtlicher <strong>PISA</strong>-Beispielaufgaben aus den verschiedenen Kompetenzbereichen finden<br />
Sie hier (PDF).<br />
Seite 32<br />
III. Testinstrumente
1.1 Naturwissenschafts-Kompetenz<br />
1.1.1 Definition<br />
Grundannahme des Konzepts der „Scientific-Literacy“ in <strong>PISA</strong> <strong>2006</strong> ist, dass wir im 21. Jahrhundert<br />
in einer von (natur-) wissenschaftlichen und technologischen Fortschritten geprägten und zunehmend<br />
globalisierten Gesellschaft leben. Damit Jugendliche in diese Gesellschaft kompetent hineinwachsen<br />
können ist es von zentraler Bedeutung, dass sie naturwissenschaftliche Prozesse und Phänomene sowie<br />
technologische Errungenschaften deuten und verstehen lernen. Ein umfassendes „Verständnis“ von<br />
Naturwissenschaft und Technologie ermöglicht es den Jugendlichen, Prozesse und Fortschritte eigenständig<br />
zu beurteilen bzw. deren Folgen und Auswirkungen auf das persönliche, soziale, berufliche und<br />
kulturelle Leben einzuschätzen und somit verantwortungsbewusst zu handeln und zu entscheiden.<br />
Grundlage für die Naturwissenschafts-Kompetenz in <strong>PISA</strong> <strong>2006</strong> ist ein multidimensionales Modell, das<br />
sowohl Wissen und Fähigkeiten der Schüler/innen beinhaltet als auch deren Einstellungen gegenüber<br />
Naturwissenschaft einbezieht. Die Definition der Naturwissenschafts-Kompetenz wurde in <strong>PISA</strong> <strong>2006</strong><br />
im Vergleich zu <strong>PISA</strong> 2000 und 2003 erweitert. Dies bezieht sich insbesondere auf jene Aspekte, die<br />
das Wissen der Schüler/innen über die charakteristischen Merkmale von Naturwissenschaft hervorkehren.<br />
Weiters wird in dieser Version der enge Zusammenhang von Naturwissenschaft und Technologie, der bei der<br />
vorhergehenden Definition nur implizit vorhanden war, durch Einbezug des Terminus „Technologie“<br />
explizit gemacht. Zusätzlich werden in diese Definition einstellungsbezogene Aspekte der Schüler/innen<br />
hinsichtlicht naturwissenschaftlicher und technologischer Themen einbezogen.<br />
Naturwissenschafts-Kompetenz ist definiert als ...<br />
• „...naturwissenschaftliches Wissen und die Anwendung dieses Wissens, um Fragestellungen zu identifizieren,<br />
neue Kenntnisse zu erwerben, naturwissenschaftliche Phänomene zu erklären und aus Belegen<br />
Schlussfolgerungen in Bezug auf naturwissenschaftsbezogene Sachverhalte zu ziehen, sowie<br />
• das Verständnis der charakteristischen Eigenschaften der Naturwissenschaften als eine Form menschlichen<br />
Wissens und Forschens,<br />
• die Fähigkeit zu erkennen, wie Naturwissenschaften und Technologie unsere materielle, intellektuelle<br />
und kulturelle Umgebung prägen und<br />
• die Bereitschaft, sich mit naturwissenschaftlichen Themen und Ideen als reflektierender Bürger [reflektierende<br />
Bürgerin] auseinanderzusetzen.“<br />
(OECD, <strong>2006</strong>a, S. 23; Übersetzung der OECD)<br />
In dieser Definition von Naturwissenschafts-Kompetenz wird deutlich, dass es um die Erfassung von<br />
Wissen geht, das für die Lebenssituationen der Schüler/innen relevant ist. „Naturwissenschaftliches Wissen“<br />
bedeutet in diesem Zusammenhang weit mehr als das bloße Reproduzieren von Informationen, Fakten<br />
oder Namen. Vielmehr geht es um ein Verständnis grundlegender naturwissenschaftlicher Konzepte und<br />
Theorien sowie darum, das Wesen der Naturwissenschaft als Form menschlichen Handelns zu begreifen<br />
und die Macht, aber auch die Begrenztheit naturwissenschaftlichen Wissens zu erkennen. Dies schließt<br />
Kenntnisse darüber mit ein, wie Wissenschafter/innen Daten generieren (z. B. durch Beobachtungen<br />
oder Experimente), wie sie zu Erkenntnissen kommen und welche Arten von Erklärungen erwartet werden<br />
können. Damit Jugendliche „aus Belegen Schlussfolgerungen ziehen“ können, müssen sie relevante<br />
Informationen und Daten kennen und in der Lage sein, daraus auszuwählen, diese kritisch zu hinterfragen<br />
und im Hinblick auf die Schlussfolgerung zu beurteilen. Dazu gehört auch, dass Jugendliche sich<br />
neues Wissen durch die Nutzung von Informationsquellen aneignen können (z. B. indem sie im Internet<br />
oder in Büchern bzw. in einer Bibliothek nach Informationen suchen).<br />
Jugendliche, die sich mit naturwissenschaftsbezogenen Themen auseinandersetzen, zeigen ein anhaltendes<br />
Interesse an naturwissenschaftlichen Themen und bilden sich eine Meinung darüber. Sich mit<br />
den „Vorstellungen von Naturwissenschaft“ auseinanderzusetzen bezieht sich auf die unterschiedlichen<br />
III. Testinstrumente<br />
Seite 33
Einstellungen und Werthaltungen gegenüber Naturwissenschaft. Die „reflektierende Bürgerin“/der „reflektierende<br />
Bürger“ interessiert sich für naturwissenschaftliche Themen, denkt über naturwissenschaftsbezogene<br />
„Streitfragen“ nach, befasst sich mit Fragen der Technologie, der Ressourcen und der Umwelt<br />
und erwägt die Wichtigkeit der Naturwissenschaft aus persönlicher und sozialer Perspektive.<br />
1.1.2 Organisation der Domäne Naturwissenschaft<br />
Die Definition der Naturwissenschafts-Kompetenz sieht in Hinblick auf die Einschätzung der gezeigten<br />
Fähigkeiten ein Kontinuum von gering bis hoch entwickelter Kompetenz vor. Schüler/innen mit<br />
einer geringen Naturwissenschafts-Kompetenz sind z. B. in der Lage, einfaches naturwissenschaftliches<br />
Faktenwissen wiederzugeben und Schlüsse auf Grund von Allgemeinwissen über Naturwissenschaften<br />
zu ziehen. Schüler/innen mit einer hohen Naturwissenschafts-Kompetenz hingegen können konzeptionelle<br />
Modelle anwenden und somit auch Vorhersagen oder Erklärungen geben, naturwissenschaftliche<br />
Untersuchungen analysieren, alternative Erklärungen desselben Phänomens evaluieren und Begründungen<br />
präzise kommunizieren.<br />
1.1.3 Die vier Komponenten der Naturwissenschafts-Kompetenz<br />
Die zu erfassenden naturwissenschaftlichen Fähigkeiten bestehen aus vier miteinander verbundenen<br />
Komponenten:<br />
(1) den Kontexten (Lebenssituationen, die in Verbindung mit Naturwissenschaft und Technologie stehen),<br />
(2) den Fähigkeiten (naturwissenschaftliche Fragestellungen erkennen, Phänomene naturwissenschaftlich<br />
erklären sowie naturwissenschaftliche Beweise heranziehen),<br />
(3) dem Wissen (Wissen in den und über die Naturwissenschaften) und<br />
(4) den Einstellungen (Interesse, über bestimmte naturwissenschaftliche Themen zu lernen, Befürwortung<br />
naturwissenschaftlicher Forschung).<br />
Im Folgenden werden diese vier Komponenten detailliert dargestellt. Es ist zu beachten, dass bei der<br />
Erhebung der Naturwissenschafts-Kompetenz nicht die einzelnen Aspekte betrachtet werden, sondern<br />
immer eine Kombination aller vier Komponenten.<br />
(1) Naturwissenschaftlicher Kontext<br />
Die drei Kontexte – persönlicher Kontext (sich selbst und die Familie), sozialer Kontext (Gesellschaft)<br />
und globaler Kontext (Leben auf der ganzen Welt) – stellen einen geeigneten Bezugsrahmen dar, in<br />
dem die Jugendlichen ihr naturwissenschaftliches Wissen, ihre naturwissenschaftlichen Fähigkeiten<br />
und ihre Einstellungen zeigen können. Innerhalb dieser drei Kontexte gibt es jeweils fünf zentrale<br />
Anwendungsgebiete, die konsistent mit jenen aus <strong>PISA</strong> 2000 und 2003 sind und als Basis für die Aufgaben<br />
dienen: Gesundheit, natürliche Ressourcen, Umwelt, Gefahren sowie Grenzen von Naturwissenschaft und<br />
Technik. Abbildung III.1 zeigt Beispiele für die Anwendungsbereiche innerhalb der drei Kontexte.<br />
(2) Naturwissenschaftliche Fähigkeiten<br />
Ein zentraler Aspekt der Naturwissenschafts-Kompetenz ist die Fähigkeit der Jugendlichen, ihr Wissen so<br />
anzuwenden, dass sie aus Belegen Schlussfolgerungen ziehen können. Um diesen Aspekt zu erfassen, werden<br />
drei Fähigkeiten als wichtig erachtet, für die wiederum bestimmte kognitive Prozesse relevant sind:<br />
induktives und deduktives Schließen, Transformieren von Darstellungen (z. B. Daten in Grafiken oder<br />
Tabellen darstellen), Erklärungen auf Grund von Daten geben sowie in Modellen und Systemen denken.<br />
Die drei naturwissenschaftlichen Fähigkeiten stimmen mit den „naturwissenschaftlichen Prozessen“ aus<br />
dem <strong>PISA</strong>-2003-Assessment-Framework (OECD, 2003) überein:<br />
(1) Erkennen naturwissenschaftlicher Fragestellungen,<br />
(2) Phänomene naturwissenschaftlich erklären sowie<br />
(3) Heranziehen naturwissenschaftlicher Beweise.<br />
Im Folgenden wird auf diese drei Fähigkeiten näher eingegangen.<br />
Seite 34<br />
III. Testinstrumente
Bereiche<br />
Kontexte<br />
Persönlicher Kontext Sozialer Kontext Globaler Kontext<br />
Gesundheit<br />
Erhaltung der<br />
Gesundheit, Unfälle,<br />
Ernährung<br />
Kontrolle von Krankheiten,<br />
Übertragung, Lebensmittelauswahl,<br />
Gesundheit der<br />
Gesellschaft<br />
Epidemien, Ausbreitung<br />
von Infektionskrankheiten<br />
natürliche<br />
Ressourcen<br />
Persönlicher Materialund<br />
Energieverbrauch<br />
Erhalten der menschlichen<br />
Population, Lebensqualität,<br />
Sicherheit, Produktion und<br />
Verteilung von Nahrung,<br />
Energieversorgung<br />
Erneuerbare und nichterneuerbare<br />
Ressourcen,<br />
natürliche Systeme,<br />
Bevölkerungswachstum,<br />
Artenschutz<br />
Umwelt<br />
Umweltfreundliches<br />
Verhalten, Nutzung und<br />
Entsorgung von<br />
Materialien<br />
Bevölkerungsverteilung,<br />
Müllentsorgung, Auswirkungen<br />
auf die Umwelt, lokales<br />
Wetter<br />
Biodiversität, Nachhaltigkeit,<br />
Umweltverschmutzung<br />
und Umweltschutz<br />
Gefahren<br />
Natürliche und vom<br />
Menschen herbeigeführte<br />
Gefahren<br />
Schnelle Veränderungen<br />
(Erdbeben, schwere Unwetter),<br />
langsame und fortschreitende<br />
Veränderungen<br />
(Erosion, Ablagerung),<br />
Risikoabschätzung<br />
Klimawandel<br />
Grenzen<br />
von NW u.<br />
Technik<br />
Interesse an naturwissenschaftlichen<br />
Erklärungen<br />
von natürlichen Phänomenen,<br />
naturwissenschaftsbezogene<br />
Hobbies, Sport,<br />
Freizeit und Musik<br />
Neue Materialien, Geräte<br />
und Prozesse, Genetische<br />
Modifikation, Transport<br />
Artensterben, Erforschung<br />
des Weltraums, Entstehung<br />
und Aufbau des Universums<br />
Abbildung III.1: Kontexte in <strong>PISA</strong> <strong>2006</strong> –Beispiele für Anwendungsbereiche<br />
Erkennen naturwissenschaftlicher Fragestellungen<br />
Schüler/innen sollen naturwissenschaftliche Fragestellungen von anderen Fragestellungen unterscheiden<br />
können. In Bezug auf eine gegebene Situation gilt es herauszufinden, welche Fragestellungen naturwissenschaftlich<br />
untersucht werden können und Schlüsselwörter zu identifizieren, mit deren Hilfe nach<br />
Informationen zum gegebenen Thema gesucht werden kann. Es geht u. a. darum, dass die Schüler/innen<br />
jene Belege erkennen oder herausfinden, welche für eine naturwissenschaftliche Untersuchung relevant<br />
sind (z. B. was verglichen werden soll, welche Variablen verändert oder kontrolliert werden sollen, welche<br />
Zusatzinformation nötig ist oder was unternommen werden kann, um Daten zu bekommen).<br />
Phänomene naturwissenschaftlich erklären<br />
Hierbei sollen die Schüler/innen in einer vorgegebenen Situation ihr Wissen anwenden, indem sie<br />
Phänomene erklären oder beschreiben und Veränderungen vorhersagen. Dies beinhaltet u. a. das Erkennen<br />
und Identifizieren geeigneter Beschreibungen, Erklärungen und Vorhersagen.<br />
Heranziehen naturwissenschaftliche Beweise<br />
Schüler/innen sollen den Sinn von naturwissenschaftlichen Erkenntnissen wie Behauptungen oder<br />
Schlussfolgerungen erkennen. Sie sollen in der Lage sein, aus mehreren Folgerungen eine auszuwählen,<br />
die den Beweisen am meisten entspricht. Die Jugendlichen sollen Gründe für oder gegen eine vorgegebene<br />
Schlussfolgerung angeben, wobei sie auf den Prozess und die dargebotenen Daten Bezug nehmen,<br />
III. Testinstrumente<br />
Seite 35
durch welche die Schlussfolgerung zu Stande gekommen ist. Es geht darum, die Annahmen zu erkennen,<br />
die für eine Entscheidung ausschlaggebend sind, und über die gesellschaftlichen Auswirkungen naturwissenschaftlicher<br />
Folgerungen zu reflektieren. Diese Fähigkeit verlangt von den Jugendlichen, dass sie<br />
klare, logische Verbindungen zwischen Belegen und Schlussfolgerungen sowie Entscheidungen herstellen<br />
können und diese auch präsentieren und kommunizieren können (z. B. durch eigene Formulierungen,<br />
Diagramme oder andere geeignete Darstellungsformen).<br />
(3) Naturwissenschaftliches Wissen<br />
Der Wissens-Aspekt im Naturwissenschafts-Framework bezieht sich auf zwei Arten von Wissen: zum einen<br />
auf das Wissen in den Naturwissenschaften (knowledge of science) zum anderen auf das Wissen über<br />
die Naturwissenschaften an sich (knowledge about science).<br />
Wissen in den Naturwissenschaften<br />
Das getestete Wissen stammt aus den Hauptgebieten der Naturwissenschaft: Physik, Chemie, Biologie, Erdund<br />
Weltraumwissenschaft sowie Technologie. Es ist nicht beabsichtigt, das gesamte Wissen, das Schüler/innen<br />
haben können, zu testen, vielmehr soll die Ausprägung, inwieweit Jugendliche ihr Wissen im Kontext<br />
relevanter Lebenssituationen anwenden können, beschrieben werden. Folgende Kriterien sind für die<br />
Auswahl der Testinhalte ausschlaggebend:<br />
(1) Es soll Wissen getestet werden, das für reale Lebenssituationen relevant ist.<br />
(2) Das ausgewählte Wissen soll sowohl grundlegende naturwissenschaftliche Konzepte wiedergeben,<br />
also auch solche, die von bleibender Bedeutung sind.<br />
(3) Das notwendige Wissen soll dem Entwicklungsstand von 15-/16-Jährigen angemessen sein.<br />
Das Wissen in den Naturwissenschaften wird in vier Kategorien („Systeme“) gegliedert. Das darin eingebettete<br />
Wissen wird als notwendig erachtet, um die natürliche Welt verstehen und Erfahrungen im persönlichen,<br />
sozialen und globalen Kontext einen Sinn geben zu können. Daher wird im Naturwissenschafts-<br />
Framework die Bezeichnung „Systeme“ zur Beschreibung dieser vier Kategorien verwendet, um deutlich<br />
zu machen, dass es um ein Zusammenspiel der verschiedenen Komponenten geht und nicht um einzelne –<br />
voneinander unabhängige – Fachgebiete. Diese Systeme sind: Physikalische Systeme, Biologische Systeme,<br />
Erd- und Weltraumsysteme und Technologische Systeme. Im Folgenden werden diese näher erläutert.<br />
• Relevante inhaltliche Bereiche der Physikalischen Systeme sind u. a. Kenntnisse über die Struktur und<br />
die Eigenschaften der Materie (z. B. thermische und elektrische Leitfähigkeit), physikalische und chemische<br />
Veränderungen (z. B. Aggregatzustand, chemische Reaktionen), Bewegung und Kraft (z. B.<br />
Geschwindigkeit, Beschleunigung), Energie (z. B. Erhaltung, Verlust) sowie Interaktionen von Energie<br />
und Materie (z. B. Licht- und Radiowellen, Schall- und seismische Wellen).<br />
• Zu den Biologischen Systemen gehören Kenntnisse über Themenbereiche wie Zellen (z. B. Strukturen<br />
und Funktion, DNA, Pflanzen und Tiere), Menschen (z. B. Gesundheit, Krankheit, Ernährung,<br />
Verdauung, Atmung, Blutkreislauf), Populationen (z. B. Arten, Evolution, Biodiversität, genetische<br />
Variation), Ökosysteme (z. B. Nahrungsketten, Materie- und Energiefluss) und Biosphäre (z. B. Ökosysteme,<br />
Nachhaltigkeit).<br />
• Relevante inhaltliche Bereiche der Erd- und Weltraumsysteme sind u. a. Kenntnisse über Strukturen<br />
der Erdsysteme (z. B. Lithosphäre, Hydrosphäre, Atmosphäre), die Energie der Erdsysteme (z. B. Energiequellen,<br />
globales Klima), den Wandel in Erdsystemen (z. B. Plattentektonik, geochemische Zyklen,<br />
konstruktive und destruktive Kräfte), die Erdgeschichte (z. B. Fossilien, Evolution) und schließlich<br />
auch über die Erde im Weltraum (z. B. Schwerkraft, Sonnensysteme).<br />
• Bei den Technologischen Systemen geht es u. a. um die Rolle der naturwissenschaftsbasierten Technologie<br />
(z. B. Problemlösung, Bedürfnisbefriedigung, Entwerfen und Leiten von Untersuchungen), die<br />
Beziehung von Naturwissenschaft und Technologie (z. B. Technologien tragen zum wissenschaftlichen<br />
Fortschritt bei), Konzepte (z. B. Optimierung, Kosten, Risiken, Nutzen) sowie wichtige Prinzipien<br />
(z. B. Kriterien, Zwänge, Innovationen, Erfindungen, Problemlösung) (OECD, <strong>2006</strong>).<br />
Seite 36<br />
III. Testinstrumente
Wissen über die Naturwissenschaften<br />
Für die Erfassung des Wissens über die Naturwissenschaften sind zwei Kategorien vorgesehen: naturwissenschaftliches<br />
Forschen und naturwissenschaftliche Erklärungen.<br />
• Zum Bereich naturwissenschaftliches Forschen gehören u. a. Kenntnisse über den Ursprung naturwissenschaftlicher<br />
Untersuchungen (Neugier, naturwissenschaftliche Fragestellungen), Kenntnisse über<br />
die Ziele naturwissenschaftlicher Untersuchungen (Belege finden, die helfen, naturwissenschaftliche<br />
Fragen zu beantworten; leitende Modelle und Theorien), Wissen über Untersuchungsmethoden wie<br />
Beobachtungen und Experimente, Kenntnisse über die Generierung von Daten (quantitative und<br />
qualitative Methoden) und das Durchführen von Messungen (Nachvollziehbarkeit, „Rest-Unsicherheit“,<br />
Präzision) sowie Kenntnisse über die Charakteristiken der Ergebnisse von naturwissenschaftlichen<br />
Untersuchungen (empirisch, vorläufig, testbar, falsifizierbar, selbst-korrigierend).<br />
• Die Kategorie naturwissenschaftliche Erklärungen beinhaltet u. a. Kenntnisse über die Typen naturwissenschaftlicher<br />
Erklärungen (Hypothesen, Gesetze, Theorien und Modelle), Gestaltung naturwissenschaftlicher<br />
Erklärungen (Darstellung von Daten, Rolle von bestehendem Wissen und neuen Erkenntnissen,<br />
Kreativität und Vorstellung, Logik), Kenntnisse von Regeln, die naturwissenschaftlichen<br />
Erklärungen zu Grunde liegen (logische Konsistenz; Erklärungen basieren auf Belegen, historischem<br />
und aktuellem Wissen) und Kenntnisse über Ergebnisse naturwissenschaftlicher Erklärungen (neues<br />
Wissen, neue Methoden und Technologien; Aufwerfen neuer Fragestellungen und Untersuchungen)<br />
(OECD, <strong>2006</strong>).<br />
(4) Einstellungen zu Naturwissenschaft<br />
Die Einstellungen der Schüler/innen spielen eine große Rolle hinsichtlich ihres Interesses an Naturwissenschaft<br />
und ihrem Zugang zu naturwissenschaftlichen Themen. In <strong>PISA</strong> <strong>2006</strong> werden die Einstellungen<br />
der Schüler/innen erstmals nicht nur mittels Fragebogen erfasst (vgl. Kapitel IV), sondern es werden<br />
zudem kontextualisierte Fragen in den Test integriert (sogenannte „embedded items“). Dadurch können<br />
die Einstellungen der Schüler/innen direkt mit Themengebieten aus dem Naturwissenschafts-Test in<br />
Verbindung gebracht werden.<br />
Theoretisch basiert die Erfassung der Einstellungen und die Auswahl der spezifischen Bereiche auf der<br />
Gliederung des affektiven Bereichs in der naturwissenschaftlichen Bildung von Klopfer (1976, zitiert<br />
nach OECD, <strong>2006</strong>) sowie weiterer Literatur aus der Einstellungsforschung (z. B. Gardner, 1975, 1984;<br />
Gauld & Hukins, 1980; Blosser, 1984; Laforgia, 1988; Schibeci, 1984, zitiert nach OECD, <strong>2006</strong>).<br />
In <strong>PISA</strong> <strong>2006</strong> werden die Einstellungen der Jugendlichen zu zwei Gebieten – integriert und kontextualisiert<br />
in den Testaufgaben – erfasst: Interesse, über bestimmte naturwissenschaftliche Themen zu lernen und<br />
Befürwortung naturwissenschaftlicher Forschung.<br />
• Die Komponente Interesse, über bestimmte naturwissenschaftliche Themen zu lernen, welche im Rahmen<br />
der Tests erfasst wird, ist ein Teil des Konstrukts „Interesse an Naturwissenschaft“, welches auch im<br />
Schülerfragebogen erhoben wird. Der Zusammenhang zwischen Interesse an Naturwissenschaft und<br />
Leistung ist seit mehr als 40 Jahren Thema der Forschung (z. B. Baumert & Köller, 1998; Osborne,<br />
Simon & Collins, 2003, zitiert nach OECD, <strong>2006</strong>). Ebenso werden Zusammenhänge von Interesse<br />
und Kurswahl, Laufbahnentscheidung und lebenslangem Lernen vermutet. Kennzeichnend für das<br />
Interesse an Naturwissenschaft ist, dass der/die Schüler/in Neugier gegenüber Naturwissenschaft und<br />
naturwissenschaftsbezogenen Themen zeigt, sich zusätzliches Wissen und Fähigkeiten durch Nutzung<br />
unterschiedlicher Ressourcen und Methoden aneignet sowie gewillt ist, sich anhaltend für Naturwissenschaft<br />
zu interessieren.<br />
• Die Komponente Befürwortung naturwissenschaftlicher Forschung gehört dem Konstrukt „Wertschätzung<br />
der Naturwissenschaft“ an, welches durch zwei weitere Indizes auch im Fragebogen abgedeckt<br />
wird. Das Befürworten naturwissenschaftlicher Forschung wird erhoben, da es sich um einen grundlegenden<br />
Aspekt naturwissenschaftlicher Erziehung und Bildung handelt. Schüler/innen, die naturwissenschaftliche<br />
Forschung unterstützen, finden es wichtig, dass alternative Perspektiven, Ideen und<br />
III. Testinstrumente<br />
Seite 37
Erklärungen in Betracht gezogen werden. Sie schätzen die Nutzung von Fakten und rationalen Erklärungen<br />
bei Analysen und Evaluationen, achten soziale Interaktionen um zu rationalen, auf Belegen<br />
basierenden Schlussfolgerungen zu gelangen und schätzen logische und vorsichtige Prozesse beim<br />
Ziehen von Schlüssen.<br />
Es wird hier ausdrücklich darauf hingewiesen, dass die in den Testheften integrierten Fragen zur Erfassung<br />
der Einstellungen der Schüler/innen nicht in die Bewertung des Tests aufgenommen, sondern auf einer<br />
eigenen Skala erfasst werden (vgl. Abschnitt 2.2 idK.). Die Schüler/innen werden darauf auch in den<br />
Instruktionen eingangs im Testheft hingewiesen. Durch die Einbettung dieser Fragen in den Test können<br />
spezifische – bereichsbezogene – Einstellungen der Schüler/innen herausgefunden werden, im Gegensatz<br />
zu den mehr allgemein gehaltenen Kontextfragen im Schülerfragebogen. So kann z. B. in weiterer Folge<br />
unterschieden werden, ob das Interesse einer Schülerin/eines Schülers an Naturwissenschaft spezifisch<br />
ausgeprägt, oder mehr generell ist.<br />
Abbildung III.2 zeigt die Organisation der Domäne Naturwissenschaft im Überblick.<br />
1.1.4 Erfassen der Naturwissenschafts-Kompetenz<br />
Zur Erfassung der Naturwissenschafts-Kompetenz ist es wichtig, dass die verschiedenen Komponenten des<br />
Naturwissenschafts-Frameworks durch die Testitems ausgewogen repräsentiert werden. Die gewünschte<br />
Verteilung wird durch den Prozentanteil an den Gesamtpunkten (Score points) jeder Kategorie ausgedrückt.<br />
Erreicht werden soll eine ausgewogene Verteilung der Items über die beiden Wissenskategorien<br />
Wissen in den und Wissen über die Naturwissenschaften, über die drei naturwissenschaftlichen Fähigkeiten<br />
(Fragestellungen erkennen, Phänomene erklären, Beweise heranziehen) sowie über die drei Kontexte (persönlicher,<br />
sozialer und globaler Kontext). Schließlich soll auch die Anzahl der einstellungsbezogenen<br />
Items ausgewogen sein (Interesse und Befürwortung. Ungefähr 60 % der Units (vgl. Abschnitt 2 idK.)<br />
enthalten ein- oder zwei einstellungsbezogene Fragen. Die Link-Items (Items aus <strong>PISA</strong> 2000 und 2003)<br />
enthalten keine einstellungsbezogenen Fragen.<br />
Kontexte<br />
lebensnahe Situationen in<br />
Verbindung mit NW:<br />
• persönliche,<br />
• soziale und<br />
• globale Kontexte<br />
Fähigkeiten<br />
• Erkennen naturwiss.<br />
Fragestellungen<br />
• Phänomene naturwiss.<br />
erklären<br />
• Heranziehen naturwiss.<br />
Beweise<br />
Wissen<br />
• in den Naturwissenschaften<br />
(physikalische-,<br />
biologische-, technologische-,<br />
Erd- und Weltraumsysteme)<br />
• über die Naturwissenschaften<br />
(naturwiss.<br />
Forschen und Erklärungen)<br />
Einstellungen<br />
• Interesse, über bestimmte<br />
naturwiss. Themen<br />
zu lernen<br />
• Befürwortung naturwiss.<br />
Forschung<br />
Abbildung III.2: Organisation der Domäne Naturwissenschaft in <strong>PISA</strong> <strong>2006</strong><br />
Seite 38<br />
III. Testinstrumente
1.2 Mathematik-Kompetenz<br />
1.2.1 Definition<br />
Im Alltag sehen wir uns ständig mit mathematischen Problemen konfrontiert: Einkaufen, Reisen, der<br />
Umgang mit den persönlichen Finanzen, Interpretieren von Statistiken etc. Während Mathematik in der<br />
Schule meist in einem relativ hoch strukturierten Kontext erlernt wird, müssen wir im täglichen Leben<br />
Entscheidungen darüber treffen, welches (mathematische) Wissen in welchem Kontext relevant ist und<br />
wie wir es sinnvoll einsetzen können. Die Definition der Mathematik-Kompetenz in <strong>PISA</strong> bezieht sich<br />
vor allem auf den Aspekt der Anwendung des mathematischen Wissens, beinhaltet jedoch auch weitere<br />
Aspekte: Mathematik-Kompetenz („Mathematical Literacy“) ist…<br />
„…die Fähigkeit einer Person, die Rolle zu erkennen und zu verstehen, die Mathematik in der Welt spielt, fundierte<br />
Urteile abzugeben und die Mathematik zu nutzen und sich mit ihr in einer Weise zu befassen, die den<br />
Anforderungen im Leben dieser Person als konstruktivem, engagiertem und reflektierendem Bürger entspricht“<br />
(OECD, 2003b, zitiert nach OECD, 2004).<br />
Aus der Definition wird deutlich, dass es bei der Mathematik-Kompetenz um die funktionelle Anwendung<br />
mathematischen Wissens in unterschiedlichen Situationen geht, wie z. B. Probleme stellen und diese formulieren,<br />
mit Hilfe der Mathematik lösen und das Ergebnis interpretieren. Dies setzt sowohl grundlegendes<br />
Wissen über mathematische Terminologien, Fakten und Prozeduren voraus, als auch die Fähigkeit,<br />
bestimmte Operationen durchführen und adäquate Methoden anwenden zu können.<br />
1.2.2 Organisation der Domäne Mathematik<br />
Zur Erfassung der Kompetenz ist die Mathematik-Domäne in drei Komponenten organisiert: mathematische<br />
Inhalte, mathematische Prozesse und Kompetenzen sowie Situationen und Kontexte, in denen die<br />
Probleme angesiedelt sind.<br />
Mathematische Inhalte<br />
Der mathematische Inhalt ist in vier Subskalen unterteilt, welche als essentielle Bestandteile der Mathematik<br />
gelten und in jedem Curriculum eine zentrale Stelle einnehmen: Größen, Unsicherheit, Veränderung &<br />
Zusammenhänge sowie Raum & Form. Bei der Subskala Größen geht es um numerische Phänomene und<br />
Muster sowie quantitative Zusammenhänge. Die Skala Unsicherheit beinhaltet Bereiche wie die Analyse<br />
und Darstellung von Daten sowie Wahrscheinlichkeiten und Schlussfolgerungen. Bei der Subskala<br />
Veränderung & Zusammenhänge geht es um mathematische Ausdrucksformen für Veränderungen, funktionale<br />
Zusammenhänge und Abhängigkeiten zwischen Variablen. Die Subskala Raum & Form beinhaltet<br />
räumliche und geometrische Phänomene und Zusammenhänge.<br />
Mathematische Prozesse und Kompetenzen<br />
Die Tests zur Erfassung der Mathematik-Kompetenz beinhalten nur wenige Aufgaben, deren Kontext<br />
rein die „mathematische Welt“ betrifft und in denen der mathematische Inhalt explizit ist (z. B. Löse<br />
die Gleichung x + 3 = 8). Für <strong>PISA</strong> relevant sind vor allem Aufgaben, bei denen jene Kompetenzen angesprochen<br />
werden, die es den Schülerinnen und Schülern ermöglichen, eine reale Problemstellung mit<br />
der Mathematik zu verknüpfen. Dieser Prozess der Mathematisierung erfordert von den Schülerinnen und<br />
Schülern, ein gegebenes reales Problem nach mathematischen Konzepten zu organisieren und die relevanten<br />
mathematischen Inhalte zu identifizieren. Die Realität muss schrittweise durch Formalisierungs- und<br />
Generalisierungsprozesse reduziert werden, bis das Problem in seiner mathematischen Form vorliegt.<br />
Nachdem die Schüler/innen das Problem auf mathematischem Weg gelöst haben, müssen sie die mathematische<br />
Lösung in Bezug auf das reale Problem reflektieren, indem sie die Sinnhaftigkeit, das Ausmaß<br />
und die Grenzen der Lösung erkennen, das Ergebnis erläutern und das Modell gegebenenfalls kritisieren.<br />
Die erforderlichen Kompetenzen (z. B. Schlussfolgern, Argumentieren, Kommunizieren, Modelle bilden,<br />
Probleme lösen und darstellen, formale, technische Sprache und Operationen anwenden) liegen bei jeder<br />
III. Testinstrumente<br />
Seite 39
Schülerin/jedem Schüler in unterschiedlichen Ausprägungen vor. Um diese zu klassifizieren, wurden drei<br />
aufeinander aufbauende Kompetenz-Cluster gebildet, welche von zunehmender Komplexität gekennzeichnet<br />
sind: der Reproduktions-Cluster, der Beziehungs-Cluster und der Reflexions-Cluster.<br />
Der Reproduktions-Cluster bezieht sich hauptsächlich auf die Wiedergabe praktizierten Wissens und das<br />
Ausführen von Routine-Operationen. Beim Beziehungs-Cluster geht es darum, reale Probleme in die Mathematik<br />
zu übersetzen, mathematische Modelle zu entwickeln, zu prüfen, ob die Lösung zum ursprünglichen<br />
Problemkontext passt und das Ergebnis zu kommunizieren. Es werden jedoch geläufige Rahmenbedingungen<br />
und Operationen einbezogen. Der Reflexions-Cluster beinhaltet sehr komplexe Aufgaben,<br />
bei denen die Schüler/innen Lösungsstrategien planen und auch auf neue Kontexte übertragen müssen.<br />
Detaillierte Beschreibungen des Mathematisations-Prozesses und der Kompetenz-Cluster sind bei Lang<br />
(2004) dargestellt.<br />
Situationen und Kontexte<br />
Die zu lösenden Probleme sind in unterschiedlichen realitätsnahen Situationen in einem spezifischen<br />
Kontext angesiedelt. Im Mathematik-Framework werden vier Situationstypen festgelegt: persönliches<br />
Umfeld, erzieherisches/berufliches Umfeld, öffentliches Umfeld und wissenschaftliches Umfeld. Der Kontext<br />
wird je nachdem wie stark sich das Problem auf die Realität bezieht, als „innermathematisch“ oder „außermathematisch“<br />
bezeichnet.<br />
1.2.3 Hilfsmittel<br />
Bezüglich Hilfsmittel (z. B. Taschenrechner) sieht <strong>PISA</strong> eine Verwendung vor, wie sie den Schülerinnen<br />
und Schülern üblicherweise in der Schule – von einem Schulsystem – gestattet wird, da dies eine authentische<br />
Erhebung der Schülerleistungen gewährleistet. Für Österreich bedeutet das, dass die Verwendung<br />
von Taschenrechnern bei allen <strong>PISA</strong>-Testsitzungen erlaubt ist.<br />
1.3 Lese-Kompetenz<br />
1.3.1 Definition<br />
Die Lese-Kompetenz („reading literacy“) wird in <strong>PISA</strong> wie folgt definiert:<br />
„Die Fähigkeit, geschriebene Texte zu verstehen, zu nutzen und über sie zu reflektieren, um eigene Ziele zu<br />
erreichen, das eigene Wissen und Potential weiterzuentwickeln und am gesellschaftlichen Leben teilzunehmen“<br />
(OECD, 2003a, zitiert nach OECD, 2004).<br />
Diese Definition zeigt deutlich, dass die bei <strong>PISA</strong> gemessene Lese-Kompetenz über ein reines Dekodieren<br />
von Texten und ein rein wörtliches Textverständnis hinausgeht. Lese-Kompetenz beinhaltet das Verstehen,<br />
Verwenden und Reflektieren geschriebener Informationen für verschiedene Zwecke. Die Definition bezieht<br />
sich dabei auf ein breites Spektrum an Situationen in denen Lese-Kompetenz eine Rolle für junge<br />
Erwachsene spielt, vom Privatleben bis zur Öffentlichkeit, von der Schule bis zum Beruf, von der aktiven<br />
Beteiligung am gesellschaftlichen Leben bis hin zum lebenslangen Lernen. Es steckt die Idee dahinter,<br />
dass Lese-Kompetenz maßgeblich dazu beiträgt, individuelle Ziele zu erreichen – von klar definierten<br />
Bildungs- und/oder Berufszielen bis hin zu solchen Zielen, die den persönlichen Spielraum jeder einzelnen<br />
Person erweitern und deren Leben bereichern.<br />
1.3.2 Organisation der Domäne Lesen<br />
Lesen ist ein dynamischer Prozess, bei dem jede Leserin/jeder Leser auf unterschiedliche Art und Weise<br />
versucht, den Inhalt des Textes zu verstehen. Faktoren, die diesen Prozess beeinflussen sind u. a. die<br />
Lesesituation, die Textstruktur und die Charakteristiken der Fragen, die zu einem Text gestellt werden. All<br />
diese Faktoren werden bei der Aufgabenentwicklung für die Erhebung berücksichtigt. Die Lese-Aufgaben<br />
bei <strong>PISA</strong> können mittels folgender Aspekte differenziert werden: Texttypen, Leseprozesse und Situationen.<br />
Seite 40<br />
III. Testinstrumente
Texttypen<br />
Personen werden im Laufe ihres Lebens mit einer Bandbreite von geschriebenen Texten konfrontiert.<br />
Daher reicht es nicht aus, eine kleine Anzahl von Texttypen, die meist in der Schule verwendet werden,<br />
lesen zu können. Das Herzstück der Erfassung der Lese-Kompetenz in <strong>PISA</strong> bildet die Unterscheidung in<br />
kontinuierliche und nicht-kontinuierliche Texte, die einen unterschiedlichen Zugang der Leserin/des Lesers<br />
erfordern.<br />
Kontinuierliche Texte bestehen aus Sätzen, die in Paragraphen organisiert sind, und zu Bereichen, Kapiteln<br />
und Büchern zusammengefasst werden können. Dazu zählen z. B. Erzählungen, Beschreibungen,<br />
Darlegungen, Argumentationen, Anweisungen und Hypertexte (Texte, die miteinander verknüpft sind<br />
und der Leserin/dem Leser ermöglichen, auf verschiedenen Wegen zu Informationen zu gelangen).<br />
Nicht-kontinuierliche Texte sind anders organisiert und verlangen daher auch eine unterschiedliche<br />
Herangehensweise. Zu den nicht-kontinuierlichen Texten zählen z. B. Listen, Tabellen, Graphen oder<br />
Diagramme, Land- und Straßenkarten, Formulare, Anzeigen und Inserate sowie Zertifikate.<br />
Leseprozesse<br />
Mit den <strong>PISA</strong>-Lese-Aufgaben können Informationen über die folgenden fünf Lese-Prozesse bei Schülerinnen<br />
und Schülern gewonnen werden:<br />
• Heraussuchen von Information: Um eine spezifische Information aus einem Text herauszusuchen, muss<br />
die Leserin/der Leser den Text absuchen, die relevante Information lokalisieren und selektieren.<br />
• Entwickeln eines allgemeinen Verständnisses dessen, was gelesen wird: Dazu muss die Leserin/der Leser<br />
den Text als Gesamtes oder in einer breiten Perspektive betrachten. Das Wesentliche des Textes muss<br />
als Ganzes erfasst werden. Die Schüler/innen müssen erklären können, wovon der Text handelt.<br />
• Entwickeln einer Interpretation: Dieser Prozess verlangt von der Leserin/vom Leser, den ursprünglichen<br />
Eindruck so zu erweitern, dass sie/er ein spezifischeres oder vollständigeres Verständnis des Gelesenen<br />
entwickelt. Dazu müssen Informationen aus unterschiedlichen Textteilen verknüpft werden<br />
sowie bestimmte Details als Bestandteile des Ganzen identifiziert werden.<br />
• Über den Textinhalt reflektieren und diesen bewerten: Verlangt von der Leserin/vom Leser, dass sie/er die<br />
Information in einem Text mit dem Wissen aus anderen Quellen verbindet.<br />
• Über die Textform reflektieren und diese bewerten: Die Leserin/der Leser muss über den Text nachdenken<br />
und die Qualität und Angemessenheit evaluieren.<br />
Aus diesen fünf Lese-Prozessen können drei Subskalen generiert werden: Heraussuchen von Informationen,<br />
Interpretieren von Texten sowie Reflektieren und Bewerten. Etwa 50 % der Lese-Aufgaben in <strong>PISA</strong> <strong>2006</strong><br />
sind der Subskala „Interpretieren von Texten“ zuzuordnen, wobei die Schüler/innen entweder aufgefordert<br />
werden, ein allgemeines Verständnis oder eine Interpretation zu entwickeln (Punkt 2 und 3). 29 %<br />
der Lese-Aufgaben sind der Subskala „Heraussuchen von Informationen“ (Punkt 1) zuzuordnen. Jeder<br />
dieser Prozesse – Heraussuchen, allgemeines Verständnis, Interpretation – fokussiert dabei den Grad an<br />
Verständnis und Nutzung der Informationen, die primär im Text enthalten sind. Die restlichen Lese-<br />
Aufgaben (ungefähr 20 % – durch Rundung ergeben sich Abweichungen auf 100 %) verlangen von den<br />
Schülerinnen und Schülern entweder über den Inhalt oder über Informationen, die im Text enthalten<br />
sind, oder über die Struktur und Form des Textes an sich zu reflektieren (OECD, <strong>2006</strong>).<br />
Situationen<br />
Dieser Aspekt beschreibt die Kontexte, aus denen die Texte stammen. Bei <strong>PISA</strong> werden folgende Kontexte<br />
unterschieden: Texte für den privaten Gebrauch (Novellen, Briefe, Biographien), Texte für den öffentlichen<br />
Gebrauch (offizielle Dokumente, Werbung), Texte für den Beruf und für Bildungszwecke (Manuale,<br />
<strong>Bericht</strong>e, Arbeitsblätter).<br />
2. Testdesign<br />
Auf Basis der in Abschnitt 1 idK. dargelegten Frameworks werden für jeden Kompetenzbereich Aufgaben<br />
entwickelt, die der Erfassung des Wissens und der Fähigkeiten der Schüler/innen dienen. Bevor in Abschnitt<br />
III. Testinstrumente<br />
Seite 41
3 idK. dargestellt wird, wie diese Aufgaben entwickelt werden, wird an dieser Stelle das Testdesign von<br />
<strong>PISA</strong> beschrieben, da hier Aspekte behandelt werden, die auch für die Itementwicklung relevant sind.<br />
2.1 Organisation der Aufagben, Testzusammenstellung und Bearbeitungszeit<br />
Die einzelnen Aufgaben in <strong>PISA</strong>, auch Items genannt, sind in Form von Units organisiert. Eine Unit<br />
stellt quasi den inhaltlichen Rahmen für die einzelnen Aufgaben dar, bzw. stehen die Items innerhalb einer<br />
Unit in einem inhaltlichen Zusammenhang. Jede Unit beinhaltet einen oder mehrere Stimuli (Texte,<br />
Diagramme etc.) gefolgt von einer oder mehreren Aufgaben (Items). Ebenso sind die Richtlinien zur<br />
Bewertung der betreffenden Schülerantworten (Coding Instructions), die später im Coding Guide enthalten<br />
sind (vgl. Kap. VIII), in den Units enthalten.<br />
Die für den Haupttest ausgewählten Items bzw. Units werden je Kompetenzbereich zu Aufgabenblöcken<br />
(Cluster) zusammengefasst, wobei eine Bearbeitungszeit pro Cluster von 30 Minuten vorgesehen ist.<br />
In <strong>PISA</strong> <strong>2006</strong> sind im Bereich Naturwissenschaft 7 Cluster enthalten: 37 Units mit insgesamt 140 Items.<br />
Für Mathematik sind es 4 Cluster: 31 Units mit 48 Link-Aufgaben; im Bereich Lesen sind 2 Cluster<br />
enthalten: 8 Units mit insgesamt 32 Items. Abbildung III.3 zeigt die Anzahl der ausgewählten Items nach<br />
Units und Cluster für den Haupttest <strong>2006</strong>.<br />
Für die Erstellung eines Testhefts (Booklet) werden jeweils vier verschiedene Cluster zusammengefasst.<br />
Die Cluster werden über die einzelnen Testhefte rotiert, so dass jeder Cluster in vier Testheften und jeweils<br />
an verschiedenen Stellen innerhalb der Testhefte vorkommt. In <strong>PISA</strong> <strong>2006</strong> gibt es insgesamt 13 Testhefte;<br />
pro Testheft steht den Schülerinnen und Schülern eine Bearbeitungszeit von 2 Stunden zur Verfügung.<br />
Für Schüler/innen in Sonderschulen gibt es ein eigenes Testheft, das eine Bearbeitungszeit von 60<br />
Minuten aufweist. Für das „UH Booklet“ (une heure = eine Stunde) werden Aufgaben aus allen drei<br />
Kompetenzbereichen mit geringem Schwierigkeitsgrad ausgewählt.<br />
Items Haupttest <strong>2006</strong><br />
neu entwickelt Link-Items gesamt Units<br />
Naturwissenschaft 86+32 Einst. 22 108+32 37<br />
Mathematik 0 48 48 31<br />
Lesen 0 28 28<br />
8<br />
GESAMT 118 98 216 76<br />
Cluster<br />
7<br />
4<br />
2<br />
13<br />
2.2 Aufgabenformat und Testcharakteristiken<br />
Bei der Erhebung der Schülerleistungen kommen verschiedene Frageformate zum Einsatz, die es ermöglichen,<br />
die unterschiedliche Ausprägung der Fähigkeiten der Jugendlichen zu erfassen. Bei einigen Aufgaben<br />
müssen die Schüler/innen lediglich einfache Antworten selektieren oder wiedergeben, die direkt mit einer<br />
richtigen Antwort verglichen werden können. Andere Frageformen erfordern die Entwicklung und<br />
Formulierung einer eigenständigen Antwort, wodurch komplexe Konstrukte gemessen werden können.<br />
Die Einstellungen der Schüler/innen zu Naturwissenschaft werden mit Hilfe einer vierstufigen Likert-<br />
Skala erfasst.<br />
Multiple-Choice-Aufgaben<br />
Abbildung III.3: Anzahl der Items in <strong>PISA</strong> <strong>2006</strong><br />
Bei diesen Aufgaben muss aus 4–5 vorgegebenen Antwortalternativen die richtige ausgewählt werden. Die<br />
Multiple-Choice-Aufgaben sind für die Erhebung von Prozessen geeignet, die unter anderem das Erfassen<br />
bzw. Selektieren von Information betreffen. In Bezug auf die Bewertung sind die Multiple-Choice-Items<br />
sehr einfach zu handhaben, da die richtige Antwort bereits vorliegt und der entsprechende Code direkt<br />
Seite 42<br />
III. Testinstrumente
in den Computer eingegeben werden kann. Die komplexen Multiple-Choice-Items stellen eine erweiterte<br />
Form der Multiple-Choice-Fragen dar, bei denen aus einer Serie von Ja/Nein- oder Richtig/Falsch-<br />
Antworten die jeweils richtige ausgewählt werden muss.<br />
Geschlossene Aufgaben<br />
Mit Hilfe des geschlossenen Aufgabenformats können komplexere Prozesse kontrolliert erfasst werden.<br />
Die Schüler/innen müssen selbst eine Antwort notieren, die meist aus einem Wort oder einer Zahl besteht,<br />
die direkt dem Text oder einer Tabelle entnommen werden kann. Vom Prinzip her ist dieser Aufgabentyp<br />
mit Multiple-Choice-Aufgaben vergleichbar, hat aber den Vorteil, dass Raten weniger leicht möglich ist.<br />
Weiters können auch hier die Antworten relativ leicht als richtig oder falsch beurteilt werden.<br />
Offene Aufgaben<br />
Bei diesem Aufgabentyp müssen die Schüler/innen selbst eine Antwort entwickeln, wobei zwischen<br />
langen und kurzen offenen Aufgaben unterschieden wird. Bei der kurzen Version müssen die<br />
Schüler/innen ein numerisches Ergebnis, einen richtigen Namen oder die Klassifikation für eine Gruppe<br />
von Objekten (o. ä.) darstellen und erläutern. Bei langen offenen Aufgaben werden die Schüler/innen<br />
aufgefordert, auch den Lösungsweg vollständig zu beschreiben oder zu begründen. Dadurch kann erfasst<br />
werden, was Schüler/innen auf Basis ihres<br />
eigenen Verständnisses bei einer Aufgabe produzieren<br />
können. Die Antworten auf die offenen<br />
8 % 8 %<br />
31 %<br />
21 %<br />
Aufgaben erfordern eine umfassende Beurteilung<br />
durch geschulte Coder/innen. Der Vorgang des<br />
Coding wird in Kapitel VIII ausgeführt.<br />
Abbildung III.4 zeigt die Prozentanteile der<br />
Aufgabenformate im Haupttest <strong>2006</strong> (ohne<br />
einstellungsbezogene Items). Von den 184<br />
Testaufgaben des Haupttests erfordern 39 % eine<br />
Antwort durch die Schüler/innen (kurzes und<br />
langes offenes Format). Bei etwas mehr als der<br />
Hälfte der Aufgaben wählen die Schüler/innen<br />
aus mehreren vorgegebenen Antwortalternativen<br />
eine aus (Multiple-Choice oder komplexe Multiple-Choice-Aufgabe),<br />
die geschlossenen Aufgaben<br />
haben einen Anteil von 8 %.<br />
32 %<br />
lange, offene Aufgaben<br />
kurze, offene Aufgaben<br />
geschlossene Aufgaben<br />
komplexe Multiple-Choice-Aufgaben<br />
Multiple-Choice-Aufgaben<br />
Abbildung III.4: Überblick über die Verteilung der<br />
Itemformate in <strong>PISA</strong> <strong>2006</strong><br />
3. Itementwicklung<br />
Die Entwicklung der Testaufgaben ist ein zentrales Element von <strong>PISA</strong>. Als theoretische Basis für<br />
die Itementwicklung dienen die in Abschnitt 1 idK. beschriebenen Frameworks. Der Prozess der<br />
Itementwicklung gliedert sich in zwei Phasen: zum einen werden Aufgaben von internationalen<br />
Expertenzentren entworfen, zum anderen werden die Teilnehmerländer eingeladen, Items einzureichen.<br />
Bevor die Aufgaben zur Erprobung im Feldtest eingesetzt werden, werden diese von internationalen und<br />
nationalen Expertinnen und Experten begutachtet und überarbeitet. Nach dem Feldtest werden umfangreiche<br />
Itemanalysen durchgeführt, auf deren Basis die Aufgaben für den Haupttest ausgewählt und überarbeitet<br />
werden. Durch diese Vorgehensweise wird sichergestellt, dass letztlich jene Aufgaben ausgewählt<br />
werden, die in allen Teilnehmerländern einwandfreie Itemstatistiken aufweisen.<br />
Zur Erfassung der Hauptdomäne Naturwissenschafts-Kompetenz in <strong>PISA</strong> <strong>2006</strong> wurde ein breites<br />
Spektrum an neuen Aufgaben entwickelt. Für die beiden Subdomänen Mathematik und Lesen wurden<br />
„alte“ Aufgaben (aus <strong>PISA</strong> 2000 und 2003) eingesetzt, die in unveränderter Form übernommen werden<br />
III. Testinstrumente<br />
Seite 43
können und somit keinem Feldtest mehr unterzogen werden brauchen. Durch den Einsatz dieser so genannten<br />
Link-Items wird der Schwierigkeitsgrad der Leistungsskala verankert und somit sichergestellt,<br />
dass die Fähigkeitswerte der Schüler/innen in <strong>PISA</strong> 2000 und 2003 mit jenen aus <strong>PISA</strong> <strong>2006</strong> vergleichbar<br />
sind. Für die Naturwissenschafts-Aufgaben in <strong>PISA</strong> <strong>2006</strong> ist dieser Vergleich nicht möglich, da für<br />
die Erfassung der Naturwissenschafts-Kompetenz als Hauptdomäne eine Neugewichtung der Testinhalte<br />
vorgenommen wurde und die Naturwissenschaftsskala somit in <strong>PISA</strong> <strong>2006</strong> neu verankert wird.<br />
Im Folgenden wird das Vorgehen bei der Itementwicklung chronologisch dargestellt.<br />
3.1 Itementwicklung und Erprobung im Feldtest<br />
Die Itementwicklung findet auf internationaler Ebene im Rahmen eines genau vorgeschriebenen<br />
Entwicklungsprozesses statt. Dieser gliedert sich, wie bereits oben erwähnt, in zwei Phasen – die<br />
Itementwicklung durch Expertenzentren und die Entwicklung von Items durch die Teilnehmerländer.<br />
Die Testaufgaben sind in Form von Units zu erstellen, d. h. sie beinhalten einen oder mehrere Stimuli mit<br />
einer oder mehreren Fragen (=Items) sowie die zu jeder Frage (Item) gehörenden Bewertungsvorgaben<br />
(vgl. Abschnitt 2.1 idK.). Wenn im Folgenden von „Items“ oder „Aufgaben“ die Rede ist, sind damit die<br />
einzelnen Testfragen gemeint, entwickelt werden die einzelnen Items jedoch immer in Form von Units.<br />
3.1.1 Itementwicklung – Phase 1<br />
In <strong>PISA</strong> <strong>2006</strong> waren fünf Expertenzentren an der Entwicklung der Naturwissenschaftsaufgaben beteiligt<br />
(Item Development Centres/IDCs): ACER, Cito, NIER, ILS (Universität Norwegen) und IPN<br />
(Universität Kiel) 2 . Jedes Item Development Centre entwickelt zunächst Items in einer Draftversion,<br />
die im Anschluss „Cognitive Laboratory“ Prozessen unterzogen werden. Das sind Prozeduren wie z. B.<br />
lautes Denken, die von Spezialisten durchgeführt werden und sehr viel Expertise und Training verlangen.<br />
Anhand dieser Überprüfungen wird die jeweilige Aufgabe entweder abgelehnt oder revidiert. In einem<br />
weiteren Schritt werden diese revidierten Aufgaben (bzw. Units) dann zwischen den verantwortlichen<br />
Konsortiumspartnern ausgetauscht und nochmals in einem „Cognitive Laboratory“ überprüft. Die IDCs<br />
werden zudem bei der Überprüfung der Items (bzw. Units) aus den Teilnehmerländern (Phase 2) eingebunden.<br />
In Abbildung III.5 ist die erste Phase der Itementwicklung, welche durch die IDCs vorgenommen<br />
wird, dargestellt.<br />
3.1.2 Itementwicklung – Phase 2<br />
Die Entwicklung von Aufgaben (bzw. Units) in den Teilnehmerländern stellt die zweite Phase des<br />
Itementwicklungsprozesses dar (Richtlinien für die Itemerstellung in den Teilnehmerländern sind in<br />
Lang [2004] dargestellt). Bis Ende Juni 2004 wurden von insgesamt 21 Teilnehmerländern an die 200<br />
Aufgaben eingesendet, von denen letztlich 39 in den Feldtest aufgenommen wurden. Die Überprüfung<br />
der eingesendeten Aufgaben erfolgt durch die IDCs. Dabei wird sichergestellt, dass die Aufgaben mit dem<br />
Framework und anderen Richtlinien übereinstimmen und keine technischen Fehler aufweisen. Manche<br />
Teilnehmerländer richteten zur Entwicklung der Naturwissenschafts-Items nationale Komitees ein und<br />
pilotierten die entwickelten Aufgaben, wodurch eine deutlich bessere Qualität erzielt werden konnte,<br />
als wenn die Entwicklung der Items an Einzelpersonen vergeben wurde und die Aufgaben ohne interne<br />
Überprüfung eingesendet wurden (Report on <strong>PISA</strong> <strong>2006</strong> Science Item Development NPM (0409)19). In<br />
Abbildung III.6 auf der nächsten Seite ist der Ablauf dieser zweiten Prozessphase dargestellt.<br />
Nach diesem Entwicklungsprozess werden die neuen Aufgaben sowohl an die nationalen Zentren als<br />
auch an die jeweiligen internationalen Expertengruppen zur Begutachtung weitergeleitet. Für jeden<br />
Kompetenzbereich gibt es eine Expertengruppe auf internationaler Ebene (MEG = Mathematics Experts<br />
Group, REG für „Reading“ und SEG für „Science“). Einige Teilnehmerländer, darunter auch Österreich und<br />
Deutschland, arbeiten auch auf nationaler Ebene mit Fachexpertinnen und -experten zusammen, die u. a.<br />
bei der Begutachtung der Aufgaben mitwirken. Die österreichische Naturwissenschafts-Expertengruppe<br />
Seite 44<br />
III. Testinstrumente
für <strong>PISA</strong> <strong>2006</strong> setzt sich aus 14 Personen zusammen (Fachwissenschafter/innen, Fachdidaktiker/innen<br />
und Lehrer/innen) und wurde vom bm:bwk (jetzt: BMUKK) einberufen.<br />
Die Begutachtung der Aufgaben durch die Teilnehmerländer läuft parallel zur Itementwicklung auf internationaler<br />
Ebene (siehe Abbildung III.6). Ein standardisiertes Formular unterstützt dabei das Vorgehen<br />
IDC schickt Unit an<br />
ACER<br />
Unit wird von einem<br />
anderen IDC überprüft<br />
Überarbeitung der Unit<br />
am ursprünglichen IDC<br />
Überprüfung und Überarbeitung<br />
der Unit von<br />
1<br />
ACER<br />
Aufnahme der Unit in das<br />
nächste Item Bundle<br />
Item Bundle wird an<br />
NPMs, SEG und Haupt-<br />
Übersetzer gesendet<br />
Wenn notwendig werden<br />
Grafiken überprüft und<br />
überarbeitet<br />
Units werden mit mindestens<br />
50 Schüler/innen<br />
erprobt<br />
Items werden von ACER<br />
auf Basis der Rückmeldungen<br />
1<br />
überarbeitet<br />
Coding und Anlayse<br />
Items werden zur Übersetzung<br />
freigegeben und<br />
zum Editor gesendet<br />
1<br />
Letzte Überprüfung<br />
Unit kommt für den<br />
Feldtest in Betracht<br />
1<br />
bzw. auch Ausschluss von Items/Units<br />
Abbildung III.5: Prozessphase 1 – Itementwicklung durch die Item Development Centres (IDCs)<br />
III. Testinstrumente<br />
Seite 45
der nationalen Zentren sowie der Expertinnen und Experten. Folgende Kriterien sollen auf einer Skala<br />
von 1 (niedrigste Zustimmung) bis 5 (höchste Zustimmung) bewerten werden:<br />
• Lehrplan: Wie gut stimmt die Aufgabe mit dem Lehrplan der 15-/16-jährigen Schüler/innen in dem<br />
betreffenden Land überein?<br />
• Relevanz: Wie relevant ist die Aufgabe für die „Vorbereitung auf das Leben“ – wie es in den Frameworks<br />
definiert ist?<br />
• Interesse: Wie interessant ist die Aufgabe für die Schüler/innen? Werden die Jugendlichen durch<br />
neue und interessante Informationen, die in der Aufgabe enthalten sind, motiviert?<br />
• Kulturelle Färbung: Enthält die Aufgabe kulturelle, geschlechtsbezogene oder andere Färbungen,<br />
durch die eine Benachteiligung beim Lösen der Aufgabe entstehen kann?<br />
• Übersetzungsprobleme: Kann es durch die Übersetzung zu einer Veränderung der Aufgabenschwierigkeit<br />
kommen?<br />
Teilnehmerland<br />
sendet Unit<br />
Unit wird von einem<br />
IDC überprüft<br />
Unit erscheint ungeeignet<br />
Unit erscheint geeignet<br />
Rückmeldung durch ein<br />
weiteres IDC<br />
Ablehnung<br />
Rückmeldung an<br />
Teilnehmerland<br />
über Ablehnung<br />
Unit erscheint geeignet<br />
Rückmeldung an Teilnehmerland,<br />
dass Unit evtl.<br />
verwendet wird<br />
Überarbeitung oder<br />
1<br />
“Reserve”<br />
Reserve<br />
IDC überarbeitet Unit<br />
ACER überprüft und<br />
überarbeitet Unit<br />
Aufnahme in das nächste<br />
Item Bundle<br />
Kriterien: Qualität, Einzigartigkeit, Abdeckung des Frameworks, Internationale Abdeckung<br />
1<br />
Abbildung III.6: Prozessphase 2 – Itementwicklung durch die Teilnehmerländer<br />
Seite 46<br />
III. Testinstrumente
Auf der Basis des Feedbacks von den Teilnehmerländern (inklusive beteiligter nationaler Expertinnen und<br />
Experten), den internationalen Expertengruppen (IDCs und Sciene Expert Group) und den Erfahrungen<br />
aus dem Pilot-Test werden die Items revidiert und verbessert (siehe Abbildungen III.5 und III.6).<br />
Die endgültige Auswahl der Aufgaben für den Feldtest wird in den einzelnen internationalen<br />
Expertengruppen getroffen und erfolgt anhand folgender Kriterien:<br />
• Übereinstimmung mit dem Framework;<br />
• Höchst mögliche Qualität des Items;<br />
• Die Items sollen eine Mischung aus verschiedenen Stilen sein, um verschiedene mögliche Formen von<br />
Verzerrungen (kulturelle, nationale, geschlechtsspezifische etc.) zu minimieren;<br />
• Die Items sollten bezüglich der Schwierigkeit so breit wie möglich variieren.<br />
Im Feldtest 2005 wurden 222 neue Naturwissenschafts-Aufgaben getestet sowie 25 Naturwissenschafts-<br />
Link-Items eingesetzt. Zur Erfassung der Naturwissenschafts-Einstellungen wurden insgesamt 105<br />
Items entwickelt und erprobt, wobei eine spezifische Auswahl der „bestehenden“ Units (vgl. Abschnitt<br />
2 idK.) um die einstellungsbezogenen Komponenten erweitert wurde. Die in <strong>PISA</strong> <strong>2006</strong> enthaltenen<br />
Mathematik- und Leseaufgaben brauchten nicht mehr erprobt zu werden, da diese ohne Änderungen aus<br />
den vorangegangenen Zyklen übernommen wurden. Der Feldtest ist Bestandteil des Auswahlverfahrens<br />
der neu entwickelten Test-Items und dient der Erprobung sämtlicher Materialien und Prozeduren rund<br />
um die Testung. Er liefert keine Ergebnisse im inhaltlichen Sinn – bezogen auf die Schülerleistungen.<br />
3.2 Die Itemauswahl für den Haupttest<br />
Im Anschluss an den Feldtest führt das internationale Zentrum Itemanalysen auf internationaler Ebene<br />
über alle Teilnehmerländer hinweg, als auch separat für jedes Land, durch. Diese Itemstatistiken werden jedem<br />
Land in einem nationalen Feldtestbericht übermittelt, der bei der Begutachtung der nationalen Daten<br />
als Unterstützung dient. Der Feldtestbericht ist in jedem Erhebungszyklus gleich aufgebaut. Beispiele für<br />
den Aufbau und den Inhalt der Itemstatistiken finden sich in Lang (2004, Kapitel 3, Abschnitt 1.4). An<br />
dieser Stelle wird der Inhalt nur mehr kurz – in Anlehnung an Lang (2004) – erläutert.<br />
3.2.1 Deskriptive Statistiken aller Items<br />
Dieser Teil des Feldtestberichts enthält für jedes Item getrennt alle möglichen Antwortkategorien mit den dazugehörigen<br />
Scores (Bewertungspunkten), die Anzahl und den Prozentsatz der Antworten der Schüler/innen<br />
mit der Punkt-Biserialen-Korrelation sowie einen Diskriminationsindex. Die Punkt-Biseriale-Korrelation<br />
gibt Auskunft über den Zusammenhang zwischen dem Erfolg bei einem Item (Itemscore) und dem Gesamtwert<br />
(Testheftscores) für die jeweiligen Antwortkategorien. Bei den richtigen Antwortkategorien soll<br />
diese Korrelation positiv und bei den falschen Antwortkategorien negativ sein.<br />
Der Diskriminationsindex (Trennschärfe) gibt an, wie hoch die Scores der Schüler/innen bei diesem Item<br />
mit dem aggregierten Score über ein Set von Items derselben Domäne und im selben Testheft korrelieren.<br />
Dadurch wird beschrieben, inwieweit die Modellanpassung (s. u.) zwischen Individuen mit hohen Testwerten<br />
und Individuen mit geringen Testwerten unterscheidet. Items, die gut diskriminieren, weisen einen<br />
Koeffizient zwischen 0.3 und 0.7 auf. Koeffizienten unter 0.2 zeigen hingegen geringe Korrelationen<br />
zwischen Item- und Testheftscores an, negative lassen auf eklatante Probleme bei dem entsprechenden<br />
Item schließen.<br />
3.2.2 Vergleich des nationalen und internationalen Infit-Mean-Square und des Diskriminationskoeffizienten<br />
Der Infit-Mean-Square ist ein Index für die Modellanpassung (Item Response Model Fit). Das Rasch-<br />
Modell, mit dem die Daten skaliert werden, liefert für jeder Schülerin/jeden Schüler die Wahrscheinlichkeit<br />
für das Erreichen der verschiedenen Scores (Fähigkeitsparameter). Daher ist es möglich, die Vorhersage<br />
des Modells mit der Beobachtung für ein Item über alle Schülerinnen und Schüler hinweg zu vergleichen<br />
(Vergleich eines beobachteten Wertes mit einem Vorhergesagten). Die Akkumulierung dieser Vergleiche<br />
über die Schüler/innen hinweg liefert die Infit-Mean-Square-Statistik, bei der Werte nahe bei 1 wün-<br />
III. Testinstrumente<br />
Seite 47
schenswert sind. Je näher der Infit-Mean-Square bei 1 liegt, desto besser passt das Item zum verwendeten<br />
statistischen Modell (Rasch-Modell), bzw. desto besser beschreibt das gewählte Modell die vorliegenden<br />
Daten. Informationen zum Rasch-Modell und der Anwendung in <strong>PISA</strong> finden sich im internationalen<br />
Technischen <strong>Bericht</strong> zu <strong>PISA</strong> 2003 (OECD, 2005a, S. 119ff), oder auch im <strong>PISA</strong> 2003 Data Analysis<br />
Manual for SPSS Users (OECD, 2005b).<br />
Diese Statistik wird sowohl auf internationaler als auch auf nationaler Ebene berechnet und miteinander<br />
verglichen. Substantielle Unterschiede zwischen diesen beiden Werten (Land- und Gesamtwert) zeigen,<br />
dass sich das Item in einem Land im Vergleich zu den anderen Ländern anders verhält, was z. B. einen<br />
Fehler bei der Übersetzung reflektieren kann.<br />
Weiters wird in diesem Teil des nationalen Feldtestberichts auch der bereits zuvor beschriebene<br />
Diskriminationsindex auf nationaler und internationaler Ebene verglichen. Dieser Vergleich zeigt ebenso,<br />
ob ein Item generell oder nur in bestimmten Ländern einwandfrei funktioniert oder problematisch ist.<br />
3.2.3 Vergleich der nationalen und internationalen Itemschwierigkeits-Parameter und Schwellen<br />
(Item-Thresholds)<br />
Das oben erwähnte Rasch-Modell, mit dem die Leistungsdaten skaliert werden, liefert neben den Werten<br />
der Schülerfähigkeit auch Werte für die Itemschwierigkeit – den Itemschwierigkeits-Parameter. Der<br />
Vergleich des nationalen Itemschwierigkeits-Parameters mit dem internationalen gibt ebenso Aufschluss<br />
darüber, ob sich ein Item generell anders verhält, als das Modell vorhersagt, oder ob dies nur in einem<br />
Land vorkommt.<br />
Eine weitere Kontrolle diesbezüglich ermöglicht die Gegenüberstellung der Item-Thresholds (Schwellen).<br />
Die Item-Thresholds stellen jene Fähigkeitswerte dar, welche die Grenze zwischen den zu erlangenden<br />
Scores bei einer Aufgabe mit einer bestimmten Schwierigkeit bilden (Unter- und Obergrenze). Bei der<br />
Gegenüberstellung der nationalen und internationalen Item-Thresholds der einzelnen Aufgaben wird<br />
wiederum kontrolliert, ob sich diese unterschiedlich verhalten.<br />
3.2.4 <strong>Bericht</strong> über nationale „riskante“ Aufgaben (dodgy Items)<br />
Dieser <strong>Bericht</strong> führt alle Aufgaben an, die in dem betreffenden Land aus der Norm der oben beschriebenen<br />
Itemstatistiken fallen und aus diesem Grund genauer auf mögliche Übersetzungsfehler, kulturelle<br />
Passung etc. überprüft und gegebenenfalls überarbeitet werden müssen.<br />
Durch die Analyse der Feldtestdaten und deren Darstellung in den länderspezifischen <strong>Bericht</strong>en wird<br />
empirisch bestimmt, welche Aufgaben in allen oder den meisten Ländern zufrieden stellend funktionieren,<br />
bzw. welche Aufgaben entfernt werden müssen, weil sie zu wenig differenzieren oder sich auf andere<br />
Weise problematisch verhalten. Jedes Teilnehmerland hat die Items auf Grund des Feldtestberichts zu<br />
überarbeiten. Die Vorschläge und Kommentare eines Landes zum Feldtestbericht werden anhand eines<br />
standardisierten Formulars an das internationale Konsortium gesendet. Bei der Überarbeitung der Items<br />
arbeiten die deutschsprachigen Länder zusammen.<br />
Auf internationaler Ebene werden die Items ebenso auf Grund der Feldtestanalysen überarbeitet. Schließlich<br />
wird die Auswahl der Items für den Haupttest vorgenommen. Anschließend werden die Haupttestitems<br />
an die Teilnehmerländer gesendet, wo sie erneut einem Item-Review unterzogen werden, der nach denselben<br />
Kriterien und Vorgaben wie im Feldtest erfolgt.<br />
4. Übersetzung und Verifikation<br />
Bei <strong>PISA</strong> werden die Schüler/innen in ihrer Unterrichtssprache getestet. Daher müssen in jedem Land entsprechend<br />
der verwendeten Unterrichtssprachen der nationalen Stichprobe Versionen der Testinstrumente<br />
erstellt werden. Zum Beispiel werden in Südtirol sowohl Testhefte in Italienisch als auch in Deutsch eingesetzt.<br />
Seite 48<br />
III. Testinstrumente
Die Übersetzung der Aufgaben in die jeweilige(n) Landessprache(n) ist ein sehr heikler Punkt, da<br />
die Validität der Aufgaben (und somit deren Vergleichbarkeit) gewahrt bleiben muss. Es darf bei der<br />
Übersetzung z. B. nicht passieren, dass das Verständnis des Textes, der Grafiken, Tabellen oder Fragen<br />
schwerer oder leichter wird.<br />
Um die Vergleichbarkeit zwischen den nationalen Versionen gewährleisten zu können, gibt es bei <strong>PISA</strong><br />
spezielle Übersetzungs- und Verifikationsprozeduren. Diese finden sowohl vor dem Feld- als auch vor<br />
dem Haupttest statt, wobei der Verifikationsprozess vor dem Feldtest umfassender verläuft, da zu diesem<br />
Zeitpunkt die hauptsächliche Übersetzungsarbeit geleistet wird. Da beim Haupttest nur Aufgaben<br />
eingesetzt werden, die auch im Feldtest erprobt wurden, bezieht sich die Verifikation im Haupttest überwiegend<br />
auf die Verbesserungen und Adaptionen einzelner Aufgaben sowie auf die genaue Überprüfung<br />
jener Items, die sich bei den Feldtestanalysen auffällig verhalten haben (vgl. Abschnitt 3.2 idK.).<br />
4.1 Übersetzungsrichtlinien<br />
Für sämtliche Testmaterialien gibt es zwei Quellversionen, die zur Übersetzung herangezogen werden<br />
sollen: eine Englische und eine Französische. Bei der Übersetzung der englischen Aufgaben ins<br />
Französische durch das internationale Konsortium können viele Übersetzungsprobleme antizipiert und<br />
kleine Modifikationen in den Ausgangsversionen vorgenommen werden, bevor die Units an die nationalen<br />
Zentren weitergeleitet werden. Weiters bietet eine zweite Version eine bessere Veranschaulichung, bis zu<br />
welchem Ausmaß Abweichungen vom Original (z. B. bei Namen, Straßen, ...) erlaubt sind.<br />
Die Anforderungen an die nationalen Übersetzer/innen sind international festgelegt (z. B. perfekte<br />
Beherrschung einer der Sprachen der Quellversionen sowie der jeweiligen Testsprache, Vertrautheit mit<br />
dem Bereich Naturwissenschaft, Wissen über das Schulsystem). Die Richtlinien zur Qualifikation der<br />
Übersetzer/innen sind im Technischen <strong>Bericht</strong> 2003 (Lang, 2004) dokumentiert, da Österreich in <strong>PISA</strong><br />
2003 im Zuge der Übersetzungskooperation für die Übersetzung der neuen Mathematikunits und für die<br />
Koordination zur Erstellung der gemeinsamen deutschen Basisversion verantwortlich war (s. Abschnitt<br />
4.2).<br />
Double Translation<br />
Jedes Land muss zunächst von jeder Unit zwei unabhängige Übersetzungen (von zwei Übersetzerinnen/<br />
Übersetzern) erstellen lassen („double translation“). Dabei wird vom internationalen Zentrum empfohlen,<br />
für eine Version das englische Original und für die andere das französische Original als Ausgangsbasis zu<br />
verwenden. Im zweiten Schritt sollen dann diese beiden unabhängigen Versionen von einem/einer dritten<br />
Übersetzer/in zu einer nationalen Version zusammengeführt werden. Diese soll den Quellversionen so<br />
ähnlich wie möglich sein.<br />
Wenn es nicht möglich ist, aus beiden Quellversionen Übersetzungen zu generieren, müssen dennoch<br />
zwei unabhängige Versionen – wenn auch aus der gleichen Quellsprache – generiert und zusammengeführt<br />
werden. Bei diesem Vorgehen müssen bei der Zusammenführung der beiden Versionen so genannte<br />
„cross-checks“ mit der jeweils anderen Quellversion durchgeführt werden.<br />
Alle nationalen Anpassungen, die beim Testmaterial vorgenommen werden, müssen von den zuständigen<br />
Übersetzerinnen und Übersetzern in einem standardisierten Adaptionsformular dokumentiert werden,<br />
welches mit den übersetzten Units zur Verifikation gesendet wird (vgl. Abschnitt 4.3 idK.).<br />
4.2 Übersetzungskooperation deutschsprachiger Länder bei <strong>PISA</strong> <strong>2006</strong><br />
Wie bereits in <strong>PISA</strong> 2000 und 2003 arbeiten die deutschsprachigen Länder (Deutschland, Schweiz,<br />
Luxemburg und Österreich) bei der Übersetzung der Testinstrumente zusammen. Ziel dieser Kooperation<br />
ist es, eine gemeinsame deutsche Basisversion („Common German Version“) aller Units zu erstellen,<br />
die als Grundlage für die Adaptionen der einzelnen deutschsprachigen Länder dient. Der Vorteil der<br />
Übersetzungskooperation der deutschsprachigen Länder ist, dass die Übersetzungsarbeit für jedes Land<br />
geringer wird und die Versionen der einzelnen Länder besser vergleichbar sind. In <strong>PISA</strong> <strong>2006</strong> über-<br />
III. Testinstrumente<br />
Seite 49
nahm das IPN in Kiel (Leibniz-Institut für die Pädagogik der Naturwissenschaften, deutsches <strong>PISA</strong>-<br />
Zentrum für <strong>2006</strong>) die Übersetzung der neuen Naturwissenschaftsunits sowie die Koordination der<br />
Übersetzungsvorschläge der anderen deutschsprachigen Länder zur Erstellung der deutschen Basisversion.<br />
Dieser Vorgang wird im folgenden Abschnitt näher erläutert (vgl. Abschnitt 4.3 idK.).<br />
In den beiden anderen Domänen Mathematik und Lesen werden in <strong>PISA</strong> <strong>2006</strong> nur Link-Items eingesetzt,<br />
die in den deutschsprachigen Ländern bereits in der verifizierten Form aus <strong>PISA</strong> 2000 bzw. 2003<br />
vorliegen.<br />
4.3 Internationale Verifikation und nationale Adaptionen<br />
Die internationale Verifikation der Testaufgaben erfolgt für die deutschsprachigen Länder in zwei Schritten:<br />
Zuerst wird die gemeinsame deutsche Basisversion verifiziert, danach folgt die Verifikation der nationalen<br />
Adaptionen, die an dieser Basisversion von den einzelnen Ländern vorgenommen wurden.<br />
4.3.1 Die internationale Verifikation<br />
Das wichtigste Ziel der internationalen Verifikation ist die Sicherung der Qualität und Vergleichbarkeit<br />
aller nationalen Erhebungsinstrumente. Durchgeführt wird die Verifikation von professionellen<br />
Englisch- und Französischübersetzerinnen/-übersetzern, die die jeweilige Sprache der zu begutachtenden<br />
Testinstrumente als Muttersprache haben. Die Institution, die die Verifikation der nicht-englischsprachigen<br />
Testinstrumente durchführt, ist Vertragspartner des internationalen Konsortiums. Die Verifikatorinnen<br />
und Verifikatoren werden vom internationalen Zentrum geschult und erhalten eine Checkliste, anhand<br />
derer sie jede einzelne Aufgabe verifizieren müssen. Zusätzlich zu den Testaufgaben werden auch die allgemeinen<br />
Teile der Testhefte („Common Booklet Parts“) – wie z. B. die Einleitung – verifiziert.<br />
4.3.2 Die nationalen Adaptionen<br />
Damit die Schüler/innen die Aufgaben einwandfrei verstehen können ist es erforderlich, dass manche<br />
Phrasen, Wörter oder Namen nicht wortwörtlich übersetzt bzw. übernommen werden, sondern dass diese<br />
national adaptiert werden. Was adaptiert werden darf und was nicht, ist in den Übersetzungsrichtlinien<br />
genau festgehalten. Zum Beispiel dürfen Eigennamen von Personen und Straßen, Symbole und<br />
Abkürzungen sowie geografische Namen geändert werden. Nicht verändert werden dürfen z. B. das<br />
Itemformat, Antwortkategorien und der Name der fiktiven Währung, welche bei einigen Aufgaben verwendet<br />
wird. Um diesen Schritt der nationalen Anpassung zu vereinheitlichen, werden vom internationalen<br />
Zentrum bei den betreffenden Aufgaben Übersetzungshinweise eingefügt, in denen angegeben<br />
wird, ob eine nationale Adaption notwendig ist oder nicht. Eine weitere Erleichterung stellt das vom<br />
internationalen Zentrum entwickelte Adaptionsformular dar. Dieses beinhaltet für jede Aufgabe bereits<br />
jene Wörter, Namen oder Phrasen, die sehr wahrscheinlich an den nationalen Kontext angepasst werden<br />
müssen, aber auch Hinweise auf Textteile, die keinesfalls verändert werden dürfen. Eine der wichtigsten<br />
Aufgaben der Verifikatorinnen und Verifikatoren ist es zu prüfen, ob die vorgenommenen Adaptionen die<br />
Validität der Aufgabe gefährden.<br />
4.3.3 Ablauf der internationalen Verifikation<br />
Nachdem die Übersetzung der neuen Naturwissenschafts-Items in Deutschland erfolgt war, wurden die<br />
Units vom IPN an die nationalen Zentren der deutschsprachigen Länder zur Begutachtung gesendet. In<br />
Österreich wurden die Items auch von der Naturwissenschaftsexpertengruppe des BMUKK begutachtet<br />
und die Rückmeldungen der Expertinnen und Experten vom nationalen Zentrum bearbeitet. Im nächsten<br />
Schritt wurden die Anmerkungen der nationalen Zentren an das IPN zur Bearbeitung der deutschen<br />
Basisversion gesendet. Bei diesem Prozess wurde genau dokumentiert, welche Anregungen aufgenommen<br />
und eingearbeitet wurden, welche Vorschläge noch diskutiert werden mussten und welche abgelehnt wurden.<br />
Nach Fertigstellung der „Common German Version“ durch das IPN wurde diese zur internationalen<br />
Verifikation gesendet.<br />
Seite 50<br />
III. Testinstrumente
Nach Abschluss der Verifikation der deutschen Basisversion erhielt jedes deutschsprachige Land die verifizierte<br />
„Common German Version“ zur Einarbeitung der nationalen Adaptionen. Die adaptierten<br />
Aufgaben und das dazugehörende Formular wurden nach Einarbeitung der Änderungen vom nationalen<br />
Zentrum zur internationalen Verifikation gesendet, wo sie von dem/der zuständigen Verifikator/in im<br />
Adaptionsformular beurteilt und wenn notwendig mit Verbesserungsvorschlägen ergänzt wieder zurückgesendet<br />
wurden. Im nächsten Schritt wurden die Korrekturen am nationalen Zentrum eingearbeitet oder<br />
gegebenenfalls nochmals mit dem/der zuständige/n Verifikator/in diskutiert. Nachdem alle Adaptionen<br />
verifiziert wurden (d. h. allen Änderungen zugestimmt wurde), konnten die nationalen Testhefte zusammengestellt<br />
werden.<br />
4.3.4 Zusammenstellung der Testhefte<br />
In <strong>PISA</strong> <strong>2006</strong> wurden insgesamt 13 verschiedene Testheftformen eingesetzt (vgl. Abschnitt 2.1 idK.).<br />
Die Zusammenstellung der Testhefte erfolgt nach internationalen Richtlinien und darf erst dann erfolgen,<br />
wenn alle Bestandteile der Testhefte vollständig verifiziert sind: das Deckblatt, die „Common<br />
2003<br />
Oktober<br />
Erstes Meeting der SEG für <strong>PISA</strong> <strong>2006</strong>: Framework-Erweiterung<br />
und Itementwicklung<br />
2004<br />
Jänner-Oktober<br />
Oktober<br />
November<br />
Dezember<br />
Item Review (international und national)<br />
Aussendung der Link-Aufgaben an die Teilnehmerländer<br />
Übersetzung der Naturwissenschafts-Items (Erstellung der<br />
deutschsprachigen Basisversion durch das IPN in Kiel)<br />
Einarbeiten der nationalen Adaptionen in die deutschsprachige<br />
Basisversion<br />
2005<br />
Jänner - Februar<br />
März<br />
April - Mai<br />
August<br />
Oktober<br />
November<br />
Dezember<br />
Verifikation der nationalen Adaptionen<br />
Druck der Testinstrumente<br />
Feldtest<br />
Aussendung der Link-Aufgaben für den Haupttest<br />
Aussendung des Feldtest-<strong>Bericht</strong>s, Überarbeitung der Items<br />
(international, national)<br />
Aussendung der Liste mit den für den Haupttest vorgeschlagenen<br />
Naturwissenschafts-Items<br />
Aussendung der Naturwissenschafts-Items<br />
Einarbeiten der nationalen Adaptionen<br />
Einarbeiten und Beginn der Verifikation der nationalen Adaptionen<br />
<strong>2006</strong><br />
Jänner-Februar<br />
Februar<br />
April - Mai<br />
Oktober-November<br />
Verifikation der nationalen Adaptionen<br />
Druck der Testinstrumente<br />
Haupttest<br />
Aussendung des Haupttest-<strong>Bericht</strong>s, Itemanalysen (international,<br />
national)<br />
Abbildung III.7: Zeitlicher Überblick über die Erstellung der Testinstrumente für <strong>PISA</strong> <strong>2006</strong><br />
III. Testinstrumente<br />
Seite 51
Booklet Parts“ – das sind jene Teile, die in allen Testheften enthalten sind, wie z. B. die Anleitungen zum<br />
Ausfüllen der Tests – und natürlich die Testaufgaben. Zuerst werden die Aufgaben zu Clustern (Blöcke<br />
mit Aufgaben eines Kompetenzbereichs mit einer Bearbeitungszeit von 30 min, vgl. Abschnitt 2.1 idK.)<br />
zusammengestellt, danach folgt die Zusammensetzung aus Deckblatt, „Common Booklet Parts“ und<br />
jeweils vier Clustern (vgl. Abschnitt 2.1 idK.). Um zu überprüfen, dass alle Cluster richtig zusammengestellt<br />
sind und alle Testheftformen die richtigen Cluster beinhalten, gibt es vom internationalen Zentrum<br />
eine genaue Anleitung zur Zusammenstellung der Cluster und Testhefte sowie die Originalversionen der<br />
Booklets, die als Ansichts- und Vergleichsexemplare herangezogen werden.<br />
Zur Absicherung, dass bei der Zusammenstellung der Testhefte alle Vorgaben berücksichtigt werden und<br />
die Testinstrumente richtig zusammengestellt sind, werden die fertigen Testhefte zu einer letzten optischen<br />
Überprüfung zur Verifikation gesendet („Final Optical Check“ – FOC). Nach Abschluss dieser<br />
Überprüfung erhält das nationale Zentrum einen <strong>Bericht</strong> mit den letzten Anmerkungen zum Layout, anhand<br />
derer die Testhefte noch einmal überarbeitet werden. Bevor die Testhefte in die Druckerei gesendet<br />
werden, werden diese am nationalen Zentrum noch einmal sorgfältig kontrolliert.<br />
Abbildung III.7 auf der vorhergehenden Seite gibt einen Überblick über den zeitlichen Ablauf der<br />
Erstellung der Testinstrumente.<br />
5. Qualitätssicherung im Bereich Testinstrumente<br />
Die Qualitätssicherung im Bereich der Testinstrumente ergibt sich durch die Anwendung sämtlicher<br />
Prozeduren bei der Itemerstellung und Übersetzung der Testinstrumente – sie ist demnach ein integraler<br />
Bestandteil bei der Entwicklung der Testinstrumente.<br />
Einen zentralen Beitrag zur Sicherung der Qualität bei der Itementwicklung leistet das Framework, indem<br />
sich die Itementwickler/innen strikt an dessen Vorgaben halten müssen. Damit wird sichergestellt,<br />
dass Konsens herrscht in Bezug auf das, was getestet wird.<br />
Die Qualität der Aufgaben wird zudem durch den Itementwicklungsprozess und die Feldtestanalysen<br />
sichergestellt. Im Rahmen der Itementwicklung werden sämtliche Items von unterschiedlichen<br />
Expertenzentren (IDCs) überprüft sowie einem Pre-Pilottest unterzogen. Zudem werden die Aufgaben<br />
von den nationalen Zentren und nationalen Expertinnen und Experten begutachtet und auf Grund festgelegter<br />
Kriterien wie z. B. die Abdeckung des Items durch den Lehrplan, zu erwartende Probleme bei der<br />
Übersetzung, Bedenken bezüglich der Coding Instructions etc. beurteilt.<br />
Ein weiteres Qualitätsmerkmal bei der Itementwicklung stellt der Feldtest dar. Anhand der umfangreichen<br />
Datenanalysen werden die Aufgaben im Feld geprüft und schließlich jene Aufgaben für den Haupttest<br />
ausgewählt, die in allen Ländern eine zufriedenstellende Itemstatistik aufweisen.<br />
Ebenso werden nach dem Haupttest umfangreiche Itemanalysen nach den selben Kriterien wie beim<br />
Feldtest ausgeführt und Itemstatistiken erstellt. Indem genau überprüft wird, wie sich die einzelnen Items<br />
in den Teilnehmerländern verhalten haben, wird die Qualität der Aufgaben um ein weiteres überprüft<br />
und sichergestellt.<br />
Bei der Übersetzung der Aufgaben wird die Qualität der Testinstrumente durch umfangreiche Maßnahmen<br />
gesichert. Dazu gehört u. a. die zur Verfügungstellung von zwei Quellversionen (eine Englische und<br />
eine Französische) bzw. die Prozedur der doppelten Übersetzung durch zwei unabhängige Übersetzer/innen<br />
(Double Translation) sowie die Zusammenführung durch eine/n unabhängige/n Dritte/n. Darüber<br />
hinaus werden die Übersetzer/innen bei einem Training mit den spezifischen Bedingungen in <strong>PISA</strong><br />
(z. B. Wahrung der Validität der Aufgaben) vertraut gemacht. Weitere wichtige Maßnahmen stellen die<br />
Übersetzungs- und Anpassungsvorschriften für das Testmaterial dar, der Einsatz von standardisierten<br />
Formularen zur Dokumentation der Übersetzung und Adaptionen, die internationale Verifikation der<br />
Testinstrumente durch speziell geschulte Verifikator/innen, die rasche Übermittlung der Testmaterialien<br />
und Formulare über einen sicheren FTP-Server sowie der Abschlussbericht über die Verifikation an die<br />
Teilnehmerländer.<br />
Seite 52<br />
III. Testinstrumente
Bibliographie<br />
Haider, G. & Reiter, C. (Hrsg.). (2003). <strong>PISA</strong> 2003. Internationaler Vergleich von Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>.<br />
[WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm [Datum des Zugriffs:<br />
08.02.2007]<br />
Lang, B. (2001). Die Testinstrumente und Fragebögen. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden und<br />
Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 67–143). Innsbruck: Studienverlag<br />
Lang, B. (2004). Testinstrumente. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm<br />
[Datum des Zugriffs: 08.02.2007]<br />
OECD (Hrsg.). (1999). Measuring Student Knowledge and Skills. A new Framework for Assessment. Paris: OECD.<br />
OECD (Hrsg.). (2003a). The <strong>PISA</strong> 2003 Assessment Framework. Mathematics, Reading, Science and Problem Solving Kowledge<br />
and Skills. PARIS : OECD<br />
OECD (Hrsg.). (2003b). Literacy Skills for the world of Tomorrow – Further Results from <strong>PISA</strong> 2003. Paris : OECD<br />
OECD (Hrsg.). (2004). Lernen für die welt von morgen – erste Ergebnisse von <strong>PISA</strong> 2003. Paris : OECD<br />
OECD (Hrsg.). (2005a). <strong>PISA</strong> 2003. Technical Report. Paris: OECD<br />
OECD (Hrsg.). (2005b). <strong>PISA</strong> 2003 Data Analysis Manual. SPSS Users. Paris: OECD.<br />
OECD (Hrsg.). (<strong>2006</strong>). Assessing Scientific, Reading and Mathematical Literacy: A Framework fro <strong>PISA</strong> <strong>2006</strong>. OECD Publications.<br />
Paris<br />
<strong>PISA</strong>-Konsortium Deutschland (Hrsg.). (2004). <strong>PISA</strong> 2003. Der Bildungsstand der Jugendlichen in Deutschland – Ergebnisse des<br />
zweiten internationalen Vergleichs.<br />
1<br />
ACER = Australian Council for Educational Research; Cito ist ein führendes Institut für Testentwicklung in den Niederlanden,<br />
NIER = National Institute for Educational Policy Research of Japan, ILS = Institut für Lehrerbildung und Schulentwicklung,<br />
Universität Oslo, IPN = Institut für die Pädagogik der Naturwissenschaften, Universität Kiel<br />
III. Testinstrumente<br />
Seite 53
Seite 54<br />
III. Testinstrumente
IV<br />
KONTEXTFRAGEBÖGEN<br />
Ursula Schwantner<br />
1. Konzeption der Kontextfragebögen – das Kontext Framework<br />
1.1 Prioritäten des PGB und INES-Indikatoren<br />
1.2 Konzeptionelle Modelle<br />
1.3 Kontextbereiche in <strong>PISA</strong> <strong>2006</strong><br />
2. Entwicklung der internationalen Fragebögen<br />
2.1 Feldtest und Auswahl der Fragen für den Haupttest<br />
2.2 Übersetzung und Verifikation der Kontextfragebögen<br />
3. Der internationale Schülerfragebogen im Haupttest <strong>2006</strong><br />
4. Der internationale Schulfragebogen im Haupttest <strong>2006</strong><br />
5. Nationale Optionen<br />
5.1 Nutzung von Informationstechnologien<br />
5.2 Lesegewohnheiten/Rahmenbedingungen der Leseförderung<br />
5.3 Belastung in der Schule<br />
5.4 Befindlichkeit und Schulerfolg<br />
5.5 Qualität in Schulen<br />
6. Qualitätssicherung im Bereich Kontextfragebögen<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Böck, 2001; Eder, 2001; Haider, 2001; Lang, 2001; Reiter,<br />
2001) und <strong>PISA</strong> 2003 (Lang, 2004). Die Autorin dieses Kapitels dankt Margit Böck, Ferdinand Eder, Günter Haider, Birgit<br />
Lang und Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.
Zusätzlich zu den Leistungsdaten werden in <strong>PISA</strong> Kontextinformationen mittels Fragebögen auf<br />
Schul- und Schülerebene erhoben. Diese Kontextdaten ermöglichen es, Bildungsindikatoren zu entwickeln<br />
und diese in regelmäßigen Abständen zu erfassen. Dazu gehört u. a. die Bildung der Eltern, der<br />
sozioökonomische Status der Familie, aus der die Schüler/innen stammen, der Migrationshintergrund<br />
oder auch die formale Schulbildung der Jugendlichen.<br />
Außerdem werden Informationen in Bezug auf die jeweilige Hauptdomäne – in <strong>PISA</strong> <strong>2006</strong> die Naturwissenschafts-Kompetenz<br />
– erhoben, wie z. B. genereller und persönlicher Wert der Naturwissenschaft für<br />
die Schüler/innen, Interesse und Freude an naturwissenschaftlichen Fächern (Chemie, Biologie, Physik),<br />
Selbstwirksamkeit und Selbstkonzept der Schüler/innen in Bezug auf Naturwissenschaft, Unterricht und<br />
Lernen in den naturwissenschaftlichen Fächern sowie Kenntnisse über Berufe, die mit Naturwissenschaft<br />
zu tun haben etc.<br />
Die Kontextdaten stellen einen zentralen Punkt in der Ergebnisanalyse dar, da sie mit den Schülerleistungen<br />
in Verbindung gebracht werden können und somit Aufschluss über Zusammenhänge verschiedener<br />
Merkmale geben (z. B. Zusammenhang von sozioökonomischem Status, Migrationshintergrund und<br />
Schülerleistung oder von motivationalen Faktoren und Leistung).<br />
Die Fragebögen zur Erhebung der Kontextinformationen umfassen verschiedene Teile. Auf Schülerebene<br />
gibt es einen vom internationalen Zentrum entwickelten Fragebogen, der für alle Länder verpflichtend ist<br />
(„internationaler Schülerfragebogen“). Weiters gibt es als internationale Option einen Fragebogen über<br />
Informations- und Kommunikationstechnologien, der ebenfalls vom internationalen Zentrum entwickelt<br />
wird und von den Teilnehmerländern eingesetzt werden kann. In Österreich ist diese Option in <strong>PISA</strong> 2003<br />
und <strong>2006</strong> enthalten. Zusätzlich – wie bereits in <strong>PISA</strong> 2000 und 2003 – enthält der Schülerfragebogen in<br />
Österreich auch nationale Ergänzungen.<br />
Auf Schulebene gibt es ebenfalls einen internationalen Fragebogen, der in allen Teilnehmerländern einzusetzen<br />
ist; in Österreich wird dieser wiederum durch nationale Optionen ergänzt.<br />
Neu in <strong>PISA</strong> <strong>2006</strong> ist die internationale Option des Elternfragebogens, an der sich 16 Länder beteiligt<br />
haben. Da Österreich nicht teilgenommen hat, wird an dieser Stelle nicht näher auf diesen Fragebogen<br />
eingegangen. Der internationale Technische <strong>Bericht</strong> der OECD wird voraussichtlich Informationen zum<br />
Elternfragebogen enthalten.<br />
Im Folgenden wird auf die Konzeption und Entwicklung der Kontextfragebögen eingegangen, die<br />
Übersetzungsprozeduren werden beschrieben und die Erprobung im Feldtest bis hin zum Einsatz der<br />
Fragebögen im Haupttest dargestellt. Die nationalen Zusatzerhebungen auf Schul- und Schülerebene<br />
werden im Anschluss an diese Ausführungen näher erläutert. Abbildung IV.1 zeigt eine Übersicht über<br />
alle in Österreich in <strong>PISA</strong> <strong>2006</strong> verwendeten Fragebögen.<br />
1. Konzeption der Fragebögen – das Kontext-Framework<br />
Die Kontextfragebögen werden ebenso wie die Testinstrumente auf Basis eines Frameworks konzipiert<br />
(Contextual Framework). Dieses Kontext-Framework wird unter Berücksichtigung von drei Aspekten<br />
von internationalen Expertinnen und Experten in der Questionnaire Expert Group (QEG) entwickelt:<br />
(1) Einbezug aller relevanten Dimensionen durch Verbinden wesentlicher Komponenten bereits existierender<br />
theoretischer Modelle; (2) Vergleich dieser Komponenten mit den Prioritäten des PGB für <strong>PISA</strong><br />
<strong>2006</strong> mit dem grundlegenden Framework der OECD-Bildungsindikatoren (International Indicators of<br />
Education Systems = INES, Network A 1 ) und (3) Beurteilung der Durchführbarkeit und Eignung innerhalb<br />
des Designs von <strong>PISA</strong>.<br />
1.1 Prioritäten des PGB und INES-Indikatoren<br />
Das <strong>PISA</strong> Governing Board (PGB, vormals BPC = Board of Participating Countries) setzt Prioritäten<br />
hinsichtlich bestimmter Themenbereiche, über welche die Politiker/innen mit Hilfe der gewonnenen<br />
Daten Aussagen treffen möchten. Während die Prioritätenliste des PGB für <strong>PISA</strong> 2000 hauptsächlich den<br />
Seite 56<br />
IV. Kontextfragebögen
<strong>PISA</strong> <strong>2006</strong>: Internationaler Schülerfragebogen<br />
Der internationale Schülerfragebogen zur Erhebung der Kontextdaten auf Schülerebene ist in sieben<br />
inhaltliche Bereiche gegliedert. Die Bearbeitungszeit beträgt ca. 30 Minuten. Erfasst werden<br />
Informationen zu folgenden Themen:<br />
• Schülercharakteristiken (Alter, Geschlecht etc.)<br />
• Familiärer Hintergrund (Beruf und Schulbildung der Eltern, Migrationshintergrund, Besitztümer<br />
zuhause wie z. B. Computer oder Bücher)<br />
• Einstellungen zu Naturwissenschaft, Umweltthemen und Berufe, die mit Naturwissenschaft zu tun<br />
haben<br />
• Unterricht und Lernen in den naturwissenschaftlichen Fächern (u. Unterrichtszeit in anderen Fächern)<br />
Zusätzlich wurde in Österreich der internationale Fragebogen zur Nutzung von Informations- und<br />
Kommunikationstechnologien (ICT) eingesetzt.<br />
<strong>PISA</strong> <strong>2006</strong>: Internationaler Schulfragebogen für Schulleiter/innen<br />
Der internationale Schulfragebogen, der von den Schulleiter/innen ausgefüllt wird, hat eine Bearbeitungsdauer<br />
von ca. 30 Minuten und dient der Erhebung von Kontextvariablen auf Schulebene. Themen des<br />
Schulfragebogens sind u. a.:<br />
• Struktur und Organisation der Schule<br />
• Schulpersonal<br />
• Schulressourcen<br />
• Rechenschaftspflicht und Aufnahmepraktiken<br />
• Angebote in den Bereichen Naturwissenschaft und Umwelt<br />
• Berufsorientierung und weiterführende Ausbildung<br />
<strong>PISA</strong> <strong>2006</strong>: Nationale Zusatzerhebungen<br />
Die nationalen Zusatzerhebungen sind in den Schüler- und Schulfragebögen im Anschluss an den<br />
internationalen Teil enthalten.<br />
• Rahmenbedingungen der Leseförderung (Schul- und Schülerfragebogen)<br />
• Nutzung von Informationstechnologien (Schul- und Schülerfragebogen)<br />
• Qualität in Schulen (Schul- und Schülerfragebogen)<br />
• Befindlichkeit und Schulerfolg von Schülerinnen und Schülern am Übergang zur Sekundarstufe II<br />
(nur Schülerfragebogen)<br />
• Belastungen in der Schule (nur Schülerfragebogen)<br />
Abbildung IV.1: Kontextfragebögen in <strong>PISA</strong> <strong>2006</strong><br />
Familienhintergrund der Schüler/innen fokussierte und in <strong>PISA</strong> 2003 das Lernen und das Engagement<br />
der Schüler/innen in Mathematik, liegt der Schwerpunkt in <strong>PISA</strong> <strong>2006</strong> auf den Einstellungen der Schüler/innen<br />
zu Naturwissenschaft, den Erfahrungen der Jugendlichen mit Naturwissenschaft in und außerhalb<br />
der Schule, auf der Motivation der Schüler/innen sowie ihrem Interesse an Naturwissenschaft und<br />
ihrem Engagement für naturwissenschaftsbezogene Aktivitäten. Darüber hinaus ist dem PGB wichtig,<br />
dass grundlegende demografische Daten, welche Schlüsselfragen aus vorhergehenden Zyklen abbilden, als<br />
Kernbestandteile wieder eingefügt werden (Contextual Framework for <strong>PISA</strong> <strong>2006</strong>, Draft Version, NPM<br />
[0510]5).<br />
Das INES Network A schlägt Kriterien vor, mit Hilfe derer die politischen Prioritäten des PGB definiert<br />
und operationalisiert werden können und die in weiterer Folge auch für die Entwicklung verschiedener<br />
thematischer <strong>Bericht</strong>e relevant sind. Folgende Kriterien wurden für <strong>PISA</strong> <strong>2006</strong> vorgelegt:<br />
IV. Kontextfragebögen<br />
Seite 57
• Die Prioritäten müssen von einer andauernden politischen Relevanz und ebenso von andauerndem<br />
Interesse sein. Dazu gehört u. a., dass Daten erhoben werden, die Auskunft über die Leistungen eines<br />
Schulsystems geben sowie Bildungsergebnisse erklären und verbessern helfen. Ebenso sollen die Themen<br />
für die Öffentlichkeit interessant sein.<br />
• Die vorgeschlagenen Bereiche sollen einen internationalen Vergleich zulassen und eine Bereicherung<br />
zu dem darstellen, was durch nationale Evaluationen erreicht werden kann.<br />
• Die Konsistenz der Methoden zur Erfassung der Untersuchungsgebiete in <strong>PISA</strong> 2000 und 2003 soll<br />
gewahrt werden.<br />
• Die Themen müssen für das <strong>PISA</strong>-Design geeignet und technisch durchführbar sein.<br />
Die Integration der vorgeschlagenen Themen sowie der genannten Kriterien erfolgt im Zuge der<br />
Konzeption des Kontext-Frameworks durch die Questionnaire Expert Group.<br />
1.2 Konzeptionelle Modelle<br />
Grundlegend für das Kontext-Framework in <strong>PISA</strong> <strong>2006</strong> sind mehrere konzeptionelle Modelle der Evaluation<br />
von Bildungsleistung (educational achievement), die bereits in IEA-Studien über Naturwissenschaft<br />
und Mathematik eingesetzt wurden und sich hinsichtlich der thematischen Analysen als aussagekräftig<br />
erwiesen haben. Die komplexen Modelle enthalten Variablen und Zusammenhänge, welche die<br />
Schülerleistungen beeinflussen, und soziologischen, psychologischen und kognitiven Theorien entspringen<br />
2 . Aus diesen Modellen abgeleitet werden für <strong>PISA</strong> zwei Dimensionen als relevant betrachtet (s.<br />
Abbildung IV.2):<br />
Auf der ersten Dimension sind vier Ebenen relevant: Systemebene, institutionelle Ebene (Schulebene),<br />
Unterrichtsebene (Lernumgebung innerhalb der Institution – Klassenebene) sowie Schülerebene.<br />
Auf der zweiten Dimension wird in Antezedens, Prozesse und Ergebnisse unterschieden, welche auf<br />
allen vier Ebenen repräsentiert werden. „Antezedens“ bezieht sich auf jene Faktoren, die als vorgegeben<br />
gelten (u. a. Makrokontexte, Charakteristiken der Institution, Charakteristiken einer Unterrichtseinheit,<br />
Hintergrund und Charakteristiken der Schüler/innen). Mit „Prozessen“ werden Umstände bezeichnet,<br />
welche die Ergebnisse auf den vier Ebenen gestalten (u. a. Schulorganisation, institutionelle Ausführung,<br />
Lernumgebung, Lernen der Schüler/innen). Unter „Ergebnisse“ werden beobachtete Leistungen auf allen<br />
Ebenen verstanden.<br />
Die potenziellen Beziehungen und Zusammenhänge zwischen den einzelnen Komponenten – auch über<br />
die vier Ebenen hinweg – sind sehr komplex und vielfältig. Das Konsortium verzichtet daher darauf,<br />
explizite kausale Zusammenhänge auszuformulieren auch in Hinblick darauf, dass sich die vielen für<br />
<strong>PISA</strong> potenziell relevanten Verbindungen nicht in einem „generellen Modell“ integrieren lassen. Dieses<br />
zweidimensionale Modell soll daher mehr als „konzeptuelles Mapping“ verstanden werden, welches es<br />
ermöglicht, die für <strong>PISA</strong> relevanten Variablen zu identifizieren.<br />
In erster Linie werden in <strong>PISA</strong> die Elemente auf Schul- und Schülerebene erfasst. Informationen auf<br />
der Unterrichtsebene können auf Grund des <strong>PISA</strong>-Designs nur subjektiv – über die Einschätzungen der<br />
Schüler/innen darüber, wie sie ihren Unterricht erleben – gewonnen werden, wobei zu berücksichtigen<br />
ist, dass die Schüler/innen nicht klassenweise, sondern jahrgangsmäßig (meist aus mehreren Klassen) erfasst<br />
werden. Informationen auf Systemebene werden in <strong>PISA</strong> nicht direkt gewonnen, zum Teil können<br />
dazu einige <strong>PISA</strong>-Variablen auf Schulebene aggregiert werden. Um Systeminformationen zu bekommen,<br />
können jedoch auch andere Quellen herangezogen werden (z. B. OECD-Bildungsindikatoren/INES).<br />
1.3 Kontextbereiche in <strong>PISA</strong> <strong>2006</strong><br />
Folgende Forschungsgebiete sind auf Grund der Empfehlungen der Questionnaire Expert Group in <strong>PISA</strong><br />
<strong>2006</strong> integriert:<br />
• Schülerleistung und Geschlecht: Hier liegt der Fokus auf den Leistungen der Schüler/innen in allen<br />
drei Domänen, u. a. auf der Feststellung von Trends aus vorhergehenden <strong>PISA</strong>-Zyklen, aber auch im<br />
Vergleich mit anderen internationalen Studien wie PIRLS 3 und TIMSS 4 .<br />
Seite 58<br />
IV. Kontextfragebögen
Ebenen<br />
Antezedens<br />
Prozesse<br />
Ergebnisse<br />
Schulsystem-<br />
ebene<br />
Makroökonomischer und<br />
demografischer Kontext<br />
eines Landes<br />
(z. B. BIP, Wohlstandsverteilung)<br />
Richtlinien und Schulorganisation<br />
(z. B. Lehrer-Ausund<br />
Weiterbildung, Einschulungsalter)<br />
Ergebnisse auf Schulsystemebene<br />
(z. B. aggregierte<br />
Daten über Leistungen auf<br />
Systemebene, Gewohnheiten<br />
und Einstellungen, Fertigkeiten<br />
und Lernstrategien;<br />
Ergebnisse in Bezug auf<br />
Chancengerechtigkeit)<br />
Schulebene<br />
(schulische<br />
Institutionen)<br />
Charakteristiken schulischer<br />
Institutionen<br />
(z. B. Größe, Lage)<br />
Institutionelle Richtlinien und<br />
Praxis (z. B. Unterstützung des<br />
Unterrichts durch Materialien<br />
und Personal, Zugangsbeschränkungen,<br />
Schulklima,<br />
Schüler-Lehrer-Beziehung,<br />
Schulleitung)<br />
Ergebnisse auf Schulebene<br />
(z. B. aggregierte Daten über<br />
Leistungen auf Schulebene;<br />
Gewohnheiten, Einstellungen,<br />
Lernstrategien; Unterschiede<br />
in Bezug auf Hintergrund der<br />
Schüler/innen)<br />
Unterrichtsebene<br />
Unterrichtscharakteristiken<br />
(z. B. Lehrereigenschaften<br />
inkl. Qualifikation, Alter,<br />
Erfahrung; Eigenschaften<br />
der Klasse)<br />
Lernumgebung<br />
(z. B. Klassenzustand,<br />
Ordentlichkeit, Unterstützung<br />
durch Lehrperson, Unterrichtspraktiken<br />
wie Hausübungen,<br />
Umgang mit individuellen Unterschieden,<br />
Unterrichtsstruktur,<br />
Inhalte, Leistungserwartungen)<br />
Ergebnisse auf Unterrichtsebene<br />
(z. B. Lernmotivation,<br />
Nutzung von Unterrichtsressourcen,<br />
durchschnittliche<br />
Klassenleistung)<br />
Schülerebene Individueller Hintergrund<br />
(z. B. sozioökonomischer<br />
Status, Bildung der Eltern,<br />
Bildungsressourcen zu<br />
Hause, Sprache, Alter und<br />
Geschlecht)<br />
Individueller Lernprozess<br />
(Engagement und Einstellungen<br />
zur Schule, Ausdauer,<br />
Beteiligung, Lernzeit, Nutzung<br />
schulischer Ressourcen,<br />
Hausübungen)<br />
Individuelle Ergebnisse<br />
(z. B. Mathematik-,<br />
Naturwissenschafts- und<br />
Lese-Kompetenz, Gewohnheiten,<br />
Einstellungen, Fertigkeiten,<br />
Lernstrategien)<br />
Abbildung IV.2: Konzeptuelles Mapping – zweidimensionale Matrix mit Elementen<br />
des Kontext-Frameworks (Seite 14 NPM Doc.)<br />
• Engagement der Schüler/innen in Naturwissenschaft: Dieser thematische Aspekt weist zum Teil Parallelen<br />
mit <strong>PISA</strong> 2003 (Engagement in Mathematik) auf. Dazu gehören u. a. selbstbezogene Kognitionen,<br />
motivationale Präferenzen, emotionale Faktoren als auch verhaltensbezogene Variablen.<br />
• Unterricht und Lernen in den naturwissenschaftlichen Fächern: Hier geht es darum zu erfahren, wie<br />
Naturwissenschaft in der Schule unterrichtet wird und in welchem Ausmaß sich der Unterricht in<br />
verschiedenen Bildungs- und Schultypen unterscheidet.<br />
• Naturwissenschafts-Kompetenz und Umwelt: Die Schule wird als potenzielle Informationsquelle der<br />
Schüler/innen für Umweltprobleme und diesbezügliche Herausforderungen angesehen.<br />
• Organisation von Schulsystemen: Dieses Gebiet erforscht den Zusammenhang zwischen Naturwissenschafts-Kompetenz<br />
und Strukturcharakteristiken der Bildungssysteme. Dazu zählen z. B., ob ein generelles<br />
oder ein spezifiziertes Curriculum eingesetzt wird (integrierter Naturwissenschaftsunterricht<br />
vs. spezifische naturwissenschaftliche Fächer), differenziertes- vs. nicht-differenziertes System oder<br />
zentralisiertes vs. dezentralisiertes Schulmanagement.<br />
IV. Kontextfragebögen<br />
Seite 59
• Naturwissenschaft und Arbeitsmarkt: Bei diesem Forschungsgebiet geht es um die Rolle und den Wert<br />
naturwissenschaftlicher Bildung und Naturwissenschafts-Kompetenz als Vorbereitung auf einen späteren<br />
Beruf. Dazu gehören z. B. die Praxis der Schule und die Erwartungen der Schüler/innen in<br />
Bezug auf Berufsorientierung und ob Information über Berufe, die in Verbindung mit Naturwissenschaft<br />
stehen, vermittelt werden.<br />
Alle Forschungsbereiche wurden im Feldtest hinsichtlich ihrer Aussagekraft untersucht. Auf Grund der<br />
Feldtestanalysen wurden die relevanten Kontextfaktoren für den Haupttest ausgewählt. Dieser Vorgang<br />
wird im Folgenden näher erläutert.<br />
2. Entwicklung der internationalen Fragebögen<br />
Die Entwicklung der internationalen Fragebögen findet wie die Konstruktion der Testaufgaben hauptsächlich<br />
auf internationaler Ebene statt. Neben den neu entwickelten Fragen werden in jedem Zyklus<br />
wesentliche demografische Basisdaten erfasst (z. B. Geschlecht, Schulstufe, sozioökonomischer Status,<br />
die zu Hause gesprochene Sprache). Das regelmäßige Einbeziehen derartiger Fragen erlaubt Vergleiche<br />
über die Zeit hinweg. Zudem werden relevante Fragen aus den vorangegangenen Zyklen in Abstimmung<br />
mit der Prioritätenliste des PGB und dem Kontext-Framework übernommen oder für den neuen Zyklus<br />
modifiziert.<br />
Die neuen Fragen werden auf Basis des Kontext-Frameworks und den Prioritäten des PGB von der<br />
Fragebogenexpertengruppe (Questionnaire Expert Group = QEG) entwickelt. Die QEG arbeitet dabei<br />
mit der jeweiligen Expertengruppe der Hauptdomäne zusammen (in <strong>PISA</strong> <strong>2006</strong> ist dies die SEG<br />
= Science Expert Group/Expertengruppe für die Hauptdomäne Naturwissenschaft) um die relevanten<br />
Kontextvariablen für die Hauptdomäne zu identifizieren und zu definieren. In <strong>PISA</strong> <strong>2006</strong> kommt dabei<br />
der Verknüpfung der einstellungsbezogenen Fragen, die über die Testhefte erfasst werden und jenen, die<br />
in den Kontextfragebögen behandelt werden, ein besonderer Stellenwert zu (vgl. dazu Kapitel III).<br />
Die neu entwickelten Kontextfragen werden vor dem Feldtest vom internationalen Zentrum in einem so<br />
genannten „Cognitive Laboratory“ analysiert (verschiedene Verfahren, anhand derer die Fragen kognitiv<br />
genau analysiert werden; wird auch bei den Testaufgaben angewendet) und in einer Pilotstudie getestet.<br />
Für die Teilnehmerländer besteht die Möglichkeit, die Inhalte und Formulierungen der Fragen im<br />
Rahmen der Meetings für Nationale Projektmanager (NPM-Meeting) zu besprechen.<br />
Auf Basis der Analysen, den Ergebnissen aus der Pilotstudie und den Anregungen der nationalen<br />
Projektmanager werden die Fragen nochmals überarbeitet und im Anschluss daran die Feldtestversion<br />
der Fragebögen erstellt. Danach beginnt der Prozess der Übersetzung und Adaption der Fragebögen (vgl.<br />
Abschnitt 2.2 idK.).<br />
2.1 Feldtest und Auswahl der Fragen für den Haupttest<br />
Der Feldtest dient dazu, die Kontextfragebögen zu prüfen. Die zu erprobenden Fragen aus dem<br />
Schülerfragebogen wurden auf vier Versionen (A, B, C, D) aufgeteilt. Die einzelnen Fragen dieser vier<br />
Versionen sind zum Teil inhaltlich ident, unterscheiden sich jedoch hinsichtlich ihrer Formulierung oder<br />
in der Art der Antwortvorgaben bzw. der Skalierung. Somit kann im Feldtest geprüft werden, welche<br />
Fragen und welche Antwortkategorien zu einem validen und reliablen Ergebnis führen. Mit den Daten<br />
der Feldtestfragebögen werden – wie mit den Leistungsdaten – umfangreiche Analysen vom internationalen<br />
Zentrum durchgeführt, welche die Grundlage für die Auswahl der endgültigen Fragen für den<br />
Haupttest darstellen:<br />
• Analyse der fehlenden Werte: Um die Länge der Fragebögen zu überprüfen und festzustellen, ob es<br />
bestimmte Fragen gibt, die von vielen Schülerinnen und Schülern bzw. Schulleiterinnen und Schulleitern<br />
nicht beantwortet werden, werden fehlende Antworten sowohl innerhalb der einzelnen Länder<br />
als auch über alle Länder hinweg genau analysiert.<br />
Seite 60<br />
IV. Kontextfragebögen
• Analyse der Antwortmuster: Bei Fragen, die eine Antwort auf einer Skala mit mehreren Abstufungen<br />
erfordern, kann es sein, dass diese nach einem bestimmten Muster beantwortet werden (z. B.<br />
die Zustimmung zu einer Reihe von Statements auf einer vierstufigen Skala angeben). Da derartige<br />
Antwortmuster die Validität der Ergebnisse beeinflussen, versucht man diese zu entdecken bzw. die<br />
Wirkung verschiedener Skalen bei der Beantwortung miteinander zu vergleichen.<br />
• Analyse der Item-Struktur: Um zu überprüfen, ob sich die einzelnen Konstrukte (die mithilfe von<br />
Einzelitems gebildet werden) voneinander unterscheiden, werden hauptsächlich mit den neu entwickelten<br />
Aufgaben Faktorenanalysen durchgeführt.<br />
Die Ergebnisse dieser Analysen sind im Feldtestbericht über die Fragebögen enthalten, der an alle<br />
Teilnehmerländer gesendet wird. Darin sind für jedes Teilnehmerland die Häufigkeitstabellen zu jeder<br />
einzelnen Frage im Schul- und Schülerfragebogen enthalten sowie die Ergebnisse der Faktorenanalysen.<br />
Die Feldtestanalysen dienen insbesondere der QEG zur Revision der Fragebogenitems. Darüber hinaus<br />
wurde speziell in <strong>PISA</strong> <strong>2006</strong> ein Forum veranstaltet, bei dem die einstellungsbezogenen Fragen, die in den<br />
Tests und Fragebögen beinhaltet sind, besprochen wurden. An einem Forum können sowohl die nationalen<br />
Projektmanager als auch andere involvierte Personen eines Teilnehmerlandes, wie z. B. Expertinnen<br />
und Experten, teilnehmen. Die nationalen Projektmanager haben darüber hinaus die Möglichkeit, bei einem<br />
NPM-Meeting (National-Project-Manager-Meeting) auf die Feldtestanalysen der Fragebogenitems<br />
einzugehen bzw. diese zu besprechen.<br />
Auf Grund der Feldtestanalysen, der Anmerkungen aus dem Forum und der Rückmeldungen der nationalen<br />
Projektmanager entscheidet die QEG, welche Fragen für den Haupttest überarbeitet und darin<br />
aufgenommen werden.<br />
2.2 Übersetzung und Verifikation der Kontextfragebögen<br />
Das Wichtigste bei der Übersetzung der Fragebögen ist, dass die Fragen von den Schülerinnen und<br />
Schülern sowie Schulleiterinnen und Schulleitern einwandfrei verstanden werden und gleichzeitig die<br />
Vergleichbarkeit zwischen den Teilnehmerländern gesichert wird. Die Instruktionen für die Durchführung<br />
der Befragung und die Fragen selbst müssen so deutlich wie möglich formuliert sein und für jede/n die<br />
gleiche Bedeutung haben.<br />
Für die Übersetzung der Fragebögen gelten dieselben Richtlinien wie für die Übersetzung der<br />
Testinstrumente. Für eine genaue Beschreibung sei daher an dieser Stelle auf Abschnitt 4.1 in Kapitel III<br />
verwiesen. Anhand der folgenden Ausführungen wird jedoch der spezifische Ablauf der Übersetzung und<br />
Verifikation der Fragebögen erläutert.<br />
2.2.1 Double Translation<br />
Die internationalen Fragebögen (Schul- und Schülerfragebögen) und Optionen stehen den<br />
Teilnehmerländern in einer englischen und einer französischen Originalversion zur Verfügung. Wie bei<br />
den Testinstrumenten müssen auch hier zunächst zwei unabhängige Übersetzungen erzeugt werden, die<br />
anschließend zu einer Version zusammengeführt werden. Die hauptsächliche Übersetzungsarbeit für die<br />
Fragebögen erfolgt im Rahmen des Feldtests. In Österreich wurde dazu aus beiden Quellversionen übersetzt<br />
(Englisch und Französisch) und am nationalen Zentrum zusammengeführt.<br />
2.2.2 Nationale Anpassungen<br />
Bei der Übersetzung der Fragebögen sind wesentlich mehr nationale Anpassungen nötig als bei den<br />
Testaufgaben. Ein Grund dafür ist, dass es in erster Linie auf die Verständlichkeit der Fragen ankommt.<br />
Einen weiteren Grund liefert die Tatsache, dass die einzelnen Schulsysteme so verschieden sind, dass die<br />
Fragen international unmöglich so formuliert werden können, dass sie auf alle Schulsysteme zutreffen.<br />
Alle Begriffe und Ausdrücke, die in vielen Ländern eine Anpassung verlangen, sind in der Quellversion<br />
gekennzeichnet. Diese Ausdrücke müssen so übersetzt werden, wie sie tatsächlich von den Schülerinnen<br />
und Schülern sowie Lehrerinnen und Lehrern verwendet werden (z. B. „Test“ wird in Österreich mit<br />
„Schularbeit“ übersetzt und in Deutschland mit „Klassenarbeit“). Weiters gibt es zu jeder Frage Hinweise<br />
IV. Kontextfragebögen<br />
Seite 61
und Erklärungen zur Übersetzung. Wie bei den Testheften müssen auch hier alle Anpassungen in einem<br />
standardisierten Adaptionsformular genau dokumentiert werden.<br />
2.2.3 Internationale Verifikation<br />
Auf Grund der teilweise sehr umfangreichen Anpassungen ist bei der Verifikation der Fragebögen<br />
ein Zwischenschritt vorgeschrieben. Dabei beurteilt das internationale Zentrum die internationale<br />
Vergleichbarkeit der adaptierten Fragen, bezogen auf den Inhalt der Fragestellung. Indem das nationale<br />
Projektzentrum seinerseits das Funktionieren der Frage im eigenen Land sicherstellen muss, erfordert<br />
diese Phase einen Diskussionsprozess, bei dem es darum geht, eine für beide Seiten akzeptable Lösung bei<br />
allen Adaptionen zu finden.<br />
Nach dieser ersten Genehmigung werden die Fragebögen mit der Liste der Anpassungen zur zweiten<br />
Verifikation, bei der es vor allem um die sprachliche Verifikation geht, zum Vertragspartner des internationalen<br />
Zentrums (der für die Verifikation der deutschsprachigen Testinstrumente zuständig ist) gesendet.<br />
Dabei werden die Adaptionen noch einmal genau geprüft und, wenn nötig, Änderungsvorschläge von<br />
den Verifikatorinnen und Verifikatoren vorgebracht, die mit dem nationalen Zentrum diskutiert werden.<br />
Im Anschluss an die Einarbeitung der Verbesserungsvorschläge werden die Fragebögen (ebenso wie die<br />
Testinstrumente) einem letzten optischen Check (Final Optical Check) unterzogen (Lang, 2004).<br />
2.2.4 Übersetzungskooperation<br />
Im Zuge der Übersetzungskooperation der deutschsprachigen Länder (vgl. Kapitel III) wurde vereinbart,<br />
dass Österreich einen wesentlichen Teil der Übersetzung der Fragebögen übernimmt und eine deutsche<br />
Basisversion erstellt („Common German Version“). Diese „Common German Version“ wurde aus zwei<br />
unabhängigen Übersetzungen der englischen und französischen Quellversionen am nationalen Zentrum<br />
zusammengeführt (siehe „Double Transaltion“). Anschließend wurde diese Version zur Adaption an<br />
die deutschsprachigen Länder weitergesendet. Bei der Fragebogenverifikation wird – anders als bei der<br />
Verifikation der Testaufgaben – nicht die deutschsprachige Basisversion verifiziert, sondern gleich die<br />
jeweilige nationale Version. In Bezug auf die Adaptionen jener Ausdrücke, die in den Originalversionen<br />
gekennzeichnet sind, tauschen sich die deutschsprachigen Länder untereinander aus.<br />
3. Der internationale Schülerfragebogen im Haupttest <strong>2006</strong><br />
Der internationale Teil des Schülerfragebogens für den Haupttest besteht aus sieben inhaltlichen Bereichen.<br />
Zusätzlich wurde in Österreich die internationale Option über Informations- und Kommunikationstechnologien<br />
eingesetzt. Zu folgenden Themen werden im Schülerfragebogen Informationen erfasst:<br />
• Schülercharakteristiken: Schulstufe, Alter, Geschlecht;<br />
• Familiärer Hintergrund: Beruf der Eltern, Schul- und Ausbildung der Eltern, Geburtsland und die<br />
Sprache, die zu Hause am häufigsten gesprochen wird, Besitztümer zu Hause (kulturelle Besitztümer,<br />
Computer, zu Hause vorhandene Lernunterlagen, Anzahl der Bücher zu Hause);<br />
• Einstellungen zu Naturwissenschaft: Wertschätzung der Naturwissenschaft (allgemeiner und persönlicher<br />
Nutzen für die Schüler/innen), Freude und Interesse an Naturwissenschaft, Selbstwirksamkeit<br />
und Selbstkonzept in Naturwissenschaft, Informationsquellen für naturwissenschaftliche Themen,<br />
Teilnahme an naturwissenschaftlichen Aktivitäten;<br />
• Umweltthemen: Kenntnis von Umweltthemen, Besorgnis und Optimismus in Bezug auf Umweltthemen,<br />
Verantwortung gegenüber Ressourcen und der Umwelt, Informationsquellen für Umweltthemen;<br />
• Unterricht und Lernen in den naturwissenschaftlichen Fächern (Chemie, Biologie und Physik): besuchte<br />
Fächer im laufenden Schuljahr, interaktiver Unterricht (Diskussionen im Unterricht), Experimentieren<br />
im Unterricht, naturwissenschaftliche Untersuchungen entwickeln, durchführen und ausprobieren,<br />
Anwendungsbezug des Unterrichts, instrumentelle Motivation, zukunftsorientierte Motivation;<br />
relative Wichtigkeit, in Naturwissenschaft gut zu sein;<br />
Seite 62<br />
IV. Kontextfragebögen
• Unterricht und Lernen: Unterrichtszeit in den naturwissenschaftlichen Fächern, in Mathematik,<br />
Deutsch und anderen Fächern;<br />
• Berufe und Naturwissenschaft: Vorbereitung durch die Schule auf einen Beruf, der mit Naturwissenschaft<br />
zu tun hat; Wissen über Berufe, die mit Naturwissenschaft zu tun haben; Frage nach den<br />
Berufsvorstellungen der Schüler/innen;<br />
Der Schülerfragebogen wird von den Schülerinnen und Schülern im Anschluss an die Bearbeitung des<br />
Testhefts beantwortet, was etwa 30 Minuten in Anspruch nimmt (hinzu kommen 15 Minuten für die<br />
Bearbeitung des nationalen Fragebogenteils).<br />
Wie bereits in <strong>PISA</strong> 2003 nimmt Österreich auch in <strong>PISA</strong> <strong>2006</strong> an der internationalen Option über<br />
Informations- und Kommunikationstechnologien (ICT) teil. Der Fragebogen wurde gegenüber<br />
<strong>PISA</strong> 2003 gekürzt. Um der zunehmenden Vertrautheit der Schüler/innen mit ICT und der Bandbreite<br />
an möglichen Aufgaben zu entsprechen, wurde die Skala zur Selbsteinschätzung der Fähigkeiten der<br />
Schüler/innen für <strong>PISA</strong> <strong>2006</strong> aktualisiert. Die Fragen des ICT-Teils werden im Anschluss an den internationalen<br />
Fragebogenteil gestellt. In Österreich stellt der ICT-Fragebogen auch eine gute Ergänzung zum<br />
nationalen Zusatzprojekt über die Nutzung von Informationstechnologien dar (vgl. Abschnitt 5.1 idK.).<br />
Der Fragebogen lässt sich in die folgenden zwei Themenbereiche gliedern:<br />
• Nutzung von ICT: Dauer und Häufigkeit der Computernutzung, Nutzung des Computers zuhause,<br />
in der Schule, an einem anderen Ort; Verwendung des Computers für Internet, Spiele, Unterhaltung,<br />
Programme nutzen (Dokumente schreiben, Tabellen kalkulieren, Grafikprogramme), Umgang mit<br />
Software (u. a. eigenständiges Programmieren)<br />
• Einschätzung der eigenen ICT-Fähigkeiten: Routinetätigkeiten (z. B. ein Textverarbeitungsprogramm<br />
verwenden, eine Datei auf dem Computer verschieben, Daten auf eine CD kopieren), Internetfähigkeiten<br />
(z. B. chatten, Informationen im Internet suchen, E-Mails schreiben und versenden) sowie<br />
„high level tasks“ (z. B. eine Website oder eine Multimedia Präsentation erstellen)<br />
4. Der internationale Schulfragebogen im Haupttest <strong>2006</strong><br />
Im internationalen Schulfragebogen, der von den Schulleiterinnen und Schulleitern ausgefüllt wird, sind<br />
in <strong>PISA</strong> <strong>2006</strong> folgende Bereiche enthalten:<br />
• Struktur und Organisation der Schule: Schulstandort und Schulgröße, Management und Finanzierung<br />
(öffentliche/private Finanzierung), Schulstufen, Anzahl an Repetentinnen und Repetenten, Klassengrößen,<br />
Unterrichtsorganisation;<br />
• Personal und Schulressourcen: Schulpersonal (Anzahl und formale Qualifikation der Lehrpersonen),<br />
Aufgabenverteilung und Einflussnahme, Schulressourcen (Anzahl der Computer, Unterrichtsressourcen,<br />
Materialien, Lehrermangel);<br />
• Rechenschaftspflicht und Aufnahmepraktiken: Vorgehen bei der Leistungsrückmeldung, Rechenschaftspflicht<br />
gegenüber Eltern, Involvierung der Eltern in Bezug auf Leistungsforderungen, Möglichkeiten<br />
der Eltern bei der Schulwahl, Aufnahmekriterien;<br />
• Naturwissenschaft und Umwelt: Angebot an Aktivitäten für Schüler/innen, Lehrplan;<br />
• Berufsorientierung und weiterführende Ausbildung: Berufsorientierung als Teil des Unterrichts, Möglichkeiten<br />
für praktische Erfahrungen, Vermittlung von Fähigkeiten und Wissen, die für eine naturwissenschaftsbezogene<br />
Berufslaufbahn relevant sind, Verantwortlichkeiten für Berufsorientierung.<br />
Die Beantwortung der Fragen dauert etwa 30 Minuten. Die Schulleiter/innen erhalten die Schulfragebögen<br />
rechtzeitig vor Beginn des Testfensters. Am Tag der Testung werden die ausgefüllten Bögen dann<br />
von der Testleitung eingesammelt und mit den anderen Testmaterialien an das nationale Zentrum übermittelt.<br />
IV. Kontextfragebögen<br />
Seite 63
5. Nationale Optionen<br />
Als nationale Option werden bei <strong>PISA</strong> alle zusätzlichen Fragebögen, die mehr als fünf Items enthalten<br />
und die ein Land als Ergänzung zum internationalen Teil stellen möchte, behandelt. Diese nationalen<br />
Optionen müssen dem internationalen Zentrum mit einer kurzen Beschreibung der Inhalte und einer<br />
Angabe zur Bearbeitungsdauer vorgelegt werden. Die Zusatzerhebungen können an den internationalen<br />
Teil des Schüler- und/oder Schulfragebogens angeschlossen werden.<br />
In Österreich sind bei <strong>PISA</strong> <strong>2006</strong> fünf nationale Zusatzerhebungen und einige weitere kleinere<br />
Ergänzungen, die in den internationalen Teil integriert wurden, enthalten. Die Zusatzerhebungen, die<br />
aus <strong>PISA</strong> 2000 und 2003 stammen, werden vor jeder Erhebung von den Autorinnen und Autoren überarbeitet<br />
und modifiziert, wobei die zentralen Bestandteile für den Längsschnitt erhalten bleiben. Folgende<br />
Themen werden in <strong>PISA</strong> <strong>2006</strong> erfasst – in Klammer ist jeweils das Jahr, in dem der Fragebogen zum ersten<br />
Mal eingesetzt wurde, angegeben:<br />
Auf Schul- und Schülerebene:<br />
• Nutzung von Informationstechnologien (Claudia Schreiner 5 ; <strong>PISA</strong> 2000)<br />
• Lesegewohnheiten (Margit Böck; <strong>PISA</strong> 2000)<br />
• Qualität in Schulen (Günter Haider; <strong>PISA</strong> 2000)<br />
Auf Schülerebene:<br />
• Befindlichkeit und Schulerfolg der Schüler/innen am Übergang zur Sekundarstufe II (Ferdinand Eder;<br />
<strong>PISA</strong> 2000)<br />
• Belastungen in der Schule (Silvia Bergmüller; <strong>PISA</strong> 2003)<br />
Damit die Bearbeitungszeit der Schülerfragebögen nicht zu lang wird, werden die zusätzlichen Themen<br />
wiederum – wie in <strong>PISA</strong> 2000 und 2003 – auf drei Formen (A, B, C) aufgeteilt und im Anschluss an den<br />
internationalen Fragebogenteil (der für alle Schüler/innen ident ist) angehängt.<br />
Die kürzeren nationalen Ergänzungen, die in den internationalen Teil des Schülerfragebogens integriert<br />
wurden, behandeln folgende Themen:<br />
• Schüler/innen mit Migrationshintergrund: Besitz der österreichischen Staatsbürgerschaft, die zuhause<br />
am häufigsten gesprochene Sprache sowie Lesen und Schreiben in der Sprache, die zuhause überwiegend<br />
gesprochen wird<br />
• Zeit für Unterricht und Lernen: Unterrichtszeit in einer lebenden Fremdsprache, Nachhilfe- oder Förderunterricht<br />
in einer lebenden Fremdsprache, Lernen oder Hausübungen machen in einer lebenden<br />
Fremdsprache<br />
• Schullaufbahn der Schüler/innen: diese Ergänzungen stammen aus <strong>PISA</strong> 2003, wobei nur jene Fragen<br />
zur Schulkarriere, die für <strong>PISA</strong> <strong>2006</strong> relevant erscheinen, übernommen wurden; gefragt wird nach<br />
dem Repetieren von Klassen in unterschiedlichen Schulstufen (Grundschule, Sekundarstufe 1 und 2),<br />
den Schulnoten in Mathematik, Deutsch, in der ersten lebenden Fremdsprache und in den naturwissenschaftlichen<br />
Fächern; der Zufriedenheit der Schüler/innen mit ihren schulischen Leistungen; den<br />
bisher besuchte Schultypen und dem Kindergartenbesuch<br />
Ebenso wurden im Schulfragebogen ergänzende Fragen zum Thema Schüler/innen mit Migrationshintergrund<br />
gestellt, die aus dem internationalen Schulfragebogen 2003 mit geringfügigen Modifikationen übernommen<br />
wurden 6 . Dabei wird der Anteil an Schülerinnen und Schülern nichtdeutscher Muttersprache in der<br />
für <strong>PISA</strong> relevanten Schulstufe sowie das Angebot an speziellen Sprachkursen für Schüler/innen nichtdeutscher<br />
Muttersprache (in der relevanten Schulstufe) erfasst.<br />
Da in <strong>PISA</strong> <strong>2006</strong> keine neuen Zusatzerhebungen enthalten sind, wird an dieser Stelle nur eine<br />
Kurzbeschreibung der einzelnen Zusatzprojekte gegeben, die auf den Ausführungen der Expertinnen und<br />
Experten der jeweiligen Zusatzerhebungen im technischen <strong>Bericht</strong> zu <strong>PISA</strong> 2000 (Haider, 2001) und<br />
2003 (Lang, 2004) beruht. Eine detaillierte Beschreibung der Entwicklung der Zusatzerhebungen sowie<br />
deren Inhalte finden sich in Lang (2004, Kapitel IV, Abschnitt 7).<br />
Seite 64<br />
IV. Kontextfragebögen
5.1 Nutzung von Informationstechnologien<br />
Die Zusatzerhebung „Nutzung von Informationstechnologien“ verfolgt drei zentrale Gesichtspunkte:<br />
• Die Nutzung moderner Informationstechnologien wird als Voraussetzung zum lebenslangen Lernen<br />
gesehen (vgl. Baumgartner, Gramlinger, Niedersüss & Neurater, 1998).<br />
• Die Nutzung moderner Informationstechnologien gilt als wichtiger Aspekt von Schulqualität.<br />
• Die Gewohnheiten der Schüler/innen im Bereich Informationstechnologien können mit anderen Daten<br />
– insbesondere Leistungsdaten aus den <strong>PISA</strong>-Tests – in Verbindung gebracht werden, und somit<br />
können Zusammenhänge analysiert und dargestellt werden (Reiter, 2001).<br />
Der Schülerfragebogen „Computer in der Schule“ wurde unverändert aus <strong>PISA</strong> 2003 übernommen. Die<br />
beiden inhaltlichen Bereiche über die Nutzung des Computers und die Verwendung des Internets beziehen<br />
sich hauptsächlich auf das schulische Umfeld der Jugendlichen. Erfasst wird die Häufigkeit der<br />
Computer- und Internetnutzung in den letzten beiden Schuljahren und in verschiedenen Unterrichtsfächern<br />
(Deutsch, Fremdsprachen, Mathematik, naturwissenschaftliche Fächer, Geometrisches Zeichnen) sowie<br />
Probleme im Zusammenhang mit der schulischen Computernutzung. Abschließend werden die<br />
Schüler/innen zur Computer- und Internetnutzung verschiedener Personen aus dem familiären Umfeld<br />
befragt.<br />
Der Schulfragebogen „Die Nutzung von Informationstechnologien“ wurde gegenüber 2003 zum Teil aktualisiert<br />
und ergänzt. Die Gliederung in drei inhaltliche Bereiche wurde beibehalten: der erste Teil beinhaltet<br />
Fragen zur Ausstattung, zu Problemen und Praktiken in Bezug auf die Computernutzung an der<br />
Schule, im zweiten Teil wird die Internet-Ausstattung der Schule sowie der Umgang der Schule mit dem<br />
Internet erfasst. Der dritte Teil umfasst Fragen zur Einschätzung des Stellenwerts der Weiterentwicklung<br />
im Bereich moderner Informationstechnologien.<br />
Um dem aktuellen Entwicklungsstand im ICT-Bereich entsprechen zu können, wurden Aktualisierungen<br />
bei den Fragen nach der Computer- und Internetausstattung vorgenommen. In diesen Bereichen wurden<br />
auch Ergänzungen angefügt, um die ICT-Ausstattung der Schulen im Hinblick auf eine etwaige computerbasierte<br />
bzw. internetbasierte <strong>PISA</strong>-Testung zu erfassen. Folgende Ergänzungen wurden dabei angefügt:<br />
Bezüglich Computerausstattung für den Unterricht wurden zusätzlich zu Verfügbarkeit und Modernität,<br />
Bildschirmgröße und Betriebssystem der Arbeitsplätze erfasst. Bezüglich Internetausstattung wurde die<br />
Geschwindigkeit des Zugangs (inklusive downloaden einer vorgegebenen Datei, wobei die Zeit gestoppt<br />
werden musste), die Verbindung des lokalen Netzwerkes mit dem Internet, der auf den Arbeitsplätzen<br />
installierte Internetbrowser sowie die Anzahl an PC-Arbeitsplätzen, von denen aus gleichzeitig auf das<br />
Internet zugegriffen werden kann, erhoben. Weiters wurde gefragt, ob die Schule ein Funknetzwerk besitzt,<br />
wie dieses abgesichert ist, wer dazu Zugang hat und welche Schulbereiche damit abgedeckt sind. Alle<br />
weiteren Bereiche wurden unverändert aus <strong>PISA</strong> 2003 übernommen.<br />
5.2 Lesegewohnheiten/Rahmenbedingungen der Leseförderung<br />
Ziel des Zusatzprojekts „Lesegewohnheiten und Lesesozialisation der 15-/16-Jährigen“ ist die Ermittlung<br />
zentraler Dimensionen der Lesegewohnheiten der Jugendlichen, die – vor allem im Zusammenhang mit<br />
ihren Testleistungen – Ansatzpunkte für Maßnahmen vor allem der schulischen, aber auch der außerschulischen<br />
Förderung des Lesens liefern sollen. Neben dem Buch als zentralem Lesemedium werden<br />
u. a. Zeitungen, Zeitschriften, Comics oder E-Mails thematisiert. Eine kommunikationswissenschaftliche<br />
Perspektive, die „Lesen“ als medienbezogenes soziales Handeln versteht, bildet den theoretischen<br />
Hintergrund der Studie (z. B. Böck, 1998; Bonfadelli, 1999).<br />
Die Erfassung der Lesegewohnheiten erfolgt anhand von Fragen über die Freude am Buchlesen, die<br />
Zahl der in den letzten zwölf Monaten in der Freizeit gelesenen Bücher sowie die Zeitdauer, in der die<br />
Jugendlichen zu ihrem Vergnügen lesen (Bücher als auch andere Lesemedien). Weiters werden Fragen<br />
zum schulbezogenen Lesen gestellt, wobei zwischen verschiedenen Genres (Schulbüchern, Erzählungen,<br />
Gedichten, Sachbüchern, Lexika, Zeitungen, Webseiten) unterschieden wird.<br />
IV. Kontextfragebögen<br />
Seite 65
Bei der Lesesozialisation werden vor allem der Stellenwert des Lesens in der Peergroup und die Einstellungen<br />
der Schüler/innen zum Lesen erfasst. Ein zentrales Thema der schulischen Leseförderung stellt – neben<br />
der Einbindung des Lesens in den Unterricht – die Schulbibliothek dar, wobei es um die Nutzung,<br />
die Rahmenbedingungen und die Attraktivität des Angebotes der Schulbibliotheken geht. Ein weiterer<br />
wichtiger Aspekt des Zusatzprojekts zur Leseförderung ist die Erfassung des Stellenwerts des Lesens im<br />
Kontext anderer Medien, welcher anhand der Medienpräferenz der Jugendlichen ermittelt wird (Böck &<br />
Wallner-Paschon, 2002).<br />
Im Schulfragebogen „Rahmenbedingungen der Leseförderung an den Schulen“ werden im Speziellen die<br />
Bedingungen der Lesesozialisation und Leseförderung erfasst. Dieser Fragebogenteil stellt eine Ergänzung<br />
zum Schülerfragebogen dar. Wichtige Themen sind schülerzentrierte Formen der Leseförderung (z. B.<br />
Diagnostik, Fördergruppen, Einzelförderung, kreatives Arbeiten mit Texten) und sonstige Maßnahmen<br />
zur Leseförderung, insbesondere Aspekte der Schulbibliotheksnutzung.<br />
Die Zusatzerhebungen zur Leseförderung im Schüler- und Schulfragebogen <strong>2006</strong> stellen geringfügig modifizierte<br />
Versionen aus 2003 dar. Durch den Erhalt der zentralen Fragestellungen sind längsschnittliche<br />
Betrachtungen möglich. Weitere Informationen zu dieser nationalen Option finden Sie in Böck (2001)<br />
sowie in Lang (2004, Kapitel IV, Abschnitt 7.2).<br />
5.3 Belastung in der Schule<br />
Das Zusatzprojekt „Belastung in der Schule“, welches im Schülerfragebogen enthalten ist, gibt Auskunft<br />
darüber, ob und wie sehr sich Schüler/innen im schulischen Kontext gestresst fühlen. Dabei wird sowohl<br />
auf Belastungen durch Leistungsanforderungen, als auch durch Lehrpersonen, Mitschüler/innen<br />
und Eltern eingegangen. Darüber hinaus werden subjektive Bewertungsprozesse und Strategien zur<br />
Stressverarbeitung (Mediatorvariablen) erhoben. Der Inhalt wurde gegenüber <strong>PISA</strong> 2003 nur minimal<br />
modifiziert, so dass Längsschnittanalysen möglich sein werden. Detaillierte Informationen zum theoretischen<br />
Hintergrund und zur Entwicklung des Fragebogens finden sich in Bergmüller (2003, 2007), sowie<br />
in Lang (2004, Kapitel IV, Abschnitt 7.3).<br />
Bei der Bewertung der Belastungsintensität sollen die Schüler/innen einstufen, wie sehr sie sich durch vorgegebene<br />
Ereignisse, die sie tatsächlich erlebt haben, geärgert, geängstigt oder gekränkt fühlen. Die Stressverarbeitungsstrategien<br />
werden in Bezug auf zwei spezifische Auslöser (sozialer Stressor, Leistungsstressor)<br />
erhoben, wobei sich diese Strategien in hinwendendes vs. abwendendes Coping gliedern. Zusätzlich wird<br />
der Konsum von Alkohol und Zigaretten erhoben. Der Bereich Häufigkeit von Beschwerden umfasst sowohl<br />
somatische als auch psychische Beschwerden, die in einem empirisch belegten Zusammenhang mit<br />
Belastungen stehen (z. B. Eder, 1996).<br />
Zusätzlich werden Informationen über die Auftretenshäufigkeit potenzieller Stressoren erfasst oder auch<br />
über die Anzahl an Lehrpersonen und Mitschüler/innen durch die sich der/die Jugendliche gekränkt<br />
gefühlt hat. Ebenso wird nach der Verteilung der Beschwerden auf Schul- und Ferienzeit gefragt, und ob<br />
auf Grund der vorliegenden Beschwerden professionelle Hilfe in Anspruch genommen wurde.<br />
5.4 Befindlichkeit und Schulerfolg<br />
Der überwiegende Teil der bei <strong>PISA</strong> getesteten Schüler/innen hat den Übergang von der Sekundarstufe I<br />
in die anschließenden Laufbahnen bereits vollzogen und ist soweit integriert, dass eine Abschätzung von<br />
Erfolg, Bewährung und Befinden in der neuen Laufbahn mit einer gewissen Zuverlässigkeit erfolgen kann.<br />
Damit besteht die Möglichkeit zu analysieren, inwieweit Erfolg und Bewährung in der neuen schulischen<br />
oder beruflichen Laufbahn einerseits aus den bestehenden Voraussetzungen an der Schule bzw. bei den<br />
Schülerinnen und Schülern, andererseits aus den Erfahrungen in der Sekundarstufe I vorhergesagt werden<br />
können. Auf diese Weise können z. B. die prognostische Validität von Noten der Sekundarstufe I, die<br />
Auswirkungen schulischer Rahmenbedingungen auf die Leistung (z. B. Schultyp, Lage, Schwerpunkte,<br />
spezielle Angebote usw.) oder Einflüsse affektiver Voraussetzungen der Schüler/innen auf Erfolg und<br />
Bewährung der Schule abgeschätzt werden.<br />
Seite 66<br />
IV. Kontextfragebögen
Der Fragebogen wurde bis auf den Allgemeinen Interessen-Strukur-Test (Bergmann & Eder, 1993; 1999;<br />
2005), der in <strong>PISA</strong> 2000 und 2003 enthalten war, unverändert aus <strong>PISA</strong> 2003 übernommen. Inhaltlich<br />
betrifft das die drei Merkmalsbereiche individuelle Lage der Schüler/innen, Selbstkonzept sowie biografische<br />
und persönliche Merkmale. Die Zusammensetzung der Skalen und Items hat sich über die drei<br />
Zyklen nicht geändert, wodurch mit den Daten aus <strong>2006</strong> wieder dieselben Indikatoren gebildet werden<br />
können.<br />
Die individuelle Lage der Schüler/innen wird auf Basis der Leistungssituation (Noten aus den<br />
„Hauptgegenständen“), des individuellen Befindens (Gesamtzufriedenheit mit der Schule, Bewältigung<br />
des Unterrichts, Integration bei den Lehrerinnen/Lehrern und Mitschülerinnen/Mitschülern) und der<br />
Selbstwahrnehmung der Schüler/innen in ihrer schulischen Umwelt erfasst.<br />
Die Erfassung des Selbstkonzepts erfolgt mithilfe einer Liste von 20 Statements (basierend auf der<br />
Selbstkonzeptliste von Eder, 1995), anhand derer sich die Schüler/innen selbst beschreiben. Dabei werden<br />
drei Aspekte des Selbstkonzepts erfasst: (1) Allgemeines Selbstwertgefühl (Ausmaß, in dem sich jemand<br />
für eine wertvolle und wichtige Person hält), (2) Leistungsselbstkonzept (Ausmaß, in dem sich<br />
jemand für tüchtig hält und über Vertrauen in die eigene Leistungsfähigkeit verfügt) und (3) Soziales<br />
Selbstkonzept (Ausmaß, in dem jemand sozial integriert ist bzw. sich für fähig hält, mit anderen in positive<br />
soziale Beziehungen einzutreten).<br />
Die biografischen und persönlichen Merkmale beziehen sich auf die Erfassung der individuellen Passung<br />
zwischen der Person und der jetzt besuchten Schule. Erfragt wird dabei, wie gut die Schule oder der Beruf<br />
den Fähigkeiten und Interessen der Schüler/innen entspricht, und ob die Schule/der Beruf im Ganzen<br />
gesehen die/der richtige ist. Zusätzlich werden die Jugendlichen noch gefragt, ob sie die Schule/den Beruf<br />
ein zweites Mal wählen würden.<br />
Eine detaillierte Beschreibung der Entwicklung des Fragebogens sowie der Merkmalsbereiche und<br />
Indikatoren finden sich in Eder (2001) sowie in Lang (2004, Kapitel IV, Abschnitt 7.4).<br />
5.5 Qualität in Schulen<br />
Das Q.I.S.-Projekt (Qualität in Schulen, Haider, <strong>PISA</strong> 2000), bei dem zentrale Qualitätsaspekte von<br />
Schulen erfasst werden, ist seit <strong>PISA</strong> 2000 fixer Bestandteil der nationalen Zusatzerhebungen. Dadurch<br />
können Aussagen über Qualitätsentwicklungs- und Sicherungsmaßnahmen an Schulen über die Zeit<br />
getroffen werden sowie die Qualitätsinformationen mit den <strong>PISA</strong>-Outputdaten in Verbindung gebracht<br />
werden.<br />
Die zentralen Aspekte von Schulqualität werden in fünf Bereiche zusammengefasst, welche die Grundlage<br />
für die Konstruktion der Q.I.S.-Schüler- und Schulleiterfragebögen bilden:<br />
(1) Qualität des Unterrichts (Lehr- und Erziehungsqualität)<br />
(2) Qualität des Lebensraumes Schule/Klasse<br />
(3) Schulpartnerschaft und Außenbeziehungen der Schule<br />
(4) Qualität des Schulmanagements (Leitung, Organisation)<br />
(5) Professionalität und Personalentwicklung bei Lehrerinnen und Lehrern<br />
Eine hohe Qualität in allen Bereichen trägt dazu bei, dass Unterricht und Erziehung mit Erfolg stattfinden.<br />
Zur Befragung der Schüler/innen werden die Feedback-Fragebögen, die von einer Salzburger Arbeitsgruppe<br />
unter der Leitung von DDr. Günter Haider im Auftrag des BMUKK (vormals bm:bwk) entwickelten<br />
wurden (Qualitätsskalen unter dem Titel: „Wie gut ist deine Schule?“), verwendet. Sie sind im Internet<br />
unter www.qis.at im Bereich „Methodenpool – Fragebögen“ frei zugänglich. Der Schülerfragebogen zur<br />
Qualitätsentwicklung umfasst folgende fünf große Bereiche: (A) Eigenschaften der Klassenlehrer/innen (9<br />
Items), (B) Unterricht der Klassenlehrer/innen (18 Items), (C) Klassenklima (20 Items), (D) Schulklima<br />
(22 Items) und (E) Schülerfeedback. Die einzelnen Bereiche werden in Lang (2004, Kapitel IV, Abschnitt<br />
7.5) ausführlich beschrieben.<br />
IV. Kontextfragebögen<br />
Seite 67
Im Zentrum des Schulfragebogens stehen konkrete Maßnahmen zur Schulentwicklung und zur Sicherung<br />
der Schulqualität. Folgende Informationen werden dabei erhoben: (1) Stand der Durchführung bestimmter<br />
Qualitätsmaßnahmen – mit einem neuen Item über systematisches Qualitätsmanagement, (2) Beurteilung<br />
wichtiger Rahmenbedingungen für die Qualitätsentwicklung an der Schule, (3) der derzeitige Stand an<br />
gesetzlichen Regelungen in Sachen Schulprogramm/Leitbild und Selbstevaluation, der für diese Schule<br />
gilt, (4) fördernde und hemmende Personen/Personengruppen in Sachen neuer Qualitätsmaßnahmen,<br />
(5) Nutzung der Q.I.S.-Angebote im Internet sowie Kenntnis und Nutzung des Angebots von IMST<br />
(Innovations in Mathematics, Science and Technology Teaching Projekt des BMUKK (vormals bm:bwk),<br />
(6) eine Bewertung der aktuellen Dringlichkeit der fünf Q.I.S.-Bereiche für die eigene Schule sowie (7)<br />
konkrete Maßnahmen im prioritär bewerteten Bereich.<br />
Die Angabe konkreter Maßnahmen ist insofern von großer Bedeutung, als der Begriff Qualitätsentwicklung<br />
im Zuge der Autonomisierung der Schulen zunehmend zu einem Modebegriff wird, mit dem alle möglichen<br />
mehr oder weniger systematisierten Maßnahmen bezeichnet werden – darunter auch solche, die<br />
nicht den fünf zentralen Aspekten von Schulqualität, wie sie im Rahmen dieses Fragebogens definiert<br />
werden, entsprechen. Mehr Informationen dazu finden sich in Haider (2001) sowie Lang (2004, Kapitel<br />
IV, Abschnitt 7.5).<br />
6. Qualitätssicherung im Bereich Kontextfragebögen<br />
Die Qualitätssicherung im Bereich der Kontextfragebögen erfolgt ähnlich wie bei den Testinstrumenten<br />
und erstreckt sich von der Entwicklung und Konzeption der Fragebögen über die Übersetzung und<br />
Adaptionsprozeduren bis hin zu Layout und Druck der Fragebögen.<br />
Durch die Prioritätenliste des PGB und das vorläufige Framework werden die Themen festgelegt, über die<br />
mithilfe der Kontextfragebögen Informationen gewonnen werden sollen. Die neu entwickelten Fragen<br />
werden vor der Überprüfung im Feldtest mit verschiedenen Verfahren („Cognitive Laboratories“) analysiert<br />
und in einer Pilotstudie getestet, um sicherzustellen, dass die Fragen richtig verstanden werden<br />
und valide Informationen liefern. Durch die Analyse der Feldtestdaten können jene Fragen identifiziert<br />
werden, die von vielen Schülerinnen und Schülern sowie Schulleiterinnen und Schulleitern nicht beantwortet<br />
werden (Missings) bzw. zu einem bestimmten Antwortmuster führen, welches die Validität der<br />
Ergebnisse beinträchtigen würde.<br />
Auch im Übersetzungsprozess gibt es – wie bei den Testinstrumenten – Maßnahmen, die für hohe<br />
Qualität sorgen. Dazu gehören unter anderem die Verwendung von zwei Quellversionen bei der<br />
Übersetzung, Anmerkungen in den Quellversionen, wie bestimmte Ausdrücke zu übersetzen sind, sowie<br />
Vorschriften für die nationale Anpassung von Fragen und der Einsatz von international speziell geschulten<br />
Verifikatorinnen und Verifikatoren. Im Zuge der Übersetzung und Adaption der Fragebögen ist ein zusätzlicher<br />
Zwischenschritt bei der Verifikation vorgeschrieben. Die angestrebten nationalen Anpassungen<br />
der einzelnen Fragen müssen zunächst vom internationalen Zentrum verifiziert werden. Damit wird sichergestellt,<br />
dass trotz der verschiedenen Schulsysteme und der daher notwendigen Anpassungen in jedem<br />
Land bei den einzelnen Fragen dennoch dieselben Informationen gewonnen werden (Lang, 2004).<br />
Bibliografie<br />
Baumgartner, G., Gramlinger, F., Niedersüss, D. & Neurauter, T. (1998). Internet und Schule? Linz: Rudolf Trauner.<br />
Bergmann, C. & Eder, F. (1993). Allgemeiner-Interessen-Struktur-Test. Weinheim: Beltz Verlag.<br />
Bergmann, C. & Eder, F. (2005). Allgemeiner Interessen-Struktur-Test mit Umwelt-Struktur-Test (UST-R)-Revision (AIST-R).<br />
Göttingen: Beltz Test GmbH.<br />
Bergmann, C. & Eder, F. (1999). Allgemeiner Interessen-Struktur-Test/Umwelt-Struktur-Test. Manual (AIST/UST), 2., korrig.<br />
Aufl. Göttingen: Beltz Test GmbH.<br />
Bloom, B. S., Hastings, J. T. & Madaus, G. F. (Eds.) (1971). Handbook on Formative and Summative Evaluation of Student Learning.<br />
New York: McGraw-Hill.<br />
Seite 68<br />
IV. Kontextfragebögen
Bergmüller, S. (2003). Der Stress-Fragebogen für Schüler/innen (SFS). Unveröffentlichte Diplomarbeit, Universität Salzburg.<br />
Bergmüller, S. (2007). Schulstress unter Jugendlichen: Entstehungsbedingungen, vermittelnde Prozesse und Folgen: eine empirische<br />
Studie im Rahmen von <strong>PISA</strong> 2003. Hamburg: Kovac<br />
Böck, M. (1998). Leseförderung als Kommunikationspolitik. Zum Mediennutzungs- und Leseverhalten sowie zur Situation der<br />
Bibliotheken in Österreich (Neue Aspekte in Kultur- und Kommunikationswissenschaft Nr. 14). Wien: Österreichischer Kunstund<br />
Kulturverlag.<br />
Böck, M. (2001). Lesegewohnheiten. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden und Stichproben des<br />
österreichischen <strong>PISA</strong> Projekts, S. 106–112. Innsbruck: StudienVerlag.<br />
Böck, M. & Wallner-Paschon C. (2002). Lesen in der Medienvielfalt. In C. Wallner-Paschon & G. Haider (Hrsg.), <strong>PISA</strong> PLUS<br />
2000. Thematische Analysen nationaler Projekte (Beiträge zur vergleichenden Schulforschung Bd. 3, S. 35-42). Innsbruck:<br />
StudienVerlag.<br />
Bonfadelli, H. (1999). Leser und Leseverhalten heute – Sozialwissenschaftliche Buchlese(r)forschung. In B. Franzmann, K. Hasemann,<br />
D. Löffler & E. Schön (Hrsg.), Handbuch Lesen (S. 86-144). München: Saur.<br />
Carroll, J. B. (1963). A model of school learning. Teacher College Record, 64(8), 723–733.<br />
Carroll, J. B. (1975). The Teaching of French as a Foreign Language in Eight Countries. Stockholm: Almqvist and Wiksell, and New<br />
York: Wiley<br />
Eder, F. (Hg.). (1995). Das Befinden von Kindern und Jugendlichen in der Schule. Innsbruck: StudienVerlag.<br />
Eder, F. (1996). Schul- und Klassenklima. Ausprägung. Determinanten und Wirkungen des Klimas an weiterführenden Schulen.<br />
Innsbruck: StudienVerlag.<br />
Eder, F. (2001). Befindlichkeit und Schulerfolg am Übergang von Sekundarstufe I zu II. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong><br />
Report. Ziele, Methoden und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 116–125). Innsbruck: StudienVerlag.<br />
Haider, G. (Hrsg.). ( 2001). <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden und Stichproben des österreichischen <strong>PISA</strong> Projekts.<br />
Innsbruck: StudienVerlag.<br />
Haider, G. (2001). Qualität in Schulen. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden und Stichproben<br />
des österreichischen <strong>PISA</strong> Projekts (S. 128–135). Innsbruck: StudienVerlag.<br />
Keeves, J. P. (1974). The IEA Science Project. Science Achievement in Three Countries – Australia, the Federal Republic of Germany,<br />
and the United States. In: Implementation of Curricula in Science Education. Cologne, German Commission for the UNESCO,<br />
158-178.<br />
Keeves, J. P. (Hrsg.). (1992). The IEA Study of Science III : Changes in Science Education and Achievement: 1970 to 1984. Oxford:<br />
Pergamon.<br />
Lang, B. (2001). Die Testinstrumente und Fragebögen. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden und<br />
Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 67–143). Innsbruck: Studienverlag<br />
Lang, B. (2004). Kontextfragebögen. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm<br />
[Datum des Zugriffs: 08.02.2007]<br />
Martin, M. O. & Kelly, D. L. (Hrsg.). (1996). Third International Mathematics and Science Study (TIMSS). Technical Report,<br />
Volume 1: Design and Development. Chestnut Hill, MA: Boston College<br />
OECD (1999). <strong>PISA</strong> Newsletter. Issue 2. September 1999. [WWW Dokument]. Verfügbar unter: http://www.oecd.org/dataoecd/27/37/33672345.pdf;<br />
Datum des Zugriffs: 21.02.2007)<br />
Postlethwaite, T. N. & Wiley, D. E. (1992). Science Achievement in Twenty-Three Countries: The IEA Study of Science II. Oxford:<br />
Pergamon.<br />
Reiter, C. (2001). Nutzung von Informationstechnologien. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden<br />
und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 125–128). Innsbruck: Studienverlag<br />
Robitaille D. F. & Garden, R. A. (1989). The IEA Study of Mathematics II: Contexts and Outcomes of School Mathematics. Oxford:<br />
Pergamon.<br />
Rosier M. J. & Keeves, J. P. (1991). THE IEA Study of Science I: Science Education and Curricula I Twenty-Three Countries. Oxford:<br />
Pergamon.<br />
Schmidt, W.H. and Cogan, L.S. (1996). Development of the TIMSS Context Questionnaires. In M.O. Martin and D.L. Kelly<br />
(Hrsg.), Third International Mathematics and Science Study (TIMSS). Technical Report, Volume 1: Design and Development.<br />
Chestnut Hill, MA: Boston College<br />
1<br />
Das INES Network A der OECD unterstützt die analytische Arbeit der OECD im Bereich <strong>PISA</strong>. Es ist u. a. für die Sicherung<br />
des globalen und zeitlichen Zusammenhangs von <strong>PISA</strong> verantwortlich, für die Adaption von <strong>PISA</strong> hinsichtlich sich verän-<br />
IV. Kontextfragebögen<br />
Seite 69
dernder Bedürfnisse und Bedingungen – vor allem in Bezug auf konzeptuelle und methodologische Innovationen im Bereich<br />
der Schülerleistungserhebungen. Teil der Arbeit des Netzwerkes ist es auch, Maßnahmen zur Erhebung der cross-curricularen<br />
Kompetenzen und deren Integration in <strong>PISA</strong> zu entwickeln, also z. B. auch neue Indikatoren zu entwicklen (OECD, 1999).<br />
2<br />
Als grundlegende Modelle des <strong>PISA</strong>-<strong>2006</strong>-Kontext-Frameworks sind anzuführen: Das Model of Curriculum Implementation<br />
aus dem Handbook of Formative and Summative Evaluation of Student Learning (Bloom, Hastings & Madaus, 1971) – welches<br />
in der ersten und zweiten IEA Science Study und in der zweiten IEA Mathematics Study (Keeves, 1974; Keeves, 1992a;<br />
Postlethwaite and Wiley, 1992; Robitaille and Garde, 1998 und Rosier & Keeves, 1991) getestet wurde;<br />
Carroll’s Model of school Learning (Carroll, 1963; Carroll, 1975);<br />
A causal Model of School learning, welches in der zweiten IEA Science Study angewendet wurde und von Carroll’s Model of<br />
School learning 1981 abgeleitet wurde (Keeves, 1992a);<br />
Das Learning Opportunities Model, das aus dem SMSO stammt (Survey of Mathematics and Science Opportunities; Schmidt<br />
et al., 1996) und als konzeptuelles Modell für IEA TIMSS diente (Martin & Kelly 1996).<br />
3<br />
PIRLS = Progress in Reading Literacy Study der IEA (International Association for the Evaluation of Educational Achievement);<br />
für Informationen siehe http://www.iea-austria.at/pirls/<br />
4<br />
TIMSS = Trends in Mathematics and Science Study der IEA; für Informationen siehe http://www.iea-austria.at/timss/<br />
5<br />
geb. Reiter<br />
6<br />
Der Fragebogen über die Förderung von Schüler/innen nichtdeutscher Muttersprache wurde in <strong>PISA</strong> 2003 eingesetzt und<br />
vom <strong>PISA</strong>-Zentrum in Deutschland für <strong>PISA</strong> 2003 entwickelt.<br />
Seite 70<br />
IV. Kontextfragebögen
V<br />
SAMPLING-DESIGN UND STICHPROBEN<br />
Simone Breit & Claudia Schreiner<br />
1. Die Zielgruppe von <strong>PISA</strong><br />
1.1 „Schülerinnen und Schüler“<br />
1.2 „des Altersjahrgangs“<br />
1.3 „1990“<br />
1.4 „ab der 7. Schulstufe“<br />
2. Von der allgemeinen Definition zum konkreten Stichprobenplan<br />
2.1 International Desired Target Population<br />
2.2 National Desired Target Population<br />
2.3 National Defined Target Population<br />
3. Das allgemeine Sampling-Design<br />
3.1 Stichprobenziehung in zwei Schritten<br />
3.2 Stratifizierung<br />
3.3 Kleine und sehr kleine Schulen<br />
3.4 Die Auswahl der Schulen<br />
3.5 Die Auswahl der Schüler/innen<br />
4. Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten<br />
4.1 Mindest-Rücklaufquoten auf Schulebene<br />
4.2 Mindest-Rücklaufquoten auf Schülerebene<br />
5. Die österreichische Stichprobe im Feldtest 2005<br />
5.1 Vorgaben für die Feldteststichprobe<br />
5.2 Struktur der österreichischen Feldteststichprobe<br />
5.3 Auswahl der Schulen<br />
6. Die österreichische Stichprobe im Haupttest <strong>2006</strong><br />
6.1 Der österreichische Stichprobenplan<br />
6.2 Stratifizierung der Stichprobe<br />
6.3 Praktische Umsetzung<br />
6.4 Die österreischische Hauptteststichprobe für <strong>PISA</strong> <strong>2006</strong><br />
6.5 Zusatzstichproben<br />
7. Qualitätssicherung<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Haider, 2001) und <strong>PISA</strong> 2003 (Reiter, 2004). Die Autorinnen<br />
dieses Kapitels danken Günter Haider und Claudia Schreiner (geb. Reiter) für die Bereitstellung der Texte.
In diesem Kapitel werden grundlegende Festsetzungen und Richtlinien der <strong>PISA</strong>-Population und<br />
Stichprobenziehung beschrieben, sowie die Realisierung der Stichprobe beim Feld- und Haupttest in<br />
Österreich erläutert. Basis für dieses Kapitel bilden die entsprechenden Abschnitte der technischen<br />
<strong>Bericht</strong>e zu <strong>PISA</strong> 2000 und 2003: Population und Stichproben (Haider, 2001) bzw. Sampling-Design<br />
und Stichproben (Reiter, 2004). Der vorliegende Text stellt eine Überarbeitung und Aktualisierung von<br />
Reiter (2004) dar.<br />
1. Die Zielgruppe von <strong>PISA</strong><br />
Die Definition der Zielpopulation ist eine der wichtigsten Festlegungen, die bei einer Studie getroffen<br />
werden. Da <strong>PISA</strong> als zyklisches Projekt angelegt ist, und definiertes Ziel von <strong>PISA</strong> auch ist, Veränderungen<br />
in den Grundkompetenzen abbilden zu können, müssen die Entscheidungen, die vor der ersten<br />
Haupterhebung im Jahr 2000 getroffen wurden, weiterhin Gültigkeit behalten. Würde man bei so einem<br />
wichtigen Merkmal wie der definierten Zielpopulation Änderungen zwischen den Erhebungszeitpunkten<br />
akzeptieren, wären Vergleiche zwischen den Ergebnissen der Erhebungszeitpunkte nicht mehr zulässig.<br />
Die Definition der Zielpopulation basiert auf mehreren Grundsatzentscheidungen, welche im Detail im<br />
technischen <strong>Bericht</strong> zu <strong>PISA</strong> 2000 erläutert und im Folgenden nur kurz genannt werden:<br />
(1) Aus Gründen der optimalen Vergleichbarkeit der Leistungen über die OECD-Länder hinweg entschied<br />
man sich für eine altersbasierte Population. Im Vergleich zur Definition der Zielpopulation<br />
über Schulstufen haben bei dieser Variante die getesteten Jugendlichen zwar unterschiedliche Schulkarrieren<br />
hinter sich, sie sind aber in allen Länder etwa gleich alt.<br />
(2) Um das kumulierte Ergebnis der Leistungsbemühungen von Elementar- und Sekundarstufe I zu<br />
messen, überlegte man sich, die Schüler/innen ungefähr am bzw. nach dem Übergang von der Sekundarstufe<br />
I auf die Sekundarstufe II zu erfassen. Da sehr viele OECD-Staaten eine neun bis zehn<br />
Jahre dauernde Schulpflicht haben, entschied man sich dafür, Jugendliche eines Geburtsjahrgangs zu<br />
testen, die zum Testzeitpunkt 15/16 Jahre alt sind.<br />
(3) Die OECD entschied außerdem, dass eine reine Schülerkohorte getestet werden soll. <strong>PISA</strong> trifft daher<br />
nur Aussagen über die beschulten Jugendlichen eines Altersjahrgangs, jedoch nicht über alle Personen<br />
des Jahrgangs.<br />
(4) Zu diesem Zeitpunkt wurde auch das zweistufige Sampling-Design festgelegt. Damit ist gemeint, dass<br />
auf der ersten Stufe Test-Schulen und auf der zweiten Stufe die Schüler/innen für den Test ausgewählt<br />
werden.<br />
Für detaillierte Informationen darüber, wie vor <strong>PISA</strong> 2000 die notwendigen Grundsatzentscheidungen<br />
getroffen wurden, sei auf die Ausführungen in Haider (2001) verwiesen. In diesem Kapitel wird nun lediglich<br />
die verwendete Populationsdefinition genauer erklärt.<br />
Hauptziel von <strong>PISA</strong> ist, Grundkompetenzen von Schülerinnen und Schülern am Ende der Pflichtschule<br />
zu erheben, zu beschreiben und zwischen verschiedenen Ländern zu vergleichen. Die Population, über<br />
die <strong>PISA</strong> Aussagen machen möchte, ist folgendermaßen definiert: Die Zielpopulation von <strong>PISA</strong> <strong>2006</strong><br />
sind Schülerinnen und Schüler des Altersjahrgangs 1990 ab der 7. Schulstufe. Im Folgenden werden die<br />
einzelnen Aspekte dieser Definition näher erläutert:<br />
1.1 „Schülerinnen und Schüler“<br />
Die OECD entschied, dass in <strong>PISA</strong> reine Schülerkohorten getestet werden – anstelle einer vollständigen<br />
Alterskohorte. Personen des Zielalters, die nicht mehr zur Schule gehen, werden damit nicht erfasst.<br />
Getestet werden müssen laut Vorgabe der OECD alle Personen des Zielalters, die im Schuljahr der<br />
Erhebung an einer Schule („educational institution“) angemeldet sind; inkludiert sind auch Personen, die<br />
diese Schule nur auf einer Teilzeitbasis besuchen (wie zum Beispiel Berufsschüler/innen in Österreich).<br />
Das führt natürlich dazu, dass der durch <strong>PISA</strong> abgedeckte Anteil des gesamten Zielalters zwischen den<br />
Ländern variiert. Alle Interpretationen der <strong>PISA</strong>-Ergebnisse beziehen sich ausschließlich auf die beschul-<br />
Seite 72<br />
V. Sampling-Design und Stichproben
te Population des Zielalters; das sind in Mexiko und der Türkei weniger als 60 % der Alterskohorte, in<br />
Finnland und Japan praktisch 100 %.<br />
Die Erhebung von Grundkompetenzen der Drop-Outs (jene 15-/16-Jährigen, die keine Schule mehr<br />
besuchen) wäre zwar wissenschaftlich sehr interessant, wird aber von der OECD – vor allem wegen<br />
der schweren Erreichbarkeit dieser Personen und der damit verbundenen Kosten – weiterhin nicht in<br />
Erwägung gezogen. In Österreich machen diese Drop-Outs rund 5–6 % der Alterskohorte aus, was im<br />
OECD-Vergleich (abgesehen von Mexiko und der Türkei) einen der höchsten Anteile darstellt. Da die<br />
nicht erfassten Drop-Outs leistungsmäßig keine zufällige Gruppe sind, sondern großteils aus dem unteren<br />
Bereich der Leistungsverteilung stammen, bedeutet dies in Vergleichen mit Staaten mit weniger<br />
oder gar keinen Drop-Outs eine deutliche Überschätzung des <strong>PISA</strong>-Mittelwerts, als wenn der gesamte<br />
Personenjahrgang verglichen würde.<br />
1.2 „des Altersjahrgangs“<br />
Die Populationsdefinition von <strong>PISA</strong> zeigt weiters, dass <strong>PISA</strong> eine altersbasierte Stichprobe – im Gegensatz<br />
zu einer schulstufenbezogenen – zu Grunde liegt. Eine altersbasierte Populationsdefinition führt einen<br />
etwas höheren administrativen Aufwand als schulstufenbezogenes Testen mit sich. Der große Vorteil<br />
der Heranziehung des Alters ist, dass dieses leicht definierbar und gut verständlich ist. Unterschiede im<br />
Einschulungsalter und eine in manchen Ländern relativ breite Streuung des Alters in den Klassen beeinflussen<br />
die Merkmale der Stichprobe nicht so ungünstig wie bei schulstufenbezogenen Designs.<br />
1.3 „1990“<br />
Für <strong>PISA</strong> wurde eine Altersdefinition gewählt, die Schüler/innen erreicht, die sich in den meisten Ländern<br />
gegen Ende der Pflichtschulzeit befinden. Nach den internationalen Vorgaben muss das Alter so festgelegt<br />
werden, dass die Schüler/innen zu Beginn des 6-wöchigen Testfensters zwischen 15 Jahren und 3 Monate<br />
und 16 Jahren und 2 Monate plus/minus einem Monat alt sind. Für die Testfenster im empfohlenen<br />
Zeitraum zwischen März und Mai kann das Alter durch einen vollen Jahrgang, den Altersjahrgang 1990<br />
definiert werden. Da das Testfenster in Österreich von Mitte April bis Ende Mai festgesetzt wurde, umfasst<br />
die Zielpopulation Schüler/innen, die zwischen dem 1. Jänner 1990 und dem 31. Dezember 1990<br />
geboren sind.<br />
Vor allem in Ländern der südlichen Hemisphäre, in denen das Testfenster wegen des verschobenen<br />
Schuljahres (meist etwa Februar bis Dezember) erst im Spätsommer angesetzt werden kann, muss eine<br />
Altersadjustierung vorgenommen werden (also etwa für ein Testfenster beginnend im August Schüler/innen,<br />
die von Mai 1990 bis inklusive April 1991 geboren sind).<br />
1.4 „ab der 7. Schulstufe“<br />
Eine kleine Änderung in der Definition der Population wurde zwischen <strong>PISA</strong> 2000 und <strong>PISA</strong> 2003 vorgenommen:<br />
Schüler/innen des Altersjahrgangs 1990, die eine der Schulstufen 1 bis 6 besuchen, sind nicht<br />
mehr in der Zielpopulation enthalten. Für OECD-Länder bedeutet das nur eine extrem kleine Änderung,<br />
da in diesen Ländern ein vernachlässigbar kleiner Anteil der 15-/16-Jährigen unter Schulstufe 7 anzufinden<br />
ist. In den meisten Nicht-OECD-Ländern befinden sich größere Teile des Zieljahrgangs in den<br />
Schulstufen 1 bis 6. Die OECD begründet die Entscheidung, diese Schüler/innen in <strong>PISA</strong> nicht zu inkludieren,<br />
wie folgt: „Considering the orientation of <strong>PISA</strong> as an assessment of the cumulative yield of education<br />
systems and the nature of <strong>PISA</strong> instruments, it is not really meaningful to assess and report results<br />
for students in grades 1-6 […]” (Zitat aus einem Brief des OECD-Sekretariats an die BPC-Mitglieder der<br />
Teilnehmerländer).<br />
Für Österreich bedeutet dies praktisch keine Änderung, da nur eine sehr kleine Gruppe an Personen<br />
des Zieljahrgangs in den Schulstufen 1-6 sind, von denen nach früheren Erfahrungen nur sehr wenige<br />
Schüler/innen getestete werden konnten (Details dazu entnehmen Sie Abschnitt 6 idK., das die konkrete<br />
Umsetzung der Samplingvorgaben in Österreich für den Haupttest <strong>2006</strong> beschreibt).<br />
V. Sampling-Design und Stichproben<br />
Seite 73
2. Von der allgemeinen Definition zum konkreten Stichprobenplan<br />
2.1 International Desired Target Population<br />
Die „international desired target population“, die international gewünschte Zielpopulation, ist im Prinzip<br />
jene Population, die durch die oben zitierte und erläuterte Populationsdefinition beschrieben ist. Getestet<br />
werden sollen in allen Ländern Schüler/innen, die zu Beginn des Testfensters (das aus maximal 42 aufeinanderfolgenden<br />
Kalendertagen bestehen darf) zwischen 15 Jahren und 3 Monate und 16 Jahren und 2<br />
Monate alt sind. Nicht angezielt wird die Testung von Schülerinnen und Schülern unter Schulstufe 7 und<br />
Schülerinnen und Schülern, die eine Schule im Ausland besuchen.<br />
Von internationaler Seite her wird gewünscht, diese Population so weit wie möglich durch die Stichprobe<br />
abzudecken, d.h. eine möglichst hohe Abdeckung, die in Form der Coverage-Rate festgehalten wird, zu<br />
erzielen.<br />
2.2 National Desired Target Population<br />
Die Festlegung der „national desired target population”, der national gewünschten Zielpopulation, ist die<br />
„Übersetzung“ der internationalen Vorgaben in die Begriffe und Strukturen eines Landes. Dabei ist es<br />
notwendig, begründete Entscheidungen über Ausschlüsse von Populationsteilen zu treffen. Das internationale<br />
Projekt-Konsortium und die OECD empfehlen allen Teilnehmerländern, möglichst eine vollständige<br />
Abdeckung der international gewünschten Zielpopulation zu erreichen. Alle Abweichungen zwischen<br />
der international und der national gewünschten Zielpopulation müssen genau dokumentiert und von<br />
internationaler Seite bewilligt werden. Wenn größere Teile der international gewünschten Zielpopulation<br />
durch die national gewünschte Zielpopulation nicht abgedeckt sind, führt das dazu, dass die Ergebnisse<br />
aus <strong>PISA</strong> nicht für das gesamte nationale Schulsystem repräsentativ sind. Abweichungen zwischen international<br />
und national gewünschter Zielpopulation können durch die Notwendigkeit entstehen, auf<br />
Grund von politischen, organisatorischen oder operationalen Bedingungen zum Beispiel eine kleinere<br />
geografisch abgelegene Region oder eine Sprachgruppe auszuschließen.<br />
2.3 National Defined Target Population<br />
Verschiedene Gründe können dazu führen, dass nicht die gesamte gewünschte Population („national desired<br />
target population“) in der Stichprobe vertreten ist. Mögliche Gründe sind erhöhte Erhebungskosten,<br />
hohe Komplexität des Sampling-Designs und/oder schwierige Testbedingungen. Gruppen von Schulen<br />
oder Schülerinnen und Schülern, die Teil der national gewünschten, aber nicht Teil der national definierten<br />
Zielpopulation sind, werden als ausgeschlossene Population bezeichnet. Ausschlüsse können in Form<br />
von ganzen Schulen oder einzelnen Schülerinnen und Schülern innerhalb nicht ausgeschlossener Schulen<br />
erfolgen. Die von einem Land definierte Zielpopulation, die „national defined target population“, ergibt<br />
sich aus „national desired target population“ minus den ausgeschlossenen Schulen und Schülerinnen und<br />
Schülern.<br />
Das absolute Maximum an zulässigen Ausschlüssen beträgt laut den Vorgaben der OECD auf Schul- und<br />
Schülerebene insgesamt 5 %, d. h. dass die „national defined target population“ mindestens 95 % der<br />
„national desired target population“ enthalten muss.<br />
Auf Schulebene dürfen durch die Teilnahmeländer folgende Ausschlüsse durchgeführt werden:<br />
• einzelne Schulen, die auf Grund ihrer geografischen Lage nur sehr schwer erreichbar sind, aber trotzdem<br />
in der national gewünschten Zielpopulation enthalten sind;<br />
• Schulen, die extrem klein sind (unter bestimmten Bedingungen kann die Testung in Schulen mit<br />
maximal 2 Schüler/innen unterlassen werden);<br />
• Schulen, in denen die <strong>PISA</strong>-Testung nicht durchführbar ist.<br />
Die Ausschlüsse, die im Sampling-Design eines Landes bei <strong>PISA</strong> auf Schulebene geplant werden, müssen<br />
so klein gehalten werden, dass die ausgeschlossenen Schulen insgesamt maximal 0,5 % aller Schüler/innen<br />
des Zieljahrgangs enthalten. Umfang, Art und Begründung von Ausschlüssen auf Schulebene müssen<br />
dem internationalen Zentrum vorgelegt und von diesem verifiziert werden.<br />
Seite 74<br />
V. Sampling-Design und Stichproben
Außerdem besteht die Möglichkeit, Schulen auszuschließen, die ausschließlich Schüler/innen enthalten,<br />
die auf Schülerebene ausgeschlossen werden müssen (siehe unten). Dies darf maximal Schulen mit insgesamt<br />
2 % aller Schüler/innen des Zieljahrgangs betreffen.<br />
Von internationaler Seite erlaubte Ausschlüsse einzelner Schüler/innen – so genannte Ausschlüsse auf<br />
Schülerebene – betreffen Schüler/innen, denen die Teilnahme am Test auf Grund einer schweren dauernden<br />
körperlichen oder geistigen Behinderung nicht zumutbar ist, sowie Schüler/innen, die die Testsprache<br />
nicht ausreichend gut beherrschen, wobei dies nur bei Schülerinnen und Schülern Anwendung finden<br />
darf, die weniger als ein Jahr in der Sprache des Tests unterrichtet worden sind (die deutschsprachigen<br />
Definitionen dieser Ausschlusskategorien finden sich bei der Beschreibung der Umsetzung in Österreich,<br />
vgl. Abschnitt 6.1.2 idK.). Das Ausmaß der Ausschlüsse auf Schülerebene muss so gering wie möglich<br />
gehalten werden. Für Schüler/innen mit Behinderungen, die eine Sonderschule besuchen, existiert deshalb<br />
ein eigenes Testheft mit einfacheren Aufgaben und kürzerer Bearbeitungszeit (vgl. Abschnitt 2.1 in<br />
Kapitel III).<br />
Schüler/innen, die aus einem der oben genannten Gründe ausgeschlossen werden, dürfen nicht von der<br />
Schülerliste genommen, sondern nur durch die Verwendung entsprechender Codes markiert werden,<br />
um die vollständige Dokumentation dieser Ausschlüsse sicherzustellen. Ausschlüsse auf Schülerebene aus<br />
diesen Gründen dürfen maximal 2,5 % aller Schüler/innen des Zieljahrgangs ausmachen.<br />
3. Das allgemeine Sampling-Design<br />
Auch wenn <strong>PISA</strong> Aussagen über die Population der 15-/16-Jährigen machen möchte, ist es weder notwendig<br />
noch sinnvoll, alle Schüler/innen des Zieljahrgangs zu testen. Um zuverlässige Schätzer für die<br />
Leistungen und andere Merkmale der Schüler/innen zu erhalten, reicht die Testung einer Stichprobe aus,<br />
sofern diese groß genug ist und die Auswahl der Schüler/innen gemäß theoretisch fundierten Methoden<br />
erfolgt.<br />
3.1 Stichprobenziehung in zwei Schritten<br />
Da für <strong>PISA</strong> eine Stichprobe von Schüler/innen getestet werden soll, erfolgt die Stichprobenziehung in<br />
zwei Schritten, nämlich über den Umweg der Schulen; man spricht von einem so genannten zweistufigen<br />
Sampling-Design oder Cluster-Sampling (für Details vgl. z. B. Kish, 1995, S. 148ff). Der erste Schritt<br />
betrifft eine Auswahl aus allen Schulen, die von Schülerinnen und Schülern des Jahrgangs 1990 besucht<br />
werden. Schulen werden systematisch mit Wahrscheinlichkeiten, die proportional zu ihrer Größe sind,<br />
ausgewählt (propabilities proportional to size – PPS). Die Größe einer Schule ist durch die Anzahl an<br />
Schüler/innen des Geburtsjahrgangs 1990 definiert. Laut Vorgaben der OECD müssen mindestens 150<br />
Schulen ausgewählt werden.<br />
Für den zweiten Schritt muss von jeder ausgewählten Schule eine Liste aller Schüler/innen des Zieljahrgangs<br />
vorliegen. Aus dieser werden maximal 35 Schüler/innen nach dem Zufallsprinzip ausgewählt. Sind an einer<br />
Schule weniger als 35 Schüler/innen des Jahrgangs 1990, werden alle getestet.<br />
Mit einem durchschnittlichen Ausfall von 15 % der Schüler/innen ergeben diese Vorgaben eine realisierte<br />
Stichprobe von 4500 Schülerinnen und Schülern. Wenn es in einem Land viele kleine Schulen<br />
gibt („klein“ bedeutet Schulen mit weniger als 35 Schüler/innen des Zieljahrgangs unabhängig von der<br />
Gesamtgröße dieser Schulen), müssen entsprechend mehr Schulen in die Stichprobe aufgenommen werden,<br />
damit die Mindestvorgabe von 4500 auswertbaren Datensätzen erreicht werden kann.<br />
3.2 Stratifizierung<br />
Um die Präzision der Ergebnisse und die Effizienz der Stichprobe zu steigern, findet beim ersten<br />
Samplingschritt von <strong>PISA</strong> – der Auswahl der Schulen – die Methode der Stratifizierung Anwendung.<br />
Dabei werden alle potentiellen <strong>PISA</strong>-Schulen (Schulen, die 15-/16-Jährige enthalten) in mehrere Gruppen<br />
geteilt, aus jeder dieser Gruppen („Strata“) wird dann entsprechend ihrer Größe (= ihres Anteil an der<br />
Population der 15-/16-jährigen Schüler/innen) eine bestimmte Anzahl an Schulen ausgewählt.<br />
V. Sampling-Design und Stichproben<br />
Seite 75
Für eine erfolgreiche Verwendung von<br />
Strata muss die Gruppeneinteilung so<br />
explizite Strata<br />
gewählt werden, dass die Sampling-<br />
2 Hauptschule<br />
Einheiten innerhalb der Gruppen bezüglich<br />
der zu messenden Variablen<br />
3 Polytechnische Schule<br />
möglichst homogen sind; dadurch kann 4 Sonderschule<br />
diese Methode die Effizienz des Samples 5 Gymnasium<br />
deutlich steigern. Das bedeutet, dass 6 Realgymnasium & wirtschaftskundliches RG<br />
bei gleicher Stichprobengröße präzisere<br />
Ergebnisse erzielt werden können<br />
7 Oberstufenrealgymnasium<br />
(Verminderung der Sampling-Varianz) 8 Sonstige Allgemeinbildende Schulen/mit Statut<br />
bzw. ein bestimmter Präzisionsgrad schon 9 Berufsschule (technisch/gewerblich)<br />
mit einer kleineren Stichprobengröße 10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
erreicht werden kann. Zusätzlich dazu<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
sichert die Stratifizierung, dass alle relevanten<br />
Teile der Population in der<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
Stichprobe enthalten sind; wird die 13 BMS (kaufmännisch)<br />
Schulanzahl je Stratum durch den Anteil 14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
des Stratums an der Gesamtpopulation 15 BMS (land- & forstwirtschaftlich)<br />
bestimmt, ist auch sichergestellt, dass<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
die Stichprobe „repräsentativ“ für die<br />
Population ist. Wenn dies in allen Strata 17 BHS (kaufmännisch)<br />
eingehalten wird, erhält man (sofern der 18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
Stichprobenausfall sehr gering ist) eine 19 BHS (land- & forstwirtschaftlich)<br />
selbst gewichtende Stichprobe. Möchte 20 Anstalten der Lehrer- & Erzieherbildung<br />
man aus irgendwelchen Gründen unterschiedliche<br />
Raten in den verschiedenen Abbildung V.1: Explizite Stratifizierung in Österreich<br />
Strata anwenden, kann dies kontrolliert<br />
geschehen, so dass durch entsprechende Gewichtung für die ganze Population „repräsentative“ Ergebnisse<br />
berechnet werden können.<br />
Bei <strong>PISA</strong> ist die Verwendung von Strata im Sampling-Manual für alle Länder empfohlen. Bei stark gegliederten<br />
Systemen muss entweder eine Stratifizierung nach Schultypen erfolgen oder die Stichprobengröße<br />
deutlich erhöht werden. In Österreich – mit einem gegliederten Schulsystem – ist man in <strong>PISA</strong> <strong>2006</strong> (wie<br />
schon bei <strong>PISA</strong> 2000 und 2003) den Weg der Stratifizierung nach Schulsparten gegangen (vgl. Abbildung<br />
V.1). Diese erfolgt explizit, d. h. in Form der Teilung der Schulpopulation in verschiedene Strata und der<br />
getrennten Stichprobenziehung je Stratum.<br />
Ein weiterer Anwendungsfall der expliziten Stratifizierung wird im nächsten Abschnitt beschrieben, das<br />
der Behandlung kleiner Schulen, bei denen es bei PPS-Samplingprozessen zu Schwierigkeiten bezüglich<br />
der Auswahlwahrscheinlichkeit kommt, gewidmet ist.<br />
Weiters ist es möglich, in das Sampling-Design auch eine implizite Stratifizierungsvariable mit einzubeziehen.<br />
Nach dieser werden die Schulen vor der systematischen Auswahl nach diesem Merkmal sortiert.<br />
Dies dient dem Zweck, eine gute Verteilung über die Gruppen der impliziten Stratifizierungsvariable (im<br />
Fall von Österreich wird hier die geografische Lage der Schulen herangezogen) sicherzustellen (umfangreiche<br />
Erläuterungen zur Stratifizierung von Stichproben finden sich u.a. bei Kish, 1995, S. 75ff oder<br />
Thomson, 1992, S. 101ff; einen kompakten Überblick über die Vorteile von stratifizierten Stichproben<br />
gibt Schwarz, n.d.).<br />
Seite 76<br />
V. Sampling-Design und Stichproben
3.3 Kleine und sehr kleine Schulen<br />
Bei der Auswahl von Schülerinnen und Schülern mittels Cluster-Sampling sollte die Auswahlwahrscheinlichkeit<br />
für jede Schülerin/jeden Schüler des Zieljahrgangs gleich groß sein. Das wird erreicht, indem eine<br />
große Schule eine größere Wahrscheinlichkeit hat, im ersten Schritt ausgewählt zu werden, die einzelnen<br />
Schüler/innen dieser Schule aber in Relation zu Schülerinnen und Schülern einer kleineren Schule eine<br />
vergleichsweise kleine Wahrscheinlichkeit haben, innerhalb der Schule dranzukommen.<br />
Da in allen Schulen mit maximal 35 Schülerinnen und Schülern alle Schüler/innen ausgewählt werden,<br />
ist die Voraussetzung der gleichen Auswahlwahrscheinlichkeiten für alle Schüler/innen mit dieser<br />
Methode für solche kleinen Schulen verletzt: Beträgt die Anzahl der erwarteten Schüler/innen des<br />
Zieljahrgangs (MOS – measure of size) in einer Schule nämlich maximal 35, ist es für Schüler/innen<br />
dieser Schule – bei normaler Verwendung der MOS – weniger wahrscheinlich, ausgewählt zu werden,<br />
als für Schüler/innen von Schulen mit 35 oder mehr Schülerinnen und Schülern. Die Schulen hätten je<br />
nach Anzahl der Schüler/innen unterschiedliche Auswahlwahrscheinlichkeiten, für alle Schüler/innen<br />
innerhalb so einer Schule beträgt diese aber 100 %. In der Literatur werden verschiedene Möglichkeiten<br />
beschrieben, diesem Problem zu begegnen (vgl. Kish, 1995, S. 243ff). Enthält die Population sehr viele<br />
kleine Sampling-Einheiten – in unserem Fall viele Schulen mit maximal 35 potentiellen Testschülerinnen<br />
und Testschülern –, wird die Einführung eines oder mehrerer zusätzlicher expliziter Strata empfohlen, in<br />
denen die kleinen Schulen zusammengefasst werden.<br />
Anteil der Schüler/innen in<br />
sehr kleinen Schulen<br />
(MOS max. 17)<br />
kleinen Schulen<br />
(MOS 18 bis 35)<br />
Strata für kleine Schulen<br />
1 % oder größer 4 % oder größer getrennte Strata für kleine und sehr kleine Schulen<br />
1 % oder größer < 4 % Stratum für sehr kleine, aber keines für kleine Schulen<br />
< 1 % 4 % oder größer gemeinsames Stratum für sehr kleine und kleine Schulen<br />
< 1 % < 4 % keine Strata für kleine Schulen notwendig<br />
Abbildung V.2: Richtlinien für die Verwendung von Strata für kleine Schulen<br />
Für <strong>PISA</strong> wurden diesbezüglich von internationaler Seite klare Richtlinien aufgestellt: Unterschieden<br />
werden sehr kleine Schulen (das sind Schulen mit einer MOS von maximal 17) und kleine Schulen<br />
(MOS zwischen 18 und 35). Aus der folgenden Tabelle (vgl. Abbildung V.2) geht hervor, wann eigene<br />
Strata für kleine und/oder sehr kleine Schulen gebildet werden müssen.<br />
Auf Österreich treffen die Angaben aus der ersten Zeile der oben stehenden Tabelle zu, d. h. dass sowohl<br />
ein eigenes explizites Stratum für sehr kleine Schulen, als auch eines für kleine Schulen gebildet werden<br />
muss. Diese Strata existieren zusätzlich zu den Strata bezüglich der Schulsparten; in letzteren befinden<br />
sich nur mehr „große“ Schulen der entsprechenden Schulformen (Schulen mit mehr als 35 erwarteten<br />
Schülerinnen und Schülern). In Ländern, in denen keine Strata für kleine Schulen notwendig sind, wird<br />
die Auswahlwahrscheinlichkeit für Schüler/innen aus kleinen Schulen durch das Ersetzen der tatsächlichen<br />
MOS durch den Wert 35 korrigiert.<br />
Durch die Verwendung eines eigenen Stratums ist es auch möglich, die Samplinggröße für sehr kleine<br />
Schulen etwas zu verringern. Dies geschieht nach <strong>PISA</strong>-Richtlinien um den Faktor 2, wobei dieser Wert<br />
in Abhängigkeit vom Anteil der Schüler/innen in sehr kleinen Schulen wieder etwas nach oben korrigiert<br />
wird. Dieses Prozedere führt zur Verringerung des administrativen und finanziellen Aufwands. Im Zuge<br />
der Gewichtung wird das Untersampling wieder ausgeglichen.<br />
V. Sampling-Design und Stichproben<br />
Seite 77
3.4 Die Auswahl der Schulen<br />
Die Ausgangsbasis für die Auswahl der Schulen besteht aus zwei Teilen:<br />
(1) Informationen über die Anteile der Schüler/innen der Population an den expliziten Strata;<br />
(2) Eine Liste aller Schulen inklusive Daten zur Schulgröße (d. h. in diesem Fall die Anzahl der<br />
Schüler/innen des Jahrgangs 1990) je Stratum. Als so genannte MOS (measure of size) muss meist –<br />
mangels aktuellerer Daten – die Anzahl der Schüler/innen des Jahrgangs 1989 im Schuljahr 2004/2005<br />
verwendet werden.<br />
Entsprechend der Verteilung aus (1) werden aus den Listen aus (2) jeweils so viele Schulen gezogen, dass<br />
mit der erwarteten Schüleranzahl der Anteil jedes Stratums an der Population so gut wie möglich in der<br />
Stichprobe abgebildet wird. Eine Ausnahme bilden – wie erwähnt – die sehr kleinen Schulen. Dieses<br />
Stratum kann bei <strong>PISA</strong> etwas untersampelt werden, d.h. es werden nicht ganz so viele Schulen ausgewählt<br />
wie für die genaue Abbildung des Populationsanteils notwendig wären (siehe oben).<br />
Innerhalb jedes expliziten Stratums werden die Schulen zuerst nach der festgelegten impliziten Stratifizierungsvariable,<br />
anschließend je implizitem Stratum entsprechend ihrer Größe abwechselnd auf- und<br />
absteigend sortiert. Die Wahrscheinlichkeit einer Schule, ausgewählt zu werden, soll proportional zur<br />
Anzahl der 15-/16-Jährigen sein. Dies erfolgt durch die Einbeziehung der kumulierten Häufigkeiten der<br />
Schüler/innen in die Stichprobenziehung. Muss man in einem Stratum laut Stichprobenplan aus 10<br />
Schulen mit insgesamt 1000 Schülerinnen und Schülern 5 Schulen auswählen, würde man nicht einfach<br />
jede zweite Schule ziehen, sondern sozusagen jede/n 200ste/n Schüler/in. Dadurch erhöht sich die<br />
Auswahlwahrscheinlichkeit für Schulen mit vielen Schülerinnen und Schülern des Zieljahrgangs. Die<br />
Ziehung erfolgt durch die Berechnung eines Sampling-Intervalls (Anzahl der Schüler/innen / erforderliche<br />
Schulanzahl) und die Bestimmung einer Zufallszahl zur Festlegung der ersten auszuwählenden<br />
Schule, also in Form eines systematischen PPS-Samplings.<br />
Für den Fall, dass einzelne Schulen nicht an <strong>PISA</strong> teilnehmen können, werden im Zuge der Schulauswahl<br />
je gesampelter Schule zwei so genannte Replacement-Schulen gezogen. Diese können für den Fall der<br />
Nicht-Teilnahme der gesampelten Schule kontaktiert werden. Die in der Schulliste eines Stratums auf<br />
eine gesampelte Schule direkt folgende Schule wird jeweils als erste Replacement-Schule gekennzeichnet.<br />
Kann auch diese Schule nicht teilnehmen, kann die auf der Schulliste der gesampelten Schule direkt<br />
vorangehende Schule als zweites Replacement kontaktiert werden. Die Einbeziehung von Replacement-<br />
Schulen sollte so gering wie möglich gehalten werden, um den Bias („Verzerrung“) der Stichprobe zu<br />
minimieren. Bei der Vorgabe von Mindest-Rücklaufquoten auf Schulebene wird deshalb zwischen der<br />
Teilnahme von ursprünglich gesampelten und Replacement-Schulen unterschieden (siehe unten).<br />
Die Bereitstellung der für den Samplingvorgang notwendigen Daten über die Population liegt in der<br />
Verantwortung der nationalen Projektzentren. Für den Haupttest <strong>2006</strong> übernahm Westat (als Teil des<br />
internationalen Konsortiums) die Ziehung der Schulstichprobe. Den nationalen Zentren kam dabei eine<br />
Kontrollfunktion zu.<br />
3.5 Die Auswahl der Schüler/innen<br />
Die Auswahl der Schüler/innen kann erst im Lauf des Screening-Prozesses erfolgen. Sobald die ausgewählten<br />
Schulen kontaktiert sind und sich zur Teilnahme bereit erklärt haben, ist es notwendig, eine<br />
Liste aller Schüler/innen des Zieljahrgangs an das nationale Projektzentrum zu übermitteln. Falls diese<br />
Liste 35 Schüler/innen oder weniger enthält, werden alle Schüler/innen ausgewählt. Umfasst diese mehr<br />
als 35, müssen nach einem Zufallsprinzip 35 Schüler/innen ausgewählt werden. Dies geschieht durch<br />
die vom internationalen Zentrum – in erster Linie für die Dateneingabe – entwickelte Software. Die<br />
Sampling-Funktion dieses Programms wählt je Schule nach einem Zufallsalgorithmus 35 Schüler/innen<br />
aus. Dieser Vorgang produziert allerdings keine einfache Zufallsstichprobe, sondern führt eine systematische<br />
Stichprobenziehung durch, welche eine so genannte Pseudo-Zufallsstichprobe erzeugt. Vorteile einer<br />
systematischen Ziehung gegenüber einer einfachen Zufallsauswahl sind die einfachere Durchführung und<br />
die Garantie, dass die Stichprobe gleichmäßig über die Population (in diesem Fall über die Schüler/in-<br />
Seite 78<br />
V. Sampling-Design und Stichproben
nen der Schule) streut. Für die Ziehung muss ein Sampling-Intervall (Anzahl der Schüler/innen auf der<br />
Liste / 35) berechnet und eine Zufallszahl bestimmt werden. Durch letztere wird festgelegt, welche Zeile<br />
der Schülerliste als erste ausgewählt wird, ab dort wird jede/r x-te Schüler/in (x steht für das Sampling-<br />
Intervall) als ausgewählt markiert.<br />
4. Vorgaben der OECD bezüglich der zu erzielenden Rücklaufquoten<br />
Zur Minimierung möglicher Verzerrungen der Stichprobe enthalten die <strong>PISA</strong>-Qualitäts-Standards<br />
Vorgaben für Mindest-Rücklaufquoten auf Schul- und Schülerebene. Diese existieren unabhängig voneinander,<br />
d. h. das Erreichen einer höheren Rücklaufquote auf Schulebene lockert die Vorgaben für die<br />
Mindest-Rücklaufquote auf Schülerebene nicht und umgekehrt.<br />
4.1 Mindest-Rücklaufquoten auf Schulebene<br />
Die internationale Vorgabe bezüglich des Rücklaufs auf Schulebene lautet, dass mindestens 85 % der<br />
ursprünglich ausgewählten Schulen teilnehmen müssen. Nicht teilnehmende Schulen können aber<br />
durch die Heranziehung von Replacement-Schulen ersetzt werden, so dass auch mit einer geringeren<br />
Rücklaufquote in der „ersten Welle“ der Sample-Schulen noch eine Chance besteht, die Anforderungen<br />
bezüglich des Rücklaufs auf Schulebene zu erfüllen. Allerdings ist bei der Verwendung von Replacement-<br />
Schulen nicht garantiert, dass der durch Nonresponse möglicherweise entstehende Bias reduziert wird.<br />
Drei Kategorien von Rücklaufquoten sind von internationaler Seite her definiert worden, welche in<br />
Abbildung V.3 veranschaulicht werden:<br />
• Acceptable: Rücklaufquoten von über 85 % ohne Replacements (1.) oder Rücklaufquoten ohne Replacement<br />
zwischen 65 und 85 Prozent mit entsprechender Erhöhung dieser durch die Einbeziehung<br />
von Replacement-Schulen (2.); Daten von Ländern mit einem Rücklauf in dieser Kategorie werden<br />
in die internationalen Vergleiche aufgenommen.<br />
• Intermediate: Rücklaufquoten ohne Replacement zwischen 65 und 85 Prozent, die die erforderliche<br />
Erhöhung der Rücklaufquote durch Replacement-Schulen nicht erreichen (3.); die Aufnahme der<br />
Daten eines Landes mit einer als „intermediate“ einzustufenden Rücklaufquote in die internationalen<br />
Vergleiche ist von Entscheidungen<br />
der zuständigen 100 %<br />
internationalen Gremien<br />
abhängig.<br />
• Not Acceptable: Rücklaufquoten<br />
ohne Replacement<br />
unter 65 % (4.); Daten<br />
mit Rücklaufquoten unter<br />
65 % werden nur in die<br />
internationalen Vergleiche<br />
aufgenommen, wenn das<br />
nationale Projektzentrum<br />
nachweisen kann, dass der<br />
vermutliche Nonresponse-<br />
Bias unbedeutend ist.<br />
Schulen mit einem Rücklauf auf<br />
Schülerebene unter 50 % zählen<br />
für die Rücklaufstatistiken<br />
als nicht teilgenommen. Ihre<br />
Daten werden aber in die<br />
Datenbank aufgenommen, sofern<br />
der Rücklauf zumindest<br />
Rücklauf inklusive Replacements<br />
95 %<br />
90 %<br />
85 %<br />
80 %<br />
75 %<br />
70 %<br />
65 %<br />
60 %<br />
0<br />
(4.)<br />
Not Acceptable<br />
(2.)<br />
(3.)<br />
Intermediate<br />
Acceptable<br />
(1.)<br />
65 % 70 % 75 % 80 % 85 % 90 % 95 % 100 %<br />
Rücklauf ohne Replacements<br />
Abbildung V.3: Standards für Rücklaufquoten auf Schulebene<br />
V. Sampling-Design und Stichproben<br />
Seite 79
25 % beträgt. Daten aus Schulen mit einem internen Rücklauf unter 25 % werden bei den Analysen<br />
nicht berücksichtigt, weil das Risiko einer durch den Nonresponse stark verzerrten Stichprobe innerhalb<br />
der Schule als zu groß eingestuft wird.<br />
4.2 Mindest-Rücklaufquoten auf Schülerebene<br />
Zusätzlich zum Erfüllen der Rücklaufvorgaben auf Schulebene muss auf Schülerebene mindestens eine<br />
Rücklaufquote von 80 % erreicht werden (über alle teilnehmenden Sample- und Replacement-Schulen<br />
hinweg berechnet). Die Abhaltung von so genannten Nachtests (der Wiederholung des <strong>PISA</strong>-Tests für<br />
am Testtag fehlende Schüler/innen in einer Schule; vgl. Kapitel VI) kann notwendig werden, wenn am<br />
<strong>PISA</strong>-Testtag zu viele Schüler/innen einer Schule abwesend sind.<br />
Die Schüler-Rücklaufquote muss auf nationaler Ebene erreicht werden, nicht in jeder einzelnen<br />
Schule. Für Entscheidungen über die Qualität der erzielten Stichprobe eines Landes werden gewichtete<br />
Rücklaufquoten herangezogen.<br />
5. Die österreichische Stichprobe im Feldtest 2005<br />
5.1 Vorgaben für die Feldteststichprobe<br />
Die Stichprobe eines Feldtests bestimmt zu großen Teilen, ob der Feldtest seine Funktion erfüllen kann.<br />
Im Vordergrund für den Feldtest von <strong>PISA</strong> <strong>2006</strong> stand vor allem die Erprobung der neu entwickelten<br />
Testaufgaben in Naturwissenschaften sowie einiger neuer Fragebogenitems. In einem Feldtest werden<br />
natürlich auch immer die Erhebungsprozeduren getestet; diese stehen bei diesem Feldtest aber eher im<br />
Hintergrund, weil sich die Prozeduren gegenüber dem Haupttest 2000 und 2003 nur geringfügig geändert<br />
haben, also in diesem Bereich vor allem die Erprobung dieser kleineren Neuerungen im Mittelpunkt<br />
stand. Aus diesem Grund richten sich die Vorgaben bezüglich der Feldteststichprobe vor allem nach der<br />
Menge des Testmaterials, aus dem für den Haupttest ausgewählt werden soll.<br />
Um die Materialien testen zu können, ist es wichtig, eine Feldteststichprobe zu verwenden, die die wesentlichen<br />
Teile der Population (und damit der zu erwartenden Hauptteststichprobe) abdeckt. Folgende<br />
Vorgaben wurden von internationaler Seite für die Feldteststichprobe aufgestellt:<br />
• Für Länder, deren Feldtest zwischen 1. März und 31. Mai durchgeführt wird, ist die Definition des<br />
Zielalters der Geburtsjahrgang 1989.<br />
• Für jede der 12 Testheftformen müssen 100 Schüler/innen getestet werden. Das ergibt eine Mindestgröße<br />
von 1200 Personen für die realisierte Feldteststichprobe.<br />
• Je Schule werden 35 Schüler/innen getestet, sofern es 35 oder mehr Schüler/innen des Zieljahrgangs<br />
gibt, in Schulen mit weniger 15-/16-jährigen alle Schüler/innen des Zieljahrgangs.<br />
• Die Schulstichprobe muss nicht als reine Zufallsstichprobe ermittelt werden. Es ist zulässig, „günstige“<br />
Schulen auszuwählen, sofern die im Folgenden angeführten Punkte berücksichtigt werden:<br />
• Die Stichprobe muss Schüler/innen aus verschiedenen Schultypen umfassen, in denen sich signifikante<br />
Teile 15-/16-Jähriger befinden.<br />
• Die Stichprobe muss Schulen mit den verschiedenen von 15-/16-Jährigen besuchten Schulstufen<br />
enthalten.<br />
• Die Stichprobe sollte Schüler/innen verschiedener demografischer und sozio-ökonomischer Gruppen<br />
umfassen (z.B. verschiedene geografische Regionen, städtische und ländliche Regionen etc.).<br />
5.2 Struktur der österreichischen Feldteststichprobe<br />
Um die Vorgaben zu erfüllen, dass die Feldteststichprobe Schüler/innen aller relevanten Teile der Population<br />
der 15-/16-Jährigen umfasst, orientiert sich das österreichische Sampling-Design für den Feldtest 2005<br />
an zwei Merkmalen: der geografischen Lage der Schulen (nach Bundesland) und der Schulform (repräsentiert<br />
durch die 20 Strata, die die österreichischen Schulformen zu Gruppen zusammenfassen).<br />
Als Ausgangspunkt wurde die Verteilung der erforderlichen 51 Feldtestschulen auf diese beiden Variablen<br />
Seite 80<br />
V. Sampling-Design und Stichproben
festgelegt (dies entspricht den Randhäufigkeiten von Abbildung V.4). Die Anzahl zu testender Schulen<br />
wurde je nach Größe des Bundeslandes festgelegt.<br />
Schüler/innen aus Stratum 04 (Sonderschulen) wurden in den Feldtest von <strong>PISA</strong> <strong>2006</strong> nicht einbezogen,<br />
weil für den Feldtest international kein spezielles Testheft für Schüler/innen mit sonderpädagogischem<br />
Förderbedarf vorgesehen war. Die <strong>PISA</strong>-Prozeduren konnten schon im Feld- und Haupttest 2000<br />
und 2003 im Setting der Sonderschulen erfolgreich erprobt werden. Weiters wurde aus pragmatischen<br />
Gründen auf die Einbeziehung von Schulen aus dem sehr kleinen Stratum 8 verzichtet.<br />
Die Anzahl der zu testenden Schulen je Stratum wurde auf Grund der Anzahl der Schüler/innen in<br />
diesem Stratum bestimmt. Die konkrete Verteilung der Schulen auf die möglichen Bundesland-Stratum-<br />
Kombinationen wurde durch eine Zufallsauswahl bestimmt. Mehrfachauswahlen wurden nicht zugelassen.<br />
Das Ergebnis der Festlegungen und der darauf folgenden Zufallsauswahl enthält Abbildung V.4.<br />
5.3 Auswahl der Schulen<br />
Durch den Samplingplan aus Abbildung V.4 ist festgelegt, aus welchen Bundesland-Stratum-<br />
Kombinationen jeweils eine Schule ausgewählt werden muss. Für die konkrete Auswahl der Feldtest-<br />
Schulen wurde für jede dieser Kombinationen eine Liste aller Schulen mit 15-/16-Jährigen aus der<br />
Randhäufigkeiten - vorgegeben<br />
2 Hauptschule 3<br />
3 Polytechnische Schule 5<br />
Burgenland<br />
Kärtnen<br />
Niederösterr.<br />
Oberösterr.<br />
Salzburg<br />
Steiermark<br />
Tirol<br />
Vorarlberg<br />
Wien<br />
2 3 10 9 3 8 5 3 8<br />
<br />
<br />
4 Sonderschule 0<br />
5 Gymnasium 5<br />
6 Realgymnasium & wirtschaftskundliches RG 5<br />
7 Oberstufenrealgymnasium 2<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut 0<br />
9 Berufsschule (technisch/gewerblich) 5<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr) 2<br />
11 Berufsschule (land- & forstwirtschaftlich) 1<br />
12 BMS (gewerblich/technisch/kunstgewerblich) 2<br />
13 BMS (kaufmännisch) 4<br />
14 BMS (wirtschaftsberuflich/sozialberuflich) 4<br />
15 BMS (land- & forstwirtschaftlich) 2<br />
16 BHS (gewerblich/technisch/kunstgewerblich) 3<br />
17 BHS (kaufmännisch) 4<br />
18 BHS (wirtschaftlichsberuflich/sozialberuflich) 2<br />
19 BHS (land- & forstwirtschaftlich) 1<br />
20 Anstalten der Lehrer- & Erzieherbildung 1<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
Abbildung V.4: Struktur der Stichprobe für den Feldtest 2005<br />
V. Sampling-Design und Stichproben<br />
Seite 81
Schulstatistik des Schuljahrs 2003/2004 des BMUKK erstellt. Schulen, die an der Haupterhebung von<br />
<strong>PISA</strong> 2003 teilgenommen hatten, wurden aus diesen Listen entfernt, um die Belastung durch mehrmalige<br />
Testungen in verschiedenen Jahren zu verkleinern (in einem Feldtest ist dies ohne Probleme möglich, bei<br />
der Stichprobenziehung für Haupterhebungen kann darauf keine Rücksicht genommen werden).<br />
Aus jeder dieser Listen wurde dann zufällig eine Schule ausgewählt. Die auf der Liste benachbarten<br />
Schulen wurden als erste und zweite Replacement-Schule notiert.<br />
Abbildung V.5 gibt einen Überblick über die aus dieser Prozedur resultierende Stichprobe. Die Anzahl<br />
der Schulen entspricht den in Abbildung V.4 festgelegten Randhäufigkeiten. Bei der Schüleranzahl je<br />
Stratum handelt es sich um eine Schätzung auf Basis der Schuldatenbank, die dem Feldtestsampling zu<br />
Grunde liegt.<br />
Stratum<br />
2 Hauptschule<br />
3 Polytechnische Schule<br />
4 Sonderschule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten der Lehrer- & Erzieherbildung<br />
GESAMT<br />
Schulen<br />
(gezogen)<br />
Schüler/innen<br />
(erwartet)<br />
Anzahl Prozent<br />
3 46 2.8 %<br />
5 172 10.3 %<br />
- - -<br />
5 173 10.4 %<br />
5 175 10.5 %<br />
2 70 4.2 %<br />
- - -<br />
5 175 10.5 %<br />
2 61 3.7 %<br />
1 22 1.3 %<br />
2 70 4.2 %<br />
4 127 7.6 %<br />
4 130 7.8 %<br />
2 70 4.2 %<br />
3 105 6.3 %<br />
4 140 8.4 %<br />
2 70 4.2 %<br />
1 28 1.7 %<br />
1 35 2.1 %<br />
51 1672 100.0 %<br />
6. Die österreichische Stichprobe im Haupttest <strong>2006</strong><br />
6.1 Der österreichische Stichprobenplan<br />
Abbildung V.5: Die österreichische Stichprobe für den Feldtest 2005<br />
Auf der Basis der Populationsdefinition muss in jedem Land die national gewünschte sowie die national<br />
definierte Zielpopulation festgelegt werden. Dazu ist es notwendig, Populationsgrößen zu bestimmen,<br />
Schätzungen für die Anteile an Ausschlüssen verschiedener Art anzustellen und die Datenbasis, die als<br />
Grundlage für die konkrete Ziehung von Schulen herangezogen werden soll, festzulegen.<br />
Seite 82<br />
V. Sampling-Design und Stichproben
6.1.1 National Desired Target Population<br />
Die national gewünschte Zielpopulation für Österreich entspricht der durch die OECD festgelegten international<br />
gewünschten Zielpopulation für <strong>PISA</strong>. Die genaue Altersdefinition (die – wie oben erwähnt –<br />
in Abhängigkeit vom Testzeitpunkt gewählt werden muss) umfasst für Österreich für den <strong>PISA</strong>-Haupttest<br />
<strong>2006</strong> den vollständigen Geburtsjahrgang 1990. Das Testfenster für den <strong>PISA</strong>-Haupttest <strong>2006</strong> wurde in<br />
Österreich auf den Zeitraum von 20. April bis 31. Mai <strong>2006</strong> festgelegt. Weiters ist die <strong>PISA</strong>-Population<br />
entsprechend der internationalen Vorgaben auf Schüler/innen, die zumindest die 7. Schulstufe erreicht<br />
haben, beschränkt.<br />
Laut Statistik Austria umfasst die Alterskohorte (Anzahl der Personen des Jahrgangs 1989 zum Stichtag<br />
1.10.2004) 97.337 Personen. 92.273 Personen davon waren laut Schulstatistik im Schuljahr 2004/05<br />
an einer österreichischen Schule angemeldet. 124 Schüler/innen, das sind 0,13 %, befanden sich in<br />
den Schulstufen 1 bis 6 und werden deshalb nicht zur <strong>PISA</strong>-Zielgruppe gezählt. Da auf eine nationale<br />
Einschränkung der Zielpopulation in Österreich verzichtet wurde, wird die national gewünschte<br />
Zielpopulation (national desired target population) auf Basis der Daten der Statistik Austria und der österreichischen<br />
Schulstatistik (Schuljahr 2004/05 bzw. 2003/04) auf 92.149 Personen geschätzt. Auf Basis<br />
dieser Schätzungen befinden sich 5,3 % der Alterskohorte nicht mehr in Schulen oder unterhalb der 7.<br />
Schulstufe; diese sind durch die <strong>PISA</strong>-Population nicht abgedeckt.<br />
6.1.2 National Defined Target Population<br />
In Österreich wurde auf Ausschlüsse auf Schulebene vor der Testung vollständig verzichtet. Die Option,<br />
extrem kleine Schulen nicht zu testen (vgl. Abschnitt 2 idK.), wäre in Österreich problematisch, weil<br />
dadurch bestimmte Schulen systematisch ausgeschlossen würden, vor allem nämlich Sonderschulen und<br />
kleine Hauptschulen. Eine Analyse der Daten von <strong>PISA</strong> 2000 ergab, dass sich die gemessenen Leistungen<br />
der Schüler/innen aus Schulen, in denen maximal zwei Personen getestet werden konnten, signifikant von<br />
jener der anderen Schüler/innen unterschieden.<br />
Ausschlüsse auf Schulebene können allerdings dadurch entstehen, dass alle Schüler/innen einer inkludierten<br />
Schule aus bestimmten Gründen (siehe unten) von der Testung ausgeschlossen werden müssen. Das wird<br />
in den internationalen Rücklaufstatistiken ebenfalls als Ausschluss auf Schulebene gewertet (auch wenn<br />
dieser im Sampling-Plan nicht berücksichtigt ist).<br />
Ausschließungsgründe auf Schülerebene<br />
A<br />
B<br />
C<br />
Der ausgewählte Schüler oder die ausgewählte Schülerin weist eine so schwere<br />
dauernde körperliche Behinderung auf, dass eine Teilnahme am <strong>PISA</strong>-Test entweder<br />
nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. Körperlich behinderte<br />
Schüler/innen, die den Test bearbeiten können, sollen einbezogen werden.<br />
Der ausgewählte Schüler oder die ausgwählte Schülerin weist eine so schwere<br />
dauernde geistige Behinderung auf, dass eine Teilnahme am <strong>PISA</strong>-Test entweder<br />
nicht möglich, ethisch nicht vertretbar oder nicht sinnvoll ist. D.h., diese Schüler/innen<br />
sind nicht in der Lage, den Anweisungen in der Testsitzung zu folgen. Schüler/innen,<br />
die nur schlechte Leistungen erbringen oder disziplinäre Probleme haben, sollen<br />
NICHT von der Testsitzung ausgeschlossen werden.<br />
Der ausgewählte Schüler oder die ausgwählte Schülerin ist nichtdeutscher Muttersprache,<br />
er oder sie befindet sich erst weniger als ein Jahr in Österreich und es<br />
mangelt ihm oder ihr an Deutschkenntnissen, sodass ein Verstehen der Anleitungen<br />
und der Testaufgaben nicht möglich ist. Schüler/innen, die bereits länger als ein<br />
Jahr als ordentliche Schüler/innen in Österreich eine Schule besuchen, dürfen nicht<br />
ausgeschlossen werden.<br />
Abbildung V.6: Mögliche Gründe für Ausschlüsse auf Schülerebene<br />
V. Sampling-Design und Stichproben<br />
Seite 83
Ausschlüsse auf Schülerebene können nicht vollständig vermieden werden. Die Definition der drei zulässigen<br />
Ausschlusskategorien auf Schülerebene, so wie sie in Österreich verwendet wurde, findet sich<br />
in Abbildung V.6. Die Definitionen und Formulierungen wurden entsprechend der internationalen<br />
Vorgaben so gewählt, dass möglichst wenige Schüler/innen vom Test ausgeschlossen wurden.<br />
Auf Basis der Daten aus <strong>PISA</strong> 2000 wurden die Anteile an aus oben genannten Gründen ausgeschlossenen<br />
Schüler/innen auf unter 1 %, bei <strong>PISA</strong> 2003 auf rund 1,5 % geschätzt. In <strong>PISA</strong> 2003 mussten 0,8 % der<br />
ausgewählten Schüler/innen auf Grund von starker dauernder geistiger oder körperlicher Behinderung<br />
sowie 0,6 % wegen mangelnder Deutschkenntnisse vor dem <strong>PISA</strong>-Test ausgeschlossen werden. Bei <strong>PISA</strong><br />
<strong>2006</strong> sind ebenfalls Ausschlussquoten in dieser Größenordnung zu erwarten.<br />
6.1.3 Die dem Sampling zu Grunde liegende Datenbasis<br />
Letzter Baustein des Stichprobenplans ist die Festlegung der Datenbasis, anhand derer die Stichprobenziehung<br />
erfolgen soll. In Österreich steht hierfür die österreichische Schulstatistik zur Verfügung. Die<br />
Auswahl der <strong>PISA</strong>-Schulen musste im Herbst vor der Haupttestung (November 2005) abgeschlossen<br />
sein, um genügend Zeit für die Vorlaufinformationen und die Einladung der Schulen zur Verfügung zu<br />
haben (vgl. Kapitel VI).<br />
Zu diesem Zeitpunkt stand die Schuldatenbank des Schuljahrs 2004/05 zur Verfügung. Diese wurde zur<br />
Ziehung der Schulen herangezogen. Als Basis für die Auswahl der Schulen muss für jede Schule eine so<br />
genannte „measure of size“ (MOS) festgelegt werden, die eine Schätzung der Größe der Schule ist. Für<br />
<strong>PISA</strong> wird die Schulgröße als Anzahl 15-/16-jähriger Schüler/innen der Schule definiert. Die Anzahl der<br />
Schüler/innen des Geburtsjahrgangs 1989 im Schuljahr 2004/05 dient als Schätzung der zu erwartenden<br />
Anzahl testbarer Schüler/innen in einer Schule. Nach dieser richtet sich die Wahrscheinlichkeit einer<br />
Schule, für den <strong>PISA</strong>-Test ausgewählt zu werden.<br />
6.2 Stratifizierung der Stichprobe<br />
6.2.1 Explizite Stratifizierung<br />
Die Populationsdefinition bedeutet, dass für den <strong>PISA</strong>-Test Schüler/innen aus fast allen Schultypen, die<br />
es in Österreich gibt, in Frage kommen. Da das österreichische Schulsystem ein stark gegliedertes ist und<br />
ein relativ hoher Zusammenhang zwischen den Schulsparten – vor allem im Altersbereich der <strong>PISA</strong>-Schüler/innen<br />
– und den zu erhebenden Merkmale zu erwarten ist, ist es notwendig, diese Struktureigenschaft<br />
bei der Stichprobenziehung zu berücksichtigen.<br />
Vor dem ersten <strong>PISA</strong>-Feldtest im Jahr 1999 wurden im Einvernehmen mit dem BMUKK die Schulformen<br />
zu 20 Gruppen zusammengefasst. Diese gehen in den Prozess der Auswahl der <strong>PISA</strong>-Schulen in Form<br />
einer expliziten Stratifizierungsvariable ein. Je Stratum werden so viele Schulen gezogen, dass die erwartete<br />
Anzahl zu testender Schüler/innen proportional zum Anteil des Stratums an der gesamten Population<br />
ist.<br />
6.2.2 Kleine und sehr kleine Schulen<br />
Die internationalen Samplingregeln schreiben vor, wie kleine und sehr kleine Schulen beim Sampling<br />
zu behandeln sind (vgl. Abschnitt 3.3 idK.). In Österreich befinden sich knapp 11 % der 15-/16-<br />
jährigen Schüler/innen in Schulen mit maximal 17 Zielschülerinnen und Zielschülern (sehr kleinen<br />
Schulen) und ca. 15 % in Schulen mit 17 bis 35 Zielschülerinnen und Zielschülern (kleinen<br />
Schulen). Da, wie in Abbildung V.2 ersichtlich ist, ab 1 % Schüler/innen in sehr kleinen Schulen<br />
und 4 % Schüler/innen in kleinen Schulen eigene explizite Strata für diese beiden Schul-Gruppen<br />
einzuführen sind, werden die expliziten Strata entsprechend der Schulformen durch Strata für kleine<br />
Schulen ergänzt. In den 20 Strata, die durch die Gruppierung der Schulformen entstehen, werden<br />
nur jene Schulen berücksichtigt, für die über 35 Zielschüler/innen zu erwarten sind. Alle Schulen,<br />
unabhängig von der Schulsparte, mit 17 bis 35 zu erwartenden Zielschülerinnen und Zielschülern<br />
Seite 84<br />
V. Sampling-Design und Stichproben
werden dem Stratum 21 für kleine Schulen zugeteilt; alle sehr kleinen Schulen (mit maximal 17 zu erwartenden<br />
Schülerinnen und Schülern) werden in Stratum 22 zusammengefasst.<br />
Für Stratum 22 wurde auch in Österreich etwa um den Faktor 2 untersampelt, um den Administrationsaufwand<br />
der <strong>PISA</strong>-Erhebung deutlich zu verringern, wobei nur geringe Auswirkungen auf die Präzision<br />
der Ergebnisse in Kauf genommen werden müssen (vgl. dazu Abschnitt 3.3).<br />
6.2.3 Implizite Stratifizierung<br />
Um die regionale Streuung der Schüler/innen in der Stichprobe sicherzustellen, wird die geografische<br />
Lage der Schulen in Form von impliziter Stratifizierung berücksichtigt. Dies erfolgt durch die Sortierung<br />
der Schulen nach Bezirken innerhalb jedes expliziten Stratums. In den beiden Strata für kleine und sehr<br />
kleine Schulen wird als implizite Stratifizierungsvariable die Schulsparte herangezogen.<br />
6.3 Praktische Umsetzung<br />
6.3.1 Die Ziehung der Schulstichprobe<br />
Für die Stichprobenziehung bei <strong>PISA</strong> <strong>2006</strong> war eine enge Zusammenarbeit zwischen dem nationalen und<br />
dem internationalen Projektzentrum erforderlich. Sampling betreffende Angelegenheiten nimmt Westat<br />
(USA) für das internationale Zentrum wahr. Die im Folgenden beschriebenen 5 Schritte waren notwendig,<br />
um die Schulstichprobe zu bestimmen:<br />
1. Schritt: Samplingplan<br />
Die Festlegung der national definierten Zielpopulation erfolgt durch das nationale Projektzentrum. Dies<br />
wird mittels standardisierter Formulare dokumentiert, um dem internationalen Zentrum die Beurteilung<br />
des Samplingplans zu ermöglichen.<br />
2. Schritt: Sampling Frame erstellen<br />
Sobald der nationale Samplingplan von internationaler Seite bewilligt ist, kann das nationale Zentrum<br />
die Datenbasis für die Stichprobenziehung erstellen. Dazu muss eine Liste aller Schulen, in denen sich<br />
15-/16-Jährige befinden, erstellt werden. Diese Liste (der so genannte Sampling Frame) muss Angaben zu<br />
jeder Schule umfassen, die die Zuordnung der Schule zu einem expliziten sowie einem impliziten Stratum<br />
ermöglichen, sowie die oben erwähnte MOS (measure of size).<br />
3. Schritt: Bestimmung der Populationsanteile in den expliziten Strata<br />
Auf Basis des Sampling Frames wird für die Zielpopulation bestimmt, welche Anteile an Schüler/innen<br />
sich in den einzelnen expliziten Strata befinden. Daraus wird bestimmt, wie viele Schulen in jedem der<br />
Strata gezogen werden müssen, um eine realisierte Stichprobe von 4500 Schülerinnen und Schülern zu<br />
erreichen. Abbildung V.7 (siehe nächste Seite) zeigt das Ergebnis dieser Analyse. Insgesamt müssen 213<br />
Schulen aus 20 Strata gezogen werden. Das ursprünglichen Stratum 04 (Sonderschulen) enthält nur<br />
Schulen mit maximal 35 Zielschülerinnen und Zielschülern, weshalb diese ausschließlich in den Strata<br />
21 und 22 vertreten sind. Das für Volksschulen angelegte Stratum 01 ist seit <strong>PISA</strong> 2003 auf Grund der<br />
geänderten Populationsdefinition – Schüler/innen ab der 7. Schulstufe – hinfällig.<br />
4. Schritt: Ziehung der Schulstichprobe durch Westat<br />
Die Auswahl der Schulen in den einzelnen Strata erfolgt nach Sortierung der Schulen entsprechend<br />
der impliziten Stratifizierungsvariablen durch ein PPS-Samplingverfahren (probabilities proportional to<br />
size). Die Ziehung der Schulstichprobe erfolgte – wie schon 2003 – auf Basis des Samplingplans und des<br />
Sampling Frames durch Westat.<br />
5. Schritt: Verifikation der Schulstichprobe durch das nationale Projektzentrum<br />
Im letzten Schritt wird die Auswahl der Schulen durch das nationale Zentrum überprüft. Eventuell festgestellte<br />
Probleme werden mit dem internationalen Zentrum diskutiert und gegebenenfalls korrigiert.<br />
V. Sampling-Design und Stichproben<br />
Seite 85
Populationskennwerte<br />
explizites Stratum<br />
Anteil (%) an<br />
Population<br />
Anteil (%) an<br />
Schüler/innen<br />
in großen<br />
Schulen<br />
Anzahl an Schulen in<br />
Stichprobe<br />
(gerundet) (angepasst 1 )<br />
Strata für große Schulen<br />
1<br />
2 Hauptschule<br />
0.14 % 0.19 % 0 2<br />
2 Angepasst um die größeren Ausfälle in Berufsschulen ausgleichen zu können.<br />
3 Polytechnische Schule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundl. RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinb. Schulen (mit Statut)<br />
6.26 %<br />
5.56 %<br />
5.32 %<br />
4.94 %<br />
0.08 %<br />
8.40 %<br />
7.48 %<br />
7.14 %<br />
6.64 %<br />
0.11 %<br />
10<br />
9<br />
8<br />
8<br />
0<br />
10<br />
9<br />
8<br />
8<br />
1<br />
2<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufm./Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
11.89 %<br />
3.71 %<br />
0.13 %<br />
15.98 %<br />
4.98 %<br />
0.17 %<br />
19<br />
6<br />
0<br />
22<br />
7<br />
1<br />
2<br />
12 BMS (gewerblich/technisch/kunstgewerbl.)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerbl.)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten f. Lehrer- & Erzieherbildung<br />
21 Kleine Schulen (18–35 Schüler/innen)<br />
22 Sehr kleine Schulen (1–17 Schüler/innen)<br />
GESAMT<br />
1.94 %<br />
1.67 %<br />
2.56 %<br />
3.22 %<br />
10.59 %<br />
8.44 %<br />
5.98 %<br />
0.46 %<br />
1.53 %<br />
14.81 %<br />
10.76 %<br />
100.00 %<br />
2.61 %<br />
2.25 %<br />
3.44 %<br />
4.33 %<br />
14.23 %<br />
11.33 %<br />
8.03 %<br />
0.62 %<br />
2.05 %<br />
-<br />
-<br />
-<br />
3<br />
3<br />
4<br />
5<br />
17<br />
13<br />
9<br />
1<br />
2<br />
33<br />
52<br />
202<br />
3<br />
3<br />
4<br />
5<br />
17<br />
13<br />
9<br />
1<br />
2<br />
2<br />
33<br />
52<br />
213<br />
1 Angepasst an die Vorgabe je Stratum mindestens 2 Schulen zu testen.<br />
Abbildung V.7: Verteilung der Population auf die expliziten Strata<br />
2<br />
2<br />
6.3.2 Auswahl der Schüler/innen<br />
Im Lauf des Screenings (der Kontaktaufnahme mit den Schulen) werden von den <strong>PISA</strong>-Schulen<br />
Schülerlisten erhoben. Diese müssen alle Schüler/innen, die in der Populationsdefinition enthalten sind,<br />
umfassen. Aus diesen Schülerlisten wird – sofern diese mehr als 35 Schüler/innen umfassen – zentral<br />
durch das <strong>PISA</strong>-Zentrum die Schülerstichprobe gezogen. Umfasst eine Liste 35 Schüler/innen oder weniger,<br />
werden alle Schüler/innen für den <strong>PISA</strong>-Test ausgewählt.<br />
Die Auswahl der 35 Testschüler/innen erfolgt zufällig. Nach Sortierung der vollständigen Liste nach dem<br />
Geburtsdatum der Schüler/innen werden mit Hilfe einer Zufallszahl (zur Bestimmung des/der ersten auszuwählenden<br />
Schülers/in) und eines berechneten Samplingintervalls 35 Schüler/innen ausgewählt (systematische<br />
Stichprobenziehung). Die Auswahl der Schülerstichprobe erfolgt computergestützt mit Hilfe<br />
der von A.C.E.R. (hauptsächlich für Dateneingabe und -management) entwickelten Software KeyQuest<br />
(vgl. Abschnitt 2 in Kapitel X).<br />
Seite 86<br />
V. Sampling-Design und Stichproben
6.4 Die österreichische Hauptteststichprobe für <strong>PISA</strong> <strong>2006</strong><br />
Abbildung V.8 zeigt die Zusammensetzung der Stichprobe für den <strong>PISA</strong>-Haupttest <strong>2006</strong>. Die Angaben<br />
über die Schulen entsprechen der Anzahl tatsächlich ausgewählter Schulen je Stratum. Bei den Angaben<br />
zur Anzahl der Schüler/innen handelt es sich um Schätzungen auf der Basis der Daten des Schuljahres<br />
2004/2005.<br />
Strata für große Schulen<br />
explizites Stratum<br />
2 Hauptschule<br />
3 Polytechnische Schule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinb. Schulen mit Statut<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (forst- und landwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten der Lehrer- & Erzieherbildung<br />
21 Kleine Schulen (18-35 Schüler/innen)<br />
22 Sehr kleine Schulen (1-17 Schüler/innen)<br />
Schulen<br />
(gezogen)<br />
Schüler/innen (erwartet)<br />
Anzahl Prozent<br />
2 70 1.2 %<br />
10 350 6.2 %<br />
9 315 5.6 %<br />
8 280 5.0 %<br />
8 280 5.0 %<br />
2 70 1.2 %<br />
22 770 13.7 %<br />
7 245 4.4 %<br />
2 29 0.5 %<br />
3 105 1.9 %<br />
3 105 1.9 %<br />
4 140 2.5 %<br />
5 175 3.1 %<br />
17 595 10.6 %<br />
13 455 8.1 %<br />
9 315 5.6 %<br />
2 70 1.2 %<br />
2 70 1.2 %<br />
33 860 15.3 %<br />
52 329 5.8 %<br />
213 5628 100.0 %<br />
6.5 Zusatzstichproben<br />
Abbildung V.8: Die österreichische Hauptteststichprobe für <strong>PISA</strong> <strong>2006</strong><br />
Sowohl im Feld- als auch im Haupttest wurden in Österreich zusätzliche Stichproben realisiert.<br />
(1) Im Feldtest fand für das internationale Zusatzprojekt „Computer Based Assessment of Science“<br />
(CBAS) bei einer Stichprobe von 50 zusätzlichen Schulen ein Pilotversuch zur Durchführung der<br />
<strong>PISA</strong>-Testung auf Laptops statt. Die Schüler/innen bearbeiteten <strong>PISA</strong>-Aufgaben sowohl auf dem<br />
Laptop als auch auf „traditionelle“ Art mit Papier und Bleistift. Details zur Zusammensetzung dieser<br />
Stichprobe sowie zu diesem Projekt im Allgemeinen finden sich in Kapitel XI.<br />
(2) Die österreichischen Waldorfschulen entschieden sich – wie bei <strong>PISA</strong> 2000 und 2003 – am Haupttest<br />
von <strong>PISA</strong> <strong>2006</strong> teilzunehmen. Die Stichprobe umfasst alle 10 österreichischen Waldorfschulen, wobei<br />
je Schule maximal 35 Schüler/innen des Jahrgangs 1990 getestet wurden. In allen Waldorfschulen<br />
bedeutet das eine Vollerhebung dieses Geburtsjahrgangs.<br />
V. Sampling-Design und Stichproben<br />
Seite 87
7. Qualitätssicherung<br />
Die Qualität der Stichprobe einer Untersuchung wird im Wesentlichen durch die Art und Weise,<br />
wie die Stichprobe ermittelt wird, bestimmt. Ein post-hoc erbrachter Nachweis über die Güte der<br />
Zusammensetzung oder Größe der realisierten Stichprobe kann angemessene Prozeduren und eine korrekte<br />
Vorgangsweise bei der Selektion nicht ersetzen.<br />
Bei <strong>PISA</strong> entspricht der Samplingplan modernen statistischen Methoden. Die <strong>PISA</strong>-Stichprobe wird auf<br />
beiden Ebenen – Schulen und Schüler/innen – in Form von Wahrscheinlichkeitssamples (probability<br />
samples) ermittelt. Die Präzision der Stichprobe (und gleichzeitig auch deren Effizienz) werden durch die<br />
Verwendung sinnvoller Stratifizierungsvariablen deutlich verbessert.<br />
Ein weiteres wichtiges Kriterium ergibt sich aus der Tatsache, dass <strong>PISA</strong> eine international vergleichende<br />
Studie ist. Vergleichbarkeit zwischen den Ländern wird durch mehrere Maßnahmen sichergestellt:<br />
• Dem Sampling liegen eindeutige, für alle Länder verpflichtende Vorgaben der OECD zu Grunde<br />
(Populationsdefinition, Stichprobengröße, Art der Stichprobenziehung, Mindest-Rücklaufquoten).<br />
• Wie diese Vorgaben umgesetzt werden können, ist in dem vom internationalen Projektzentrum erstellen<br />
Sampling-Manual genau festgelegt. Dieses operationalisiert die Qualitätsstandards der OECD<br />
und beschreibt im Detail, wie bei der Definition der national gewünschten Zielpopulation sowie der<br />
Ziehung der Stichprobe vorgegangen werden muss.<br />
• In Form mehrerer Formulare wird der Stichprobenplan sowie die Stichprobenziehung in allen Ländern<br />
im Detail und in vergleichbarer Weise dokumentiert.<br />
• Die Ziehung der Stichprobe erfolgt für alle Länder durch Westat, den für das Sampling verantwortlichen<br />
Partner des internationalen Projektkonsortiums, die Überprüfung der Korrektheit der Stichprobenziehung<br />
in enger Kooperation zwischen Westat und den nationalen Projektzentren.<br />
Ein weiteres notwendiges Qualitätskriterium einer Stichprobe ist die Einhaltung der Vorgaben bezüglich<br />
der Rücklaufquoten. Diesem Bereich ist ein eigenes Kapitel in der vorliegenden Publikation gewidmet<br />
(vgl. Kapitel VII).<br />
Ein wichtiges Qualitätsmerkmal von <strong>PISA</strong> insgesamt ist die Durchführung eines Feldtests. Das gezielte<br />
Austesten von Instrumenten, Vercodungsrichtlinien oder verschiedenen im Lauf der Studie notwendigen<br />
Prozeduren wird hierbei als wichtige Qualitätslenkungsmaßnahme angesehen und trägt wesentlich zur<br />
Qualitätssteigerung in diesen Bereichen bei. Beim Sampling hingegen spielt das Testen der notwendigen<br />
Prozeduren im Rahmen des Feldtests – vor allem im dritten Erhebungszyklus – eine eher untergeordnete<br />
Rolle; verschiedene Qualitätsmerkmale der Feldteststichprobe – vor allem die Zusammensetzung dieser<br />
sowie ausreichende Rücklaufquoten – stellen jedoch sicher, dass in vielen anderen Bereichen der Feldtest<br />
die Funktion der Qualitätssicherung erfüllt.<br />
Bibliografie<br />
Haider, G. (2001). Population und Stichproben. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden und Stichproben<br />
des österreichischen <strong>PISA</strong> Projekts (S. 146–163). Innsbruck: StudienVerlag.<br />
Kish, L. (1995). Survey Sampling. New York [u.a.]: Wiley.<br />
Reiter, C. (2004). Sampling: Sampling-Design und Stichproben. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich<br />
von Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/<br />
testinstrumente/index.htm [Datum des Zugriffs: 08.02.2007]<br />
Schwarz, C. J. (nicht datiert). http://www.stat.sfu.ca/~cschwarz/Stat-650/Notes/Handouts/node52.html.<br />
Thompson, S. K. (1992). Sampling. New York [u.a.]: Wiley.<br />
Reiter, C. (2004): Sampling-Design und Stichproben. In C. Reiter, B. Lang & G. Haider, (Hrsg.), <strong>PISA</strong> 2003 – Internationaler<br />
Vergleich von Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>. www.pisa-austria.at/pisa2003/index2.htm (7.12.2004).<br />
Seite 88<br />
V. Sampling-Design und Stichproben
VI<br />
V<br />
TESTORGANISATION UND DURCHFÜHRUNG<br />
Simone Breit<br />
1. Chronologischer Überblick über den Ablauf der Testorganisation<br />
2. Kooperation mit Schulen und Schulbehörden<br />
2.1 Information der Schulbehörden und Schulaufsicht<br />
2.2 Information der Schulleitung – Aufgaben der Schulleitung<br />
3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)<br />
3.1 Erstellung ud Übermittlung einer Schülerliste an das nationale Zentrum<br />
3.2 Kontrolle und Ergänzung der <strong>PISA</strong>-Schülerliste<br />
3.3 Termin- und Raumplanung<br />
3.4 Information der Schüler/innen, Eltern und Lehrer/innen<br />
3.5 Schulfragebogen<br />
3.6 Aufgaben am Testtag<br />
4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente<br />
4.1 Druck und Kontrolle der Erhebungsinstrumente<br />
4.2 Etikettierung der Testhefte und Fragebögen<br />
4.3 Verpackung und Verteilung des Erhebungsmaterials<br />
4.4 Rücklaufkontrolle der Schulpakete<br />
5. Aufgaben der Testleiter/innen (TL)<br />
5.1 Kontaktaufnahme mit den TL<br />
5.2 Teilnahme an der Schulung für TL<br />
5.3 Terminvereinbarung mit den SK<br />
5.4 Aufgaben am Testtag<br />
5.5 Durchführung eines Nachtests<br />
5.6 Ablieferung des Testmaterials<br />
6. Qualitätssicherung bei der Testorganisation und -durchführung<br />
6.1 Der Feldtest als Probelauf<br />
6.2 Kontakte mit Schulen bzw. SK<br />
6.3 Qualitätssicherung bei Vorbereitung und Organisation der Erhebungsmaterialien<br />
6.4 Qualität und Testadministration<br />
Dieser Text basiert auf dem entsprechenden Kapitel bei <strong>PISA</strong> 2003 (Pointinger, 2004). Die Autorin dieses Kapitels dankt Martin<br />
Pointinger für die Bereitstellung des Textes.
In diesem Kapitel werden die wichtigsten Tätigkeiten beschrieben, die im Zusammenhang mit der<br />
Durchführung der Tests an den Schulen von oder in Kooperation mit Personen außerhalb des nationalen<br />
Projektzentrums durchgeführt wurden. Chronologisch betrachtet beginnt dieser Abschnitt bei<br />
der Kontaktaufnahme mit den Testleiterinnen und Testleitern und endet bei der Rücklaufkontrolle der<br />
Testmaterialien im nationalen Projektzentrum.<br />
1. Chronologischer Überblick über den Ablauf der Testorganisation<br />
Abbildung VI.1 gibt in tabellarischer Form einen Überblick über die zeitliche Abfolge der wichtigsten<br />
Tätigkeiten im Bereich der Testorganisation und -durchführung.<br />
Monat<br />
Okt. 05<br />
Nov. 05<br />
Dez. 05<br />
Jän. 06<br />
Feb. 06<br />
März 06<br />
April 06<br />
Mai 06<br />
Tätigkeiten<br />
Kontaktaufnahme mit den Testleiterinnen<br />
Mitteilung der ausgewählten Schulen durch das internationale Zentrum<br />
Information der zuständigen Schulbehörden<br />
Einladung der ausgewählten Schulen zur Teilnahme<br />
Ernennung einer Ansprechperson an der Schule (SK) durch Schulleitung<br />
Übermittlung einer Liste aller Schüler/innen des Geburtsjahrgangs 1990<br />
Ziehung der Schülerstichproben (max. 35 Schüler/innen pro Schule)<br />
Druck, Kontrolle, Etikettierung und Verpackung der Testmaterialien<br />
Mitteilung der ausgewählten Schüler/innen an den/die SK<br />
Information der ausgewählten Schüler/innen und deren Eltern<br />
Vereinbarung der Testtermine mit den Testleiterinnen und Testleitern<br />
Regionale Schulung der Testleiter/innen<br />
Durchführung der Testsitzungen an den Schulen (20.04. bis 31.05.)<br />
Abholung der Testmaterialien aus den Bundesländern<br />
Abbildung VI.1 Chronologie der Testorganisation beim Haupttest <strong>2006</strong><br />
2. Kooperation mit Schulen und Schulbehörden<br />
Für den Erfolg und die Qualität der <strong>PISA</strong>-Studie ist die Teilnahme möglichst aller, per Zufall ausgewählter<br />
Schulen von entscheidender Bedeutung. Aus diesem Grund ist es eine wesentliche Aufgabe, die<br />
Schulen von der Wichtigkeit ihres Mitwirkens an <strong>PISA</strong> zu überzeugen. In diesem Zusammenhang ist<br />
die enge Kooperation zwischen dem nationalen Projektzentrum (ZVB) und dem BMUKK sowie die<br />
Unterstützung des Projekts durch die Schulbehörden von enormer Bedeutung.<br />
2.1 Information der Schulbehörden und Schulaufsicht<br />
Nach der Auswahl der Schulen durch das internationale Zentrum und der Überprüfung der Schulstichprobe<br />
durch das nationale Projektzentrum und das bm:bwk erfolgt die Kontaktaufnahme mit den zuständigen<br />
Schulbehörden. Die Landesschulratspräsidentinnen und Landesschulratspräsidenten werden in<br />
einem persönlichen Brief der damaligen Frau Bundesminister Gehrer über die Durchführung der Studie<br />
informiert und gebeten, diese in ihrem jeweiligen Wirkungsbereich zu unterstützen. Einige Tage später<br />
werden sowohl die Landesschulräte als auch die Landesschulinspektorinnen und Landesschulinspektoren<br />
vom nationalen Projektzentrum in einer Aussendung im Detail über die Durchführung und den Ablauf<br />
der Studie informiert. In dieser Aussendung sind eine Liste der für <strong>PISA</strong> ausgewählten Schulen ihres<br />
Zuständigkeitsbereichs und Informationsmaterialien zur <strong>PISA</strong>-Studie enthalten.<br />
Seite 90<br />
VI. Testorganisation und Durchführung
2.2 Information der Schulleitung – Aufgaben der Schulleitung<br />
Die Schulleiter/innen der ausgewählten Schulen wurden Anfang des Jahres <strong>2006</strong> vom nationalen<br />
Projektzentrum in einer Aussendung über das Projekt informiert und zur Teilnahme eingeladen. Um<br />
die Beteiligung möglichst aller ausgewählten Schulen zu erreichen, wird versucht, den Aufwand für die<br />
Schulen möglichst gering zu halten. Erfreulicherweise nahmen beim Haupttest <strong>2006</strong> alle ursprünglich<br />
ausgewählten Schulen an <strong>PISA</strong> teil, und es musste keine der bereits beim Sampling ausgewählten<br />
Ersatzschulen kontaktiert werden.<br />
Die Schulleitung hat die Aufgabe, in der Schule eine Kontaktperson, die Schulkoordinatorin/den<br />
Schulkoordinator (im Folgenden kurz SK genannt), zu ernennen. Diese/r fungiert als Ansprechpartner/in<br />
für das nationale Projektzentrum (ZVB) und ist für die weiteren organisatorischen Tätigkeiten bei der<br />
Erhebung an der Schule verantwortlich. Die Rolle der/des SK kann von Lehrerinnen und Lehrern, der<br />
Schuladministratorin bzw. dem Schuladministrator oder auch von der Schulleitung selbst übernommen<br />
werden.<br />
Die Schulleitung wird außerdem gebeten, bis zum Testtermin einen Fragebogen mit Angaben zur Schule<br />
(Kontextfragebogen auf Schulebene) zu beantworten.<br />
3. Aufgaben der Schulkoordinatorinnen und -koordinatoren (SK)<br />
In jeder Schule wird von der Schulleitung eine Person bestimmt, die für die weiteren Tätigkeiten bzw. den<br />
weiteren Kontakt mit dem nationalen Projektzentrum zuständig ist. Die SK erhalten für diese Tätigkeiten<br />
eine Aufwandsentschädigung. Die einzelnen Aufgaben der SK werden im Folgenden beschrieben.<br />
3.1 Erstellung und Übermittlung einer Schülerliste an das nationale Zentrum<br />
Im Informationsschreiben, das an die Schulleiter/innen gesendet wird, ist bereits erstes Informationsmaterial<br />
für die SK enthalten. Sie werden ersucht, eine Liste aller Schüler/innen des ausgewählten Schultyps mit<br />
dem Geburtsjahrgang 1990 an das ZVB zu senden. Die Liste sollte – neben Kontaktinformationen zu<br />
Schule und SK – für jede Schülerin und jeden Schüler folgende Informationen enthalten:<br />
• Vor- und Nachname<br />
• Klasse<br />
• Schulstufe<br />
• Geschlecht<br />
• Geburtsdatum<br />
• Lehrberuf (nur in Berufsschulen)<br />
Um den Schulen die Arbeit zu vereinfachen und um die Formate der Schülerlisten zu vereinheitlichen,<br />
werden den SK eine Anleitung zur Erstellung der Liste und ein Muster zur Verfügung gestellt. In einem<br />
speziell für die SK eingerichteten Bereich auf der Homepage des nationalen Projektzentrums konnte darüber<br />
hinaus eine elektronische Vorlage der Schülerliste heruntergeladen werden.<br />
Die übermittelten Schülerlisten werden von Mitarbeiterinnen und Mitarbeitern des ZVB hinsichtlich<br />
ihrer Vollständigkeit kontrolliert und in ein einheitliches elektronisches Format gebracht. Fehlen auf<br />
den Listen notwendige Informationen, werden die Schulen telefonisch kontaktiert und um zusätzliche<br />
Auskünfte gebeten.<br />
Die Daten der formatierten Listen werden anschließend in ein speziell für <strong>PISA</strong> entwickeltes Software-<br />
Programm mit dem Namen KeyQuest importiert. Diese Software wird zur Verwaltung der Schul- und<br />
Schülerdaten verwendet. Das Programm KeyQuest wird in Abschnitt 2 von Kapitel X beschrieben.<br />
Da laut Stichprobendesign in jeder Schule maximal 35 Schüler/innen getestet werden, ist es bei Schulen<br />
mit mehr als 35 Schüler/innen des Geburtsjahrganges 1990 notwendig, eine Zufallsstichprobe zu ziehen.<br />
Diese Aufgabe wird mit dem Programm KeyQuest realisiert. Bei Schulen mit weniger als 35 Schülerinnen<br />
und Schülern nehmen automatisch alle Zielschüler/innen an <strong>PISA</strong> teil.<br />
Nach der Ziehung der Schülerstichprobe jeder Schule wird eine so genannte <strong>PISA</strong>-Schülerliste erstellt,<br />
auf der alle Schüler/innen aufgelistet sind, die an der jeweiligen Schule für <strong>PISA</strong> ausgewählt wurden.<br />
VI. Testorganisation und Durchführung<br />
Seite 91
Nur diese Schüler/innen dürfen an der Studie teilnehmen. Die <strong>PISA</strong>-Schülerliste ist ein sehr wichtiges<br />
Dokument bei der Durchführung der Erhebung. Sie dient neben der Auflistung der ausgewählten<br />
Schüler/innen auch der Dokumentation der Teilnahme der Schüler/innen und ordnet jeder Schülerin<br />
und jedem Schüler mit Hilfe einer Identifikationsnummer das Testmaterial zu. Im Detail wird die <strong>PISA</strong>-<br />
Schülerliste in Abschnitt 5 dieses Kapitels beschrieben.<br />
3.2 Kontrolle und Ergänzung der <strong>PISA</strong>-Schülerliste<br />
Etwa Mitte März werden die <strong>PISA</strong>-Schülerlisten in einer zweiten Aussendung den SK übermittelt. Diese<br />
müssen anschließend die Liste kontrollieren und für jede Schülerin und jeden Schüler eintragen, ob<br />
sonderpädagogischer Förderbedarf oder mangelnde Sprachkenntnisse bestehen. Die SK müssen weiters –<br />
nach vorgegebenen Richtlinien – entscheiden, ob die Schüler/innen mit Förderbedarf oder mangelnden<br />
Sprachkenntnissen in der Lage sind, an <strong>PISA</strong> teilzunehmen. Näheres zur Schülerliste und den Richtlinien<br />
für den Ausschluss von Schülerinnen und Schülern ist in Abschnitt 5 dieses Kapitels zu finden.<br />
3.3 Termin- und Raumplanung<br />
Der/Die SK vereinbart gemeinsam mit der Testleiterin oder dem Testleiter (schulfremde Person, die den<br />
Test an der Schule durchführt; im Folgenden kurz TL genannt) den Termin für den Test. Als Testtermin<br />
muss ein Schultag im festgelegten, sechswöchigen Testfenster, das in Österreich beim Haupttest <strong>2006</strong> von<br />
20. April bis 31. Mai <strong>2006</strong> dauerte, gewählt werden. Weiters ist es Aufgabe des/der SK, einen geeigneten<br />
Testraum für diesen Termin zu organisieren.<br />
3.4 Information der Schüler/innen, Eltern und Lehrer/innen<br />
Die zur Teilnahme an <strong>PISA</strong> ausgewählten Schüler/innen und deren Eltern werden über die <strong>PISA</strong>-Studie<br />
mit einem vom nationalen Projektzentrum verfassten Schreiben und einer Broschüre informiert. In diesem<br />
Schreiben wird den Schülerinnen und Schülern sowie den Eltern auch mitgeteilt, dass die Teilnahme<br />
an <strong>PISA</strong> freiwillig ist und dass sowohl die Schüler/innen als auch deren Eltern die Möglichkeit haben, sich<br />
bzw. ihr Kind vom Test abzumelden. Die SK sollen allerdings versuchen, die Schüler/innen bzw. deren<br />
Eltern von der Wichtigkeit der Teilnahme möglichst aller ausgewählten Schüler/innen zu überzeugen.<br />
Die SK haben weiters die Aufgabe, die Lehrer/innen der Schule darüber zu informieren, welche<br />
Schüler/innen am <strong>PISA</strong>-Test teilnehmen und an welchem Termin der Test stattfindet.<br />
3.5 Schulfragebogen<br />
Die zweite Aussendung enthält einen Schulfragebogen, der wesentliche Kontextdaten der Schule und des<br />
Lernumfelds erhebt. Die Schulleitung füllt diesen Fragebogen bis zum Testtermin aus und der/die SK<br />
trägt dafür Verantwortung, dass der Fragebogen am Testtag dem/der TL übergeben wird.<br />
3.6 Aufgaben am Testtag<br />
Am Testtag empfängt der/die SK den/die TL ungefähr eine Stunde vor dem vereinbarten Testbeginn, um<br />
ihm/ihr den Testraum zu zeigen und ihn/sie eventuell bei Vorbereitungsmaßnahmen zu unterstützen.<br />
Anschließend bespricht der/die SK mit dem/der TL die <strong>PISA</strong>-Schülerliste und meldet gegebenenfalls<br />
Änderungen auf der Liste. Der/die TL hat die Aufgabe, die Eintragungen des/der SK zu Förderbedarf<br />
und mangelnden Sprachkenntnissen auf seine <strong>PISA</strong>-Schülerliste zu übertragen. Daher soll die <strong>PISA</strong>-<br />
Schülerliste des/der SK nach der Durchführung des Tests für mögliche Rückfragen noch einige Wochen<br />
in der Schule aufbewahrt werden.<br />
Der/Die SK hat weiters dafür Sorge zu tragen, dass alle ausgewählten Schüler/innen am Testtag zum vereinbarten<br />
Termin zum Testraum kommen. Gemeinsam mit dem/der TL empfängt und begrüßt er/sie die<br />
Schüler/innen und unterstützt den/die TL bei der Anwesenheitskontrolle. Während der Testsitzung ist die<br />
Anwesenheit des/der SK nicht erforderlich, der/die TL soll allerdings für diesen Zeitraum wissen, wo der/die SK<br />
oder die Schulleitung erreichbar sind. Details zum Ablauf der <strong>PISA</strong>-Testsitzung finden Sie in Abschnitt 5 idK.<br />
Seite 92<br />
VI. Testorganisation und Durchführung
4. Druck, Vorbereitung und Rücklauf der Erhebungsinstrumente<br />
Nach Übersetzung, nationaler Anpassung, Layoutierung und Verifikation (siehe Kapitel III und IV)<br />
werden die Erhebungsinstrumente (Testhefte, Fragebögen) gedruckt. In diesem Abschnitt werden die<br />
notwendigen Schritte von der Übermittlung der Druckvorlagen an die Druckerei bis zur Übergabe der<br />
Schulpakete an die TL beschrieben. In Abschnitt 4.4 idK. wird weiters die Rücklaufkontrolle, die am<br />
nationalen Zentrum nach der Abholung der Testmaterialien von den Sammelstellen durchgeführt wird,<br />
dargestellt.<br />
4.1 Druck und Kontrolle der Erhebungsinstrumente<br />
Nachdem die Erhebungsinstrumente vom internationalen Zentrum überprüft und genehmigt sind,<br />
können diese gedruckt werden. Der Auftrag zum Druck der Testhefte und Fragebögen wurde beim<br />
Haupttest <strong>2006</strong> an eine Druckerei vergeben, nur die Materialien für Schulen, an denen Anfang März<br />
eine Testsitzung stattfand, wurden in einem Copyshop vervielfältigt. Mitte Februar wurden der Druckerei<br />
die ersten Instrumente übergeben. Innerhalb von etwa zwei Wochen wurden alle Erhebungsmaterialien<br />
von der Druckerei an das nationale Projektzentrum geliefert.<br />
Die Erhebungsmaterialien werden anschließend von Mitarbeiterinnen und Mitarbeitern des nationalen<br />
Zentrums einer Qualitätskontrolle unterzogen. Dabei wird jedes einzelne Instrument vollständig durchgeblättert<br />
und auf Druckfehler oder sonstige Defekte kontrolliert und gegebenenfalls aussortiert.<br />
4.2 Etikettierung der Testhefte und Fragebögen<br />
Da die korrekte Zuordnung der Testhefte und Fragebögen zu den teilnehmenden Schülerinnen und<br />
Schülern ein wichtiges Kriterium bei <strong>PISA</strong> ist, muss auch die Etikettierung nach vorgegebenen Regeln<br />
erfolgen.<br />
Die 13 verschiedenen Testheftformen mit jeweils unterschiedlichen Aufgabenkombinationen werden<br />
gleichmäßig über alle Schüler/innen rotiert. In der Praxis wird dies gewährleistet, indem in jeder Schule<br />
jeweils eine Testheftform für die erste Schülerin oder den ersten Schüler per Zufallszahl bestimmt wird<br />
und die restlichen Schüler/innen die jeweils folgenden Testheftformen erhalten. Festgelegt und dokumentiert<br />
wird die Zuordnung der unterschiedlichen Testheftformen zu den einzelnen Schülerinnen und<br />
Schülern auf der <strong>PISA</strong>-Schülerliste.<br />
Die drei Fragebogenformen werden ebenfalls über die Schüler/innen einer Schule rotiert, wobei die<br />
Fragebogenform der ersten Schülerin oder des ersten Schülers auf der <strong>PISA</strong>-Schülerliste über die – nach<br />
dem Zufallsprinzip festgelegte – Testheftform bestimmt wird. Durch dieses Rotationsschema wird sichergestellt,<br />
dass die Fragebogenformen gleichmäßig auf alle Schüler/innen der Stichprobe verteilt werden.<br />
Eine Ausnahme bei der Etikettierung der Erhebungsinstrumente bilden die Sonderschulen. Da diese nur<br />
ein spezielles Testheft („Testheft 60“) und eine Kurzform des Schülerfragebogens zu bearbeiten haben, ist<br />
keine Rotation notwendig.<br />
Die Schulfragebögen werden ebenfalls etikettiert.<br />
4.3 Verpackung und Verteilung des Erhebungsmaterials<br />
Die Materialien werden für jede Schule in ein Paket („Schulpaket“) verpackt. Dieses Paket wird ebenfalls<br />
mit einem Etikett versehen. Nach der Verpackung der Testmaterialien wird der Inhalt der Pakete auf<br />
Vollständigkeit geprüft. Jedes Paket enthält folgende Unterlagen:<br />
• eine <strong>PISA</strong>-Schülerliste (listet ausgewählte Schüler/innen auf),<br />
• ein Testheft und einen Schülerfragebogen für jede Schülerin und jeden Schüler,<br />
• ein zusätzliches Testheft und einen Fragebogen als Ersatz,<br />
• <strong>PISA</strong>-Kugelschreiber für alle Schüler/innen und<br />
• ein Testsitzungsprotokoll zur Dokumentation des Testverlaufs.<br />
Die Schulpakete werden den zuständigen TL beim jeweiligen Schulungstermin persönlich übergeben.<br />
Außerdem erhalten alle TL eine Tasche, die weitere Materialien zur Durchführung der Testsitzung enthält<br />
VI. Testorganisation und Durchführung<br />
Seite 93
(Timer zur exakten zeitlichen Koordinierung der Testsitzung, Post-Its zur Kennzeichnung der Sitzplätze,<br />
ein Testsitzungsprotokoll für Nachtests und einen Taschenrechner sowie Reservekugelschreiber).<br />
Die TL sind ab der Übernahme der Schulpakete für die Sicherheit der darin enthaltenen Materialien<br />
zuständig. Ihre Verantwortung endet erst mit der Ablieferung der Schulpakete an der vereinbarten Sammelstelle<br />
nach der Durchführung der Testsitzungen.<br />
4.4 Rücklaufkontrolle der Schulpakete<br />
Am Ende des Testfensters werden die Schulpakete von einer Spedition an den Sammelstellen in den<br />
Bundesländern abgeholt und dem nationalen Projektzentrum zugestellt. Nach dem Einlangen der<br />
Schulpakete im nationalen Zentrum wird eine Rücklaufkontrolle durchgeführt. Dabei wird für jede Schule<br />
dokumentiert, wie viel Testhefte bzw. Fragebögen bearbeitet wurden. Außerdem werden die Protokolle aller<br />
Testsitzungen gesammelt und kontrolliert. Im Anschluss an die Kontrolle und Dokumentation werden<br />
die Materialien nach Testheft- und Fragebogenformen und nach Identifikationsnummern für die weitere<br />
Verarbeitung (Coding und Dateneingabe) sortiert.<br />
5. Aufgaben der Testleiter/innen (TL)<br />
Die <strong>PISA</strong>-Testsitzungen in den Schulen werden von externen, speziell dafür geschulten Personen<br />
(Testleiter/innen) durchgeführt. Diese Form der Durchführung der Tests an den Schulen hatte sich bereits<br />
bei <strong>PISA</strong> 2000 und 2003 bewährt und hat folgende Vorteile:<br />
• Objektive Testdurchführung: Da die Testsitzungen von externen Personen durchgeführt werden,<br />
wird angenommen, dass die TL kein Interesse an der Beeinflussung der Testergebnisse der einzelnen<br />
Schulen haben. In einigen Teilnehmerstaaten werden die Testsitzungen von schulinternen Personen<br />
(SK) durchgeführt. Nach den Vorgaben des internationalen Zentrums ist auch diese Form der Testdurchführung<br />
erlaubt, solange diese Person kein/e Lehrer/in einer teilnehmenden Schülerin/eines<br />
teilnehmenden Schülers ist. Aus unserer Sicht ermöglicht die Durchführung der Tests durch externe<br />
Personen allerdings eine objektivere Testdurchführung.<br />
• Standardisierter Ablauf der Testsitzung: Um die Vergleichbarkeit der Ergebnisse sicherzustellen,<br />
ist es von großer Bedeutung, dass die <strong>PISA</strong>-Testsitzungen an den Schulen nach genau vorgegebenen<br />
Richtlinien durchgeführt werden. Die TL werden für die Aufgaben im Zusammenhang mit der Testdurchführung<br />
vom nationalen Projektzentrum geschult. Da die TL mehrere Testsitzungen leiten,<br />
beherrschen sie auch die Prozeduren besser. Zusätzlich waren viele TL, die bei <strong>PISA</strong> <strong>2006</strong> im Einsatz<br />
waren, bereits bei <strong>PISA</strong> 2000, <strong>PISA</strong> 2003 oder beim Feldtest 2005 als TL für <strong>PISA</strong> tätig. Durch die<br />
spezielle Schulung und die Erfahrung in der Testdurchführung wird eine hohe Standardisierung des<br />
Ablaufs der Testsitzungen garantiert.<br />
• Wahrung der Vertraulichkeit: Da es sich bei den TL um externe Personen handelt, wird einerseits<br />
der vertrauliche Umgang mit den Schülerantworten gewährleistet, andererseits wird erwartet, dass die<br />
Schüler/innen aus diesem Grund ehrlichere Antworten geben.<br />
• Minimierung des Aufwands für die Schulen: Für die teilnehmenden Schulen ergibt sich auf Grund<br />
des Einsatzes der externen TL ein verminderter organisatorischer Aufwand. Die Schule muss keinerlei<br />
Aufgaben im Hinblick auf die konkrete Durchführung der Testsitzung und die Administration der<br />
Erhebungsmaterialien übernehmen.<br />
• Sicherheit der Testmaterialien: Die Sicherheit der Testmaterialien ist bei <strong>PISA</strong> ein sehr wichtiger<br />
und sensibler Punkt. Da die <strong>PISA</strong>-Studie im Längsschnitt durchgeführt wird und dieselben Testaufgaben<br />
auch in künftigen Erhebungen eingesetzt werden, dürfen diese nicht an die Öffentlichkeit<br />
gelangen. Da die TL mit dem gesamten Testmaterial an die Schule kommen und dieses nach der<br />
Durchführung der Testsitzung wieder mitnehmen, wird sichergestellt, dass sich zu keinem Zeitpunkt<br />
Material unbeaufsichtigt an der Schule befindet.<br />
Das nationale Projektzentrum hat mittlerweile über alle Bundesländer hinweg ein Netz an Testleitern und<br />
Testleiterinnen aufgebaut, das aus etwa 130 Personen besteht. Die meisten dieser Personen sind Angestellte<br />
Seite 94<br />
VI. Testorganisation und Durchführung
an Pädagogischen Instituten des Bundes oder an Pädagogischen Akademien sowie Lehrer/innen. Für die<br />
Durchführung von <strong>PISA</strong> <strong>2006</strong> waren insgesamt 75 TL für die Testdurchführung an einer oder mehreren<br />
Schulen verantwortlich. Jede/r bei <strong>PISA</strong> <strong>2006</strong> eingesetzte TL führte zwei bis drei Testsitzungen durch. An<br />
einigen Schulen wurden mehrere Testsitzungen durchgeführt: Wenn an einer Schule am Testtag mehrere<br />
der ausgewählten Schüler/innen abwesend sind, ist ein „Nachtest“ notwendig (Details zur Durchführung<br />
von Nachtests finden Sie in Abschnitt 5.5 idK.). In Berufsschulen sind zumeist auf Grund des Unterrichts<br />
an bestimmten Wochentagen bzw. in geblockter Form von vornherein mehrere Testsitzungen nötig.<br />
5.1 Kontaktaufnahme mit den TL<br />
Bereits im Herbst 2005 wurden die TL kontaktiert, die bei <strong>PISA</strong> 2003 oder beim Feldtest 2005 im Einsatz<br />
waren und ihre Bereitschaft erklärt haben, beim Haupttest <strong>2006</strong> wieder mitzuwirken. Diesem Schreiben<br />
war ein Faxformular beigelegt, mit dem die TL dem nationalen Zentrum mitteilen sollten, ob und wie<br />
viele Testsitzungen sie übernehmen können. Die TL wurden auch gebeten, interessierte Kollegen und<br />
Kolleginnen an das ZVB zu vermitteln, da in einigen Bundesländern die Anzahl der verfügbaren TL –<br />
im Hinblick auf die Anzahl der zu testenden Schulen – gering war. Weiters wurden die Schulaufsicht,<br />
Pädagogische Institute und Pädagogische Akademien gebeten, qualifizierte TL zu nominieren, um den<br />
Bedarf abdecken zu können.<br />
Anfang Februar <strong>2006</strong> wurden die TL vom nationalen Projektzentrum über wichtige Termine<br />
(Testleitungsschulung, Testfenster) informiert. Weiters wurde ihnen ein Vorschlag unterbreitet, an welchen<br />
Schulen sie den <strong>PISA</strong>-Test durchführen sollen. Dank der großen Flexibilität der TL mussten nur<br />
wenige Adaptionen vorgenommen werden.<br />
In einem weiteren Schreiben Mitte März wurde den TL das Testleiter-Handbuch übermittelt und der genaue<br />
Termin bzw. Ort für die jeweilige Testleiterschulung mitgeteilt. Dieses Handbuch, in dem sämtliche<br />
Aufgaben der TL im Detail beschrieben sind, sollten die TL zur Vorbereitung auf die Schulung durchlesen.<br />
Den TL wurde in diesem Schreiben auch die endgültige Aufteilung der Schulen mitgeteilt. Ab<br />
diesem Zeitpunkt konnten die TL die von ihnen übernommenen Schulen kontaktierten und Testtermine<br />
vereinbaren. Bis zum jeweiligen Schulungstermin sollte die Terminvereinbarung mit den Schulen abgeschlossen<br />
sein.<br />
5.2 Teilnahme an der Schulung für TL<br />
Die TL werden durch Mitarbeiter/innen des ZVB in regionalen Schulungen auf die Durchführung des<br />
Tests vorbereitet. Insgesamt wurden den TL beim Haupttest <strong>2006</strong> vier Schulungstermine an unterschiedlichen<br />
Orten (Stams, Salzburg, Graz, Wien) angeboten.<br />
Diese Schulungen dauern jeweils einen halben Tag. Dabei werden – neben allgemeinen Informationen zu<br />
<strong>PISA</strong> <strong>2006</strong> – sämtliche Aufgaben der TL und spezielle Probleme und Sonderfälle ausführlich besprochen.<br />
Da viele TL diese Funktion bereits bei früheren <strong>PISA</strong>-Erhebungen übernommen und daher schon eine<br />
gewisse Expertise für die Testsituation entwickelt haben, für andere TL diese Aufgabe aber neu war, fand<br />
die Einschulung in zwei Gruppen statt. Die erfahrenen TL wurden in einer kürzeren Schulung speziell<br />
auf Neuheiten und Abweichungen gegenüber früheren <strong>PISA</strong>-Erhebungen hingewiesen, neue TL wurden<br />
hingegen sehr umfassend und ausführlich über <strong>PISA</strong> und ihre Aufgaben als TL informiert.<br />
Die TL erhalten bei der Schulung sämtliche Materialien, die für die Durchführung der Testsitzungen<br />
benötigen, und sind ab diesem Zeitpunkt für die Sicherheit der Testmaterialien verantwortlich. Nach der<br />
Durchführung der Testsitzungen werden die Testmaterialen von den TL an einer Sammelstelle (vorwiegend<br />
Pädagogische Institute) abgegeben. Dort erhalten sie für jedes Paket eine Abgabebestätigung. Von<br />
diesen Sammelstellen werden die Testmaterialien am Ende des Testfensters von einer Spedition abgeholt.<br />
5.3 Terminvereinbarung mit den SK<br />
Die TL haben die Aufgabe, bis zum Schulungstermin die SK ihrer Schulen zu kontaktieren und einen<br />
Termin für den <strong>PISA</strong>-Test zu vereinbaren. Dieser Termin konnte beim Haupttest <strong>2006</strong> ein Schultag im<br />
VI. Testorganisation und Durchführung<br />
Seite 95
Zeitraum vom 20. April bis 31. Mai <strong>2006</strong> sein (= Testfenster). Als Testbeginn wurde in den meisten<br />
Fällen der normale Schulbeginn am Morgen vereinbart. Der Testtermin sollte nach Möglichkeit nicht<br />
in der letzten Woche des Testfensters liegen, um die Durchführung eines ev. notwendigen Nachtests zu<br />
ermöglichen. Nach der Vereinbarung der Termine mit den SK teilen die TL die Termine dem nationalen<br />
Zentrum mit.<br />
Zwei bis drei Tage vor dem Testtermin sollten die TL noch einmal Kontakt mit der/dem SK aufnehmen,<br />
um sich zu vergewissern, dass die/der SK alle für die Durchführung des Tests notwendigen Vorbereitungen<br />
getroffen hat (Reservierung eines geeigneten Testraumes; Information der Schüler/innen, Eltern sowie<br />
Lehrer/innen; Erhalt des beantworteten Schulfragebogens).<br />
5.4 Aufgaben am Testtag<br />
Abbildung VI.2 zeigt den Ablauf einer <strong>PISA</strong>-Testsitzung. Die wichtigsten Schritte bzw. die jeweiligen<br />
Aufgaben der TL werden im Folgenden näher erläutert.<br />
5.4.1 Vorbereitung von Testmaterial und Testraum<br />
Am vereinbarten Testtag trifft die/der TL etwa eine Stunde vor Testbeginn an der Schule ein. Gemeinsam<br />
mit der/dem SK wird der Testraum vorbereitet und wenn nötig entsprechend adaptiert. Die TL sollen –<br />
zur Gewährleistung bzw. Erleichterung der korrekten Zuordnung des Testmaterials – die Sitzplätze der<br />
Schüler/innen mit beschrifteten<br />
Haftnotizen (Post-Its) versehen.<br />
<strong>PISA</strong>-TEST EINLEI- VORBEREITUNG<br />
TUNG<br />
FRAGE-<br />
BOGEN<br />
ABSCHLUSS<br />
HAUPTTEST <strong>PISA</strong> <strong>2006</strong> – Ablauf am Testtag<br />
1 Stunde vor<br />
Beginn<br />
ab ca. 15 min<br />
vor Beginn<br />
Beginn<br />
Vorbereitungen<br />
<strong>PISA</strong>-Schülerliste aktualisieren<br />
Testraum und Materialien vorbereiten<br />
Empfang der Schüler/innen<br />
Zuweisung zu Sitzplätzen laut Sitzplan<br />
Anwesenheitskontrolle<br />
Begrüßung und Einleitung (laut Skript)<br />
Verteilen der Testhefte an die Schüler/innen<br />
Testbeginn<br />
<strong>PISA</strong>-Test – Teil 1<br />
Teil 1 – 60 min<br />
Pause<br />
5 min Pause<br />
<strong>PISA</strong>-Test – Teil 2<br />
Teil 2 – 60 min<br />
Testhefte einsammeln<br />
10 min Pause Pause<br />
Fragebögen austeilen<br />
FB-Beginn<br />
45 min<br />
<strong>PISA</strong>-Fragebogen<br />
+ max.10 min<br />
Nachbereitung<br />
Materialien sichern, sortieren und verpacken<br />
<strong>PISA</strong>-Schülerliste und Protokoll vervollständigen<br />
Schulfragebogen einfordern<br />
Testpaket verwahren<br />
Abbildung VI.2 Ablauf einer <strong>PISA</strong>-Testsitzung am Testtag<br />
5.4.2 Aktualisierung der <strong>PISA</strong>-<br />
Schülerliste<br />
Abbildung VI.3 zeigt ein Muster<br />
einer <strong>PISA</strong>-Schülerliste (mit fiktiven<br />
Schul- und Schülerdaten).<br />
Auf der <strong>PISA</strong>-Schülerliste sind<br />
alle Schüler/innen aufgelistet,<br />
die an der jeweiligen Schule für<br />
die Teilnahme an <strong>PISA</strong> ausgewählt<br />
sind. Nur diese maximal<br />
35 Schüler/innen dürfen an den<br />
Testsitzungen teilnehmen. Die<br />
TL haben die Aufgabe, mit der/<br />
dem SK die <strong>PISA</strong>-Schülerliste zu<br />
besprechen und die Eintragungen<br />
der/des SK zu Förderbedarf oder<br />
mangelnden Sprachkenntnissen<br />
bzw. zum Teilnahme-Code der<br />
Schüler/innen zu übertragen.<br />
Diese Eintragungen wurden<br />
von der/vom SK in den Spalten<br />
8 („sonderpäd. FB“) und 9a<br />
(„Teilnahmestatus Test“) bzw.<br />
9b („Teilnahmestatus FB) vorgenommen<br />
(siehe Abbildung VI.3).<br />
In Spalte 8 wird für jede Schülerin<br />
bzw. jeden Schüler festgehalten,<br />
ob sie oder er sonderpädagogischen<br />
Förderbedarf oder man-<br />
Seite 96<br />
VI. Testorganisation und Durchführung
<strong>PISA</strong> SCHÜLERLISTE<br />
Schulname: Musterschule <strong>PISA</strong>-ID Schulkoordinator: Herr Josef Aschauer<br />
Testleiter: Frau Elisabeth Neumüller<br />
03 010<br />
Testsitzungsnummer<br />
(1) (2) (3) (4) (5) (6) (7) (8) (9a) (9b) (10) (11a) (11b)<br />
Schüler<br />
ID<br />
Zeilennr.<br />
Schülername<br />
(Stichprobe)<br />
Schulstufe<br />
Geschlecht<br />
W=1 M=2<br />
Geburtstag<br />
(MM-JJ)<br />
Schulsparte<br />
Demographisches Teilnahmestatus Testheftform<br />
Sonderpäd.<br />
Test FB Test Test FB<br />
FB<br />
00001 00003 Thomas Bauer 10 2 12/90 3 6<br />
00002 00008 Johannes Meier 9 2 11/90 3 4 4 7<br />
00003 00012 Regina Holzapfel 10 1 12/90 3 8<br />
00004 00016 Daniel Crivez 10 2 05/90 3 3 3 3 9<br />
00005 00020 Tina Strasser 9 1 04/90 3 10<br />
00006 00024 Mustafa Al-Himrani 9 2 09/90 3 3 11<br />
00007 00028 Dominik Steiner 10 2 07/90 3 1 3 3 12<br />
00008 00033 Sybille Koller 10 1 04/90 3 13<br />
00009 00037 Susanne Schmid 9 1 07/90 3 1<br />
00010 00041 Maximilian Wallner 10 2 10/90 3 1 2<br />
00011 00045 Tamara Arnsberger 9 1 01/90 3 6 6 3<br />
00012 00049 Anita Reitinger 10 1 08/90 3 2 3 3 4<br />
00013 00053 Maria Breitfuss 6 1 09/90 3 7 7 5<br />
00014 00057 Peter Dorfer 10 2 07/90 3 6<br />
Abbildung VI.3 <strong>PISA</strong>-Schülerliste mit Eintragungen des/der SK<br />
VI. Testorganisation und Durchführung<br />
Seite 97
gelnde Deutschkenntnisse aufweist. Die folgende Tabelle (Abbildung VI.4) zeigt die in dieser Spalte möglichen<br />
Codes und deren Bedeutungen.<br />
Code<br />
1<br />
Beschreibung<br />
Der ausgewählte Schüler bzw. die ausgewählte Schülerin hat eine körperliche<br />
Behinderung (z. B. Seh- oder Hörschädigung).<br />
2 Der ausgewählte Schüler bzw. die ausgewählte Schülerin hat eine geistige Behinderung.<br />
3<br />
Der ausgewählte Schüler bzw. die ausgewählte Schülerin ist nichtdeutscher Muttersprache<br />
und verfügt über mangelnde Deutschkenntnisse.<br />
Abbildung VI.4 Codes für Spalte 8 der <strong>PISA</strong>-Schülerliste<br />
In den Spalten 9a und 9b der <strong>PISA</strong>-Schülerliste wird für jede Schülerin bzw. jeden Schüler festgehalten,<br />
ob sie/er an der <strong>PISA</strong>-Testsitzung teilnehmen kann. Wichtig ist hierbei, dass die Codes aus Spalte 8 noch<br />
keine Information darüber liefern, ob die entsprechende Schülerin oder der entsprechende Schüler am<br />
<strong>PISA</strong>-Test teilnehmen kann. Dies wird erst in den Spalten 9a und 9b dokumentiert. Abbildung VI.5 definiert<br />
die hier möglichen Codes.<br />
Die Entscheidung über die Teilnahme von Schülern und Schülerinnen mit sonderpädagogischem<br />
Förderbedarf oder mangelnden Deutschkenntnissen wird jeweils von den SK unter Anwendung der oben<br />
angeführten Richtlinien und in Absprache mit den Lehrern und Lehrerinnen getroffen. Besonders wichtig<br />
ist, dass ein Schüler bzw. eine Schülerin auf Grund von mangelnden Deutschkenntnissen nur dann<br />
ausgeschlossen werden kann, wenn der Schüler oder die Schülerin weniger als ein Jahr lang als ordentlicher<br />
Schüler bzw. ordentliche Schülerin gemeldet ist.<br />
Code<br />
1<br />
2<br />
Beschreibung<br />
nimmt teilweise an der Testsitzung teil – fehlt länger als 10 Minuten<br />
nimmt nicht teil – verweigert die Teilnahme<br />
3<br />
nimmt nicht teil – Ausschluss auf Grund sonderpädagogischen Förderbedarfs oder<br />
mangelnder Deutschkenntnisse<br />
Der ausgewählte Schüler bzw. die ausgewählte Schülerin weist eine so schwere dauernde körperliche<br />
Behinderung auf, dass eine Teilnahme am <strong>PISA</strong>-Test entweder nicht möglich, ethisch nicht vertretbar<br />
oder nicht sinnvoll ist. Körperlich behinderte Schüler/innen, die den Test bearbeiten können, sollen<br />
einbezogen werden.<br />
Der ausgewählte Schüler bzw. die ausgwählte Schülerin weist eine so schwere dauernde geistige<br />
Behinderung auf, dass eine Teilnahme am <strong>PISA</strong>-Test entweder nicht möglich, ethisch nicht vertretbar<br />
oder nicht sinnvoll ist. D. h., diese Schüler/innen sind nicht in der Lage, den Anweisungen in der Testsitzung<br />
zu folgen. Schüler/innen, die nur schlechte Leistungen erbringen oder disziplinäre Probleme<br />
haben, sollen NICHT von der Testsitzung ausgeschlossen werden.<br />
Der ausgewählte Schüler bzw. die ausgwählte Schülerin ist nichtdeutscher Muttersprache, er bzw. sie<br />
befindet sich erst weniger als ein Jahr in Österreich und es mangelt ihm bzw. ihr an Deutschkenntnissen,<br />
so dass ein Verstehen der Anleitungen und der Testaufgaben nicht möglich ist. Schüler und<br />
Schülerinnen, die bereits länger als ein Jahr als ordentlicher Schüler bzw. ordentliche Schülerin in<br />
Österreich eine Schule besuchen, dürfen NICHT ausgeschlossen werden.<br />
4 nimmt nicht teil – Wechsel an eine andere Schule (Schulwechsel)<br />
5 nimmt nicht teil – hat die Schule verlassen (Schulaustritt)<br />
6<br />
7<br />
nimmt nicht teil – Altersdefinition trifft nicht zu<br />
nimmt nicht teil – Schulstufen-Definition trifft nicht zu<br />
Abbildung VI.5 Codes für Spalte 9 der <strong>PISA</strong>-Schülerliste<br />
Seite 98<br />
VI. Testorganisation und Durchführung
In Berufsbildenden Mittleren Schulen müssen die SK in die <strong>PISA</strong>-Schülerliste zusätzlich die Schulform<br />
der Schüler und Schülerinnen eintragen (z. B. dreijährige hauswirtschaftliche BMS). Für die Schüler/innen<br />
aller anderen Schularten ist dies nicht notwendig, da die Information über die Schulform durch die<br />
Schulart und Schulstufe der Schüler/innen eindeutig zuzuordnen ist.<br />
5.4.3 Empfang der Schüler/innen und Zuordnung des Testmaterials<br />
Die TL müssen sicherstellen, dass jede Schülerin bzw. jeder Schüler das ihr bzw. ihm zugeordnete<br />
Testmaterial erhält. Für die Zuordnung des Testmaterials erhält jede Schülerin und jeder Schüler eine<br />
Identifikationsnummer. Diese ist auf der <strong>PISA</strong>-Schülerliste und auf den Etiketten der Testhefte und<br />
Fragebögen abgedruckt. Bei der Verteilung bzw. Zuordnung der Testhefte und Fragebögen ist von den<br />
TL auf die Übereinstimmung der Identifikationsnummer zu achten.<br />
5.4.4 Durchführung und zeitliche Koordinierung der Testsitzung<br />
Der Ablauf einer <strong>PISA</strong>-Testsitzung ist in hohem Maße standardisiert und muss in allen beteiligten Schulen<br />
und in allen teilnehmenden Staaten auf dieselbe Weise durchgeführt werden, um die Vergleichbarkeit der<br />
Ergebnisse zu gewährleisten. Um dies zu ermöglichen, werden die Testsitzungen mit einem so genannten<br />
„Testleiterskript“ durchgeführt. Dieses Skript enthält sowohl Anweisungen für die TL zur Durchführung<br />
des Tests, als auch alle Anweisungen für die Schüler/innen, die von den TL wortwörtlich vorgelesen werden<br />
müssen. Sämtliche Instruktionen der TL – beginnend bei der Begrüßung der Schüler/innen, über<br />
allgemeine Erklärungen zur Beantwortung der Testaufgaben bis hin zur Verabschiedung der Schüler/innen<br />
– müssen wortwörtlich aus dem Skript vorgelesen werden.<br />
Der zeitliche Ablauf der Testsitzungen ist – vor allem bei der Bearbeitung der Testhefte – minutiös vorgegeben<br />
und muss von den TL genau eingehalten und im Testsitzungsprotokoll (vgl. Abschnitt 5.4.5 idK.)<br />
dokumentiert werden. Um den TL die Zeitnehmung zu erleichtern, werden ihnen vom ZVB Timer zur<br />
Verfügung gestellt.<br />
Die Testhefte werden in zwei Teilen mit jeweils exakt 60 Minuten bearbeitet. Zwischen den beiden<br />
Testteilen erfolgt eine Pause von fünf Minuten. Bei <strong>PISA</strong> 2000 waren die Aufgaben in den Testheften in<br />
zwei Teile geteilt, und die Schüler/innen durften während der ersten 60 Minuten nur Aufgaben des ersten<br />
Teils und in den zweiten 60 Minuten nur Aufgaben des zweiten Teils bearbeiten. Bei <strong>PISA</strong> 2003 und<br />
<strong>2006</strong> gab es in den Testheften keine getrennten Testteile, und die Schüler/innen konnten die Reihenfolge<br />
der Bearbeitung der Testaufgaben frei wählen.<br />
Nach der Bearbeitung des Testhefts ist eine Pause von zehn Minuten vorgesehen. Anschließend haben die<br />
Schüler/innen 45 Minuten für die Bearbeitung des Schülerfragebogens zur Verfügung. Sind nach Ablauf<br />
der 45 Minuten alle Schüler/innen mit der Bearbeitung des Fragebogens fertig, werden diese eingesammelt.<br />
Benötigten einige noch mehr Zeit, kann um höchstens zehn Minuten verlängert werden.<br />
5.4.5 Dokumentation des Testverlaufs im Testsitzungsprotokoll<br />
Für jede Testsitzung muss von der/vom TL ein Protokoll ausgefüllt werden. Auf diesem werden – neben<br />
den Daten von Schule, SK und TL – folgende Informationen zu jeder Testsitzung festgehalten:<br />
• Art der Testsitzung (erste Testsitzung oder Nachtest)<br />
• Datum und Beginnzeit<br />
• Anzahl der ausgewählten, ausgeschlossenen, abwesenden und getesteten Schüler und Schülerinnen<br />
• Anfangs- und Endzeiten der Testsitzungsteile<br />
• Skizze der Sitzordnung der Schüler/innen (Sitzplan)<br />
• Teilnahme von Beobachterinnen und Beobachtern<br />
• Verhalten der Schüler/innen<br />
• Störungen während der Testsitzung<br />
• Dokumentation von Problemen der Schüler/innen mit Testheft oder Fragebogen<br />
• Raum für sonstige Kommentare und Verbesserungsvorschläge<br />
Das gesamte Testsitzungsprotokoll finden Sie im Anhang zu diesem Kapitel.<br />
VI. Testorganisation und Durchführung<br />
Seite 99
5.4.6 Eintragungen zum Teilnahmestatus auf der <strong>PISA</strong>-Schülerliste<br />
Auf der <strong>PISA</strong>-Schülerliste wird für jeden Schüler und jede Schülerin getrennt für Testheft- und<br />
Fragebogenteil der jeweilige Teilnahmestatus dokumentiert. Dies erfolgte durch die Eintragung der folgenden<br />
Codes in Spalte 11a bzw. 11b der <strong>PISA</strong>-Schülerliste durch die TL (vgl. Abbildung VI.6).<br />
Abbildung VI.8 zeigt eine durch die Testleitung vollständig ausgefüllte <strong>PISA</strong>-Schülerliste nach dem Test.<br />
Diese Liste wird nach der Testsitzung gemeinsam mit den anderen Testmaterialien im Schulpaket verpackt.<br />
Code<br />
Beschreibung<br />
1 Schüler/in nimmt an der ersten, regulären Testsitzung teil<br />
2<br />
Schüler/in nimmt an der zweiten Testsitzung teil (Nachtest bzw. Testsitzung an einem anderen<br />
Schultag oder für einen neuen Lehrgang an der Berufsschule)<br />
8 Schüler/in wurde ausgeschlossen<br />
5.4.7 Informationen über <strong>PISA</strong><br />
Da die TL neben dem nationalen Projektzentrum die wichtigsten Kontaktpersonen für Schulen sind,<br />
werden zahlreiche Fragen in Zusammenhang mit der internationalen Studie an sie gerichtet. Daher<br />
holt das nationale Projektzentrum bei den TL Rückmeldung darüber ein, welche Fragen von Seiten der<br />
Schulen häufig gestellt werden. Zwölf TL geben im Feedbackbogen an, dass sich Schulen bezüglich einer<br />
Ergebnisrückmeldung erkundigen. Die Schulleiter/innen und die SK wollen wissen, ob die Schulen über<br />
das Abschneiden ihrer Schüler/innen informiert werden bzw. welche Gründe es gibt, dass die teilnehmenden<br />
Schulen keine Ergebnisrückmeldung bekommen. Weitere Fragen von Seiten der Schulen betreffen<br />
die Anonymität bzw. den Zeitpunkt der Ergebnisveröffentlichung.<br />
5.5 Durchführung eines Nachtests<br />
Um die international vorgeschriebenen Rücklaufquoten zu erreichen, ist es notwendig so genannte<br />
Nachtests durchzuführen. Ein Nachtest muss laut internationalen Vorgaben dann durchgeführt werden,<br />
wenn mehr als 15 Prozent der ausgewählten Schüler/innen am Testtag fehlen. Nicht berücksichtigt werden<br />
dabei Schüler/innen, die von der Teilnahme an <strong>PISA</strong> ausgeschlossen oder vom Test abgemeldet wurden.<br />
Mit Ausnahme von Berufsschulen wurde beim Haupttest <strong>2006</strong> in jeder Schule maximal ein Nachtest<br />
durchgeführt.<br />
In ganzjährig geführten Berufsschulen ist es meist notwendig, mehrere Testsitzungen durchzuführen, da die<br />
ausgewählten Schüler/innen an unterschiedlichen Tagen Unterricht haben. Werden bei lehrgangsmäßig<br />
geführten Berufsschulen<br />
zwei aufeinander folgende<br />
Lehrgänge getestet, ist es<br />
ebenfalls notwendig, bereits<br />
im Vorfeld mindestens<br />
zwei Testtermine zu<br />
vereinbaren.<br />
Zwischen der ersten<br />
Testsitzung und einem<br />
Nachtest soll – wenn möglich<br />
– ein Wochenende<br />
Abbildung VI.6 Codes für Spalte 11a und 11b der <strong>PISA</strong>-Schülerliste<br />
Anzahl der Testsitzungen<br />
Schulen<br />
(Anzahl)<br />
Schulen<br />
(Prozent)<br />
eine Testsitzung 167 83.5 %<br />
Testsitzung und ein Nachtest 25 12.5 %<br />
Testsitzung und zwei Nachtests 6 3.0 %<br />
Testsitzung und drei Nachtests 2 1.0 %<br />
Abbildung VI.7 Anzahl der Testsitzungen an einer Schule/Häufigkeiten<br />
Seite 100<br />
VI. Testorganisation und Durchführung
<strong>PISA</strong> SCHÜLERLISTE<br />
Schulname: Musterschule <strong>PISA</strong>-ID 03 010<br />
Schulkoordinator: Herr Josef Aschauer<br />
Testleiter: Frau Elisabeth Neumüller<br />
Testsitzungsnummer<br />
(1) (2) (3) (4) (5) (6) (7) (8) (9a) (9b) (10) (11a) (11b)<br />
Schüler<br />
ID<br />
Zeilennr.<br />
Schülername<br />
(Stichprobe)<br />
Schulstufe<br />
Geschlecht<br />
W=1 M=2<br />
Geburtstag<br />
(MM-JJ)<br />
Schulsparte<br />
Demographisches Teilnahmestatus Testheftform<br />
Sonderpäd.<br />
Test FB Test Test FB<br />
FB<br />
00001 00003 Thomas Bauer 10 2 12/90 3 6 2 2<br />
00002 00008 Johannes Meier 9 2 11/90 3 4 4 7 8 8<br />
00003 00012 Regina Holzapfel 10 1 12/90 3 8<br />
00004 00016 Daniel Crivez 10 2 05/90 3 3 3 3 9 8 8<br />
00005 00020 Tina Strasser 9 1 04/90 3 10 1 1<br />
00006 00024 Mustafa Al-Himrani 9 2 09/90 3 3 11 1 2<br />
00007 00028 Dominik Steiner 10 2 07/90 3 1 3 3 12 8 8<br />
00008 00033 Sybille Koller 10 1 04/90 3 13 1 1<br />
00009 00037 Susanne Schmid 9 1 07/90 3 1 1 1<br />
00010 00041 Maximilian Wallner 10 2 10/90 3 1 2 8 8<br />
00011 00045 Tamara Arnsberger 9 1 01/90 3 6 6 3 1 1<br />
00012 00049 Anita Reitinger 10 1 08/90 3 2 3 3 4 8 8<br />
00013 00053 Maria Breitfuss 6 1 09/90 3 7 7 5 8 8<br />
00014 00057 Peter Dorfer 10 2 07/90 3 6 2 2<br />
Abbildung VI.8 <strong>PISA</strong>-Schülerliste mit Eintragungen des TL<br />
VI. Testorganisation und Durchführung<br />
Seite 101
liegen, um erkrankten Schüler/innen die Möglichkeit zu geben am Nachtest teilzunehmen. Insgesamt<br />
wurden 43 Nachtests durchgeführt, 38 davon an Berufsschulen. Abbildung VI.7 zeigt, an wie vielen<br />
Schulen jeweils eine Testsitzung durchgeführt wurde bzw. an wie vielen Schulen jeweils ein Nachtest oder<br />
mehrere Nachtests durchgeführt wurden.<br />
5.6 Ablieferung des Testmaterials<br />
Bei den Testleiterschulungen wird für jedes Bundesland eine Sammelstelle für die Schulpakete bekannt<br />
gegeben. Die TL haben die Aufgabe, die Testmaterialien ihrer Schulen nach Abschluss ihrer Testsitzungen<br />
dort abzuliefern und erhalten dann eine Abgabebestätigung. Die gesammelten Materialien wurden von<br />
diesen Sammelstellen, welche sich vorwiegend an den Pädagogischen Instituten der Bundesländer befanden,<br />
am 30. Mai <strong>2006</strong> bzw. am 1. Juni <strong>2006</strong> von einer Spedition abgeholt. Schon am 2. Juni trafen die<br />
Testmaterialien vollständig am nationalen Zentrum ein.<br />
6. Qualitätssicherung bei der Testorganisation und -durchführung<br />
In diesem Abschnitt wird dargestellt, wie eine hohe Qualität der jeweiligen Tätigkeiten und Abläufe für<br />
die einzelnen Bereiche der Testorganisation und -durchführung gewährleistet wird.<br />
6.1 Der Feldtest als Probelauf<br />
Ein wichtiger Bestandteil der Qualitätssicherung im Bereich der Testorganisation und -durchführung ist<br />
der Feldtest. Sämtliche in diesem Kapitel dargestellten Tätigkeiten, Abläufe und Materialien werden beim<br />
Feldtest erprobt und auf ihre Tauglichkeit in der Praxis überprüft. Treten im Feldtest Probleme auf, so<br />
können entsprechende Korrekturen und Veränderungen für den Haupttest vorgenommen werden.<br />
6.2 Kontakte mit Schulen bzw. SK<br />
Die Teilnahme möglichst aller ausgewählten Schulen an <strong>PISA</strong> soll durch die gute Zusammenarbeit<br />
des ZVB mit den Schulbehörden und deren unverzichtbarer Unterstützung erreicht werden. Für die<br />
Teilnahmebereitschaft der Schulen ist außerdem die Minimierung des Arbeitsaufwands für die Schulen<br />
von großer Bedeutung. Dies wird vor allem durch den Einsatz externer TL erreicht.<br />
Die Kontaktperson für das nationale Projektzentrum an der Schule – die/der SK – wurde durch das<br />
nationale Zentrum durch zwei möglichst kurze und prägnante Briefe informiert. International war für<br />
die Information und Anweisung der SK ein Handbuch vorgesehen. In Österreich bewährte sich die bereits<br />
bei <strong>PISA</strong> 2000 und 2003 verwendete und vom internationalen Zentrum genehmigte Lösung mit<br />
zwei Informationsbriefen. Der Vorteil dieser Vorgehensweise besteht darin, dass die SK nicht sämtliche<br />
Informationen auf einmal erhalten, sondern immer nur die für die jeweils anstehenden Aufgaben benötigten<br />
Informationen und Anweisungen. Die inhaltliche Vollständigkeit und die sprachliche Qualität<br />
dieser Informationsbriefe werden vom internationalen Zentrum geprüft.<br />
6.3 Qualitätssicherung bei Vorbereitung und Organisation der Erhebungsmaterialien<br />
Alle Erhebungsmaterialien, die bei den Testsitzungen zum Einsatz kommen, müssen entsprechend vorbereitet<br />
und organisiert werden (vgl. Abschnitt 4 idK.). Testhefte und Schülerfragebögen werden nach<br />
der Lieferung durch die Druckerei und nach der Durchführung einer vollständigen Qualitätskontrolle<br />
mit Etiketten versehen. Die Korrektheit der Etikettierung ist von entscheidender Bedeutung, da damit<br />
die Zuordnung des Testmaterials bestimmt wird. Wichtig bei der Etikettierung ist auch die Einhaltung<br />
des international vorgeschriebenen Rotationsschemas, welches sicherstellt, dass alle Testheft- und<br />
Fragebogenformen möglichst gleich oft zum Einsatz kommen. Die etikettierten Materialien müssen anschließend<br />
zu Schulpaketen zusammengestellt werden (vgl. Abschnitt 4 idK.). Die genaue Kontrolle der<br />
Materialien, bevor sie zum Einsatz kommen, soll Probleme bei der Durchführung der Tests minimieren.<br />
Folgende Kontrollmaßnahmen werden dazu durchgeführt:<br />
Seite 102<br />
VI. Testorganisation und Durchführung
• Kontrolle der Druckqualität nach Erhalt der Materialien von der Druckerei.<br />
• Eine sorgfältige Kontrolle der Etikettierung der Erhebungsinstrumente: Bei dieser Kontrolle wird<br />
auch die korrekte Einhaltung des Rotationsschemas anhand der <strong>PISA</strong>-Schülerliste kontrolliert.<br />
• Jedes Schulpaket wird nach der Zusammenstellung unabhängig voneinander zwei Mal von Mitarbeiterinnen<br />
und Mitarbeitern des nationalen Projektzentrums überprüft. Dabei wird zum einen die<br />
Übereinstimmung der Schul-ID zwischen Schulpaket, <strong>PISA</strong>-Schülerliste und Erhebungsmaterialen<br />
überprüft. Zum anderen werden die Anzahl der Erhebungsinstrumente anhand der <strong>PISA</strong>-Schülerliste<br />
und die Vollständigkeit der Materialien anhand einer Checkliste kontrolliert.<br />
• Bei der Übergabe der Schulpakete an die TL werden diese aufgefordert, die Vollständigkeit ihrer Pakete<br />
noch einmal zu überprüfen.<br />
Die Sicherheit der Erhebungsmaterialien ist bei <strong>PISA</strong> in mehrfacher Hinsicht ein sensibler und wichtiger<br />
Bereich. Zum einen dürfen die verwendeten Testmaterialien nicht an die Öffentlichkeit gelangen, da die<br />
darin enthaltenen Testaufgaben auch in künftigen <strong>PISA</strong>-Erhebungen verwendet werden. Zum anderen<br />
muss sichergestellt werden, dass bearbeitete Testhefte und Fragebögen zur Wahrung der Vertraulichkeit,<br />
der von den Schülern und Schülerinnen gemachten Angaben, nicht in die Hände des Schulpersonals<br />
gelangen. Weiters wäre mit dem Verlust von Materialien auch ein nicht mehr ersetzbarer Datenverlust<br />
verbunden.<br />
Wie bereits in Abschnitt 5 idK. beschrieben, konnte durch die Organisation der persönlichen Übergabe<br />
der Erhebungsmaterialien an die TL und die Abholung der Materialien in den Bundesländern ein Verlust<br />
vermieden werden und die Materialien standen vollständig und zeitgerecht für die weitere Verarbeitung<br />
im nationalen Projektzentrum zur Verfügung.<br />
6.4 Qualität und Testadministration<br />
Für die Qualität und Vergleichbarkeit der Daten von <strong>PISA</strong> ist es besonders wichtig, alle Schüler/innen unter<br />
möglichst gleichen Rahmenbedingungen zu testen. Der standardisierte Ablauf der Testsitzungen ist eine<br />
unverzichtbare Voraussetzung für die Vergleichbarkeit der Ergebnisse. In Bezug auf die Standardisierung<br />
der Datenerhebung sind vor allem vier Aspekte von besonderer Bedeutung:<br />
• der Einsatz von externen TL für die Administration der Erhebung,<br />
• ein standardisiertes Handbuch für die Testdurchführung inklusive standardisierter Skripts,<br />
• die Vorbereitung der TL auf ihre Aufgabe und<br />
• eine international organisierte, stichprobenartige Kontrolle der Testsitzungen.<br />
Diese Aspekte leisten alle einen entscheidenden Beitrag zur Vereinheitlichung der Testdurchführung, sowohl<br />
innerhalb Österreichs als auch über die Teilnehmerstaaten hinweg. Durch die vom internationalen<br />
Zentrum organisierte stichprobenartige Beobachtung von Testsitzungen wird die Einhaltung der bestehenden<br />
Richtlinien in den einzelnen Teilnehmerländern überprüft.<br />
6.4.1 Einsatz externer Testleiter/innen (TL)<br />
Der Einsatz von schulfremden Personen als TL, die zur jeweiligen Schule kommen, den Test durchführen<br />
und sämtliche Materialien anschließend wieder mitnehmen, hat verschiedene Vorteile, die einen positiven<br />
Einfluss auf die Qualität der Testdurchführung haben. Diese Vorteile wurden in Abschnitt 5 idK.<br />
bereits dargestellt und werden hier nur in Kurzform erwähnt.<br />
• Sicherheit der Testmaterialien: Die TL bekommen die Materialien für die Erhebung persönlich von<br />
Mitarbeiterinnen bzw. Mitarbeitern des nationalen Zentrums überreicht und verpflichten sich zur<br />
Wahrung der Sicherheit und Vertraulichkeit bis zur Ablieferung an der jeweiligen Sammelstelle.<br />
Durch diese Form der Organisation kann sichergestellt werden, dass die Testmaterialien nicht verloren<br />
gehen.<br />
• Vertraulichkeit der Schülerangaben: Durch den Einsatz der externen TL kann den Schülerinnen und<br />
Schülern garantiert werden, dass niemand aus der Schule Einsicht in die von ihnen gemachten Angaben<br />
nehmen kann. Es ist anzunehmen, dass die Schüler/innen dadurch – vor allem bei sensiblen<br />
Fragen – ehrlichere Antworten geben.<br />
VI. Testorganisation und Durchführung<br />
Seite 103
• Objektive Testdurchführung: Man kann davon ausgehen, dass keine/r der externen TL ein Interesse<br />
daran hat, das Abschneiden „ihrer“/„seiner“ Testschulen zu beeinflussen. Die Gefahr einer Beeinflussung<br />
der Ergebnisse wäre eher gegeben, wenn die Testsitzungen von der/vom jeweiligen SK durchgeführt<br />
werden würde.<br />
• Motivation der Beteiligten: Als TL sind nur Personen mit pädagogischer Erfahrung tätig, die sich<br />
freiwillig für diese Tätigkeit zur Verfügung stellen. Dadurch wird sichergestellt, dass sie auch die entsprechende<br />
Motivation mitbringen. Weiters wird die Bereitschaft der Schulen und SK gestärkt, da<br />
ihnen durch die externe Testdurchführung ein Großteil der Arbeit abgenommen wird. Es wird auch<br />
vermutet, dass die Schüler/innen die Durchführung der Testsitzung durch eine externe Person als<br />
Abwechslung zum Schulalltag erleben, und dadurch auch ihre Motivation positiv beeinflusst wird.<br />
• Kompetenz/Erfahrung der TL: Die eingesetzten TL sind zum Großteil Mitarbeiter/innen von Pädagogischen<br />
Instituten und Pädagogischen Akademien mit langjähriger Erfahrung im pädagogischen<br />
Bereich. Viele der beim Haupttest <strong>2006</strong> eingesetzten TL waren darüber hinaus bereits beim Feldtest<br />
2005 oder im Rahmen von <strong>PISA</strong> 2000 oder <strong>PISA</strong> 2003 als TL tätig, und hatten somit bereits Erfahrung<br />
in der Durchführung von <strong>PISA</strong>-Testsitzungen.<br />
6.4.2 Handbuch für Testleiter/innen<br />
Im Testleiter-Handbuch sind sämtliche Informationen enthalten, die für die TL zur Durchführung der<br />
Testsitzungen nötig sind. Jede einzelne Aufgabe der TL wird darin detailliert beschrieben.<br />
Vom internationalen Zentrum wird eine englische Version dieses Handbuchs zur Verfügung gestellt, die<br />
vom österreichischen Zentrum übersetzt und an die nationalen Gegebenheiten angepasst wird. Inhaltliche<br />
Abweichungen der nationalen Version müssen dem internationalen Zentrum mitgeteilt und dort genehmigt<br />
werden. Weiters wird die sprachliche Qualität der nationalen Übersetzungen vom internationalen<br />
Zentrum geprüft (ähnlich der Verifikation der Testmaterialien, vgl. Abschnitt 4 in Kapitel III).<br />
Für die Standardisierung der Testsitzungen ist das Handbuch für Testleiter/innen von besonderer Bedeutung,<br />
da darin nicht nur sämtliche Aufgaben der TL beschrieben werden, sondern auch die Anweisungen<br />
enthalten sind, welche die TL den Schülerinnen und Schülern geben. Diese so genannten Skripts (siehe<br />
Abschnitt 5 idK.) müssen von den TL bei der Durchführung der Testsitzung wortwörtlich vorgelesen<br />
werden. So kann eine größtmögliche Standardisierung des Ablaufs der Testsitzungen sichergestellt werden.<br />
6.4.3 Vorbereitung der TL<br />
Die Vertrautheit der TL mit den Aufgaben, die sie im Zusammenhang mit der Durchführung der Tests an<br />
den Schulen zu erledigen haben, wird durch zwei Maßnahmen gesichert: zum einen durch die Abhaltung<br />
von regionalen Testleiterschulungen und zum anderen durch die persönliche Vorbereitung der TL auf<br />
ihre Aufgabe.<br />
Die TL erhalten etwa drei Wochen vor dem Schulungstermin das Handbuch für Testleiter/innen mit der<br />
Aufforderung, dieses bis zur Schulung durchzuarbeiten. Auf diese Weise machen sich die TL bereits vor<br />
der Schulung mit den Inhalten des Handbuchs vertraut. Dadurch können eventuelle Unklarheiten, die<br />
beim Durchlesen des Handbuchs auftreten, bei der Schulung thematisiert werden.<br />
Bei der halbtägigen Schulung werden sämtliche Aufgaben der TL noch einmal im Detail besprochen und<br />
Fragen dazu diskutiert bzw. beantwortet.<br />
6.2.4 Qualitätssicherung und -kontrolle während der Testsitzungen<br />
Die oben beschriebenen Maßnahmen sollen sicherstellen, dass der international vorgeschriebene Ablauf<br />
einer <strong>PISA</strong>-Testsitzung von allen TL eingehalten wird.<br />
Für den Fall von unerwarteten Problemen am Testtag ist an jedem Tag, an dem zumindest eine <strong>PISA</strong>-<br />
Testsitzung stattfindet, ab 7.00 Uhr eine Mitarbeiterin am ZVB telefonisch erreichbar.<br />
Auf internationaler Ebene wird der Ablauf der Testsitzungen in allen teilnehmenden Staaten durch den<br />
Einsatz von so genannten „<strong>PISA</strong> Quality Monitors“ (kurz PQM) kontrolliert. Diese Personen werden<br />
Seite 104<br />
VI. Testorganisation und Durchführung
vom internationalen Zentrum beschäftigt und eingeschult. Sie haben die Aufgabe, einige ausgewählte<br />
Schulen am Tag des <strong>PISA</strong>-Tests zu besuchen und den Ablauf der Testsitzungen anhand eines Protokolls zu<br />
dokumentieren. In Österreich waren beim Haupttest <strong>2006</strong> zwei Personen mit dieser Funktion beauftragt,<br />
die insgesamt 15 Testsitzungen besuchten. Die Ergebnisse der PQM-Besuche werden im internationalen<br />
technischen <strong>Bericht</strong> der OECD publiziert.<br />
Bibliografie<br />
Pointinger, M. (2004). Field Operations. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.<br />
htm [Datum des Zugriffs: 08.02.2007]<br />
VI. Testorganisation und Durchführung<br />
Seite 105
Seite 106<br />
VI. Testorganisation und Durchführung
VII<br />
V<br />
RÜCKLAUF, STICHPROBENAUSFÄLLE<br />
UND STICHPROBENGRÖSSEN<br />
Simone Breit & Claudia Schreiner<br />
1. Rücklauf im <strong>PISA</strong>-Feldtest 2005<br />
1.1 Der Rücklauf auf Schulebene<br />
1.2 Schüler/innen, die nicht getestet werden können<br />
1.3 Der Rücklauf auf Schülerebene<br />
1.4 Vergleich mit den Feldtests von <strong>PISA</strong> 2000 und <strong>PISA</strong> 2003<br />
1.5 Charakteristika der resultierenden Feldtest-Stichprobe<br />
1.6 Die realisierte Stichprobe für die nationale Zusatzerhebung im Feldtest<br />
2. Rücklauf im <strong>PISA</strong>-Haupttest <strong>2006</strong><br />
2.1 Der Rücklauf auf Schulebene<br />
2.2 Schüler/innen, die nicht getestet werden können<br />
2.3 Der Rücklauf auf Schülerebene<br />
2.4 Vergleich mit <strong>PISA</strong> 2000 und <strong>PISA</strong> 2003<br />
2.5 Besonderheiten bei der Berechnung von Rücklaufquoten in Berufsschulen<br />
2.6 Charakteristika der resultierenden Haupttest-Stichprobe<br />
2.7 Die realisierte Stichprobe für die nationalen Zusatzerhebungen im Haupttest<br />
2.8 Der Rücklauf der Waldorf-Schulen<br />
2.9 Zur Gewichtung der <strong>PISA</strong>-<strong>2006</strong>-Stichprobe<br />
2.10 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung<br />
3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobengröße<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Haider & Wallner-Paschon, 2001) und <strong>PISA</strong> 2003 (Reiter,<br />
2004). Die Autorinnen dieses Kapitels danken Günter Haider, Christina Wallner-Paschon sowie Claudia Schreiner (geb. Reiter)<br />
für die Bereitstellung der Texte.
Dieses Kapitel dient der Dokumentation der realisierten Stichprobe. Getrennt für den im Jahr 2005<br />
durchgeführten Feldtest und den Haupttest <strong>2006</strong> werden jeweils folgende Bereiche behandelt:<br />
• die Analyse von Stichprobenausfällen;<br />
• detaillierte Rücklaufquoten nach verschiedenen Kriterien;<br />
• die Charakterisierung der realisierten Stichprobe durch einige relevante Merkmale.<br />
Noch eine wichtige Anmerkung vorweg: Bei der Darstellung des Rücklaufs (Abschnitte 1.1 und 1.3 für<br />
den Feldtest sowie 2.1 und 2.3 idK. für den Haupttest) werden Prozentzahlen jeweils als Rücklaufquoten<br />
in den einzelnen Untergruppen von Schulen bzw. Schülerinnen und Schülern angegeben (Zeilenprozent),<br />
wohingegen bei der jeweils folgenden Charakterisierung der Stichprobe (Abschnitte 1.5 und 2.6 idK.)<br />
die Verteilung der erzielten Stichprobe auf verschiedene Untergruppen gezeigt wird und die angeführten<br />
Prozentwerte demnach jeweils die Anteile einer Gruppe an der gesamten Stichprobe darstellen<br />
(Spaltenprozent).<br />
1. Rücklauf im <strong>PISA</strong>-Feldtest 2005<br />
Der Feldtest für <strong>PISA</strong> <strong>2006</strong>, der im April/Mai 2005 durchgeführt wurde, diente – wie mehrfach erwähnt<br />
– in erster Linie zur Überprüfung der Qualität neu entwickelter Untersuchungsmaterialien und der<br />
Auswahl der besten Testaufgaben und Fragebogen-Items. Die Vorgabe der OECD bezüglich der Größe<br />
der realisierten Stichprobe wurde deshalb von der Anzahl an Testheftformen bestimmt: Ziel war es, in jedem<br />
Land für jede der 12 Testheftformen auswertbare Daten von ca. 100 Schüler/innen zu erhalten, d. h.<br />
die untere Grenze war mit auswertbaren Daten von ca. 1200 Schülerinnen und Schülern festgelegt.<br />
Eine weitere Aufgabe eines Feldtests ist die Erprobung aller Prozeduren; dies schließt natürlich auch den<br />
Vorgang der Stichprobenziehung und das Sammeln von Erfahrungen bezüglich Stichprobenausfällen und<br />
Rücklaufquoten ein.<br />
1.1 Der Rücklauf auf Schulebene<br />
Alle 51 für den Feldtest ausgewählten Schulen konnten überzeugt werden, an der Studie teilzunehmen.<br />
Demnach konnte auf Schulebene eine Teilnahmequote von 100 % erzielt werden. Von allen 51 betroffenen<br />
Schulleiterinnen und Schulleitern wurde der Schulfragebogen ausgefüllt und rechtzeitig für die<br />
Datenverarbeitung retourniert, d. h. dass auch hier ein vollständiger Rücklauf von 100 % zu verzeichnen<br />
ist.<br />
Eine Übersicht über die Verteilung der Feldtestschulen auf die 20 Strata und der Rücklaufquoten in den<br />
einzelnen Strata findet sich in Abbildung VII.1 auf der nächsten Seite. Die erste Spalte zeigt die Anzahl<br />
ausgewählter Schulen in den einzelnen Strata und ist identisch mit den Angaben in Abbildung V.5 in<br />
Kapitel V. Den folgenden Spalten sind die Rücklaufquoten bezüglich der Teilnahme der Schulen an der<br />
Studie und des Schulfragebogens zu entnehmen.<br />
1.2 Schüler/innen, die nicht getestet werden können<br />
Als Basis für die Auswahl der Schüler/innen dienten Listen aller Schüler/innen jeweils einer Schule, die<br />
der Vorgabe „geboren im Jahr 1989“ entsprechen. Dabei kann es passieren, dass Schüler/innen auf diese<br />
Listen geraten, die nicht getestet werden können oder dürfen. Nicht testen kann man Schüler/innen aus<br />
zwei Gründen:<br />
Zum einen betrifft das Schüler/innen, die auf Grund von schwerer geistiger oder körperlicher Behinderung<br />
oder mangelnder Deutschkenntnisse nicht getestet werden können (für eine genaue Definition der<br />
Ausschließungsgründe vgl. Abschnitt 6.1 in Kapitel V). Zum anderen können Schüler/innen nicht getestet<br />
werden, wenn sie zwischen der Erstellung der Schülerlisten und dem Testtermin die Schule verlassen<br />
oder an eine andere Schule wechseln. Solche Schüler/innen kommen für die Testung nicht in Frage, sie<br />
werden international als „ineligible“ bezeichnet.<br />
Nicht testen darf man weiters Schüler/innen, die fälschlicherweise ausgewählt wurden (etwa Schüler/innen,<br />
die auf die Schülerliste gelangt sind, obwohl sie nicht im Jahr 1989 geboren wurden).<br />
Seite 108<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Stratum<br />
Alle Schüler/innen, die getestet werden können, bilden dann die Basis für die Berechnung der Rücklaufquoten.<br />
Schüler/innen, die ausgeschlossen werden oder für die Testung nicht in Frage kommen, werden durch<br />
die Berechnung der so genannten Coverage-Rate berücksichtigt. Diese gibt an, welcher Prozentsatz<br />
der Zielpopulation eines<br />
Landes durch die getestete<br />
Stichprobe repräsentiert<br />
wird. Abbildung<br />
VII.2 zeigt die Anteile an<br />
Schüler/innen, die auf<br />
Grund einer der oben angeführten<br />
Bedingungen<br />
vor der Testung von der<br />
Liste genommen wurden.<br />
Vor dem Test wurden<br />
0,9 % der Schüler/innen<br />
ausgeschlossen, 2,4 % der<br />
ausgewählten Schüler/innen<br />
verließen zwischen<br />
Erstellung der Schülerliste<br />
Schulen<br />
in<br />
Stichprobe<br />
Rücklauf<br />
(ohne Replacement)<br />
Anzahl Prozent Anzahl Rücklauf<br />
2 Hauptschule 3<br />
3 100 % 3 100 %<br />
3 Polytechnische Schule 5<br />
5 100 % 5 100 %<br />
4 Sonderschule -<br />
-<br />
- - -<br />
5 Gymnasium 5<br />
5 100 % 5 100 %<br />
6 Realgymnasium & wirtschaftskundl. RG 5<br />
5 100 % 5 100 %<br />
7 Oberstufenrealgymnasium 2<br />
2 100 % 2 100 %<br />
8 Sonstige Allgemeinb. Schulen/mit Statut -<br />
-<br />
- - -<br />
9 Berufsschule (technisch/gewerblich) 5<br />
5 100 % 5 100 %<br />
10 Berufsschule (kaufm./Handel & Verkehr) 2<br />
2 100 % 2 100 %<br />
11 Berufsschule (land- & forstwirtschaftlich) 1<br />
1 100 % 1 100 %<br />
12 BMS (gewerblich/technisch/kunstgewerbl.) 2<br />
2 100 % 2 100 %<br />
13 BMS (kaufmännisch) 4<br />
4 100 % 4 100 %<br />
14 BMS (wirtschaftsberuflich/sozialberuflich) 4<br />
4 100 % 4 100 %<br />
15 BMS (land- & forstwirtschaftlich) 2<br />
2 100 % 2 100 %<br />
16 BHS (gewerblich/technisch/kunstgewerbl.) 3<br />
3 100 % 3 100 %<br />
17 BHS (kaufmännisch) 4<br />
4 100 % 4 100 %<br />
18 BHS (wirtschaftsberuflich/sozialberuflich) 2<br />
2 100 % 2 100 %<br />
19 BHS (land- & forstwirtschaftlich) 1<br />
1 100 % 1 100 %<br />
20 Anstalten der Lehrer- & Erzieherbildung 1<br />
1 100 % 1 100 %<br />
GESAMT 51 51 100 % 51 100 %<br />
Abbildung VII.1: Rücklauf auf Schulebene nach Strata im Feldtest 2005<br />
Schüler/innen Jahrgang 1989 in der Stichprobe<br />
körperlicher Behinderung<br />
geistiger Behinderung<br />
mangelnder Deutschkenntnisse<br />
Ausschlüsse gesamt<br />
an andere Schule gewechselt<br />
nicht mehr in der Schule<br />
Ineligible gesamt<br />
Zu testende Schüler/innen<br />
Ausschlüsse<br />
auf Grund<br />
Ineligible,<br />
weil<br />
Schulfragebogen<br />
1570 100 %<br />
Abbildung VII.2: Ausgeschlossene und nicht in Frage kommende („ineligible“)<br />
Schüler/innen im Feldtest 2005<br />
2<br />
7<br />
5<br />
14<br />
9<br />
28<br />
37<br />
1519<br />
0.1 %<br />
0.4 %<br />
0.3 %<br />
0.9 %<br />
0.6 %<br />
1.8 %<br />
2.4 %<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 109
und Testsitzung die Schule. Die Basis für den Rücklauf, d. h. die Anzahl der Schüler/innen, die an der <strong>PISA</strong>-<br />
Testung teilnehmen sollten, betrug demnach für den Feldtest 1519 Personen.<br />
1.3 Der Rücklauf auf Schülerebene<br />
Auf Schülerebene konnte – wie auf Schulebene – ein ausgezeichneter Rücklauf erzielt werden. Über 94 %<br />
der in Österreich zu testenden Schüler/innen nahmen an einer Testsitzung im Rahmen des <strong>PISA</strong>-Feldtests<br />
2005 teil. Ein Schüler/eine Schülerin wird von internationaler Seite her als getestet gewertet, wenn die<br />
Bearbeitung des Testhefts zumindest begonnen wurde. Die offizielle (ungewichtete) Rücklaufquote für<br />
Zu testende Schüler/innen 1519 100.0 %<br />
getestet nicht getestet<br />
Teilnahme verweigert<br />
28 1.8 %<br />
abwesend bei erster Sitzung, kein Nachtest<br />
47 3.1 %<br />
abwesend bei erster Sitzung und Nachtests<br />
7 0.5 %<br />
Nicht getestete Schüler/innen gesamt 82 5.4 %<br />
in erster Testsitzung<br />
1391 91.6 %<br />
in einem Nachtest<br />
46 3.0 %<br />
Getestete Schüler/innen gesamt 1437 94.6 %<br />
Abbildung VII.3: Aufgliederung des Non-response im Feldtest 2005<br />
Österreich im Feldtest 2005 beträgt 94,6 %. Der konkrete Rücklauf der Instrumente ist in Abbildung<br />
VII.3 ersichtlich.<br />
In Abbildung VII.3 ist die Aufgliederung des Non-response (der Stichprobenausfälle) dargestellt. Nicht<br />
getestet wurden Schüler/innen, die die Teilnahme verweigerten (bzw. deren Eltern einer Teilnahme durch<br />
ihre/n Tochter/Sohn nicht zustimmten), Schüler/innen, die beim Termin der <strong>PISA</strong>-Testsitzung abwesend<br />
waren und an deren Schule kein Nachtest durchgeführt werden musste, sowie Schüler/innen, die<br />
sowohl bei der ersten <strong>PISA</strong>-Testsitzung als auch bei allen Nachtests abwesend waren. Für die getesteten<br />
Schüler/innen ist aus der Abbildung ersichtlich, ob diese in einer ersten Testsitzung oder im Rahmen<br />
eines Nachtests erreicht wurden.<br />
Abbildung VII.4 (auf der gegenüberliegenden Seite) zeigt den Rücklauf der Instrumente getrennt nach<br />
Strata. Testheft und Fragebogen werden gemeinsam behandelt, weil es im Feldtest 2005 nur eine Testperson<br />
gab, die vor Beginn der Bearbeitung des Schülerfragebogens die Testsitzung verließ, und daher Rücklauf<br />
nach Testheft mit dem nach Fragebogen nahezu identisch ist.<br />
Den folgenden beiden Abbildungen VII.5 und VII.6 ist zu entnehmen, dass sich die Rücklaufquoten zwischen<br />
den verschiedenen verwendeten Formen von Test- und Befragungsinstrumenten nicht wesentlich<br />
voneinander unterscheiden. Abbildung VII.5 zeigt den Rücklauf getrennt für die 12 Testheftformen. Der<br />
Rücklauf beträgt bei allen Formen zumindest rund 89 %, die benötigte Anzahl von ca. 100 auswertbaren<br />
Testheften pro Form konnte für alle Formen erreicht werden. Abbildung VII.6 zeigt, wie sich die beiden<br />
verwendeten Formen des Schülerfragebogens auf die Strata verteilen. Insgesamt wurden 353 Fragebögen<br />
der Form A, 358 Fragebögen der Form B, 364 Fragebögen der Form C und 361 Fragebögen der Form D<br />
bearbeitet.<br />
Seite 110<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
2 Hauptschule<br />
3 Polytechnische Schule<br />
Schüler/innen<br />
Testheft/Fragebogen<br />
zu testen Anzahl Rücklauf<br />
27<br />
26 96.3 %<br />
142 135/134 95.1/94.4 %<br />
4 Sonderschule – –<br />
–<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut<br />
168<br />
174<br />
68<br />
–<br />
159<br />
165<br />
55<br />
–<br />
94.6 %<br />
94.8 %<br />
80.9 %<br />
–<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
Stratum<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten der Lehrer- & Erzieherbildung<br />
171<br />
38<br />
4<br />
67<br />
107<br />
131<br />
65<br />
102<br />
136<br />
56<br />
28<br />
35<br />
159<br />
38<br />
4<br />
62<br />
103<br />
125<br />
60<br />
98<br />
133<br />
53<br />
28<br />
34<br />
93.0 %<br />
100.0 %<br />
100.0 %<br />
92.5 %<br />
96.3 %<br />
95.4 %<br />
92.3 %<br />
96.1 %<br />
97.8 %<br />
94.6 %<br />
100.0 %<br />
97.1 %<br />
GESAMT<br />
1519<br />
1437/1436<br />
94.6/94.5 %<br />
Abbildung VII.4: Der Rücklauf auf Schülerebene nach Strata im Feldtest 2005<br />
Testheftform<br />
Testheft 3<br />
Testheft 4<br />
Testheft 5<br />
Testheft 6<br />
Testheft 7<br />
Testheft 8<br />
Testheft 9<br />
Testheft 10<br />
Testheft 11<br />
Testheft 12<br />
Testheft 13<br />
Testheft 14<br />
Ausgeschickt<br />
Rücklauf<br />
Anzahl Prozent<br />
127 120 94.5 %<br />
124 119 96.0 %<br />
129 120 93.0 %<br />
125 119 95.2 %<br />
128 124 96.9 %<br />
128 122 95.3 %<br />
124 111 89.5 %<br />
125 120 96.0 %<br />
125 120 96.0 %<br />
127 120 94.5 %<br />
131 123 93.9 %<br />
126 119 94.4 %<br />
Abbildung VII.5: Rücklauf nach Testheftformen im Feldtest 2005<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 111
2 Hauptschule<br />
3 Polytechnische Schule<br />
4 Sonderschule<br />
5 Gymnasium<br />
Stratum<br />
6 Realgymnasium &<br />
wirtschaftskundl. RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende/<br />
mit Statut<br />
9 Berufsschule<br />
(technisch/gewerblich)<br />
10 Berufsschule<br />
(kaufm./Handel & Verkehr)<br />
11 Berufsschule<br />
(land- & forstwirtschaftlich)<br />
12 BMS (gewerbl./technisch/<br />
kunstgewerbl.)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/<br />
sozialberuflich)<br />
15 BMS<br />
(land- & forstwirtschaftlich)<br />
16 BHS (gewerbl./technisch/<br />
kunstgewerbl.)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/<br />
sozialberuflich)<br />
19 BHS (land- &<br />
forstwirtschaftlich)<br />
20 Anstalten der Lehrer-<br />
& Erzieherbildung<br />
GESAMT<br />
Form A<br />
zu<br />
Rücklauf<br />
testen Anz. %<br />
5 5<br />
37 32<br />
Form B<br />
Rücklauf<br />
zu<br />
testen Anz. %<br />
– – – – – – – – – – –--<br />
–<br />
41 38 92.7 % 43 40 93.0 % 42 42 100.0 % 42 39 92.9 %<br />
43<br />
17<br />
42<br />
10<br />
1<br />
18<br />
27<br />
34<br />
17<br />
27<br />
34<br />
15<br />
7<br />
9<br />
384<br />
Abbildung VII.6: Rücklauf nach Fragebogenformen im Feldtest 2005<br />
1.4 Vergleich mit den Feldtests von <strong>PISA</strong> 2000 und <strong>PISA</strong> 2003<br />
39<br />
12<br />
39<br />
10<br />
1<br />
17<br />
23<br />
33<br />
15<br />
26<br />
34<br />
13<br />
7<br />
9<br />
353<br />
Form C<br />
Rücklauf<br />
zu<br />
testen Anz. %<br />
Form D<br />
Rücklauf<br />
zu<br />
testen Anz. %<br />
100.0 % 7 7 100.0 % 9 9 100.0 % 6 5 83.3 %<br />
86.5 % 34 33 97.1 % 35 34 97.1 % 36 35 97.2 %<br />
90.7 % 43 43 100.0 % 44 41 93.2 % 44 42 95.5 %<br />
70.6 % 17 13 76.5 % 17 14 82.4 % 17 16 94.1 %<br />
– – – – – – – – – – – –<br />
92.9 % 41 38 92.7 % 45 40 88.9 % 43 42 97.7 %<br />
100.0 % 10 10 100.0 % 9 9 100.0 % 9 9 100.0 %<br />
100.0 % 1 1 100.0 % 1 1 100.0 % 1 1 100.0 %<br />
94.4 % 17 15 88.2 % 15 15 100.0 % 17 15 88.2 %<br />
85.2 % 26 26 100.0 % 27 27 100.0 % 27 27 100.0 %<br />
97.1 % 31 31 100.0 % 33 32 97.0 % 33 29 87.9 %<br />
88.2 % 17 15 88.2 % 14 13 92.9 % 17 17 100.0 %<br />
96.3 % 25 24 96.0 % 25 24 96.0 % 25 24 96.0 %<br />
100.0 % 34 33 97.1 % 35 34 97.1 % 33 32 97.0 %<br />
86.7 % 14 14 100.0 % 13 13 100.0 % 14 13 92.9 %<br />
100.0 % 7 7 100.0 % 7 7 100.0 % 7 7 100.0 %<br />
100.0 % 9 8 88.9 % 9 9 100.0 % 8 8 100.0 %<br />
91.9 % 376 358 95.2 % 380 364 95.8 % 379 361 95.3 %<br />
Vergleicht man den Rücklauf des Feldtests (FT) zu <strong>PISA</strong> <strong>2006</strong> (im Jahr 2005) mit jenen der <strong>PISA</strong>-Feldtests<br />
im Jahr 1999 und im Jahr 2002, erhält man folgende Ergebnisse (für die Vergleichsdaten aus dem FT<br />
1999 vgl. Haider, 2001, S. 189, für die Vergleichdaten aus dem Feldtest 2002 vgl. Reiter, 2004):<br />
• Im Feldtest 2005 mussten auf Grund von Behinderung oder mangelnder Deutschkenntnisse 0,9 %<br />
der Schüler/innen ausgeschlossen werden. Im Feldtest 2002 waren es 0,4 %, im Feldtest 1999 waren<br />
es 1,8 % der gesampelten Schüler/innen.<br />
• Der Anteil der Schüler/innen, die für die Testung nicht in Frage kommen (ineligible – Schulwechsel<br />
zwischen Schülerlistenerstellung und <strong>PISA</strong>-Test), war mit 2,4 % der gesampleten Schüler/innen im<br />
Feldtest 2005 etwa gleich wie im FT 2002 mit 2,3 % Im Feldtest 1999 machte der Anteil 1,8 % der<br />
gesampelten Schüler/innen aus.<br />
Seite 112<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
• Bezüglich der Teilnahmequoten auf Schülerebene konnte die Verbesserung aus dem Jahr 2002 gehalten<br />
werden: während im FT 1999 9,4 % der zu testenden Schüler/innen am Testtag fehlten oder die<br />
Teilnahme verweigerten, waren dies beim FT 2002 6,9 % und beim FT 2005 nur 5,4 %.<br />
1.5 Charakteristika der resultierenden Feldtest-Stichprobe<br />
Abschließend sollen hier noch einige Charakteristika der im Feldtest 2005 erzielten Stichprobe gezeigt<br />
werden. Aus Abbildung VII.7 geht hervor, dass sich die getesteten Schulen und Schüler/innen gut über<br />
die verschiedenen Schularten (hier zusammengefasst in Form der 20 <strong>PISA</strong>-Strata) verteilen. Obwohl<br />
Abweichungen der Verteilung der Stichprobe von der gesamten Population der 15-/16-Jährigen festzustellen<br />
sind, wurde eine für einen Feldtest ausreichende Abdeckung aller Bereiche der österreichischen<br />
„Schullandschaft“ erreicht. Ziel des Feldtests ist ja nicht, eine selbst gewichtende, vollständig „repräsentative“<br />
Stichprobe zu erhalten (was schon allein auf Grund der Größe nicht möglich wäre), sondern Daten<br />
aus verschiedenen Schultypen als Basis für die Bewertung der Qualität der Aufgaben zur Verfügung zu<br />
haben. Dies wird durch die Einbeziehung von Schüler/innen verschiedener Strata erreicht.<br />
Stratum<br />
2 Hauptschule<br />
3 Polytechnische Schule<br />
4 Sonderschule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten f. Lehrer- & Erzieherbildung<br />
GESAMT<br />
Schulen<br />
Schüler/innen<br />
Anzahl Prozent Anzahl Prozent<br />
3 5.9 % 26 1.8 %<br />
5 9.8 % 135 9.4 %<br />
–<br />
– –<br />
–<br />
5 9.8 % 159 11.1 %<br />
5 9.8 % 165 11.5 %<br />
2 3.9 % 55 3.8 %<br />
–<br />
– –<br />
–<br />
5 9.8 % 159 11.1 %<br />
2 3.9 % 38 2.6 %<br />
1 2.0 % 4 0.3 %<br />
2 3.9 % 62 4.3 %<br />
4 7.8 % 103 7.2 %<br />
4 7.8 % 125 8.7 %<br />
2 3.9 % 60 4.2 %<br />
3 5.9% 98 6.8%<br />
4 7.8 % 133 9.3 %<br />
2 3.9 % 53 3.7 %<br />
1 2.0 % 28 1.9 %<br />
1 2.0 % 34 2.4 %<br />
51 100.0 % 1437 100.0 %<br />
Anmerkung: Diese Tabelle unterscheidet sich von den Angaben in den Abbildungen 1 und 4 nur<br />
durch die Art der angegebenen Prozentzahlen.<br />
Abbildung VII.7: Die realisierte Feldtest-Stichprobe nach Strata<br />
Aus Abbildung VII.8 (nächste Seite) geht hervor, dass in der Feldtest-Stichprobe auch eine gute regionale<br />
Streuung erzielt werden konnte. Schulen und Schüler/innen aller Bundesländer wurden getestet,<br />
wobei die größeren Bundesländer auch durch größere Anteile an getesteten Schülerinnen und Schülern<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 113
Bundesland<br />
Burgenland<br />
Kärnten<br />
Niederösterreich<br />
Oberösterreich<br />
Salzburg<br />
Steiermark<br />
Tirol<br />
Vorarlberg<br />
Wien<br />
GESAMT<br />
Schulen Schüler/innen<br />
Anzahl Prozent Anzahl Prozent<br />
2 3.9 % 52 3.6 %<br />
3 5.9 % 73 5.1 %<br />
10 19.6 % 259 18.0 %<br />
9 17.6 % 271 18.9 %<br />
3 5.9 % 81 5.6 %<br />
8 15.7 % 211 14.7 %<br />
5 9.8 % 165 11.5 %<br />
3 5.9 % 94 6.5 %<br />
8 15.7 % 231 16.1 %<br />
51 100.0 % 1437 100.0 %<br />
vertreten sind. Weiters umfasst die Stichprobe 736 Mädchen (das entspricht 51,2 %) und 701 Burschen<br />
(48,8 %). Auf eine Darstellung unter Berücksichtigung der besuchten Schulstufe (so wie diese in der<br />
Folge für die Charakterisierung der Haupttest-Stichprobe erfolgen wird) wurde verzichtet, weil dazu im<br />
Feldtest ausschließlich aus Schülerangaben generierte Daten vorliegen.<br />
1.6 Die realisierte Stichprobe für die nationale Zusatzerhebung im Feldtest<br />
Die nationalen Zusatzerhebungen, die seit <strong>PISA</strong> 2000 teilweise ident, teilweise adaptiert in Verwendung<br />
sind, mussten in Absprache mit dem internationalen Projektkonsortium nicht mehr im Feldtest erprobt<br />
werden. Es wurden ausschließlich einige ergänzende, offene Fragen zum Teil „Belastung in der Schule“<br />
an die Schüler/innen gerichtet – diese waren in allen vier Fragebogenformen enthalten. Der Rücklauf<br />
entspricht dem in Abschnitt 1.3 idK. dargestellten Rücklauf der Fragebogenformen A, B, C und D.<br />
2. Rücklauf im <strong>PISA</strong>-Haupttest <strong>2006</strong><br />
2.1 Der Rücklauf auf Schulebene<br />
Abbildung VII.8: Die realisierte Feldtest-Stichprobe nach Bundesländern<br />
Ausgangspunkt des Screenings ist die aus dem Sampling stammende Liste der 213 ausgewählten österreichischen<br />
Schulen. Als ein Ergebnis des Screening-Prozesses – und gleichzeitig als Ausgangspunkt der<br />
Rücklaufkontrolle – kann man die Teilnahme der ausgewählten Schulen interpretieren (vgl. Abbildung<br />
VII.9).<br />
In sechs der ausgewählten Schulen befanden sich im Schuljahr 2005/<strong>2006</strong> keine Schüler/innen des<br />
Zieljahrgangs, die Durchführung eines <strong>PISA</strong>-Tests war also nicht möglich. Dies kann passieren, weil die<br />
Auswahl der Schulen aus organisatorischen Gründen auf den Daten der Schulstatistik des jeweils vorhergehenden<br />
Schuljahres beruhen muss – dies sind also Schulen, die im Schuljahr 2004/2005 zumindest<br />
eine/n 15-/16-jährige/n Schüler/in hatten, nicht aber im darauf folgenden Jahr. In drei Schulen wurden<br />
alle Schüler/innen des Geburtsjahrgangs 1990 auf Grund schwerer Behinderung oder mangelnder<br />
Deutschkenntnisse ausgeschlossen. Auch in diesen Schulen konnten demnach keine <strong>PISA</strong>-Tests stattfinden.<br />
An einer weiteren Schule verließ der/die einzig zu testende Schüler/in die Schule zu Semesterende.<br />
Jene 203 Schulen, an denen sich auch zu testende Zielschüler/innen befanden, erklärten sich zur Teilnahme<br />
an <strong>PISA</strong> <strong>2006</strong> bereit. In keinem Fall war die Kontaktierung von Replacement-Schulen notwendig. Für<br />
jede ausgewählte Schule waren durch den Vorgang des Samplings zwei Ersatzschulen („Replacements“)<br />
ausgewählt worden, die bei der Verweigerung der Teilnahme einer Schule kontaktiert werden hätten<br />
Seite 114<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
können. Je weniger dieser Replacementschulen herangezogen werden müssen, desto besser ist die Qualität<br />
der realisierten Stichprobe.<br />
Obwohl sich alle Schulen zur Teilnahme bereit erklärt haben, gibt es auf Schulebene keinen Rücklauf von<br />
100 %: An einer im Sampling enthaltenen Berufsschule hatten innerhalb des Testfensters keine Schüler/<br />
innen des Jahrgangs 1990 Unterricht. An zwei Schulen meldeten sich die einzig zu testenden Schüler/<br />
innen vom <strong>PISA</strong>-Test ab. Diese Schulen haben auf Schülerebene keinen Rücklauf. An drei Schulen, an<br />
denen zwar ein <strong>PISA</strong>-Test stattgefunden hat, wurde die erforderliche Teilnahmequote auf Schülerebene<br />
von 50 % nicht erreicht. Daher werden diese Schulen bei der Berechnung der Rücklaufquoten nicht<br />
einbezogen und zählen international als Nichtteilnahme. Die Daten der beiden Schulen mit einem<br />
Rücklauf zwischen 25 % und 50 % werden jedoch im Datenfile enthalten sein. Basis für die Berechnung<br />
der Teilnahmequoten auf Schulebene bilden die verbleibenden 197 ausgewählten Schulen, die im<br />
Schuljahr 2005/<strong>2006</strong> für die Testung in Frage kommende Schüler/innen des Zieljahrgangs hatten und<br />
auf Schülerebene eine Beteiligung von mehr als 50 % hatten (vgl. Abbildung VII.9). Der Rücklauf auf<br />
Schulebene bei <strong>PISA</strong> <strong>2006</strong> beträgt in Österreich 98 % ohne Replacements. Mit dieser hohen Rücklaufquote<br />
auf Schulebene fallen die österreichischen Daten eindeutig in den Bereich „Acceptable“ (vgl. Abschnitt<br />
4.1 in Kapitel V).<br />
Anzahl ausgewählter Schulen 213<br />
Schulen, an denen im Schuljahr 2005/06 kein/e Schüler/in 1990<br />
vorhanden ist<br />
Schulen, an denen alle Schüler/innen vom Test ausgeschlossen<br />
worden sind<br />
Schule, an der der/die einzig zu testende Schüler/in die Schule im<br />
Semester verlassen hat<br />
Anzahl „leerer“ Schulen<br />
Anzahl zu testender Schulen<br />
Schule, an der im Testzeitraum keine Schüler/innen des Jahrgangs<br />
1990 Unterricht hatten<br />
Schulen, an denen sich der/die einzig zu testende Schüler/in vom<br />
Test abgemeldet hat<br />
Schule mit einer Schüler-Rücklaufquote von unter 25% (zählt<br />
international als Nicht-Teilnahme, im Datenfile nicht enthalten)<br />
Schulen mit einer Schüler-Rücklaufquote zwischen 25% und 50%<br />
(zählt international als Nicht-Teilnahme, im Datenfile enthalten)<br />
6<br />
3<br />
1<br />
10<br />
203<br />
1<br />
2<br />
1<br />
2<br />
Anzahl an Schulausfällen 6<br />
Anzahl an Schulen, in denen der Test (mit einer Schüler-<br />
Rücklaufquote von mindestens 50%) durchgeführt wurde.<br />
197<br />
Abbildung VII.9: Übersicht über die gesampelten Schulen im Haupttest<br />
Aus Abbildung VII.10 auf der nächsten Seite ist ersichtlich, dass der Schulfragebogen von allen <strong>PISA</strong>-<br />
Schulen, an denen unter den Schülerinnen und Schülern die Beteiligungsquote ausreichend hoch war,<br />
ausgefüllt an das Projektzentrum retourniert wurde. Diese Abbildung zeigt den Rücklauf auf Schulebene<br />
getrennt nach Strata, der Rücklauf beträgt jeweils 100 %. Das Stratum 04 ist nicht angeführt, weil sich<br />
in diesem keine „großen“ Schulen („groß“ bezüglich der Anzahl 15-/16-Jähriger) befinden und Schulen<br />
dieses Typs demnach in den beiden Strata für „kleine“ Schulen (21 und 22) enthalten sind. Auch in den<br />
Strata 08 und 11 befinden sich nur „kleine“ Schulen; da die Auswahlwahrscheinlichkeit dieser Schulen in-<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 115
nerhalb der Strata für „kleine“ Schulen sehr gering wäre, hat man sich dafür entschieden, je zwei Schulen<br />
aus dem Stratum 08 und 11 zu ziehen. Diese Vorgehensweise war für das Stratum 04 nicht nötig.<br />
Stratum<br />
Schulen<br />
in<br />
Stichprobe<br />
Schulfragebogen<br />
Anzahl<br />
Prozent<br />
2 Hauptschule 2 2 100 %<br />
3 Polytechnische Schule 10 10 100 %<br />
5 Gymnasium 9 9 100 %<br />
6 Realgymnasium & wirtschaftskundl. RG 8 8 100 %<br />
7 Oberstufenrealgymnasium<br />
8 Allgemeinbildende mit Statut<br />
2 2<br />
8 8 100 %<br />
100 %<br />
9 Berufsschule (technisch/gewerblich) 22 22 100 %<br />
10 Berufsschule (kaufm./Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich) 2 2<br />
7 7 100 %<br />
100 %<br />
12 BMS (gewerbl./technisch/kunstgewerbl.) 3 3 100 %<br />
13 BMS (kaufmännisch) 3 3 100 %<br />
14 BMS (wirtschaftsberuflich/sozialberuflich) 4 4 100 %<br />
15 BMS (land- & forstwirtschaftlich) 5 5 100 %<br />
16 BHS (gewerbl./technisch/kunstgewerbl.) 17 17 100 %<br />
17 BHS (kaufmännisch) 13 13 100 %<br />
18 BHS (wirtschaftsberuflich/sozialberuflich) 9 9 100 %<br />
19 BHS (land- & forstwirtschaftlich) 2 2 100 %<br />
20 Anstalten der Lehrer- & Erzieherbildung 2 2 100 %<br />
21 Kleine Schulen (18–35 Schü. Jg. 90) 33 33 100 %<br />
22 Sehr kleine Schulen (1–17 Schü. Jg. 90) 36 36 100 %<br />
GESAMT<br />
197 197 100 %<br />
Abbildung VII.10: Rücklauf auf Schulebene nach Strata im Haupttest <strong>2006</strong><br />
2.2 Schüler/innen, die nicht getestet werden können<br />
Wie im Feldtest gelangen auch in einem Haupttest Schüler/innen auf die Schülerlisten, die nicht getestet<br />
werden dürfen oder können. Aus drei Arten von Gründen können Schüler/innen noch vor der Testsitzung<br />
von der <strong>PISA</strong>-Schülerliste einer Schule gestrichen werden (praktisch bleiben die Namen dieser Schüler/innen<br />
auf der <strong>PISA</strong>-Schülerliste, werden aber entsprechend gekennzeichnet):<br />
(1) Schüler/innen, die nicht im Jahr 1990 geboren sind, bzw. Schüler/innen, die sich auf Schulstufe 6<br />
oder darunter befinden, sind fälschlicherweise auf die Schülerliste geraten (in der Regel durch einen<br />
fehlerhaften Eintrag in der Schuldatenbank).<br />
(2) Einer der in Kapitel V (Abschnitt 6.1) dargestellten Ausschließungsgründe trifft zu: dies betrifft Schüler/innen,<br />
die auf Grund einer dauernden schweren geistigen oder körperlichen Behinderung nicht<br />
am Test teilnehmen können und Schüler/innen mit mangelnden Deutschkenntnissen. Es ist wichtig,<br />
diese Schüler/innen in den Sampling-Prozess einzubeziehen, damit im Anschluss berechnet werden<br />
Seite 116<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
kann, welchen Prozentsatz der Zielpopulation dies betrifft. Dies dient der Sicherung der Vergleichbarkeit<br />
der Daten verschiedener Länder. Aus diesem Grund werden Schüler/innen, die aus einem der<br />
oben genannten Gründe von der Testung ausgeschlossen werden müssen, auf die <strong>PISA</strong>-Schülerlisten<br />
mit aufgenommen und vor der Testung vom Schulkoordinator/von der Schulkoordinatorin entsprechend<br />
markiert.<br />
(3) Es wurden Schüler/innen ausgewählt, die für die Testung nicht in Frage kommen: das betrifft Schüler/innen,<br />
die im Zeitraum zwischen der Erstellung der Schülerliste und der Testsitzung entweder an<br />
eine andere Schule gewechselt haben oder die Schule verlassen haben, ohne dass Informationen über<br />
den Wechsel an eine andere Schule bekannt wären. Diese Schüler/innen werden in der internationalen<br />
<strong>PISA</strong>-Diktion als „ineligible“ (nicht in Frage kommend) bezeichnet. Aus Gründen der Übersichtlichkeit<br />
wird in den Abbildungen diese kürzere englische Bezeichnung verwendet.<br />
Schüler/innen, die trotz falschen Geburtsjahrgangs oder falscher Schulstufe auf die Schülerliste gelangt<br />
sind (1), werden bei der Berechnung von Rücklauf-Quoten so behandelt, als wären ihre Namen nie auf<br />
der Liste enthalten gewesen. Ausgeschlossene (2) und nicht in Frage kommende Schüler/innen (3) betreffen<br />
die Coverage-Quote (sie bestimmen den Anteil, um den sich die durch die Stichprobe repräsentierte<br />
Population verringert). Alle ausgewählten Schüler/innen minus jenen, auf die (1), (2) oder (3) zutrifft,<br />
liefern die Ausgangsbasis für die Berechnung der Rücklaufquote.<br />
Abbildung VII.11 gibt einen Überblick über den Prozentsatz notwendiger Ausschlüsse und nicht in Frage<br />
kommender Schüler/innen beim Haupttest <strong>2006</strong> in Österreich. Die Ausschlüsse belaufen sich auf insgesamt<br />
1,7 %; 3,1 % der Schüler/innen des Jahrgangs 1990 konnten auf Grund von Schulwechsel nicht<br />
getestet werden.<br />
Schüler/innen in der Haupttest-Stichprobe<br />
5824<br />
Falscher Jahrgang 3<br />
Falsche Schulstufe 5<br />
Schüler/innen Jahrgang 1990 in der Stichprobe 5816<br />
Schüler/innen im Testfenster nicht erreichbar<br />
Schüler/innen Jahrgang 1990 im Testfenster erreichbar<br />
279<br />
5537 100.0 %<br />
Ausschlüsse<br />
auf Grund<br />
Ineligible,<br />
weil<br />
körperlicher Behinderung<br />
geistiger Behinderung<br />
mangelnder Deutschkenntnisse<br />
Ausschlüsse gesamt<br />
an andere Schule gewechselt<br />
nicht mehr in der Schule<br />
Ineligible gesamt<br />
Zu testende Schüler/innen<br />
1 0.0 %<br />
29 0.5 %<br />
64 1.2 %<br />
94 1.7 %<br />
53 0.9 %<br />
127 2.2 %<br />
180 3.1 %<br />
5263<br />
Abbildung VII.11: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen im Haupttest <strong>2006</strong><br />
In der Abbildung ist zusätzlich zu den oben angeführten Gruppen von nicht testbaren Schülern und<br />
Schülerinnen noch eine weitere Kategorie quantifiziert, die unter Berücksichtigung der Regeln der<br />
OECD nicht getestet werden kann. Dies sind Schüler/innen saison- oder lehrgangsmäßig geführter<br />
Berufsschulen, deren Schulbesuch vollständig außerhalb des vorgeschriebenen Testfensters liegt. Für den<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 117
Zweck der Dokumentation des Rücklaufs auf nationaler Ebene wurden diese Schüler/innen nicht berücksichtigt.<br />
Nach internationalen Regeln müssen sie als abwesend gewertet werden (dieser Thematik ist ein<br />
eigener Abschnitt gewidmet – genauere Erläuterungen dazu entnehmen Sie bitte Abschnitt 2.5 idK.).<br />
Die Basis für die Darstellung des Rücklaufs auf Schülerebene in Österreich bilden laut obiger<br />
Aufschlüsselung 5263 Schüler/innen des Geburtsjahrgangs 1990. Abbildung VII.12 zeigt zusätzlich, wie<br />
sich die ausgeschlossenen und nicht in Frage kommenden Schüler/innen sowie die 5263 zu testenden<br />
Schüler/innen über die dem Sampling zu Grunde liegenden Strata verteilen.<br />
Stratum<br />
2 Hauptschule<br />
3 Polytechnische Schule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende mit Statut<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten der Lehrer- & Erzieherbildung<br />
21 Kleine Schulen (18–35 Schüler/innen)<br />
22 Sehr kleine Schulen (1–17 Schüler/innen)<br />
GESAMT<br />
1)<br />
Jg. 1990, über Schulstufe 6, testbar im Testfenster<br />
Jg. 90<br />
gesamt 1)<br />
Schüler/innen<br />
ausgeschlossen<br />
ineligible zu testen<br />
57 21 2 34<br />
347 43 18 286<br />
306 1 13 292<br />
279 2 4 273<br />
280 0 5 275<br />
56 0 2 54<br />
763 9 26 728<br />
243 0 17 226<br />
23 0 0 23<br />
105 0 12 93<br />
105 0 8 97<br />
137 0 4 133<br />
174 2 2 170<br />
595 0 15 580<br />
455 1 5 449<br />
315 0 5 310<br />
70 0 0 70<br />
70 0 0 70<br />
860 1 35 824<br />
279 14 7 276<br />
5537 94 180 5263<br />
Abbildung VII.12: Ausgeschlossene und nicht in Frage kommende Schüler/innen nach Strata im Haupttest <strong>2006</strong><br />
2.3 Der Rücklauf auf Schülerebene<br />
Im Haupttest <strong>2006</strong> konnte in Österreich ein ausgezeichneter Rücklauf auf Schülerebene erzielt werden.<br />
Für die Rücklaufstatistik wird ein/e Schüler/in als teilgenommen gewertet, wenn er/sie die Bearbeitung<br />
des Testhefts zumindest begonnen hat. In den meisten Fällen waren die Schüler/innen die ganze<br />
Testsitzung hindurch (<strong>PISA</strong>-Test und Fragebogen) anwesend. Die offizielle, ungewichtete Rücklaufquote<br />
für Österreich im <strong>PISA</strong>-Haupttest <strong>2006</strong> beträgt 93,6 %, das entspricht 4925 Schülerinnen und Schülern.<br />
Seite 118<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Betrachtet man den Rücklauf der Instrumente, sind kleine Unterschiede zwischen dem Rücklauf der<br />
<strong>PISA</strong>-Testhefte und Fragebögen festzustellen, welche sich beispielsweise dadurch ergeben, dass Schüler/innen<br />
die Testsitzung (z. B. auf Grund plötzlich auftretender gesundheitlicher Probleme) vorzeitig verlassen<br />
mussten.<br />
Die Datenbasis, die den Auswertungen zu Grunde liegen wird, wird die Daten von 4925 Schülerinnen<br />
und Schülern umfassen.<br />
Eine Bewertung des Rücklaufs in Bezug auf die international vorgegebenen Mindest-Rücklaufquoten ist<br />
an dieser Stelle nicht möglich, da sich die Vorgaben der OECD auf gewichtete Werte beziehen. Durch<br />
die spezielle Behandlung der Schüler/innen lehrgangsmäßig geführter Berufsschulen sind deutliche<br />
Unterschiede zwischen gewichteter und ungewichteter Rücklaufquote auf Schülerebene zu erwarten (siehe<br />
unten).<br />
Der folgenden Übersicht ist der Rücklauf in Bezug auf die bei den Schülern und Schülerinnen eingesetzten<br />
Instrumente zu entnehmen. Von 4925 Schüler/innen wurde ein <strong>PISA</strong>-Testheft bearbeitet, den<br />
Schülerfragebogen haben 4918 österreichische Schüler/innen beantwortet.<br />
Eine Aufgliederung der Gründe für Non-response (Teilnahme durch Schüler/in selbst oder Eltern verweigert,<br />
Abwesenheit bei erster Testsitzung, aber kein Nachtest notwendig oder Abwesenheit bei erster<br />
Testsitzung und allen abgehaltenen Nachtests) findet sich in Abbildung VII.13. Dieser Tabelle ist auch zu<br />
entnehmen, wie viele Schüler/innen beim ersten Testtermin erreicht werden konnten, und bei wie vielen<br />
Schülern und Schülerinnen erst durch die Abhaltung eines oder – in manchen Berufsschulen – mehrerer<br />
Nachtests die Teilnahme möglich wurde.<br />
Zu testende Schüler/innen<br />
getestet nicht getestet<br />
Teilnahme verweigert<br />
abwesend bei erster Sitzung, kein Nachtest<br />
abwesend bei erster Sitzung und Nachtests<br />
Nicht getestete Schüler/innen gesamt<br />
in erster Testsitzung<br />
in einem Nachtest<br />
Getestete Schüler/innen gesamt<br />
5263 100.0 %<br />
119 2.3 %<br />
175 3.3 %<br />
44 0.8 %<br />
338 6.4 %<br />
4426 84.1 %<br />
499 9.5 %<br />
4925 93.6 %<br />
Abbildung VII.13: Aufgliederung des Non-response im Haupttest <strong>2006</strong><br />
Die genauen Rücklaufquoten für Testheft und Schülerfragebogen für die dem Sampling zu Grunde liegenden<br />
Strata sind Abbildung VII.14 zu entnehmen. Die Rücklaufquoten zwischen den Strata unterscheiden<br />
sich geringfügig. Die niedrigste Rücklaufquote wurde bei den Hauptschulen (Stratum 02) mit 64,7 %<br />
erzielt. Der höchste Rücklauf ist in den Strata 19 und 20 mit je 98,6 % zu verzeichnen. Abweichungen<br />
von der mittleren Rücklaufquote in diesem Ausmaß sind – im Speziellen bei sehr kleinen Strata (darunter<br />
das Stratum für Hauptschulen) – als unwesentlich einzustufen und können bei der Gewichtung im Zuge<br />
des Non-response-Adjustments ausgeglichen werden.<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 119
Stratum<br />
2 Hauptschule<br />
3 Polytechnische Schule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende mit Statut<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten der Lehrer- & Erzieherbildung<br />
21 Kleine Schulen (18–35 Schüler/innen)<br />
22 Sehr kleine Schulen (1–17 Schüler/innen)<br />
GESAMT<br />
Schüler Testheft Fragebogen<br />
zu testen Anzahl Rücklauf Anzahl Rücklauf<br />
34 22 64.7 % 22 64.7 %<br />
286 257 89.9 % 257 89.9 %<br />
292 280 95.9 % 280 95.9 %<br />
273 259 94.9 % 259 94.9 %<br />
275 260 94.5 % 260 94.5 %<br />
54 47 87.0 % 47 87.0 %<br />
728 667 91.6 % 666 91.5 %<br />
226 212 93.8 % 210 92.9 %<br />
23 22 95.7 % 22 95.7 %<br />
93 82 88.2 % 82 88.2 %<br />
97 92 94.8 % 92 94.8 %<br />
133 127 95.5 % 127 95.5 %<br />
170 162 95.3 % 162 95.3 %<br />
580 551 95.0 % 551 95.0 %<br />
449 430 95.8 % 430 95.8 %<br />
310 294 94.8 % 294 94.8 %<br />
70 69 98.6 % 69 98.6 %<br />
70 69 98.6 % 69 98.6 %<br />
824 773 93.8 % 772 93.7 %<br />
276 250 90.6 % 247 89.5 %<br />
5263 4925 93.6 % 4918 93.4 %<br />
Abbildung VII.14: Der Rücklauf auf Schülerebene nach Strata im Haupttest <strong>2006</strong><br />
Eine detailliertere Übersicht über den Rücklauf der Testinstrumente gibt Abbildung VII.15 auf der gegenüberliegenden<br />
Seite. Die Analyse des Rücklaufs getrennt für die 13 rotierten Testheftformen zeigt nur<br />
sehr kleine Unterschiede. Die Rücklaufquote liegt für alle Formen bei mehr als 90 % bzw. darüber. Das<br />
in Sonderschulen eingesetzte Testheft 60 wurde von 18 (von zu testenden 21) Schülerinnen und Schülern<br />
bearbeitet, was ebenfalls einer Rücklaufquote von 85,7 % entspricht.<br />
2.4 Vergleich mit <strong>PISA</strong> 2000 und <strong>PISA</strong> 2003<br />
Abbildung VII.16 zeigt den prozentuellen Anteil an ausgeschlossenen und nicht in Frage kommenden<br />
Schülern und Schülerinnen vergleichend für die Haupttests <strong>PISA</strong> 2000, 2003 und <strong>2006</strong>. Weiters<br />
kann dieser Abbildung der Anteil an Schüler/innen entnommen werden, die je Erhebungszeitpunkt auf<br />
Grund von Abwesenheit am Testtag oder Teilnahmeverweigerung nicht am Test teilgenommen haben<br />
(Vergleichszahlen aus Haider (2001) für <strong>PISA</strong> 2000 sowie Reiter (2004) für <strong>PISA</strong> 2003).<br />
Vergleicht man die prozentuellen Angaben für <strong>PISA</strong> 2000, 2003 und <strong>2006</strong> ist Folgendes zu beobachten:<br />
• Der Anteil an Schülerinnen und Schülern, die auf Grund von Behinderungen oder mangelnden<br />
Deutschkenntnissen ausgeschlossen werden, ist seit <strong>PISA</strong> 2000 kontinuierlich angestiegen: von 0,9 %<br />
auf 1,7 %.<br />
Seite 120<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
• Durch Schulwechsel (oder das Verlassen der Testschule, ohne dass der Wechsel an eine andere Schule<br />
bekannt ist) konnten bei <strong>PISA</strong> 2000 4,7 % der Schüler/innen, bei <strong>PISA</strong> 2003 2,3 % der Schüler/innen<br />
und bei <strong>PISA</strong> <strong>2006</strong> mit 3,1 % der Schüler/innen nicht erreicht werden.<br />
• In Bezug auf den Non-response ist seit <strong>PISA</strong> 2000 eine kontinuierliche Verbesserung zu beobachten:<br />
der Anteil der Schüler/innen, die nicht am Test teilgenommen haben (auf Grund von Teilnahmeverweigerungen<br />
bzw. weil sie am Testtag fehlten) lag bei <strong>PISA</strong> 2000 bei 8,2 %, bei <strong>PISA</strong> <strong>2006</strong> hingegen<br />
bei 6,4 %.<br />
• Der ungewichtete Rücklauf (ohne Berücksichtigung der lehrgangsmäßigen Berufsschüler/innen, die<br />
im Testfenster in der Schule nicht erreichbar waren) beträgt in <strong>PISA</strong> 2000 91,8 %, in <strong>PISA</strong> 2003<br />
92,6 % und in <strong>PISA</strong> <strong>2006</strong> 93,6 %<br />
Testheftform<br />
Testheft 1<br />
Testheft 2<br />
Testheft 3<br />
Testheft 4<br />
Testheft 5<br />
Testheft 6<br />
Testheft 7<br />
Testheft 8<br />
Testheft 9<br />
Testheft 10<br />
Testheft 11<br />
Testheft 12<br />
Testheft 13<br />
Testheft 60<br />
(Sonderschule)<br />
Ausgeschickt<br />
Rücklauf<br />
Anzahl Prozent<br />
400 370 92.5 %<br />
412 386 93.7 %<br />
412 382 92.7 %<br />
418 392 94.0 %<br />
420 395 94.0 %<br />
398 378 95.0 %<br />
399 372 93.2 %<br />
394 366 92.9 %<br />
399 370 92.7 %<br />
390 371 95.1 %<br />
410 387 94.4 %<br />
396 369 93.2 %<br />
394 367 93.1 %<br />
21 18 85.7 %<br />
Abbildung VII.15: Rücklauf nach Testheftformen im Haupttest <strong>2006</strong><br />
<strong>PISA</strong> 2000 <strong>PISA</strong> 2003 <strong>PISA</strong> <strong>2006</strong><br />
ausgeschlossen 0.9 % 1.3 %<br />
nicht in Frage kommend (ineligible) 4.7 % 2.3 %<br />
Schüler/innen nicht zu testen gesamt 5.6 % 3.6 %<br />
1.7 %<br />
3.1 %<br />
4.8 %<br />
Teilnahme verweigert 2.0 % 1.6 %<br />
am Testtag abwesend 6.2 % 5.8 %<br />
Schüler/innen nicht teilgenommen gesamt 8.2 % 7.4 %<br />
2.3 %<br />
4.1 %<br />
6.4 %<br />
Abbildung VII.16: Ausgeschlossene und nicht in Frage kommende („ineligible“) Schüler/innen sowie<br />
Non-response für <strong>PISA</strong> 2000, 2003 und <strong>2006</strong><br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 121
2.5 Besonderheiten bei der Berechnung von Rücklaufquoten in Berufsschulen<br />
Die beiden Organisationsformen österreichischer Berufsschulen stellen bei der Testung nach <strong>PISA</strong>-Regeln<br />
eine gewisse Herausforderung dar:<br />
(1) Berufsschulen mit Jahresunterricht, in denen die Schüler/innen während des ganzen Schuljahres für<br />
1 oder maximal 2 Tage pro Woche die Schule besuchen, erfordern meist die Abhaltung mehrerer<br />
Testtermine an verschiedenen Wochentagen, um allen Schülerinnen und Schülern unterschiedlicher<br />
Kurse die Teilnahme an der Testung zu ermöglichen. Dies führt dazu, dass an manchen Schulen bis zu<br />
5 Testsitzungen notwendig sind, um allen ausgewählten Schülerinnen und Schülern die Möglichkeit<br />
zu geben, am <strong>PISA</strong>-Test teilzunehmen.<br />
(2) In Berufsschulen mit lehrgangs- oder saisonmäßig geführten Klassen (in der Folge sind mit der Bezeichnung<br />
„lehrgangsmäßig geführte Berufsschulen“ auch die saisonalen Berufsschulen gemeint)<br />
kann ein großer Teil der Schüler/innen nicht getestet werden, weil <strong>PISA</strong> vorsieht, Tests ausschließlich<br />
innerhalb eines 6-wöchigen Testfensters im Frühjahr abzuhalten. Auf Grund der österreichischen<br />
Gegebenheiten hat das internationale Projektkonsortium für <strong>PISA</strong> <strong>2006</strong> die Zustimmung gegeben,<br />
das Testfenster für die lehrgangsmäßig geführten Berufsschulen auf drei Monate auszuweiten (März<br />
bis Mai). Auf diese Weise können mehr Schüler/innen als bisher getestet werden. Schüler/innen des<br />
1. oder 2. Lehrgangs, die nur im Herbst bzw. Winter die Schule besuchen, können nicht getestet<br />
werden, weil sie während des Testfensters an der Schule nicht erreicht werden können, und außerhalb<br />
des verlängerten Testfensters nicht getestet werden dürfen.<br />
Berufschulen bzw. Berufsschüler/innen, die in Kategorie (1) fallen, stellen ein organisatorisches bzw. finanzielles<br />
Problem dar, das an sich aber in den Bereich der Testdurchführung fällt. Wenn durch entsprechende<br />
Maßnahmen (Nachtests) gesichert werden kann, dass Schüler/innen aller Unterrichtstage getestet<br />
werden können, so stellt diese Tatsache für den Rücklauf kein Problem dar.<br />
Berufsschulen bzw. Berufsschüler/innen der Kategorie (2) erschweren hingegen in erster Linie die<br />
Erlangung entsprechender Rücklaufquoten. Wie nach internationalen Richtlinien mit diesem Problem<br />
umgegangen werden muss, und welche Folgen das hat, ist Thema dieses Abschnitts. Erwähnt werden<br />
muss auch, dass diese beiden Problemkategorien in vielen Fällen in Kombination auftreten, d. h., dass<br />
an vielen Berufsschulen sowohl lehrgangsmäßig geführte Klassen als auch solche mit Jahresunterricht<br />
geführt werden.<br />
2.5.1 Lehrgangsmäßig geführte Berufsschulen und <strong>PISA</strong><br />
In lehrgangsmäßig geführten Berufsschulen liegen als Schätzwert für die Anzahl der Schüler/innen des<br />
Zieljahrgangs dem Sampling die Werte eines gesamten Schuljahrs zu Grunde. Im Zuge des Screenings wird<br />
von den Schulen eine Liste aller 15-/16-Jähriger, die im Lauf des Schuljahres Schüler/innen der Schule<br />
sind, erbeten. Diese Liste umfasst somit Schüler/innen, die während des Testfensters die Schule besuchen<br />
werden, und solche, deren Unterricht vollständig außerhalb dieses Zeitraums liegt. Das Auswahlprinzip ist<br />
das gleiche wie bei nicht lehrgangsmäßig geführten Schulen. Es muss aus allen Schülern und Schülerinnen<br />
(testbaren und nicht testbaren) ausgewählt werden, und zwar so, dass 35 testbare Schüler/innen auf der<br />
resultierenden <strong>PISA</strong>-Schülerliste enthalten sind (aliquot zum Anteil der nicht testbaren Schüler/innen auf<br />
der ursprünglichen Liste sind auf der <strong>PISA</strong>-Schülerliste ebenfalls nicht testbare Schüler/innen enthalten;<br />
gibt es an einer Schule weniger als 35 testbare Schüler/innen, müssen alle 15-/16-jährigen Schüler/innen<br />
ausgewählt werden). Für die in diesem Kapitel (vgl. Abschnitt 2.3) präsentierten Rücklaufstatistiken<br />
wurden diese Schüler/innen (die gesampelt werden mussten, aber unter Berücksichtigung der Regeln der<br />
OECD nicht testbar sind) nicht in die Berechnung von Ausschluss- und Rücklaufquoten mit einbezogen<br />
(vgl. Abbildung VII.11).<br />
Bei den Berechnungen der Rücklaufquoten werden diese Schüler/innen von internationaler Seite aber<br />
so behandelt, als ob sie am Testtag gefehlt hätten (sie zählen also zum Non-response dieser Schule).<br />
Abbildung VII.17 zeigt, wie sich der tatsächliche Rücklauf in den Berufsschulen (bezogen auf alle test-<br />
Seite 122<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
aren Schüler/innen) von dem fiktiven Rücklauf unter Einbeziehung der nicht testbaren Schüler/innen<br />
unterscheidet.<br />
Die obere Tabelle in Abbildung VII.17 zeigt, wie sich der Rücklauf in den drei Arten von Berufsschulen<br />
berechnet, wenn sich dieser nur auf testbare Schüler/innen bezieht, d. h. wenn alle Schüler/innen, die im<br />
Testfenster nicht erreichbar sind, nicht in die Anzahl zu testender Schüler/innen einbezogen werden. Es<br />
ergibt sich in den drei Berufsschulstrata jeweils eine Rücklaufquote von mehr als 90 %.<br />
Aus der unteren Tabelle geht hervor, wie sich die Einbeziehung der im Testfenster nicht erreichbaren<br />
Schüler/innen in die Gruppe der zu Testenden (also jene Schüler/innen, in Bezug auf die die Rücklaufquote<br />
berechnet wird) auf den Rücklauf auswirkt. Die Rücklaufquote liegt bei dieser Art der Berechnung für die<br />
technisch-gewerblichen Berufsschularten bei 68,8 %, obwohl im Testfenster nur 61 von 728 Schüler/innen<br />
gefehlt haben. Bei den kaufmännischen Berufsschulen macht die Rücklaufquote 81,4 % aus, wobei<br />
15 von 242 Schüler/innen am Testtag nicht anwesend waren. Die Rücklaufquote für die land- und forstwirtschaftlichen<br />
Berufsschulen unterscheidet sich nicht, weil an diesen beiden Schulen alle Schüler/innen<br />
im Testfenster erreichbar waren.<br />
Für die uneingeschränkte Aufnahme der Daten eines Landes in die internationalen <strong>Bericht</strong>e ist eine<br />
gewichtete Rücklaufquote auf Schülerebene von mindestens 80 % notwendig (durch die Gewichtung<br />
spielt die niedrige Rücklaufquote bei den Berufsschulen nur im Verhältnis des Anteils der Berufsschüler/<br />
innen an der Population der 15-/16-jährigen Schüler/innen eine Rolle). Die internationale Regel, nach<br />
der nur Schüler/innen aus Schulen mit einer schulbezogenen Rücklaufquote von mindestens 50 % als<br />
Teilnahmen gewertet werden, was bei den meisten lehrgangsmäßigen Berufsschulen aber nicht der Fall ist<br />
(wenn mehr als die Hälfte aller Schüler/innen einen Lehrgang außerhalb des Testfensters besuchen, sogar<br />
unmöglich), findet bei den lehrgangsmäßig geführten Berufsschulen keine Anwendung.<br />
Es zeigt sich, dass das Einhalten aller internationalen Vorgaben unter den Bedingungen des österreichischen<br />
Schulsystems ein Problem darstellt. Folgt man den Regeln für das Sampling in den Berufsschulen<br />
und für den Testzeitraum (6-wöchiges Testfenster), ist das Erreichen der vorgegebenen Rücklaufquote auf<br />
Schülerebene praktisch nicht oder nur sehr knapp möglich. Die Ausweitung des 6-wöchigen Testfensters<br />
Rücklauf bezogen auf alle testbaren Berufsschüler/innen<br />
Berufsschulstratum<br />
technisch/gewerbl.<br />
kaufm./Handel<br />
land- & forstwirtsch.<br />
Berufsschulstratum<br />
technisch/gewerbl.<br />
kaufm./Handel<br />
land- & forstwirtsch.<br />
in<br />
Stichprobe<br />
in<br />
Stichprobe<br />
im Testfenster<br />
nicht<br />
erreichbar<br />
ausgeschlossen/<br />
ineligible<br />
ausgeschlossen/<br />
ineligible<br />
zu testen<br />
Schüler/innen<br />
zu testen<br />
getestet<br />
getestet<br />
Rücklauf bezogen auf alle Berufsschüler/innen<br />
(inkl. jener, die im Testfenster nicht an der Schule sind)<br />
Schüler/innen<br />
im Testfenster<br />
nicht<br />
erreichbar<br />
gefehlt/<br />
verweigert<br />
gefehlt/<br />
verweigert<br />
Rücklauf<br />
1005 242 35 728 667 61 91.6 %<br />
296 37 17 242 227 15 93.8 %<br />
23 0 0 23 22 1 95.7 %<br />
Rücklauf<br />
1005 35 970 667 242 61 68.8 %<br />
296 17 279 227 37 15 81.4 %<br />
23 0 23 22 0 1 95.7 %<br />
Abbildung VII.17: Rücklauf in Berufsschulen mit und ohne Berücksichtigung der nicht testbaren Schüler/innen<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 123
auf drei Monate für die lehrgangsmäßig geführten Berufsschulen bei <strong>PISA</strong> <strong>2006</strong> war daher ein wichtiger<br />
Schritt, um für Österreich eine adäquate Lösung zur Erreichung der Rücklaufquoten zu finden.<br />
Die nicht testbaren Schüler/innen werden in die Rücklaufquoten miteinbezogen, weil die getesteten<br />
Schüler/innen einer Schule alle Schüler/innen des Zieljahrgangs mit ihren Ergebnissen repräsentieren<br />
müssen, in einer lehrgangsmäßig geführten Berufsschule also auch alle Schüler/innen, die nicht im<br />
Testfenster zur Schule gehen.<br />
2.6 Charakteristika der resultierenden Haupttest-Stichprobe<br />
Nach der Darstellung des Rücklaufs in Österreich – gesamt und jeweils nach verschiedenen Kriterien<br />
gegliedert – soll nun abschließend gezeigt werden, wie sich die realisierte Stichprobe bezogen auf einige<br />
Variablen – vor allem solche, die bei der Stichprobenziehung eine Rolle gespielt haben – zusammensetzt.<br />
Es ist dies als reine Charakterisierung der realisierten Stichprobe zu verstehen. Die Berechnungen in diesem<br />
Abschnitt basieren deshalb auf ungewichteten Daten. Analyseergebnisse, die in den internationalen<br />
und nationalen <strong>Bericht</strong>bänden zu <strong>PISA</strong> <strong>2006</strong> publiziert werden, basieren auf gewichteten Daten, welche<br />
im Abschnitt 2.9 dargestellt werden.<br />
Die folgenden Analysen inkludieren die Schüler/innen aus den beiden Schulen, deren Rücklaufquote<br />
zwischen 25 % und 50 % auf Schülerebene betrug, weil die Daten dieser Schüler/innen im internationalen<br />
Datenfile enthalten sein werden. Basis für die Charakterisierung sind also 199 Schulen mit 4927<br />
Schüler/innen<br />
Abbildung VII.18 gegenüber zeigt die Verteilung der Schüler/innen der Haupttest-Stichprobe auf die verschiedenen<br />
Schularten. Die für den Vorgang des Samplings und Screenings in den Strata 21 und 22 zusammengefassten<br />
„kleinen“ Schulen wurden für diesen Zweck wieder ihrer ursprünglichen Kategorisierung<br />
zugeordnet. Die prozentuellen Angaben auf Schulebene sind für die Bewertung der Qualität weniger<br />
relevant – diese sind sehr stark durch die Anzahl 15-/16-Jähriger in den verschiedenen Schultypen beeinflusst.<br />
Deshalb umfasst die Stichprobe zum Beispiel relativ viele Allgemeinbildende Pflichtschulen, weil<br />
in diesen die 15-/16-Jährigen meist eine Minderheit darstellen und deshalb in vielen Schulen getestet<br />
werden muss, um die notwendige (kleine) Anzahl an Schülern und Schülerinnen des Zieljahrgangs erreichen<br />
zu können.<br />
Abbildung VII.19 zeigt die regionale Verteilung der getesteten Schulen und Schüler/innen. Eine regionale<br />
Streuung der Stichprobe wird bei der Stichprobenziehung durch die Berücksichtigung des Bezirks als<br />
implizites Stratum (d. h. als Sortierkriterium) gesichert (vgl. Abschnitt 6.2 in Kapitel V).<br />
Abbildung VII.20 zeigt ergänzend zu den Darstellungen bezüglich der Variablen, die in den Sampling-<br />
Prozess eingegangen sind, eine Aufgliederung der Schüler/innen der Haupttest-Stichprobe nach besuchter<br />
Schulstufe und Geschlecht. Beide Variablen wurden im Rahmen der Schülerlisten zentral über die<br />
Schulkoordinatorinnen und -koordinatoren erhoben.<br />
Seite 124<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Schulart<br />
Allgemeinbildende Pflichtschulen:<br />
Hauptschule<br />
Polytechnische Schule<br />
Sonderschule<br />
APS gesamt<br />
Allgemeinbildende Höhere Schulen:<br />
Gymnasium<br />
Realgymnasium & wirtschaftskundliches RG<br />
Oberstufenrealgymnasium<br />
Sonstige Allgemeinbildende mit Statut<br />
AHS gesamt<br />
Berufsschulen<br />
Berufsschule (technisch/gewerblich)<br />
Berufsschule (kaufmännisch/Handel & Verkehr)<br />
Berufsschule (land- & forstwirtschaftlich)<br />
BS gesamt<br />
Berufsbildende Mittlere Schulen:<br />
BMS (gewerblich/technisch/kunstgewerblich)<br />
BMS (kaufmännisch)<br />
BMS (wirtschaftsberuflich/sozialberuflich)<br />
BMS (land- & forstwirtschaftlich)<br />
BMS gesamt<br />
Berufsbildende Höhere Schulen:<br />
BHS (gewerblich/technisch/kunstgewerblich)<br />
BHS (kaufmännisch)<br />
BHS (wirtschaftsberuflich/sozialberuflich)<br />
BHS (land- & forstwirtschaftlich)<br />
Anstalten der Lehrer- & Erzieherbildung<br />
BHS gesamt<br />
GESAMT<br />
Schulen Schüler/innen<br />
Anzahl Prozent Anzahl Prozent<br />
26 13.1 % 156 3.2 %<br />
19 9.5 % 410 8.3 %<br />
6 3.0 % 19 0.4 %<br />
51 25.6 % 585 11.9 %<br />
16 8.0 % 442 9.0 %<br />
14 7.0 % 393 8.0 %<br />
9 4.5 % 289 5.9 %<br />
4 2.0 % 74 1.5 %<br />
43 19.6 % 1198 22.8 %<br />
22 11.1 % 667 13.5 %<br />
8 4.0 % 227 4.6 %<br />
2 1.0 % 22 0.4 %<br />
32 16.1 % 916 18.1 %<br />
5 2.5 % 130 2.6 %<br />
7 3.5 % 176 3.6 %<br />
8 4.0 % 208 4.2 %<br />
8 4.0 % 236 4.8 %<br />
28 14.1 % 750 15.2 %<br />
17 8.5 % 551 11.2 %<br />
14 7.0 % 463 9.4 %<br />
9 4.5 % 294 6.0 %<br />
3 1.5 % 101 2.0 %<br />
2 1.0 % 69 1.4 %<br />
45 22.6 % 1478 30.0 %<br />
199 100.0 % 4927 98.1 %<br />
Abbildung VII.18: Die realisierte Haupttest-Stichprobe nach Schularten<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 125
Bundesland<br />
Burgenland<br />
Kärnten<br />
Niederösterreich<br />
Oberösterreich<br />
Salzburg<br />
Steiermark<br />
Tirol<br />
Vorarlberg<br />
Wien<br />
GESAMT<br />
Schulen Schüler/innen<br />
Anzahl Prozent Anzahl Prozent<br />
6 3.0 % 178 3.6 %<br />
16 8.0 % 414 8.4 %<br />
35 17.6 % 906 18.4 %<br />
38 19.1 % 953 19.3 %<br />
15 7.5 % 341 6.9 %<br />
28 14.1 % 640 13.0 %<br />
21 10.6 % 502 10.2 %<br />
9 4.5 % 253 5.1 %<br />
31 15.6 % 740 15.0 %<br />
199 100.0 % 4927 100.0 %<br />
Abbildung VII.19: Die realisierte Haupttest-Stichprobe nach Bundesländern<br />
Geschlecht<br />
weiblich<br />
männlich<br />
Schulstufe<br />
7 8 9 10 11<br />
Zeilensumme<br />
4 0.2 % 69 2.8 % 1090 44.5 % 1283 52.4 % 1 0.0 % 2447<br />
66.7 % 0.1 % 33.7 % 1.4 % 50.7 % 22.1 % 50.1 % 26.0 % 50.0 % 0.0 % 49.7 %<br />
2 0.1 % 136 5.5 % 1062 42.8 % 1277 51.6 % 1 0.0 % 2480<br />
33.3 % 0.0 % 66.3 % 2.8 % 49.3 % 21.6 % 49.9 % 26.0 % 50.0 % 0.0 % 50.3 %<br />
Spaltensumme<br />
6 0.1 % 205 4.2 % 2152 43.7 % 2562 52.0 % 2 0.0 % 4927<br />
Erklärung des<br />
Zelleninhalts<br />
Anzahl Zeilen%<br />
Spalten% Total%<br />
Abbildung VII.20: Die realisierte Haupttest-Stichprobe nach Schulstufe und Geschlecht<br />
2.7 Die realisierte Stichprobe für die nationalen Zusatzerhebungen im Haupttest<br />
In Österreich wurden zusätzlich zum internationalen Schulleiter-Fragebogen drei nationale Fragebogenteile<br />
eingesetzt (vgl. Abschnitt 5 in Kapitel IV):<br />
• Nutzung moderner Informationstechnologien<br />
• Rahmenbedingungen der Leseförderung<br />
• Qualität in Schulen<br />
Da die österreichischen Zusatzfragebögen für die Schulleiter/innen als Teil des Schulfragebogens administriert<br />
wurden, ist der Rücklauf der nationalen Schulfragebogenteile dem des internationalen<br />
Schulfragebogens natürlich sehr ähnlich. Einzelne Ausfälle sind nur dadurch zu verzeichnen, dass in einzelnen<br />
Schulen keine Fragen eines nationalen Teils beantwortet wurden, und dieser Teil deshalb keine auswertbaren<br />
Daten enthält und für die betreffende Schule als fehlend gewertet werden muss. Die folgende<br />
Übersicht zeigt den Rücklauf bezüglich der verschiedenen im Rahmen der nationalen Zusatzerhebungen<br />
eingesetzten Fragebögen für die Schulleiter/innen.<br />
Die österreichischen Zusatzfragebögen für die Schüler/innen wurden – wie in Abschnitt 3 in Kapitel<br />
IV im Detail erklärt – in drei Formen über die Stichprobe hinweg rotiert, um die Bearbeitungszeit der<br />
Seite 126<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
einzelnen Schüler/innen zu reduzieren. Dadurch wird jede Form etwa von einem Drittel der gesamten<br />
Stichprobe bearbeitet. Schüler/innen in Sonderschulen erhielten einen stark reduzierten Fragebogen, der<br />
nur einige der zentralen Items des internationalen Fragebogens umfasste, und werden bei den nationalen<br />
Zusatzerhebungen nicht berücksichtigt.<br />
Kleinere zusätzliche Stichprobenausfälle sind außerdem zu Stande gekommen, da die nationalen<br />
Fragebogenteile am Ende des Schülerfragebogen-Hefts abgedruckt waren und manche Schüler/innen in<br />
Lesegewohnheiten<br />
Belastung in<br />
der Schule<br />
BHS (wirtschaftsberuflich/sozialberufl.)<br />
BHS (land- &<br />
forstwirtschaftlich)<br />
Anstalten der Lehrer-<br />
& Erzieherbildung<br />
Informationstechnologien<br />
Befindlichkeit<br />
Anzahl Prozent Anzahl Prozent Anzahl Prozent Anzahl Prozent Anzahl<br />
Qualität in<br />
Schulen<br />
Prozent<br />
Hauptschule 51 3.2 % 51 3.2 % 51 3.1 % 50 3.1 % 45 2.8 %<br />
Polytechnische<br />
Schule<br />
137 8.5 % 137 8.5 % 132 8.1 % 132 8.3 % 134 8.3 %<br />
Gymnasium 142 8.8 % 142 8.8 % 151 9.3 % 149 9.4 % 148 9.2 %<br />
Realgymnasium &<br />
wirtschaftsk. RG<br />
Oberstufenrealgymnasium<br />
Sonstige Allgemeinbildende<br />
mit Statut<br />
Berufsschule<br />
(technisch/gewerbl.)<br />
Berufsschule (kaufm./<br />
Handel & Verkehr)<br />
Berufsschule (land-<br />
& forstwirtschaftlich)<br />
BMS (gewerbl./technisch/kunstgewerbl.)<br />
127 7.9 % 127 7.9 % 136 8.4 % 135 8.5 % 129 8.0 %<br />
94 5.8 % 94 5.8 % 101 6.2 % 96 6.0 % 94 5.8 %<br />
25 1.5 % 25 1.5 % 16 1.0 % 14 0.9 % 23 1.4 %<br />
213 13.2 % 213 13.2 % 213 13.1 % 208 13.1 % 226 14.0 %<br />
73 4.5 % 73 4.5 % 78 4.8 % 77 4.8 % 72 4.5 %<br />
7 0.4 % 7 0.4 % 7 0.4 % 7 0.4 % 8 0.5 %<br />
45 2.8 % 45 2.8 % 41 2.5 % 39 2.5 % 43 2.7 %<br />
BMS (kaufmännisch) 59 3.7 % 59 3.7 % 60 3.7 % 58 3.6 % 57 3.5 %<br />
BMS (wirtschaftsberuflich/sozialberufl.)<br />
BMS (land- &<br />
forstwirtschaftlich)<br />
BHS (gewerbl./technisch/kunstgewerbl.)<br />
65 4.0 % 65 4.0 % 69 4.2 % 69 4.3 % 74 4.6 %<br />
77 4.8 % 77 4.8 % 78 4.8 % 75 4.7 % 77 4.8 %<br />
191 11.8 % 191 11.8 % 179 11.0 % 176 11.1 % 180 11.2 %<br />
BHS (kaufmännisch) 153 9.5 % 153 9.5 % 158 9.7 % 153 9.6 % 150 9.3 %<br />
99 6.1 % 99 6.1 % 96 5.9 % 96 6.0 % 98 6.1 %<br />
34 2.1 % 34 2.1 % 34 2.1 % 33 2.1 % 32 2.0 %<br />
22 1.4 % 22 1.4 % 24 1.5 % 24 1.5 % 23 1.4 %<br />
GESAMT 1614 100% 1614 100% 1624 100% 1591 100% 1613 100%<br />
Abbildung VII.21: Die Stichproben der nationalen Zusatzerhebungen im Haupttest <strong>2006</strong> nach Schularten<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 127
der maximalen Bearbeitungszeit von 55 Minuten keine Fragen eines nationalen Teils beantworten konnten.<br />
In solchen Fällen wird diese Schülerin/dieser Schüler als abwesend für diese nationale Zusatzerhebung<br />
gewertet.<br />
Die nationalen Zusatzerhebungen für die Schüler/innen umfassten im Haupttest <strong>2006</strong> folgende Bereiche:<br />
ergänzende Fragen zum Teil Nutzung moderner Informationstechnologien und Lesegewohnheiten bildeten<br />
den natioanlen Teil der Form A. Die natioanlen Teile der Form B bestand aus Fragen zur Belastung<br />
in der Schule sowie Befindlichkeit und Schulerfolg am Übergang zur Sekundarstufe II. Fragebogenform<br />
C umfasste im natioanlen Teil Fragen zur Qualität in Schulen. Eine detailliertere Charakterisierung der<br />
Stichproben für die nationalen Zusatzerhebungen ist Abbildung VII.21 auf der vorhergehenden Seite zu<br />
entnehmen. Sie zeigt die Verteilung der Stichprobe der einzelnen Instrumente auf die österreichischen<br />
Schularten.<br />
2.8 Der Rücklauf der Waldorf-Schulen<br />
Wie schon bei <strong>PISA</strong> 2000 und 2003 nahmen die österreichischen Waldorf-Schulen auch am Haupttest<br />
<strong>2006</strong> zusätzlich zur Stichprobe für den internationalen Vergleich in Form einer Vollerhebung der 15-/16-<br />
Jährigen teil. Insgesamt kamen 175 Schüler/innen an den zehn Waldorfschulen für die Teilnahme am<br />
<strong>PISA</strong>-Test in Frage. Fünf Schüler/innen konnten auf Grund von Behinderungen nicht am Test teilnehmen,<br />
weiters konnten vier Schüler/innen nicht teilnehmen, weil sie vor dem Test die Schule verlassen hatten;<br />
das entspricht 5,2 %. Von den verbleibenden 166 zu testenden Schülerinnen und Schülern nahmen<br />
153 an der gesamten Testsitzung (<strong>PISA</strong>-Test plus Fragebogen) teil, was einer Rücklaufquote von 92,2 %<br />
entspricht. Eine Übersicht darüber gibt Abbildung VII.22.<br />
Schüler/innen in der Stichprobe der Waldorf-Schulen<br />
Falscher Jahrgang<br />
Schüler/innen Jg. 90<br />
Ausgeschlossen auf Grund geistiger Behinderung<br />
Ausgeschlossen auf Grund körperlicher Behinderung 1 0.6 %<br />
Nicht erreichbar, weil Schule verlassen/gewechselt<br />
Zu testende Schüler/innen<br />
4<br />
166<br />
2.3 %<br />
100.0 %<br />
Teilnahme verweigert<br />
bei Testsitzung abwesend<br />
bei Testsitzung anwesend (Rücklauf)<br />
4<br />
9<br />
153<br />
2.4 %<br />
5.4 %<br />
92.2 %<br />
Davon<br />
Abbildung VII.22: Übersicht über Ausschlüsse, nicht in Frage kommende Schüler/innen und den erzielten<br />
Rücklauf in den österreichischen Waldorf-Schulen<br />
2.9 Zur Gewichtung der <strong>PISA</strong>-<strong>2006</strong>-Stichprobe<br />
Bei der <strong>PISA</strong>-Stichprobe im Haupttest <strong>2006</strong> handelt es sich um keine direkt selbst gewichtende Stichprobe,<br />
d. h. dass die Stichprobe in Bezug auf wichtige Verteilungsmerkmale nicht exakt der Population entspricht.<br />
Verschiedene Umstände können bei <strong>PISA</strong> dazu führen, dass Schüler/innen der Stichprobe in<br />
unterschiedlichem Ausmaß „repräsentativ“ für die dem Sampling zu Grunde liegende Population sind.<br />
• Das Sampling-Design erlaubt, einzelne Teile der Population zu unter- oder zu übersampeln. Für Analysen,<br />
die für die Population Gültigkeit besitzen sollen, muss dies durch Gewichtungsprozeduren ausgeglichen<br />
werden. In Österreich wurden die „sehr kleinen“ Schulen (zusammengefasst in Stratum 22)<br />
etwa um den Faktor zwei untersampelt – vor allem aus Effizienzgründen. In vier der Strata für „große“<br />
175<br />
0<br />
175 100.0 %<br />
4 2.3 %<br />
Seite 128<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
Schulen (02 – Hauptschulen, 08 – Sonstige Allgemeinbildende Schulen/mit Statut, 11 – Land- und<br />
forstwirtschaftliche Berufsschulen, 19 – BHS land- und forstwirtschaftlich) musste die Anzahl der<br />
Schulen leicht erhöht werden, damit die von der OECD vorgegebene Mindestanzahl von zwei Schulen<br />
je explizitem Stratum erreicht wurde.<br />
• Das Samplingdesign sieht vor, die Auswahlwahrscheinlichkeiten für Schulen und Schüler/innen innerhalb<br />
einer gezogenen Schule so festzulegen, dass jede/r individuelle Schüler/in der Population<br />
die gleiche Wahrscheinlichkeit hat, in die Stichprobe zu kommen. Es kann allerdings vorkommen,<br />
dass sich die Schätzungen für die Anzahl 15-/16-Jähriger je Schule, die für die Schulauswahl verwendet<br />
werden, von der tatsächlichen Anzahl etwas unterscheiden. In Österreich kann dies durch<br />
die Notwendigkeit entstehen, als Samplinggrundlage die Anzahl 15-/16-Jähriger im Schuljahr vor<br />
der Testung heranzuziehen. Stellt sich während des Screening-Prozesses heraus, dass eine Schule von<br />
weniger 15-/16-Jährigen als erwartet besucht wird, würden die Schüler/innen dieser Schule eine höhere<br />
Auswahlwahrscheinlichkeit als geplant haben. Im umgekehrten Fall – wenn eine Schule deutlich<br />
mehr Schüler/innen des Zieljahrgangs hat, als auf Grund der Daten des Vorjahrs anzunehmen war –<br />
verringert sich die Auswahlwahrscheinlichkeit der Schüler/innen dieser Schule. Unterschiedlichen<br />
Auswahlwahrscheinlichkeiten einzelner Schüler/innen muss durch entsprechende Berücksichtigung<br />
bei der Gewichtung begegnet werden.<br />
• Weiters muss der Non-response auf Schulebene, wenn dieser nicht durch die Einbeziehung der entsprechenden<br />
Replacement-Schule ausgeglichen wurde, in der Gewichtung berücksichtigt werden. In<br />
Österreich gab es vier Schulausfälle: (1) an zwei Schulen hat sich der/die einzig zu testende Schüler/<br />
in vom Test abgemeldet; (2) an einer Berufsschule hatten keine Schüler/innen des Jahrgangs 1990<br />
während des Testfensters Unterricht; (3) eine Schule wird als Non-Response gewertet, weil die Rücklaufquote<br />
auf Schülerebene unter 25 % liegt. Dieser Non-Response auf Schulebene wird bei der Gewichtung<br />
ausgeglichen.<br />
• Einem weiteren Faktum muss durch entsprechende Gewichtung Rechnung getragen werden: dem<br />
Non-response auf Schülerebene. Das sind Schüler/innen der Stichprobe, die, obwohl sie am Test teilnehmen<br />
sollten, beim Test nicht anwesend waren (z. B. nicht ausgeschlossene Schüler/innen, die am<br />
Testtag aus Krankheitsgründen nicht in der Schule waren, oder solche, die die Teilnahme am <strong>PISA</strong>-<br />
Test verweigerten).<br />
Der Gewichtungsfaktor jedes Schülers/jeder Schülerin der Stichprobe setzt sich aus Informationen über<br />
die Auswahlwahrscheinlichkeit der Schule, die Auswahlwahrscheinlichkeit eines/einer Schülers/in innerhalb<br />
der Schule und gegebenenfalls einem Non-response-Ausgleich auf Schul- und/oder Schülerebene<br />
zusammen. Würde bei einer Stichprobe keiner der oben angeführten vier Punkte zutreffen, hätten<br />
alle Schüler/innen den gleichen Gewichtungsfaktor und man spräche von einer selbst gewichtenden<br />
Stichprobe. Ansonsten wird durch unterschiedliche Gewichtung der Schüler/innen einzelner Strata und/<br />
oder Schulen dem Rechnung getragen.<br />
Der eben beschriebene Gewichtungsfaktor ist für die Schätzung von Populationsparametern (die<br />
Punktschätzungen) notwendig. Für die Berechnung von Konfidenzintervallen oder die Durchführung von<br />
Signifikanztests ist zusätzlich die Sampling-Varianz zu berücksichtigen. Dafür gibt es zwei Möglichkeiten:<br />
erstens die theoretische Berechnung des Design-Effekts auf der Basis des Sampling-Designs und dessen<br />
Einbeziehung in die Berechnung von Standardfehlern oder zweitens die empirische Schätzung der<br />
Sampling-Varianz aus den Stichprobendaten. Bei <strong>PISA</strong> findet die zweite Möglichkeit Anwendung. Die<br />
aus der Stichprobe geschätzte Sampling-Varianz fließt in die Berechnungen in Form von mehreren replizierten<br />
Gewichtungen ein. Die konkret verwendete Methode heißt „Balanced Repeated Replication“;<br />
angewendet wurde die Variante, die unter „Fay’s method“ bekannt ist (eine detaillierte Beschreibung der<br />
verwendeten Methode wird im internationalen technischen <strong>Bericht</strong> der OECD zu <strong>PISA</strong> <strong>2006</strong> enthalten<br />
sein).<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 129
2.10 Der Rücklauf auf Schülerebene entsprechend der internationalen Gewichtung<br />
Werden die österreichischen Daten aus <strong>PISA</strong> <strong>2006</strong> entsprechend der oben beschriebenen Regeln gewichtet,<br />
beläuft sich die Rücklaufquote auf 90,8 %. In dieser Quote sind alle Berufsschüler/innen, die auf<br />
Grund der fehlenden Überschneidung von Testfenster und Schulbesuchszeitraum nicht getestet werden<br />
Schulart<br />
Allgemeinbildende Pflichtschulen:<br />
Hauptschule<br />
Polytechnische Schule<br />
Sonderschule<br />
APS gesamt<br />
Allgemeinbildende Höhere Schulen:<br />
Gymnasium<br />
Realgymnasium & wirtschaftskundliches RG<br />
Oberstufenrealgymnasium<br />
Sonstige Allgemeinbildende mit Statut<br />
AHS gesamt<br />
Berufsschulen<br />
Berufsschule (technisch/gewerblich)<br />
Berufsschule (kaufmännisch/Handel & Verkehr)<br />
Berufsschule (land- & forstwirtschaftlich)<br />
BS gesamt<br />
Berufsbildende Mittlere Schulen:<br />
BMS (gewerblich/technisch/kunstgewerblich)<br />
BMS (kaufmännisch)<br />
BMS (wirtschaftsberuflich/sozialberuflich)<br />
BMS (land- & forstwirtschaftlich)<br />
BMS gesamt<br />
Berufsbildende Höhere Schulen:<br />
BHS (gewerblich/technisch/kunstgewerblich)<br />
BHS (kaufmännisch)<br />
BHS (wirtschaftsberuflich/sozialberuflich)<br />
BHS (land- & forstwirtschaftlich)<br />
Anstalten der Lehrer- & Erzieherbildung<br />
BHS gesamt<br />
GESAMT<br />
Stichprobe<br />
ungewichtet gewichtet<br />
3.2 % 5.4 %<br />
8.3 % 9.8 %<br />
0.4 % 0.9 %<br />
11.9 % 16.1 %<br />
9.0 % 9.0 %<br />
8.0 % 8.8 %<br />
5.9 % 5.3 %<br />
1.5 % 0.7 %<br />
24.4 % 23.1 %<br />
13.5 % 12.7 %<br />
4.6 % 3.2 %<br />
0.4 % 0.1 %<br />
18.5 % 16.0 %<br />
2.6 % 2.7 %<br />
3.6 % 3.4 %<br />
4.2 % 4.4 %<br />
4.8 % 4.6 %<br />
15.2 % 15.2 %<br />
11.2 % 11.0 %<br />
9.4 % 9.4 %<br />
6.0 % 5.9 %<br />
2.0 % 1.1 %<br />
1.4 % 1.6 %<br />
30.0 % 28.9 %<br />
100.0 % 100.0 %<br />
Population<br />
6.0 %<br />
9.9 %<br />
1.5 %<br />
17.3 %<br />
8.5 %<br />
8.4 %<br />
5.8 %<br />
0.8 %<br />
23.5 %<br />
11.9 %<br />
4.0 %<br />
0.1 %<br />
16.0 %<br />
3.1 %<br />
3.3 %<br />
4.1 %<br />
4.4 %<br />
14.9 %<br />
11.2 %<br />
8.6 %<br />
6.2 %<br />
0.7 %<br />
1.7 %<br />
28.3 %<br />
100.0 %<br />
Abbildung VII.23: Ungewichteter und gewichteter Rücklauf im Vergleich mit den Populationszahlen nach Stratum<br />
Seite 130<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
können, als am Testtag abwesend enthalten. Dadurch kommt ein großer Anteil des Stichprobenausfalls<br />
zu Stande. Mit dieser gewichteten Rücklaufquote von 90,8 % wird die international festgelegte Mindest-<br />
Rücklaufquote auf Schülerebene von 80 % deutlich überschritten. Mit den gewichteten Daten werden<br />
die Analysen auf nationaler und internationaler Ebene durchgeführt.<br />
Dass sich die gewichteten Daten der Stichprobe nicht von den Populationszahlen unterscheiden, ist in<br />
Abbildung VII. 23 ersichtlich, die einen Vergleich von ungewichteten und gewichteten Stichprobenzahlen<br />
sowie der Geamtpopulation zeigt. Die gewichtete Stichprobe bildet – sowohl in den einzelnen Strata als<br />
auch nach Schulformen insgesamt – die Anteile in der Population präzise ab.<br />
Abbildung VII. 24 zeigt weiters getrennt für die Schulsparten, dass die Geschlechterverteilung in der<br />
Stichprobe jener in der Population entspricht. Auch die Anteile von Mädchen und Burschen in den einzelnen<br />
Schularten enstprechen in der gewichteten Stichprobe dem Verhältnis in der Population.<br />
Dieser Vergleich von gewichteter Stichprobe und Population belegt die hohe Qualität bei der<br />
Stichprobenziehung und zeigt, dass die <strong>PISA</strong>-Stichprobe ein gutes Abbild der Zielpopulation darstellt.<br />
Schulart<br />
Allgemeinbildende Pflichtschulen<br />
Allgemeinbildende Höhere Schulen<br />
Berufsschulen<br />
Berufsbildende Mittlere Schulen<br />
Berufsbildende Höhere Schulen<br />
GESAMT<br />
Stichprobe gew. Population<br />
männl. weibl. männl. weibl.<br />
64.5 % 35.5 % 62.3 % 37.7 %<br />
40.7 % 59.3 % 43.6 % 56.4 %<br />
67.9 % 32.1 % 65.9 % 34.1 %<br />
44.0 % 56.0 % 42.2 % 57.8 %<br />
46.1 % 53.9 % 45.8 % 54.2 %<br />
50.9 % 49.1 % 50.8 % 49.2 %<br />
Abbildung VII.24: Vergleich von gewichtetem Rücklauf und Populationszahlen nach Schulsparten und Geschlecht<br />
3. Qualitätssicherung in Bezug auf Rücklauf und Stichprobengröße<br />
Rücklauf, Stichprobengrößen und Stichprobenausfälle sind an sich ein Qualitätskriterium, weshalb<br />
im Grunde das gesamte Kapitel Auskunft über einen wichtigen Qualitätsaspekt gibt. Hier sollen der<br />
Übersichtlichkeit halber die wichtigsten Qualitätsaspekte der Stichprobe in Bezug auf den Rücklauf kurz<br />
zusammengefasst werden.<br />
Angemerkt werden muss, dass die Rücklaufquoten bei einer Erhebung ein wichtiges Qualitätsmerkmal<br />
von Stichproben sind; sie stellen jedoch kein ausreichendes, sehr wohl aber ein notwendiges Kriterium<br />
für qualitativ hochwertige Stichproben dar. Damit ist gemeint, dass durch hohen Rücklauf unadäquate<br />
Methoden bei der Ermittlung der Stichprobe nicht wettgemacht werden können, ein hoher Rücklauf bei<br />
einer angemessen gezogenen Stichprobe jedoch ein wichtiges Qualitätskriterium darstellt. Hinweise zur<br />
Qualität des Stichprobenplans sowie der Stichprobenziehung finden sich in Abschnitt 7 in Kapitel V, das<br />
sich mit dem Bereich Sampling befasst.<br />
In Bezug auf die zu erreichenden Rücklaufquoten wurden von Seiten der OECD klare Standards in Form<br />
von zu erreichenden Mindestquoten auf Schul- sowie Schülerebene aufgestellt (vgl. Abschnitt 4 in Kapitel<br />
V). Das Erreichen oder Überschreiten dieser Mindestvorgaben ist das wichtigste Qualitätskriterium in<br />
Bezug auf den Rücklauf. Es sichert nicht nur hohe Qualität der Stichprobe einzelner Länder, sondern<br />
vergleichbar hohe Qualität über die Länder hinweg.<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen<br />
Seite 131
Wie oben detailliert angeführt übertrifft die österreichische <strong>PISA</strong>-Stichprobe die vorgegebene Mindest-<br />
Rücklaufquote auf Schulebene von 85 % mit einem 98-prozentigen Rücklauf (ohne Replacements) deutlich.<br />
Auf Schülerebene ist ein ungewichteter Rücklauf von 93,6 % (ohne Berücksichtigung der nicht testbaren<br />
Berufsschüler/innen) zu verzeichnen. Der gewichtete Rücklauf (unter Berücksichtigung der nicht<br />
testbaren Schüler/innen lehrgangsmäßig geführter Berufsschulen) beläuft sich auf 90,8 %. Damit können<br />
auch die Vorgaben in Bezug auf die Mindest-Rücklaufquote auf Schülerebene erfüllt werden.<br />
Bibliografie<br />
Bortz, J. (1999). Statistik für Sozialwissenschaftler. (5. Aufl.). Berlin: Springer<br />
Haider, G. & Wallner-Paschon, C. (2001). Rücklauf, Stichprobenausfall und Stichprobengrößen. In G. Haider (Hrsg.), <strong>PISA</strong> 2000.<br />
<strong>Technischer</strong> Report. Ziele, Methoden und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 185–210). Innsbruck: StudienVerlag.<br />
Reiter, C. (2004). Rücklauf, Stichprobenausfälle und Stichprobengröße. In C, Reiter, B. Lang, & G. Haider, (Hrsg.), <strong>PISA</strong> 2003.<br />
Internationaler Vergleich von Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisaaustria.at/pisa2003/ruecklauf/index.htm<br />
[Datum des Zugriffs: 08.02.2007]<br />
Seite 132<br />
VII. Rücklauf, Stichprobenausfälle und Stichprobengrößen
VIII<br />
CODING<br />
Simone Breit & Andrea Grafendorfer<br />
1. Was ist „Coding“?<br />
2. Grundlegende Prinzipien zur Differenzierung von Schülerantworten<br />
2.1 Die Differenzierung von Schülerantworten nach der gezeigten Fähigkeit<br />
2.2 Die Differenzierung von Schülerantworten nach dem gezeigten Lösungsweg<br />
2.3 Spezielle Codes<br />
3. Aufbau der Coding-Instrumente<br />
4. Internationale Umsetzungsrichtlinien<br />
4.1 Rekrutierung der Coder/innen<br />
4.2 Schulung der Coder/innen<br />
4.3 Vorbereitung der Testhefte für das Coding<br />
4.4 Vercoden der Schüleranwtorten<br />
5. Ablauf des Codings im Haupttest <strong>2006</strong><br />
5.1 Rekrutierung der Coder/innen<br />
5.2 Schulung der Coder/innen<br />
5.3 Vorbereitung der Testhefte für das Coding<br />
5.4 Vercoden der Schülerantworten<br />
6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess<br />
6.1 Die Bedeutung des Feldtests für das Coding<br />
6.2 Qualitätssicherung und -kontrolle<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Reiter, 2001) und <strong>PISA</strong> 2003 (Bergmüller, 2004). Die Autorinnen<br />
dieses Kapitels danken Claudia Schreiner (geb. Reiter) und Silvia Bergmüller für die Bereitstellung der Texte.
Im vorliegenden Kapitel werden die theoretischen Grundlagen, der konkrete Ablauf, die eingesetzten<br />
Instrumente sowie die notwendigen Qualitätssicherungsmaßnahmen bei der Bewertung von Schülerantworten<br />
beschrieben. Im Folgenden wird nach einer Einleitung, die einen ersten Einblick in das Coding<br />
und die damit verbundenen Probleme und Prozeduren gewährt, auf Prinzipien der Differenzierung<br />
von Schülerantworten sowie auf die Coding-Instrumente eingegangen. Weiters wird dargelegt, welche<br />
internationalen Vorgaben im Rahmen des Codings erfüllt werden müssen und wie sich die konkrete<br />
Umsetzung dieser Richtlinien in Österreich gestaltete. Schließlich werden die Maßnahmen zur Sicherung<br />
der Qualität des Codings gesondert dargestellt und erläutert.<br />
1. Was ist „Coding“?<br />
Wie bereits in Kapitel III beschrieben, unterteilen sich die Fragen der <strong>PISA</strong>-Leistungstests in Multiple-<br />
Choice-Fragen und in offene Fragen, zu denen die Schüler/innen eigenständig Antworten formulieren müssen.<br />
Um diese Schülerantworten zu den offenen Fragen einer weiteren elektronischen Datenverarbeitung<br />
zugänglich zu machen, müssen sie nach international standardisierten Richtlinien in Zifferncodes „übersetzt“<br />
werden. Dieser Prozess wird im Rahmen von <strong>PISA</strong> als „Coding“ bezeichnet, und Personen, die<br />
diesen Prozess durchführen, werden „Coderinnen“ bzw. „Coder“ genannt. In <strong>PISA</strong> 2000 und 2003 wurde<br />
dieser Vorgang mit „Marking“ bezeichnet.<br />
Für <strong>PISA</strong> <strong>2006</strong> mussten in Österreich mehr als 100.000 Schülerantworten zu 79 unterschiedlichen Fragen<br />
dem Coding unterzogen werden. Das Coding muss innerhalb eines bestimmten, im nationalen Zeitplan<br />
vorgesehenen Zeitraums abgeschlossen sein und strengen internationalen Anforderungen genügen. Diese<br />
Anforderungen beziehen sich auf eine kriteriumsorientierte Rekrutierung der Coder/innen, auf standardisierte<br />
Coder-Trainings, auf die rotierte Zuteilung von Testheften zu Coderinnen und Codern, auf laufende<br />
Qualitätskontrollen beim Coding der Schülerantworten und auf die Prozedur des Multiple Codings<br />
(vgl. unten). Ziel dieser Maßnahmen ist die Sicherung der Qualität des Coding-Prozesses durch eine konsistente<br />
Anwendung der Bewertungsrichtlinien. Diese international standardisierten Richtlinien sind beim<br />
Coding von zentraler Bedeutung, da sie beschreiben, welche Kriterien Schülerantworten erfüllen müssen,<br />
um bestimmten Codes zugeordnet zu werden. Die Bewertungsrichtlinien sind für jede Domäne in einem<br />
Coding Guide zusammengefasst und bilden so die grundlegenden Coder-Unterlagen.<br />
Die beim Coding für <strong>PISA</strong> <strong>2006</strong> verwendeten Prozeduren und Bewertungsrichtlinien werden im Feldtest,<br />
der im Jahr zuvor stattfand, erprobt und kontrolliert. Der Feldtest ist somit eine wichtige Qualitätssicherungsmaßnahme,<br />
die für den Haupttest objektive Leistungsdaten sicherstellt. Für die Belange des<br />
Codings gewährleistet der Feldtest, dass alle Prozeduren praxisbewährt sind, und nur eindeutig definierte<br />
und sinnvoll differenzierende Bewertungsrichtlinien in den Haupttest übernommen werden.<br />
Wichtige Indikatoren, die Auskunft darüber geben, wie eindeutig die Kriterien für die Zuordnung<br />
von Schülerantworten zu Codes sind, stellen Maße der Beurteilerübereinstimmung dar. Diese werden<br />
durch die Prozedur des Muliple Codings gewonnen. Im Gegensatz zum Normalfall des Single Codings,<br />
bei dem jede Schülerantwort durch je einen Coder oder eine Coderin bewertet wird, wird beim Multiple<br />
Coding eine gewisse Anzahl von Schülerantworten unabhängig durch vier Coder/innen bewertet. Im<br />
Feldtest werden die so gewonnenen Maße der Beurteilerübereinstimmung genutzt, um schlecht anwendbare<br />
Bewertungsrichtlinien zu identifizieren, die für den Haupttest verbessert werden sollten.<br />
Das Multiple Coding kommt auch im Haupttest zum Einsatz, es dient hier jedoch nicht mehr als<br />
Grundlage zur Verbesserung der Instrumente, sondern zur Überprüfung der konsistenten Anwendung<br />
der Bewertungsrichtlinien.<br />
Diese großen Anstrengungen bei der Qualitätssicherung im Bereich der Prozeduren und Instrumente<br />
werden unternommen, um letztendlich eine objektive Vergleichbarkeit der <strong>PISA</strong>-Leistungsdaten gewährleisten<br />
zu können. Nur dadurch können seriöse Aussagen über die relative Position der österreichischen<br />
Schüler/innen im internationalen Vergleich und über Zusammenhänge zwischen Kontextvariablen und<br />
Schülerleistung getroffen werden. Die Qualität des Codings trägt somit wesentlich zum Gelingen der<br />
gesamten <strong>PISA</strong>-Studie bei.<br />
Seite 134<br />
VIII. Coding
2. Grundlegende Prinzipien zur Differenzierung von Schülerantworten<br />
Bei <strong>PISA</strong> wird jede Schülerantwort auf eine offene Frage in Codes (in eine Ziffer oder in eine zweistellige<br />
Ziffernkombination) transferiert. Die Codes geben Aufschluss über die Fähigkeit, die ein/e Schüler/in<br />
durch seine/ihre Antwort demonstriert. Zweistellige Codes beinhalten zusätzlich Informationen über den<br />
Lösungsweg und/oder Fehler, die eine Schülerantwort aufweist. Welche Kriterien eine Schülerantwort<br />
erfüllen muss, um einem bestimmten Code zugeordnet zu werden, wird in den Bewertungsrichtlinien<br />
beschrieben.<br />
2.1 Die Differenzierung von Schülerantworten nach der gezeigten Fähigkeit<br />
Wie im Konzept des lebenslangen Lernens (vgl. Abschnitt 1.1 in Kapitel II) beschrieben, versucht <strong>PISA</strong><br />
kognitive Fähigkeiten zu erfassen, die die Voraussetzung für späteres Lernen bilden. Die Messung dieser<br />
kognitiven Voraussetzungen erfolgt durch Aufgaben, die so konstruiert sind, dass sie die reale Kompetenz<br />
möglichst exakt erfassen und somit von der Testleistung auf die tatsächliche Fähigkeit eines Schülers/einer<br />
Schülerin schließen lassen. Jede Schülerantwort repräsentiert daher einen Punkt auf dem dahinter liegenden<br />
Fähigkeitskontinuum (vgl. Abb. VIII.1a).<br />
Geringe<br />
Schülerin 1 Schüler 3<br />
Schüler 4<br />
Schülerin 2<br />
Hohe<br />
Fähigkeit<br />
Fähigkeit<br />
Abbildung VIII.1a: Darstellung von Schülerantworten auf einem Kontinuum zwischen geringer und hoher Fähigkeit<br />
Um für die Zwecke von <strong>PISA</strong> auf eine möglichst ökonomische, aber dennoch aussagekräftige Weise zu<br />
bestimmen, wie hoch die durch die jeweilige Antwort demonstrierte Fähigkeit ausgeprägt ist, werden international<br />
standardisierte Bewertungsrichtlinien verwendet. In diesen werden an bestimmten inhaltlich<br />
sinnvollen Punkten des Fähigkeitskontinuums Grenzen gezogen, um Schülerantworten, die eine hohe<br />
Fähigkeit demonstrieren, von jenen, die auf eine niedrige Fähigkeit verweisen, zu unterscheiden. Dies<br />
kann zur Folge haben, dass Schülerantworten, die an unterschiedlichen Stellen des Kontinuums liegen,<br />
die gleiche Punkteanzahl erhalten. Wie in Abbildung VIII.1b dargestellt, erhält auch Schüler 4 die volle<br />
Punkteanzahl (Full Credit), obwohl seine Antwort eine niedrigere Fähigkeit demonstriert als jene von<br />
Schülerin 2 und zudem näher an der Fähigkeit des Schülers 3 liegt, der keinen Punkt (No Credit) erhält.<br />
Um Schülerantworten genauer nach ihrer demonstrierten Fähigkeit zu differenzieren, werden bei vielen<br />
Bewertungsrichtlinien mehrere Grenzen gezogen, wie in Abbildung VIII.1c dargestellt. Während Schüler<br />
No Credit<br />
Full Credit<br />
Geringe<br />
Schülerin 1 Schüler 3<br />
Schüler 4<br />
Schülerin 2<br />
Hohe<br />
Fähigkeit<br />
Fähigkeit<br />
Abbildung VIII.1b: Fähigkeitskontinuum mit einer Grenze<br />
VIII. Coding<br />
Seite 135
No Credit<br />
Partial Credit<br />
Full Credit<br />
Geringe<br />
Schülerin 1 Schüler 3<br />
Schüler 4<br />
Schülerin 2<br />
Hohe<br />
Fähigkeit<br />
Fähigkeit<br />
Abbildung VIII.1c: Fähigkeitskontinuum mit zwei Grenzen<br />
4, der bei der Ziehung nur einer Grenze (Abb. VIII.1b) noch die volle Punkteanzahl erhalten hat, bekommt<br />
er nach der Ziehung einer weiteren Grenze nur mehr einen Teil der Punkte (Partial Credit). Hier<br />
drückt sich der Fähigkeitsunterschied zwischen Schülerin 2 und Schüler 4 auch klar in den Codes aus. Je<br />
mehr Grenzen also gezogen werden, desto eher werden Unterschiede in den Schülerantworten berücksichtigt,<br />
aber umso aufwändiger ist auch das Coding. Dabei ist es von besonderer Bedeutung, sowohl eine<br />
theoretisch sinnvolle Differenzierung als auch einen vertretbaren Codingaufwand zu gewährleisten.<br />
Die Ausdrücke Full Credit (alle Punkte gutgeschrieben), Partial Credit (ein Teil der Punkte gutgeschrieben)<br />
und No Credit (keine Punkte gutgeschrieben) werden aus Mangel an adäquaten deutschen Begriffen<br />
aus dem Englischen übernommen. Wie viele Punkte für Full Credit und Partial Credit gutgeschrieben<br />
werden, hängt dabei von der Anzahl der gezogenen Grenzen ab.<br />
2.2 Die Differenzierung von Schülerantworten nach dem gezeigten Lösungsweg<br />
<strong>PISA</strong> unterscheidet Schülerantworten nicht nur nach der Fähigkeit, sondern in manchen Fällen<br />
auch nach dem gezeigten Lösungsweg oder bestimmten Fehlertypen. Hierfür dient ein zweistelliges<br />
Codiersystem – das Double-Digit-Coding. Bei den zweistelligen Codes steht die erste Ziffer für die demonstrierte<br />
Fähigkeit (die gutgeschriebene Punkteanzahl) und die zweite Ziffer zeigt einen bestimmten<br />
Lösungsweg oder Fehlertyp an. Hierdurch können wertvolle Informationen über Fehlinterpretationen<br />
von Schülerinnen und Schülern, verbreitete Fehler und verschiedene Lösungswege gesammelt und mit<br />
unterschiedlichen Kontextvariablen in Verbindung gesetzt werden. Für <strong>PISA</strong> <strong>2006</strong> wurden insgesamt 12<br />
Fragen der Domänen Naturwissenschaft und Mathematik – das ist rund ein Sechstel aller offenen Fragen<br />
– nach einem zweistelligen Bewertungssystem vercodet. Abbildung VIII.2 gibt einen Überblick, wie viele<br />
unterschiedliche Fragen pro Domäne dem Coding unterzogen werden mussten und wie viele davon<br />
mittels eines einstelligen bzw. mittels eines zweistelligen Codiersystems bewertet werden mussten. In der<br />
Domäne Lesen gibt es nur einstellige Codes.<br />
Anzahl der offenen Fragen<br />
Domäne<br />
einstellige zweistellige<br />
GESAMT<br />
Vercodung Vercodung<br />
Naturwissenschaft 34 8 42<br />
Mathematik 16 4 20<br />
Lesen 17 0 17<br />
GESAMT 67 12 79<br />
Abbildung VIII.2: Anzahl der offenen Fragen nach Codingsystem und Domäne<br />
Seite 136<br />
VIII. Coding
Abbildung VIII.3 gibt ein Beispiel für die Differenzierung von Schülerantworten beim Double-Digit-<br />
Coding. Die Tabelle enthält auch spezielle Codes, die im folgenden Abschnitt näher erläutert werden.<br />
Punkte<br />
Interpretation der<br />
gezeigten Fähigkeit<br />
Code<br />
Code-Interpretation<br />
Full Credit<br />
2<br />
Antwort demonstriert<br />
hohe Fähigkeit<br />
21 Kriterien x und z erfüllt; Lösungsweg 1<br />
22 Kriterien x und z erfüllt; Lösungsweg 2<br />
23 Kriterien x und z erfüllt; anderer Lösungsweg<br />
Partial Credit<br />
1<br />
Antwort demonstriert<br />
mittlere Fähigkeit<br />
11 Kriterium z erfüllt, Kriterium x nicht erfüllt<br />
12 Kriterium x erfüllt, Kriterium z nicht erfüllt<br />
01 Kriterien x und z nicht erfüllt; Fehlertyp 1<br />
No Credit<br />
0<br />
Antwort demonstriert<br />
geringe Fähigkeit<br />
02 Kriterien x und z nicht erfüllt; Fehlertyp 2<br />
03 Krieterien x und z nicht erfüllt; anderer Fehler<br />
99 Missing: Beantwortung wurde nicht versucht<br />
Abbildung VIII.3: Beziehung zwischen Codes und demonstrierter Fähigkeit bei Double-Digit-Coding<br />
2.3 Spezielle Codes<br />
Im Folgenden werden spezielle Codes erklärt, die zur Anwendung kommen, wenn eine Schülerantwort<br />
keinem der vorher angeführten Codes zugeordnet werden kann:<br />
• Code für Andere falsche Antworten wird für jene Antworten verwendet, wo der/die Schüler/in die Frage<br />
erfolglos bearbeitet hat. Die Kategorie „Andere Antworten“ inkludiert Antworten wie „Ich weiß es<br />
nicht“, „Diese Frage ist zu schwer“, „mir ist die Zeit ausgegangen“, Fragezeichen („?“) Striche („–“),<br />
Häkchen, Kreuzchen, eine Antwort, die aufgeschrieben wurde und dann gelöscht oder durchgestrichen<br />
worden ist und eine Antwort, die eindeutig keinen ernsthaften Lösungsversuch darstellt, wie<br />
Witze, Schimpfwörter, Namen von Popstars oder negative Äußerungen über den Test.<br />
• Code für Missing wird vergeben, wenn ein/e Schüler/in die Beantwortung der Frage offensichtlich<br />
nicht versucht hat. Der Platz, wo die Antwort stehen sollte, ist leer.<br />
• Code für Not Applicable wird verwendet, wenn bei einer Frage Druck- oder Satzfehler vorliegen und<br />
es deshalb für den/die Schüler/in nicht möglich war, sie zu beantworten.<br />
3. Aufbau der Coding-Instrumente<br />
Die wichtigsten Unterlagen für die Coder/innen sind die Coding Guides. Bei <strong>PISA</strong> <strong>2006</strong> gibt es drei<br />
verschiedene Coding Guides, je einen für Naturwissenschaft, Mathematik und Lesen. Ein Coding Guide<br />
beinhaltet alle offenen Aufgaben einer Domäne mit den dazugehörigen Bewertungsrichtlinien. Das<br />
sind die Anweisungen für das Coding von Schülerantworten. Die Bewertungsrichtlinien beschreiben<br />
inhaltliche Kriterien für jeden bei dieser Aufgabe möglichen Code, und illustrieren die Codes durch<br />
Musterantworten.<br />
Abbildungen VIII.4 bis VIII.6 zeigen die Bewertungsrichtlinien für je ein Item jeder Domäne. Die<br />
Aufgaben zu den hier beschriebenen Bewertungsabschnitten finden sich im Anhang. Die<br />
Bewertungsrichtlinien aller Domänen enthalten eine Überschrift sowie Name und ID des entsprechenden<br />
Items. Darauf folgt eine Beschreibung der Codes, absteigend von Full Credit zu No Credit. Eine<br />
Schülerantwort muss entsprechend der in den Bewertungsrichtlinien vorgegebenen Kriterien für den jeweiligen<br />
Code bewertet werden. Diese Bewertung hält der/die Coder/in im Testheft durch das Einkreisen<br />
des Codes fest. Besonders nützlich für die Coder/innen haben sich die Beispielantworten zu jedem Code<br />
erwiesen. Diese stellen wesentliche Entscheidungshilfen im aktuellen Coding-Prozess dar und erleichtern<br />
eine konsistente Zuordnung der Antworten zu den Codes.<br />
VIII. Coding<br />
Seite 137
Die Bewertungsrichtlinien in Lesen geben darüber hinaus die Absicht der Frage an (vgl. Abbildung<br />
VIII.5). Diese bezieht sich auf Teilgebiete des Lese-Frameworks (vgl. Abschnitt 1.3 in Kapitel III). Die<br />
Absicht des in Abbildung VIII.5 dargestellten Items (Frage 05 der Unit Graffiti) ist Interpretation. Wie<br />
bereits erwähnt, gibt es in Lesen ausschließlich einstellige Codes, während es in allen anderen Domänen<br />
auch Aufgaben mit zweistelligem Coding gibt.<br />
FRAGE 4: WINDPARKS<br />
S529Q04 – 0 1 2 9<br />
Beschreibe einen speziellen Vorteil und einen speziellen Nachteil der Erzeugung elektrischen Stroms<br />
mithilfe von Windenergie im Vergleich zur Stromerzeugung mithilfe fossiler Brennstoffe wie Kohle oder<br />
Öl.<br />
WINDPARKS BEWERTUNG 4<br />
Full Credit<br />
Code 2: Ein spezieller Vorteil und ein spezieller Nachteil werden beschrieben.<br />
Anmerkung: Es ist möglich, dass die Kosten eines Windparks als Vor- oder Nachteil gesehen<br />
werden, abhängig davon welcher Aspekt berücksichtigt wird (z. B. Errichtungskosten oder<br />
Betriebskosten). Daher ist eine Erwähnung der Kosten ohne weitere Erklärung nicht<br />
ausreichend, um einen Credit weder für einen Vorteil noch für einen Nachteil zu bekommen.<br />
[Vorteil]<br />
Setzt kein Kohlendioxid (CO 2) frei.<br />
Verbraucht keine fossilen Brennstoffe.<br />
Die Ressource Wind wird nicht aufgebraucht.<br />
Wenn ein Windkraftwerk einmal gebaut ist, sind die Kosten zur Stromerzeugung gering.<br />
Keine Abfallprodukte und/oder keine giftigen Substanzen werden ausgestoßen.<br />
Verwenden von Naturkräften oder sauberer Energie.<br />
Umweltfreundlich und wird für eine sehr lange Zeit halten.<br />
Partial Credit<br />
Code 1:<br />
No Credit<br />
Code 0:<br />
Code 9:<br />
[Nachteil]<br />
Erzeugung nach Bedarf ist nicht möglich (weil die Windgeschwindigkeit nicht kontrolliert werden<br />
kann).<br />
Gute Stellen für Windkrafträder sind begrenzt.<br />
Das Windkraftrad könnte durch zu starken Wind beschädigt werden.<br />
Die Strommenge, die durch jedes einzelne Windkraftrad erzeugt wird, ist relativ gering.<br />
In manchen Fällen tritt Lärmbelästigung auf.<br />
Manchmal werden Vögel getötet, wenn sie in die Rotoren fliegen.<br />
Natürliche Landschaftsbilder werden verändert.<br />
Teuer aufzustellen.<br />
Es wird entweder ein richtiger Vorteil oder ein richtiger Nachteil (wie in den Beispielen zu<br />
„Full Credit“ dargestellt), aber nicht beides beschrieben.<br />
Kein richtiger Vorteil oder richtiger Nachteil (wie oben dargestellt) wird beschrieben.<br />
Einzelne Beispiele von nicht akzeptablen Vorteilen oder Nachteilen sind unten angeführt.<br />
Gut für die Umwelt oder Natur. [Diese Antwort ist eine allgemeine Feststellung.]<br />
Schlecht für die Umwelt oder Natur.<br />
Es kostet weniger, ein Windkraftrad zu bauen als ein Kraftwerk für fossile Brennstoffe. [Das<br />
missachtet die Tatsache, dass sehr viele Windkrafträder gebraucht würden, um dieselbe Menge<br />
Leistung zu erzeugen wie ein Kraftwerk für fossile Brennstoffe.]<br />
Es würde nicht so viel kosten.<br />
Antwort fehlt.<br />
Abbildung VIII.4 Bewertungsrichtlinien zu Frage 04 aus der Unit Windparks aus der Domäne Naturwissenschaft<br />
Seite 138<br />
VIII. Coding
FRAGE 5: GRAFFITI<br />
R081Q05- 0 1 9<br />
Warum verweist Sophia auf die Werbung?<br />
GRAFFITI BEWERTUNG 5<br />
ABSICHT DER FRAGE: Textinterpretation: eine beabsichtigte Querverbindung erkennen<br />
Full credit<br />
Code 1:<br />
ODER:<br />
No credit<br />
Code 0:<br />
ODER:<br />
Code 9:<br />
Erkennt, dass ein Vergleich zwischen Graffiti und Werbung angestellt wird.<br />
Antwort entspricht dem Gedanken, dass Werbung eine legale Form von Graffiti ist.<br />
Sie will uns zeigen, dass die Werbung genauso lästig sein kann wie Graffiti.<br />
Weil manche Leute meinen, Werbung sei genauso hässlich wie die Sprayereien.<br />
Sie sagt, Werbung sei einfach eine erlaubte Form von Graffiti.<br />
Sie meint, Werbung ist auch wie Graffiti.<br />
Weil man auch nicht um Erlaubnis gefragt wird, wenn eine Werbetafel angebracht wird.<br />
[Der Vergleich zwischen Werbung und Graffiti ist implizit.]<br />
Weil Werbung in unserer Gesellschaft ohne unsere Erlaubnis angebracht wird, genau wie<br />
Graffiti.<br />
Weil Werbetafeln wie Graffiti sind. [Minimalantwort. Erkennt eine Ähnlichkeit, ohne weiter<br />
auszuführen, worin die Ähnlichkeit besteht.]<br />
Weil es eine andere Form von Ausstellung ist.<br />
Weil die Werbeleute Plakate an die Wand kleben und sie meint, dass das auch Graffiti<br />
sind.<br />
Weil die auch an den Wänden ist.<br />
Weil sie genauso schön oder hässlich anzusehen ist.<br />
Sie verweist auf die Werbung, weil die im Gegensatz zu Graffiti akzeptiert ist.<br />
[Ähnlichkeit von Graffiti und Werbung wird durch die gegensätzliche Einstellung zu den<br />
beiden ausgedrückt.]<br />
Erkennt, dass der Verweis auf die Werbung eine Strategie zur Verteidigung von<br />
Graffiti ist.<br />
Damit wir einsehen, dass Graffiti schließlich doch legitim sind.<br />
Antwort ungenügend oder vage.<br />
Auf diese Weise drückt sie ihre Meinung aus.<br />
Weil sie es möchte, sie erwähnt sie als Beispiel.<br />
Es ist eine Strategie.<br />
Firmenlogos und Ladennamen.<br />
Zeigt ungenaues Verständnis des Materials oder gibt eine nicht plausible oder<br />
irrelevante Antwort.<br />
Sie beschreibt die Graffiti.<br />
Weil die Leute Graffiti darüber sprühen.<br />
Graffiti ist eine Art Werbung.<br />
Weil Graffiti Werbung für eine bestimmte Person oder Bande sind. [Vergleich geht in die<br />
falsche Richtung, das heißt, Graffiti ist eine Form von Werbung.]<br />
Missing<br />
Abbildung VIII.5 Bewertungsrichtlinien zu Frage 05 der Unit Graffiti aus der Domäne Lesen<br />
VIII. Coding<br />
Seite 139
FRAGE 2: FLÄCHE EINES KONTINENTS<br />
M148Q02 – 01 02 11 12 13 14 21 22 23 24 25 99<br />
Schätze die Fläche der Antarktis, indem du den Maßstab auf der Karte benutzt.<br />
Gib an, wie du zu deiner Schätzung gekommen bist. (Du kannst in der Karte zeichnen, wenn dir das<br />
bei deiner Schätzung hilft.)<br />
FLÄCHE EINES KONTINENTS BEWERTUNG 2<br />
Full credit<br />
[Diese Codes sind für Antworten mit der richtigen Methode UND dem richtigen Ergebnis. Die zweite<br />
Ziffer bezeichnet verschiedene Vorgehensweisen]<br />
Code 21: Schätzung durch Zeichnen eines Quadrates oder Rechtecks - zwischen<br />
12 000 000 km² und 18 000 000 km² (Einheiten nicht nötig).<br />
Code 22: Schätzung durch Zeichnen eines Kreises - zwischen 12 000 000 km² und<br />
18 000 000 km².<br />
Code 23: Schätzung durch die Addition regelmäßiger geometrischer Figuren - zwischen<br />
12 000 000 km² und 18 000 000 km².<br />
Code 24: Schätzung durch andere korrekte Methode - zwischen 12 000 000 km² und<br />
18 000 000 km².<br />
Zeichnet ein großes Rechteck und subtrahiert Gebiete verschiedener Größe („Löcher“) von<br />
diesem.<br />
Code 25: richtige Antwort (zwischen 12 000 000 km² und 18 000 000 km²) aber keine Erklärung.<br />
Partial credit<br />
[Diese Codes werden für inkorrekte oder unvollständige Antworten aber mit einer richtigen Methode<br />
vergeben. Die zweite Ziffer bezeichnet verschiedene Vorgehensweisen analog zur zweiten Stelle der<br />
Codes für richtige Antworten.]<br />
Code 11: Schätzung durch Zeichnen eines Quadrates oder Rechtecks - korrekte Methode, aber<br />
falsches oder unvollständiges Ergebnis.<br />
Zeichnet ein Rechteck und multipliziert Breite mit Länge, aber die Antwort ist eine Überoder<br />
Unterschätzung (z.B. 18 200 000)<br />
Zeichnet ein Rechteck und multipliziert Breite mit Länge, aber die Anzahl der Nullen ist<br />
falsch (z.B. 4 000 x 3 500 = 140 000)<br />
Zeichnet ein Rechteck und multipliziert Breite mit Länge, vergisst aber den Maßstab zu<br />
verwenden, um auf Quadratkilometer umzuwandeln (z.B. 12cm x 15cm = 180)<br />
Zeichnet ein Rechteck und bestimmt die Fläche mit 4000km x 3500km. Keine weiteren<br />
Berechnungen vorhanden.<br />
Code 12: Schätzung durch Zeichnen eines Kreises – korrekte Methode, aber falsches oder<br />
unvollständiges Ergebnis.<br />
Code 13: Schätzung durch die Addition regelmäßiger geometrischer Figuren - korrekte Methode,<br />
aber falsches oder unvollständiges Ergebnis.<br />
Code 14: Schätzung durch andere korrekte Methode - korrekte Methode, aber falsches oder<br />
unvollständiges Ergebnis.<br />
Zeichnet ein großes Rechteck und subtrahiert Gebiete verschiedener Größe („Löcher“)<br />
von diesem.<br />
No credit<br />
Code 01: Der Umfang wurde anstelle der Fläche geschätzt.<br />
<br />
z.B. 16 000 km weil der Maßstab von 1000 km 16 mal um die Landkarte herumgehen<br />
würde<br />
Code 02: Andere falsche Antworten<br />
z.B. 16 000km (keine weiteren Erläuterungen oder Berechnungen vorhanden.)<br />
Code 99: Missing<br />
Seite 140<br />
VIII. Coding
ZUSAMMENFASSENDE TABELLE<br />
Die folgende Tabelle zeigt die Beziehung zwischen den Codes:<br />
Schätzungsmethode<br />
Richtige Antwort –<br />
zwischen 12 000 000<br />
and 18 000 000 km²<br />
Code<br />
Teilweise richtig – korrekte<br />
Methode, aber inkorrektes oder<br />
unvollständiges Ergebnis<br />
Nicht richtig<br />
Zeichnen eines<br />
Rechtecks<br />
21 11 —<br />
Zeichnen eines Kreises 22 12 —<br />
Addition regelmäßiger<br />
geom. Figuren<br />
23 13 —<br />
andere korrekte<br />
Methoden<br />
24 14 —<br />
keine Erklärung<br />
vorhanden<br />
25 — —<br />
Durchmesser — — 01<br />
andere falsche<br />
Antworten<br />
— — 02<br />
Missing — — 99<br />
ANMERKUNG:<br />
Bei der Bewertung dieser Frage muss besonders auch das berücksichtigt werden, was die<br />
Schüler/innen in der Karte eingezeichnet haben (zusätzlich zu der geschriebenen Antwort). Sehr oft<br />
erklären Schüler/innen, was sie getan haben, nicht sehr gut in Worten, man kann aber Rückschlüsse<br />
daraus ziehen, was in der Karte eingezeichnet wurde. Das Ziel dieser Frage ist es nicht, dass<br />
Schüler/innen in Worten erklären können, was sie tun. Das Ziel ist es, herauszufinden, wie sie zu ihrer<br />
Antwort gekommen sind. Deshalb erachten Sie die Erklärung als gegeben, wenn Sie sie aus den<br />
Einträgen in der Karte nachvollziehen können - auch dann, wenn keine Erklärungen in Worten<br />
gegeben werden.<br />
Abbildung VIII.6 Bewertungsrichtlinien zu Frage 02 der Unit Fläche eines Kontinents aus der Domäne Mathematik<br />
4. Internationale Umsetzungsrichtlinien<br />
Dieser Abschnitt beschreibt die Richtlinien des internationalen Zentrums, die von den nationalen<br />
Projektzentren bei der Umsetzung des Codings eingehalten werden müssen. Diese Richtlinien beinhalten<br />
Vorgaben für die Rekrutierung der Coderinnen und Coder, die Vorbereitung der Testhefte für den<br />
Coding-Prozess, die Durchführung des Coder-Trainings und das Coding der Testhefte.<br />
4.1 Rekrutierung der Coder/innen<br />
Coder/innen, die bereits beim Feldtest für <strong>PISA</strong> gearbeitet haben, sollten auf Grund ihrer einschlägigen<br />
Erfahrung bevorzugt werden. Alle rekrutierten Personen müssen am speziellen <strong>PISA</strong>-Coder-Training teilnehmen,<br />
unabhängig davon, ob sie bereits Erfahrung bei <strong>PISA</strong> oder verwandten Projekten gesammelt<br />
haben.<br />
Vom internationalen Zentrum wird vorgeschlagen, 16 Coder/innen gemeinsam für die beiden Domänen<br />
Naturwissenschaft und Mathematik sowie 4 weitere Coder/innen für Lesen anzustellen. Weiters wird<br />
empfohlen, für Naturwissenschaft und Mathematik zwei, für Lesen einen Reserve-Coder oder eine<br />
Reserve-Coderin zu trainieren, die zumindest an einigen Coding-Einheiten teilnehmen. Dies stellt sicher,<br />
dass bei Ausfall oder Ausschluss einer Coderin oder eines Coders (z. B. auf Grund mangelnder Qualität<br />
der Arbeit, Krankheit etc.) noch mindestens eine weitere Coderin oder ein weiterer Coder vorhanden ist,<br />
die/der sofort einspringen kann.<br />
VIII. Coding<br />
Seite 141
Coder/innen müssen ein gutes Verständnis für den Schulstoff in Naturwissenschaft, Mathematik oder<br />
Lesen der mittleren Sekundarstufe haben. Sie müssen Erfahrungen mit Schülerantworten dieser Schulstufe<br />
aufweisen und wissen, wie sich Schüler/innen ausdrücken. Gut geeignete Coderinnen und Coder sind<br />
beispielsweise beurlaubte und kürzlich pensionierte Lehrerinnen und Lehrer sowie Lehramtsstudentinnen<br />
und Lehramtsstudenten in einem höheren Semester.<br />
Weiters wird vorgeschlagen, für jede Domäne Table Leaders zu rekrutieren. Das sind besonders qualifizierte<br />
Coder/innen, die nicht nur Fachwissen für die jeweilige Domäne vorweisen können, mit den<br />
<strong>PISA</strong>-Tests vertraut sind und vorzugsweise über Erfahrung in der Bewertung offener Schülerantworten<br />
verfügen. Table Leaders helfen bei der Organisation des Codings, klären Fragen bezüglich des Coding<br />
Guides und spielen eine wichtige Rolle bei der Qualitätskontrolle des Codings.<br />
Alle Coderinnen und Coder müssen sich verpflichten, die Inhalte der <strong>PISA</strong>-Testmaterialen geheim zu halten,<br />
bevor sie irgendwelche Kopien davon sehen oder erhalten. Jeder Coderin und jedem Coder muss eine<br />
dreistellige Identifikationsnummer zugeteilt werden. Dies ist nötig, um im weiteren Verlauf auf einfache<br />
Weise dokumentieren zu können, welche Coderin bzw. welcher Coder welche Aufgabenblöcke (Cluster)<br />
in welchen Testheften beurteilt hat.<br />
4.2 Schulung der Coder/innen<br />
Auf internationaler Ebene ist die Teilnahme am Coder-Workshop des internationalen Konsortiums<br />
Pflicht. Hier versammeln sich Vertreter/innen der nationalen Zentren und werden von Experten und<br />
Expertinnen des internationalen Zentrums in das Coding von Schülerantworten eingeschult. Anhand<br />
ausgesuchter Beispiele – dem internationalen Workshop-Material – werden Bewertungsrichtlinien diskutiert.<br />
Somit wird deren konsistente Anwendung gewährleistet. Die Mitarbeiter/innen der nationalen<br />
Zentren werden so zu Coding-Supervisorinnen bzw. Supervisoren ausgebildet. Aufgabe dieser Supervisor/innen<br />
ist es, die nationalen Coder-Schulungen durchzuführen, einen richtlinienkonformen organisatorischen<br />
Ablauf des Codings sicherzustellen und den Table Leaders bei Problemen als Ansprechpartner<br />
zur Verfügung zu stehen.<br />
Vor der nationalen Coder-Schulung ist es nötig, dass die rekrutierten Coder/innen die Aufgaben ihrer<br />
Domäne selbst bearbeiten. Dies soll sie einerseits mit den <strong>PISA</strong>-Aufgaben bekannt machen und ihr<br />
Verständnis für die Perspektive der Schüler/innen fördern. Danach sollen die Coder/innen die Coding<br />
Guides sorgfältig durcharbeiten und sich bei Unklarheiten Fragen notieren, die dann im nationalen<br />
Coder-Workshop geklärt werden.<br />
Für jede Domäne muss eine eigene nationale Coder-Schulung abgehalten werden. In diesen Workshops<br />
soll zunächst ein Überblick über die <strong>PISA</strong>-Studie und den organisatorischen Ablauf des Codings gegeben<br />
werden. Danach sollen die Beispiele des übersetzten internationalen Workshop-Materials bearbeitet<br />
werden. Während der Schulung ist eine offene Diskussion über die Zuordnung von Codes zu<br />
Schülerantworten nötig. Ziel des Workshops ist es, bei der Vergabe von Codes für einzelne Antworten<br />
Konsens zu erreichen.<br />
Unmittelbar nach dem Workshop sollen die Coder/innen zu jedem Item ihrer Domäne bis zu 25<br />
Beispielantworten bewerten. Diese Beispielantworten sollen von Schülerinnen und Schülern des eigenen<br />
Landes (Schülerantworten vom Feldtest oder aus <strong>PISA</strong> 2000 bzw. 2003) stammen. Wichtig ist, dass<br />
die einzelnen Coder/innen bei dieser Übung selbstständig arbeiten. Die Supervisor/innen müssen diese<br />
Antwort-Codes überprüfen und den Coderinnen und Codern über ihre Leistung Rückmeldung geben.<br />
Der Anteil der richtig vercodeten Items sollte mindestens 85 % betragen. Wenn ein oder mehrere Coder/<br />
innen diese Reliabilitätsschwelle nicht erreichen, ist für diese Personen zusätzliches Training nötig, bevor<br />
der eigentliche Coding-Prozess beginnt. Wenn sich nach dem zusätzlichen Training herausstellt, dass<br />
einzelne Coder/innen nicht den erforderlichen Standard erreichen, wird empfohlen, sich von diesen zu<br />
trennen.<br />
Seite 142<br />
VIII. Coding
4.3 Vorbereitung der Testhefte für das Coding<br />
Als erstes wird eine Rücklaufkontrolle durchgeführt, bei der sichergestellt wird, dass alle Testmaterialien<br />
zurückgekommen sind (vgl. Abschnitt 4.4 in Kapitel VI). Danach müssen die Testhefte ihrer Form nach<br />
sortiert werden. Von jeder der Testheftformen 1, 3, 5, 6, 8 sowie 10 muss eine repräsentative Stichprobe von<br />
je 100 Testheften für das Multiple Coding beiseite gelegt werden. Repräsentativ heißt, dass die Testhefte<br />
über alle Strata und möglichst viele verschiedene Schulen streuen, damit möglichst viele unterschiedliche<br />
Schülerantworten diesem Prozess unterzogen werden. In den oben angeführten Testheftformen werden<br />
jeweils zwei (bzw. einmal drei) Aufgabenblöcke derselben Domäne dem Prozess des Multiple Codings<br />
unterzogen. Dieses Design führt dazu, dass alle Aufgaben jeder Domäne beim Multiple Coding vorkommen.<br />
Für das Single Coding werden die verbleibenden Testhefte nach deren Form auf Stöße aufgeteilt, die von<br />
den Coderinnen und Codern jeweils in einer Arbeitseinheit bearbeitet werden können.<br />
4.4 Vercoden der Schülerantworten<br />
Grundsätzlich ist das Single Coding vom Multiple Coding zu unterscheiden. Als Single Coding wird die<br />
„normale“ Prozedur des Codings von Schülerantworten bezeichnet, bei der jede Schülerantwort von<br />
je einer Coderin bzw. einem Coder bewertet wird. Während des Single Codings sind Fragen möglich<br />
und die Vergabe von Codes wird von den Supervisoren bzw. Supervisorinnen überprüft. Anschließend<br />
erhalten die Coder/innen Rückmeldung über die Qualität ihrer Arbeit. Ziel des Single Coding, das den<br />
größten Teil des Coding-Prozesses ausmacht, ist das korrekte Coding der Schülerantworten. Das Multiple<br />
Coding ist eine Qualitätssicherungsmaßnahme, bei der eine gewisse Anzahl von Schülerantworten durch<br />
vier Coderinnen bzw. Coder unabhängig voneinander bewertet wird. Während des Multiple Coding<br />
müssen die Coder/innen selbstständig arbeiten, dass heißt, es sind keine Fragen erlaubt. Ziel, ist die<br />
Feststellung der Qualität des Codings, gemessen durch die Beurteilerübereinstimmung. Zur Bestimmung<br />
der Schülerleistung wird die Bewertung der vierten Coderin bzw. des vierten Coders herangezogen.<br />
4.4.1 Single Coding<br />
Beim Single Coding werden jeder Coderin und jedem Coder nach einem vorgegebenen Rotationsschema<br />
bestimmte Testhefte zugeteilt, wobei eine Coderin bzw. ein Coder pro Testheft nur einen Aufgabenblock<br />
(Cluster) bewertet. Somit wird gewährleistet, dass die Antworten jeder Schülerin bzw. jedes Schülers von<br />
mehreren unterschiedlichen Coderinnen bzw. Coder bewertet werden. Diese Prozedur ist neben der fundierten<br />
Schulung der Coder/innen und laufenden Qualitätskontrollen (vgl. unten) ein weiterer Schritt,<br />
der sicherstellt, dass die Leistungen von Schülerinnen und Schülern nicht systematisch durch personabhängige<br />
Bewertungsmängel beeinflusst werden.<br />
Die Bewertung der Schülerantworten hat sowohl beim Single Coding als auch beim Multiple Coding<br />
„Item by Item“ zu erfolgen. Die Coderin bzw. der Coder muss also über die zugewiesenen Testhefte<br />
hinweg immer erst die Antworten auf eine Frage vollständig bewerten, ehe er mit der nächsten beginnt.<br />
Diese Vorgehensweise gewährleistet, dass bei der Bewertung eines Items durchgehend die gleichen<br />
Bewertungsmaßstäbe angewandt werden, und dass sich zeitliche Qualitätsunterschiede in der Arbeit einer<br />
Coderin oder eines Coders auf mehrere Schülerinnen bzw. Schüler verteilen.<br />
Während des Single-Coding-Prozesses sollen sich die Coder/innen bei Unklarheiten an den Table Leader<br />
der jeweiligen Domäne wenden. Dieser soll dann – je nach Art der Frage – individuell oder der gesamten<br />
Gruppe Rückmeldung geben. Diese Rückmeldung muss vor Beginn der nächsten Arbeitssitzung erfolgen,<br />
um zu verhindern, dass sich bereits identifizierte Fehler in der weiteren Arbeit fortsetzen. Wenn Fragen<br />
über das Coding spezifischer Schülerantworten vom jeweiligen Table Leader nicht gelöst werden können,<br />
soll sich dieser an die Supervisorin bzw. den Supervisor der jeweiligen Domäne wenden. Kann auch diese<br />
bzw. dieser die Frage nicht eindeutig klären, so soll die Supervisorin bzw. der Supervisor die Frage per<br />
E-Mail an das Coder-Query-Service des internationalen Zentrums weiterleiten, wo Expertinnen und<br />
Experten die eintreffenden Fragen beantworten. Das Coder-Query-Service ist eine Einrichtung des inter-<br />
VIII. Coding<br />
Seite 143
nationalen Projektkonsortiums, die sich aus den Verantwortlichen des internationalen Zentrums für die<br />
Itemerstellung zusammensetzt und die oberste Entscheidungskompetenz im Zusammenhang mit dem<br />
Coding von Schülerantworten hat.<br />
Die Table Leader müssen beim Single Coding aus jedem bereits bewerteten Heftstoß eine Zufallsstichprobe<br />
von vercodeten Antworten überprüfen, um falsche Codes zu identifizieren. Wenn sich dabei herausstellt,<br />
dass eine Coderin oder ein Coder Probleme bei der konsistenten Anwendung der Bewertungsrichtlinien<br />
hat, dann sollen von dieser Coderin bzw. diesem Coder mehr Codings in die Überprüfung miteingeschlossen<br />
werden. Vor Beginn der nächsten Coding-Einheit, sollen die Table Leaders die Ergebnisse ihrer<br />
stichprobenartigen Überprüfungen mit den Coderinnen und Codern durchgehen und bestehende<br />
Unklarheiten beseitigen.<br />
4.4.2 Multiple Coding<br />
Dieser Prozedur werden nur bestimmte Aufgabenblöcke einer jeden für das Multiple Coding vorgesehenen<br />
Testheftform unterzogen. Die anderen Aufgabenblöcke werden mittels Single Coding bewertet.<br />
Für das Multiple Coding sind jene Aufgabenblöcke vorgesehen, die möglichst weit vorn im Testheft<br />
vorkommen. Das hat vor allem den Grund, dass Aufgaben zu Beginn der Testhefte häufiger beantwortet<br />
werden als jene am Ende. Im vorderen Teil des Testhefts sind daher mehr Schülerantworten, welche für<br />
die Feststellung der Beurteilerübereinstimmung herangezogen werden können.<br />
Das Multiple Coding muss am Ende des Coding-Prozesses durchgeführt werden, nachdem die Coder/<br />
innen im Single Coding die Anwendung der Bewertungsrichtlinien perfektioniert haben. Das Multiple<br />
Coding muss absolut selbstständig, d. h. ohne Hilfe anderer Coder/innen oder des Table Leaders, durchgeführt<br />
werden.<br />
Wie beim Single Coding erfolgt auch beim Multiple Coding die Zuteilung der Testhefte zu den Coderinnen<br />
und Codern in rotierter Form. Dies hat zum Ziel, möglichst viele verschiedene Coder-Kombinationen<br />
unterschiedlichen Clustern zuzuordnen, um die Beurteilungen bei unterschiedlichen Cluster-Coder-<br />
Zusammenstellungen vergleichen zu können. So können einerseits zufällige Beurteilerübereinstimmunge<br />
n vermieden werden (weil z. B. alle den gleichen Fehler machen) und bei jeder Coderin bzw. jedem Coder<br />
alle für das Coding relevanten Items ihrer/seiner Domäne überprüft werden.<br />
Im Gegensatz zum Single Coding, wo die Coder/innen die Codes in der entsprechenden Code-Zeile im<br />
Testheft einkreisen, müssen beim Multiple Coding die ersten drei Coder/innen ihre Codes in so genannte<br />
Multiple-Coding-Sheets eintragen und erst die vierte Coderin bzw. der vierte Coder kreist die Codes direkt<br />
im Testheft ein. Für jede Testheftform gibt es ein eigenes Multiple-Coding-Sheet. Dieses umfasst neben<br />
Nummer, Name und Reihenfolge (erster, zweiter oder dritter) der Coderin bzw. des Coders die Schüler-<br />
ID, die Namen und Nummern der zu bewertenden Items der jeweiligen Unit sowie alle zugehörigen<br />
Codes.<br />
5. Ablauf des Codings im Haupttest <strong>2006</strong><br />
Im Rahmen eines Coder-Workshops, den Expertinnen und Experten des internationalen Projektzentrums<br />
leiteten, wurden Mitarbeiter/innen des nationalen Zentrums in Ablauf und Organisation des Coding<br />
sowie in die Bewertungsrichtlinien für die einzelnen Items eingeschult. Die Teilnehmer/innen dieses<br />
Workshops hatten die Aufgabe, die international vorgesehenen Prozeduren auf nationaler Ebene umzusetzen.<br />
In diesem Abschnitt wird die konkrete Umsetzung der internationalen Richtlinien in Österreich<br />
beschrieben.<br />
5.1 Rekrutierung der Coder/innen<br />
Die Rekrutierung der Coder/innen erfolgte mittels Aushängen und Rundmails an der Universität Salzburg<br />
(Fachbereich Erziehungswissenschaft, Naturwissenschaftlichen Fakultät) und der Pädagogischen Akademie<br />
sowie ein Inserat in der ÖH-Jobbörse im Internet. Weitere Unterstützung leisteten der Landesschulrat für<br />
Salzburg sowie das Pädagogische Institut Salzburg.<br />
Seite 144<br />
VIII. Coding
Zunächst wurden alle Bewerber/innen zu einem Vorstellungsgespräch eingeladen, in dem sie ihre<br />
Qualifikationen berichteten und über <strong>PISA</strong> und den Ablauf des Codings informiert wurden. Im Rahmen<br />
dieses Vorstellungsgesprächs wurden den Bewerberinnen und Bewerbern auch <strong>PISA</strong>-Aufgaben mit dazugehörigen<br />
Bewertungsrichtlinien vorgelegt und die Bewerber/innen sollten einige Schülerantworten<br />
vercoden. Dadurch erhielten die Bewerber/innen einen besseren Einblick in ihre Aufgabe als Coder/in<br />
und das nationale Zentrum konnte die Bewerber/innen auf ihre Qualifizierung hin überprüfen. Für jede<br />
Domäne wurden Spezialisten rekrutiert, die jeweils nur für diese Domäne zuständig waren. Insgesamt<br />
wurden 25 Coder/innen rekrutiert, davon 15 für Naturwissenschaft und je fünf für Mathematik und<br />
Lesen. Darunter befinden sich auch die zusätzlich rekrutierten Coder/innen (drei für Naturwissenschaften,<br />
je einer für Mathematik und Lesen). Diese Coder/innen fungierten in Österreich nicht nur als Reserve-<br />
Coder/innen, sondern waren laut Empfehlung des Coding-Verantwortlichen von A.C.E.R. während des<br />
Single Codings den übrigen Coderinnen und Codern gleichgestellt. Nur für das Multiple Coding, wo<br />
eine exakte Anzahl von zwölf bzw. vier Coder und Coderinnen nötig war, wurden die nicht erforderlichen<br />
Coder/innen per Losentscheid ausgeschlossen (vgl. Abschnitt 4.4.2 idK.).<br />
Die österreichischen Coder/innen können betreffend ihrer Qualifikation mindestens einer der folgenden<br />
Gruppe zugeordnet werden:<br />
• (arbeitssuchende) Lehrer/innen;<br />
• fertig ausgebildete AHS-Lehrer/innen, die gerade ihr Unterrichtspraktikum absolvieren;<br />
• Höhersemestrige, die eines der für <strong>PISA</strong> relevanten Fächer studieren;<br />
• Personen, die bereits in früheren <strong>PISA</strong>-Zyklen als Coder/in für <strong>PISA</strong> tätig waren.<br />
In Österreich wurden keine eigenen Table Leaders rekrutiert, da die Mitarbeiterinnen des <strong>PISA</strong>-Zentrums,<br />
die als Supervisorinnen fungierten, auch die Rolle des Table Leaders übernahmen. Hierdurch wurde<br />
einerseits vermieden, eine Hierarchie zwischen den Coderinnen und Codern aufzubauen, andererseits<br />
waren die Mitarbeiterinnen während der Bürozeiten ständig und darüber hinaus nach Vereinbarung verfügbar,<br />
womit die Tätigkeit des Codings nicht an vorgegebene Zeiten (einheitliche Coding-Sitzungen)<br />
gebunden war. Weiters wurde die zeitliche Verfügbarkeit der Supervisorinnen auch insofern ausgedehnt,<br />
indem jeweils zwei Mitarbeiterinnen für eine Domäne zuständig waren und beide den internationalen<br />
Coder-Workshop für die jeweilige Domäne besucht haben. Die Zuständigkeit zweier Supervisorinnen für<br />
eine Domäne brachte zusätzlich den Vorteil, dass diese über bestimmte Coding-Probleme und -Fehler<br />
auch untereinander diskutieren konnten und bei einem Ausfall einer Supervisorin (z. B. durch Krankheit)<br />
der Coding-Prozess nicht gefährdet wäre. Für die Domäne Naturwissenschaft wurde eine zusätzliche<br />
Mitarbeiterin, die über Erfahrung beim Coding verfügte und ein naturwissenschaftliches Studium abgeschlossen<br />
hatte, eingestellt.<br />
5.2 Schulung der Coder/innen<br />
Die Schulung der Coder/innen umfasst eine individuelle Vorbereitungsphase und die Teilnahme am<br />
Coder-Workshop. Zuerst beantworteten alle Coder/innen vor dem Coder-Workshop die Testaufgaben<br />
der jeweiligen Domäne im nationalen Projektzentrum. Dadurch erhielten die Coder/innen Einblick in<br />
die Situation der Schüler/innen. Anschließend bekamen die Coder/innen auch den Coding Guide, den<br />
sie zur Vorbereitung auf den Workshop durcharbeiten sollten. Auf Grund der strengen Geheimhaltungsbestimmungen,<br />
die es verbieten, Coding-Unterlagen außer Haus zu geben, hatte das Beantworten der<br />
Fragen und das Durchlesen des Coding Guides im nationalen Zentrum zu erfolgen.<br />
Für jede Domäne gab es Ende April/Anfang Mai einen Coder-Workshop. Die Termine für die Workshops<br />
wurden so gewählt, dass alle Einschulungen möglichst knapp vor Beginn des Codings stattfanden, um<br />
die erworbenen Kenntnisse so schnell wie möglich in die Praxis umzusetzen. Zur sofortigen Festigung<br />
des erworbenen Wissens begannen die Coder/innen bereits nach dem ersten Workshop, die behandelten<br />
Aufgabenblöcke in den Testheften zu bewerten.<br />
Die Coder-Workshops führte die Supervisorin der jeweiligen Domäne durch. Diese gliederten sich entsprechend<br />
der internationalen Vorgaben in die folgenden Bereiche:<br />
VIII. Coding<br />
Seite 145
(1) offizielle Begrüßung, Kennenlernen der Coder/innen, Bekanntgabe des Ablaufs der Schulung;<br />
(2) allgemeiner Überblick über die <strong>PISA</strong>-Studie;<br />
(3) Ausgabe der Materialien: jede Coderin und jeder Coder erhielt zusätzlich zu seinem Coding Guide<br />
das übersetzte internationale Workshop-Material;<br />
(4) Erläuterung und Diskussion der allgemeinen Prinzipien und Richtlinien beim Coding in <strong>PISA</strong> (vgl.<br />
Abschnitt 1 idK.).<br />
(5) Behandlung der einzelnen Items nach folgendem Schema:<br />
• Erklären der Fragestellung und der zugehörigen Bewertungsrichtlinien;<br />
• selbstständiges Coding der Beispielantworten im Workshop-Material;<br />
• Diskussion der Codes mit dem Ziel, dass jede Coderin und jeder Coder die Kriterien für die<br />
jeweiligen Codes nachvollziehen und Schülerantworten konsistent danach bewerten kann;<br />
• laufendes Klären von Fragen und Unklarheiten;<br />
(6) Erklärung des organisatorischen Ablaufs inklusive der gemeinsamen Besichtigung der Material- und<br />
der Coding-Räume, der Erklärung der Anordnung der Testhefte und der Prozedur des Reservierens<br />
von Testheft-Stößen für Arbeitseinheiten;<br />
(7) jede Coderin bzw. jeder Coder bearbeitet selbstständig die vorgelegten Beispielantworten aus dem<br />
Feldtest und aus <strong>PISA</strong> 2000 und 2003.<br />
Anschließend an den Coder-Workshop wertete die Supervisorin das Coding der Beispielantworten aus. So<br />
konnte überprüft werden, ob alle Coder/innen das Trainingsziel (die korrekte Vergabe von Codes) erreicht<br />
haben. Kein/e Coder/in durfte mit der Bewertung der Testhefte beginnen, bevor er/sie Rückmeldung zu<br />
seiner/ihrer Codevergabe erhalten hatte. Alle österreichischen Coder/innen erfüllten beim Coding der<br />
Bespielantworten die internationalen Kriterien. Somit konnten die Coder/innen schon am Tag nach dem<br />
Coder-Workshop mit dem Single Coding der Testhefte beginnen.<br />
5.3 Vorbereitung der Testhefte für das Coding<br />
Im Rahmen von <strong>PISA</strong> <strong>2006</strong> übernahm das österreichische Projektzentrum auch die Verantwortung für das<br />
Coding der <strong>PISA</strong>-Testhefte Südtirols und der deutschsprachigen Gemeinschaft Belgiens. Diese Testhefte<br />
langten auf Grund der früheren Testtermine dieser Länder schon Anfang Mai am nationalen Zentrum<br />
ein. Das gleiche Coder-Team wie für Österreich übernahm das Coding für diese Testhefte.<br />
Im Folgenden wird am Beispiel der österreichischen Testmaterialien genauer auf die für das Coding<br />
durchgeführten Vorbereitungsmaßnahmen eingegangen. Am Beginn dieser Maßnahmen stand die<br />
Rücklaufkontrolle der Testmaterialien. Anschließend wurden die Testhefte und Fragebögen entsprechend<br />
ihrer Form sortiert. Die Fragebögen wurden sofort an das Dateneingabepersonal weitergeleitet. Bei den<br />
Testheften wurden, den internationalen Vorgaben entsprechend, je 100 Hefte aus den Formen, die für<br />
das Multiple Coding vorgesehen waren (vgl. Abschnitt 4.4.2 idK.), zufällig ausgewählt. Die restlichen<br />
Testhefte jeder Form wurden für das Single Coding in fünfzehn Stöße aufgeteilt. Jeder Stoß bekam eine<br />
Ziffern-Buchstaben-Kombination zugewiesen und wurde mittels eines Rotationsschemas Coderinnen<br />
und Codern zugeordnet. Dieses Rotationsschema stellte sicher, dass die vier Aufgabenblöcke (Cluster)<br />
eines Testhefts von unterschiedlichen Personen bewertet wurden, und dass jede Coderin bzw. jeder Coder<br />
alle Cluster ihrer bzw. seiner Domäne bewertete.<br />
5.4 Vercoden der Schülerantworten<br />
Da keine Testinstrumente oder Unterlagen, die <strong>PISA</strong>-Testaufgaben enthalten, das nationale Zentrum verlassen<br />
durften, war das Coding an den Ort des nationalen Zentrums gebunden. Für das Coding wurden<br />
drei Räume adaptiert: einer für die übersichtliche Lagerung der Testhefte und zwei für die Durchführung<br />
des Codings.<br />
5.4.1 Single Coding<br />
Um einen reibungslosen organisatorischen Ablauf zu gewährleisten, bekam jede Coderin und jeder Coder<br />
einen Arbeitsplan, auf dem Cluster- und Stoßname der von ihm zu bearbeitenden Testhefte eingetragen<br />
Seite 146<br />
VIII. Coding
waren. Jede Coderin und jeder Coder musste auf einer Liste vermerken, wann sie/er welchen Stoß bearbeitet,<br />
um sicherzustellen, dass ein Stoß nicht von mehreren Coderinnen und Coder gleichzeitig benötigt<br />
wird. Jede Coderin und jeder Coder musste im Lauf des Coding-Prozesses alle Cluster ihrer/seiner<br />
Domäne bewerten. Während des Codings gab es immer wieder Deadlines, bis zu denen eine bestimmte<br />
Anzahl von Clustern bewertet sein mussten.<br />
Bei organisatorischen und fachlichen Fragen konnten sich die Coder/innen an die Supervisorin ihrer<br />
Domäne wenden. Insbesondere wurden die Coder/innen aufgefordert, nicht eindeutig bewertbare<br />
Schülerantworten zu markieren und am Ende der Arbeitssitzung mit der jeweiligen Supervisorin das<br />
Coding abzusprechen. Die Supervisorin erklärte dabei der Coderin bzw. dem Coder, welcher Code vorgeschrieben<br />
ist und warum die jeweilige Antwort so zu vercoden ist. Konnte jedoch auch die Supervisorin<br />
nicht eindeutig entscheiden, welchem Code die jeweilige Antwort zuzuordnen ist, blieb die Schülerantwort<br />
weiterhin markiert und sie diskutierte mit der Kollegin ihrer Domäne die Codevergabe. Ist auch hier kein<br />
eindeutiger Konsens erreicht worden, wurde die Schülerantwort übersetzt und per E-Mail an das internationale<br />
Coder-Query-Service weitergeleitet. Die Rückmeldungen des Coder-Query-Service wurden mit<br />
allen Coder/innen der jeweiligen Domäne besprochen und in Mappen im Coding-Raum gesammelt.<br />
Auf internationaler Ebene wurden die Rückmeldungen zu den Coder Queries der Teilnehmerländer in<br />
einer kennwortgeschützten Online-Ressource von A.C.E.R. verfügbar gemacht. Aktualisierungen dieser<br />
Ressource leiteten die Supervisorinnen unverzüglich an die Coder/innen weiter.<br />
Als zusätzliche Qualitätssicherungsmaßnahme im Single Coding überprüften die Supervisorinnen stichprobenartig<br />
das Coding. In etwa wurden die Codes von jedem sechsten Testheft kontrolliert. Entdeckten<br />
die Supervisorinnen Fehler bei der Codevergabe, korrigierten sie diese und gaben der jeweiligen Coderin<br />
bzw. dem jeweiligen Coder Rückmeldung über ihre bzw. seine Fehler, bevor diese/r mit ihrer/seiner<br />
nächsten Arbeitseinheit begann. Waren diese Rückmeldungen auch für die übrigen Coder/innen einer<br />
der Domäne von Relevanz, so wurden sie auch diesen mitgeteilt und in der Mappe im Coding-Raum archiviert.<br />
Wenn die Supervisorinnen systematische Fehler bei einer Coderin bzw. einem Coder entdeckten,<br />
kontrollierten sie alle Codes dieser Aufgabe.<br />
5.4.2 Multiple Coding<br />
Wie in Abschnitt 4.1 idK. angeführt, wurden in Österreich pro Nebendomäne je fünf Coder/innen<br />
rekrutiert, in Naturwissenschaften waren es insgesamt 15. Für das Multiple Coding wurden aber pro<br />
Nebendomäne nur vier und für Naturwissenschaft zwölf Coder/innen benötigt, da jede Aufgabe genau<br />
von vier Coderinnen bzw. Codern zu bewerten war. Deshalb wurden per Losentscheid fünf Coder/innen<br />
(jeweils einer pro Nebendomäne und drei in Naturwissenschaft) ausgeschlossen. Diese Coder/innen<br />
bewerteten die Schülerantworten der Aufgabenblöcke in den Multiple-Coding-Heften, die nicht für das<br />
Multiple-Coding vorgesehen waren. Diese Cluster wurden aus den in Abschnitt 4.4.1 idK. erläuterten<br />
Gründen dem Single Coding unterzogen.<br />
Die für das Multiple Coding vorgesehenen Coder/innen konnten nach Fertigstellung ihrer Single-Coding-<br />
Aufgaben mit dem Multiple Coding beginnen. Vor der ersten Multiple-Coding-Arbeitseinheit erklärten<br />
die Supervisorinnen jeder Coderin bzw. jedem Coder nochmals den speziellen Ablauf und händigten<br />
die Multiple Coding Sheets aus. Besonders wurde darauf hingewiesen, dass das Multiple Coding absolut<br />
selbstständig zu erfolgen hat und keine Fragen, weder an die Supervisorinnen noch an andere Coder/innen,<br />
erlaubt sind. Daraufhin konnten die Coder/innen alle Multiple Coding Cluster ihrer Domäne bearbeiten,<br />
sofern sie im Rotationsschema nicht Position vier für den jeweiligen Cluster hatten, was bedeutet,<br />
dass sie als letzte vercoden müssen, weil sie ihre Codes direkt in die Testhefte eintragen müssen.<br />
6. Maßnahmen zur Sicherung der Qualität im Coding-Prozess<br />
Qualitätssicherung ist im Coding von herausragender Bedeutung, geht es doch um die Vergleichbarkeit<br />
der gewonnenen Leistungsdaten sowohl auf nationaler als auch auf internationaler Ebene. Mängel bei der<br />
Bewertung der Schülerantworten machen einen Großteil der erhobenen Daten unbrauchbar. Deshalb<br />
VIII. Coding<br />
Seite 147
werden enorme Anstrengungen unternommen, um eine hohe Qualität beim Coding zu erreichen. Diese<br />
Anstrengungen beziehen sich sowohl auf die Qualitätssicherung der Instrumente und Prozeduren als<br />
auch auf laufende Qualitätssicherungs- und -kontrollmaßnahmen über den gesamten Coding-Prozess<br />
hinweg.<br />
6.1 Die Bedeutung des Feldtests für das Coding<br />
Wie bereits in der Einleitung zu diesem Kapitel erwähnt, besteht der grundsätzliche Unterschied zwischen<br />
Feld- und Haupttest darin, dass der Haupttest der Gewinnung von Leistungs- und Kontextdaten dient,<br />
während das Ziel des Feldtests die Überprüfung und Verbesserung der Instrumente und Prozeduren ist.<br />
Somit ist der Feldtest eine entscheidende Maßnahme zur Sicherstellung verlässlicher Daten im Haupttest.<br />
In diesem Abschnitt wird die Bedeutung des Feldtests für das Coding beschrieben.<br />
6.1.1 Erprobung der Bewertungsrichtlinien<br />
Die in den Coding Guides gesammelten Bewertungsrichtlinien (Coding Instructions) dienen den<br />
Coderinnen und Codern als Entscheidungsgrundlage bei der Zuordnung von Codes zu Schülerantworten<br />
(vgl. Abschnitt 4.2 idK.). Auf Grund ihrer zentralen Bedeutung bedürfen Coding Guides einer gewissenhaften<br />
Entwicklung, die die Qualität dieser Instrumente sicherstellt. Eine gute Qualität der Coding<br />
Guides äußert sich durch sinnvolle und praktisch gut anwendbare Richtlinien für die Zuordnung<br />
von Codes zu Schülerantworten. Ob die Bewertungsrichtlinien eine sinnvolle Differenzierung der<br />
Schülerantworten ermöglichen, prüfen vor allem testtheoretische Analysen zu den Ergebnissen des<br />
Feldtests: Häufigkeitsanalysen zeigen, wie viele Schülerantworten es zu den jeweiligen Codes gibt, spezielle<br />
statistische Verfahren testen, wie gut die Codes zwischen guten und schlechten Leistungen differenzieren.<br />
Liegen schlechte Gütekriterien vor, wird entweder die gesamte Frage ausgeschlossen oder es werden<br />
die Bewertungsrichtlinien für den Haupttest modifiziert.<br />
Die Qualität der Bewertungsrichtlinien wird durch die Beurteilerübereinstimmung im Multiple Coding<br />
des Feldtests überprüft. Eine hohe Beurteilerübereinstimmung spricht für eine eindeutige Zuordenbarkeit<br />
von Schülerantworten zu Codes. Eine niedrige Beurteilerübereinstimmung kann, abhängig davon, ob<br />
nur eine oder mehrere Fragen davon betroffen sind und ob sie nur innerhalb eines Landes oder auch zwischen<br />
den Ländern identifiziert wird, unter anderem die folgenden Ursachen haben: Übersetzungsfehler,<br />
uneindeutige Bewertungsrichtlinien, Schwächen in der Rekrutierung oder im Training der Coder/innen.<br />
Auf Grund dieser vielfältigen Mängel, die durch Multiple Coding sichtbar gemacht werden können,<br />
nimmt es innerhalb des Feldtests eine besondere Bedeutung ein, da hier noch die Möglichkeit zur<br />
Behebung der entdeckten Mängel besteht. So werden im Feldtest die Hälfte der für das Coding bestimmten<br />
Schülerantworten dem Multiple Coding unterzogen. Dies stellt sicher, dass Mängel erkannt<br />
und durch geeignete Maßnahmen beseitigt werden, z. B. durch eindeutigere Bewertungsrichtlinien oder<br />
Änderung von Formulierungen.<br />
6.1.2 Erprobung der Prozeduren<br />
Die Prozeduren sind in Feld- und Haupttest grundsätzlich dieselben. Im Feldtest werden in Relation zum<br />
Haupttest allerdings mehr Testhefte dem Multiple Coding unterzogen. Die übrigen Prozeduren werden<br />
der geringeren Stichprobe (geringeren Anzahl an Schülerantworten) im Feldtest angepasst. Die wichtigsten<br />
Unterschiede im Feldtest gegenüber dem Haupttest sind dabei die folgenden:<br />
• geringere Anzahl an Coderinnen bzw. Codern (6 statt 25),<br />
• im Feldtest wurden nur Naturwissenschafts-Aufgaben vercodet, da für Naturwissenschaft als Hauptdomäne<br />
zahlreiche neue Items entwickelt und erprobt wurden; Mathematik- und Lese-Coding waren<br />
nicht erforderlich, da alle Aufgaben dieser Domänen von <strong>PISA</strong> 2003 übernommen wurden,<br />
• geringere Anzahl an Testhefen und Testheftformen, was mit weniger Testheftstößen einhergeht.<br />
Das Coding im Feldtest ist auf Grund der gleichen Prozeduren auch ein wichtiger Probedurchlauf für das<br />
Coding im Haupttest. So können Schwierigkeiten in der Organisation oder der Umsetzung bereits im<br />
Feldtest erkannt und im Haupttest vermieden werden. Dies gilt insbesondere auch für die im folgenden<br />
Seite 148<br />
VIII. Coding
Abschnitt erwähnten Qualitätssicherungsmaßnahmen, die sowohl im Feld- als auch im Haupttest durchgeführt<br />
werden.<br />
6.2 Qualitätssicherung und -kontrolle<br />
Alle Prozeduren zur Qualitätssicherung und -kontrolle werden durch internationale Richtlinien (vgl.<br />
Abschnitt 4 idK.) vorgegeben und müssen auf nationaler Ebene umgesetzt werden (vgl. Abschnitt 5 idK.).<br />
Dies stellt sicher, dass die folgenden Qualitätssicherungsmaßnahmen nach einem international einheitlichen<br />
(Mindest-)Standard ablaufen und dadurch die <strong>PISA</strong>-Leistungsdaten über die Teilnehmerländer hinweg<br />
vergleichbar werden. Die Abläufe werden hier nur mehr kurz und in Hinblick auf qualitätsrelevante<br />
Aspekte erwähnt, da sie bereits in den Abschnitten 4 und 5 detaillierter beschrieben wurden.<br />
• Kriteriumsorientierte Rekrutierung der Coder/innen: Coder/innen weisen Qualifikationen auf, die die<br />
Vertrautheit im Umgang mit Schülerantworten und die Vertrautheit mit dem Schulstoff der neunten<br />
und zehnten Schulstufe sicherstellen.<br />
• Standardisierte Coder-Schulungen und Tests: Die Coder-Workshops, im Speziellem die Diskussion über<br />
Codes für gewisse Schülerantworten, sind wesentliche Schritte für das einheitliche Coding. Dafür<br />
werden die standardisierten Workshop-Materialien und die Coding Guides verwendet. Zudem wird<br />
die Effektivität der Schulung überprüft, indem Coderinnen und Coder selbstständig Beispielantworten<br />
bewerten müssen und zu dieser Arbeit Rückmeldung bekommen, noch ehe sie mit dem Coding<br />
der Testhefte beginnen.<br />
• Rotierte Zuordnung von Testheften zu Codern und Coderinnen: Jedes Testheft gliedert sich in vier Aufgabenblöcke<br />
(Cluster), die von unterschiedlichen Coderinnen und Codern bewertet werden. Dies stellt<br />
sicher, dass keine Schülerin und kein Schüler von nur einer Coderin oder einem Coder beurteilt wird<br />
und weiters, dass keine Coderin und kein Coder alle oder viele Schülerantworten einer Schule/einer<br />
Schulform bewertet. Der systematische Einfluss von Coder-Effekten wird so minimiert.<br />
• Qualitätskontrolle beim Single Coding: Laufende Kontrolle der Arbeit der Coder/innen und damit verbundene<br />
Rückmeldungen stellen eine weitere Vereinheitlichung der Coder-Bewertungen sicher und<br />
machen Schwierigkeiten beim Coding bestimmter Antworten frühzeitig sichtbar und behebbar.<br />
• Multiple Coding: Das Coding jeder Schülerantwort unabhängig durch vier Coder/innen erfüllt in<br />
Feld- und Haupttest unterschiedliche Funktionen. Im Feldtest dienen Indikatoren der Beurteilerübereinstimmung<br />
vor allem der Qualitätskontrolle und -verbesserung der Bewertungsrichtlinien und<br />
der Coder-Schulung. Im Haupttest dient Multiple Coding der Kontrolle der Auswertungsobjektivität.<br />
Eine niedrige Beurteilerübereinstimmung indiziert hier mangelnde Datenqualität und schlechte<br />
Vergleichbarkeit der vergebenen Codes. Um eine Vergleichbarkeit der Daten sowohl auf nationaler<br />
als auch auf internationaler Ebene zu gewährleisten, ist daher eine hohe Beurteilerübereinstimmung<br />
erforderlich.<br />
Um sicherzustellen, dass Beurteilerübereinstimmungen der nationalen Coder/innen nicht durch systematische<br />
Coding-Fehler zu Stande gekommen sind, wird auf internationaler Ebene eine Inter-Country-Rater-<br />
Reliability-Study durchgeführt. Zu diesem Zweck muss jedes Teilnehmerland eine gewisse Anzahl von<br />
Multiple-Coding-Testheften an das internationale Projektzentrum senden. Dort werden die Multiple-<br />
Coding-Aufgaben dieser Testhefte durch Coding-Experten bewertet, die die Sprache des jeweiligen<br />
Landes beherrschen. Eine genaue Beschreibung dieser Prozedur findet sich in Abschnitt 4.2 in Kapitel<br />
XII. In anschließenden Analysen wird überprüft, wie sehr die Expertenurteile mit den Urteilen der<br />
Coder/innen der jeweiligen Länder übereinstimmen. Österreich sendete insgesamt 180 Multiple-Coding-<br />
Testhefte zur Inter-Country-Rater-Reliability-Study. Die Ergebnisse dieser Analysen werden zusammen<br />
mit den Kennzahlen der Beurteilerübereinstimmung der einzelnen Teilnehmerländer im internationalen<br />
Technischen <strong>Bericht</strong> publiziert.<br />
VIII. Coding<br />
Seite 149
Bibliografie<br />
Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden<br />
und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 211–257). Innsbruck: StudienVerlag.<br />
Bergmüller, S. (2004). Marking. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm<br />
[Datum des Zugriffs: 08.02.2007]<br />
Seite 150<br />
VIII. Coding
IX<br />
BERUFSKLASSIFIKATION<br />
Ursula Schwantner<br />
1. Berufsklassifikation nach ISCO<br />
1.1 Die ISCO-88, die ISCO-88 (COM) und die Ö-ISCO<br />
1.2 Konzeptioneller Rahmen der ISCO-88<br />
1.3 Aufbau der ISCO-88<br />
1.4 Codierregeln und Besonderheiten der ISCO-88<br />
1.5 Modifikationen der ISCO-88 nach Ganzeboom & Treiman (1996)<br />
1.6 Die ISCO-88 als Basis für den sozioökonomischen Status<br />
2. Die ISCO-Codierung bei <strong>PISA</strong> <strong>2006</strong><br />
2.1 Fragen zur berufl ichen Tätigkeit<br />
2.2 Internationale Richtlinien bei der Berufsklassifizierung<br />
2.3 Berufsklssifizierung auf nationaler Ebene<br />
2.4 Einschulung der ISCO-Coder/innen<br />
2.5 Vercodungsleistung und Analyse der Restkategorien<br />
3. Qualitätssicherung bei der ISCO-Codierung<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Reiter, 2001) und <strong>PISA</strong> 2003 (Wallner-Paschon, 2004). Die<br />
Autorin dieses Kapitels dankt Claudia Schreiner (geb. Reiter) und Christina Wallner-Paschon für die Bereitstellung der Texte.
Eine zentrale Variable im Hinblick auf die Analyse der Leistungsdaten stellt der sozioökonomische<br />
Status der Schüler/innen dar. Dieser wird mit Hilfe der Variable „Beruf der Eltern“ berechnet, welche<br />
im Schülerfragebogen enthalten ist. Die Schüler/innen werden gebeten, den Beruf der Mutter und des<br />
Vaters zu benennen (z. B. „Lehrerin“) und zu beschreiben (z. B. „unterrichtet Mathematik in einem<br />
Gymnasium“). Diese Bezeichnungen und Beschreibungen werden von geschulten Coderinnen und<br />
Codern klassifiziert, d. h. mit entsprechenden Codes versehen, die in weiterer Folge in Werte des sozioökonomischen<br />
Status (Social Economic Index – SEI) transformiert werden. Die Klassifikation der<br />
Berufe erfolgt mittels der International Standard Classification of Occupations (international standardisierte<br />
Berufsklassifikation) aus dem Jahr 1988, der „ISCO-88“. Dieses internationale Klassifikationsschema<br />
wird in <strong>PISA</strong> eingesetzt, um die daraus generierten Statuswerte (SEI) über die Teilnehmerländer<br />
hinweg vergleichen zu können. Im Folgenden werden die für <strong>PISA</strong> relevanten Anwendungsbezüge der<br />
Berufsklassifizierung sowie die Konzeption der ISCO-88 und die darauf aufbauende Skala des sozioökonomischen<br />
Status dargestellt. Danach wird die Vorgehensweise bei der Berufsklassifikation in <strong>PISA</strong> <strong>2006</strong><br />
erläutert. Abschließend werden die Maßnahmen zur Qualitätssicherung beschrieben.<br />
1. Berufsklassifikation nach ISCO<br />
1.1 Die ISCO-88, die ISCO-88 (COM) und die Ö-ISCO<br />
Im Jahr 1958 gab die ILO (International Labour Organisation) erstmals eine internationale Berufssystematik<br />
heraus (ISCO-58), um internationale Vergleiche von Arbeitsmarktstatistiken zu ermöglichen.<br />
Danach folgte die ISCO-68 und schließlich die ISCO-88 (ILO, 1990). Die Verwendung der ISCO-88 in<br />
<strong>PISA</strong> weist eine Reihe von Vorteilen auf: Zum einen ist die Klassifikation nach ISCO-88 weit verbreitet<br />
und in den meisten Teilnehmerländern in Verwendung. Zum anderen können viele nationale Berufsklassifikationssysteme<br />
problemlos in die ISCO-88 überführt werden. Des weiteren bauen eine Reihe<br />
von bereits vorhandenen und validierten Skalen des sozioökonomischen Status (SEI) auf die ISCO-88<br />
auf, womit die Möglichkeit gegeben ist, diese bereits vorliegenden und auf ihre Gültigkeit hin geprüften<br />
Skalen zur Transformation der ISCO-Codes in SEI-Werte einzusetzen.<br />
Für den Verwendungszweck in <strong>PISA</strong> wird eine geringfügig modifizierte Version der ISCO-88 von<br />
Ganzeboom & Treiman (1996) zur Berufsklassifizierung eingesetzt. Das internationale Zentrum stellt<br />
allen Teilnehmerländern eine Liste mit allen in <strong>PISA</strong> verwendeten ISCO-88-Codes (nach Ganzeboom<br />
& Treimann, 1996) zur Verfügung, anhand derer die jeweils vorliegende nationale ISCO-Version (falls<br />
vorhanden) ergänzt bzw. adaptiert werden kann. In <strong>PISA</strong> ist es den Teilnehmerländern zwar erlaubt, nationale<br />
Berufsklassifikationssysteme einzusetzen, jedoch muss sichergestellt sein, dass sich diese problemlos<br />
in ISCO-88-Codes umwandeln lassen, damit die einheitliche Transformation in SEI-Werte gewährleistet<br />
ist 1 .<br />
In Österreich sind für die Berufsklassifikation in <strong>PISA</strong> neben der ISCO-88 mit den Modifikationen<br />
von Ganzeboom & Treimann (1996) noch zwei weitere Klassifikationssysteme relevant: Die ISCO-88<br />
(COM), welche die für EU-Standards modifizierte Fassung der ISCO-88 darstellt und auch in deutscher<br />
Sprache vorliegt (Elias & Birch, 1991), sowie die Ö-ISCO (Österreich-ISCO), welche die Statistik<br />
Austria seit 1992 für Zwecke der österreichischen Berufsstatistik entwickelt und verwendet. Die Ö-ISCO<br />
baut auf der ISCO-88 sowie der ISCO-88 (COM) auf und beinhaltet nur geringfügige Spezifikationen.<br />
Im Folgenden wird das Konzept der internationalen Standardklassifikation der Berufe anhand der ISCO-<br />
88 näher erläutert, da dieses Schema die Basis für alle weiteren ISCO-Versionen darstellt.<br />
1.2 Konzeptioneller Rahmen der ISCO-88<br />
Die ISCO-88 ist so konzipiert, dass die Summe der Aufgaben und Pflichten, die von einer Person wahrzunehmen<br />
sind, die zu klassifizierende Einheit darstellt. Dabei wird nicht nur die formale Ausbildung berücksichtigt,<br />
sondern auch die Fähigkeiten, die im Laufe einer Berufskarriere erworben werden („training<br />
on the job“, Erfahrungswissen). Dieses Konzept wird Skill-Konzept genannt. Skills sind demnach all jene<br />
Seite 152<br />
IX. Berufsklassifikation
Fertigkeiten, die gebraucht werden, um die mit einer Arbeit verbundenen Aufgaben und Pflichten erfüllen<br />
zu können. Durch die Unterscheidung von Skill Level (Qualifikationsniveau) und Skill Specialisation<br />
(Art der ausgeübten Tätigkeit) ist es möglich, diese Fertigkeiten auf unterschiedlichen Hierarchieebenen<br />
zu relativ ähnlichen Kategorien zusammenzufassen. Für die hierarchische Gliederung innerhalb der ISCO<br />
werden vier Skill Levels definiert, welche die Ausbildungsstufen der International Standard Classification<br />
of Education 1997 (ISCED-97) repräsentieren. Abbildung IX.1 zeigt die vier Skill Levels mit den korrespondierenden<br />
Qualifikationsniveaus (ISCED-Kategorien).<br />
Skill Level 1 entspricht der Ausbildung im Primarbereich (Grundschule bzw. Volksschule). Skill Level 2<br />
umfasst die Ausbildung im Sekundarbereich I und II. Hier können zusätzlich eine betriebliche Ausbildung<br />
und das Sammeln von Berufserfahrung erforderlich sein, wie es zum Beispiel bei der Lehrlingsausbildung<br />
der Fall ist. Die nächste Gliederungskategorie – Skill Level 3 – umfasst die im Alter von 17 oder 18 Jahren<br />
beginnende Ausbildung mit einer Dauer von ungefähr vier Jahren. Bildungsgänge dieser Kategorie sind<br />
z. B. Kollegs und Akademien (für Sozialarbeit, Berufspädagogische Akademie, Pädagogische Akademie).<br />
Skill Level 4 enthält Ausbildungen, die zu einem Universitätsabschluss, einem Fachhochschulabschluss, einem<br />
Postgraduiertenabschluss oder einem gleichwertigen Abschluss führen (ILO, 1990; Wallner-Paschon,<br />
2004). Die Kategorie 4 der ISCED (Aufbaulehrgänge, Schulen für Gesundheits- und Krankenpflege,<br />
Schulen für med.-techn. Fachdienst sowie Universitätslehrgänge, die kürzer als 2 Jahre dauern) wurde in<br />
der ISCO-88 bewusst freigelassen (ILO, 1990).<br />
Skill Level<br />
1. Level<br />
2. Level<br />
3. Level<br />
4. Level<br />
Ausbildungsqualifikation nach ISCED-97<br />
ISCED 1:<br />
Primarausbildung (Volksschule, Sonderschule);<br />
Dauer ungefähr 4 Jahre<br />
ISCED 2 und 3:<br />
Sekundarausbildung (Unter- und Oberstufe), Lehre –<br />
betriebliche Ausbildung, Sammeln von Berufserfahrungen<br />
(HS, AHS, Sonderschule, BMS, BHS, Polytechnische<br />
Schule, Abendschule, Land- und Forstwirtschaftliche<br />
Schulen); Dauer zwischen 5 und 7 Jahren)<br />
ISCED 5B:<br />
Tertiäre Ausbildung mit einem Abschluss, der<br />
nicht mit einem Universitätsabschluss gleichwertig ist<br />
(Meister- und Werkmeisterausbildung, Kollegs, SozAk,<br />
PädAk); Dauer zwischen 3 und 4 Jahren<br />
ISCED 5A, 6:<br />
Tertiäre Ausbildung mit FH-Abschluss,<br />
erstem und/oder zweitem Universitätsabschluss,<br />
Postgraduiertenabschluss oder gleichwertigem<br />
Abschluss; Dauer zwischen 3 und 6 Jahren<br />
Mit Skill Specialisation wird hingegen das Gebiet bezeichnet, auf dem Kenntnisse erforderlich sind,<br />
um die jeweiligen Aufgaben kompetent ausführen zu können. Dazu gehören bestimmte Bereiche,<br />
Produktionsprozesse, Materialien, erzeugte Waren, die Art der Dienstleistungen etc. Je nach<br />
Differenzierungsgrad kann die Skill Specialisation weiter oder enger gefasst werden.<br />
1.3 Aufbau der ISCO-88<br />
Abbildung IX.1: Die ISCO-88 Skill-Levels in Anlehnung an die ISCED-97<br />
Die ISCO-88 ist in vier Ebenen gegliedert: Auf der ersten Ebene befinden sich die 10 Berufshauptgruppen<br />
(BHG), die hierarchisch angeordnet sind. Innerhalb dieser erfolgt jeweils eine weitere Untergliederung<br />
IX. Berufsklassifikation<br />
Seite 153
(auf Basis der Skill Specialisation) in insgesamt 28 Berufsgruppen auf der zweiten Ebene, 116 Berufsuntergruppen<br />
auf der dritten Ebene und letztlich 390 Berufsgattungen auf der vierten Gliederungsebene.<br />
Die hierarchische Gliederung auf der Hauptgruppenebene erfolgt anhand der vier Skill-Levels, wobei<br />
Berufshauptgruppe 1 (Gesetzgebende Körperschaften, leitende Verwaltungsbedienstete und Führungskräfte<br />
in der Privatwirtschaft) und 0 (Soldaten) nicht zugeordnet werden. Bei diesen beiden Hauptgruppen<br />
werden Aspekte der beruflichen Tätigkeit wie Leitungsfunktionen im politischen und wirtschaftlichen<br />
Bereich bzw. militärische Aufgaben als übergeordnete Abgrenzungskriterien herangezogen. Ein Verkäufer<br />
beispielsweise, der ein eigenes Geschäft besitzt, wird nicht Berufshauptgruppe 5 „Dienstleistungsberufe,<br />
Verkäufer in Geschäften und auf Märkten“ zugeordnet, sondern der Berufshauptgruppe 1 „Führungskräfte<br />
in der Privatwirtschaft“. Es wird damit der Tatsache Rechnung getragen, dass der Grad der Komplexität<br />
der Aufgaben bei einem Verkäufer im eigenen Geschäft höher ist, da er zusätzlich zur Verkaufstätigkeit<br />
auch Aufgaben eines Unternehmers zu tätigen hat. Abbildung IX.2 zeigt die 10 Berufshauptgruppen<br />
(BHG) mit den dazugehörigen Skill Levels.<br />
BHG Bezeichnung der Berufshauptgruppe Skill Level<br />
1<br />
Angehörige gesetzgebender Körperschaften, leitende<br />
Verwaltungsbedienstete und Führungskräfte in der Privatwirtschaft<br />
–<br />
2 Wissenschafter 4<br />
3 Techniker und gleichrangige nichttechnische Berufe 3<br />
4 Bürokräfte, kaufmännische Angestellte 2<br />
5 Dienstleistungsberufe, Verkäufer in Geschäften und auf Märkten 2<br />
6 Fachkräfte in der Landwirtschaft und Fischerei 2<br />
7 Handwerks- und verwandte Berufe 2<br />
8 Anlagen und Maschinenbediener sowie Montierer 2<br />
9 Hilfsarbeitskräfte 1<br />
[ – ]<br />
0 Soldaten<br />
Abbildung IX.2: Berufshauptgruppen der ISCO-88 mit den zugehörigen Skill Levels (Wallner-Paschon, 2004)<br />
Auf der untersten Gliederungsebene der Berufsgattungen werden Berufe bzw. berufliche Tätigkeiten zusammengefasst,<br />
die hinreichend ähnlich sind, um für statistische Zwecke als eine Einheit betrachtet zu<br />
werden. Die Berufsgattung repräsentiert die berufliche Tätigkeit (erfasst durch Berufsbezeichnung und<br />
Beschreibung) und stellt die zu klassifizierende Einheit dar.<br />
Die vier Gliederungsebenen der ISCO werden durch den vierstelligen ISCO-Code abgebildet. Die erste<br />
Stelle des Codes steht für die Berufshauptgruppe, die zweite für die Berufsgruppe, die dritte für die<br />
Berufsuntergruppe und die vierte Stelle für die Berufsgattung. Die Vollständigkeit des Codes repräsentiert<br />
demnach die Präzision, mit der ein Beruf erfasst wurde. Im Folgenden wird dies anhand des Berufs<br />
„Diplomkrankenschwester“ demonstriert:<br />
Code: Gliederungsebene:<br />
3000 Berufshauptgruppe 3: Techniker und gleichrangige nichttechnische Berufe<br />
3200 Berufsgruppe 32: Biowissenschaftliche- und Gesundheitsfachkräfte<br />
3230 Berufsuntergruppe 323: Diplomierte Krankenschwestern, -pfleger und Geburtshilfefachkräfte<br />
ohne akademische Ausbildung<br />
3231 Berufsgattung: Diplomierte Krankenschwestern und -pfleger<br />
Seite 154<br />
IX. Berufsklassifikation
1.4 Codierregeln und Besonderheiten der ISCO-88<br />
Obwohl die vier Gliederungsebenen und die einzelnen Berufsgattungen im ISCO-88-Manual sehr präzise<br />
erläutert und definiert sind, erfordert die Anwendung eines derartig komplexen Klassifizierungsschemas<br />
zusätzliche Regeln.<br />
Berufliche Tätigkeiten, deren Aufgaben und Pflichten gleichzeitig mehreren Berufshauptgruppen zugeordnet<br />
werden könnten, sollen durch die Anwendung folgender Prioritätenregeln klassifiziert werden:<br />
• In Fällen, in denen Aufgaben und Pflichten mit unterschiedlichen Prozessstadien (Produktion, Dienstleistung<br />
etc.) verbunden sind, haben jene Aufgaben und Pflichten Vorrang, die mit dem Produktionsprozess<br />
in Verbindung stehen. Zum Beispiel soll ein Arbeiter, der Brot und Kuchen bäckt und diese<br />
dann auch verkauft, als Bäcker, und nicht als Verkäufer klassifiziert werden.<br />
• In Fällen, in denen Aufgaben bzw. Pflichten Fähigkeiten auf unterschiedlichen Skill Levels erfordern,<br />
sollen jene mit dem höchsten Skill Level vercodet werden. Zum Beispiel soll eine Person, die im eigenen<br />
Restaurant kocht, nicht als Koch, sondern als „Leiter kleiner Unternehmen – Restaurants und<br />
Hotels“ klassifiziert werden.<br />
Ein weiteres Reglement, welches im ISCO-Manual festgelegt ist, bezieht sich auf Auszubildende, wie<br />
z. B. Lehrlinge, sowie sonstige Personen, die in die Berufsausbildung involviert sind (z. B. Meister oder<br />
Lehrlingsausbildner). Diese Personen sind entsprechend ihren tatsächlichen Aufgaben und Pflichten<br />
zu codieren, was bedeutet, sowohl den Malermeister als auch den Malerlehrling als Maler zu klassifizieren<br />
(vgl. Wallner-Paschon, 2004). Eine Besonderheit der Klassifikation nach ISCO-88 stellt die<br />
Unterscheidung in „Leiter“ großer und kleiner Unternehmen dar: große Unternehmen beschäftigen 10<br />
oder mehr Mitarbeiter, kleine Unternehmen beschäftigen 0–9 Mitarbeiter. Achtgegeben werden muss<br />
u. a. auf Tätigkeiten in der öffentlichen Verwaltung, die auf Grund der Tätigkeitsbeschreibung sowohl<br />
BHG 1 (Angehörige gesetzgebender Körperschaften und leitende Verwaltungsbedienstete), BHG 2<br />
(Wissenschaftliche Verwaltungsfachkräfte des öffentlichen Dienstes), BHG 3 (Verwaltungssekretäre und<br />
Fachkräfte) als auch BHG 4 (Sonstige Büroangestellte) zugeordnet werden können. Auch die Zuordnung<br />
von Tätigkeiten in der Land- und Forstwirtschaft und Fischerei kann je nach Spezialisierung in die<br />
Berufshauptgruppen 1, 2, 3, 6, 8 oder 9 erfolgen, in Österreich kommt jedoch hauptsächlich BHG 6<br />
(Landwirte/Bauern) zur Anwendung.<br />
Berufsangaben die zu ungenau sind, um einer spezifischen Gattung zugeordnet werden zu können, werden<br />
bei der ISCO-Codierung der nächst höheren Abstraktionsstufe zugeordnet (z. B. Lehrer/in erhält<br />
Code 2300 wenn die Unterscheidung in Primarstufe [Code 2330] und Sekundarstufe [Code 2320] nicht<br />
gegeben ist). Bei manchen Berufsuntergruppen gibt es auch die Kategorie „anderweitig nicht genannt“.<br />
Diese kann dann gewählt werden, wenn ein Beruf zwar detailliert erfasst wird, jedoch nicht aufgelistet ist<br />
(z. B. Produktions- und Operationsleiter anderweitig nicht genant).<br />
Die Einhaltung der Prioritätenregeln und Beachtung der Besonderheiten ist wesentlich für die Genauigkeit<br />
der ISCO-Codierung und wird daher bei der Einschulung der Coder/innen besonders berücksichtigt<br />
(siehe unten).<br />
1.5 Modifikationen der ISCO-88 nach Ganzeboom und Treiman (1996)<br />
Für die Zwecke in <strong>PISA</strong> fällt Berufshauptgruppe 0 (Soldaten) weg, da die militärischen Berufsgattungen<br />
anderen Hauptgruppen zugeordnet sind (Ganzeboom & Treiman, 1996). Ebenso gibt es keine Kategorie<br />
„Wissenschaftliche Verwaltungsfachkräfte des öffentlichen Dienstes“ innerhalb BHG 2, diese müssen<br />
weiterhin nach ihrer Tätigkeit (unabhängig vom öffentlichen Dienst) klassifiziert werden (Ganzeboom &<br />
Treiman, 1996).<br />
1.6 Die ISCO-88 als Basis für den sozioökonomischen Status<br />
Unter „Status“ wird hier die Position einer Person in Relation zur Position anderer Personen verstanden.<br />
Der Status stellt somit die Position von Menschen in einem hierarchischen Zusammenhang dar.<br />
Umgelegt auf den sozialen Status meint man demnach die Positionierung von Personen in der Hierarchie<br />
IX. Berufsklassifikation<br />
Seite 155
der Gesellschaft, in der sie<br />
sich bewegen. Wird der soziale<br />
Status über die empirischen<br />
Dimensionen Beruf, Bildung<br />
(Schul- und Berufsbildung)<br />
und Einkommen erhoben,<br />
spricht man nicht mehr vom<br />
sozialen, sondern vom sozioökonomischen<br />
Status. Dabei<br />
wird der Beruf als Bindeglied<br />
zwischen Bildung und<br />
Einkommen verstanden (siehe<br />
Abbildung IX.3). Es wird<br />
davon ausgegangen, dass jede<br />
berufliche Tätigkeit einen bestimmten<br />
Bildungsgrad erfordert<br />
und durch ein bestimmtes<br />
Lohnniveau gekennzeichnet ist<br />
(Wallner-Paschon, 2004).<br />
Der sozioökonomische Status<br />
der Familie, aus der dieSchüler/innen<br />
stammen, wird in <strong>PISA</strong> durch den ISEI (International Socio-Economic Index, ISEI kurz SEI)<br />
operationalisiert und nach der Methode von Ganzeboom, de Graff und Treimann (1992) skaliert. Die<br />
SEI-Skala nach Ganzeboom, de Graff und Treimann (1992) kombiniert Informationen über den Beruf,<br />
das Einkommen und die Bildung. Die Skala ist so konstruiert, dass ein hoher SEI-Wert mit einem hohen<br />
sozioökonomischen Status einhergeht. Technisch ist die SEI-Skala an die Berufsgattungen der ISCO-88<br />
gebunden, was bedeutet, dass die Status-Werte auf der Basis der ISCO-Codes generiert werden. Dabei<br />
werden die vierstelligen ISCO-Codes durch Recodierungsanweisungen in die jeweiligen SEI-Werte transformiert.<br />
Indem der sozioökonomische Status eine wichtige Erklärungsvariable für die Schülerleistungen<br />
darstellt, kommt der ISCO-Codierung indirekt über die Generierung der SEI-Werte ein wichtiger<br />
Stellenwert zu.<br />
Der theoretische Hintergrund der SEI-Skala nach Ganzeboom, de Graff und Treimann (1992) sowie die<br />
Skalenkonstruktion sind bei Wallner-Paschon, 2004, Kapitel IX näher beschrieben.<br />
2. Die ISCO-Codierung bei <strong>PISA</strong> <strong>2006</strong><br />
2.1 Fragen zur beruflichen Tätigkeit<br />
Alter<br />
Ausbildung<br />
Beruf<br />
indirekter Effekt<br />
direkter Effekt<br />
Einkommen<br />
Abbildung IX.3: Pfadanalytisches Modell mit dem Beruf als intervenierende<br />
Variable (Wallner-Paschon, 2004)<br />
Der Beruf der Eltern wird in <strong>PISA</strong> durch offene Fragen erfasst, was auf Grund der zu erwartenden<br />
Vielzahl an unterschiedlichen Antworten einer allgemein üblichen Vorgehensweise entspricht. Gefragt<br />
wird nach dem Beruf beider Elternteile (Vater und Mutter), wobei zuerst nach der Berufsbezeichnung<br />
und anschließend nach der Tätigkeitsbeschreibung gefragt wird (siehe Abbildung IX.4). Antworten zu<br />
beiden Fragen – Berufsbezeichnung sowie der dazugehörigen Tätigkeitsbeschreibung – stellen die zu klassifizierende<br />
Einheit, also die berufliche Tätigkeit, dar. Zusätzlich enthält der Schülerfragebogen eine Frage<br />
nach den beruflichen Plänen der Schüler/innen, die nach demselben Schema vercodet wird, wobei aber<br />
nur die Berufsbezeichnung als Information für die Klassifizierung zur Verfügung steht (Wallner-Paschon,<br />
2004).<br />
Seite 156<br />
IX. Berufsklassifikation
Erfassung der Berufe in <strong>PISA</strong> <strong>2006</strong><br />
5a. Welchen Beruf übt deine Mutter aus?<br />
(z. B. Volksschullehrerin, AHS-Lehrerin, Küchengehilfin, Verkaufsleiterin)<br />
(Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte an, welchen Beruf sie zuletzt ausgeübt hat.)<br />
Beruf:______________________________________________________<br />
5b. Was macht deine Mutter in diesem Beruf?<br />
(z. B. in einer Volksschule unterrichten, in einer AHS unterrichten, hilft dem Koch in einem<br />
Restaurant beim Kochen, ein Verkaufsteam leiten)<br />
Beschreib bitte die Tätigkeiten in einigen Worten. Wenn deine Mutter derzeit nicht berufstätig ist, gib bitte<br />
an, was sie in ihrer letzten Arbeit gemacht hat.<br />
8a. Welchen Beruf übt dein Vater aus?<br />
(z. B. Volksschullehrer, AHS-Lehrer, Küchengehilfe, Verkaufsleiter)<br />
(Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an, welchen Beruf er zuletzt ausgeübt hat.)<br />
Beruf:______________________________________________________<br />
8b. Was macht dein Vater in diesem Beruf?<br />
(z. B. in einer Volksschule unterrichten, in einer AHS unterrichten, hilft dem Koch in einem<br />
Restaurant beim Kochen, ein Verkaufsteam leiten)<br />
Beschreib bitte die Tätigkeiten in einigen Worten. Wenn dein Vater derzeit nicht berufstätig ist, gib bitte an,<br />
was er in seiner letzten Arbeit gemacht hat.<br />
30. Was meinst du, welchen Beruf du mit 30 Jahren haben wirst?<br />
Beruf:______________________________________________________<br />
Abbildung IX.4: Fragen zum Beruf der Eltern sowie zu den beruflichen Plänen der Schüler/innen in <strong>PISA</strong> <strong>2006</strong><br />
2.2 Internationale Richtlinien bei der Berufsklassifizierung<br />
Im Gegensatz zur Vercodung der Testaufgaben (vgl. Kapitel VIII) wird für die Berufscodierung ein relativ<br />
flexibles Coding-Instrument benötigt, das die Unterschiede in den Teilnehmerländern ausreichend<br />
berücksichtigt. Von internationaler Seite gibt es daher eine verbindliche Forderung, die Angaben der<br />
Schüler/innen nach ISCO-88 inklusiv geringfügiger Modifizierungen (Ganzeboom & Treiman, 1996),<br />
welche im <strong>PISA</strong>-<strong>2006</strong>-Data-Management-Manual festgelegt sind, zu vercoden. Die Codieranweisungen<br />
sind dem ISCO-Manual der ILO (1990) zu entnehmen sowie nationale Ergänzungen bzw. nationale<br />
Versionen der ISCO-88 – soweit vorhanden – einzubeziehen.<br />
Die Umsetzung dieser Forderung wird sichergestellt, indem bei der Dateneingabe bzw. beim Datenimport<br />
in die Software KeyQuest (vgl. Abschnitt 2 in Kapitel X) nur Zahlenkombinationen des Kategoriensystems<br />
ISCO-88 akzeptiert werden. Das Hinzufügen einzelner Berufskategorien bzw. Codes ist zwar möglich,<br />
muss aber zuvor mit dem internationalen Zentrum abgesprochen werden und ist nur dann sinnvoll, wenn<br />
für den hinzugefügten Code auch ein korrespondierender Wert auf der SEI-Skala vorhanden ist. Falls<br />
Länder nach einem anderen Berufsklassifizierungssystem vorgehen, müssen diese Codes in die ISCO-88<br />
überführt werden. Im Folgenden werden die internationalen Richtlinien für die ISCO-Codierung in<br />
<strong>PISA</strong> <strong>2006</strong> näher erläutert.<br />
IX. Berufsklassifikation<br />
Seite 157
• Die Schülerantworten sind wie bereits in vorhergehenden <strong>PISA</strong> Zyklen im Programm Excel einzugeben.<br />
Dazu werden Stratum-, Schul- und Schüler-ID aus KeyQuest nach Excel exportiert, um die<br />
Daten zuordnen und später wieder rückimportieren zu können. Der Beruf der Mutter und des Vaters<br />
sowie die dazugehörenden Tätigkeitsbeschreibungen werden vom Dateneingabepersonal aus den<br />
Schülerfragebögen wörtlich abgetippt. Das File steht dann den ISCO-Coderinnen und -Codern zur<br />
Verfügung.<br />
• Eine neue Richtlinie für die ISCO-Codierung in <strong>PISA</strong> <strong>2006</strong> ist die Identifikation von Schlüsselwörtern<br />
aus der zu klassifizierenden Einheit, die eine eindeutige Zuweisung zu einer Berufsgattung<br />
ermöglichen. Zu diesem Zweck wird von internationaler Seite empfohlen, einen Index zu erstellen,<br />
der sich aus folgenden Informationen zusammensetzt: einem funktionellen Wort, einem ersten qualifizierenden<br />
Wort und einem zweiten qualifizierenden Wort. Diese werden aus der zu klassifizierenden<br />
Einheit ermittelt, wobei das funktionelle Wort aus der Berufsbezeichnung und die qualifizierenden<br />
Wörter aus der Tätigkeitsbeschreibung – soweit vorhanden – identifiziert werden. Z. B. „Meine Mutter<br />
ist Lehrerin.“ „Sie unterrichtet an einem Gymnasium Mathematik“: als funktionales Wort wird<br />
„Lehrerin“ angegeben, als erstes qualifizierendes Wort „Gymnasium“ und als zweites qualifizierendes<br />
Wort „Mathematik“.<br />
• Die Coder/innen sollen zur Interpretation der Schülerantworten nur die gegebenen Informationen<br />
aus der Berufsbezeichnung und Beschreibung heranziehen und mit der Identifikation des funktionellen<br />
Wortes (Berufsbezeichnung) beginnen. Wenn die Information aus der Antwort zur Berufsbezeichnung<br />
für eine vollständige Codierung ausreichend ist, brauchen keine Informationen mehr aus<br />
der Berufsbeschreibung angefügt werden. Falls die Berufsbezeichnung unklar, unspezifisch oder nicht<br />
ausreichend für eine vollständige Codierung ist, sollen die qualifizierenden Wörter ergänzend zur<br />
Interpretation herangezogen werden.<br />
• Falls bei der Berufsbezeichnung mehr als ein Beruf angegeben ist und die Informationen aus der Beschreibung<br />
nicht hilfreich sind, soll die Coderin/der Coder den erstgenannten Beruf wählen. Falls die<br />
Berufsbeschreibung jedoch die Aufgabe spezifiziert, soll diese berücksichtigt werden.<br />
• Jede zu klassifizierende Einheit soll möglichst bis zur untersten Ebene codiert werden (vierstelliger<br />
Code). Ist dies nicht möglich, soll auf dem nächsthöheren Level codiert werden.<br />
• Über diese Richtlinien hinaus gelten die Codierregeln nach ISCO-88, welche im Handbuch der ILO<br />
(1990) beschrieben sind (siehe Abschnitt 1.4 idK.).<br />
Als Unterstützung bei problematischen Schülerantworten oder schwer zu klassifizierenden beruflichen<br />
Tätigkeiten können per Mail Anfragen an das internationale Zentrum gestellt werden, die von einem<br />
Experten/einer Expertin behandelt werden. Es wird jedoch empfohlen, in erster Linie auf nationaler<br />
Ebene einen externen Berater/eine externe Beraterin zu konsultieren, da auf internationaler Ebene nicht<br />
für jedes Teilnehmerland ein Experte/eine Expertin für die unterschiedlichen nationalen Arbeitsmärkte<br />
vorhanden ist.<br />
Internationale Richtlinien für die Einschulung der ISCO-Coder/innen<br />
Bezüglich der Einschulung der ISCO-Coder/innen empfiehlt das internationale Zentrum ein Team<br />
aus 2–6 Personen unter der Leitung einer Supervisorin/eines Supervisors am nationalen Zentrum<br />
(NPM, Data Manager oder eine Person, die Erfahrung mit der Berufsvercodung hat) einzusetzen. Im<br />
Verantwortungsbereich der Supervisorin/des Supervisors liegt die Auswahl und das Training der Coder/<br />
innen, die Unterstützung bei der Vercodung, die Abwicklung von Queries (Anfragen an internationale<br />
Expertinnen und Experten) sowie die Qualitätskontrolle bei der Vercodung.<br />
Im Folgenden wird die Organisation der ISCO-Codierung in Österreich, das Vorgehen bei der Vercodung<br />
und die Einschulung der Coder/innen auf nationaler Ebene näher erläutert.<br />
Seite 158<br />
IX. Berufsklassifikation
2.3 Berufsklassifizierung auf nationaler Ebene<br />
Für die Berufsklassifizierung in <strong>PISA</strong> <strong>2006</strong> in Österreich wurde die Ö-ISCO mit den Modifikationen, die<br />
das internationale Zentrum vorsieht (Ganzeboom & Treiman, 1996), eingesetzt. Die Ö-ISCO wird seit<br />
1992 von der Statistik Austria für Zwecke der österreichischen Berufsstatistik entwickelt und verwendet.<br />
Die Ö-ISCO basiert auf der ISCO-88 sowie auf der ISCO-88 (COM).<br />
Auf Grund der Erfahrungen mit der ISCO-Codierung aus <strong>PISA</strong> 2000 und 2003 wurden Überlegungen<br />
angestellt, wie die ISCO-Codierung hinkünftig stärker automatisiert ablaufen könnte. Zum einen ist<br />
eine Vielzahl an Schülerantworten bereits auf Grund der Berufsbezeichnung eindeutig zuordenbar (z. B.<br />
Verkäufer/in, Diplomkrankenschwester/Diplomkrankenpfleger, Bäcker/in etc. oder z. B. auch Hausfrau/<br />
mann), wobei die Coder/innen viel Zeit dafür aufwenden, den korrespondierenden Code im Manual<br />
ausfindig zu machen und einzutragen. Eine automatische Einspielung der Codes würde demnach eine<br />
Zeitersparnis und Vereinfachung für die Coder/innen darstellen. Zum anderen erhöht die automatische<br />
Einspielung der Codes die Übereinstimmung bei der Vercodung, da eine bestimmte Berufsbezeichnung<br />
auf jeden Fall den gleichen Code erhält.<br />
Im Rahmen des Feldtests wurde daher recherchiert, welche Form der automatischen Vercodung für die<br />
Anwendung in <strong>PISA</strong> geeignet ist und am nationalen Zentrum umgesetzt werden kann. Zusätzlich zur<br />
Sichtung der einschlägigen Literatur wurde Kontakt mit Expertinnen und Experten für Berufsvercodung<br />
der Statistik Austria und ZUMA 2 (Zentrum für Umfragen, Methoden und Analysen) aufgenommen,<br />
wodurch Informationen zur automatischen Vercodung sowie Erfahrungen aus erster Hand eingeholt<br />
werden konnten.<br />
Die Recherchen ergaben, dass für den Verwendungszweck in <strong>PISA</strong> eine halb-automatisierte Vercodung<br />
auf Basis einer Datenbank (mit einem „Wörterbuch“, welches speziell für die Zwecke in <strong>PISA</strong> entwickelt<br />
wird) sinnvoll ist (Lay, 1997; Hartmann & Schütz, 2002; Hoffmeyer-Zlotnik et al., 2004; Geis<br />
& Hoffmeyer-Zlotnik, 2000). Dafür sprechen neben Aspekten der Qualitätssicherung (u. a. Steigerung<br />
der Übereinstimmung) die hohe Menge an zu codierenden Daten, die regelmäßige Durchführung der<br />
Erhebungen sowie das spezifische Antwortverhalten der Zielgruppe (Schüler/innen, die Auskunft über<br />
den Beruf ihrer Eltern geben).<br />
Halb-automatisiert bedeutet, dass nach wie vor eine Coderin/ein Coder die Schülerantworten entschlüsselt<br />
und diese nicht vollständig und allein auf Grund der angegebenen Berufsbezeichnung codiert werden.<br />
Dieser Zwischenschritt ist notwendig, um der hierarchischen Struktur der ISCO bzw. dem Skill-Konzept<br />
gerecht zu werden. Z. B. wird dies beim Berufsbild „Lehrer/in“ sichtbar, wo zwischen „Lehrer/in des<br />
Primarbereichs“ und „Lehrer/in des Sekundarsbereichs“ unterschieden wird. Eine alleinige Zuordnung<br />
über Berufsbenennungen (z. B. „Lehrer/in“) würde der Logik der ISCO widersprechen, da das Skill-<br />
Konzept auf komplexen Berufsbildern aufbaut (Hoffmeyer-Zlotnik et al., 2004). Zur Identifikation der<br />
Schlüsselwörter sind daher nach wie vor Kenntnisse über die hierarchische Struktur des Kategoriensystems<br />
und das Skill-Konzept der ISCO sowie die Anwendung der spezifischen Codierregeln notwendig.<br />
Anstatt jedoch bisher direkt einen Code zu vergeben, identifizieren die Coder/innen aus der Schülerantwort<br />
Schlüsselwörter, die anschließend automatisch den korrespondierenden Code zugespielt bekommen. Der<br />
Vorteil dieser Vorgehensweise liegt zum einen in der Vereinfachung und Zeitersparnis, die dadurch entstehen,<br />
dass die Coder/innen nicht mehr im Manual nach einem Code suchen müssen. Zum anderen<br />
ist gewährleistet, dass für ein und dieselben Schlüsselwörter immer der gleiche Code vergeben wird. Im<br />
Folgenden wird die Entwicklung der Datenbank und die Vorgehensweise bei der Vercodung bei <strong>PISA</strong><br />
<strong>2006</strong> näher beschrieben.<br />
2.3.1 Entwicklung der nationalen <strong>PISA</strong>-ISCO-Datenbank<br />
Im Rahmen des Feldtests 2005 wurde für die Berufsklassifizierung in <strong>PISA</strong> eine Datenbank aufgebaut,<br />
die eine halb-automatisierte Vercodung ermöglicht 3 . Der Einsatz der Datenbank wurde im Feldtest erprobt,<br />
und die Inhalte anschließend überarbeitet und ergänzt. Ebenso wurde die Einschulung angepasst.<br />
Die Datenbank basiert auf der Ö-ISCO, enthält die Ergänzungen des internationalen <strong>PISA</strong>-Zentrums<br />
IX. Berufsklassifikation<br />
Seite 159
(Ganzeboom & Treiman, 1996) und bezieht sich darüber hinaus auf Daten der ISCO-Codierung in <strong>PISA</strong><br />
2000 und 2003 sowie im Feldtest 2005. Die Datenbank ist so aufgebaut, dass die vier Ebenen der ISCO<br />
repräsentiert werden, indem je nach Spezifikation des Indexeintrags der korrespondierende Code eingespielt<br />
wird. Insgesamt besteht die ISCO-Datenbank für <strong>PISA</strong> <strong>2006</strong> aus 2079 Einträgen. Korrespondierend<br />
zur Datenbank gibt es ein ISCO-Manual, welches alle Indexeinträge enthält und den Coderinnen und<br />
Codern als Grundlage bzw. Nachschlagewerk für die Codierung dient.<br />
2.3.2 Funktionsweise und Vorgehen bei der datenbankbasierten Vercodung<br />
Die ISCO-Datenbank ist in Excel angelegt und wird auch hier verwaltet. Die Daten können nach Code<br />
oder nach Berufsbezeichnung sortiert werden, wodurch die Datenbank einfach überprüft und bearbeitet<br />
werden kann. Enthalten sind alle in <strong>PISA</strong> vorgesehenen ISCO-Codes mit den korrespondierenden<br />
Berufsbezeichnungen, wobei für jeden Code eine bis mehrere Berufsbezeichnung/en enthalten sind. Dies<br />
ergibt sich aus der Differenzierung, die auf Grund der Daten von vercodeten Schülerantworten aus vor-<br />
Die Schülerantworten werden<br />
vom Dateneingabepersonal<br />
wortwörtlich abgeschrieben<br />
Die ISCO-Coder/innen<br />
identifizieren die funktionalen<br />
und qualifizierenden<br />
Wörter und geben diese ein<br />
Der ISCO-Code<br />
wird automatisch<br />
eingespielt<br />
Beruf Mutter Beschreibung Beruf Mutter Text_Coder/in ISCO-Code<br />
Buchhalterin Büroarbeiten / Buchhaltung Buchhalterin 3433<br />
Buchhälterin<br />
Mit dem Computer arbeiten. Sie<br />
muss Sachen buchen Buchhalterin 3433<br />
Buffetkraft bereitet essen für eine Firma vor Buffethilfe 9132<br />
Dipl. Pädagogin Volkschule Unterrichten Lehrerin VS 2331<br />
Diplom Krankenschwester<br />
betreut kranke Menschen im<br />
Krankenhaus Krankenschwester 3231<br />
Dolmetscherin Übersetzungen im Gericht Dolmetscherin 2444<br />
Dr. med. Ärztin für HNO<br />
in einer Praxis arbeiten , Ihr gehört<br />
diese Ärztin 2221<br />
Drogistin betreut die Kunden Drogistin 5220<br />
Einzelhandelskauffrau Meine Mutter verkauft Schuhe Verkäuferin 5220<br />
Einzelhandelskauffrau Regale aufräumen, Kunden helfen Verkäuferin 5220<br />
Einzelhandelskauffrau An der Kassa arbeiten (BIPA) Verkäuferin 5220<br />
Friseur Haare schneiden Frisörin 5141<br />
Friseurin Sie macht anderen Leuten die Haare Frisörin 5141<br />
Friseurin Sie schneidet und stailt Haare Frisörin 5141<br />
Hauptschullehrerin<br />
Sie unterrichtet an einer<br />
Hauptschule. Lehrerin HS 2321<br />
Hauptschullehrerin in einer Hauptschule unterrichten Lehrerin HS 2321<br />
Hausbesorger Stiegen waschen Hausmeisterin 9141<br />
Hausfrau Kochen, putzen, Waschen etc. Hausfrau 9501<br />
funktionales Wort<br />
qualifizierendes Wort<br />
Abbildung IX.5: Datenbankbasierte Berufsklassifikation in <strong>PISA</strong> <strong>2006</strong> (Excel-File)<br />
Seite 160<br />
IX. Berufsklassifikation
hergehenden <strong>PISA</strong>-Erhebungen und der Beschreibungen im ISCO-Manual vorgenommen wird. Z. B.<br />
erhalten sowohl die Bezeichnungen „Chirurg“, „praktischer Arzt“ oder „Notarzt“ den Code 2221 der<br />
Berufsgattung „Ärzte“.<br />
Für die Dateneingabe erhielten die ISCO-Coder/innen ein vorbereitetes Excel-File, in dem je ein<br />
Tabellenblatt mit Berufsbezeichnungen und die Berufsbeschreibungen der Mutter, des Vaters und dem<br />
Beruf der Schüler/innen mit 30 Jahren enthalten sind – alphabetisch sortiert nach der Berufsbezeichnung.<br />
Die ISCO-Datenbank wurde in einem weiteren Tabellenblatt eingefügt. Die einzelnen Files wurden nach<br />
Stratum-, Schul- und Schüler-ID identifiziert.<br />
Aufgabe der Coder/innen war es nun, in der Spalte „Text_Coder/in“ das identifizierte funktionale Wort<br />
(bzw. die identifizierten funktionalen und qualifizierenden Wörter) einzugeben. Der korrespondierende<br />
ISCO-Code wurde dann automatisch dazugespielt. Zur Veranschaulichung ist in Abbildung IX.5 ein<br />
Ausschnitt eines Excel-Files zur Berufsvercodung in <strong>PISA</strong> <strong>2006</strong> dargestellt.<br />
Die Zuteilung der Files zu Coderinnen und Codern erfolgte in drei Etappen, die sich nach der<br />
Fragebogenform richteten (A, B, C). In Absprache mit den Coderinnen und Codern wurde vereinbart,<br />
dass jede/r pro Fragebogenform den annähernd gleichen alphabetischen Abschnitt zugeteilt bekommt.<br />
Dies hatte den Vorteil, dass die Coder/innen viele gleiche Berufe zu vercoden hatten, wodurch die<br />
Identifikation der Schlüsselwörter erleichtert wurde und die Coder/innen schneller voran kamen.<br />
Während der Codierphase wurde die Datenbank bei Bedarf von der Supervisorin erweitert und mit Hilfe<br />
verschiedener Kontrollfunktionen (u. a. in Access) laufend überprüft. Die Ergänzungen wurden jeweils<br />
mit den neuen Files an die Coder/innen gesendet.<br />
Jedes eingegangene File wurde von der Supervisorin vollständig kontrolliert. Jeder Eintrag, der von einer<br />
Coderin/einem Coder markiert wurde oder von der Supervisorin geändert wurde, wurde an die Coderin/<br />
den Coder rückgemeldet und bei Unklarheit mit der Supervisorin diskutiert.<br />
2.4 Einschulung der ISCO-Coder/innen<br />
In Anlehnung an die Empfehlungen des internationalen Zentrums wurden sechs Personen für die ISCO-<br />
Codierung ausgewählt und eingeschult. Zur Einschulung zählte neben dem gezielten Training vor dem<br />
Haupttest auch die ISCO-Codierung im Feldtest. Daher wurde bei der Auswahl der Coder/innen darauf<br />
geachtet, dass diese sowohl am Feld- als auch am Haupttest teilnahmen. Zudem wurden gezielt Personen<br />
angesprochen, die bereits in früheren <strong>PISA</strong>-Erhebungen als ISCO-Coder/in tätig waren.<br />
Während der Feldtest überwiegend der Erprobung der Prozeduren der datenbankbasierten Vercodung<br />
diente, lag der Schwerpunkt der Einschulung im Haupttest auf dem gezielten Training der Anwendung<br />
der ISCO und der datenbankbasierten Vercodung.<br />
Das Training für den Haupttest beinhaltete eine vierstündige Einschulung sowie das Codieren von<br />
Datensätzen zu Übungszwecken mit anschließender individueller Besprechung. Die Coder/innen bereiteten<br />
sich anhand von Kurzinformationen über die Konzeption sowie Beschreibungen und Erläuterungen<br />
der Ö-ISCO (Statistik Austria) auf die Einschulung vor. Die Schulung selbst bestand aus folgenden<br />
Bereichen:<br />
1. Einführung in das Kategoriensystem ISCO<br />
Schwerpunkt der Einführung stellte die Erläuterung des Skill-Konzepts und der hierarchischen Gliederung<br />
des Kategoriensystems dar sowie die Besprechung der Besonderheiten und Prioritätenregeln.<br />
Weiters wurden die speziellen Codes zur näheren Beschreibung der Restkategorien, die speziell in<br />
<strong>PISA</strong> eingesetzt werden (z. B. Hausfrau/Hausmann, Schüler/in, Student/in, Arbeitslos, „Ich weiß<br />
nicht“), behandelt. Ein weiterer zentraler Aspekt der Einführung war es, die Bedeutung der Hintergrundvariable<br />
„Beruf der Eltern“ für die Berechnung des sozioökonomischen Status darzustellen und<br />
damit die Wichtigkeit der exakten Berufscodierung zu unterstreichen.<br />
2. Beschreibung der datenbankbasierten Vercodung<br />
Im zweiten Teil der Schulung wurde der Aufbau der Datenbank und die Funktionsweise der datenbankbasierten<br />
Vercodung behandelt. Die Coder/innen wurden instruiert, wie die funktionalen und<br />
IX. Berufsklassifikation<br />
Seite 161
qualifizierenden Wörter aus den Schülerantworten zu identifizieren sind.<br />
3. Besprechung des Manuals<br />
Bei der Durchbesprechung des Manuals, welches eine vollständige Liste mit allen Berufsbezeichnungen,<br />
die in der Datenbank enthalten sind, darstellt, wurde auf Verständlichkeit und Klarheit der<br />
Kategorien und Berufsbezeichnungen für alle Coder/innen geachtet. Die Besonderheiten und Prioritätenregeln<br />
wurden wiederholt sowie anhand der Indexeinträge konkretisiert und veranschaulicht.<br />
4. Übungsphase<br />
Bei der anschließenden Übungsphase erhielten die Coder/innen zwei Arbeitsblätter mit je 60 Schülerantworten<br />
zum Beruf der Mutter und des Vaters. Aufgabenstellung war es, die funktionalen und<br />
qualifizierenden Wörter zu identifizieren und einzutragen. Die ersten fünf Einträge je Arbeitsblatt<br />
wurden zur Sicherung der Vorgehensweise gemeinsam behandelt, dann arbeiteten die Coder/innen<br />
selbstständig weiter. Nach Fertigstellung der Übung wurden alle Einträge kontrolliert und im Plenum<br />
besprochen.<br />
5. Organisation der Codierung<br />
Abschließend wurden die Coder/innen über den Umgang mit den Excel-Files informiert (Sortieren,<br />
Speichern, Einspielen der Codes). Die Coder/innen wurden angehalten, schwer zu klassifizierende<br />
Schülerantworten zu markieren, um die Datenkontrolle und die damit verbundene Rückmeldung an<br />
die Coder/innen gezielt gestalten zu können.<br />
Vercoden von Datensätzen zu Übungszwecken<br />
Nach der Einschulung erhielten die ISCO-Coder/innen einen Datensatz, der innerhalb einer Woche codiert<br />
und an die Supervisorin gesendet werden musste. Der Datensatz enthielt Schülerangaben aus dem Feldtest<br />
2005 und dem Haupttest 2003 und beinhaltete sowohl eindeutige Schülerantworten als auch Einträge,<br />
welche die Anwendung der Prioritätenregeln verlangen. Insgesamt wurden von den Coderinnen und<br />
Codern je 105 Schülerantworten zum Beruf der Mutter und 112 Antworten zum Beruf des Vaters codiert.<br />
Die insgesamt 217 Datensätze wurden auch von der Supervisorin klassifiziert, um die Übereinstimmung<br />
mit den Coderinnen und Codern zu überprüfen. Dabei wurden Nicht-Übereinstimmungen im File markiert<br />
und mit Anmerkungen versehen, die anschließend mit jeder Coderin/jedem Coder einzeln durchbesprochen<br />
wurden. Dieser Schritt diente sowohl der Übereinstimmungsoptimierung als auch der Festigung<br />
der Vorgehensweise bei der Identifikation der Schlüsselwörter.<br />
Nach der Besprechung erhielten die Coder/innen die Files zur Klassifizierung der Schülerantworten zum<br />
Beruf der Eltern und Berufsvorstellungen der Schüler/innen.<br />
2.5 Vercodungsleistung und Analyse der Restkategorien<br />
In <strong>PISA</strong> <strong>2006</strong> wurden insgesamt 15 261 Datensätze mit ISCO klassifiziert. Im Schnitt wurden 145<br />
Daten pro Stunde codiert, was einen durchschnittlichen Zeitaufwand von rund 17,5 Stunden pro<br />
Coder/in ergibt.<br />
Im Folgenden werden jene Schülerantworten, die in <strong>PISA</strong> durch die Verwendung von Restkategorien<br />
klassifiziert werden, dargestellt. Obwohl diese Kategorien bei der Transformation in Werte des sozioökonomischen<br />
Status nicht berücksichtigt werden (da für diese Codes keine Status-Werte vorgesehen sind),<br />
ist es wichtig diese zu charakterisieren, bzw. die Verteilung der nichtklassifizierbaren Antworten über die<br />
einzelnen Restkategorien zu betrachten. Die Restkategorien, die vom internationalen Zentrum in Form<br />
von Missings und Zusatzcodes eingeführt wurden, werden durch folgende Werte repräsentiert:<br />
• Der Missing-Code (9999) wird bei absolut leerem Antwortfeld vergeben.<br />
• Der Invalid-Code (9998) wird bei ungültigen Antworten verwendet.<br />
• Der Not-applicable-Code (9997) wird vergeben, falls eine Schülerin/ein Schüler gar keine Möglichkeit<br />
hat, die Frage entsprechend zu beantworten, z. B. wenn ein Druckfehler die Frage unleserlich<br />
macht oder ein Elternteil verstorben ist.<br />
• Der Zusatzcode 9501 steht für Hausfrau/Hausmann.<br />
• Der Zusatzcode 9502 steht für Schüler/in oder Student/in.<br />
Seite 162<br />
IX. Berufsklassifikation
• Der Zusatzcode 9503 steht für Pensionist/in, arbeitslos oder Sozialhilfeempfänger/in.<br />
• Der Zusatzcode 9504 wird vergeben, wenn eine Schülerin/ein Schüler „ich weiß es nicht“ oder ähnliches<br />
angegeben hat.<br />
• Der Zusatzcode 9505 steht für vage bzw. unklare Formulierungen.<br />
In Abbildung IX.6 sind die jeweiligen Anteile an klassifizierbaren und nicht klassifizierbaren<br />
Schülerantworten zum Beruf der Eltern dargestellt (N=4 920) sowie die Verteilung der nicht klassifizierbaren<br />
Antworten auf die Restkategorien. Für die Darstellung in der Abbildung wurden die Restkategorien<br />
9501 (Hausfrau/Hausmann), 9502 (Schüler/in, Student/in) und 9503 (Pensionist/in, arbeitslos, Sozialhilfeempfänger/in)<br />
zu einer Kategorie zusammengefasst, ebenso die Codes 9997 (not applicable), 9998<br />
(ungültig) und 9999 (Missing).<br />
2.5.1 Beruf der Eltern<br />
Bei den Schülerantworten zum Beruf des Vaters können 88,7 % klassifiziert werden. Von den 11,3 %<br />
Restkategorien können rund zwei Drittel auf Grund vager Bezeichnungen oder Beschreibungen nicht<br />
zugeordnet werden. In 3,6 % der Fälle liegen keine oder ungültige Angaben vor. Die Restkategorien „ich<br />
weiß nicht“ sowie Hausmann, Schüler, Pensionist/arbeitslos/etc. kommen nur marginal vor.<br />
Beim Beruf der Mutter können 85,3 % klassifiziert werden. Die Kategorie „Hausfrau“ macht etwas mehr als<br />
die Hälfte der Restkategorien aus (7,8 %; der Anteil an den Kategorien Schülerin, Pensionistin/arbeitslos/<br />
klassifizierte Berufe<br />
Restkategorien<br />
88.7 %<br />
Schülerangaben zum Beruf des Vaters<br />
(N=4920)<br />
11.3 %<br />
7.0 %<br />
3.6 %<br />
0.5 %<br />
0.2 %<br />
Restkategorien:<br />
Hausmann, Schüler, Pensionist/<br />
arbeitslos/Sozialhilfeempfänger<br />
“ich weiß nicht”<br />
vage<br />
not applicable, ungültig, Missing<br />
klassifizierte Berufe<br />
Restkategorien<br />
85.3 %<br />
Schülerangaben zum Beruf der Mutter<br />
(N=4920)<br />
14.7 %<br />
8.2 %<br />
4.5 %<br />
1.9 %<br />
1<br />
Werte < 0.2 % nicht eingetragen<br />
Restkategorien 1 :<br />
Hausfrau, Schülerin, Pensionistin/<br />
arbeitslos/Sozialhilfeempfängerin<br />
“ich weiß nicht”<br />
vage<br />
not applicable, ungültig, Missing<br />
Abbildung IX.6: Anteile klassifizierbarer und nicht klassifizierbarer Schülerantworten zum<br />
Beruf der Eltern in <strong>PISA</strong> <strong>2006</strong><br />
IX. Berufsklassifikation<br />
Seite 163
etc. beträgt 0,4 %). Der Anteil an Antworten, die auf Grund vager Bezeichnungen oder Beschreibungen<br />
nicht klassifiziert werden können, ist etwas geringer als beim Beruf des Vaters und beträgt 4,5 %. Ebenso<br />
ist der Anteil an ungültigen oder fehlenden Antworten beim Beruf der Mutter fast um die Hälfte geringer<br />
als beim Beruf des Vaters (1,9 %).<br />
Insgesamt ist der Anteil an klassifizierten Berufen sowohl bei den Vätern als auch bei den Müttern mit<br />
über 85 % zufrieden stellend hoch. Vergleicht man die Anteile an klassifizierbaren Schülerantworten mit<br />
jenen aus <strong>PISA</strong> 2003, zeigt sich ein sehr ähnliches Ergebnis (Wallner-Paschon, 2004).<br />
2.5.2 Berufliche Pläne der Schüler/innen<br />
Abbildung IX.7 zeigt die jeweiligen Anteile an klassifizierbaren und nicht klassifizierbaren Antworten auf<br />
die Frage, welchen Beruf die Schüler/innen meinen, dass sie mit 30 Jahren haben werden. Erfahrungsgemäß<br />
ist der Anteil an nicht klassifizierbaren Antworten bei dieser Frage sehr hoch (33,1 %). Zum einen ist<br />
dies auf die Tatsache zurückzuführen, dass viele Schüler/innen (noch) nicht wissen, welchen Beruf sie<br />
mit 30 Jahren haben werden, wobei dieser Anteil jedoch nicht einmal ein Viertel der Restkategorien ausmacht<br />
(7,8 %). Bedeutend höher ist der Anteil an ungültigen und fehlenden Antworten (17,6 %). Hinzu<br />
kommen noch die vagen Antworten (6,9 %), die u. a. dadurch zu Stande kommen, dass die Schüler/<br />
innen nur nach dem Beruf (ohne Beschreibung) gefragt werden. Die Restkategorie „Hausfrau, Schüler/<br />
in, Pensionistin/arbeitslos/etc., ist mit 0,8 % sehr gering und wird fast zur Gänze von der Kategorie<br />
„Hausfrau“ eingenommen (0,7 %), wobei dies nur von Mädchen angegeben wurde.<br />
Im Vergleich zu <strong>PISA</strong> 2003 (N = 4 588) ist der Anteil an Restkategorien bei den Schülerangaben in<br />
<strong>PISA</strong> <strong>2006</strong> etwas höher. Auch die Verteilung innerhalb der Restkategorien stellt sich etwas anders dar.<br />
Während die Anteile an den Kategorien „ich weiß nicht“ und „vage“ um rund 4 %-Punkte niedriger<br />
sind als in <strong>PISA</strong> 2003, ist der Anteil an fehlenden und ungültigen Antworten in <strong>PISA</strong> <strong>2006</strong> um rund 14<br />
Prozentpunkte höher (insgesamt 17,6 %).<br />
Schülerangaben zum Beruf mit 30 Jahren<br />
(N=4920)<br />
klassifizierte Berufe<br />
Restkategorien<br />
66.9 % 33.1 %<br />
7.8 %<br />
6.9 %<br />
17.6 %<br />
0.8 %<br />
Restkategorien:<br />
Hausfrau, Schüler/in, Pensionist/in/<br />
arbeitslos/Sozialhilfeempfänger/in<br />
“ich weiß nicht”<br />
vage<br />
not applicable, ungültig, Missing<br />
Abbildung IX.7: Anteile klassifizierbarer und nicht klassifizierbarer Schülerangaben in <strong>PISA</strong> <strong>2006</strong> zum<br />
Beruf mit 30 Jahren<br />
3. Qualitätssicherung bei der ISCO-Codierung<br />
Der sozioökonomische Status der Familie, aus der die Schüler/innen stammen, stellt eine zentrale<br />
Erklärungsvariable für Schülerleistungen dar. Indem die ISCO-Codes die Basis für die Berechnung der<br />
sozioökonomischen Statuswerte bilden, wird bei der ISCO-Codierung großer Wert auf Qualität gelegt, zu<br />
deren Sicherung umfassende Maßnahmen getroffen werden. Diese erstrecken sich über alle Prozesse der<br />
ISCO-Codierung: die Entwicklung der ISCO-Datenbank, die Auswahl und Schulung der Coder/innen<br />
Seite 164<br />
IX. Berufsklassifikation
inklusive der zur Verfügung gestellten Materialien, die Abwicklung der datenbankbasierten Vercodung<br />
und die Kontrollen auf nationaler Ebene als auch am internationalen Zentrum.<br />
Bei der Entwicklung der Datenbank wurden umfassende Informationen und Auskünfte von Expertinnen<br />
und Experten eingeholt (ZUMA, Statistik Austria, internationales <strong>PISA</strong> Zentrum, einschlägige Literatur).<br />
Die Datenbank enthält neben den für <strong>PISA</strong> relevanten Einträgen aus der Ö-ISCO sowohl die Ergänzungen<br />
des internationalen Zentrums (Ganzeboom & Treiman, 1996) als auch kontrollierte Einträge aus früheren<br />
<strong>PISA</strong>-Erhebungen, wodurch eine große Vielfalt an Berufsbezeichnungen (bzw. Schlüsselwörtern)<br />
repräsentiert wird. Indem der korrespondierende Code zu einem Schlüsselwort über die datenbankbasierte<br />
Vercodung automatisch eingespielt wird, führt dies zu einer verbesserten Übereinstimmung.<br />
Fehlerquellen werden vermieden, da jedes Schlüsselwort immer den gleichen Code zugewiesen bekommt.<br />
Eine typische Fehlerquelle ist z. B., dass Coder/innen die Bezeichnung „Kindergärtnerin“ sowohl mit<br />
Code 5131 („Kinderbetreuer“), als auch mit Code 3320 („Lehrkräfte ohne akademische Ausbildung<br />
des Vorschulbereichs“) codieren, wobei nur Letzterer korrekt ist. Dass solche Fehlerquellen, die zu einer<br />
Vergabe von unterschiedlichen Codes für die gleiche Berufsbezeichnung führen, relativ häufig sind, zeigt<br />
eine Reliabilitätsstudie zur ISCO-Codierung in <strong>PISA</strong> 2003 (Wallner-Paschon, 2004).<br />
Die Übereinstimmung der Coder/innen stellt jedoch auch bei der Entschlüsselung der Schülerantworten<br />
im Rahmen der datenbankbasierten Vercodung ein wichtiges Kriterium für die Qualität der ISCO-<br />
Codierung dar. Auf Basis der ISCO-Codierung in <strong>PISA</strong> 2003 regt Wallner-Paschon (2004) Vorschläge<br />
zur Verbesserung der Auswertungsobjektivität an, welche in <strong>PISA</strong> <strong>2006</strong> wie folgt umgesetzt wurden:<br />
• Die Coder/innen setzten sich durch die gezielte Vorbereitung und Einschulung eingehend mit den<br />
Codier- und Prioritätenregeln auseinander. Die Anwendung der Regeln wurde anhand konkreter<br />
Datensätze eingeübt und gefestigt. Bei der Zusammenstellung der Übungsdatensätze wurde auf eine<br />
ausgewogene Repräsentation möglicher Schülerantworten geachtet (eindeutige, zweideutige und<br />
nicht interpretierbare Schülerantworten).<br />
• Die Identifikation der Schlüsselwörter aus nicht eindeutigen Schülerangaben wurde während der<br />
Einschulung ausführlich besprochen und eingeübt. Die diesbezüglichen Regeln sind ausformuliert<br />
und im Schulungs-Handout aufgelistet, wo sie jederzeit von den Coderinnen und Codern eingesehen<br />
werden konnten. Bei den individuellen Besprechungsterminen wurde besonders auf die Übereinstimmung<br />
bei der Identifikation der Schlüsselwörter eingegangen.<br />
• Die Durchbesprechung des Manuals bei der Einschulung diente insbesondere dazu, den hierarchischen<br />
Aufbau der ISCO sowie die Besonderheiten des Kategoriensystems deutlich und für alle verständlich<br />
zu machen. Unsicherheiten im Umgang mit dem Manual konnten geklärt und behoben<br />
werden.<br />
• Für die Entwicklung der ISCO-Datenbank wurden externe Expertinnen und Experten im Bereich<br />
ISCO-Codierung zu Rate gezogen.<br />
Ein ebenso wichtiger Aspekt der Qualitätssicherung bei der ISCO-Codierung ist der Einsatz von<br />
Coderinnen und Codern, die bereits Erfahrung mit der ISCO-Codierung haben. Weiters wird die<br />
Qualität der Daten durch die vollständige Kontrolle durch die Supervisorin gesichert. Dies ist vor allem<br />
durch die Zeitersparnis bei der Vercodung möglich, welche neben der halb-automatisierten Vercodung<br />
unter anderem auf die annähernd gleiche alphabetische Zuteilung der Files zu Coderinnen und Codern<br />
zurückzuführen ist, was sich wiederum positiv auf die Übereinstimmung auswirkt.<br />
Bibliographie<br />
Elias P. & Birch M. (1991). Harmonisierung von Berufsklassifizierungen. ISCO 88 (COM). Vorgeschlagene Fassung der Internationalen<br />
Standardklassifikation der Berufe (1988) für nationale Vergleiche der in der Europäischen Gemeinschaft in Volkszählungen<br />
und Erhebungen ermittelten Informationen. Universität Warwick. Institut für Beschäftigungsforschung. Verfügbar unter:<br />
http://www.warwick.ac.uk/ier/isco/germ/german1.html [Datum des Zugriffs: 23.02.07]<br />
Ganzeboom H. B. G. de Graaf, P. & Treiman, D. J. (1992). A Standard International Socio-Economic Index of Occupational<br />
Status. Social Science Research, 21, 1-56.<br />
IX. Berufsklassifikation<br />
Seite 165
Ganzeboom H. B. G. & Treiman D. J. (1996). Internationally comparable Measures of Occupational Status for the 1988 International<br />
Standard Classification of Occupations. Social Science Research 25, 201-239. [WWW Dokument]. Verfügbar unter: http://<br />
home.fsw.vu.nl/HBG.Ganzeboom/Pdf/Ganzeboom_Treiman_%5bSSR1996%5d.pdf [Datum des Zugriffs: 23.02.2007]<br />
Geis, A. & Hoffmeyer-Zlotnik, J. H. P. (2000). Stand der Berufsvercodung. ZUMA-Nachrichten 47, Jg. 24, S. 103–128<br />
Hartmann J. & Schütz G. (2002). Die Klassifizierung der Berufe und der Wirtschaftszweige im Sozio-ökonomischen Panel. Neuvercodung<br />
der Daten 1984 – 2001. München: Infratest Sozialforschung.<br />
Hoffmeyer-Zlotnik, J. H. P., Hess, D. & Geis, A. (2004). Computerunterstützte Vercodung der International standard Classification<br />
of Occupations (ISCO-88). ZUMA-Nachrichten 55, Jg. 28, S. 29–52<br />
ILO (1990). International Standard Classification of Occupation: ISCO-88. Geneva: International Labour Office.<br />
ILO (2001). Coding Occupation and Industry. (STAT Working Paper). [WWW Dokument]. Verfügbar unter: http://www.ilo.org/<br />
public/english/bureau/stat/download/wpoccind.pdf [Datum des Zugriffs: 28.02.2007]<br />
Lay W. (1997). Die Vercodung der Angaben zur beruflichen Tätigkeiten im Alters-Survey. Forschungsgruppe Altern und Lebenslauf<br />
(FALL), Forschungsbericht 60. Berlin: Freie Universität.<br />
Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele, Methoden<br />
und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 211–257). Innsbruck: StudienVerlag.<br />
Statistik Austria. (1992). Ö-ISCO [WWW Dokument]. Verfügbar unter: http://www.statistik.at/verzeichnis/beruf.shtml [Datum<br />
des Zugriffs: 10.11.<strong>2006</strong>]<br />
Wallner-Paschon, C. (2004). Berufsklassifizierung. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von<br />
Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm<br />
[Datum des Zugriffs: 08.02.2007]<br />
1<br />
Dieser Abschnitt wurde zum Teil aus Wallner-Paschon, 2004 übernommen.<br />
2<br />
An dieser Stelle sei Herrn Alfons Geis M. A. von ZUMA sowie Frau Dr. Margaretha Zeller und Frau Mag. Adelheid Bauer<br />
von Statistik Austria herzlicher Dank für die kompetente und ausführliche Beratung hinsichtlich Automatvercodung und<br />
Klassifikation spezifischer problematischer Codes ausgesprochen.<br />
3<br />
Die Autorin dankt Mag. Martin Leitner an dieser Stelle sehr herzlich für die Beratung und Unterstützung beim Einrichten<br />
der ISCO-Datenbank.<br />
Seite 166<br />
IX. Berufsklassifikation
X<br />
DATENEINGABE<br />
Martin Pointinger<br />
1. Der zeitliche und organisatorische Ablauf der Dateneingabe<br />
1.1 Der zeitliche Ablauf der Dateneingabe beim Feldtest 2005<br />
1.2 Der zeitliche Ablauf der Dateneingabe beim Haupttest <strong>2006</strong><br />
1.3 Die Organisation der Dateneingabe beim Haupttest <strong>2006</strong><br />
2. Software KeyQuest©<br />
3. Dateneingabe nach Instrumenten<br />
3.1 Schul- und Schülerlisten<br />
3.2 <strong>PISA</strong>-Schülerlisten<br />
3.3 Schulfragebögen<br />
3.4 Testhefte<br />
3.5 Multiple Coding Sheets<br />
3.6 Schülerfragebögen<br />
3.7 Testsitzungsprotokolle<br />
4. Qualitätssicherung bei der Dateneingabe<br />
4.1 Auswahl und Schulung des Dateneingabe-Personals<br />
4.2 Maßnahmen während der Dateneingabe<br />
4.3 Maßnahmen nach der Dateneingabe<br />
5. Data Submission – Übermittlung der Daten an das internationale Zentrum<br />
Dieser Text basiert auf den entsprechenden Kapiteln bei <strong>PISA</strong> 2000 (Reiter, 2001) und <strong>PISA</strong> 2003 (Pointinger, 2004). Der Autor<br />
dieses Kapitels dankt Claudia Schreiner (geb. Reiter) für die Bereitstellung des Textes.
Im Rahmen der Datenerhebung für <strong>PISA</strong> <strong>2006</strong> wurden in Österreich beim Feldtest etwa 1440 Schüler/innen<br />
aus 51 Schulen, und beim Haupttest <strong>2006</strong> beinahe 5000 Schüler/innen aus 200 Schulen getestet. Beim<br />
Feldtest nahmen im Rahmen des internationalen Zusatzprojekts CBAS („Computer-based Assessment<br />
of Science“; Details dazu vgl. Kapitel XI) in weiteren 50 Schulen knapp mehr als 500 Schüler/innen<br />
teil. Zusätzlich nahmen beim Haupttest, wie schon bei <strong>PISA</strong> 2000 und 2003, die Waldorfschulen mit<br />
einer Vollerhebung der 15-/16-Jährigen teil. Insgesamt wurden im Rahmen von <strong>PISA</strong> <strong>2006</strong> Daten von<br />
mehr als 7000 Schülerinnen und Schülern erhoben.<br />
Mit Ausnahme der Daten, die im Projekt CBAS mittels Laptop erhoben wurden, und somit direkt in elektronischer<br />
Form vorlagen, wurden die Daten aller Schüler/innen im traditionellen Paper-Pencil-Verfahren<br />
(d.h. mit gedruckten Testheften und Fragebögen) erhoben. Dieser Abschnitt beschreibt, wie die in schriftlicher<br />
Form vorliegenden Antworten der Schüler/innen elektronisch erfasst werden und welche Prozesse<br />
notwendig sind um am Ende das gewünschte Ergebnis – eine internationale Datenbasis, mit den Daten<br />
aller an <strong>PISA</strong> teilnehmenden Länder – zu erreichen.<br />
Wie dieser Prozess der Dateneingabe zeitlich verlief, wie er organisiert war, wie die Eingabe der Daten<br />
konkret erfolgte, welcher Aufwand der Prozess der Dateneingabe war und wie die eingegebenen Daten<br />
kontrolliert, gesäubert und anschließend an das internationale Zentrum zur weiteren Verarbeitung übermittelt<br />
wurden und was dort anschließend mit den Daten passiert, das sind Themen, die in diesem<br />
Kapitel behandelt werden.<br />
Da der Feldtest im Hinblick auf die Dateneingabe und -verarbeitung hauptsächlich der Erprobung der<br />
Prozeduren dient, beschränken sich die Darstellungen in diesem Kapitel meist auf den Haupttest.<br />
1. Der zeitliche und organisatorische Ablauf der Dateneingabe<br />
In diesem Abschnitt wird jeweils getrennt für den Feldtest 2005 und den Haupttest <strong>2006</strong> ein kurzer<br />
Überblick über den chronologischen Verlauf der Dateneingabe gegeben. Anschließend werden die organisatorischen<br />
Rahmenbedingungen, die für die Eingabe der Daten beim Haupttest <strong>2006</strong> notwendig<br />
waren, beschrieben.<br />
1.1 Der zeitliche Ablauf der Dateneingabe beim Feldtest 2005<br />
Das Testfenster für die Datenerhebung beim Feldtest war für Österreich von 18. April bis 14. Mai 2005<br />
festgelegt. Die letzte Testsitzung fand am 13. Mai statt. Am 15. Mai wurde – nach dem Transport der<br />
Materialien an das nationale Zentrum – die Rücklaufkontrolle durchgeführt, und im Anschluss daran<br />
mit der Dateneingabe begonnen. Für die Eingabe der Daten der insgesamt 1440 getesteten Schüler/innen<br />
wurden sechs Personen beschäftigt. Anfang Juli konnte die Dateneingabe abgeschlossen werden. Es folgte<br />
die Kontrolle und Säuberung der Daten durch das nationale Zentrum. Dieser Prozess wird in Abschnitt<br />
4.3 dieses Kapitels beschrieben. Mitte Juli wurden die österreichischen Daten des Feldtests 2005 schließlich<br />
an das internationale Zentrum übermittelt. Anschließend erfolgte die Kontrolle, Aufbereitung und<br />
Rekodierung der Daten durch das internationale Zentrum. Dieser Prozess konnte für die österreichischen<br />
Feldtestdaten Ende September 2005 abgeschlossen werden.<br />
1.2 Der zeitliche Ablauf der Dateneingabe beim Haupttest <strong>2006</strong><br />
Für den Haupttest konnten die Testsitzungen im Zeitraum vom 20. April bis zum 31. Mai <strong>2006</strong> stattfinden.<br />
Bis Ende Mai wurden die Testmaterialien vollständig an das nationale Zentrum geliefert. Anschließend<br />
wurde die Rücklaufkontrolle der Materialien durchgeführt. Anfang Juni konnte mit der Eingabe der<br />
Daten aus den Schülerfragebögen begonnen werden. Mit der Eingabe der Daten aus den Testheften<br />
konnte, da diese vorher von den so genannten Codern (siehe Kapitel VIII) bearbeitet werden mussten,<br />
erst im Juli begonnen werden. Zusätzlich wurden parallel dazu die Daten aus den Schulfragebögen,<br />
den Testsitzungsprotokollen der Testadministratoren, den <strong>PISA</strong>-Schülerlisten und den Multiple Coding<br />
Sheets eingegeben. Für die Dateneingabe waren beim Haupttest 6 Personen beschäftigt, die speziell für<br />
diese Aufgabe geschult wurden.<br />
Seite 168<br />
X. Dateneingabe
Die Eingabe der Daten konnte Ende Juli abgeschlossen werden. Anschließend wurde ein gründlicher und<br />
aufwändiger File-Cleaning-Prozess durchgeführt, der in Abschnitt 4.3 idK. genauer beschrieben wird.<br />
Ende August wurden die Daten schließlich an das internationale Zentrum in Australien übermittelt. Dort<br />
wurde das internationale File Cleaning (vgl. Abschnitt 4 idK.) durchgeführt. Dieser Prozess der erneuten<br />
Prüfung der Daten bzw. der Rekodierung in die einheitliche internationale Struktur der Daten konnte<br />
Ende September abgeschlossen werden.<br />
1.3 Die Organisation der Dateneingabe beim Haupttest <strong>2006</strong><br />
Sämtliche Tätigkeiten im Zusammenhang mit der Dateneingabe wurden im Haus (Universität Salzburg)<br />
durchgeführt. Insgesamt standen für die Dateneingabe 11 Computerarbeitsplätze zur Verfügung, die<br />
auch parallel zur Eingabe der Daten aus den IEA-Studien PIRLS und TIMSS genutzt wurden. Sämtliche<br />
PCs waren durch ein lokales Netzwerk verbunden, um eine zentrale Speicherung der Daten in eine gemeinsame<br />
Datenbank der KeyQuest-Software (siehe folgenden Abschnitt) zu ermöglichen. Die externen<br />
Mitarbeiter/innen, die für diese Tätigkeit beschäftigt wurden, erhielten dafür eine spezielle Schulung und<br />
wurden während der Dateneingabe-Tätigkeit von einem Mitarbeiter des nationalen Zentrums betreut.<br />
2. Software KeyQuest©<br />
Zur Eingabe der Daten wird für <strong>PISA</strong> die Software KeyQuest verwendet. Diese Software wird den an<br />
<strong>PISA</strong> teilnehmenden Staaten vom internationalen Zentrum zur Verfügung gestellt. KeyQuest ist eine<br />
Microsoft-Access-Anwendung mit einer grafischen Benutzeroberfläche. Das Programm wird im Rahmen<br />
von <strong>PISA</strong> nicht nur für die Dateneingabe und -verwaltung verwendet, sondern es wird mit dieser Software<br />
auch die Auswahl der Schüler/innen innerhalb der teilnehmenden Schulen (Schülersampling) durchgeführt.<br />
Die Verwendung von KeyQuest zur Durchführung der Schülerauswahl und zur Übermittlung<br />
der Daten an das internationale Zentrum ist den Teilnehmerstaaten verpflichtend vorgeschrieben. Eine<br />
detaillierte Beschreibung der einzelnen Funktionen der Software wird im österreichischen Technischen<br />
<strong>Bericht</strong> zu <strong>PISA</strong> 2003 gegeben (Pointinger, 2003, Kapitel X, Abschnitt 2).<br />
3. Dateneingabe nach Instrumenten<br />
3.1 Schul- und Schülerlisten<br />
Als Datengrundlage – u. a. für die Auswahl der Schüler/innen innerhalb einer Schule – werden für jede<br />
Schule im Instrument „Liste der Schulen“ jeweils Daten zur Schule erfasst. Auf der Liste der Schüler/innen<br />
werden für diese Schulen jeweils Informationen zu den Schülerinnen und Schülern gespeichert.<br />
3.1.1 Die Liste der Schulen<br />
Im KeyQuest-Instrument zur Erfassung der Schuldaten werden für jede Schule neben der Bezeichnung<br />
und einer Identifikationsnummer u. a. Informationen über die Stichprobengröße und die Gesamtanzahl<br />
der Schüler/innen des für <strong>PISA</strong> relevanten Geburtsjahrgangs (1989 im Feldtest 05; 1990 im Haupttest 06)<br />
gespeichert. Diese Daten sind für die Durchführung der Schülerauswahl erforderlich. Durch die Angabe<br />
der Stichprobengröße in der Liste der Schulen wird bestimmt, wie viele Schüler/innen von KeyQuest<br />
für die <strong>PISA</strong>-Schülerliste, d.h. zur Teilnahme an <strong>PISA</strong>, ausgewählt werden. Die Stichprobengröße ist bei<br />
<strong>PISA</strong> standardmäßig mit 35 Schüler/innen pro Schule festgelegt. Falls es an einer Schule weniger als 35<br />
Schüler/innen des Jahrganges 1987 gibt, werden automatisch alle Schüler/innen für die Teilnahme an<br />
<strong>PISA</strong> ausgewählt.<br />
3.1.2 Die Liste der Schüler/innen<br />
Auf Basis der Schülerliste, die die Schulkoordinatorin/der Schulkoordinator (SK) jeder ausgewählten<br />
Schule dem nationalen Zentrum übermittelt, wird für jede Schule eine Liste der Schüler/innen erstellt<br />
und in das Programm KeyQuest importiert. Zusammen mit der Liste der Schulen bilden diese Angaben<br />
die Basisinformationen für die Auswahl der Schüler/innen innerhalb der Schulen.<br />
X. Dateneingabe<br />
Seite 169
3.2 <strong>PISA</strong>-Schülerlisten<br />
Nachdem die Auswahl der Schüler/innen für eine Schule durchgeführt ist, kann mit KeyQuest für jede<br />
Schule die so genannte „<strong>PISA</strong>-Schülerliste“ erstellt werden. Diese Liste ist, wie in Kapitel VI dargestellt,<br />
ein wichtiges Dokument im Zusammenhang mit der Durchführung und Dokumentation der <strong>PISA</strong>-<br />
Testsitzungen.<br />
Durch die Eintragungen des Schulkoordinators auf dieser Liste, wird für jede Schülerin/jeden Schüler<br />
festgehalten, ob sonderpädagogischer Förderbedarf oder mangelnde Sprachkenntnisse bestehen, bzw. ob<br />
der/die Schüler/in deshalb, oder aus anderen Gründen, nicht an der Testsitzung teilnehmen kann. Als<br />
weitere wichtige Information wird am Tag der Testsitzung durch den jeweiligen Testadministrator für<br />
alle Schüler/innen die Teilnahme dokumentiert. Die auf der <strong>PISA</strong>-Schülerliste erfassten Informationen<br />
werden in Kapitel VI im Detail dargestellt.<br />
Nach den Testsitzungen werden die <strong>PISA</strong>-Schülerlisten jeweils gemeinsam mit den anderen Testmaterialien<br />
der Schulen zum nationalen Zentrum transportiert. Dort werden diese im Rahmen der Rücklaufkontrolle<br />
auf Vollständigkeit überprüft und die Eintragungen der Testadministratoren und Schulkoordinatoren<br />
elektronisch in KeyQuest erfasst.<br />
3.3 Schulfragebögen<br />
Die Schulleiter/innen der an <strong>PISA</strong> teilnehmenden Schulen werden jeweils durch einen Schulfragebogen<br />
zu Hintergrundinformationen der Schule befragt. Für den internationalen Teil des Schulfragebogens wird<br />
in KeyQuest vom internationalen Zentrum bereits ein Instrument angelegt, das lediglich bei nationalen<br />
Änderungen angepasst werden muss. Für die in Österreich durchgeführten nationalen Zusatzerhebungen<br />
müssen die jeweiligen Variablen und daraus erzeugten Eingabemasken vom nationalen Zentrum in<br />
KeyQuest erstellt werden.<br />
3.4 Testhefte<br />
Mit der Eingabe der Daten aus den Testheften kann erst begonnen werden, nachdem die sogenannten<br />
„Coder“ (Personen, die anhand von genau festgelegten Richtlinien die Bewertung der offenen<br />
Schülerantworten vornehmen; vgl. Kapitel VIII) die offenen Aufgaben bewertet haben. Für die Eingabe<br />
der Testheft-Daten in KeyQuest ist für jede der 14 unterschiedlichen Testheftformen bereits das entsprechende<br />
Instrument vom internationalen Zentrum angelegt. Da die verschiedenen Testheftformen sehr<br />
unterschiedliche Aufgaben enthalten, ist es notwendig, dem Dateneingabe-Personal für jedes Instrument<br />
spezifische Anleitungen zu geben und auf die jeweiligen Besonderheiten hinzuweisen. Die Einschulung<br />
der Dateneingeber/innen und die Kontrolle der eingegebenen Daten wird im Detail in Abschnitt 4 idK.<br />
dargestellt.<br />
3.5 Multiple Coding Sheets<br />
Im Rahmen des Multiple Codings (vgl. Kapitel VIII), bei dem – zur Überprüfung der Beurteiler-<br />
Übereinstimmung – die gleichen Schülerantworten von vier Codern unabhängig voneinander beurteilt<br />
werden, tragen jeweils die ersten drei Kodierer ihre Bewertungen auf so genannte Multiple Coding Sheets<br />
ein, damit die einzelnen Bewertungen unabhängig voneinander erfolgen können. Für jeden Datensatz der<br />
Multiple Coding Sheets müssen neben den Bewertungs-Codes für die Schülerantworten Variablen zur<br />
Identifikation von Codierer und Schüler/in eingegeben werden.<br />
3.6 Schülerfragebögen<br />
Die Eingabe der Schülerfragebögen ist der umfangreichste und aufwändigste Teil des Dateneingabeprozesses.<br />
Wie bereits in Kapitel IV dargestellt, gibt es in Österreich bei <strong>PISA</strong> <strong>2006</strong> drei verschiedene<br />
Fragebogenformen, die jeweils unterschiedliche nationale Zusatzerhebungen enthalten, und gleichmäßig<br />
über die Schüler/innen rotiert werden. Zusätzlich wird dazu in Österreich für Schüler/innen von<br />
Sonderschulen eine Kurzversion des Schülerfragebogens verwendet.<br />
Seite 170<br />
X. Dateneingabe
Da die Anzahl der Variablen für ein KeyQuest-Instrument beschränkt ist, müssen die Variablen der<br />
drei Fragebogenformen jeweils auf zwei KeyQuest-Instrumente aufgeteilt werden. Das erste Instrument<br />
für die Schülerfragebögen enthält jeweils den gesamten internationalen Teil. Der zweite Teil beinhaltet<br />
bei allen drei Formen die internationalen Zusatzerhebungen „Schullaufbahn“ und „Informationsund<br />
Kommunikationstechnologien“ sowie die jeweils in den einzelnen Formen enthaltenen nationalen<br />
Zusatzerhebungen.<br />
3.7 Testsitzungsprotokolle<br />
Die <strong>PISA</strong>-Testleiter/innen haben die Aufgabe, für jede durchgeführte Testsitzung ein Testsitzungsprotokoll<br />
anzufertigen (vgl. Kapitel VI). Für die Erhebung der Daten der österreichischen <strong>PISA</strong> <strong>2006</strong>-Stichprobe<br />
wurden insgesamt 246 Testsitzungen (200 erste Testsitzungen und 46 Nachtests) durchgeführt, für die<br />
jeweils ein Testsitzungsprotokoll angefertigt wurde. Zusätzlich dazu wurden im Rahmen der Waldorf-<br />
Vollerhebung zehn Testsitzungen durchgeführt, von denen ebenfalls Testsitzungsprotokolle angefertigt<br />
wurden. Insgesamt mussten also 256 Testsitzungsprotokolle in das entsprechende KeyQuest-Instrument<br />
eingegeben werden.<br />
4. Qualitätssicherung bei der Dateneingabe<br />
Im folgenden Abschnitt werden die wichtigsten Maßnahmen beschrieben, die vor, während und nach<br />
der Dateneingabe zur Qualitätssicherung durchgeführt werden. Chronologisch betrachtet beginnen diese<br />
Maßnahmen bei der Auswahl und Einschulung der Mitarbeiter/innen, und enden bei der Übermittlung<br />
der Daten an das internationale Zentrum bzw. beim daran anschließenden internationalen File Cleaning<br />
und der Aufbereitung der Daten für die internationale Datenbasis.<br />
4.1 Auswahl und Schulung des Dateneingabe-Personals<br />
Insgesamt wurden beim Haupttest für <strong>PISA</strong> <strong>2006</strong> sechs Personen für die Tätigkeit der Dateneingabe beschäftigt.<br />
Da für die Tätigkeit der Dateneingabe weniger bestimmte formale Qualifikationen, als vielmehr<br />
Genauigkeit und Verlässlichkeit wichtig sind, wurden die Mitarbeiter/innen jeweils zu einem persönlichen<br />
Gespräch eingeladen. Die ausgewählten Mitarbeiter/innen waren Studierende oder Personen mit<br />
abgeschlossenem Diplomstudium, von denen vier bereits bei früheren <strong>PISA</strong>-Erhebungen diese Tätigkeit<br />
durchgeführt hatten.<br />
Für die Einschulung der Mitarbeiter/innen wurde eine gemeinsame Schulung abgehalten. Am Ende der<br />
Einschulung bekamen die Mitarbeiter/innen die Möglichkeit, einige Fragebögen unter Aufsicht einzugeben<br />
und bei Unklarheiten Fragen zu stellen. Ein Mitarbeiter des nationalen Zentrums stand darüber<br />
hinaus während der gesamten Dauer der Dateneingabe bei Fragen oder Problemen zur Verfügung.<br />
4.2 Maßnahmen während der Dateneingabe<br />
Während der Dateneingabe wird die Qualität der eingegebenen Daten zum einen durch Kontrollmechanismen<br />
des Programms KeyQuest, und zum anderen durch Kontrollen von Mitarbeiterinnen und Mitarbeitern<br />
des nationalen Zentrums überprüft.<br />
4.2.1 Kontrollen durch KeyQuest<br />
KeyQuest führt bereits während der Dateneingabe automatisch eine Reihe von Kontrollen durch (vgl.<br />
<strong>Technischer</strong> <strong>Bericht</strong> zu <strong>PISA</strong> 2003; Kapitel X, Abschnitt 2). So werden Eingabefehler bestimmter Art im<br />
Vergleich zur Dateneingabe in andere Programme um ein Vielfaches minimiert. Diese von KeyQuest automatisch<br />
durchgeführten Überprüfungen bei der Dateneingabe machen viele, sonst beim File Cleaning<br />
übliche Kontrollen weitgehend überflüssig und ersparen viel Arbeitsaufwand.<br />
4.2.2 Qualitätskontrollen durch Mitarbeiter/innen<br />
Neben der automatisch von KeyQuest durchgeführten Kontrolle der eingegebenen Daten werden, vor<br />
allem zu Beginn der Dateneingabe, von jedem Dateneingeber stichprobenartig mehrere Datensätze auf<br />
X. Dateneingabe<br />
Seite 171
Eingabefehler kontrolliert. Dies soll systematische Fehler, wie zum Beispiel die falsche Verwendung von<br />
speziellen Codes für fehlende oder ungültige Schülerantworten, verhindern. Eine weitere Maßnahme<br />
zur Qualitätssicherung während der Dateneingabe ist die laufende Einschulung der Mitarbeiter/innen in<br />
neue Instrumente. Dies ist notwendig, weil jedes Instrument bestimmte Besonderheiten aufweist, die bei<br />
der Dateneingabe zu beachten sind. Die Mitarbeiter/innen werden daher jeweils beim Beginn eines neuen<br />
Instruments individuell über diese Besonderheiten aufgeklärt.<br />
4.3 Maßnahmen nach der Dateneingabe<br />
Vor der Übermittlung der Daten an das internationale Zentrum müssen die nationalen Zentren eine<br />
Reihe von vorgeschriebenen Kontrollen mit KeyQuest durchführen. Darüber hinaus werden in Österreich<br />
zahlreiche weitere Kontrollen zur Säuberung der Daten durchgeführt, um eine hohe Qualität der Daten<br />
zu gewährleisten.<br />
4.3.1 Kontrolle der Daten mit KeyQuest<br />
Für <strong>PISA</strong> <strong>2006</strong> wurde die Funktionalität von KeyQuest bezüglich der durchführbaren Kontrollen der<br />
Daten bedeutend erweitert. Die im Folgenden dargestellten, im Programm KeyQuest integrierten<br />
Kontrollen, müssen von allen teilnehmenden Ländern durchgeführt werden, bevor die Daten an das<br />
internationale Zentrum übermittelt werden.<br />
Die Kontrollen sind dabei in der Software KeyQuest nach der Art der geprüften Daten bzw. Instrumente<br />
in fünf Gruppen unterteilt:<br />
1) Tracking Instruments (Schul- und Schülerlisten, Testsitzungsprotokolle)<br />
2) Background Instruments (Schul- und Schülerfragebogen und deren Übereinstimmung mit Schul- und<br />
Schülerlisten)<br />
3) Test Instruments (Testhefte und Übereinstimmung mit Schul- und Schülerlisten)<br />
4) Reliability Checks (Multiple Coding Sheets)<br />
5) Sampling Checks (Schulliste; Überprüfung der Angaben zur Schülerauswahl)<br />
Ad 1) Tracking Instruments<br />
Bei den Kontrollen in diesem Bereich wird zum einen geprüft, ob die Angaben innerhalb der einzelnen<br />
Listen konsistent sind; zum anderen werden die Angaben zwischen den Instrumenten auf ihre Gültigkeit<br />
hin kontrolliert. So wird z. B. innerhalb der Schülerlisten geprüft, ob für alle Schüler/innen, die laut<br />
Eintragung der Testleiter/innen am Testtag anwesend waren, auch jeweils ein Eintrag zur besuchten<br />
Testsitzung vorhanden ist. Umgekehrt wird geprüft, ob ausgeschlossene, abgemeldete oder fehlende Schüler/innen<br />
dem entsprechend hier keinen Eintrag aufweisen. Bei der Überprüfung der Angaben zwischen den<br />
Instrumenten wird z. B. kontrolliert, ob für jede Testsitzungsnummer, die auf der <strong>PISA</strong>-Schülerliste angegeben<br />
ist, auch ein Eintrag im Testsitzungsprotokoll existiert. Treten bei diesen Kontrollen Inkonsistenzen<br />
auf, müssen diese vor der Übermitttlung der Daten an das internationale Zentrum beseitigt oder zumindest<br />
in den von KeyQuest für jede Kontrolle erzeugten <strong>Bericht</strong>en erklärt werden.<br />
Ad 2) Background Instruments<br />
Für die Kontextfragebögen (Schul- und Schülerfragebogen) werden umfangreiche Überprüfungen der<br />
Gültigkeit der jeweiligen Angaben sowie der Vollständigkeit durchgeführt. Dabei wird z. B. geprüft,<br />
ob für jede/n Schüler/in, die/der laut <strong>PISA</strong>-Schülerliste bei der Fragebogenbearbeitung anwesend war,<br />
auch ein Datensatz im Instrument Schülerfragebogen vorhanden ist. Darüber hinaus wird u. a. die<br />
Übereinstimmung der Schülerangaben (im Fragebogen) mit den entsprechenden Eintragungen auf der<br />
<strong>PISA</strong>-Schülerliste (Geschlecht, Geburtsdatum, Schulstufe) kontrolliert.<br />
Ad 3) Test Instruments<br />
Analog zur Prüfung für die Schülerfragebögen wird auch für die Testheft-Daten mit Hilfe der Checks in<br />
diesem Bereich die Übereinstimmung zwischen Teilnahmestatus (auf der <strong>PISA</strong>-Schülerliste) und vorhandenen<br />
Datensätzen in den Testheft-Instrumenten kontrolliert.<br />
Seite 172<br />
X. Dateneingabe
Ad 4) Reliability Checks<br />
Für die Reliability Scoring-Daten wird zum einen die Vollständigkeit der Bewertungen kontrolliert, zum<br />
anderen wird aber auch geprüft ob die einzelnen Bewertungen – wie vorgeschrieben – von unterschiedlichen<br />
Kodierern vorgenommen wurden.<br />
Ad 5) Sampling Checks<br />
Die Auswahl der Schüler/innen liegt im Verantwortungsbereich der jeweiligen nationalen Zentren und<br />
wird mit der Software KeyQuest durchgeführt. Um die Gültigkeit dieser Schülerauswahl zu prüfen, wird<br />
kontrolliert, ob die dafür notwendigen Angaben auf der Liste der Schulen mit jenen in einem speziellen<br />
Sampling Formular konsistent sind. Erst wenn alle vorgeschriebenen Kontrollen und Gültigkeitsprüfungen<br />
der Daten durchgeführt und ev. aufgetauchte Inkonsistenzen beseitigt oder geklärt (dokumentiert und<br />
begründet) sind, dürfen die Daten an das internationale Zentrum übermittelt werden. Diese vorgeschriebenen<br />
Kontrollen sollen garantieren, dass die Qualität der Daten der einzelnen Länder möglichst hoch<br />
ist, wenn diese an das internationale Zentrum gelangen.<br />
4.3.2 Zusätzliche Qualitätskontrollen durch das nationale Zentrum<br />
Neben den im vorigen Abschnitt dargestellten – durch das internationale Zentrum vorgeschriebenen –<br />
Kontrollen, werden in Österreich vom nationalen Zentrum zusätzlich zahlreiche weitere Überprüfungen<br />
der Daten durchgeführt um eine hohe Qualität der österreichischen <strong>PISA</strong>-Daten gewährleisten zu können.<br />
Physikalische Überprüfung von gesamten Datensätzen<br />
Unter physikalischen Überprüfungen werden hier Kontrollen verstanden, die auf dem Vergleich von<br />
Einträgen in den Datensätzen mit den entsprechenden Erhebungsinstrumenten basieren. Im Rahmen<br />
dieser zusätzlichen Datenüberprüfung werden – zusätzlich zu den während der Dateneingabe laufend<br />
durchgeführten Kontrollen – von jedem Dateneingeber stichprobenweise ganze Datensätze kontrolliert<br />
und dabei auftrauchende Dateneingabe-Fehler korrigiert.<br />
Überprüfung von falschen Codes für fehlende oder ungültige Schülerantworten<br />
Für die Eingabe von fehlenden oder ungültigen Schülerantworten gibt es bei <strong>PISA</strong> in KeyQuest bestimmte<br />
Codes. Wenn eine Frage nicht bearbeitet wurde, wird für einstellige Variablen der Code 9, für<br />
zweistellige der Code 99, für drei- oder mehrstellige Variablen (numerische Variablen) der Code 999<br />
vergeben. Für ungültige Antworten lauten die entsprechenden Codes 8, 98 und 998. Ein Code für eine<br />
ungültige Antwort wird zum Beispiel vergeben, wenn ein/e Schüler/in bei einer Multiple-Choice-Frage<br />
mit Einfachauswahl mehrere Antwortalternativen angekreuzt, oder ein/e Schüler/in statt einer numerischen<br />
Antwort einen Kommentar in den Raum einfügt, der für die Antwort vorgesehen ist.<br />
Bei dieser Kontrolle wird vor allem bei numerischen Variablen geprüft, ob von den Dateneingebern irrtümlich<br />
falsche Codes vergeben wurden. So wird zum Beispiel bei numerischen Variablen mit dreistelligen<br />
Codes für fehlende oder ungültige Schülerantworten überprüft, ob die Zahlen 9 oder 99 bzw. 8 oder<br />
98 eingegeben wurden. Ist dies der Fall, werden diese Zahlen anhand der Fragebögen bzw. Testhefte überprüft,<br />
um festzustellen, ob dies wirklich die Schülerantwort ist, oder ob hier ein falscher Code verwendet<br />
wurde. Diese aufwändige Überprüfung wird für sämtliche mehrstelligen Variablen aus den Instrumenten<br />
für den Schülerfragebogen, den Testheften und dem Schulfragebogen durchgeführt.<br />
Überprüfung von unplausiblen Werten – Plausibilitätschecks<br />
Alle Variablen der Testhefte, der Schülerfragebögen und des Schulfragebogens werden so genannten<br />
Plausibilitätschecks unterzogen. Hierzu werden die Daten im SPSS-Format aus KeyQuest exportiert und<br />
Häufigkeitstabellen aller Variablen erstellt. Diese werden auf Plausibilität untersucht. Dies umfasst sowohl<br />
so genannte „Out-of-Range-Checks“, bei denen auffällig hohe oder niedrige Werte kontrolliert<br />
werden, als auch Kontrollen von Variablen, bei denen überdurchschnittlich viele Codes für fehlende oder<br />
ungültige Schülerantworten vorkommen.<br />
X. Dateneingabe<br />
Seite 173
Überprüfung von unplausiblen Antwort-Kombinationen in den Fragebögen<br />
Bei den Fragebögen werden die Daten auch über Variablen hinweg auf inhaltliche Plausibilität untersucht.<br />
Zum Beispiel werden die Schüler/innen im Schülerfragebogen darüber befragt, wie viel Zeit sie<br />
in einer Woche im Durchschnitt für Hausübungen benötigen. In einer folgenden Frage sollen sie dann<br />
angeben, wie viel Zeit sie für Mathematik-Hausübungen benötigen. Ist beispielsweise die Angabe der Zeit<br />
für Mathematik-Hausübungen bei Schülerinnen und Schülern höher als ihre gesamte Hausübungszeit,<br />
werden diese Zahlen überprüft.<br />
4.3.3 Qualitätskontrollen durch das internationale Zentrum<br />
Nachdem die oben beschriebenen Kontrollen durchgeführt, und die dabei entdeckten Fehler korrigiert<br />
(oder dokumentiert) sind, können die Daten an das internationale Zentrum übermittelt werden (vgl.<br />
Abschnitt 5 idK.). Am internationalen Zentrum werden die <strong>PISA</strong>-Daten aller teilnehmenden Nationen<br />
umfangreichen Kontrollen und Gültigkeitsprüfungen unterzogen, und bei festgestellten Inkonsistenzen<br />
werden dazu Anfragen an die jeweiligen nationalen Zentren gesendet. Der Datenmanager des jeweiligen<br />
nationalen Projektzentrums hat dabei die Aufgabe diese Anfragen zu beantworten. Für diesen Prozess der<br />
internationalen Datenkontrolle und -säuberung sind etwa sechs Wochen vorgesehen.<br />
5. Data Submission – Übermittlung der Daten an das internationale Zentrum<br />
Die Übermittlung der Haupttestdaten an das internationale Zentrum muss innerhalb von 12 Wochen<br />
nach Ende des nationalen Testfensters erfolgen. In Österreich konnten die gründlich kontrollierten und<br />
gesäuberten Daten termingerecht am 25. August <strong>2006</strong> an das internationale Zentrum gesendet werden.<br />
Sämtliche Daten müssen im Programm KeyQuest übermittelt werden, d. h. es ist – wenn auch dringend<br />
empfohlen – nicht zwingend vorgeschrieben, für die Eingabe der Daten das Programm KeyQuest zu verwenden.<br />
Falls die Daten mit einem anderen Programm eingegeben werden, müssen die Daten allerdings<br />
vor der Übermittlung an das internationale Zentrum in KeyQuest importiert werden.<br />
Folgende Materialen müssen bei der so genannten „Data Submission“ an das internationale Zentrum<br />
übermittelt werden:<br />
• Eine Kopie der KeyQuest-Dateien „KQdata.mdb“ und „KQadmin.mdb“ mit sämtlichen Daten (Daten<br />
für Testhefte, Schülerfragebogen, Schulfragebogen, Multiple Marking, <strong>PISA</strong>-Schülerlisten, Liste<br />
der Schulen, Liste der Schüler/innen, Testsitzungsprotokolle).<br />
• Eine elektronische Kopie (.pdf) der international vorgeschriebenen Gültigkeitsprüfungen der Daten<br />
bzw. der dabei erzeugten <strong>Bericht</strong>e.<br />
• Das komplette Set der nationalen Erhebungsinstrumente (Testhefte und Fragebögen) in PDF-Format.<br />
• Zwei Dokumente mit Informationen zu den übermittelten Daten („Data submission checklist“ und<br />
„Essential information required for cleaning data“).<br />
Kontrolle und Aufbereitung der Daten am internationalen Zentrum<br />
Nach der Übermittlung dieser Materialien werden die Daten vom internationalen Zentrum kontrolliert<br />
(vgl. Abschnitt 4.3.3 idK.) und anschließend für die internationale Datenbasis aufbereitet. Dazu werden<br />
Variablen, die für die Datenerhebung an nationale Gegebenheiten angepasst wurden, in die einheitlichen<br />
internationalen Versionen rekodiert. Die nationalen Zentren haben im Anschluss daran nochmals die<br />
Möglichkeit ihre Daten zu kontrollieren, bevor eine erst Version der internationalen Datenbasis erzeugt<br />
wird. Die nationalen Zentren erhalten etwa Ende Mai 2007 diese erste Version der <strong>PISA</strong>-Daten, wobei<br />
die Leistungsdaten dabei noch innerhalb der Länder skaliert sind und dadurch kein internationaler<br />
Vergleich der Leistungswerte möglich ist. Die Endversion der Daten, die für die Berechnung des internationalen<br />
<strong>Bericht</strong>s verwendet wird, erhalten die nationalen Zentren Ende Juli 2007. Anfang Dezember<br />
2007 werden die Ergebnisse von <strong>PISA</strong> <strong>2006</strong> der Öffentlichkeit bekannt gegeben. Im Anschluss daran<br />
wird die internationale Datanbasis öffentlich zugänglich auf der <strong>PISA</strong>-Homepage der OECD (www.pisa.<br />
oecd.org) zur Verfügung gestellt.<br />
Seite 174<br />
X. Dateneingabe
Bibliografie<br />
Pointinger, M. (2004). Dateneingabe. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von Schülerleistungen.<br />
<strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm<br />
[Datum des Zugriffs: 14.05.2007]<br />
Reiter, C. (2001). Marking, Kodierung und Datenmanagement. In G. Haider (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report. Ziele,<br />
Methoden und Stichproben des österreichischen <strong>PISA</strong> Projekts (S. 211–257). Innsbruck: StudienVerlag.<br />
X. Dateneingabe<br />
Seite 175
Seite 176<br />
X. Dateneingabe
XI<br />
WEB-BASED ASSESSMENT<br />
Simone Breit & Andrea Grafendorfer<br />
1. Ziele von CBAS<br />
2. Stichprobe<br />
2.1 Vorgaben für die CBAS Stichprobe<br />
2.2 Struktur der österreichischen Feldstichprobe<br />
2.3 Auswahl der Schulen<br />
2.4 Rücklauf von den Schulen<br />
3. Testinstrumente<br />
3.1 EDV-getützte Items<br />
3.2 Testhefte<br />
3.3 Fragebögen<br />
4. Technische Voraussetzungen<br />
4.1 Technische Infrastruktur<br />
4.2 Anforderungen an ein EDV-gestütztes Assessmentsystem<br />
4.3 Umsetzung der Übersetzungsrichtlinien in Österreich<br />
5. Testorganisation und -durchführung<br />
5.1 Organisation<br />
5.2 Schulung der Testleiter/innen<br />
5.3 Testablauf an den Schulen<br />
6. Datenverarbeitung<br />
6.1 Coding<br />
6.2 Weiterverarbeitung der Daten<br />
7. Qualitätssicherung und -kontrolle in CBAS<br />
8. Erkenntnisse aus der Machbarkeitsstudie<br />
Dieser Text basiert auf dem entsprechenden Kapitel bei <strong>PISA</strong> 2003 (Lang & Reiter, 2004). Die Autorinnen dieses Kapitels danken<br />
Birgit Lang und Claudia Schreiner (geb. Reiter) für die Bereitstellung des Textes.
Beim Feldtest von <strong>PISA</strong> <strong>2006</strong> hat sich Österreich mit elf weiteren Ländern am internationalen<br />
Zusatzprojekt CBAS (Computer-Based Assessment of Science) beteiligt. Dabei werden die Schüler/innen<br />
nicht nur mit der herkömmlichen Paper-Pencil-Methode (PP) getestet, sondern auch computerunterstützt.<br />
Projektmanager für dieses internationale Zusatzprojekt ist DI Dr. Erik Diewald.<br />
1. Ziele von CBAS<br />
Computerunterstützt heißt im Fall von CBAS, dass Schüler/innen zusätzlich zu den Aufgaben im Testheft<br />
eigens konstruierte Items am Laptop bearbeiten. Damit wird der Versuch gestartet, neue Medien für<br />
<strong>PISA</strong>-Tests zu erschließen, so dass irgendwann computergestützte Tests die Paper-Pencil-Tests ablösen<br />
können. Vom internationalen Zentrum wurde die Variante mit Laptops einer Testung im Internet vorgezogen,<br />
um Länder mit noch geringer Internetanbindung nicht zu benachteiligen.<br />
CBAS ist in Österreich bereits die zweite computergestützte Testerhebung. Bei <strong>PISA</strong> 2003 wurden im Zuge<br />
des nationalen Zusatzprojekts Web-Based Assessment Leistungs- und Kontextdaten von Schülerinnen und<br />
Schülern online erhoben (Lang & Reiter, 2004). Die Instrumente bei dieser Machbarkeitsstudie waren<br />
ident mit den Instrumenten der herkömmlichen <strong>PISA</strong>-Testung. Im Gegensatz dazu wurden für das internationale<br />
Zusatzprojekt CBAS neue Instrumente entwickelt, mit dem Ziel eine neue Art der Erhebung zu<br />
ermöglichen. Die computergestützte Testung soll einen Mehrwert bieten, indem das Naturwissenschafts-<br />
Framework durch andere Arten der Darstellung anders abgebildet werden kann. Daher erhebt CBAS<br />
neue Informationen und eine andere Art von Naturwissenschafts-Kompetenz als <strong>PISA</strong>.<br />
Die Testdurchführung wurde an die speziellen Anforderungen für dieses Projekt angepasst. Alle<br />
Schüler/innen werden eine Stunde mittels Testheft und eine Stunde computerunterstützt getestet. Dafür<br />
werden die teilnehmenden Schüler/innen in zwei Gruppen geteilt, wobei eine Gruppe zuerst den Test am<br />
Computer durchführt, währenddessen die zweite Gruppe die Testhefte bearbeitet. Anschließend tauschen<br />
die Gruppen und führen den Test am jeweils anderen Medium durch. Die zusätzliche Bearbeitung der<br />
Testhefte ermöglicht eine bessere Abbildung der Fähigkeiten und den Vergleich der computergestützt<br />
erhobenen Ergebnisse mit den herkömmlichen. Darüber hinaus beantworten die Schüler/innen ebenfalls<br />
den für <strong>PISA</strong> entwickelten Schülerfragebogen, welcher um einige Fragen zum computergestützten Testen<br />
ergänzt wurde.<br />
Die Vorteile einer Testung der Schüler/innen mittels Computer sind zahlreich:<br />
• finanzielle Einsparungen durch Entfall des Drucks und des Transports der Erhebungsinstrumente;<br />
• zeitliche Einsparungen durch die automatische „Eingabe“ der Daten während der Bearbeitung durch<br />
die Schüler/innen;<br />
• höhere Attraktivität des Tests und Erweiterung der Möglichkeiten durch den Einsatz von Farbe, Bewegung,<br />
Audio/Video;<br />
• verringerte Lesemenge für die Naturwissenschafts-Aufgaben (Items);<br />
• erweiterte Möglichkeiten der Datengewinnung, weil die Antwortprozesse computergestützt aufgezeichnet<br />
werden können (z. B. Ablauf, Zeiten, ...).<br />
Allerdings gibt es trotz dieser Vorteile auch noch unbekannte Effekte – z. B. Beeinflussung der Testergebnisse,<br />
da am Bildschirm gelesen und per Maus geantwortet werden muss –, die mit Hilfe einer<br />
Machbarkeitsstudie identifiziert und analysiert werden können. Auch die technischen Anforderungen<br />
und Möglichkeiten müssen erst erprobt werden. Zusätzlich soll der Feldtest Informationen über den Zusammenhang<br />
zwischen Paper-Pencil- und Computer-Testung liefern.<br />
2. Stichprobe<br />
2.1 Vorgaben für die CBAS-Stichprobe<br />
Mit Hilfe der CBAS-Stichprobe soll erprobt werden, ob eine große Studie wie <strong>PISA</strong> in Hinkunft computerunterstützt<br />
durchgeführt werden kann. Auf dem Weg dorthin sind zahlreiche Erfahrungen notwendig.<br />
Die OECD hat sich entschieden, im Feldtest <strong>2006</strong> den Ländern diese Machbarkeitsstudie anzubieten,<br />
Seite 178<br />
XI. Web-Based Assessment
um im eigenen Kontext die computerunterstützte Testung zu erproben. Österreich hat zwar im Jahr 2003<br />
mit dem Web-Based Assessment Erfahrungen gesammelt, wie der Test- und Befragungsvorgang in <strong>PISA</strong><br />
mit Hilfe des Internets durchgeführt werden kann, sich dennoch entschieden, auf Grund der geänderten<br />
Modalitäten auch an der internationalen Option CBAS teilzunehmen.<br />
Für die Feasability-Study CBAS ist international eine Mindeststichprobengröße von 450 getesteten<br />
Schülerinnen und Schülern vorgesehen. Es wird empfohlen, je 10 Schüler/innen in 45 Schulen computerunterstützt<br />
zu testen. Das internationale Projektzentrum schlägt vor, CBAS entweder an den<br />
Feldtestschulen durchzuführen (also die Anzahl der Schüler/innen an den Feldtestschulen entsprechend<br />
zu erhöhen), oder eigene Schulen für CBAS auszuwählen.<br />
Österreich hat sich für die zweite Option entschieden und für den Feldtest von <strong>PISA</strong> <strong>2006</strong> und für<br />
CBAS zwei voneinander getrennte Stichproben gezogen. Die Vorteile sind aus Sicht des nationalen<br />
Projektzentrums wie folgt:<br />
• Die Bereitschaft zur Teilnahme der Schulen am <strong>PISA</strong>-Feldtest wird nicht durch das internationale<br />
Zusatzprojekt gefährdet.<br />
• Der Aufwand für die Schule bzw. die Schulkoordinator/innen ist durch die getrennten Stichproben<br />
geringer, weil an einer Schule jeweils nur ein Projekt stattfindet.<br />
• Die Testzeit der Schüler/innen beträgt für CBAS-Teilnehmer/innen ebenfalls 3½–4 Stunden. Bei<br />
einer kombinierten Stichprobe von <strong>PISA</strong> und CBAS wäre für die Schüler/innen aufgrund der computergestützten<br />
Testung eine Stunde Testzeit mehr notwendig. Das könnte zu Motivations- und Konzentrationsproblemen<br />
führen.<br />
• Die Testdurchführung ist einfacher, weil nicht der vorhandene Pool an Testleitern und Testleiterinnen<br />
in den Umgang mit den Laptops eingeschult werden muss, sondern spezielle Testleiter/innen für<br />
CBAS rekrutiert werden können.<br />
• Die Trennung der Stichproben verhindert auch eine Gefährdung der herkömmlichen, mit Paper-<br />
Pencil erhobenen Daten.<br />
Das Stichprobendesign für CBAS ist dem Stichprobendesign für den <strong>PISA</strong>-Feldtest sehr ähnlich und<br />
muss ebenfalls folgenden Kriterien entsprechen:<br />
• Für Länder, deren CBAS-Feldtest zwischen 1. März und 31. Mai 2005 durchgeführt wird, ist der<br />
Geburtsjahrgang 1989 die Definition des Zielalters.<br />
• Die Schulstichprobe muss nicht als reine Zufallsstichprobe ermittelt werden. Es ist zulässig, „günstige“<br />
Schulen auszuwählen, sofern die im Folgenden angeführten Punkte berücksichtigt werden.<br />
• Die Stichprobe muss Schüler/innen aus verschiedenen Schultypen umfassen, in denen sich signifikante<br />
Teile 15-/16-Jähriger befinden.<br />
• Die Stichprobe muss Schulen mit den verschiedenen von 15-/16-Jährigen besuchten Schulstufen<br />
enthalten.<br />
• Die Stichprobe soll Schüler/innen verschiedener demografischer und sozioökonomischer Gruppen<br />
umfassen (z. B. verschiedene geografische Regionen, städtische und ländliche Regionen etc.)<br />
2.2 Struktur der österreichischen Feldteststichprobe<br />
Das österreichische Sampling-Design für CBAS orientiert sich wie die Stichprobe des <strong>PISA</strong>-Feldtests an<br />
zwei Merkmalen: der geografischen Lage der Schulen (unter Einbeziehung der Variable Bundesland) und<br />
der Schulform (repräsentiert durch die 20 Strata, die die österreichischen Schulformen zu Gruppen zusammenfassen).<br />
Als erstes wurde entschieden, drei Bundesländer von der Stichprobe auszunehmen. Das<br />
war im Fall der Feasablility-Study von CBAS möglich. Aus organisatorischen Gründen (v. a. um hohe<br />
Reisekosten zu vermeiden) entschied man sich, Kärnten, Steiermark und Vorarlberg von der Stichprobe<br />
auszuschließen.<br />
Um eine Stichprobengröße von 450 Schülerinnen und Schülern aus mind. 45 Schulen zu erreichen, legte<br />
man in Österreich fest, 50 Schulen in das Sampling aufzunehmen. Je nach Anzahl der Schüler/innen in<br />
den Bundesländern bzw. den definierten Strata werden die Randhäufigkeiten für die Stichprobe festge-<br />
XI. Web-Based Assessemnt<br />
Seite 179
setzt. Die Verteilung der Stichprobe auf die einzelnen Zellen (Bundesland-Stratum-Kombinationen) wird<br />
durch eine Zufallsauswahl bestimmt. Mehrfachauswahlen werden hierbei nicht zugelassen. Das Ergebnis<br />
der Festlegungen und der darauf folgenden Zufallsauswahl enthält Abbildung XI.1.<br />
Randhäufigkeiten - vorgegeben<br />
2 Hauptschule 3<br />
3 Polytechnische Schule 5<br />
Burgenland<br />
Kärtnen<br />
Niederösterr.<br />
Oberösterr.<br />
Salzburg<br />
Steiermark<br />
Tirol<br />
Vorarlberg<br />
Wien<br />
3 13 13 5 7 9<br />
<br />
<br />
4 Sonderschule 0<br />
5 Gymnasium 5<br />
6 Realgymnasium & wirtschaftskundliches RG 5<br />
7 Oberstufenrealgymnasium 2<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut 0<br />
9 Berufsschule (technisch/gewerblich) 5<br />
10 Berufsschule (kaufmännisch/Handel &Verkehr) 2<br />
11 Berufsschule (land- & forstwirtschaftlich) 1<br />
12 BMS (gewerblich/technisch/kunstgewerblich) 2<br />
13 BMS (kaufmännisch) 4<br />
14 BMS (wirtschaftsberuflich/sozialberuflich) 3<br />
15 BMS (land- & forstwirtschaftlich) 2<br />
16 BHS (gewerblich/technisch/kunstgewerblich) 3<br />
17 BHS (kaufmännisch) 4<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
<br />
18 BHS (wirtschaftsberuflich/sozialberuflich) 2<br />
19 BHS (land- & forstwirtschaftlich) 1<br />
20 Anstalten der Lehrer- & Erzieherbildung 1<br />
<br />
<br />
<br />
<br />
2.3 Auswahl der Schulen<br />
Abbildung XI.1:Struktur der Stichprobe für CBAS<br />
Durch den Samplingplan aus Abbildung XI.1 ist festgelegt, aus welchen Bundesland-Stratum-<br />
Kombinationen jeweils eine Schule ausgewählt werden muss. Für die konkrete Auswahl der Feldtest-<br />
Schulen wird für jede dieser Kombinationen eine Liste aller Schulen mit 15-/16-Jährigen aus der<br />
Schulstatistik des Schuljahrs 2003/2004 des bm:bwk erstellt. Aus jeder dieser Listen wird dann zufällig<br />
eine Schule ausgewählt. Die auf der Liste direkt folgende Schule wurde als erstes Replacement notiert, die<br />
vorangehende Schule als zweite Replacement-Schule.<br />
Abbildung XI.2 gibt einen Überblick über die aus dieser Prozedur resultierende Stichprobe. Die Anzahl<br />
der Schulen entspricht den in Abbildung XI.1 festgelegten Randhäufigkeiten. Bei der Schüleranzahl je<br />
Stratum handelt es sich um eine Schätzung auf Basis der dem Feldtestsampling zu Grunde liegenden<br />
Schuldatenbank.<br />
Seite 180<br />
XI. Web-Based Assessment
Stratum<br />
2 Hauptschule<br />
3 Polytechnische Schule<br />
4 Sonderschule<br />
5 Gymnasium<br />
6 Realgymnasium & wirtschaftskundliches RG<br />
7 Oberstufenrealgymnasium<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut<br />
9 Berufsschule (technisch/gewerblich)<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr)<br />
11 Berufsschule (land- & forstwirtschaftlich)<br />
12 BMS (gewerblich/technisch/kunstgewerblich)<br />
13 BMS (kaufmännisch)<br />
14 BMS (wirtschaftsberuflich/sozialberuflich)<br />
15 BMS (land- & forstwirtschaftlich)<br />
16 BHS (gewerblich/technisch/kunstgewerblich)<br />
17 BHS (kaufmännisch)<br />
18 BHS (wirtschaftsberuflich/sozialberuflich)<br />
19 BHS (land- & forstwirtschaftlich)<br />
20 Anstalten der Lehrer- & Erzieherbildung<br />
GESAMT<br />
Schulen<br />
(gezogen)<br />
Schüler/innen<br />
(erwartet)<br />
Anzahl Prozent<br />
3 34 5.7 %<br />
5 60 10.1 %<br />
- - -<br />
5 60 10.1 %<br />
5 60 10.1 %<br />
2 24 4.0 %<br />
- - -<br />
5 60 10.1 %<br />
2 24 4.0 %<br />
1 10 1.7 %<br />
2 24 4.0 %<br />
4 48 8.1 %<br />
3 36 6.0 %<br />
2 24 4.0 %<br />
3 36 6.0 %<br />
4 48 8.1 %<br />
2 24 4.0 %<br />
1 12 2.0 %<br />
1 12 2.0 %<br />
50 596 100.0 %<br />
Abbildung XI.2: Die österreichische Stichprobe für CBAS<br />
2.4 Rücklauf von den Schulen<br />
Diese 50 Schulen wurden zur Teilnahme an CBAS eingeladen und um eine vollständige Schülerliste<br />
des Geburtsjahres 1989 gebeten. In zwei der 50 Schulen konnte CBAS nicht durchgeführt werden: eine<br />
Schule war aufgelassen worden,<br />
bei der anderen Schule<br />
Schüler/innen in der CBAS-Stichprobe<br />
Ausschlüsse<br />
auf Grund<br />
Ineligible,<br />
weil<br />
Abbildung XI.3: Ausschlüsse bei CBAS<br />
576 100 %<br />
körperlicher Behinderung 0 0.0 %<br />
geistiger Behinderung 0 0.0 %<br />
mangelnder Deutschkenntnisse 7 1.2 %<br />
Ausschlüsse gesamt 7 1.2 %<br />
an andere Schule gewechselt 2 0.3 %<br />
nicht mehr in der Schule 8 1.4 %<br />
Zu testende Schüler/innen<br />
Ineligible gesamt 10 1.7 %<br />
559<br />
handelte es sich um einen<br />
Fehler in der Datenbank,<br />
so dass dort keine Schüler/innen<br />
der ausgewählten<br />
Schulform vertreten waren.<br />
In den verbleibenden 48<br />
Schulen wurden per Zufall<br />
je 12 Schüler/innen für die<br />
Teilnahme an CBAS ausgewählt<br />
(insgesamt 576 Schüler/innen).<br />
Bei CBAS ist<br />
es – wie bei <strong>PISA</strong> – möglich,<br />
einzelne Schüler/innen vom<br />
XI. Web-Based Assessemnt<br />
Seite 181
Test auszuschließen. Die<br />
Kriterien dafür sind dieselben<br />
wie bei <strong>PISA</strong>. Schüler/innen<br />
werden vom CBAS-Test<br />
dann ausgeschlossen, wenn<br />
sie die 7. Schulstufe noch<br />
nicht erreicht haben, die<br />
Teilnahme auf Grund von<br />
schwerer körperlicher oder<br />
geistiger Behinderung nicht<br />
zumutbar ist oder die betreffenden<br />
Schüler/innen über<br />
zu testende Schüler/innen<br />
Ausfälle<br />
auf Grund<br />
Abbildung XI.4: Ausfälle bei CBAS<br />
559 100 %<br />
Verweigerung der Teilnahme 3 0.5 %<br />
Abwesenheit 37 6.6 %<br />
Ausfälle gesamt<br />
40 7.2 %<br />
Daten aus Testheft und Fragebogen 519 92.8 %<br />
Datenverlust auf Grund technischer Probleme 11 2.0 %<br />
Daten vom computergestützen Test<br />
508 90.9 %<br />
mangelnde Deutschkenntnisse verfügen, weil sie noch weniger als ein Jahr in Österreich sind (vgl. Kapitel<br />
VI). Abbildung XI.3 (vorhergehende Seite) zeigt die Ausschlüsse von Schüler/innen bei CBAS.<br />
Von den testbaren 559 Schüler/innen haben 519 tatsächlich an CBAS teilgenommen. Drei Schüler/innen<br />
haben sich vom Test abgemeldet, 37 Schüler/innen fehlten am Testtag und konnten daher nicht getestet<br />
werden. Beim computergestützten Teil war darüber hinaus in einer Schule ein Datenverlust zu verzeichnen,<br />
sodass für 508 Schüler/innen aus diesem Testbereich Daten zur Verfügung stehen (vgl. Abbildung XI.4).<br />
Abbildung XI.5 gibt getrennt nach Schulsparten einen Überblick über die Rücklaufquoten bei CBAS.<br />
Stratum<br />
Schulen<br />
Schüler/innen<br />
teilgen. erwartet teilgen. Rücklauf<br />
2 Hauptschule 3 28 28 100.0 %<br />
3 Polytechnische Schule 5 58 50 86.2 %<br />
4 Sonderschule - - - -<br />
5 Gymnasium 5 60 58 96.7 %<br />
6 Realgymnasium & wirtschaftskundliches RG 4 47 44 93.6 %<br />
7 Oberstufenrealgymnasium 2 24 23 95.8 %<br />
8 Sonstige Allgemeinbildende Schulen/mit Statut - - - -<br />
9 Berufsschule (technisch/gewerblich) 5 60 54 90.0 %<br />
10 Berufsschule (kaufmännisch/Handel & Verkehr) 2 24 21 87.5 %<br />
11 Berufsschule (land- & forstwirtschaftlich) 1 12 9 75.0 %<br />
12 BMS (gewerblich/technisch/kunstgewerblich) 2 24 24 100.0 %<br />
13 BMS (kaufmännisch) 4 44 39 88.6 %<br />
14 BMS (wirtschaftsberuflich/sozialberuflich) 3 34 33 97.1 %<br />
15 BMS (land- & forstwirtschaftlich) 1 12 11 91.7 %<br />
16 BHS (gewerblich/technisch/kunstgewerblich) 3 36 36 100.0 %<br />
17 BHS (kaufmännisch) 4 48 43 89.6 %<br />
18 BHS (wirtschaftsberuflich/sozialberuflich) 2 24 22 91.7 %<br />
19 BHS (land- & forstwirtschaftlich) 1 12 12 100.0 %<br />
20 Anstalten f. Lehrer- & Erzieherbildung 1 12 12 100.0 %<br />
GESAMT 48 559 519 92.8 %<br />
Abbildung XI.5: Rücklauf bei CBAS nach Schulsparten<br />
Seite 182<br />
XI. Web-Based Assessment
3. Testinstrumente<br />
3.1 EDV-gestützte Items<br />
Für die Umsetzung der <strong>PISA</strong>-Testung auf den Laptops werden eigene Naturwissenschafts-Aufgaben (Items)<br />
entwickelt. Alle CBAS-Items stammen aus der Domäne Naturwissenschaft; Lesen und Mathematik wird<br />
durch CBAS nicht erfasst. Die Aufgaben werden vom internationalen <strong>PISA</strong>-Konsortium erstellt. Ihnen<br />
liegt das gleiche Framework zu Grunde wie den Items des klassischen PP-<strong>PISA</strong>-Tests.<br />
Es wurden 56 Units mit 115 Items für den Feldtest erstellt. Jede Aufgabe besteht wie beim herkömmlichen<br />
<strong>PISA</strong>-Test aus einem Stimulus und einer dazugehörigen Frage. Im Unterschied zu den herkömmlichen<br />
Aufgaben kann dieser Stimulus auch aus einem Video oder einer Animation bestehen. Es wurde<br />
versucht, den Leseaufwand sowohl im Stimulus als auch in der Frage möglichst gering zu halten. Die<br />
Antwortmöglichkeiten sind im geschlossenen Format (Multiple-Choice- oder Drag-and-Drop-Format).<br />
Für die Übersetzung der Items kommt ein eigens dafür entwickeltes Programm, die CBAS-Unit-<br />
Translation-Software, zur Anwendung. Die Vorgangsweise entspricht dem Prozedere bei den Übersetzungen<br />
der Materialen für den herkömmlichen <strong>PISA</strong>-Test. Zwei unabhängige Personen fertigen jeweils eine<br />
Übersetzung an, die dann von einem Dritten zusammengeführt und zur Begutachtung ans internationale<br />
Zentrum übermittelt wird. Anschließend laufen die gleichen Begutachtungs-Schritte ab wie bei <strong>PISA</strong>.<br />
Zuerst wird die Übersetzung geprüft und mit Änderungswünschen zurückgeschickt. Die geforderten<br />
Modifikationen werden eingearbeitet und abschließend zur Begutachtung, dem Final-Optical-Check,<br />
wieder ans internationale Zentrum gesendet.<br />
Die Items werden zu zehn verschiedenen CBAS-Testformen kombiniert, welche den Schülerinnen und<br />
Schülern im Rotationsprinzip zugeteilt werden.<br />
3.2 Testhefte<br />
Für den PP-Teil des CBAS-Tests werden eigene Testhefte mit einer Auswahl aus dem Feldtest-Item-Pool<br />
in der bekannten Form zusammengestellt. 89 Items aus 17 Units werden zu fünf Cluster kombiniert. Es<br />
handelt sich hierbei um fünf Cluster, die in derselben Form im <strong>PISA</strong>-Feldtest <strong>2006</strong> verwendet werden.<br />
Das CBAS-Testheft wurde für eine Bearbeitungsdauer von einer Stunde konzipiert. Es gibt zehn verschiedene<br />
Testheftformen (C1–C10), die den Schülerinnen und Schülern ebenfalls im Rotationsprinzip<br />
zugeteilt werden.<br />
3.3 Fragebögen<br />
Zur Erhebung von Kontext-Informationen werden vier Fragebogenformen eingesetzt, die den Fragebögen<br />
des <strong>PISA</strong>-Feldtests entsprechen, wobei zusätzliche Fragen zur computerunterstützten Testung gestellt<br />
werden.<br />
4. Technische Voraussetzungen<br />
4.1 Technische Infrastruktur<br />
Jedes Testleitungs-Team wurde mit einem identischen Equipment für die Datenerhebung ausgestattet<br />
• 7 Notebooks DELL Latitude D600 („CBASx01-7“) mit Netzteil<br />
• 7 Notebooktaschen<br />
• 7 opt. Mäuse Logitech Notebook Mouse Plus<br />
• 6 Kopfhörer Sennheiser HD-25-SP (mit nachträglich umgelöteten 3,5mm Stereo-Klinkensteckern,<br />
da sich die Lösung des Herstellers mit Adapter-Stecker als nicht schülertauglich erwiesen hat)<br />
• 2 x 6 Paar (pro Schule) Hygiene-Ohrpads Sennheiser HZP-25 (auswechselbar, waschbar)<br />
• 1 Funk-AccessPoint Netgear WGR-614„CBAS-APx“ mit Netzteil<br />
• 1 Kabeltrommel<br />
• 1 Verteiler 10fach<br />
XI. Web-Based Assessemnt<br />
Seite 183
• 2 (pro Schule) CD-Rs vorbedruckt sowie mit zusätzlicher „Notfall-Ausrüstung“:<br />
• 6 Netzwerkkabel „grau“<br />
• 1 Netzwerkkabel „rot“<br />
• 1 Netzwerk-Switch D-Link DES-1008D „CBAS-SWx“ mit Netzteil<br />
• 5 CD-Rs (unbedruckt)<br />
Zusätzlich verblieb ein vorinstalliertes Notebook am Projektzentrum, um im Falle größerer Defekte<br />
Ersatzgeräte rasch zur Verfügung zu haben.<br />
Die Notebooks waren mit folgender Hardware ausgestattet:<br />
Processor<br />
Model: Intel(R) Pentium(R) M processor 1.60GHz<br />
Type: Mobile<br />
Internal Data Cache: 32kB Synchronous, Write-Back, 8-way set, 64 byte line size<br />
L2 On-board Cache: 2MB ECC Synchronous, ATC, 8-way set, 64 byte line size<br />
Mainboard<br />
Bus(es): ISA X-Bus AGP PCI PCMCIA CardBus USB<br />
MP Support: No<br />
MP APIC: No<br />
System BIOS: Dell Computer Corporation A14<br />
System: Dell Computer Corporation Latitude D600<br />
Mainboard: Dell Computer Corporation 0D2125<br />
Total Memory: 512MB DDR-SDRAM<br />
Chipset<br />
Model: Intel Corporation 82855PM Host-Hub Interface Bridge<br />
Front Side Bus Speed: 4x 100MHz (400MHz data rate)<br />
Total Memory: 512MB DDR-SDRAM<br />
Memory Bus Speed: 2x 133MHz (266MHz data rate)<br />
Video System<br />
Adapter: MOBILITY RADEON 9000<br />
Physical Storage Devices<br />
Hard Disk: TOSHIBA MK4026GAX (37GB)<br />
CD-ROM/DVD: SAMSUNG CDRW/DVD SN-324S (CD 24X Rd, 24X Wr) (DVD<br />
3X Rd)<br />
Logical Storage Devices<br />
System (C:): 37GB (30GB, 80 % Free Space) (NTFS)<br />
Peripherals<br />
Serial/Parallel Port(s): 2 COM / 1 LPT<br />
USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C2<br />
USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C4<br />
USB Controller/Hub: Intel(R) 82801DB/DBM USB Universal Host Controller-24C7<br />
USB Controller/Hub: Intel(R) 82801DB/DBM USB 2.0 erweiterter Hostcontroller-24CD<br />
USB Controller/Hub: USB-Root-Hub<br />
USB Controller/Hub: USB-Massenspeichergerät<br />
PCMCIA/CardBus Controller: O2Micro OZ711EC1 SmartCardBus Controller<br />
Smart Card Device: O2Micro SmartCardBus Reader<br />
Keyboard: Standardtastatur (101/102 Tasten) oder Microsoft Natural Keyboard (PS/2)<br />
Mouse: Alps Touch Pad<br />
Seite 184<br />
XI. Web-Based Assessment
MultiMedia Device(s)<br />
Device: SigmaTel C-Major Audio<br />
Communication Device(s)<br />
Device: Conexant D480 MDC V.9x Modem<br />
Operating System(s)<br />
Windows System: Microsoft Windows XP/2002 Professional (Win32 x86)<br />
5.01.2600 (Service Pack 2)<br />
Network Services<br />
Adapter: Broadcom 570x Gigabit Integrated Controller<br />
Adapter: Intel(R) PRO/Wireless 2200BG Network Connection<br />
Auf diesen Notebooks war für CBAS folgende Software installiert:<br />
• Betriebssystem: Windows XP Professional SP2<br />
• WLAN-Treiber: Intel PRO/Wireless Networkpackage Version A08 bzw. A09<br />
• Testumgebung: Test Administrator und Test Delivery Version 1.4.0<br />
• Virenschutz: McAfee<br />
• MS-Office 2003<br />
• Nero Burning ROM Version 6<br />
Durch folgende Vorkehrungen sollte im Falle eines Problems mit der Hardware oder Software eine möglichst<br />
rasche Behebung gewährleistet werden:<br />
• Alle Notebooks sind gleich konfiguriert. Somit kann jedes Notebook als Testleiter- oder Test-<br />
Delivery-Plattform eingesetzt werden.<br />
• Es existiert ein vollständiges Image des Systems, mit dem innerhalb von ca. 2 Stunden ein fehlerhaftes<br />
System selbst von Laien vollständig neu aufgesetzt werden kann.<br />
• Für grobe Defekte steht ein zusätzliches, vollständig konfiguriertes Notebook als Reservesystem im<br />
Projektzentrum zur Verfügung.<br />
• Bei Netzwerkproblemen kann problemlos und ohne viel Zeitaufwand auf eine verkabelte Netzwerkverbindung<br />
umgestellt werden.<br />
• Es ist immer ein eingeschulter Techniker für telefonischen Support bei Problemen mit den Notebooks<br />
oder der Testumgebung erreichbar.<br />
• Das WLAN-Netzwerk wurde vor dem ersten Einsatz im Feldtest einem „Stresstest“ unterzogen, um<br />
etwaige Instabilitäten aufzudecken.<br />
• DELL-Golden-Support mit Vorort-Service.<br />
4.2. Anforderungen an ein EDV-gestütztes Assessmentsystem<br />
Für die Umsetzung der Instrumente sowie für die Testdurchführung selbst wurde vom internationalen<br />
Zentrum eine Software entwickelt, die auf Grund der komplexen Strukturen der <strong>PISA</strong>-Studie spezielle<br />
Anforderungen erfüllen muss. Im Folgenden sind einige Beispiele für diese Anforderungen aufgelistet:<br />
• Der Schülerzugang zu den Aufgaben und Fragen soll mit Codes ermöglicht werden.<br />
• Das System muss unempfindlich gegenüber PC-Abstürzen sein und ein Neueinstieg mit dem letzten<br />
Datenstand muss möglich sein.<br />
• Die Bedienung der Software muss möglichst einfach sein, um Schülern bzw. Schülerinnen mit geringen<br />
EDV-Kenntnissen nicht zu benachteiligen.<br />
• Gleichzeitig muss die Möglichkeit für Schüler/innen, unerwünscht in das Programm einzugreifen,<br />
minimiert werden (z. B. Tastenkombinationen wie Strg-Alt-Entf).<br />
• Die verwendeten Aufgaben sollen durch den erweiterten Einsatz von Farbe, Bewegung und Simulationen<br />
attraktiver sein als im herkömmlichen <strong>PISA</strong>-Test mittels Testheften.<br />
XI. Web-Based Assessemnt<br />
Seite 185
• Die Aktivitäten der Schüler/innen sollen protokolliert werden, um die Häufigkeit des Änderns einer<br />
Antwort oder die Verweildauer auf einer Seite auswerten zu können.<br />
5. Testorganisation und -durchführung<br />
5.1 Organisation<br />
Für CBAS wurden eigene Testleiter/innen angeworben, die für drei Monate am nationalen <strong>PISA</strong>-Zentrum<br />
angestellt wurden. Die Testleiter/innen sollten pädagogische Erfahrung mitbringen und technisch versiert<br />
sein, so dass sie mit dem Netzwerk der Laptops klar kommen. Das Testdesign erforderte gleichzeitig zwei<br />
Testleiter/innen an einer Schule, so dass zwei Teams gebildet wurden. Zwei Testleiter übernahmen die<br />
Region Ostösterreich, zwei Testleiterinnen Westösterreich. Die beiden Testleiter/innen mussten gemeinsam<br />
an die Schule kommen, um CBAS durchzuführen. Für diese Tätigkeiten konnten Absolvent/innen<br />
der universitären Lehrerausbildung gewonnen werden.<br />
5.2 Schulung der Testleiter/innen<br />
Für die CBAS-Testleiter/innen wurde eine ganztätige Einschulung abgehalten. Im ersten Teil der Schulung<br />
wurden die Testleiter/innen über <strong>PISA</strong> und CBAS im Allgemeinen informiert. Anschließend wurden die<br />
Testleiter/innen mit ihren Aufgaben vertraut gemacht, im Speziellen ging es um die Kontaktaufnahme<br />
mit den Schulen, die Durchführung der Testsitzungen mit Hilfe der Testleiter-Skripts sowie die ordnungsgemäße<br />
Protokollierung der Testsitzungen. Im zweiten Teil stand das praktische Erproben der Technik im<br />
Mittelpunkt. Den Testleitern und Testleiterinnen wurden Tipps für die Behandlung von Schwierigkeiten<br />
mit auf den Weg gegeben.<br />
Jeder der beiden Testleiter/innen musste im Stande sein, beide Rollen zu übernehmen: die Leitung des Tests<br />
am Laptop und die Leitung des Tests in Papierform. Für jeden Testteil (Papier – Laptop – Fragebogen)<br />
gibt es für die Testleiter/innen strenge Vorgaben und wortwörtlich zu verlesende Skripts wie beim klassischen<br />
<strong>PISA</strong>-Test.<br />
5.3 Testablauf an den Schulen<br />
Bei CBAS nimmt jede Schülerin bzw. jeder Schüler an einer einstündigen Testheftsitzung und einer<br />
einstündigen Laptopsitzung teil und füllt zum Schluss einen Schülerfragebogen im Unfang einer halben<br />
Stunde aus. Für die Durchführung von CBAS werden an einer Schule zwei Räume benötigt. Während ein/<br />
e Testleiter/in mit 6 Schülerinnen bzw. Schülern die Laptop-Sitzung durchführt, findet parallel dazu von<br />
der anderern Testleiterin bzw. vom anderen Testleiter für die anderen 6 Schüler/innen die Testheftsitzung<br />
mit Papier und Bleistift statt (vgl. Abbildung XI.6).<br />
Die Vorbereitungen für die Testdurchführung dauern etwa eine Stunde. In einem Raum werden für die<br />
Computer-Testung 7 Laptops, die von den Testleiterinnen bzw. Testleitern mitgebracht werden, im Kreis<br />
zu einem kabellosen Netzwerk (WLAN) verbunden. Ein Laptop ist für die Testleiterin bzw. den Testleiter<br />
vorgesehen. Auf diesem Computer ist das CBAS-Test-Administrations-Progamm installiert, mit dessen<br />
Hilfe alle Antwort- und Verhaltensdaten der Schüler/innen gesammelt werden. Auf den sechs restlichen<br />
Laptops, die für die Schüler/innen vorgesehen sind, liegt das CBAS-Test-Programm.<br />
Jede Schülerin und jeder Schüler erhält einen speziellen Code, mit dem er bzw. sie in das Testprogramm<br />
einsteigen kann. Zu Beginn der Testsitzung am Computer wird eine kurze Übungsphase abgehalten, bei<br />
der überprüft wird, ob alle teilnehmenden Schüler/innen mit den für den Test notwendigen Techniken<br />
(Bewegen der Maus, Anklicken von Antworten, Abspielen der Filme und Animationen, Lautstärkeregelung<br />
der Kopfhörer) vertraut sind. Anschließend wird der Haupttest gestartet, bei dem die Schüler/innen, wie<br />
bei der Testheft-Sitzung, unterschiedliche Aufgaben bearbeiten. Nachdem die einstündige Testsitzung am<br />
Computer abgeschlossen ist, werden alle Daten am Testleiter-Laptop gesammelt und zur Datensicherung<br />
auf CD-R gebrannt.<br />
Seite 186<br />
XI. Web-Based Assessment
Nach einer Stunde Testzeit tauschen die Schüler/innen die Räume. Anschließend füllen sie gemeinsam<br />
den Fragebogen in Papierform aus (vgl. Abbildung XI.6). Die Testmaterialien, wie CD-R mit den gesicherten<br />
Schülerdaten, Testhefte und Fragebögen, wurden laufend – meist wöchentlich – an das nationale<br />
Projektzentrum gesandt.<br />
Raum 1<br />
(Testleiter/in 1)<br />
Ablauf einer CBAS-<strong>PISA</strong>-Testsitzung<br />
Schülergruppe 1<br />
Schülergruppe 2<br />
Raum 2<br />
(Testleiter/in 2)<br />
Begrüßung<br />
und Einleitung<br />
durch Testleiter/in<br />
Bearbeitung der<br />
<strong>PISA</strong>-Aufgaben<br />
computergestützt<br />
60 min<br />
Bearbeitung der<br />
<strong>PISA</strong>-Aufgaben im<br />
Testheft<br />
60 min<br />
Bearbeitung der<br />
<strong>PISA</strong>-Aufgaben<br />
computergestützt<br />
60 min<br />
5 min Pause 15 min Pause<br />
Bearbeitung der<br />
<strong>PISA</strong>-Aufgaben im<br />
Testheft<br />
60 min<br />
Begrüßung<br />
und Einleitung<br />
durch Testleiter/in<br />
<strong>PISA</strong>/Schülerfragebogen<br />
ca. 40 min<br />
Abbildung XI.6: Ablauf einer CBAS-Testsitzung<br />
Die Testsitzungen von CBAS fanden im dreimonatigem Testfenster statt: zwischen 1. März und 31. Mai<br />
2005 wurden alle Testsitzungen an den Schulen durchgeführt. Nachtests für fehlende Schüler/innen wie<br />
beim herkömmlichen <strong>PISA</strong>-Test sind bei CBAS nicht vorgesehen.<br />
6. Datenverarbeitung<br />
6.1 Coding<br />
Coding, die Bewertung von offenen Aufgaben, ist bei CBAS nur für die Testhefte notwendig. Diese<br />
wurden im Zuge des Codings für das klassische <strong>PISA</strong> durchgeführt (vgl. Kapitel VIII). Die computerunterstützen<br />
Tests umfassen ausschließlich Fragen im geschlossenen Antwortformat. Somit ist das Umsetzen<br />
von Antworten in Codes nicht nötig.<br />
6.2 Weiterverarbeitung der Daten<br />
Der bei traditionellen Paper-Pencil-Erhebungen sehr umfangreiche Prozess der Dateneingabe ist nur für<br />
die Testheft- und Fragebogendaten notwendig. Die Ergebnisse der Computer-Tests können direkt in<br />
KeyQuest importiert werden.<br />
7. Qualitätssicherung und -kontrolle bei CBAS<br />
Auch für CBAS wurden große Anstrengungen zur Qualitätssicherung und -kontrolle unternommen. Viele<br />
der Maßnahmen werden ähnlich wie beim klassischen <strong>PISA</strong>-Test durchgeführt. Folgende Maßnahmen<br />
zur Qualitätssicherung und -kontrolle wurden durchgeführt:<br />
• Die Ziehung einer eigenen Stichprobe für CBAS unabhängig vom <strong>PISA</strong>-Feldtest hat den Vorteil, dass<br />
die Ergebnisse des <strong>PISA</strong>-Feldtests in keiner Weise von der internationalen Zusatzstudie beeinträchtigt<br />
werden. Die hohen Qualitätsmaßstäbe bei der Stichprobenziehung selbst wurden auch bei CBAS<br />
realisiert.<br />
XI. Web-Based Assessemnt<br />
Seite 187
• Die Übersetzung der Instrumente unterliegt genau festgelegten Schritten mit laufender Qualitätssicherung.<br />
Das gilt sowohl für die Items, die für die Testhefte verwendet wurden, als auch für die Aufgaben,<br />
die für die computerunterstützte Testung vorgesehen sind.<br />
• Es erfolgt eine genaue Kontrolle der Testhefte und Fragebögen auf Druckfehler, um eine optimale Qualität<br />
der Instrumente zu ermöglichen.<br />
• Um eventuelle Hardware-Probleme zu vermeiden und sicherzustellen, dass alle Programme auch<br />
wirklich laufen, wurde der Test auf eigenen, von den Testleitern und Testleiterinnen mitgebrachten<br />
Notebooks durchgeführt. Weiter wird so eine Vergleichbarkeit der Tests ermöglicht, da alle Computer<br />
z. B. mit derselben Geschwindigkeit laufen oder dieselbe Bildschirmgröße haben.<br />
• Die verwendete Test-Software muss eine Datensicherung bei Computerausfällen möglich machen.<br />
Wenn etwa ein Computer im Netzwerk abstürzt, muss es möglich sein, dass zumindest die Daten der<br />
anderen Notebooks gesammelt werden.<br />
• Für die Durchführung wurden auch bei CBAS externe Testleiter/innen eingesetzt. Diese waren fix angestellt<br />
und führten alle Tests durch. Durch ihre große Erfahrung konnte eine Test-Durchführung nach<br />
den vorgesehenen Kriterien gewährleistet werden. Außerdem wurden Tests von den Mitarbeiterinnen<br />
des nationalen Projektzentrums besucht und auf ihre korrekte Administration hin beobachtet.<br />
• Kopien der Daten auf CD-Rom wurden an verschiedenen Orten gelagert.<br />
• Das Coding der Testhefte unterlag der gleichen Kontrolle, wie sie auch bei <strong>PISA</strong> durchgeführt wurde.<br />
Das qualifizierte Codingpersonal wurde mit Hilfe der standardisierten Workshopmaterialien geschult<br />
und anschließend getestet. Die Zuordnung zu den Testheften erfolgte ebenso nach einem Rotationsschema,<br />
wobei jeweils zwei Coder/innen zwei unterschiedliche Aufgabenblöcke bearbeiteten. Auch<br />
hier erfolgten permanent Qualitätskontrollen durch die Supervisorin und anschließende Nachschulungen.<br />
• Die Qualität der Dateneingabe wurde ebenfalls wie bei <strong>PISA</strong> von einem Mitarbeiter des ZVB ständig<br />
überprüft.<br />
8. Erkenntnisse aus der Machbarkeitsstudie<br />
Österreich hat am internationalen Zusatzprojekt CBAS nur im Feldtest teilgenommen. Dieser war im<br />
Sinn einer Machbarkeitsstudie konzipiert. Es wurde versucht, mit Hilfe der Testung am Computer einen<br />
Mehrwert („added value“) einzubringen. Für Österreich wurde gezeigt, dass eine Testorganisation im hier<br />
beschriebenen Design möglich ist.<br />
International zeigt die Datenauswertung aus dem Feldtest folgende Ergebnisse:<br />
• Es besteht ein moderater Zusammenhang zwischen den Leistungen, die mit Paper-Pencil-Test erhoben<br />
wurden, und jenen, die computergestützt gemessen wurden.<br />
• Die Schüler/innen bevorzugen die Computertestung gegenüber der klassischen Testung im Paper-<br />
Pencil-Stil. Besonders Burschen machen den Test lieber am Computer als im Testheft.<br />
• Ein deutlicher Vorteil der CBAS-Testung liegt in der reduzierten Leselast, die eine bessere Messung<br />
der eigentlichen Naturwissenschafts-Kompetenz ermöglicht. Wie erwartet schlägt sich dieser Vorteil<br />
vor allem in den Leistungen der Burschen nieder.<br />
• Obwohl bei CBAS die nötigen Computerkenntnisse bewusst minimiert wurden, schneiden Schüler/innen<br />
mit höheren Computer-Kompetenzen besser ab als solche mit niedrigeren Fähigkeiten.<br />
• Geschlechtsunterschiede werden durch die computerunterstützte Testung deutlicher. Während Burschen,<br />
die zuerst die Aufgaben im Testheft bearbeiten, meistens höhere Leistungen zeigen als Mädchen,<br />
ist es bei anderer Reihenfolge umgekehrt. Burschen, die zuerst den Test am Computer gemacht<br />
haben, liefern anschließend im Testheft schlechtere Leistungen als Mädchen.<br />
Zusammenfassend lässt sich sagen, dass mit CBAS eine andere Messung der Naturwissenschafts-Kompetenz<br />
möglich ist und dass Geschlechterdifferenzen deutlicher abgebildet werden. Zusätzlich zu den erweiterten<br />
Möglichkeiten der Stimuluspräsentation ist hier ein „added value“ vorhanden. Österreich hat am CBAS<br />
Haupttest schließlich nicht teilgenommen, da der inhaltliche Mehrgewinn unter den Erwartungen lag.<br />
Seite 188<br />
XI. Web-Based Assessment
Außerdem haben sich schlussendlich nur drei Länder am Haupttest beteiligt, was die Vergleichbarkeit<br />
stark einschränkt.<br />
Bibliografie<br />
Lang, B. & Reiter, C. (2004). Web-based Assessment. In G. Haider & C. Reiter (Hrsg.), <strong>PISA</strong> 2003. Internationaler Vergleich von<br />
Schülerleistungen. <strong>Technischer</strong> <strong>Bericht</strong>. [WWW Dokument]. Verfügbar unter: http://www.pisa-austria.at/pisa2003/testinstrumente/index.htm<br />
[Datum des Zugriffs: 14.05.2007]<br />
XI. Web-Based Assessemnt<br />
Seite 189
Seite 190<br />
XI. Web-Based Assessment
XII<br />
X<br />
QUALITÄTSSICHERUNG<br />
Claudia Schreiner<br />
1. Einleitung<br />
1.1 Zum Qualitätsbegriff<br />
1.2 Was ist Qualitätssicherung?<br />
1.3 Verantwortlichkeiten bei der Qualitätssicherung<br />
1.4 Qualitätssicherung in allen Untersuchungsphasen<br />
2. Qualitätssicherung in der Vorbereitungsphase<br />
2.1 Erhebungsmaterialien<br />
2.2 Stichprobenziehung (Sampling)<br />
2.3 Screening<br />
2.4 National Center Quality Monitoring<br />
3. Qualitätssicherungsmaßnahmen während der Datenerhebung<br />
3.1 Qualitätslenkung zur Gewährleistung der Durchführungsobjektivität<br />
3.2 Qualitätskontrolle und -entwicklung durch Rückmeldung der TL<br />
3.3 Qualitätskontrolle und -entwicklung durch Rückmeldung der SK<br />
3.4 <strong>PISA</strong> Quality Monitoring<br />
4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung<br />
4.1 Rücklauf der Erhebungsinstrumente<br />
4.2 Coding<br />
4.3 Dateneingabe<br />
4.4 Berufsklassifizierung<br />
Dieser Text basiert auf dem entsprechenden Kapitel bei <strong>PISA</strong> 2003 (Wallner-Paschon 2004). Die Autorin dieses Kapitels<br />
dankt Christina Wallner-Paschon für die Bereitstellung des Textes.
1. Einleitung<br />
In diesem Kapitel wird vorerst auf den Qualitätsbegriff eingegangen sowie Zielsetzung und<br />
Verantwortlichkeiten der Qualitätssicherungsmaßnahmen bei <strong>PISA</strong> erörtert. In weiteren Abschnitten<br />
werden diese Maßnahmen, da sie vorwiegend an bestimmte Untersuchungsphasen gekoppelt sind, chronologisch<br />
angeführt und erläutert.<br />
1.1 Zum Qualitätsbegriff<br />
Der Begriff „Qualität“ wird sowohl im Alltag als auch in der Forschung sehr unterschiedlich verwendet,<br />
was vor allem daran liegt, dass er mehrere Dimensionen aufweist und somit verschiedene Zugänge hat.<br />
Das Produkt von <strong>PISA</strong> – Daten von ungefähr 380 000 Schüler/innen und etwa 13 800 Schulen – werden,<br />
wie bereits in Kapitel II erläutert, mit dem Ziel erhoben, den Teilnehmerländern Bildungsindikatoren im<br />
Längsschnitt und im Ländervergleich zur Verfügung zu stellen, die zum einen zur Einschätzung und<br />
Kontrolle der Effektivität des jeweiligen Bildungssystems herangezogen werden, und zum anderen als<br />
Grundlage für schulpolitische Entscheidungen dienen. Aus diesem Grund bedeutet Qualität bei international<br />
vergleichenden Schülerleistungsstudien wie <strong>PISA</strong> in erster Linie Datenqualität, da diese die<br />
Aussagekraft der Ergebnisse bestimmt.<br />
Um festzulegen, was Datenqualität im jeweiligen Fall ausmacht, können den Daten bestimmte<br />
Eigenschaften bzw. Qualitätsmerkmale zugewiesen werden. Bei <strong>PISA</strong> sind hier die üblichen wissenschaftlichen<br />
Hauptgütekriterien der Objektivität, Reliabilität und Validität als wichtige Qualitätsmerkmale zu<br />
nennen. Darüber hinaus spielt die Vergleichbarkeit der Ergebnisse zwischen den Ländern eine wesentliche<br />
Rolle. Eine gute Datenqualität in diesem Sinne kann aber grundsätzlich nur erreicht werden, wenn in allen<br />
Untersuchungsphasen der Studie die Qualität der Prozeduren, die im Hinblick auf die Datenqualität<br />
wesentlich sind, gewährleistet wird.<br />
1.2 Was ist Qualitätssicherung?<br />
Eine ähnliche Situation wie beim Qualitätsbegriff findet man auch bei diesbezüglichen Wortverbindungen,<br />
die in der Literatur unterschiedlich verwendet werden. Für diesen Beitrag verwenden wir die Begriffe wie<br />
im Folgenden definiert:<br />
Bei der Qualitätssicherung (QS) wird sichergestellt, dass es Mechanismen, Verfahren und Prozesse gibt,<br />
die dafür Sorge tragen, dass die gewünschte Qualität auch zu Stande kommt (Harvey & Green, 2000).<br />
Qualitätssicherung wird somit als Oberbegriff bzw. Sammelbezeichnung für alle qualitätsbezogenen<br />
Maßnahmen wie Qualitätsplanung, Qualitätslenkung, Qualitätskontrolle und Qualitätsentwicklung verstanden.<br />
Bei der Qualitätsplanung geht es vorrangig um das Auswählen, Klassifizieren und Gewichten der<br />
Qualitätsmerkmale, die Festlegung von Kriterien, anhand derer das Ausmaß an Qualität zu bemessen ist,<br />
sowie die Formulierung von Qualitätsanforderungen bzw. Qualitätsmaßstäben.<br />
Die Qualitätslenkung umfasst vorbeugende, überwachende und korrigierende Tätigkeiten zur Erfüllung<br />
bzw. Sicherung der geplanten Qualitätsanforderungen. Bei <strong>PISA</strong> ist ein Großteil der qualitätslenkenden<br />
Maßnahmen bereits ein integraler Bestandteil bei der Umsetzung einzelner Untersuchungsabläufe.<br />
Die Qualitätskontrolle ist im Gegensatz dazu eine den jeweiligen Untersuchungsphasen nachgeschaltete<br />
Maßnahme zur Überprüfung der Qualität im Sinne der jeweils festgelegten Qualitätsanforderungen. Bei<br />
der Qualitätskontrolle werden SOLL und IST zwischen aufgestellten Qualitätskriterien und -standards<br />
und der aktuellen Praxis verglichen und anschließend bewertet, ohne Einfluss auf die Qualität zu nehmen.<br />
Sie erfolgt bei <strong>PISA</strong> meist mittels statistischer Methoden.<br />
Obwohl es sich bei der Qualitätskontrolle um eine nachgeschaltete Überprüfung handelt, trägt sie in<br />
gewissem Sinne auch zur Qualitätslenkung bei – nämlich dann, wenn – wie bei <strong>PISA</strong> – die Kontrollen<br />
angekündigt bzw. bereits im Vorfeld festgelegt werden. Weiters sind Qualitätskontrollmaßnahmen auch<br />
für die Qualitätsverbesserung bedeutsam, da sie – zumindest bei negativen Ergebnissen – den Qualitätsentwicklungsprozess<br />
vorantreiben.<br />
Seite 192<br />
XII. Qualitätssicherung
Die Qualitätsentwicklung bzw. -verbesserung als letztes Element der QS, hat den Anspruch einer permanenten<br />
Verbesserung der Qualität. Bei der Planung von <strong>PISA</strong> war man selbstverständlich von Anfang<br />
an bemüht, eine hohe Qualität zu erzielen, wobei es eine Anmaßung wäre zu glauben, immer gleich ein<br />
Optimum an potenziell möglichen Qualitätsanforderungen erreichen zu können. Weiters muss dabei auch<br />
berücksichtigt werden, dass QS dynamischen Prozessen, wie beispielsweise technischen Fortschritten,<br />
unterliegt. Deshalb sind immer wieder Qualitätsverbesserungsmaßnahmen notwendig, die in weiteren<br />
Zyklen bei der Qualitätsplanung Berücksichtigung finden und bei einer Längsschnittstudie wie <strong>PISA</strong> eine<br />
bedeutende Rolle spielen.<br />
1.3 Verantwortlichkeiten bei der Qualitätssicherung<br />
Maßnahmen zur Qualitätssicherung sind wie alle anderen Verantwortlichkeiten der Studie auf verschiedenen<br />
Ebenen angesiedelt, da <strong>PISA</strong> auf der Zusammenarbeit verschiedener Instanzen aufbaut: Während die<br />
OECD als Auftraggeber fungiert und allgemeine Zielsetzungen festlegt, ist ein internationales Konsortium<br />
für das Design und die Richtlinien zur Durchführung der Studie im internationalen Rahmen verantwortlich<br />
(vgl. auch Abschnitt 2 in Kapitel II). Die nationalen Zentren und die ihnen vorstehenden NPMs<br />
sind die Durchführenden auf nationaler Ebene. Dementsprechend sind auch die Verantwortlichkeiten in<br />
Bezug auf Qualitätssicherung auf diese Instanzen verteilt.<br />
Die OECD hat hierbei – in erster Linie durch das <strong>PISA</strong> Governing Board (PGB) – die Aufgabe, allgemeine<br />
Qualitätsanforderungen bzw. -maßstäbe festzusetzen und Entscheidungen in Bezug auf Konsequenzen<br />
des Nicht-Erreichens dieser Maßstäbe zu treffen (Qualitätsplanung). Diese Qualitätsmaßstäbe sind im<br />
Dokument „Technical Standards for the Implementation of <strong>PISA</strong> <strong>2006</strong>“ formuliert (OECD, n. d.). In<br />
ihrer Managementfunktion hat die OECD auch dafür Sorge zu tragen, dass es innerhalb der Studie<br />
Mechanismen, Verfahren und Prozesse gibt, mit Hilfe derer die Qualität der Studie sichergestellt werden<br />
kann. Zum Beispiel verpflichtet die OECD das internationale Konsortium dazu, eine Reihe von<br />
unabhängigen Expertengruppen (SMEG, SAG, TAG) einzubeziehen (vgl. hierzu Abschnitt 2.4 und<br />
3.2 in Kapitel II), was der Sicherstellung eines hohen Qualitätsniveaus dient. In Zusammenarbeit mit<br />
diesen Expertengruppen zeichnet das internationale Konsortium für die Implementierung konkreter<br />
Qualitätslenkungs-, Qualitätskontroll- und Qualitätsverbesserungsmaßnahmen in der Studie verantwortlich.<br />
Für <strong>PISA</strong> <strong>2006</strong> besteht außerdem eine – vom internationalen Konsortium unabhängige – technische<br />
Gruppe, die im Auftrag des PGB die Qualität der Studie in verschiedenen Bereichen laufend beobachtet<br />
und evaluiert.<br />
Die Richtlinien zur Umsetzung der Qualitätslenkungs- und Qualitätskontrollmaßnahmen auf nationaler<br />
Ebene sind in den unterschiedlichen Manuals (z. B. Sampling Manual, Test Administrator Manual, Data<br />
Entry Manual etc.) festgelegt und beschrieben. Für die Durchführung bzw. Umsetzung dieser Richtlinien<br />
zeichnen sich die NPMs mit den ihnen unterstellten nationalen Zentren verantwortlich. Die Qualität der<br />
Umsetzung dieser Richtlinien wird wiederum vom internationalen Konsortium im Zuge des „Quality<br />
Monitorings“ (vgl. hierzu auch Abschnitt 1.4.1 idK.) beobachtet und begutachtet.<br />
Zusätzlich zu den international geplanten und für alle Teilnehmerländer zwingend vorgeschriebenen<br />
QS-Maßnahmen, kann Qualitätssicherung auch auf nationaler Ebene initiiert werden. Die nationalen<br />
Zentren sind in solchen Fällen nicht mehr nur ausführende Instanz, sondern selbstständig für die Planung<br />
und Implementierung dieser zusätzlichen Qualitätsmaßnahmen verantwortlich.<br />
1.4 Qualitätssicherung in allen Untersuchungsphasen<br />
Eine hohe Datenqualität kann grundsätzlich nur erzielt werden, wenn auf allen Ebenen einer Studie<br />
Qualitätssicherung betrieben wird. Es erscheint deshalb zweckmäßig, die einzelnen Qualitätssicherungsmaßnahmen<br />
chronologisch nach den Untersuchungsabläufen bei <strong>PISA</strong> anzuführen und zu erläutern. Wie<br />
in Abbildung XII.1 auf der nächsten Seite ersichtlich ist, können die einzelnen Abläufe bei <strong>PISA</strong> unter<br />
den drei Phasen „Vorbereitung“, „Datenerhebung“ und „Datenverarbeitung“ subsumiert werden. Die<br />
innerhalb der einzelnen Abläufe eingerichteten qualitätssichernden Maßnahmen können eine lenkende,<br />
XII. Qualitätssicherung<br />
Seite 193
Untersuchungabläufe der <strong>PISA</strong>-Studie<br />
chronologisch<br />
Qualitätslenkung<br />
Qualitätssicherung<br />
Qualitätskontrolle<br />
Qualitätsverbesserung<br />
Quality Monitoring (Qualitätsüberwachung) X X X<br />
Vorbereitung<br />
Konstruktion von Testinstrumenten<br />
(Itementwicklung)<br />
Konstruktion von Kontextfragebögen<br />
(Itementwicklung)<br />
Übersetzung und Anpassung der<br />
Erhebungsmaterialien und Manuals<br />
Vorbereitung und Organisation der Materialien<br />
Sicherung der Erhebungsmaterialien<br />
X<br />
X<br />
X<br />
X<br />
X<br />
X<br />
Feldtest 2005<br />
Haupttest <strong>2006</strong><br />
Datenerhebung<br />
Datenverarbeitung<br />
Stichprobenziehung<br />
(Schulebene - Schülerebene)<br />
Screening X X X<br />
Datenerhebungsprozesse<br />
(Testdurchführung & Befragung)<br />
X<br />
X X X<br />
Rücklauf der Erhebungsinstrumente X X<br />
Coding X X X<br />
Dateneingabe<br />
Berufsklassifizierung (ISCO-Codierung) X X<br />
X<br />
X<br />
X<br />
X<br />
QS-Maßnahmen, die vom internationalen Zentrum eingerichtet wurden und deren<br />
Umsetzung für alle Teilnehmerländer obligatorisch war.<br />
QS-Maßnahmen, die sowohl vom internationalen Zentrum vorgeschrieben wurden, als auch<br />
solche, die auf nationaler Ebene in Österreich eingerichtet wurden.<br />
QS-Maßnahmen, die auf nationaler Ebene in Österreich eingerichtet wurden.<br />
Abbildung XII.1: Qualitätssicherungsmaßnahmen in den einzelnen Untersuchungsphasen bei <strong>PISA</strong> <strong>2006</strong><br />
kontrollierende oder auch verbessernde Funktion aufweisen (vgl. Abschnitt 1.2 idK.). Ein Großteil der<br />
Untersuchungsabläufe inkludiert qualitätssichernde Maßnahmen, die von internationaler Seite vorgeschrieben<br />
sind, und somit von allen Teilnehmerländern verpflichtend eingehalten werden müssen. Bei<br />
einigen Abläufen werden die international vorgeschriebenen qualitätssichernden Maßnahmen noch zusätzlich<br />
durch nationale Maßnahmen ergänzt. Bei manchen Untersuchungsabläufen wiederum sind keine<br />
QS-Maßnahmen von internationaler Seite vorgesehen, sondern werden nur auf nationaler Ebene eingeführt.<br />
Ergänzend muss hinzugefügt werden, dass bei den auf nationaler Ebene initiierten QS-Maßnahmen,<br />
nur jene berichtet werden, die in Österreich umgesetzt worden sind.<br />
Zusätzlich sieht der zeitliche Plan vor dem Haupttest auch einen Feldtest vor, der vor allem der Erprobung<br />
der Instrumente, Methoden und Prozeduren an einer kleineren Stichprobe dient und eine wichtige<br />
Seite 194<br />
XII. Qualitätssicherung
Qualitätslenkungsmaßnahme darstellt, da auf Grund der Erfahrungen und Ergebnisse dieses Feldtests<br />
Modifikationen und Verbesserungen für den Haupttest gemacht werden können.<br />
Das vorliegende Kapitel zielt darauf ab, einen möglichst umfassenden Überblick über qualitätssichernde<br />
Maßnahmen bei <strong>PISA</strong> <strong>2006</strong> zu geben. Bei der chronologischen Darstellung der QS-Maßnahmen in<br />
den Abschnitten 2–4, wie in Abbildung XII.1 dargestellt, werden jeweils am Anfang die Abläufe bzw.<br />
Prozesse, auf die sich die qualitätssichernden Maßnahmen beziehen, noch einmal kurz dargestellt und für<br />
eine detaillierte Beschreibung auf die entsprechenden Abschnitte vorangegangener Kapitel verwiesen. Im<br />
Anschluss daran werden die qualitätssichernden Maßnahmen hinsichtlich ihrer Funktionen und Ziele sowie<br />
deren Umsetzung beschrieben. Dabei werden jene Maßnahmen, die in Österreich selbstständig oder<br />
in internationaler Zusammenarbeit durchgeführt werden, in der Regel ausführlicher behandelt, als jene,<br />
die primär auf internationaler Ebene stattfinden.<br />
Das Quality Monitoring (Qualitätsüberwachung) nimmt in Bezug auf den chronologischen Ablauf eine<br />
Sonderstellung unter den qualitätssichernden Maßnahmen ein. Zum einen ist diese Maßnahme nicht<br />
ausschließlich an eine der drei Untersuchungsphasen gekoppelt und zum anderen beziehen sich auch<br />
einzelne Tätigkeiten innerhalb dieser Maßnahme nur teilweise auf bestimmte Untersuchungsphasen, weshalb<br />
das Quality Monitoring bereits im folgenden Abschnitt im Überblick behandelt wird.<br />
Wie in Abschnitt 1.2 dieses Kapitels angedeutet wurde, sind im Rahmen der Qualitätsverbesserung auch<br />
neue qualitätssichernde Maßnahmen im Vergleich zu den letzten Untersuchungsdurchgängen von <strong>PISA</strong><br />
gesetzt worden. QS-Maßnahmen, die sich bereits bei <strong>PISA</strong> 2000 und/oder 2003 bewährt haben, finden<br />
sich aber auch bei <strong>PISA</strong> <strong>2006</strong> wieder, weshalb einige Abschnitte dieses Kapitels – in mehr oder weniger<br />
modifizierter Form – auf den Qualitätsteilen der technischen <strong>Bericht</strong>e zu <strong>PISA</strong> 2000 (Reiter, 2001) und<br />
<strong>PISA</strong> 2003 (Wallner-Paschon, 2004) beruhen.<br />
1.4.1 Quality-Monitoring-Aktivitäten<br />
Wie bereits erwähnt, sind die NPMs für die Durchführung der Studie auf nationaler Ebene und damit<br />
auch für die Einhaltung der in den Manuals (Sampling Manual, Test Administrators Manual, Data Entry<br />
Manual etc.) festgehaltenen Richtlinien und Qualitätsanforderungen verantwortlich. Die NPMs sind<br />
grundsätzlich verpflichtet, dem internationalen Konsortium Abweichungen von diesen Richtlinien so<br />
bald wie möglich mitzuteilen, damit von entsprechenden Expertinnen und Experten des Konsortiums<br />
die Auswirkung auf die Datenqualität beurteilt werden kann. Ist die Qualität der Daten durch diese<br />
Abweichungen gefährdet, werden diese nicht akzeptiert, sondern alternative Vorgehensweisen vorgeschlagen.<br />
Auch das vom internationalen Konsortium eingerichtete Quality Monitoring (QM) hat eine ähnliche<br />
Funktion, indem es primär darauf abzielt, Probleme früh zu identifizieren, um noch rechtzeitig Abhilfe<br />
schaffen zu können (Qualitätslenkung).<br />
Das QM besteht aus mehreren Aktivitäten, die nur teilweise an bestimmte Untersuchungsphasen gekoppelt<br />
sind, und sich wie folgt darstellen:<br />
(1) Die Installation einer zentralen Datenbank, in der alle nationalen Projektzentren bereits umgesetzte<br />
Arbeitsschritte (Meilensteine) eintragen müssen. Diese Maßnahme wurde bei <strong>PISA</strong> 2003 neu<br />
eingeführt und in <strong>PISA</strong> <strong>2006</strong> – vor allem technisch – weiterentwickelt. Sie dient in erster Linie der<br />
Dokumentation wichtiger Untersuchungsprozeduren sowie als Warnsignal bei Problemen, da zeitliche<br />
Verzögerungen für die Konsortiumsmitglieder sofort ersichtlich sind.<br />
(2) Der Besuch aller nationalen Projektzentren von so genannten National Center Quality Monitors<br />
(NCQMs). Unter anderem haben die NCQMs die Aufgabe, Daten mit Hilfe eines standardisierten<br />
Interviews zu sammeln. Diese Aktivität ist der Vorbereitungsphase zuzuordnen, und wird in Abschnitt<br />
2.4 dieses Kapitels im Detail beschrieben.<br />
(3) Der Besuch einer bestimmten Anzahl von <strong>PISA</strong>-Schulen während der Datenerhebung in jedem Teilnehmerland<br />
von so genannten <strong>PISA</strong> Quality Monitors (PQMs) (im Detail vgl. Abschnitt 3.4 idK.).<br />
Bei jedem Schulbesuch eines PQMs wird ein Beobachtungsprotokoll der Testsitzung angefertigt und<br />
ein Interview mit der/dem <strong>PISA</strong>-Schulkoordinator/in durchgeführt.<br />
XII. Qualitätssicherung<br />
Seite 195
(4) <strong>Bericht</strong>e der Testleiter/innen zu den Testsitzungen, welche wichtige Informationen zur Qualität der<br />
Datenerhebung liefern und in Abschnitt 3.2 dieses Kapitels beschrieben werden.<br />
(5) Beurteilung/Evaluierung der Studie durch die NPMs in Form von strukturierten Rückmeldebögen<br />
nach Feld- und Haupttest.<br />
Die Informationen aus dem internationalen Quality Monitoring dienen vor allem der Qualitätskontrolle<br />
und bilden einen wichtigen Teil der Basis für die Beurteilung der Qualität der Datensätze der einzelnen<br />
Teilnehmerländer (siehe unten). Durch die vorherige Ankündigung der Maßnahmen bzw. den<br />
Zeitpunkt mancher Maßnahmen, wie etwa dem NCQM-Besuch, erfüllen diese auch eine qualitätslenkende<br />
Funktion. Darüber hinaus dienen die Rückmeldungen der NPMs an das internationale Zentrum<br />
aber auch der weiteren Verbesserung der Qualität und tragen somit zur Qualitätsentwicklung bei.<br />
1.4.2 Beurteilung der Datenqualität<br />
Die beim QM gesammelten Daten werden in einer Datenbasis zusammengeführt, um sowohl einen<br />
Gesamtbericht als auch einzelne Länderberichte zu erstellen. Damit sind die wesentlichen Prozeduren<br />
und Richtlinien dokumentiert und deren Umsetzung nachweisbar.<br />
Im Gesamtbericht werden ohne Identifizierung der Teilnehmerländer die Aktivitäten der Datenerhebung<br />
im Detail dokumentiert. Die Länderberichte dienen vor allem der Technical Advisory Group (TAG) als<br />
Basis zur Beurteilung der Qualität der Daten der einzelnen Teilnehmerländer. Außerdem werden in diese<br />
Datenbeurteilung Informationen aus den <strong>Bericht</strong>en über das Sampling und die Übersetzungsprozeduren<br />
herangezogen sowie die Ergebnisse der beiden Reliabilitätsstudien zur Qualität der Vercodung der offenen<br />
Schülerantworten auf Testaufgaben (vgl. Abschnitt 4.2.2 idK.). Weiters können auch Informationen<br />
aus den Daten selbst – die im Zuge des File-Cleanings, der Skalierung der Leistungsdaten und der<br />
Verarbeitung der Daten aus den Fragebögen entstehen – für diesen Prozess herangezogen werden. Diese<br />
Informationen bilden die Ausgangsbasis für eine Empfehlung der TAG bezüglich der Verwendbarkeit der<br />
Daten jedes Landes.<br />
Die laufende Zusammenarbeit zwischen NPMs und dem internationalen Konsortium hat zum Ziel für<br />
jedes Land qualitativ hochwertige Daten zu produzieren, die eine Empfehlung der TAG zur uneingeschränkten<br />
Verwendung der Daten in den internationalen Vergleichen ermöglichen. Bei schwerwiegenden<br />
Abweichungen von Richtlinien oder Qualitätsanforderungen – vor allem, wenn diese ohne Absprache<br />
bzw. ohne Genehmigung des internationalen Projektzentrums erfolgt sind, kann die Empfehlung der<br />
TAG bestimmte Einschränkungen in der Verwendung der Daten enthalten. Es kann zum Beispiel angeregt<br />
werden, gemeinsam mit dem betroffenen Land gewisse Aspekte der Daten genauer zu prüfen. Unter<br />
gewissen Umständen kann die Empfehlung lauten, die Ergebnisse eines Landes nur mit entsprechenden<br />
Anmerkungen über die eingeschränkte Interpretier- und/oder Vergleichbarkeit der Daten zu publizieren.<br />
Im Extremfall werden die Daten solcher Länder nicht in die internationale Datenbasis aufgenommen und<br />
bei Publikationen nicht berücksichtigt. Letzteres ist bis dato aber noch nicht vorgekommen.<br />
Die endgültige Form der Empfehlung bezüglich der Verwendbarkeit der Daten jedes einzelnen Landes<br />
wird im internationalen technischen <strong>Bericht</strong> publiziert.<br />
2. Qualitätssicherung in der Vorbereitungsphase<br />
2.1 Erhebungsmaterialien<br />
2.1.1 Die Konstruktion der Testinstrumente<br />
Qualitätssicherungsmaßnahmen bei der Konstruktion der Testinstrumente ergeben sich primär durch<br />
die verbindliche Anwendung international vorgegebener Prozeduren bei der Aufgabenentwicklung.<br />
Qualitätssichernde Maßnahmen sind somit ein integraler Bestandteil bei der Testkonstruktion, die in<br />
Abschnitt 5 in Kapitel III im Detail beschrieben wird. Diese Maßnahmen verfolgen vor allem das Ziel,<br />
die Datenqualität im Hinblick auf Objektivität, Validität und Reliabilität zu sichern. Hier kommen vor<br />
allem Qualitätslenkungsmaßnahmen mit überwachender und korrigierender Funktion zum Einsatz:<br />
Seite 196<br />
XII. Qualitätssicherung
• Die erste Maßnahme in diesem Bereich bezieht sich auf die Präzisierung und Definition der zu messenden<br />
Bereiche (Frameworks). Die Entwicklung der Testaufgaben, die sowohl auf internationaler<br />
als auch auf nationaler Ebene erfolgt, muss in Anlehnung an die theoretische Basis der Frameworks<br />
geschehen. Die von den einzelnen Ländern eingereichten Testaufgaben werden vor der Aufnahme in<br />
den Itempool vor allem auf ihre Übereinstimmung mit den Frameworks von internationalen Expertinnen<br />
und Experten kontrolliert. Mit dieser Maßnahme wird primär die Validität der Testinstrumente<br />
und damit auch die Gültigkeit der Daten sichergestellt.<br />
• Eine weitere Maßnahme zur Gewährleistung der Validität ist die Evaluierung der Testaufgaben mit<br />
Hilfe kognitiver Laborverfahren (Cognitive Laboratory). Diese kognitiven Techniken, wie zum Beispiel<br />
das laute Denken, geben Hinweise darüber, wie Befragte gewisse Aufgaben oder Elemente davon<br />
verstehen und interpretieren, sowie auf Grund welcher Überlegungen Antworten zu Stande kommen.<br />
Diese Techniken eignen sich gut zur Überprüfung des Aufgabenverständnisses und der Einstufung<br />
der hinter den einzelnen Aufgaben stehenden Lösungsprozesse.<br />
• In einem weiteren Schritt werden die in den Testpool aufgenommenen Aufgaben durch nationale<br />
Expertinnen und Experten (vgl. Abschnitt 3.2 in Kapitel II) bewertet. Auch diese Maßnahme dient<br />
der Gewährleistung eines möglichst validen Testinstrumentariums. Durch die Beurteilung der Aufgaben<br />
auch aus speziell nationaler Perspektive – also etwa, wie vertraut der Kontext von Aufgaben<br />
15-/16-Jährigen im eigenen Land ist oder inwieweit die durch eine Aufgabe getesteten Prozesse und<br />
Fähigkeiten Teil der nationalen Lehrpläne sind – spielt diese Rückmelderunde auch eine große Rolle<br />
bei der Sicherstellung der Vergleichbarkeit der Daten zwischen den Ländern.<br />
• Zeitgleich dazu werden seitens des internationalen Zentrums die Testaufgaben einem Pilottest 1 unterzogen.<br />
• Die bis dato ausgewählten Testaufgaben werden in allen Ländern in einem Feldtest erprobt und Itemstatistiken,<br />
sowohl über alle Länder hinweg, als auch getrennt für jedes Land berechnet. Dabei werden<br />
die Testaufgaben auf ihre Messgenauigkeit (Reliabilität) hin analysiert. Mit Hilfe der Itemstatistiken<br />
auf Länderebene können problematische bzw. riskante Aufgaben lokalisiert und nochmals auf Übersetzungsfehler,<br />
kulturelle Passung etc. überprüft werden, womit die Objektivität und dadurch die<br />
Vergleichbarkeit der Daten gesichert wird. Bei Problemen mit Testaufgaben über alle Länder hinweg<br />
werden die jeweiligen Aufgaben für den Haupttest ausgeschlossen.<br />
• Nach dem Feldtest erfolgt neben den Itemanalysen auch eine neuerliche Itembegutachtung auf nationaler<br />
Ebene. Da sich einige Items im Verlauf der Itementwicklung verändern, sollen nationale<br />
Expertinnen und Experten nochmals die Validität der Items beurteilen.<br />
• Auf der Basis der Itemstatistiken und der nationalen Expertengutachten erfolgt dann die endgültige<br />
Auswahl der Aufgaben für den Haupttest durch internationale Expertengruppen.<br />
Im Rahmen einer Qualitätskontrolle werden auch am Ende des Haupttests Itemstatistiken berechnet.<br />
Aufgaben, die sich hier noch immer als problematisch erweisen, können als letzte Konsequenz auf internationaler<br />
Ebene oder nur für einzelne Länder aus der Berechnung der Leistungsscores ausgenommen<br />
werden (für eine genaue Beschreibung vgl. Kapitel III).<br />
2.1.2 Die Konstruktion der Kontextfragebögen<br />
Die im Haupttest <strong>2006</strong> eingesetzten Kontextfragen wurden nicht alle neu entwickelt, sondern stellen<br />
zum Teil eine Auswahl aus den bereits in <strong>PISA</strong> 2000 und 2003 eingesetzten Fragen dar. Die<br />
Vorgehensweisen bei der Auswahl und Neukonstruktion der Fragen werden in Kapitel IV im Detail<br />
erläutert. In diesem Kapitel werden die qualitätssichernden Aspekte nochmals hervorgehoben. Die dazu<br />
vorgesehenen Maßnahmen – primär Qualitätslenkungsmaßnahmen mit überwachender und korrigierender<br />
Funktion – verfolgen, wie bereits bei den Testinstrumenten, vor allem das Ziel, die Datenqualität im<br />
Hinblick auf Objektivität, Validität und Reliabilität zu sichern. Folgende Qualitätslenkungsmaßnahmen<br />
sind international vorgeschrieben und erfolgen teils auf nationaler und teils auf internationaler Ebene und<br />
sind punktuell identisch mit jenen Maßnahmen bei der Testkonstruktion:<br />
XII. Qualitätssicherung<br />
Seite 197
• Ausgangspunkt für die Erstellung der Fragebögen sind die vom PGB festgelegten Prioritäten. Diese<br />
geben vor, welche Bereiche Kernbereiche der Kontextfragebögen darstellen und demnach aus Zwecken<br />
des Vergleichs über die Zeit hinweg in jedem <strong>PISA</strong>-Zyklus verwendet werden müssen. Weiters<br />
wird für jeden Erhebungsdurchgang festgelegt, welche Schwerpunkte spezielle Berücksichtigung finden<br />
sollen.<br />
• Eine weitere Maßnahme in diesem Bereich bezieht sich auf die Präzisierung und Definition der zu<br />
messenden Bereiche (Kontext-Framework) und die Konstruktion der Fragen in Anlehnung an diese<br />
theoretische Basis, die ausschließlich von Expertinnen und Experten des Konsortiums durchgeführt<br />
wird. Mit dieser Maßnahme wird sichergestellt, die Zusammenstellung der Fragebögen theoretisch<br />
fundiert vorzunehmen.<br />
• Eine weitere Qualitätssicherungsmaßnahme zur Gewährleistung der Validität ist die Evaluierung der<br />
neu konstruierten Fragen mit Hilfe kognitiver Laborverfahren (Cognitive Laboratory), welche auch<br />
bei den Testaufgaben verwendet werden. Ihre Anwendung bei Fragebogenitems gibt Hinweise darüber,<br />
wie Befragte gewisse Fragen oder Elemente davon verstehen und interpretieren, sowie auf Grund<br />
welcher Überlegungen Antworten zu Stande kommen. Diese Techniken eignen sich gut zur Überprüfung<br />
des Fragenverständnisses, und werden auf internationaler Ebene durchgeführt.<br />
• Seitens des internationalen Zentrums werden die neu konstruierten Kontextfragen einem Pilottest<br />
unterzogen.<br />
• In Form von schriftlichen Rückmelderunden und im Rahmen der NPM-Meetings werden von den<br />
einzelnen Ländern die Fragebogenitems beurteilt.<br />
• Alle Fragebogenitems werden in jedem Teilnehmerland in einem Feldtest erprobt. Die Feldtestdaten<br />
werden vom internationalen Zentrum sowohl über alle Länder hinweg, als auch getrennt nach den<br />
Ländern, ausgewertet. Dabei werden Fragen identifiziert, die einen hohen Anteil fehlender Antworten<br />
(Missing-Anteil) aufweisen oder zu bestimmten Antwortmustern führen. Diese werden ausgeschlossen<br />
oder gegebenenfalls modifiziert. Dabei ist anzumerken, dass es beim Feldtest für <strong>PISA</strong> <strong>2006</strong><br />
vier Versionen des Feldtest-Schülerfragebogens gab, auf die die vielen neu konstruierten Items und<br />
Fragenblöcke aufgeteilt wurden, um die Bearbeitungszeit der Schüler/innen auch im Feldtest auf eine<br />
halbe Stunde begrenzen zu können. Weiters bietet die Verwendung mehrerer Fragebögen die Möglichkeit,<br />
inhaltlich identische, aber etwas anders formulierte Fragen zu erproben, um zu sehen, welche<br />
Art der Formulierung besser verstanden wird. Jene Fragen (Items), die zur Messung von einzelnen<br />
Konstrukten dienen, werden nach dem Feldtest (und bestätigend nach dem Haupttest) einer Faktorenanalyse<br />
unterzogen, um deren Struktur zu überprüfen.<br />
• Die Daten der nationalen Zusatzerhebungen werden auf nationaler Ebene deskriptiv ausgewertet,<br />
um Fragen mit einem hohen Missing-Anteil oder speziellen (unerwünschten) Antwortmustern zu<br />
identifizieren.<br />
• Auf der Basis der statistischen Analysen und der nationalen Bewertungen erfolgt die endgültige Auswahl<br />
der Fragen für den Haupttest durch internationale Expertengruppen.<br />
2.1.3 Übersetzung und Anpassung der internationalen Materialien<br />
Da <strong>PISA</strong> eine internationale Studie ist, die in 57 Ländern und in knapp 40 verschiedenen Sprachen<br />
durchgeführt wird, ergibt sich die Notwendigkeit, Test- und Fragebögen sowie einige Handbücher zu<br />
übersetzen und den nationalen Gegebenheiten anzupassen. Im Detail sind die Übersetzungsvorgänge in<br />
Abschnitt 4 in Kapitel III (Testinstrumente), Abschnitt 2 in Kapitel IV (Fragebögen) und in Abschnitt<br />
6 in Kapitel VI (Handbücher) beschrieben. Die Qualitätssicherungsmaßnahmen in diesem Bereich<br />
sind großteils ein integraler Bestandteil der Studie und somit obligatorisch für alle Teilnehmerländer in<br />
die Übersetzungsprozeduren integriert. Sie dienen in erster Linie dem Zweck, die Vergleichbarkeit der<br />
Ergebnisse zwischen den Ländern sicherzustellen, indem durch eine qualitativ hochwertige Übersetzung<br />
und Anpassung der Materialien eine objektive Datenerhebung erfolgen kann.<br />
Durch folgende Qualitätslenkungsmaßnahmen wird versucht, die Qualität der Übersetzungen und<br />
Anpassungen der Materialien hoch zu halten:<br />
Seite 198<br />
XII. Qualitätssicherung
• Internationale Übersetzungstipps<br />
Von internationaler Seite wird die Übersetzung dadurch unterstützt, dass im betreffenden NPM-Meeting<br />
häufig auftretende Übersetzungsprobleme, -fallen und -fehler diskutiert werden. Dies ist vor allem auch<br />
für neue Länder bzw. neue nationale Projektzentren hilfreich.<br />
• Auswahl der Übersetzer/innen<br />
Ein weiterer Aspekt in Bezug auf Qualitätslenkung ist die Auswahl der Übersetzer/innen. Die Erstellung<br />
der Testinstrumente ins Deutsche wurde vom deutschen <strong>PISA</strong>-Zentrum organisiert. Die Einbeziehung<br />
der österreichischen Science-Expertengruppe bei der Begutachtung dieser Übersetzungen sowie der nationalen<br />
Adaption der Materialien soll die Tauglichkeit der Formulierungen für die Verwendung bei 15-/16-<br />
Jährigen österreichischen Schüler/innen gewährleisten.<br />
Die Fragebögen wurden teils von einer externen Übersetzerin, teils von Mitarbeiterinnen/Mitarbeitern<br />
des nationalen Projektzentrums übersetzt, da hier Personen mit fundiertem Wissen in Bezug auf das österreichische<br />
Schulsystem sowie mit theoretischen Kenntnissen und Erfahrung in der Fragebogenerstellung<br />
benötigt werden.<br />
Auch die Manuals werden von Mitarbeiterinnen und Mitarbeitern des nationalen Projektzentrums übersetzt.<br />
• Nationale Übersetzungstrainings<br />
Alle Länder müssen nach internationalen Vorgaben für die Übersetzer/innen der Testinstrumente ein<br />
Training organisieren.<br />
• Zweifachübersetzung (double translation) bei den Testmaterialien<br />
Als Basis für die Übersetzung der Testinstrumente stehen Originalversionen in englischer und französischer<br />
Sprache zur Verfügung. Alle Testaufgaben und Fragebogenitems werden von zwei Übersetzerinnen/<br />
Übersetzern unabhängig voneinander übersetzt und anschließend von einer dritten Person zu einer<br />
gemeinsamen Version zusammengeführt. Die „double translation“ dient dazu, Fehler zu minimieren,<br />
indem erstens davon ausgegangen wird, dass zwei Personen meist nicht die gleichen Fehler machen<br />
und so gegenseitig Schwachstellen in den Übersetzungen aufgedeckt werden können. Zweitens wird<br />
durch die Übersetzung aus zwei verschiedenen Quellversionen das Problem zu umgehen versucht, dass<br />
Formulierungen einer Sprache oft auf mehrere Arten gedeutet werden können. Das Heranziehen einer<br />
zweiten Quellversion soll solche Uneindeutigkeiten minimieren. Auch die internationalen Fragebögen<br />
werden dieser Prozedur unterzogen.<br />
• Kooperation mit anderen deutschsprachigen Ländern bei den Testmaterialien<br />
Der Umstand, dass mehrere Länder an <strong>PISA</strong> teilnehmen, die Testsitzungen (zumindest unter anderem)<br />
auf Deutsch durchführen, ermöglicht eine enge Kooperation bei der Übersetzung. So kann einerseits der<br />
Aufwand dieser Prozeduren auf mehrere Länder aufgeteilt werden und dadurch können insgesamt mehr<br />
zeitliche Ressourcen für die jeweiligen Übersetzungen verwendet werden. Andererseits ermöglicht die<br />
Zusammenarbeit gegenseitige Kontrolle und Feedback.<br />
Bei der Übersetzung und Adaption der Erhebungsmaterialien dient die Kooperation mit anderen<br />
Teilnehmerstaaten auch dazu, potentiell uneindeutige Passagen in den Testaufgaben und Fragebogenitems<br />
aufzudecken. Nach Fertigstellung der gemeinsamen Version müssen – vor allem bei den Kontext-<br />
Fragebögen – relativ umfangreiche Arbeiten geleistet werden, um die Fragestellungen an die nationalen<br />
Gegebenheiten anzupassen.<br />
• Anpassung der Erhebungsmaterialien und Manuals<br />
Die Materialien müssen nationalen, sprachlichen, kulturellen sowie praktischen Gegebenheiten angepasst<br />
werden. Dies geschieht nach international vorgegebenen Richtlinien, um die Vergleichbarkeit zwischen<br />
verschiedenen Ländern nicht zu gefährden. Alle Anpassungen müssen dokumentiert und vom internationalen<br />
Zentrum genehmigt werden.<br />
• Verifikation der Erhebungsmaterialien und Handbücher<br />
Als weitere Qualitätslenkungsmaßnahme wird vom internationalen Zentrum eine „Verifikationsstelle“<br />
eingerichtet. Hier werden alle Übersetzungen von speziell geschulten Mitarbeiterinnen und Mitarbeitern<br />
überprüft und mit Anmerkungen versehen an das entsprechende Land zurückgeschickt. Vor dem Druck<br />
XII. Qualitätssicherung<br />
Seite 199
müssen alle Erhebungsinstrumente ein zweites Mal zur Verifikationsstelle geschickt werden, um vor allem<br />
das Layout zu verifizieren.<br />
Einen ähnlichen Prozess durchlaufen die Handbücher für die Schulkoordinatorinnen und -koordinatoren<br />
sowie für die Testleiter/innen. Bei diesen müssen ebenfalls alle Anpassungen an nationale Gegebenheiten<br />
dokumentiert und von internationaler Seite genehmigt werden (dafür müssen bei größeren Änderungen<br />
Rückübersetzungen der nationalen Versionen auf Englisch durchgeführt werden). Die Verifikationsstelle,<br />
welche auch die Verifikation der Test- und Fragebögen vornimmt, stellt dann die sprachlich korrekte<br />
Übersetzung sowie die Umsetzung der Adaptionen entsprechend der Dokumentation sicher.<br />
Die Verifikation mit ihrem Kontrollcharakter ist als Qualitätslenkung zu sehen, da die Qualität der<br />
Übersetzung und Anpassung überprüft wird, und die Verifikation vor dem Druck der Instrumente stattfindet,<br />
so dass die Rückmeldungen des Verifikators/der Verifikatorin noch in den nationalen Versionen<br />
berücksichtigt werden können. Ein aus diesem Prozess resultierender Übersetzungsbericht, der, wie erwähnt,<br />
in den Beurteilungsprozess der Datenqualität der Länder einfließt, stellt zudem auch eine kontrollierende<br />
Maßnahme dar.<br />
2.1.4 Vorbereitung und Organisation der Materialien<br />
Alle Materialien, die bei den Testsitzungen zum Einsatz kommen, müssen vorbereitet und organisiert<br />
werden. Testhefte und Fragebögen müssen gedruckt und mit Etiketten versehen werden, die Schul- und<br />
Schüleridentifikationsnummern enthalten. Hierbei müssen Rotationsschemata beachtet werden, damit<br />
alle Testheftformen möglichst gleich oft zum Einsatz kommen und die Zuteilung von Formen zu Personen<br />
zufällig erfolgt. Die etikettierten Materialien müssen dann zu Testpaketen für jede Schule zusammengestellt<br />
werden (vgl. hierzu auch Kapitel VI in Abschnitt 4).<br />
Die genaue Überprüfung aller Materialien, bevor sie zum Einsatz kommen, soll Probleme bei der<br />
Testdurchführung minimieren und die Zuordenbarkeit der Instrumente zu Schulen sowie Schülerinnen<br />
und Schülern nach dem Rücklauf garantieren, um möglichst vollständige Daten zu bekommen.<br />
Folgende Qualitätslenkungsmaßnahme ist von internationaler Seite her vorgeschrieben:<br />
• Vor Beauftragung einer Druckerei muss jedes nationale Zentrum ein dafür von internationaler Seite<br />
zur Verfügung gestelltes Mustertestheft drucken lassen und dieses an das internationale Konsortium<br />
übermitteln, um eine zufrieden stellende Druckqualität sicherzustellen. Wenn ein Land hohe Druckqualität<br />
beim vorangegangenen Erhebungszyklus nachweisen kann und die Druckerei nicht gewechselt<br />
wird, können die „alten“ Testhefte für diesen Zweck herangezogen werden.<br />
Weiters werden qualitätslenkende Maßnahmen in Österreich durchgeführt, die international nicht vorgeschrieben<br />
sind und deshalb national unterschiedlich gehandhabt werden können:<br />
• Die Blaupause aller Instrumente wird von <strong>PISA</strong>-Mitarbeiterinnen und Mitarbeitern auf Qualität,<br />
Fehler und Vollständigkeit überprüft.<br />
• Alle Materialien werden nach Eintreffen aus der Druckerei in zwei Schritten überprüft: eine erste sehr<br />
genaue Überprüfung vom/von der für die Instrumente zuständigen Mitarbeiter/in bezieht sich auf<br />
eine Stichprobe von Heften jeder Sorte, um eventuelle serielle Fehler sofort aufzudecken und entsprechende<br />
Hefte oder ggf. ganze Chargen von weiteren Vorgängen ausschließen zu können. In einem<br />
zweiten Schritt wird von externem Personal jedes einzelne Heft auf Vollständigkeit und entsprechende<br />
Druckqualität überprüft.<br />
• Die fertigen Schulpakete werden von zwei Mitarbeiterinnen/Mitarbeitern des nationalen Zentrums<br />
unabhängig voneinander auf Vollständigkeit und Korrektheit der Etikettierung überprüft.<br />
• Außerdem werden die Testleiter/innen aufgefordert, vor jeder Testsitzung das entsprechende Schulpaket<br />
noch einmal auf Vollständigkeit hin zu überprüfen.<br />
2.1.5 Sicherung der Materialien<br />
Spezielles Augenmerk wird auf die Sicherung der Materialien gelegt. Zum einen sind sämtliche<br />
Testmaterialen vertraulich zu behandeln und dürfen nicht vervielfältigt oder veröffentlicht werden, um die<br />
Seite 200<br />
XII. Qualitätssicherung
Vergleichbarkeit der Leistungsdaten für die weiteren <strong>PISA</strong>-Erhebungen nicht zu gefährden. Zum anderen<br />
muss sichergestellt werden, dass ausgefüllte Fragebögen und Testhefte zur Wahrung der Anonymität der<br />
Schüler/innen nicht in fremde Hände gelangen. Dies spielt vor, während und nach der Datenerhebung<br />
eine wichtige Rolle. Obwohl die vertrauliche Behandlung der Testmaterialien als auch die Wahrung der<br />
Anonymität der Schüler/innen internationalen Richtlinien entspricht, werden diesbezüglich keine QS-<br />
Maßnahmen seitens des internationalen Zentrums vorgegeben. Die Einhaltung dieser Richtlinien und<br />
die damit einhergehenden qualitätssichernden Maßnahmen müssen von den teilnehmenden Ländern entsprechend<br />
nationaler Gegebenheiten individuell geregelt werden. Im Folgenden werden die Maßnahmen,<br />
die in Österreich während der Vorbereitungsphase getroffen werden, kurz beschrieben.<br />
Die fertig gepackten Schulpakete werden bis zur Übergabe an die Testleiter/innen (TL) in Räumlichkeiten<br />
des nationalen Zentrums verwahrt. Die Übergabe der Materialien an alle Testleiter/innen erfolgt persönlich<br />
während der TL-Schulungen. Da diese an verschiedenen Orten in Österreich (vgl. Abschnitt 5.2 in<br />
Kapitel VI) durchgeführt werden, müssen die Schulpakete von Mitarbeiterinnen und Mitarbeitern des<br />
nationalen Projektzentrums zu den Schulungen gebracht werden. Dort übernehmen die Testleiter/innen<br />
die Pakete, und sind ab diesem Zeitpunkt für die sichere Lagerung bis zum Rücklauf in das nationale<br />
Zentrum verantwortlich. Die Übernahme der Pakete muss von den Testleiterinnen und Testleitern schriftlich<br />
bestätigt werden. Weiters sind in den Verträgen mit den Testleiterinnen und Testleitern entsprechende<br />
Vertraulichkeitsklauseln enthalten.<br />
Vorteile dieser Vorgangsweise sind erstens die Umgehung von Postwegen, bei denen erfahrungsgemäß<br />
Materialien verloren gehen, und die Tatsache, dass so keine Materialien zu irgendeinem Zeitpunkt vor<br />
und auch nach den Testsitzungen an <strong>PISA</strong>-Schulen aufbewahrt werden müssen.<br />
2.2 Stichprobenziehung (Sampling)<br />
Qualitätsmaßnahmen beim Sampling dienen dazu, die Qualität der Stichprobe zu sichern, indem die<br />
Repräsentativität der Stichprobe in jedem Land und damit die Vergleichbarkeit zwischen den Ländern<br />
gewahrt werden kann. Alle Vorgangsweisen bei der Stichprobenziehung werden in Kapitel V beschrieben<br />
und in diesem Abschnitt in Bezug auf Qualitätssicherung zusammenfassend dargestellt.<br />
Durch die Installation folgender Qualitätslenkungsmaßnahmen beim Sampling wird die Vergleichbarkeit<br />
zwischen den Ländern gewährleistet:<br />
• Festsetzung eindeutiger Standards für die <strong>PISA</strong>-Stichprobe durch die OECD.<br />
• Operationalisierung dieser Standards im Sampling-Manual. Hierzu gehören auch die internationalen<br />
Vorgaben bezüglich der Rücklaufquoten, welche in Abschnitt 4 des Kapitels V beschrieben sind.<br />
• Genaue Dokumentation des Stichprobenplans sowie der Samplingprozeduren mit Hilfe einheitlicher<br />
Formulare, um die Nachvollziehbarkeit und damit auch die Vergleichbarkeit zu gewährleisten.<br />
• Die Zufallsauswahl von Schulen aus einer Liste erfolgt auf internationaler Ebene durch Expertinnen<br />
und Experten. Diese Qualitätslenkungsmaßnahme dient vor allem der Sicherstellung der Vergleichbarkeit<br />
der Stichproben der verschiedenen Länder.<br />
• Auch die Zufallsauswahl auf Schülerebene folgt internationalen Vorgaben und erfolgt durch die nationalen<br />
Zentren im Normalfall über die Dateneingabesoftware „KeyQuest“. Durch die vereinheitlichte<br />
einfache Handhabung und die automatische Dokumentation im Hintergrund des Programms sind<br />
alle Schritte nachvollziehbar und können von den hierfür zuständigen internationalen Expertinnen<br />
und Experten kontrolliert werden, um Fehler bei dieser Prozedur auszuschließen.<br />
2.3 Screening<br />
Zum Screening zählen alle Tätigkeiten, die in Verbindung mit der Teilnahme der ausgewählten Schulen an<br />
der <strong>PISA</strong>-Studie stehen. Die Screening-Abläufe sind ein Teil der Testorganisation, deren genaue Umsetzung<br />
in den Abschnitten 2 bis 3 beschrieben ist. Qualitätssichernde Maßnahmen in diesem Bereich dienen vor<br />
allem dazu, die Teilnahmebereitschaft der Schulen und Schüler/innen an der Studie zu erhöhen, was einen<br />
wesentlichen Beitrag zur Qualität der Daten und damit auch zu deren Vergleichbarkeit darstellt. Die<br />
XII. Qualitätssicherung<br />
Seite 201
Umsetzung wird sowohl durch qualitätslenkende als auch qualitätskontrollierende Maßnahmen begleitet,<br />
die primär auf nationaler Ebene in Österreich eingeführt wurden.<br />
2.3.1 Qualitätslenkungsmaßnahmen beim Screening<br />
Folgende Maßnahmen der Qualitätslenkung sind im Rahmen des Screenings erwähnenswert:<br />
• Die zuständigen Schulbehörden werden vorab über die Studie informiert und zur Unterstützung aufgefordert.<br />
Hierbei ist auch ein Schreiben der Frau BM Gehrer an die amtsführenden Präsidentinnen<br />
und Präsidenten der Landesschulräte bzw. des Stadtschulrats für Wien förderlich, um die Bedeutsamkeit<br />
der Studie zu unterstreichen. Erst nach Information aller zuständigen Schulbehörden, in deren<br />
Zuständigkeitsbereich <strong>PISA</strong>-Schulen fallen, werden die Schulen angeschrieben.<br />
• Die Teilnahmemotivation der Schulen soll durch möglichst wenig Aufwand ihrerseits gesteigert werden,<br />
indem für die Testdurchführung externe Testleiter/innen eingesetzt werden. Die Kontaktperson<br />
für <strong>PISA</strong> an der Schule (Schulkoordinator/in – SK) ist nur dafür zuständig, eine Schülerliste zu erstellen,<br />
einen Testraum zu organisieren und den Testtermin mit dem/der Testleiter/in zu koordinieren.<br />
• Bei Nicht-Reagieren von Schulen auf Anschreiben des nationalen Zentrums wird jeweils telefonisch<br />
mit den Schulen Kontakt aufgenommen. Dies erfolgt auch, wenn bei der Kontrolle der Schülerliste,<br />
die von der Schule erstellt wurde, Informationen fehlen oder unplausibel erscheinen.<br />
• Die Schulkoordinatorin/der Schulkoordinator, die/der von der Schulleitung zu bestimmen ist, wird<br />
durch kurze, möglichst prägnante Briefe informiert und nicht, wie international vorgesehen, durch<br />
ein relativ umfangreiches Handbuch. Diese Informationsschreiben werden jeweils zu den Zeitpunkten<br />
verschickt, an denen bestimmte Arbeiten von der Schulkoordinatorin/vom Schulkoordinator<br />
durchzuführen sind; so muss diese/r nicht selbst auf die Einhaltung von (längeren) Fristen achten.<br />
• Der Aufwand für die Schulkoordinatorinnen und -koordinatoren wird finanziell abgegolten.<br />
• Weiters gibt es für die Schulen die Möglichkeit der telefonischen Rücksprache mit dem nationalen<br />
Zentrum, wenn weitere Informationen gewünscht werden oder Probleme oder Unklarheiten auftreten.<br />
• Schüler/innen und Eltern erhalten vor dem Testtermin Informationsschreiben und die Möglichkeit,<br />
über E-Mail oder Telefon weitere Informationen bei den zuständigen Personen am BMUKK, bei den<br />
Elternvertreterinnen und -vertretern oder dem nationalen Zentrum einzuholen.<br />
• Nach Abschluss aller Tests, erhalten die Schulkoordinatorinnen und Schulkoordinatoren ein Dankschreiben,<br />
dem auch eine Teilnahmeurkunde für die jeweilige Schule beiliegt.<br />
2.3.2 Maßnahmen zur Qualitätskontrolle beim Screening<br />
Die Qualitätskontrolle beim Screening erfolgt in Form von Feedbackbögen, welche den<br />
Schulkoordinatorinnen und -koordinatoren zugesendet werden. Diese Rückmeldungen dienen dazu,<br />
die Anstrengungen, die bei der Qualitätslenkung betrieben werden, zu bewerten und gegebenenfalls bei<br />
der nächsten Erhebung zu verbessern. Damit ist diese Maßnahme auch ein wesentlicher Beitrag zur<br />
Qualitätsentwicklung.<br />
Von den insgesamt 196 Schulkoordinatorinnen und -koordinatoren haben 151 die Möglichkeit der<br />
Rückmeldung genutzt, was einem Rücklauf von 77 % entspricht.<br />
Die Rückmeldebögen umfassen fünf Themenbereiche, von denen folgende drei zu den Vorbereitungsarbeiten<br />
zählen:<br />
• Fragen zum Informationsmaterial für den/die SK<br />
• Fragen zur Kooperation mit dem/der Testleiter/in<br />
• Fragen zur Teilnahmebereitschaft der Schüler/innen<br />
Zu zwei dieser Themenbereiche liegen auch Informationen aus den – in <strong>PISA</strong> <strong>2006</strong> neu eingeführten –<br />
Feedbackbögen der Testleiter/innen vor. Es sind dies Informationen<br />
• zur Zusammenarbeit zwischen SK und TL aus Sicht der Testleiter/innen und<br />
• zur Teilnahmebereitschaft der Schüler/innen.<br />
Zwei Themenbereiche der SK-Befragung beziehen sich auf die Testsitzung selbst und werden deshalb<br />
später in Abschnitt 3.3 in diesem Kapitel behandelt.<br />
Seite 202<br />
XII. Qualitätssicherung
Zufriedenheit mit Umfang und inhaltlicher<br />
Gestaltung der Informationen<br />
100 %<br />
Schwierigkeit der Erstellung<br />
der Schülerliste<br />
80 %<br />
68 %<br />
30 %<br />
60 %<br />
40 %<br />
20 %<br />
40 %<br />
55 %<br />
sehr<br />
zufrieden<br />
zufrieden<br />
1 % 0 %<br />
weniger<br />
zufrieden<br />
nicht<br />
zufrieden<br />
0 %<br />
sehr<br />
leicht<br />
eher<br />
leicht<br />
N = 149 N = 147<br />
5 %<br />
eher<br />
schwierig<br />
0 %<br />
sehr<br />
schwierig<br />
Abbildung XII.2: SK-Rückmeldungen zum Informationsmaterial<br />
Die Beurteilung des ersten Themenbereiches „Fragen zum Informationsmaterial für den/die<br />
Schulkoordinator/in“, welches vom nationalen Zentrum in Briefform verfasst wurde, fällt relativ positiv<br />
aus. Mit dem Umfang und der inhaltlichen Gestaltung der Informationen zweigen sich 68 % der<br />
Befragten sehr und weitere 29 % eher zufrieden (vgl. das linke Diagramm in Abbildung XII.2). Nur 1 %<br />
der SK gibt an, eher weniger zufrieden gewesen zu sein, keiner zeigte sich nicht zufrieden.<br />
Ähnlich positiv fallen auch die Bewertungen der Informationen im Detail aus. Für insgesamt 95 % der<br />
SK war die zentrale Aufgabe, die Erstellung der Schülerliste, sehr oder eher leicht. 5 % empfanden diese<br />
Aufgabe als eher schwierig. Keine/r gab an, dies als sehr schwierig erlebt zu haben (vgl. das rechte<br />
Diagramm in Abbildung XII.2).<br />
Waren die Abläufe und die Ausschlusskriterien klar beschrieben?<br />
Abläufe<br />
97 %<br />
3<br />
Ausschluss-<br />
Codes<br />
93 %<br />
7 %<br />
0 % 20 % 40 % 60 % 80 % 100 %<br />
N = 144/148<br />
Ja<br />
Nein<br />
Abbildung XII.3: SK-Rückmeldungen zu Abläufen und Ausschlusskriterien<br />
XII. Qualitätssicherung<br />
Seite 203
Die Informationen über die Abläufe der Studie fanden 96 % der SK klar formuliert. 93 % der Befragten<br />
geben weiters an, auch mit den Beschreibungen der Ausschlusskriterien für einzelne Schüler/innen und<br />
den damit verbundenen Codes gut zurechtgekommen zu sein (vgl. Abbildung XII.3).<br />
Beim zweiten Themenbereich „Kooperation mit dem/der Testleiter/in“, geben 89 % der SK an, mit der<br />
Betreuung durch den/die Testleiter/in sehr zufrieden gewesen zu sein, weitere 11 % zeigen sich zufrieden.<br />
Keine/r äußerte sich weniger oder nicht zufrieden (vgl. das linke Diagramm in Abbildung XII.4).<br />
Dieses sehr positive Ergebnis wird noch durch einige zusätzliche Anmerkungen bezüglich der guten<br />
Zusammenarbeit mit den TL unterstrichen.<br />
Zufriedenheit mit der Betreuung<br />
durch den/die Testleiter/in<br />
100 %<br />
Schwierigkeit der Vereinbarung<br />
eines Testtermins<br />
89 %<br />
80 %<br />
60 %<br />
63 %<br />
40 %<br />
20 %<br />
35 %<br />
sehr<br />
zufrieden<br />
11 %<br />
zufrieden<br />
0 % 0 %<br />
weniger<br />
zufrieden<br />
nicht<br />
zufrieden<br />
0 %<br />
sehr<br />
leicht<br />
eher<br />
leicht<br />
N = 151 N = 151<br />
2 %<br />
eher<br />
schwierig<br />
0 %<br />
sehr<br />
schwierig<br />
Abbildung XII.4: SK-Rückmeldungen zur Zusammenarbeit mit den TL<br />
Das zweite Diagramm in Abbildung XII.4 zeigt, wie leicht oder schwierig die Vereinbarung eines<br />
Testtermins mit den TL von den SK erlebt wurde. 63 % der SK geben an, die Terminvereinbarung wäre<br />
sehr leicht gewesen, weitere 35 % beschreiben diese als eher leicht.<br />
Dies ist ein Bereich, der in <strong>PISA</strong> 2003 von einigen SK als problematisch beurteilt wurde, was sich damals<br />
auch in der Häufung von Kommentaren der SK zu diesem Themenbereich in Form der allgemeinen<br />
Anmerkungen zeigte. Zwar kann das Zeitfenster der Erhebung auf Grund der internationalen Vorgaben<br />
nicht – wie teilweise angeregt – in den Herbst verschoben werden. Durch entsprechende Vorinformationen<br />
schon im ersten Anschreiben an die Schulen im Jänner und die Bitte an die Schulleitung, wenn möglich,<br />
drei mögliche Termine für den <strong>PISA</strong>-Test innerhalb des Erhebungsfensters bei der Planung des zweiten<br />
Semesters freizuhalten, scheint sich die Situation gebessert zu haben. Dies zeigt sich sowohl darin,<br />
dass in <strong>PISA</strong> <strong>2006</strong> die Terminvereinbarung nur 2 % der SK als eher schwierig beurteilen, als auch in<br />
der Tatsache, dass in den (frei formulierten) Anmerkungen der SK dieser Themenbereich nicht mehr<br />
vorkommt. In <strong>PISA</strong> 2003 hatten 9 % der SK angegeben, Schwierigkeiten bei der Terminvereinbarung<br />
gehabt zu haben.<br />
Seite 204<br />
XII. Qualitätssicherung
Die Kontaktaufnahme durch den/die Testleiter/in erfolgte ...<br />
rechtzeitig<br />
97 % 3<br />
0 % 20 % 40 % 60 % 80 % 100 %<br />
N = 148<br />
Ja<br />
Nein<br />
Abbildung XII.5: SK-Rückmeldungen zur Kontaktaufnahme durch die TL<br />
Abbildung XII.5 zeigt, dass 97 % der SK angeben, von dem/der zuständigen Testleiter/in rechtzeitig<br />
kontaktiert worden zu sein.<br />
Aus der Sicht der Testleiter/innen stellt sich die Kooperation mit den Schulkoordinatorinnen und -koordinatoren<br />
ebenfalls positiv dar. 90 % jener Testleiter/innen, die den Rückmeldebogen in Bezug auf<br />
die <strong>PISA</strong>-Studie ausgefüllt haben, beurteilten die Kooperationsbereitschaft der SK als gut, die restlichen<br />
10 % als mittelmäßig. Einige Probleme erlebten die Testleiter/innen mit der Erreichbarkeit der SK: ein<br />
Drittel berichtet davon, dass die SK schwer erreichbar waren; der Rest zeigt sich mit der Erreichbarkeit<br />
der SK zufrieden.<br />
Die Bereitschaft zur Teilnahme von Schülerinnen<br />
und Schülern (bzw. deren Eltern) ...<br />
100 %<br />
80 %<br />
85 %<br />
60 %<br />
40 %<br />
20 %<br />
0 %<br />
war in fast<br />
allen Fällen<br />
vorhanden<br />
13 %<br />
konnte<br />
meist<br />
hergestellt<br />
werden<br />
N = 149<br />
2 %<br />
konnte in<br />
wenigen<br />
Fällen<br />
hergestellt<br />
werden<br />
0 %<br />
konnte<br />
meist<br />
nicht<br />
hergestellt<br />
werden<br />
Abbildung XII.6: SK berichtet über Teilnahmebereitschaft<br />
XII. Qualitätssicherung<br />
Seite 205
Der dritte Bereich der SK-Befragung, der zur Vorbereitungsphase gehört, bezieht sich auf die<br />
Teilnahmebereitschaft der Schüler/innen bzw. darauf, ob Eltern ihre Kinder vom Test abmelden möchten.<br />
Die Rücklaufquoten stellen einen sensiblen Bereich in Bezug auf die Qualität und Vergleichbarkeit<br />
der resultierenden Daten dar. Wenn es um die Teilnahmebereitschaft der Schüler/innen (und das<br />
Einverständnis deren Eltern) geht, kommt dem/der SK eine zentrale Rolle zu. 85 % der SK berichten,<br />
dass die Teilnahmebereitschaft in fast allen Fällen von vornherein vorhanden war, weitere 13 % geben an,<br />
dass diese in den meisten Fällen durch ihre Überzeugungsarbeit hergestellt werden konnte. 2 % der SK<br />
konnten diese nur in wenigen Fällen herstellen, keine/r gibt an, diese meist nicht herstellen zu können<br />
(vgl. Abbildung XII.6 auf der vorhergehenden Seite). Diese Daten spiegeln die Informationen bezüglich<br />
des tatsächlichen Rücklaufs zum größten Teil wider; jene zwei Schulen, in denen sich der/die jeweils<br />
einzige Schüler/in des Zieljahrgangs vom Test abgemeldet hat (vgl. Kapitel VII) sind in diesen Analysen<br />
nicht enthalten, da nur an SK von Schulen, in denen auch tatsächlich ein <strong>PISA</strong>-Test stattgefunden hat,<br />
Rückmeldebögen versendet wurden.<br />
Jene Testleiter/innen, die den Rückmeldebogen für TL für die <strong>PISA</strong>-Studie ausgefüllt haben, äußern<br />
sich zur Abmeldeproblematik folgendermaßen: knapp 16 % haben ausschließlich in Schulen <strong>PISA</strong>-Tests<br />
durchgeführt, in denen es keine Abmeldungen gab. 70 % geben an, rechtzeitig von den SK über vorliegende<br />
Abmeldungen informiert worden zu sein, 14 % wurden nicht oder sehr spät über solche informiert.<br />
Insgesamt gibt nur ein/e TL an, gegen Abmeldungen von Schülerinnen und Schülern oder deren<br />
Eltern noch etwas tun gekonnt zu haben. Dies bestätigt die zentrale Rolle der SK in diesem Punkt.<br />
Die Rücklaufstatistiken (vgl. Kapitel VII) zeigen aber, dass die Teilnahmebereitschaft (ob von vornherein<br />
vorhanden und durch das Engagement von SK und/oder Schulleiterinnen und Schulleitern hergestellt)<br />
sehr hoch war und in Bezug auf die Qualität der österreichischen <strong>PISA</strong>-<strong>2006</strong>-Daten keinen negativen<br />
Einfluss haben dürfte.<br />
2.4 National Center Quality Monitoring<br />
Das National Center Quality Monitoring ist nur eine der Monitoring-Aktivitäten, die vom Internationalen<br />
Zentrum eingeführt werden (vgl. Abschnitt 1.4.1 idK.). Dabei werden die nationalen Projektzentren<br />
von so genannten National Center Quality Monitors (NCQMs) besucht, die vor Ort die Qualität<br />
der Prozeduren der nationalen Zentren überprüfen. NCQMs arbeiten im Auftrag des internationalen<br />
Konsortiums, sind mit den Verantwortlichkeiten eines NPM vertraut und werden vor ihren Besuchen<br />
vom internationalen Zentrum für ihre Aufgaben trainiert. Die Qualitätsüberprüfung durch die NCQMs<br />
wird auf der Basis eines standardisierten Interviews durchgeführt. Dieses umfasst Fragen zur Organisation<br />
der nationalen Zentren, der Adäquatheit der Manuals, der Qualitätsüberwachung sowie zu den wichtigsten<br />
Prozeduren wie beispielsweise der Stichprobenziehung, Übersetzung und dem Coding.<br />
Die NCQMs besuchen im Feldtest nur die nationalen Projektzentren der neu hinzugekommenen und<br />
in Bezug auf die richtige Prozessumsetzung gefährdeten Länder. Im Haupttest werden die Projektzentren<br />
aller Teilnehmerländer kurz vor der Erhebungsphase besucht. Da Österreich bereits an den ersten beiden<br />
Erhebungen teilgenommen hat und in früheren <strong>PISA</strong>-Erhebungen die vorgegebenen Prozeduren<br />
regelkonform umgesetzt hat, wird das österreichische <strong>PISA</strong>-Projektzentrum nur im Haupttest von einem<br />
NCQM besucht.<br />
Zweck dieser Besuche ist die Überprüfung und Durchsicht aller Komponenten des <strong>PISA</strong>-Projekts mit<br />
dem Fokus auf Datenerhebungsprozeduren im weitesten Sinne (vom Sampling bis zu geplanten File-<br />
Cleaning-Prozeduren). Die NPMs sind angehalten mit den NCQMs zusammenzuarbeiten und ihnen<br />
alle angeforderten Materialien zur Verfügung zu stellen.<br />
Auf internationaler Ebene werden die Daten, die aus den Interviews vor dem Haupttest gewonnen werden,<br />
in einem <strong>Bericht</strong> zusammengefasst. Die NCQM-<strong>Bericht</strong>e werden dazu verwendet, das Ausmaß des<br />
Erfolgs bezüglich der Einhaltung der vorgeschriebenen Ziele bei den einzelnen Phasen zu bewerten.<br />
Eine weitere Aufgabe der NCQMs ist, die <strong>PISA</strong> Quality Monitors auf ihren Einsatz vorzubereiten (vgl.<br />
Abschnitt 3.4 idK.).<br />
Seite 206<br />
XII. Qualitätssicherung
3. Qualitätssicherungsmaßnahmen während der Datenerhebung<br />
Um möglichst objektive und damit vergleichbare Daten zu erhalten, ist es besonders wichtig, alle<br />
Schüler/innen unter den gleichen Bedingungen zu testen. Deshalb spielt Qualitätssicherung während<br />
der Datenerhebung in Bezug auf die Standardisierung der Testsitzungen (Durchführungsobjektivität)<br />
eine große Rolle. Alle Vorgänge, die zur Vorbereitung auf die Tests getroffen werden, sowie der Ablauf<br />
der Testsitzungen sind in Abschnitt 5 des Kapitels VI dokumentiert und im Detail beschrieben. Im vorliegenden<br />
Kapitel sollen noch einmal jene Vorgänge herausgestrichen werden, die im Speziellen für die<br />
Qualitätssicherung relevant sind. Dabei handelt es sich sowohl um qualitätslenkende (vgl. Abschnitt 3.1<br />
idK.), als auch qualitätskontrollierende Maßnahmen (vgl. Abschnitt 3.2 idK.). Letztere werden auch verstärkt<br />
für die Qualitätsentwicklung in der Phase der Datenerhebung genützt.<br />
3.1 Qualitätslenkung zur Gewährleistung der Durchführungsobjektivität<br />
Vor allem drei Maßnahmen sind in Bezug auf die Objektivität und damit für die Vergleichbarkeit der<br />
gewonnenen Ergebnisse von besonderer Bedeutung:<br />
• Einsatz externer Personen für die Administration der Tests (externe TL),<br />
• Schulung der Testleiter/innen,<br />
• standardisiertes Handbuch für die Testdurchführung inklusive standardisierter Skripts.<br />
Diese Maßnahmen leisten einen entscheidenden Beitrag zur Vereinheitlichung der Testdurchführung<br />
über die verschiedenen Schulen und Länder hinweg.<br />
3.1.1 Externe Testleiter/innen<br />
Der Einsatz von Personen als Testleiter/innen, die von außen zur Testschule kommen, den Test durchführen<br />
und sämtliche Materialien wieder mitnehmen, hat verschiedene Vorteile, die einen positiven Einfluss<br />
auf die Qualität der Testdurchführung mit sich bringen.<br />
Die Testdurchführung ist dadurch objektiver, da die Versuchung, einzelnen Schülerinnen oder Schülern bei<br />
Testaufgaben auf die Sprünge zu helfen, praktisch nicht vorhanden ist, und umgekehrt die Schüler/innen<br />
unbeobachtet von einem Lehrer/einer Lehrerin ihrer Schule die Tests und Fragebögen bearbeiten können.<br />
Der Testablauf findet durch den Einsatz externer Testleiter/innen kontrolliert und standardisiert statt, da<br />
Vorbereitung und Einschulung bei wenigen Personen intensiver verlaufen können. Außerdem spielt auch<br />
Erfahrung bei der Administration standardisierter Tests eine Rolle. Je mehr Testsitzungen geleitet werden,<br />
desto vertrauter wird man mit den Prozeduren und Richtlinien. Im Bewusstsein dieser Tatsache hat das<br />
nationale Projektzentrum ein stehendes Netz an Testleiterinnen und Testleitern aufgebaut, um großteils<br />
Testleiter/innen einsetzen zu können, die bereits in vorhergehenden <strong>PISA</strong>-Testungen Erfahrung sammeln<br />
konnten.<br />
Ein weiterer Vorteil ist, dass als externe TL nur Personen in Frage kommen, die sich freiwillig zur Verfügung<br />
stellen. Dadurch wird sichergestellt, dass die Beteiligten auch entsprechende Motivation mitbringen.<br />
Gleichzeitig wird durch diese Maßnahme die Motivation der Schulen und Schulkoordinatorinnen und<br />
-koordinatoren gestärkt, da ihnen ein großes Stück Arbeit abgenommen wird.<br />
Die Administration der Tests durch schulfremde Personen hat zudem den Vorteil, die Vertraulichkeit in<br />
Bezug auf persönliche Angaben der Schüler/innen – vor allem in den Fragebögen – zu sichern, da während<br />
der Testsitzung keine Lehrer/innen der eigenen Schule Einsicht in die Arbeit der Schüler/innen nehmen<br />
können und zu keinem Zeitpunkt vor oder nach dem Test Materialien in Schulen gelagert werden<br />
müssen. Dies kann auch dazu führen, die Qualität der Daten aus den Schülerfragebögen zu verbessern,<br />
da ehrlichere Antworten von Seiten der Schüler/innen zu erwarten sind.<br />
Abgesehen davon, dass die externen TL einen großen Beitrag zur Qualitätslenkung während der<br />
Datenerhebung leisten, spielen sie auch bei der Qualitätskontrolle eine Rolle, indem von ihnen relativ objektive<br />
Rückmeldungen über die Abläufe und Geschehnisse an den Testtagen sowie über die Brauchbarkeit<br />
von Manuals, Schulungen und sonstige Hilfestellungen erwartet werden kann (vgl. auch Abschnitt 3.2<br />
idK.).<br />
XII. Qualitätssicherung<br />
Seite 207
3.1.2 Schulung der Testleiter/innen<br />
Die Vertrautheit der TL mit den Abläufen der Testsitzungen wird durch zwei Maßnahmen gesichert: Zum<br />
einen durch die Abhaltung von Schulungen für alle Testleiter/innen (auch jene, die bereits in früheren<br />
Erhebungen tätig waren) und zum anderen durch selbstständige Vorbereitung der TL auf ihre Aufgabe.<br />
Die Vorbereitung erfolgt in drei Schritten: Alle TL erhalten einige Zeit vor der Einschulung ein Exemplar<br />
des Handbuchs zugeschickt. Dies ist mit der Bitte verbunden, sich persönlich vorzubereiten, damit bei<br />
der Schulung schon eine gewisse Vertrautheit mit der Materie vorhanden ist. Daraufhin ist die Teilnahme<br />
an einer halbtägigen Schulung für Testleiter/innen obligatorisch. Als dritter Schritt werden die TL aufgefordert,<br />
sich zwischen Schulung und Testdurchführung noch einmal intensiv mit den besprochenen<br />
Abläufen auseinander zu setzen.<br />
3.1.3 Standardisierte Handbücher und Skripts<br />
Das Handbuch für TL dient der Vereinheitlichung der Abläufe durch exakte Anweisungen. Diese<br />
müssen allerdings nicht nur einheitlich, sondern auch verständlich sein. Hierbei spielen Struktur und<br />
Übersichtlichkeit eine wichtige Rolle. Nur wenn man entsprechende Informationen schnell und zielsicher<br />
finden kann, ist es auch noch bei Unklarheiten während der Tests möglich, mit Hilfe des Handbuchs<br />
Entscheidungen zu treffen. Deshalb wurde bei der Gestaltung des Manuals auf nationaler Ebene besonderer<br />
Wert auf die Gliederung und das Layout gelegt. In diesem Sinn werden die Rückmeldungen auf<br />
die Feldtestversion des Handbuchs sehr gewissenhaft ausgewertet und in die inhaltliche und optische<br />
Gestaltung der Haupttestversion einbezogen.<br />
Ein weiterer Punkt, der entscheidenden Einfluss auf die Qualität der Testdurchführung hat, ist die international<br />
einheitliche Administration der Tests. Hierzu leistet auch das Handbuch einen wichtigen<br />
Beitrag. Der Ablauf der Testsitzungen muss in allen Ländern gleich sein, und auch die Anweisungen und<br />
Erklärungen, die die Schüler/innen vor und während der Tests erhalten, dürfen sich zwischen den verschiedenen<br />
Ländern nicht unterscheiden. Dies wird durch zwei Qualitätslenkungsmaßnahmen erreicht: Zum<br />
einen gibt es als Ergänzung zur internationalen Version des Manuals Anmerkungen bezüglich erlaubter<br />
und nicht erlaubter Anpassungen von Teilen und Texten des Manuals an nationale Gegebenheiten. Zum<br />
anderen werden die Übersetzung und Adaption des Manuals – wie bei den Testinstrumenten – von internationaler<br />
Seite überprüft und verifiziert. Besonders wichtig ist die internationale Einheitlichkeit bei den<br />
Skripts – den Anleitungen, die den Schülerinnen und Schülern vor und während der Testdurchführung<br />
gegeben werden. Diese sind im Handbuch für TL abgedruckt und müssen wörtlich vorgelesen werden.<br />
Aus diesem Grund ist es von Bedeutung, dass sowohl die Übersetzung dieser Textpassagen akkurat ist, als<br />
auch, dass sich die TL exakt an diese Vorgaben halten.<br />
3.2 Qualitätskontrolle und -entwicklung durch Rückmeldung der TL<br />
Während der Durchführung jeder Testsitzung wird von der Testleiterin oder dem Testleiter nach internationalen<br />
Vorgaben ein standardisiertes Protokoll über Ablauf und eventuell aufgetretene Probleme geführt<br />
(vgl. Abschnitt 5.4.5 in Kapitel VI). Diese Protokolle werden in erster Linie zur Unterstützung der<br />
Rücklaufkontrolle angefertigt, enthalten aber auch viele wichtige Informationen, die zur Verbesserung<br />
von Materialien und Prozeduren führen können. Im vorliegenden Kapitel sollen die Analyse-Ergebnisse<br />
der Testsitzungs-Protokolle des Haupttests dargestellt werden. Indem die Rückmeldungen der Testleiter/innen<br />
systematisiert und analysiert werden, kann einerseits abgeschätzt werden, wie genau die <strong>PISA</strong>-<br />
Testungen den vorgeschriebenen Richtlinien entsprechen (Qualitätskontrolle); andererseits können die<br />
Anmerkungen der Testleiter/innen zur Verbesserung von Materialien für weitere Zyklen der <strong>PISA</strong>-Studie<br />
verwendet werden (Qualitätsentwicklung).<br />
Bei jeder <strong>PISA</strong>-Testung, egal ob erste Testsitzung oder Nachtest, wird ein Protokoll geführt. Dieses umfasst<br />
eine genaue Auflistung darüber, wo und wann der Test stattgefunden hat, sowie die Anzahl der<br />
anwesenden bzw. abwesenden Schüler/innen. Zudem wird der zeitliche Ablauf genau protokolliert (siehe<br />
unten). Im Anschluss werden die Testleiter/innen gebeten, einige Fragen zu potentiellen Problemfeldern<br />
zu beantworten und gegebenenfalls zu erklären.<br />
Seite 208<br />
XII. Qualitätssicherung
Die im Folgenden beschriebenen Auswertungen beruhen auf den Protokollen von 194 ersten Testsitzungen<br />
und 46 Nachtests (follow-up-sessions). Die Testung in Sonderschulen wird in diesen Auswertungen nicht<br />
berücksichtigt, da die Testzeiten hier anders geregelt sind. Besonderes Gewicht wurde bei der Auswertung<br />
auf eine exakte Einhaltung der vorgeschriebenen Zeiten sowie auf die Analyse von berichteten Problemen<br />
gelegt.<br />
3.2.1 Zur Dauer der <strong>PISA</strong>-Testung<br />
Die genaue Einhaltung der vorgegebenen Dauer der beiden Testteile von jeweils 60 Minuten ist ein<br />
wichtiger Qualitätsaspekt bei der Durchführung der Tests. Vor allem die Überschreitung dieser Zeit bei<br />
einigen Schulen oder geballt in einigen Ländern könnte zur Verfälschung der Leistungsdaten führen und<br />
deren Vergleichbarkeit gefährden.<br />
Die vorgegebene Dauer von 60 Minuten für den ersten Testteil wurde, in 236 der 240 Testsitzungen exakt<br />
eingehalten. Die Abweichungen in den anderen vier Testsitzungen sind von minimalem Ausmaß: in drei<br />
Schulen gab es eine Abweichung von nur 1 Minute (zweimal nach unten, einmal nach oben); die größte<br />
Abweichung beträgt 3 Minuten.<br />
Auch beim zweiten Testteil zeigt sich, dass die vorgegebene Zeit von 60 Minuten in der Regel sehr genau<br />
eingehalten wurde. Dies geschah in 225 von 240 Testsitzungen (94 %). Bei einer Testsitzung wurde<br />
die Testzeit um 2 Minuten überschritten und bei 14 Testungen lag die Testzeit unter dem vorgegebenen<br />
Zeitlimit, da die Schüler/innen schon vor Ende der zwei Stunden fertig waren. Nach internationalen<br />
Richtlinien ist eine vorzeitige Beendigung akzeptabel, wenn alle Schüler/innen vor Erreichen des<br />
Zeitlimits fertig sind.<br />
Es kann also davon ausgegangen werden, dass es keine Unzulässigkeiten bei der vorgeschriebenen Dauer<br />
von einer Stunde pro Testteil gegeben hat.<br />
Für die Bearbeitung des Fragebogens waren 50 Minuten vorgesehen. Waren viele Schüler/innen nach<br />
dieser Zeit noch nicht fertig, durften weitere 10 Minuten für die Bearbeitung der Fragebögen verwendet<br />
werden. Die durchschnittliche Bearbeitungszeit lag bei 49 Minuten, wobei Werte zwischen 30 und 70<br />
Minuten auftraten.<br />
3.2.2 Schülerverhalten während der Testsitzung<br />
Die TL werden auch nach dem Verhalten der Schüler/innen während der Testsitzung gefragt. Die diesbezüglichen<br />
Aufzeichnungen sind in Abbildung XII.7 dargestellt. Dabei zeigt sich, dass die Disziplin<br />
der Schüler/innen mit einem akzeptablen Anteil an Ausnahmen als durchaus gut zu bewerten ist. Etwas<br />
Schüler/innen sprechen während<br />
des Tests miteinander<br />
62 % 36 % 3 %<br />
Schüler/innen beschweren<br />
sich oder diskutieren mit TA<br />
91 % 9 %<br />
Schüler/innen sind laut<br />
und stören die Anderen<br />
86 % 12 % 2 %<br />
Schüler/innen werden<br />
gegen Ende unruhig<br />
49 % 39 % 11 %<br />
N=235 bis 238<br />
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %<br />
kein/e Schüler/in<br />
einige Schüler/innen<br />
die meisten Schüler/innen<br />
Abbildung XII.7: Schülerverhalten während der Testsitzung<br />
XII. Qualitätssicherung<br />
Seite 209
problematisch ist der hohe Anteil an Testsitzungen (knapp über 50 %), in denen einige bis die meisten<br />
Schüler/innen gegen Ende der Testsitzung unruhig wurden. Dieses Problem resultiert daraus, dass viele<br />
Schüler/innen bereits vor Ablauf der zwei Stunden mit der Bearbeitung der Testaufgaben fertig sind.<br />
Obwohl die Schüler/innen im Vorfeld darum gebeten werden Lesestoff, Lernstoff oder Hausübungen<br />
mitzunehmen, konnte die Unruhe am Ende der Testsitzungen nicht gänzlich gedämmt werden. Es wäre<br />
aber durchaus angebracht, auf internationaler Ebene einheitliche Maßnahmen zu überlegen, um dieses<br />
Problem unter Kontrolle zu bringen. Weiters wird von fast 40 % der Testsitzungen berichtet, dass<br />
Schüler/innen miteinander redeten (oder dies zumindest versuchten). Unter Umständen könnte dieses<br />
Problem aber die gleiche Wurzel wie das vorher angesprochene haben, nämlich dass Schüler/innen vor<br />
Ablauf der zwei Stunden mit dem Test fertig sind.<br />
3.2.3 Störungen während der Testsitzung<br />
Weiters werden die TL im Feedbackbogen auch zu Störungen, wie beispielsweise Lautsprecherdurchsagen,<br />
Alarm oder Wechsel des Klassenraumes, befragt. Diesbezügliche Aufzeichnungen sind in Abbildung XII.8<br />
dargestellt und zeigen, dass Störungen insgesamt nur in wenigen Fällen vorkommen. Diese betreffen vor<br />
allem Schüler/innen oder Lehrer/innen, die in den Testraum kommen, sowie Lautsprecherdurchsagen.<br />
Störungen durch ...<br />
Lautsprecherdurchsagen<br />
8 % 92 %<br />
Alarm<br />
2 %<br />
98 %<br />
Wechsel des Testraums<br />
1 %<br />
99 %<br />
nicht am Test teilnehmende<br />
Schüler/innen<br />
4 % 96 %<br />
Schüler/innen o. Lehrer/innen,<br />
die in den Testraum kamen<br />
10 % 90 %<br />
N= 234-236<br />
0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %<br />
ja<br />
nein<br />
Abbildung XII.8: Störungen während der Testsitzung<br />
3.2.4 Schwierigkeiten in Verbindung mit Testheften und Fragebögen<br />
Von Problemen mit Testheften (in Bezug auf Druck, Heftung etc.) wird in 2 % der Testsitzungen berichtet.<br />
Diese Anmerkungen betreffen vor allem Probleme mit der Heftung (z. B. fehlende Seiten) und in zwei<br />
Fällen Probleme der Testleiterin oder des Testleiters mit dem Austeilen der Hefte nach der Schüler-ID.<br />
Schwierigkeiten mit einzelnen Testaufgaben werden in weniger als 2 % der Protokolle vermerkt, wobei es<br />
sich hier in erster Linie um Kommentare zu Unklarheiten bei Fragestellungen handelt.<br />
Ebenfalls mit zwei Fragen werden Probleme bezüglich der Schülerfragebögen erhoben. In etwa 2 % der<br />
Protokolle wird von Problemen mit dem Fragebogen berichtet, wobei sich die diesbezüglichen Anmerkungen<br />
auf Probleme mit der Heftung der Fragebögen beziehen. Von Schwierigkeiten mit spezifischen Fragen<br />
Seite 210<br />
XII. Qualitätssicherung
wird in knapp 6 % der Protokolle berichtet; diese beziehen sich auf das Problem, dass den Schülerinnen<br />
und Schülern Informationen zur Beantwortung einiger Fragen, wie etwa der Berufsausbildung und dem<br />
Schulabschluss der Eltern fehlten, auf jene Fragen, die den Naturwissenschaftsunterricht betreffen (auf<br />
Grund der unterschiedlichen unterrichteten Fächer) sowie eine überflüssige Anleitung zum Überspringen<br />
einer Frage im nationalen Fragebogenteil einer Version.<br />
3.2.5 Sonstige Problemfelder während der Testsitzung<br />
Die TL können am Ende des Protokollformulars sonstige Problemfelder, die nicht explizit abgefragt werden,<br />
notieren. Hier werden in hohem Ausmaß die Länge des Schülerfragebogens und die damit einhergehende<br />
Ermüdung der Schüler/innen erwähnt sowie die frühzeitige Fertigstellung der Aufgaben in den<br />
Testheften von einigen Jugendlichen und die dadurch entstehende Unruhe protokolliert.<br />
Ergänzend dazu gibt es allgemeine Kommentare, die sich auf den Wunsch nach Feedback über die<br />
Leistung der Schüler/innen vor allem von Seiten der Schüler/innen, die den Wunsch nach individuellen<br />
Rückmeldungen äußerten, beziehen.<br />
3.3 Qualitätskontrolle und -entwicklung durch Rückmeldung der SK<br />
Wie bereits in Abschnitt 2.3.2 in diesem Kapitel beschrieben wurde, werden die Schulkoordinatorinnen<br />
und Schulkoordinatoren nach Abschluss aller Testsitzungen und dem Eintreffen des Materials im <strong>PISA</strong>-<br />
Projektzentrum um Rückmeldung in Form von Feedbackbögen gebeten. Einer der vier Themenbereiche,<br />
nach denen gefragt wird, bezieht sich auf den Testtag selbst.<br />
95 % der Schulkoordinatorinnen und -koordinatoren geben an, während der Testsitzung selbst keine<br />
Probleme gehabt zu haben. Die Schwierigkeiten, die genannt werden, beziehen sich vor allem auf das<br />
Fehlen von Schülerinnen und Schülern (vgl. Abbildung XII.9).<br />
Probleme am Tag des Tests<br />
Probleme<br />
5 % 95 %<br />
0 % 20 % 40 % 60 % 80 % 100 %<br />
N = 151<br />
Ja<br />
Nein<br />
Abbildung XII.9: Probleme am Tag des Tests<br />
Neben dieser allgemein gehaltenen Frage zu möglichen Problemen am Testtag wurden die SK bei <strong>PISA</strong><br />
<strong>2006</strong> auch danach gefragt, ob auf Grund der Teilnahme der Schule Kontakt mit Medien stattgefunden<br />
hat und wenn ja, ob dies zu Problemen geführt hat.<br />
Abbildung XII.10 auf der nächsten Seite zeigt, dass 13 % der SK von Kontakten mit Vertreterinnen oder<br />
Vertretern der Medien berichten. In den meisten Fällen fand dies auf Initiative der Medien statt, in einigen<br />
Fällen auf Wunsch der Schulbehörden und nur in zwei Fällen kam die Initiative von der Schule selbst.<br />
Wie Medien von der Teilnahme einzelner Schulen erfahren, ist nicht geklärt. Das nationale Zentrum gibt<br />
dazu strikt keine Informationen nach außen; die Vertreter/innen der Schulbehörden, die im Verlauf des<br />
Screening-Prozesses über die Auswahl von Schulen in ihrem Wirkungsbereich informiert werden, werden<br />
ebenfalls um vertrauliche Behandlung dieser Informationen gebeten.<br />
Von Problemen für die <strong>PISA</strong>-Testsitzung auf Grund des Kontakts mit Medien berichtet aber keine einzige<br />
Schulkoordinatorin/kein einziger Schulkoordinator.<br />
XII. Qualitätssicherung<br />
Seite 211
Kontakt mit Medienvertretern auf Grund der Teilnahme an <strong>PISA</strong><br />
Nein<br />
87 %<br />
Ja<br />
13 %<br />
1 %<br />
7 %<br />
4 %<br />
Ja, auf Initiative<br />
von Medienvertretern<br />
Ja, auf Initiative<br />
der Schule hin<br />
Ja, auf Wunsch<br />
der Schulbehörden<br />
3.4 <strong>PISA</strong> Quality Monitoring<br />
N = 149<br />
Abbildung XII.10: Kontakt mit Medien auf Grund der Teilnahme an <strong>PISA</strong><br />
Das <strong>PISA</strong> Quality Monitoring ist eine der Monitoring-Aktivitäten die vom Internationalen Zentrum<br />
eingerichtet wurden. Im Gegensatz zu den übrigen Monitoring-Aktivitäten (vgl. hierzu Abschnitt 1.4.1<br />
idK.), kann das <strong>PISA</strong> Quality Monitoring eindeutig der Untersuchungsphase „Datenerhebung“ zugeordnet<br />
werden, weshalb es auch an dieser Stelle im Detail behandelt wird.<br />
Beim <strong>PISA</strong> Quality Monitoring werden in allen Teilnehmerländern ungefähr 10 % der <strong>PISA</strong>-Schulen<br />
von einem <strong>PISA</strong> Quality Monitor (PQM) unangekündigt am Testtag besucht. Der PQM hat dabei die<br />
Aufgabe, mit Hilfe eines standardisierten Beobachtungsprotokolls die Testdurchführung zu beobachten<br />
und Abweichungen von den Richtlinien zu protokollieren. Der Einsatz von zumindest zwei PQMs pro<br />
Land hat das Ziel, Daten zur Qualität der Testdurchführung zu sammeln, um die Einhaltung der internationalen<br />
Richtlinien, für die die nationalen Zentren verantwortlich sind, beurteilen und dokumentieren<br />
zu können.<br />
Die PQMs müssen Personen sein, die<br />
• gut über die <strong>PISA</strong>-Abläufe und Materialien Bescheid wissen,<br />
• Erfahrung im Bereich Assessment und/oder Unterricht und Schulen haben,<br />
• unabhängig vom NPM und dem nationalen Projektzentrum sind (nicht in derselben Institution arbeiten),<br />
• fließend die jeweilige Testsprache sowie Englisch oder Französisch sprechen und<br />
• fähig sind, <strong>PISA</strong> seriös und kompetent zu repräsentieren.<br />
Die NPMs haben dabei die Aufgabe, in ihrem Land geeignete Interessenten zu finden und deren<br />
Lebensläufe an das internationale Konsortium zu übermitteln. Die Nominierung der PQMs durch die<br />
NPM darf nicht später als 6 Wochen vor Beginn des Testfensters, aber vorzugsweise 3 Monate vor diesem<br />
erfolgen. Im internationalen Konsortium fällt dann die Entscheidung über die Vertragsabschlüsse. PQMs<br />
sind somit Beauftragte des internationalen Konsortiums, vertraglich an dieses gebunden und werden auch<br />
von diesem bezahlt. Die PQMs werden von einem Abgesandten des internationalen Konsortiums – dem<br />
so genannten National Center Quality Monitor (NCQM) – geschult. Der NCQM ist primär für die<br />
Qualitätsüberwachung der nationalen Zentren verantwortlich (vgl. Abschnitt 2.4 idK.) und übernimmt<br />
im Rahmen dieser Aufgabe auch die Schulung der PQMs. Die NPMs haben jeweils die Aufgabe, die<br />
NCQMs als Vertreter/innen des <strong>PISA</strong>-Konsortiums zu unterstützen und bei der Lösung von eventuell<br />
auftretenden Problemen mit den PQMs zu helfen.<br />
Die PQMs müssen jedoch auch mit dem nationalen Zentrum zusammenarbeiten, um die nötigen<br />
Informationen über ausgewählte Schulen und deren Testtermine zu erhalten, dürfen aber dem NPM<br />
nicht über ihre laufende Arbeit als PQM <strong>Bericht</strong> erstatten.<br />
Seite 212<br />
XII. Qualitätssicherung
In Österreich wurden nach internationalen Vorgaben im Haupttest 15 Schulen von zwei PQMs besucht.<br />
Zur Durchführung ihrer Aufgabe bekommen die PQMs ein Handbuch in englischer und französischer<br />
Sprache, ein nationales Handbuch für Testleiter/innen und Einblick in alle verwendeten Testmaterialien.<br />
Zur Vorbereitung auf die eintägige Schulungseinheit durch den NCQM wird vom internationalen<br />
Zentrum empfohlen, dass die PQMs an einer lokalen Schulung für Testleiter/innen teilnehmen. In<br />
Österreich nahm ein PQM an der Schulung in Salzburg und einer an jener in Graz teil.<br />
Gemeinsam mit dem NCQM wählen die PQMs eine möglichst repräsentative Stichprobe an Schulen aus,<br />
die dann zu besuchen ist. Unter Berücksichtigung der Erreichbarkeit (Anreisekosten sollten in Grenzen<br />
gehalten werden) und der Testzeiten von Schulen (pro PQM kann an einem Tag nur eine Schule besucht<br />
werden) werden die übrigen Schulen so gewählt, dass alle Schultypen und möglichst viele verschiedene<br />
TL abgedeckt werden.<br />
Die Besuche erfolgen im konkreten Fall unangekündigt, wobei die TL grundsätzlich über die Möglichkeit<br />
eines PQM-Besuchs informiert sind. Weder der/die Testleiter/in noch der/die Schulkoordinator/in werden<br />
davon in Kenntnis gesetzt, welche Schulen tatsächlich für das <strong>PISA</strong> Quality Monitoring ausgewählt<br />
wurden. Der PQM hat, wie der TL, eine Stunde vor Testbeginn an der Schule zu sein, um anhand eines<br />
vorgegebenen Protokolls die Vorbereitungsarbeiten des TL sowie die Durchführung der Testsitzung zu<br />
dokumentieren. Im Anschluss muss der PQM ein kurzes Interview mit dem/der Schulkoordinator/in<br />
führen.<br />
Die <strong>Bericht</strong>e der PQMs werden, wie in Abschnitt 2.4 in diesem Kapitel bereits erläutert, gemeinsam mit<br />
anderen <strong>Bericht</strong>en zur Beurteilung der Daten eines Landes herangezogen, womit dieser Maßnahme in<br />
indirekter Form auch eine kontrollierende Funktion zukommt. Die qualitätslenkende Funktion dieser<br />
Maßnahme besteht darin, dass die <strong>Bericht</strong>e beim Datencleaning behilflich sind, da Schulen, bei denen die<br />
PQMs Bedenken bezüglich der Datenerhebung haben, entsprechend gekennzeichnet sind. Zum anderen<br />
kann davon ausgegangen werden, dass das Wissen um eine Überwachung der Datenerhebung durchaus<br />
die Bemühungen sowohl der nationalen Zentren als auch der TL positiv beeinflusst, die diesbezüglichen<br />
Qualitätsanforderungen zu erfüllen. Aus den gesammelten Daten lassen sich aber auch Maßnahmen zur<br />
qualitativen Verbesserung der Datenerhebungsprozeduren für die nächste <strong>PISA</strong>-Erhebung (2009) ableiten,<br />
womit das <strong>PISA</strong>-Quality-Monitoring auch als eine Maßnahme zur Qualitätsentwicklung betrachtet<br />
werden kann.<br />
4. Qualitätssicherungsmaßnahmen bei der Datenverarbeitung<br />
4.1 Rücklauf der Erhebungsinstrumente<br />
Die qualitätssichernden Maßnahmen in Bezug auf den Rücklauf der Erhebungsinstrumente werden international<br />
nicht vorgegeben, sondern können von den nationalen Projektzentren individuell geregelt<br />
werden. Die in Österreich durchgeführten Maßnahmen sind primär der Qualitätslenkung zuzuordnen<br />
und haben vor allem das Ziel, alle Materialien vollständig und unbeschädigt ins <strong>PISA</strong>-Zentrum zurückzuholen<br />
und hierbei die Vertraulichkeit, die den Schüler/innen zugesichert worden ist, zu gewährleisten.<br />
Ein erster wichtiger Punkt dabei ist der Transport der Materialien zurück nach Salzburg sowie die damit<br />
verbundene Lagerung der Schulpakete zwischen Testsitzung und Abtransport. Sowohl im Feld- als auch<br />
im Haupttest wird am Pädagogischen Institut jedes Bundeslandes eine zentrale Sammelstelle organisiert<br />
(vgl. Abschnitt 5.6 in Kapitel VI). Bei der Übergabe der Schulpakete von der Testleiterin bzw. des<br />
Testleiters an die Verantwortliche/den Verantwortlichen der jeweiligen Sammelstelle wird dies schriftlich<br />
bestätigt. Von den Sammelstellen werden die Materialien dann von einer Spedition abgeholt und zum<br />
ZVB in Salzburg gebracht. So können sowohl die Lagerung von Testmaterialien an Schulen und somit<br />
die Gefährdung der Anonymität der Schülerdaten als auch Postwege mit voraussichtlichem Verlusten von<br />
Materialien vermieden werden.<br />
Die Vollständigkeit der Materialien wird im Rahmen der Rücklaufkontrolle gleich nach Eintreffen der<br />
Schulpakete überprüft. Bei dieser wird genau registriert, wie viele Testhefte, Fragebögen, Schülerlisten<br />
XII. Qualitätssicherung<br />
Seite 213
und Testsitzungsprotokolle von welcher Schule ausgefüllt, leer oder beschädigt zurückkommen. Um<br />
auch sicherzustellen, dass bei den eigentlichen Datenverarbeitungsprozessen keine Materialien mehr<br />
verloren gehen können, finden alle Arbeiten – das Coding (Vercodung der Antworten auf die offenen<br />
Testfragen) und die Dateneingabe – in Räumlichkeiten des nationalen Zentrums statt. Die hierfür angestellten<br />
Personen, werden entsprechend der internationalen Vorgabe auch schriftlich zur vertraulichen<br />
Behandlung der Materialien verpflichtet.<br />
4.2 Coding<br />
<strong>PISA</strong> <strong>2006</strong> umfasst 79 Aufgaben mit offenem Antwortformat. Die eigenständig formulierten<br />
Schülerantworten auf diese Aufgaben müssen vor der Eingabe in den Computer mit Zifferncodes<br />
versehen, also vorcodet werden. Ziel der qualitätssichernden Maßnahmen bei diesem Prozess ist eine<br />
möglichst objektive Beurteilung der Schülerantworten. Dies geschieht in Form von qualitätslenkenden<br />
Maßnahmen, die primär ein integraler Bestandteil der international vorgeschriebenen Coding-Prozedur<br />
sind und im Detail in Kapitel VIII beschrieben werden. Im folgenden Abschnitt (4.2.1) werden diese<br />
Maßnahmen zusammenfassend dargestellt. Inwieweit die Qualitätsanforderungen erreicht werden, wird<br />
durch Qualitätskontrollmaßnahmen auf internationaler Ebene geprüft und in Abschnitt 4.2.2 dieses<br />
Kapitels dargestellt.<br />
Grundsätzlich können beim Coding folgende Probleme auftreten:<br />
(1) Nicht allen Schülerantworten können trotz Handbuch mit den Bewertungsrichtlinien (Coding Guide)<br />
eindeutige Codes zugeordnet werden.<br />
(2) Die Zuordnung der Codes ist nicht unabhängig von der Coderin/vom Coder.<br />
(3) Unterschiedliche Schärfen bei der Vergabe der Codes zwischen den Ländern.<br />
Fehlerquellen wie unter Pkt. 1 dargestellt wirken sich vor allem auf die Zuverlässigkeit (Reliabilität)<br />
der Daten aus. Die zweite und dritte Fehlerquelle hingegen beeinflussen primär die Objektivität und<br />
Vergleichbarkeit der Daten zwischen den Ländern negativ.<br />
4.2.1 Qualitätslenkung beim Coding<br />
Wichtigste Basis des Codings sind die standardisierten Bewertungsrichtlinien (Coding Guides), welche<br />
die Beschreibung sämtlicher Codes aller offenen Aufgaben enthalten. Diese müssen den gleichen<br />
Übersetzungs- und Verifikationsprozess wie die Testitems selbst (vgl. Abschnitt 4 in Kapitel III) durchlaufen,<br />
wodurch sichergestellt wird, dass alle Teilnehmerstaaten die gleiche Bewertungsbasis haben, was<br />
Voraussetzung für eine objektive Beurteilung ist. Ein internationales Coder-Training bildet einen weiteren<br />
Schritt zur Objektivierung des Codings. Jeweils im Februar vor Feld- und Haupttest finden diese<br />
Schulungen statt, die dazu dienen, zumindest je eine/n Teilnehmer/in pro Land und Testdomäne mit der<br />
Auslegung und Interpretation der Bewertungsrichtlinien vertraut zu machen.<br />
Auf Länderebene werden Coderschulungen nach internationalen Richtlinien organisiert. Dazu gehört<br />
die Auswahl der Coder/innen, die nach internationalen Vorgaben kriteriumsorientiert erfolgen muss.<br />
Entsprechend dieser Vorgaben werden in Österreich nur Personen als Coder/in gewählt, die mit der jeweiligen<br />
Testdomäne und dem Umgang mit Antworten von 15-/16-jährigen Schülerinnen und Schülern vertraut sind,<br />
also vorzugsweise Lehrer/innen, Unterrichtspraktikantinnen/-praktikanten und Lehramtskandidatinnen/<br />
-kandidaten entsprechender Unterrichtsfächer.<br />
Für jede Domäne erfolgt eine eigene Schulung, an der alle Coder/innen der jeweiligen Domäne teilnehmen<br />
müssen. Hier wird größtes Augenmerk darauf gelegt, dass nach Abschluss des Trainings zwischen<br />
allen Codern und Coderinnen einer Domäne Konsens bezüglich der Handhabung und Verwendung der<br />
Bewertungsrichtlinien herrscht. Unmittelbar nach der Schulung müssen die Coder/innen im Schnitt etwa<br />
10 Beispielantworten je Item codieren; in Naturwissenschaft entspricht das etwa 410 Beispielantworten.<br />
Der Anteil richtig vercodeter Antworten muss mindestens 85 % betragen. Falls diese Schwelle nicht erreicht<br />
wird, muss der/die jeweilige Coder/in nachgeschult werden, bevor er/sie mit der eigentlichen Coding-<br />
Prozedur beginnen darf. Ist auch die Nachschulung erfolglos, besteht grundsätzlich die Möglichkeit,<br />
eine/n bereits geschulte/n Ersatzcoder/in zu rekrutieren, was in Österreich aber nicht nötig war.<br />
Seite 214<br />
XII. Qualitätssicherung
Durch spezielle Rotationsschemata bei der Zuteilung von Testheften zu Codern und Coderinnen wird<br />
sichergestellt, dass jedes Testheft von mehreren Codern bzw. Coderinnen bearbeitet wird, indem ein/e<br />
Coder/in nur jeweils einen von insgesamt 4 Aufgabenclustern pro Testheft beurteilt. Das Rotieren der<br />
Testhefte beim Coding hat den Zweck, die Qualität der Leistungsdaten durch etwaige Tendenzen einzelner<br />
Coder/innen zur strengeren und weniger strengen Beurteilungen nicht zu beeinflussen.<br />
Auch während der Coding-Prozedur werden noch qualitätslenkende Maßnahmen durchgeführt. Für<br />
die Betreuung der Coder/innen während der Arbeit stehen für jede Domäne zwei Supervisorinnen zur<br />
Verfügung. Können die Supervisorinnen Entscheidungen bezüglich der Vergabe der Codes zu einzelnen<br />
Schülerantworten nicht treffen, steht ein international eingerichtetes E-Mail-Coder-Query-Service zur<br />
Verfügung, das in solchen Fällen die Vergabe des Codes übernimmt. Weiters müssen die Supervisorinnen<br />
die Codevergabe einer jeden Coderin/eines jeden Coders stichprobenweise kontrollieren. Eine<br />
Rückmeldung bei gefundenen Fehlcodierungen erfolgt immer vor der nächsten Coding-Einheit, damit<br />
die Fehlvercodungen ausgebessert werden können und sich nicht weiter fortsetzen.<br />
4.2.2 Qualitätskontrolle beim Coding<br />
Ob und inwieweit die qualitätslenkenden Maßnahmen zur Verbesserung der Objektivität der Beurteilungen<br />
erfolgreich sind, wird durch zwei Qualitätskontrollmaßnahmen – das Multiple Coding und die Inter-<br />
Country-Rater-Reliability-Study – geprüft.<br />
Beim Multiple Coding muss jedes Land einen Teil der Aufgaben jeweils von vier verschiedenen Coderinnen<br />
bzw. Codern beurteilen lassen, so dass Vergleiche zwischen den vergebenen Codes Rückschlüsse auf die<br />
Reliabilität der Bewertungen ermöglichen (Interrater-Reliabilität). Wie diese Prozedur, das Multiple<br />
Coding, in Österreich praktisch umgesetzt wird, ist in den Abschnitten 4.4.2 und 5.4.2 in Kapitel VIII<br />
beschrieben.<br />
Im Feldtest hat das Multiple Coding eine qualitätslenkende Funktion mit dem Ziel, die Qualität des<br />
Codings für den Haupttest zu verbessern. Grundsätzlich werden hier zwei Bereiche unterschieden:<br />
(1) Wenn festgestellt wird, dass sich Coder/innen in einem Land allgemein oder bei einzelnen Items uneinig<br />
bei der Vergabe von Codes sind, könnte dies auf schlecht qualifizierte Coder/innen, Übersetzungsfehler<br />
im Coding Guide oder Fehler beim Training der Coder/innen in diesem Land zurückzuführen sein.<br />
Probleme dieser Art müssen von den nationalen Zentren nach dem Feldtest genau analysiert werden,<br />
damit die daraus gewonnenen Erkenntnisse für entsprechende Verbesserungen beim Haupttest genutzt<br />
werden können.<br />
(2) Wenn über mehrere Länder hinweg Diskrepanzen bei der Vergabe von Codes bei einzelnen Items<br />
auftreten, kann dies auf Unklarheiten in den Coding-Anleitungen zurückzuführen sein. Probleme<br />
mit den Bewertungsrichtlinien einzelner Items müssen von internationaler Seite her gelöst werden.<br />
Im Haupttest hat das Multiple Coding primär eine Kontrollfunktion, bei der die Reliabilität der<br />
Bewertungen in jedem Land im Mittelpunkt steht. Die qualitätslenkende Funktion wie beim Feldtest<br />
tritt in den Hintergrund, da die Möglichkeit, nach dem Haupttest qualitätssichernd einzugreifen, sehr<br />
stark eingeschränkt ist. Vorstellbare qualitätslenkende Konsequenzen wären, einzelne Items in einigen<br />
Ländern oder international aus den Berechnungen auszunehmen, oder in extremen Fällen Booklets einzelner<br />
Länder oder einzelner Coder/innen noch einmal beurteilen zu lassen.<br />
Die Daten des Multiple Codings werden auf internationaler Ebene ausgewertet und im technischen<br />
<strong>Bericht</strong> des internationalen Zentrums publiziert, der zum gegebenen Zeitpunkt noch nicht vorliegt. An<br />
dieser Stelle soll jedoch kurz erklärt werden, nach welchem Prinzip die Daten weiterverarbeitet werden:<br />
Die Idee der Analyse beruht auf dem Prinzip einer Varianzzerlegung. Damit ist gemeint, dass sich die<br />
Codes, die die Schüler/innen erhalten, jeweils voneinander unterschieden. Unterschiedlich große Anteile<br />
dieser Unterschiede (der Varianz) der Bewertungen werden durch das Item (wie schwierig dieses ist), den/<br />
die Schüler/in (ihre/seine Fähigkeit) und den/die Coder/in erklärt; weiters spielen Interaktionen zwischen<br />
Coder/in und Schüler/in, Coder/in und Item sowie Item und Schüler/in eine Rolle. Das Ziel der Analyse<br />
ist die Bestimmung des Varianzanteils, der auf die Coder/innen zurückzuführen ist.<br />
XII. Qualitätssicherung<br />
Seite 215
Der Vergleich der Größe dieses Anteils zwischen verschiedenen Ländern kann Aufschluss über die<br />
Reliabilität der Bewertungen in diesen Ländern geben. Andererseits kann durch eine Analyse der Daten<br />
nach Items die Reliabilität einzelner Items über alle Länder hinweg bestimmt werden.<br />
Ein weiterer Indikator für die Qualität der Bewertungen ist eine Reliabilitätsanalyse, bei der die Variablen<br />
„Schüler/in“ und „Items“ jeweils konstant gehalten und der/die Coder/in variiert wird. Die Korrelation<br />
zwischen den Ergebnissen von verschiedenen Coderinnen bzw. Codern kann ebenfalls Aufschluss über<br />
die Zuverlässigkeit der Beurteilungen geben.<br />
Durch das Multiple Coding kann jedoch nicht überprüft werden, ob die Coder/innen eines Landes systematisch<br />
alle oder einzelne Items zu streng oder zu milde beurteilen, solange sie sich untereinander einig<br />
sind. Um solche systematischen Bewertungsfehler aufzudecken, wurde die Inter-Country-Rater-Reliability-<br />
Study entwickelt. Bei dieser zweiten internationalen Kontrollmaßnahme werden die Antworten auf verschiedene<br />
Items von 180 Multiple-Coding-Testheften an das internationale Zentrum geschickt und dort<br />
von einer fünften Coderin bzw. einem fünften Coder beurteilt, um systematische Beurteilungsfehler in<br />
einzelnen Ländern aufdecken zu können.<br />
Die internationalen Coder/innen sind meist Personen, die bei der Verifikation der Testmaterialien schon<br />
für das internationale Zentrum gearbeitet haben. Sie werden von Mitgliedern des Konsortiums für das<br />
Coding der Items geschult. Als Abschluss des Trainings muss jede/r von ihnen ein Set von fingierten<br />
Schülerantworten beurteilen, und diese werden mit Benchmarks, von internationaler Seite vorgegebenen<br />
korrekten Codes, verglichen. Danach werden die Booklets eines oder mehrerer Länder bewertet. Die<br />
vergebenen Codes werden elektronisch verarbeitet und dann mit den Codes aus dem nationalen Multiple<br />
Coding verglichen. Bei Diskrepanzen wird die Antwort der internationalen Coderin/vom internationalen<br />
Coder ins Englische übersetzt und von der Supervisorin/dem Supervisor der internationalen Coder/innen<br />
noch einmal kontrolliert und entschieden, ob die Beurteilung im Land, oder die des internationalen<br />
Coders/der internationalen Coderin den Richtlinien im Coding Guide (besser) entspricht. Der Anteil,<br />
bei dem die nationalen Coder/innen von dem international als richtig definierten Code abweichen, soll<br />
Aufschluss über die Güte des Codings der einzelnen Länder geben. Vor allem kann herausgefunden werden,<br />
ob Tendenzen zu übertriebener Strenge oder Milde beim Beurteilen einzelner Items in einem Land<br />
festzustellen sind, die auf Fehler bei der Auslegung der Bewertungsrichtlinien beim nationalen Training<br />
der Coder/innen oder Übersetzungsfehler in der nationalen Coding-Anleitung zurückzuführen wären.<br />
4.3 Dateneingabe<br />
Die Qualitätssicherung bei der Dateneingabe dient der Qualitätslenkung, mit Hilfe derer durch vorbeugende<br />
Maßnahmen und Überwachungsmechanismen Dateneingabefehler vermieden oder korrigiert werden.<br />
Qualitätssicherungsmaßnahmen in diesem Bereich beziehen sich auf die Auswahl und Schulung des<br />
Dateneingabe-Personals, die Anwendung der Dateneingabesoftware „KeyQuest“ sowie die Prozeduren<br />
des File Cleanings und Database Managements (vgl. Abschnitt 4 in Kapitel X).<br />
Die ersten Maßnahmen, um eine möglichst fehlerfreie Datenbasis zu bekommen, beziehen sich auf die<br />
Auswahl und Schulung des Dateneingabe-Personals. Hierfür gibt es keine internationalen Vorgaben,<br />
weshalb dieser Teil national unterschiedlich geregelt werden kann. In Österreich werden hier folgende<br />
Maßnahmen zur Minimierung der Eingabefehler gesetzt:<br />
• Bei der Auswahl des Dateneingabe-Personals wird auf Kriterien wie Verlässlichkeit und Genauigkeit<br />
geachtet.<br />
• Alle Personen werden für ihre Aufgabe speziell geschult. Diese Einschulung umfasst sowohl allgemeine<br />
Informationen zur Dateneingabe-Software als auch Erklärungen zu Besonderheiten des jeweils zu<br />
bearbeitenden Instruments. Am Ende der Einschulung bekommt jede/r Mitarbeiter/in die Möglichkeit,<br />
einige Datensätze unter Betreuung einzugeben.<br />
Während der Dateneingabe wird die Qualität der eingegebenen Daten zum einen durch<br />
Kontrollmechanismen der Dateneingabe-Software „KeyQuest“ und zum anderen durch Kontrollen von<br />
Mitarbeiterinnen/Mitarbeitern des nationalen Zentrums überprüft.<br />
Seite 216<br />
XII. Qualitätssicherung
Im konkreten Fall dienen diese Maßnahmen der Minimierung systematischer und unsystematischer<br />
Eingabefehler. Obwohl die Verwendung der vom internationalen Zentrum zur Verfügung gestellten<br />
Dateneingabesoftware „KeyQuest“ keine verbindliche Vorgabe darstellt, wurde sie in Österreich zur<br />
Dateneingabe benützt, da es sich dabei um eine anwenderfreundliche Software handelt, mit deren Hilfe<br />
folgende Arten von Eingabefehlern verhindert werden können (im Detail hierzu siehe Abschnitt 4.2,<br />
Kapitel X):<br />
• Durch die in der Dateneingabe-Software „KeyQuest“ integrierten Kontrollmechanismen wird schon<br />
während der Dateneingabe verhindert, dass ungültige oder bereits vorhandene Identifikationsvariablen<br />
eingegeben werden.<br />
• Bei den meisten Variablen sind außerdem „Out-of-Range-Checks“ (Definition gültiger Wertebereiche)<br />
im Programm eingebaut. Dadurch können keine Werte außerhalb des definierten Wertebereichs<br />
eingegeben werden.<br />
In Österreich werden zusätzlich folgende qualitätslenkende Maßnahmen während der Dateneingabe getroffen:<br />
• Die Dateneingabe erfolgt ausnahmslos in Räumlichkeiten des nationalen Zentrums, womit mögliche<br />
Fehler beim Sichern der Daten durch das Dateneingabepersonal vermieden werden, indem die Sicherung<br />
durch <strong>PISA</strong>-Mitarbeiter/innen in regelmäßigen Abständen erfolgen kann.<br />
• Bei jeder Coderin/jedem Coder werden stichprobenartig immer wieder einige Datensätze mit den<br />
Originalinstrumenten verglichen. Diese überwachende Maßnahme erfolgt verstärkt am Anfang der<br />
Dateneingabe, um systematische Fehler schnell aufdecken und korrigieren zu können, indem die<br />
Coder/innen nachgeschult werden – womit der Maßnahme gleichermaßen eine korrigierende und<br />
vorbeugende Funktion zukommt.<br />
• Weiters stehen während der gesamten Dateneingabe immer Mitarbeiter/innen des <strong>PISA</strong>-Teams für<br />
Fragen oder bei Problemen zur Verfügung.<br />
Das File Cleaning am Ende der Dateneingabe stellt eine Qualitätslenkungsmaßnahme mit korrigierender<br />
Funktion dar. Durch verschiedene Arten von Kontrollen wird die Datenqualität im Hinblick auf<br />
Verlässlichkeit im Sinne von „Fehlerfreiheit“ sichergestellt. File-Cleaning-Prozeduren werden sowohl auf<br />
nationaler als auch auf internationaler Ebene durchgeführt, wobei letztere nur in enger Zusammenarbeit<br />
mit den nationalen Verantwortlichen stattfinden können und im internationalen technischen <strong>Bericht</strong><br />
beschrieben werden.<br />
Die Überprüfungen im nationalen Projektzentrum umfassen folgende Arten von Kontrollen, die im<br />
Abschnitt 4 in Kapitel X detaillierter erläutert werden:<br />
• Validitätschecks dienen der Überprüfung und Sicherstellung der Datenintegrität. Kontrolliert werden<br />
Eindeutigkeit von IDs innerhalb von Instrumenten bzw. entsprechende Verbindungen zwischen<br />
verschiedenen Instrumenten. Die meisten dieser Überprüfungen können mit der Dateneingabe-Software<br />
KeyQuest durchgeführt werden.<br />
• Physikalische Checks sind Überprüfungen, bei denen Datensätze oder Teile daraus mit den entsprechenden<br />
Fragebögen, Listen oder Testheften verglichen werden. Diese Art von Überprüfung wird –<br />
wie oben schon erwähnt – laufend während der Dateneingabe bei einer Stichprobe der eingegebenen<br />
Testhefte und Fragebögen durchgeführt. Im Rahmen des eigentlichen File Cleanings nach Abschluss<br />
der Dateneingabe werden verschiedene Instrumente sowohl in Bezug auf Identifikationsvariablen als<br />
auch bezüglich der Angaben zum Geburtsdatum und Geschlecht kontrolliert.<br />
• Plausibilitätschecks werden bei allen Instrumenten durchgeführt, wobei sich die Überprüfungen hierbei<br />
auf inhaltliche Aspekte beziehen: So sollen Eingabefehler aufgedeckt werden, die sich in unplausiblen<br />
Daten niederschlagen. Ein Beispiel dafür sind etwa Datensätze, in denen Schüler/innen zwar<br />
bei einer Frage angeben, dass es bei ihnen zu Hause keinen PC gibt, sie aber bei einer anderen Frage<br />
antworten, zu Hause einen PC zu nutzen.<br />
Am Ende ist noch zu erwähnen, dass während des gesamten Dateneingabeprozesses eine regelmäßige und<br />
systematische Datensicherung sowie eine exakte Dokumentation aller Vorgänge gemacht werden.<br />
XII. Qualitätssicherung<br />
Seite 217
4.4 Berufsklassifizierung<br />
Qualitätssicherung bei der Codierung der Schülerangaben zum Beruf der Eltern sowie zum geplanten<br />
Beruf der Schüler/innen (Details hierzu sind in Kapitel IX beschrieben) beziehen sich vor allem<br />
auf Qualitätslenkungs- und Qualitätskontrollmaßnahmen. Von internationaler Seite wird lediglich<br />
das anzuwendende Klassifikationsschema (ISCO-88) verpflichtend vorgegeben und dessen tatsächliche<br />
Verwendung anhand der Daten kontrolliert, womit auch ein gewisses Maß an Objektivität und<br />
Vergleichbarkeit der Daten sichergestellt wird. Durch die obligatorische Anwendung von ISCO-88 wird<br />
auch gleichzeitig die Gültigkeit der Daten gesichert, da die auf diesem Berufsklassifizierungsschema beruhenden<br />
Skalen, wie beispielsweise die Skala zum sozioökonomischen Status, auf Validität hin geprüfte<br />
Skalen darstellen (Ganzeboom & Treiman, 1996). Über diese qualitätslenkenden Maßnahmen hinaus<br />
bietet das internationale Zentrum nur eine freiwillige Qualitätskontrollmaßnahme, nämlich die „ISCO-<br />
Zweifachcodierung“, an. Österreich hat sich an dieser Option nicht beteiligt; Informationen aus einer<br />
Mehrfachcodierung liegen für Österreich aber aus <strong>PISA</strong> 2003 vor (Wallner-Paschon, 2004), wo dies als<br />
nationale QS-Maßnahme durchgeführt wurde.<br />
Die aus dieser Mehrfachcodierung resultierenden Erkenntnisse haben zu Änderungen in der Vorgehensweise<br />
der ISCO-Codierung der österreichischen Daten geführt, die vor allem qualitätslenkender Natur sind<br />
und sich primär auf die Objektivität der Daten beziehen, aber auch Vorteile in Bezug auf die Effizienz<br />
bieten.<br />
Als Grundlage für die Codierung der Berufe wurde basierend auf speziell bereinigten Daten aus Feld- und<br />
Haupttest 2003 eine Datenbank erstellt, die die verschiedenen ISCO-Codes mit Schlüsselwörtern, welche<br />
aus den Schülerantworten abgeleitet werden können, verknüpft. Diese wurde im Feldtest zu <strong>PISA</strong> <strong>2006</strong><br />
erprobt und anhand der Daten und Erfahrungen aus diesem ergänzt und verbessert bzw. vereinfacht. Die<br />
Arbeit der Coder/innen beschränkt sich bei der halbautomatisierten Codierung auf die Identifizierung<br />
von Schlüsselwörtern; die Datenbank vergibt dann entsprechende Codes automatisch. Kommen Berufe<br />
zum ersten Mal vor, werden Schlüsselwörter und Code gemeinsam mit der Supervisorin vergeben und in<br />
der Datenbank ergänzt (vgl. Kapitel IX). Folgende Vorteile können in Bezug auf die Qualitätssicherung<br />
aus dieser Vorgehensweise – im Vergleich zur direkten Vergabe von ISCO-Codes durch die Coder/innen<br />
– abgeleitet werden:<br />
• Flüchtigkeitsfehler, etwa durch das Vertauschen von Ziffern beim Eintippen der Codes o. ä., können<br />
nicht mehr vorkommen.<br />
• Gleiche Berufe erhalten automatisch die gleichen Codes, da die Interpretation, die bei der Zuordnung<br />
eines Berufs zu einem Code erfolgt, einmal zentral und nicht bei jeder Vergabe von neuem durchgeführt<br />
wird.<br />
• Die Vergleichbarkeit der vergebenen Codes wird innerhalb und zwischen den Coderinnen und Codern,<br />
aber mittelfristig auch über die Zeit hinweg erhöht.<br />
Folgende Qualitätslenkungsmaßnahmen, die vorrangig eine vorbeugende Funktion haben, verfolgen zudem<br />
das Ziel, objektive Daten zu erzeugen:<br />
• Die ISCO-Coder/innen werden nach Kriterien wie Verlässlichkeit, Genauigkeit und Erfahrung mit<br />
der Berufsklassifizierung nach ISCO ausgewählt.<br />
• Für die ISCO-Coder/innen gibt es eine Einschulung, bei der sowohl allgemeine Informationen zur<br />
Berufsklassifizierung nach ISCO als auch diesbezügliche Besonderheiten und Regeln erklärt und anhand<br />
konkreter Datensätze eingeübt werden. Darüber hinaus werden die Coder/innen gezielt für die<br />
Verwendung der ISCO-Datenbank und die technischen Abläufe rund um die Vercodung geschult.<br />
• Weiters müssen die Coder/innen ein Übungsfile bearbeiten, bei dem anschließend alle codierten<br />
Datensätze überprüft und mit den Coderinnen und Codern individuell besprochen werden. Diese<br />
Maßnahme zu Beginn der Klassifizierung dient dazu, systematische Fehler bei der Identifikation der<br />
Schlüsselwörter schnell aufdecken und korrigieren zu können, womit der Maßnahme vor allem eine<br />
korrigierende und vorbeugende Funktion zukommt.<br />
Seite 218<br />
XII. Qualitätssicherung
• Alle Datensätze werden von der Supervisorin kontrolliert und regelmäßig an die Coder/innen rückgemeldet.<br />
Zudem besteht während des gesamten Codiervorgangs die Möglichkeit, bei der Supervisorin<br />
bezüglich der Vergabe von Codes rückzufragen.<br />
• Durch die gleiche alphabetische Zuteilung der Files zu Coderinnen bzw. Codern entwickeln diese<br />
praktisch ein „Expertenwissen“ über diese Berufe, wodurch eine höhere Übereinstimmung gegeben<br />
ist.<br />
• Für die Entwicklung der ISCO-Datenbank wurden externe Expertinnen und Experten im Bereich<br />
der ISCO-Codierung zu Rate gezogen.<br />
Bibliografie<br />
Ganzeboom H. B. G & Treiman D. J. (1996). Internationally comparable Measures of Occupational Status for the 1988<br />
International Standard Classification of Occupations. Social Science Research 25, 201–239.<br />
Harvey L., Green D. (2000). Qualität definieren. Fünf unterschiedliche Ansätze. Zeitschrift für Pädagogik, 41, 17–39.<br />
Reiter C. (2001). Qualitätssicherung und Qualitätskontrolle. In Haider G. (Hrsg.), <strong>PISA</strong> 2000. <strong>Technischer</strong> Report (S.<br />
259–286). Innsbruck: Studienverlag.<br />
OECD (nicht datiert). Technical Standards for the Implementation of <strong>PISA</strong> 2003. Heruntergeladen am 2. Juni 2004 auf<br />
www.pisa.oecd.org/docs/manual_tech_2003.htm.<br />
1<br />
Dieser Pilottest unterscheidet sich vom Feldtest dadurch, dass die Testaufgaben nicht in allen Teilnehmerländern erprobt<br />
werden, sondern nur in einigen vom internationalen Zentrum ausgewählten Ländern.<br />
XII. Qualitätssicherung<br />
Seite 219