Danske unge i en international sammenligning Bind 2 – Teknisk ...

More documents

Recommendations

Info

PISA 2009 – Danske unge i en international sammenligning 174 mål for, mens datas pålidelighed og validitet er en forklarings- og dokumentationssag. Ud over en opsummerende dokumentation i forhold til de tre nøglebegreber knyttes kommentarer til kodningen af testbesvarelserne samt den internationale database. Pålidelighed Hvis datapålideligheden skal være god, må der ikke være opstået fejl, som betyder, at de indsamlede data giver en dårlig beskrivelse af virkeligheden. Høj datapålidelighed er en forudsætning for, at data kan bruges til at drage holdbare konklusioner. Datas pålidelighed er sikret ved, at der bl.a. er udarbejdet adskillige drejebøger/manualer, som sikrer en ensartet og korrekt procedure i alle lande. Der er bl.a. udarbejdet følgende drejebøger/ manualer: • Testmanual • Vejledning til skolekontaktperson • Manual til stikprøveudtrækning • Manual til scoring af de åbne opgaver • Manual til dataindtastere. De 29 testledere var på mindst et af to instruktionsmøder afholdt i henholdsvis København og Vejle. På møderne blev hele testmanualen gennemgået, og forskellige situationer, der kunne opstå, blev diskuteret. Validitet Kravet om validitet er udtryk for, at det samlede undersøgelsesdesign skal kunne give kvalificeret svar på problemstillingen. Undersøgelsen skal altså faktisk afdække det, den har til hensigt. Konsortiet har bl.a. via pilotundersøgelserne i 1999, 2002, 2005 og 2008 samt hovedundersøgelserne PISA 2000, PISA 2003 og PISA 2006 testet forskellige opgaver og deres validitet i forbindelse med problemstillingerne i PISA 2009. Opgaverne er udvalgt af ekspertpaneler i samarbejde med forskere i de enkelte lande, og der er brugt mange resurser på at sikre opgavernes validitet. De valgte opgaver må derfor siges at være det bedst mulige manifeste udtryk for den latente variabel: Elevernes kompetencer i naturvidenskab, læsning og matematik. I alle ikke fransk-/engelsktalende lande er opgaverne oversat fra en engelsk og en fransk version af den samme tekst. De to oversættelser er så redigeret sammen til én “originalversion” af en person kyndig i testkonstruktion. Denne oversættelse blev efterfølgende kontrolleret af nationale fageksperter for at sikre, at den valgte terminologi var i overensstemmelse med national praksis. Endelig blev den reviderede originalversion kontrolleret
af et firma udvalgt af det internationale konsortium. Dette firma har gennem en korrekt faglig ekspertise sammenholdt oversatte versioner fra flere lande. Eventuelle uoverensstemmelser på denne baggrund er blevet diskuteret med de nationale eksperter, og den endelige version er om nødvendigt rettet til. Hvis eleverne ikke svarer på præcis den samme opgavetekst i de enkelte lande, undermineres sammenligningsgrundlaget og dermed validiteten af dette helt centrale element i undersøgelsen – derfor den meget grundige og omstændelige oversættelsesprocedure. Repræsentativitet Et yderligere krav til høj datakvalitet er, at data er udtryk for præstationer og holdninger for hele den målgruppe, man ønsker at drage konklusioner om. Det betyder, at de 5.924 udvalgte elever født i 1993 skal ligne hele gruppen af uddannelsessøgende unge født i 1993. Tabel 6.6 viser en opgørelse af stikprøven fordelt på strata 01-04 sammenholdt med tilsvarende fordeling for målgruppen. For at rette op på den skævhed, som opstår pga. oversamplingen, har det internationale konsortium beregnet vægte, som tager højde for forskellige udtrækssandsynligheder og for bortfald på skole- og elevniveau. Tabel 6.6. Oversigt over strata og vægte i PISA 2009 Stratum Elever i Elever Sum (elever Middelvægt Standard stikprøven som har i popula- for elever afvigelse af før bortfald gennemført testen tionen) i stratum elevvægte i dette stratum 01 813 598 1.747,14 2,92 0,92 02 1.842 1.457 10.430,88 7,16 3,58 03 2.699 2.302 32.357,42 14,06 4,23 04 1.093 956 14.775,3 15,46 5,51 72 781 611 1.543,76 2,53 0,75 I alt 7.228 5.924 60.854,5 10,27 6,25 Note: Strata 01 og 72 er to dele af det oprindelige stratum 01. Skoler, som der ikke var nogen erstatningsskoler for, kom i stratum 72. Stratum 72 er kun et redskab til beregning af vægte. Når man beregner vægte til data for at korrigere for mange forskellige forhold (ulige udtrækssandsynlighed på skole- og elevniveau, ujævnt bortfald på både skole- og elevniveau), kan enkelte observationer (her: elever) få en meget høj vægt, hvis alle forhold for disse observationer trækker i samme retning. Dermed kan få observationer få stor indflydelse på det samlede resultat. Man vælger derfor ofte at lægge et loft over, hvor stor en vægt en enkelt observation kan få, såkaldt trimming. Dette gøres normalt ud fra en konkret analyse af data, og det gøres også på denne måde i PISA. Der var ingen elever i Danmark, som fik så stor vægt, at det blev vurderet nødvendigt at trimme vægten. Det viser, at man i Danmark, på trods af at der var flere hensyn at tage, havde succes med at lave et meget vellykket stikprøvedesign. Kapitel 6 – Metode og datakvalitet i PISA 2009 175
Page 1 and 2:
PISA 2009 Danske unge i en internat
Page 3 and 4:
Indhold 5 Forord 7 1. OECD-programm
Page 5 and 6:
Forord PISA (Programme for Internat
Page 7 and 8:
1. OECD-programmet PISA (Programme
Page 9 and 10:
PISA-testen Som det allerede er næ
Page 11 and 12:
Det PISA vurderer, er defineret af
Page 13 and 14:
PISA 2009 - Danske unge i en intern
Page 15 and 16:
Page 17 and 18:
Page 19 and 20:
Page 21 and 22:
Page 23 and 24:
Page 25 and 26:
Page 27 and 28:
Page 29 and 30:
Page 31 and 32:
Page 33 and 34:
Page 35 and 36:
Page 37 and 38:
Page 39 and 40:
Page 41 and 42:
Page 43 and 44:
Page 45 and 46:
Page 47 and 48:
Page 49 and 50:
Page 51 and 52:
Page 53 and 54:
Page 55 and 56:
Page 57 and 58:
Page 59 and 60:
Page 61 and 62:
Page 63 and 64:
Page 65 and 66:
Page 67 and 68:
Page 69 and 70:
Page 71 and 72:
Page 73 and 74:
Page 75 and 76:
Page 77 and 78:
Page 79 and 80:
Page 81 and 82:
Page 83 and 84:
Page 85 and 86:
Page 87 and 88:
Page 89 and 90:
Page 91 and 92:
Page 93 and 94:
Page 95 and 96:
Page 97 and 98:
Page 99 and 100:
Page 101 and 102:
Page 103 and 104:
Page 105 and 106:
Page 107 and 108:
Page 109 and 110:
Page 111 and 112:
Page 113 and 114:
Page 115 and 116:
Page 117 and 118:
Page 119 and 120: PISA 2009 - Danske unge i en intern
Page 133 and 134: 4. Naturvidenskab Indledning Af Hel
Page 135 and 136: ationel afprøvning af ideer og teo
Page 137 and 138: Begrebet scientific literacy er val
Page 139 and 140: Figur 4.2. Kort beskrivelse af de t
Page 141 and 142: Figur 4.4. Vidensområder inden for
Page 143 and 144: Antal spørgsmål fordelt på kombi
Page 145 and 146: For eksempel har spørgsmål 3 i Op
Page 147 and 148: Figur 4.9. Kriterier for de forskel
Page 149 and 150: Undervisningsministeriet (2009a). U
Page 161 and 162: 6. Metode og datakvalitet i PISA 20
Page 163 and 164: Pilotundersøgelse Pilotundersøgel
Page 165 and 166: Inden for hvert stratum udtrækkes
Page 167 and 168: Årsager, som kan begrunde, at elev
Page 169: Den skriftlige PISA-testning tog ca
Page 173: Hvor godt er danske unge forberedt
show all

Danske unge i en international sammenligning Bind 2 – Teknisk ...

You also want an ePaper? Increase the reach of your titles

Delete template?

Save as template?