Danske unge i en international sammenligning Bind 2 – Teknisk ...

PISA 2009 – Danske unge i en international sammenligning
160
Bilag: Statistisk metode
PISA-undersøgelsen anvender komplekse metoder, som stiller krav til, hvordan data bør
analyseres.
For det første udtrækker PISA ikke tilfældige stikprøver af elever, men anvender et totrins
design: først udtrækkes skoler, og derefter udtrækkes elever i de deltagende skoler.
En sådan udtræksmåde kræver anvendelse af særlige statistiske metoder til at beregne de
korrekte standardfejl for de ønskede populationsestimater (af eksempelvis gennemsnitlige
testscorer) for at kunne drage de rigtige konklusioner om statistisk signifikans.
For det andet anvender PISA imputationsmetoder (plausible values) for at afrapportere
elevernes testresultater, hvilke er velegnede, når man i internationale studier som PISA
lægger vægt på præcise skøn over hele elevbefolkningens færdigheder (frem for at lave
præcise skøn over den enkelte elevs færdigheder).
Alle resultater i de internationale PISA-rapporter fra OECD (og også i denne danske landerapport)
er beregnet efter disse metoder, hvilket bl.a. indebærer, at beregningen af fx
gennemsnitsestimatet for et land og dens standardfejl baserer sig på beregninger af flere
hundrede gennemsnit for at opnå et præcist skøn over hele elevbefolkningens færdigheder.
Følgende gennemgang er struktureret efter de tre metodologiske forhold, som har betydning
for måden, hvorpå data bør analyseres: (i) vægte, (ii) replicates til beregning af standardfejlene
og (iii) plausible values. For en mere omfattende beskrivelse henvises der til
OECD (2009c), som er hovedkilden til gennemgangen. Afsluttende præsenteres nogle
aspekter ved trendanalyser (dvs. analyser af ændringer over tid) i PISA samt to centrale
analyseværktøjer: korrelationer og regressionsanalyse.
Stikprøvevægte
Alle elever og skoler får tilknyttet en vægt, fordi: (i) elever og skoler i et land ikke nødvendigvis
har den samme sandsynlighed for at blive udtrukket; (ii) forskellige deltagelsesprocenter
for forskellige typer af skoler eller elever nødvendiggør diverse korrektioner; (iii)
nogle skoletyper, landsdele mv. kan have været udtrukket med større sandsynlighed
(oversampling). På ethvert trin i analyseprocessen bør der altid bruges vægtede data, som
tager højde for dette. Ikke-vægtede data giver skæve estimater, når man generaliserer fx
gennemsnitlige testscorer fra stikprøven til hele elevbefolkningen i et land. At bruge
vægte i beregningerne gør ikke analyseprocessen mere kompleks eller langsommere, men
sikrer, at de beregnede gennemsnit, regressionskoefficienter m.m. for hele elevpopulationen
er middelrette (ikke skæve).
Replicate weights
Ved udtrækning af en stikprøve (frem for at undersøge alle elever) vil der altid være en
usikkerhed, som kommer af, at der er mange mulige stikprøver, der kan trækkes fra en
befolkning. Hver af disse vil ikke give helt præcist det samme skøn for hele befolkningen.