Danske unge i en international sammenligning Bind 2 – Teknisk ...
Danske unge i en international sammenligning Bind 2 – Teknisk ...
Danske unge i en international sammenligning Bind 2 – Teknisk ...
Create successful ePaper yourself
Turn your PDF publications into a flip-book with our unique Google optimized e-Paper software.
PISA 2009 <strong>–</strong> <strong>Danske</strong> <strong>unge</strong> i <strong>en</strong> <strong>international</strong> samm<strong>en</strong>ligning<br />
160<br />
Bilag: Statistisk metode<br />
PISA-undersøgels<strong>en</strong> anv<strong>en</strong>der komplekse metoder, som stiller krav til, hvordan data bør<br />
analyseres.<br />
For det første udtrækker PISA ikke tilfældige stikprøver af elever, m<strong>en</strong> anv<strong>en</strong>der et totrins<br />
design: først udtrækkes skoler, og derefter udtrækkes elever i de deltag<strong>en</strong>de skoler.<br />
En sådan udtræksmåde kræver anv<strong>en</strong>delse af særlige statistiske metoder til at beregne de<br />
korrekte standardfejl for de ønskede populationsestimater (af eksempelvis g<strong>en</strong>nemsnitlige<br />
testscorer) for at kunne drage de rigtige konklusioner om statistisk signifikans.<br />
For det andet anv<strong>en</strong>der PISA imputationsmetoder (plausible values) for at afrapportere<br />
elevernes testresultater, hvilke er velegnede, når man i <strong>international</strong>e studier som PISA<br />
lægger vægt på præcise skøn over hele elevbefolkning<strong>en</strong>s færdigheder (frem for at lave<br />
præcise skøn over d<strong>en</strong> <strong>en</strong>kelte elevs færdigheder).<br />
Alle resultater i de <strong>international</strong>e PISA-rapporter fra OECD (og også i d<strong>en</strong>ne danske landerapport)<br />
er beregnet efter disse metoder, hvilket bl.a. indebærer, at beregning<strong>en</strong> af fx<br />
g<strong>en</strong>nemsnitsestimatet for et land og d<strong>en</strong>s standardfejl baserer sig på beregninger af flere<br />
hundrede g<strong>en</strong>nemsnit for at opnå et præcist skøn over hele elevbefolkning<strong>en</strong>s færdigheder.<br />
Følg<strong>en</strong>de g<strong>en</strong>nemgang er struktureret efter de tre metodologiske forhold, som har betydning<br />
for måd<strong>en</strong>, hvorpå data bør analyseres: (i) vægte, (ii) replicates til beregning af standardfejl<strong>en</strong>e<br />
og (iii) plausible values. For <strong>en</strong> mere omfatt<strong>en</strong>de beskrivelse h<strong>en</strong>vises der til<br />
OECD (2009c), som er hovedkild<strong>en</strong> til g<strong>en</strong>nemgang<strong>en</strong>. Afslutt<strong>en</strong>de præs<strong>en</strong>teres nogle<br />
aspekter ved tr<strong>en</strong>danalyser (dvs. analyser af ændringer over tid) i PISA samt to c<strong>en</strong>trale<br />
analyseværktøjer: korrelationer og regressionsanalyse.<br />
Stikprøvevægte<br />
Alle elever og skoler får tilknyttet <strong>en</strong> vægt, fordi: (i) elever og skoler i et land ikke nødv<strong>en</strong>digvis<br />
har d<strong>en</strong> samme sandsynlighed for at blive udtrukket; (ii) forskellige deltagelsesproc<strong>en</strong>ter<br />
for forskellige typer af skoler eller elever nødv<strong>en</strong>diggør diverse korrektioner; (iii)<br />
nogle skoletyper, landsdele mv. kan have været udtrukket med større sandsynlighed<br />
(oversampling). På ethvert trin i analyseprocess<strong>en</strong> bør der altid bruges vægtede data, som<br />
tager højde for dette. Ikke-vægtede data giver skæve estimater, når man g<strong>en</strong>eraliserer fx<br />
g<strong>en</strong>nemsnitlige testscorer fra stikprøv<strong>en</strong> til hele elevbefolkning<strong>en</strong> i et land. At bruge<br />
vægte i beregningerne gør ikke analyseprocess<strong>en</strong> mere kompleks eller langsommere, m<strong>en</strong><br />
sikrer, at de beregnede g<strong>en</strong>nemsnit, regressionskoeffici<strong>en</strong>ter m.m. for hele elevpopulation<strong>en</strong><br />
er middelrette (ikke skæve).<br />
Replicate weights<br />
Ved udtrækning af <strong>en</strong> stikprøve (frem for at undersøge alle elever) vil der altid være <strong>en</strong><br />
usikkerhed, som kommer af, at der er mange mulige stikprøver, der kan trækkes fra <strong>en</strong><br />
befolkning. Hver af disse vil ikke give helt præcist det samme skøn for hele befolkning<strong>en</strong>.