Danske unge i en international sammenligning Bind 2 – Teknisk ...

PISA 2009 – Danske unge i en international sammenligning
174
mål for, mens datas pålidelighed og validitet er en forklarings- og dokumentationssag.
Ud over en opsummerende dokumentation i forhold til de tre nøglebegreber knyttes
kommentarer til kodningen af testbesvarelserne samt den internationale database.
Pålidelighed
Hvis datapålideligheden skal være god, må der ikke være opstået fejl, som betyder, at de
indsamlede data giver en dårlig beskrivelse af virkeligheden. Høj datapålidelighed er en
forudsætning for, at data kan bruges til at drage holdbare konklusioner.
Datas pålidelighed er sikret ved, at der bl.a. er udarbejdet adskillige drejebøger/manualer,
som sikrer en ensartet og korrekt procedure i alle lande.
Der er bl.a. udarbejdet følgende drejebøger/ manualer:
• Testmanual
• Vejledning til skolekontaktperson
• Manual til stikprøveudtrækning
• Manual til scoring af de åbne opgaver
• Manual til dataindtastere.
De 29 testledere var på mindst et af to instruktionsmøder afholdt i henholdsvis København
og Vejle. På møderne blev hele testmanualen gennemgået, og forskellige situationer,
der kunne opstå, blev diskuteret.
Validitet
Kravet om validitet er udtryk for, at det samlede undersøgelsesdesign skal kunne give
kvalificeret svar på problemstillingen. Undersøgelsen skal altså faktisk afdække det, den
har til hensigt.
Konsortiet har bl.a. via pilotundersøgelserne i 1999, 2002, 2005 og 2008 samt hovedundersøgelserne
PISA 2000, PISA 2003 og PISA 2006 testet forskellige opgaver og deres
validitet i forbindelse med problemstillingerne i PISA 2009. Opgaverne er udvalgt af
ekspertpaneler i samarbejde med forskere i de enkelte lande, og der er brugt mange resurser
på at sikre opgavernes validitet. De valgte opgaver må derfor siges at være det bedst
mulige manifeste udtryk for den latente variabel: Elevernes kompetencer i naturvidenskab,
læsning og matematik.
I alle ikke fransk-/engelsktalende lande er opgaverne oversat fra en engelsk og en fransk
version af den samme tekst. De to oversættelser er så redigeret sammen til én “originalversion”
af en person kyndig i testkonstruktion. Denne oversættelse blev efterfølgende
kontrolleret af nationale fageksperter for at sikre, at den valgte terminologi var i overensstemmelse
med national praksis. Endelig blev den reviderede originalversion kontrolleret