SRI-Teknisk rapport-sen.v13 - DPU

Det er i denne sammenhæng interessant at registrere nogle uligheder mellem de undersøgelser,
som er inkluderet i dette systematiske review, sammenlignet med et andet
review som Clearinghouse afsluttede i 2008 om effekter af lærerkompetencer (Nordenbo
et al., 2008). Begge reviews havde som udgangspunkt, at de ønskede at studere effekt i
en eller anden form. I reviewet om læreres kompetence blev nogle flere studier inkluderet
(70 studier), en noget større andel af de inkluderede studier blev vurderet til at have
middel eller høj evidensvægt (79 %), og en langt højere andel af studierne (69 %) havde
et quasi-eksperimentelt design. Til trods for dette er en langt større andel af de inkluderede
undersøgelser i det foreliggende review blevet bedømt til at have høj evidensvægt.
I reviewet om lærerkompetencer blev ca. 20 % av de inkluderede studier bedømt til at
have høj evidensvægt, mens det i det foreliggende review har ca. halvdelen af studierne
fået en tilsvarende vurdering. Dette fortjener en nærmere diskussion.
For det første er det værd at lægge mærke til, hvilke design som i større grad er inkluderet
i dette reviewet sammenlignet med reviewet om lærerkompetencer. Den store
forskel er det store antal meningsstudier, som er inkluderet. Dette er studier, hvor
forskerne forsøger at forstå et fænomen ud fra socialt betingede normer og værdier hos
en gruppe, en kultur eller et samfund. Eksempler på dette kan være studier som forsøger
at kortlægge og/eller forstå et fænomen ud fra en bestemt ideologisk, filosofisk
eller sociologisk begrundet position. Typiske eksempler på sådanne studier er forskellige
former for undersøgelser af læreres opfattelser og meninger om virkninger af test på
undervisningen og elevens læring.
Alt i alt siger dette, at den metodologiske kvalitet for inkluderede studier kan bedømmes
som relativt lav, hvis vi lægger de kriterier for effektstudier fremsat af Rieper &
Foss Hansen (2007) til grund. Imidlertid er der en væsensforskel med hensyn til, hvordan
effektstudier er ulige vægtlagt i de to reviews, som vi her sammenligner. I reviewet om
lærerkompetencer var studiet af effekter en nødvendig forudsætning for at blive klassificeret
som havende høj evidensvægt. Også i dette review skal søgning og screening i
udgangspunktet sikre, at referencer i databaserne, som dokumenterer eventuelle effekter
af test på for eksempel elevers læringsadfærd, er inkluderet, men inklusionskriterierne
og reviewspørgsmålet definerer ikke dette som en nødvendig forudsætning for at
blive regnet som havende høj evidensvægt. Det er derfor naturligt, at den evidensvægt
som reviewgruppens medlemmer har tildelt studierne, ikke hænger sammen med de
kriterier, der er fremsat af Rieper & Foss Hansen. Generelt er de eksperimentelle design
anvendt i mindre grad inden for uddannelsesforskning 6 , hvad der kan forklare den store
forekomst af andre design i dette review. Det er derfor nødvendigt at påpege, at sammensætningen
af design i de studier, som er inkluderet, har som konsekvens, at vi i
dette systematiske review ikke har stærk evidens med hensyn til retning og styrke af
effekter.
6 Som en illustration heraf kan henvises til to forskningskortlægninger, som Clearinghouse har gennemført
af skandinavisk institutionsforskning i årene 2006 og 2007. De registerer, at under 10 % af de i alt 107
studier, der foreligger, anvender et eksperimentelt design (Nordenbo et al., 2008; Nordenbo et al., 2009).
78