SRI-Teknisk rapport-sen.v13 - DPU

Et centralt aspekt ved reviewgruppens arbejde er, at gruppen bevidst blev sammensat
for at repræsentere kompetencer inden for forskellige fag og relationer. Man kan derfor
som udgangspunkt tænke sig, at de evidensvægte, som ligger bag hver enkelt af de
narrative synteser, er påvirket af de enkelte reviewmedlemmers idiosynkratiske anvendelse
af de forskellige vægte: høj, medium og lav. I tillæg vil der ved sådanne vurderinger
altid eksistere et element af tilfældighed. Med andre ord er der en mulighed for, at
evidensvægten indenfor hver enkelt af de narrative synteser ved vurderingen kan være
påvirket af tilfældige og/eller systematiske fejlkilder. For at kunne dokumentere indslaget
af tilfældighed ved vurderingen af evidensvægt, blev alle de inkluderede studier i
tillæg bedømt af en af medarbejderne ved Clearinghouse. For yderligere at undgå systematiske
fejlkilder, blev det i de tilfælde, hvor det var uenighed mellem de to bedømmelser,
foretaget en konsensusbedømmelse. Da den samlede evidensvægten er
baseret på tre mere specifikke vægte (se Tabel 3.17), blev både de specifikke og underordnede
vægte og den samlede vægt bedømt uafhængigt af to personer for et bestemt
udvalg af de inkluderede studiers vedkommende. Vi rapporterer dog her kun graden af
uoverensstemmelse i den samlede evidensvægten, da det kun er den, der er blevet
anvendt som inklusionskriterium i de narrative synteser. Tildelingen af lav, medium eller
høj evidensvægt kan siges at repræsentere et underliggende kontinuum, men det er
overgangen fra lav til medium, som er den kritiske. Studier som er blevet karakteriseret
til at være af lav evidensvægt, vil jo i sidste instans ikke have nogen indvirkning på de
narrative synteser og de konklusioner, som drages i reviewet.
I undersøgelsen af reviewet reliabilitet inkluderes derfor kun de studier, som et reviewmedlem
har tildelt medium eller lav evidensvægt. Til sammen er dette 40 studier. For 7
af disse var der uoverensstemmelse ved, at en studie blev bedømt til at have henholdsvis
lav eller medium evidensvægt. Det var enighed i vurderingen af de resterende 31
studier (83 %). Ganske vist kan man tænke sig, at man ved tilfældighed også får en lignende
vurdering i nogle tilfælde, noget som ikke afdækkes i det enkle mål angivet som
procentandel enighed. Cohen’s kappa (Cohen, 1960) er en meget konservativ og omstridt
indeks som korrigerer for dette, og i dette reliabilitetsstudie kan denne beregnes til
0,53. Da der ikke blev foretaget en tilsvarende vurdering mellem høj og medium evidensvægt,
er det værd at bemærke, at ingen af studierne, som reviewmedlemmerne har
tildelt medium evidensvægt, blev tildelt høj evidensvægt af den anden bedømmer.
Dette tolkes som en indikation på, at grænsen mellem høj og medium evidensvægt er
godt operationaliseret i reviewspørgsmålene og retningslinjerne i EPPI-revieweren. Det
er heller ingen tendens til, at reviewmedlemmerne var systematisk strengere eller mildere
i deres bedømmelse end medarbejderne ved Clearinghouse. Da uoverensstemmelserne
derefter blev løst gennem konsensus, kan vi slå fast, at sandsynligheden for tilfældige
fejl i den endelige vurdering er endnu lavere, end den ovenstående analysen
antyder.
4.4.3 Undersøgelsens robusthed
Ser vi endelig på det tredje aspekt vedrørende undersøgelsens robusthed, drejer det sig
om den grad af information om primærstudierne, der har tilladt inklusion i det systematiske
review. I Kapitel 2 og 6, Appendiks 1, er der detaljeret redegjort for det foreliggende
systematiske reviews begrebsmæssige afgrænsninger, søgning og anvendte søge-
80