SRI-Teknisk rapport-sen.v13 - DPU
SRI-Teknisk rapport-sen.v13 - DPU
SRI-Teknisk rapport-sen.v13 - DPU
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
Et centralt aspekt ved reviewgruppens arbejde er, at gruppen bevidst blev sammensat<br />
for at repræ<strong>sen</strong>tere kompetencer inden for forskellige fag og relationer. Man kan derfor<br />
som udgangspunkt tænke sig, at de evidensvægte, som ligger bag hver enkelt af de<br />
narrative synteser, er påvirket af de enkelte reviewmedlemmers idiosynkratiske anvendelse<br />
af de forskellige vægte: høj, medium og lav. I tillæg vil der ved sådanne vurderinger<br />
altid eksistere et element af tilfældighed. Med andre ord er der en mulighed for, at<br />
evidensvægten indenfor hver enkelt af de narrative synteser ved vurderingen kan være<br />
påvirket af tilfældige og/eller systematiske fejlkilder. For at kunne dokumentere indslaget<br />
af tilfældighed ved vurderingen af evidensvægt, blev alle de inkluderede studier i<br />
tillæg bedømt af en af medarbejderne ved Clearinghouse. For yderligere at undgå systematiske<br />
fejlkilder, blev det i de tilfælde, hvor det var uenighed mellem de to bedømmelser,<br />
foretaget en kon<strong>sen</strong>susbedømmelse. Da den samlede evidensvægten er<br />
baseret på tre mere specifikke vægte (se Tabel 3.17), blev både de specifikke og underordnede<br />
vægte og den samlede vægt bedømt uafhængigt af to personer for et bestemt<br />
udvalg af de inkluderede studiers vedkommende. Vi <strong>rapport</strong>erer dog her kun graden af<br />
uoverensstemmelse i den samlede evidensvægten, da det kun er den, der er blevet<br />
anvendt som inklusionskriterium i de narrative synteser. Tildelingen af lav, medium eller<br />
høj evidensvægt kan siges at repræ<strong>sen</strong>tere et underliggende kontinuum, men det er<br />
overgangen fra lav til medium, som er den kritiske. Studier som er blevet karakteriseret<br />
til at være af lav evidensvægt, vil jo i sidste instans ikke have nogen indvirkning på de<br />
narrative synteser og de konklusioner, som drages i reviewet.<br />
I undersøgel<strong>sen</strong> af reviewet reliabilitet inkluderes derfor kun de studier, som et reviewmedlem<br />
har tildelt medium eller lav evidensvægt. Til sammen er dette 40 studier. For 7<br />
af disse var der uoverensstemmelse ved, at en studie blev bedømt til at have henholdsvis<br />
lav eller medium evidensvægt. Det var enighed i vurderingen af de resterende 31<br />
studier (83 %). Ganske vist kan man tænke sig, at man ved tilfældighed også får en lignende<br />
vurdering i nogle tilfælde, noget som ikke afdækkes i det enkle mål angivet som<br />
procentandel enighed. Cohen’s kappa (Cohen, 1960) er en meget konservativ og omstridt<br />
indeks som korrigerer for dette, og i dette reliabilitetsstudie kan denne beregnes til<br />
0,53. Da der ikke blev foretaget en tilsvarende vurdering mellem høj og medium evidensvægt,<br />
er det værd at bemærke, at ingen af studierne, som reviewmedlemmerne har<br />
tildelt medium evidensvægt, blev tildelt høj evidensvægt af den anden bedømmer.<br />
Dette tolkes som en indikation på, at græn<strong>sen</strong> mellem høj og medium evidensvægt er<br />
godt operationaliseret i reviewspørgsmålene og retningslinjerne i EPPI-revieweren. Det<br />
er heller ingen tendens til, at reviewmedlemmerne var systematisk strengere eller mildere<br />
i deres bedømmelse end medarbejderne ved Clearinghouse. Da uoverensstemmelserne<br />
derefter blev løst gennem kon<strong>sen</strong>sus, kan vi slå fast, at sandsynligheden for tilfældige<br />
fejl i den endelige vurdering er endnu lavere, end den ovenstående analy<strong>sen</strong><br />
antyder.<br />
4.4.3 Undersøgel<strong>sen</strong>s robusthed<br />
Ser vi endelig på det tredje aspekt vedrørende undersøgel<strong>sen</strong>s robusthed, drejer det sig<br />
om den grad af information om primærstudierne, der har tilladt inklusion i det systematiske<br />
review. I Kapitel 2 og 6, Appendiks 1, er der detaljeret redegjort for det foreliggende<br />
systematiske reviews begrebsmæssige afgrænsninger, søgning og anvendte søge-<br />
80