Gjenfinning av litteratur til systematiske oversikter - Home
Gjenfinning av litteratur til systematiske oversikter - Home
Gjenfinning av litteratur til systematiske oversikter - Home
You also want an ePaper? Increase the reach of your titles
YUMPU automatically turns print PDFs into web optimized ePapers that Google loves.
<strong>Gjenfinning</strong> <strong>av</strong> <strong>litteratur</strong> <strong>til</strong> <strong>systematiske</strong> <strong>oversikter</strong><br />
Sammendrag<br />
Marita Heintz. Oslo: 2008.<br />
For å kunne lage <strong>systematiske</strong> <strong>oversikter</strong>, må man utføre <strong>systematiske</strong> <strong>litteratur</strong>søk. Jeg vil i<br />
denne oppg<strong>av</strong>en undersøke hvilke kr<strong>av</strong> som s<strong>til</strong>les <strong>til</strong> <strong>systematiske</strong> søk, hvilke metoder som<br />
brukes for å gjenfinne studiene som skal inkluderes i <strong>systematiske</strong> <strong>oversikter</strong> og hvor<br />
effektive disse metodene er. For å finne svar på dette har jeg utført et <strong>litteratur</strong>søk og har<br />
oppsøkt relevante ressurser direkte. Med kunnskapen som er innhentet fra forskningen, kan<br />
jeg si noe om verdien <strong>av</strong> de forskjellige elementene i gjenfinning <strong>av</strong> <strong>litteratur</strong> <strong>til</strong> <strong>systematiske</strong><br />
<strong>oversikter</strong>. Et systematisk søk innebærer å identifisere aktuelle databaser, dele spørsmålet inn<br />
i aspekter, identifisere aktuelle søkeord, skreddersy søkeordene <strong>til</strong> de forskjellige databasene<br />
og utnytte databasenes muligheter for å oppnå best mulig resultat. For å oppnå en balansert<br />
evidens, bør <strong>litteratur</strong>søket i databaser suppleres med flere metoder. For at en systematisk<br />
oversikt skal bli transparent og reproduserbar, må søket rapporteres. I hvilken grad de<br />
forskjellige elementene er påkrevd, varierer mellom hvor oversikten publiseres, og valget <strong>av</strong><br />
metoder handler i stor grad om hvor mye tid og ressurser en har <strong>til</strong> rådighet.<br />
Innholdsfortegnelse<br />
1. Innledning........................................................................................................................... 2<br />
2. Metode................................................................................................................................ 2<br />
3. Resultater............................................................................................................................ 3<br />
3.1 Generelt om <strong>litteratur</strong>søk............................................................................................ 3<br />
3.2 Valg <strong>av</strong> database......................................................................................................... 4<br />
3.3 Supplerende metoder.................................................................................................. 5<br />
3.4 Søkestrategien ............................................................................................................ 6<br />
3.5 Utført <strong>av</strong> bibliotekar /søkespesialist........................................................................... 8<br />
3.6 Validering................................................................................................................... 9<br />
3.7 Rapportering............................................................................................................. 10<br />
4. Diskusjon.......................................................................................................................... 11<br />
5. Konklusjon ....................................................................................................................... 11<br />
6. Litteraturliste .................................................................................................................... 12<br />
Vedlegg 1: Søkestrategi<br />
1
1. Innledning<br />
Kunnskapsbasert praksis betyr at man tar beslutninger basert på forskningsbasert kunnskap,<br />
erfaringsbasert kunnskap og brukerkunnskap, i en gitt situasjon (1). For å gjøre det mulig å<br />
finne pålitelige svar i mylderet <strong>av</strong> forskning som publiseres, har det blitt mer vanlige å lage<br />
såkalte <strong>systematiske</strong> <strong>oversikter</strong>. En systematisk oversikt forsøker å gi et presist svar på et<br />
spørsmål ved å sammenfatte relevant, pålitelig og <strong>til</strong>gjengelig forskning på feltet. Metoden<br />
som benyttes skal være systematisk, transparent og reproduserbar, med mål om introdusere så<br />
lite bias 1 som mulig. På den måten blir funnene i en systematisk oversikt pålitelige (3-5). De<br />
inkluderte studiene kan oppsummeres i en metaanalyse, men dette er ikke et kr<strong>av</strong>.<br />
De viktigste kjennetegnene <strong>til</strong> <strong>systematiske</strong> <strong>oversikter</strong> er: (i) et klart mål og predefinerte<br />
inklusjonskriterier, (ii) en eksplisitt, reproduserbar metodologi, (iii) et systematisk søk der<br />
målet er å identifisere alle studier som møter inklusjonskriteriene, (iv) en vurdering <strong>av</strong> de<br />
inkluderte studienes validitet og (v) en systematisk presentasjon og syntese over funnene i<br />
inkluderte studier (4). Et systematisk søk er altså et nøkkelelement i en systematisk oversikt.<br />
Det fins ingen klar definisjon på hva et systematisk søk er, men her brukes betegnelsen altså<br />
om søk som gjøres i forbindelse med <strong>systematiske</strong> <strong>oversikter</strong>.<br />
Jeg vil i denne oppg<strong>av</strong>en undersøke hvilke kr<strong>av</strong> som s<strong>til</strong>les <strong>til</strong> <strong>systematiske</strong> søk, hvilke<br />
metoder som brukes for å gjenfinne studiene som skal inkluderes i <strong>systematiske</strong> <strong>oversikter</strong> og<br />
hvor effektive disse metodene er. Så vidt meg bekjent har det ikke blitt laget en komplett<br />
oversikt over alle disse metodene.<br />
2. Metode<br />
For å finne frem <strong>til</strong> forskning som belyser hva som er viktig i <strong>systematiske</strong> søk, utførte jeg et<br />
<strong>litteratur</strong>søk. Valget <strong>av</strong> database tok jeg etter å ha testet dekningsgrad <strong>av</strong> tre sentrale<br />
tidsskrifter innen bibliotekvitenskap i helsefag; ”Health information and libraries journal”,<br />
”Journal of the medical library association” og ”Medical reference services quarterly”, i<br />
databaser jeg har <strong>til</strong>gang <strong>til</strong> via min institusjon; Medline, Embase, British Nursing Index og<br />
Web of Knowledge. Medline viste seg å ha størst dekning, og søket ble derfor utført i Medline<br />
med OVID-grensesnitt. (Se vedlegg 1 for søkestrategi.) På et senere tidspunkt ble jeg gjort<br />
1 Bias er et engelsk ord som er vanskelig å finne et dekkende begrep for på norsk. Det utrykker en skjevhet i<br />
resultatet og oversettes gjerne <strong>til</strong> ”systematisk feil” (2), men her brukes altså ordet bias.<br />
2
oppmerksom på at LISTA (Library Information Science & Technology Abstracts) og<br />
Methods Studies i Cochrane library, kunne være aktuelle kilder å søke i, men jeg valgte å ikke<br />
gjøre dette pga tidsrammen.<br />
Det viste seg at søket ikke var særlig spesifikt og et stort flertall <strong>av</strong> treffene var irrelevante.<br />
Grunnen <strong>til</strong> dette er at i en medisinsk database vil emneord som dekker informasjonssøking<br />
og lignende omf<strong>av</strong>ne et vidt spekter <strong>av</strong> temaer. Feiltreffene besto hovedsaklig <strong>av</strong> <strong>systematiske</strong><br />
<strong>oversikter</strong> med tvilsom indeksering, innføringsartikler om databasesøk og nettsøk for<br />
helsepersonell, temaer innen bioinformatikk og presentasjon <strong>av</strong> nye dataapplikasjoner og<br />
databaser. Jeg brukte Reference Manager for å håndtere referansene, og luke ut irrelevante<br />
artikler. Etter at abstraktene var gjennomgått på de <strong>til</strong> sammen 1342 referansene, satt jeg<br />
<strong>til</strong>slutt igjen med rundt 100 artikler.<br />
Tidsskriftet “Evidence Based Library and Information Practice” er ikke indeksert i Medline.<br />
Jeg har derfor håndsøkt tidsskriftsheftene, frem <strong>til</strong> hefte 2008;3(1). Jeg har også sett på<br />
nettsidene <strong>til</strong> noen aktuelle organisasjoner; The Cochrane collaboration, NHS Centre for<br />
Reviews and Dissemination og Nasjonalt kunnskapssenter for helsetjenesten. Disse er aktører<br />
som lager kunnskaps<strong>oversikter</strong> innen medisin, henholdsvis internasjonalt og i Norge. Alle<br />
organisasjoner har laget retningslinjer som dokumenterer hvordan de lager<br />
kunnskaps<strong>oversikter</strong> (3-5). Jeg innhentet dessuten en del artikler fra referanselistene på<br />
artikler funnet i databasesøket.<br />
Ikke alle artiklene er brukt i oppg<strong>av</strong>en. Dette bl.a. omfangbegrensinger og fordi jeg brukte<br />
oversiktsartikler som kilde dersom disse fantes.<br />
3. Resultater<br />
3.1 Generelt om <strong>litteratur</strong>søk<br />
Ifølge Sampson et al, er de viktigste elementene i utviklingen <strong>av</strong> en god søkestrategi (i) å<br />
utarbeide et spørsmål en skal undersøke, (ii) identifisere relevante kilder å søke i, (iii) utvikle<br />
en søkestrategi (innbefatter å bryte spørsmålet ned i aspekter, finne dekkende termer for disse<br />
i emneordsregistrene i de valgte databasene, bruke termene og synonymene som tekstord,<br />
kombinere ordene og aspektene med passende operatorer og <strong>til</strong>slutt begrense resultatet på en<br />
passende måte), og (iv) vurdere resultatet og revidere strategien etter behov (6).<br />
3
Sentralt i systematisk søk er balansegangen mellom et effektivt søk med få irrelevante treff<br />
(spesifisitet) og et bredt søk som fanger opp så mange relevante studier som mulig<br />
(sensitivitet). I forskningen brukes ofte ordene Precision og Recall for å beskrive dette (7;8),<br />
men her brukes altså spesifisitet og sensitivitet. Et ideelt søk er både sensitivt og spesifikt,<br />
men ofte vil det være nødvendig å velge mellom de to utfallene. Når det er et mål i<br />
<strong>systematiske</strong> <strong>oversikter</strong> å fange opp så mange relevante referanser som mulig på et område,<br />
ligger hovedfokuset på sensitivitet. (9).<br />
3.2 Valg <strong>av</strong> database<br />
En viktig del i søkeprosessen er å velge hvilke databaser en skal søke i. I Cochrane<strong>oversikter</strong><br />
skal det søkes i databasene Central og Medline. Embase, som er en kostbar ressurs, skal<br />
brukes dersom en har <strong>til</strong>gang <strong>til</strong> databasen (4). I <strong>systematiske</strong> <strong>oversikter</strong> generelt er det ikke<br />
uvanlig at det bare søkes i Medline (10). Topher et al. sammenlignet <strong>litteratur</strong>søk i Medline og<br />
Embase, og konkluderte med at en mistet viktig informasjon dersom bare en <strong>av</strong> databasene<br />
ble valgt (11). Databasene er <strong>til</strong> dels overlappende (17-75 %) (12), men søk i flere databaser<br />
sikrer ikke bare bredden ved å finne unike poster, men utnytter også indekseringsforskjellene i<br />
databasene, slik at sjansen for å finne relevante studier øker (13). En studie som undersøkte<br />
Cochrane<strong>oversikter</strong> viser at de fleste relevante studiene var indeksert i Central, Medline eller<br />
Embase, og at å søke ytterligere 26 databaser bidro <strong>til</strong> bare å identifisere 2,4 % ekstra studier<br />
(14). Disse tre basene utgjør derfor <strong>til</strong> sammen de viktigste kildene i et systematisk<br />
<strong>litteratur</strong>søk. Det er likevel bred enighet om at dersom man supplerer søkene i generelle<br />
helsedatabaser med spesialdatabaser vil man få verdifulle treff (8;10;15-18). Hvor viktig det<br />
er å inkludere flere kilder varierer mellom de forskjellige medisinske disipliner (19).<br />
Ogilvie et al. utførte en systematisk oversikt for å finne ut hvilke <strong>til</strong>tak som har best effekt for<br />
å få en populasjon <strong>til</strong> å gå eller sykle fremfor å bruke bil. Her erfarte de at studiene i de<br />
generelle helsedatabasene var <strong>av</strong> høy metodisk kvalitet, men at de bidro bare med en liten del<br />
<strong>av</strong> den totale evidensen (6%). Dette fordi generelle helsedatabaser ofte har et klinisk fokus, og<br />
dekker derfor ikke deres emne like godt (18). Lemenshow et al. lette etter obervasjonstudier<br />
innen to forskjellige temaer, og måtte søke i en rekke databaser for å nå målet om en<br />
sensitivitet på 90 % (17). Betrán et al. utførte en oversikt om sykdom og dødelighet i<br />
svangerskap, og inkluderte studier med en rekke studiedesign. Også de konkluderte med at det<br />
var behov for å søke i flere databaser enn i generelle helsedatabaser (16).<br />
4
3.3 Supplerende metoder<br />
Ofte suppleres databasesøk med andre metoder. Disse er å sjekke referanselister i allerede<br />
inkluderte studier, kontakte eksperter på området, håndsøking i aktuelle tidsskrifter, søke etter<br />
grå <strong>litteratur</strong> og/eller internettsøk.<br />
Å studere referanselister i relevante artikler, er vanlig i <strong>systematiske</strong> <strong>oversikter</strong>. Metoden går<br />
også under n<strong>av</strong>net å perle referanser (pearling references) fordi en finner frem <strong>til</strong> referanser<br />
som er ”gjemt” i forskningen som en perle i en østers (20). Men å perle (pearling) kan også<br />
beskrive en fremgangsmåte for å finne frem <strong>til</strong> søkeord (21). Cochrane, CDR og<br />
Kunnskapssenteret leter gjennom referanselister <strong>til</strong> sine <strong>oversikter</strong> (3-5). Hvor mange studier<br />
som <strong>av</strong>dekkes på denne måten, varierer fra oversikt <strong>til</strong> oversikt. Greenhalgh et al.<br />
dokumenterte hvor de fant studiene <strong>til</strong> en systematisk oversikt om organisering <strong>av</strong><br />
helsetjenester. Her ble de fleste relevante studier funnet ved å lete gjennom referanselister og<br />
å søke i siteringsdatabaser (22). Helmer et al. sammenlignet funnene i to <strong>systematiske</strong><br />
<strong>oversikter</strong> og fant at 29,2 % 2 <strong>av</strong> studiene i sin <strong>systematiske</strong> oversikt ble funnet ved å utvide<br />
søket <strong>til</strong> flere kilder. Av disse stod gjennomgang <strong>av</strong> referanselister for 25, 2 % <strong>av</strong> funnene<br />
(10). S<strong>av</strong>oie et al. utførte en lignende undersøkelse og fant 33, 2 % 2 <strong>av</strong> inkluderte studier<br />
gjennom utvidet søk. 32 % <strong>av</strong> disse ble funnet i referanselister (23).<br />
Eksperter på området kan ofte kjenne <strong>til</strong> viktig forskning som gjøres på feltet. Helmer et al.<br />
fant at <strong>av</strong> de <strong>til</strong> sammen 29,2 % 2 studier som ble funnet ved utvidet søk, ble 23, 8 % funnet<br />
ved å ta kontakt med eksperter på feltet (10). I McManus et al. sin oversikt ble 24% <strong>av</strong><br />
inkluderte studier funnet ved å kontakte eksperter (24).<br />
Et databasesøk kan aldri bli 100 % nøyaktig. Selv om tidsskriftet er indeksert i databasen, kan<br />
det være vanskelig å fange opp tidsskriftsartiklene dersom de er dårlig indeksert eller mangler<br />
abstrakt. Håndsøking i sentrale tidskrifter er en vanlig metode for å bøte på dette. Det er også<br />
den beste metoden for å fange opp studier som er rapportert som abstrakter, brev eller<br />
publisert på andre språk enn engelsk (25). En Cochraneoversikt konkluderte med at<br />
2 Cochrane library er her definert som en spesialdatabase, og bidrar med en stor andel <strong>av</strong> treffene i det utvidede<br />
søket. Defineres Cochrane som en nøkkelressurs, er den totale effektiviteten <strong>av</strong> utvidet søk uklart i Helmers og<br />
S<strong>av</strong>oies studier.<br />
5
elektroniske databasesøk med kompleks søkestrategi fanger opp de fleste studier, så dersom<br />
tid og penger er begrensede, kan manglende håndsøking rettferdiggjøres (25).<br />
Inkludering <strong>av</strong> grå <strong>litteratur</strong>, her definert som <strong>litteratur</strong> som ikke har blitt publisert formelt,<br />
beskytter mot publiseringsbias. Forskning viser at publiserte studier ofte er større, er <strong>av</strong> bedre<br />
metodisk kvalitet og viser en større effekt <strong>av</strong> behandlingen enn upubliserte studier (19;26).<br />
Det er et viktig poeng at jo større studien er, desto mindre er konfidensintervallet 3 , dvs. at<br />
resultatene er mer pålitelige. Det er et større problem dersom studier som ikke viser stor effekt<br />
<strong>av</strong> en behandling, ikke blir inkludert. Dette viser viktigheten <strong>av</strong> å søke etter grå <strong>litteratur</strong>.<br />
Det er lite bevis på verdien <strong>av</strong> å søke i generelle søkemotorer på internett, som for eksempel<br />
Google, men Eysenbach konkluderte i en studie fra 2001 at internettsøk i noen <strong>til</strong>feller kunne<br />
være nyttig (27). S<strong>av</strong>oie et al. hadde ikke stort utbytte <strong>av</strong> internettsøk og fant bare en ekstra<br />
studie <strong>til</strong> de to oversiktene (23). Også Helmer hadde lite utbytte <strong>av</strong> internettsøk (10).<br />
Cochrane library foreslår å oppsøke hjemmesider <strong>til</strong> organisasjoner som finansierer forskning,<br />
produsenter <strong>av</strong> hjelpemidler, og farmasøytindustri direkte, i stedet for å bruke en generell<br />
søkemotor (4).<br />
3.4 Søkestrategien<br />
Sampson et al. lagde i 2008 en rapport som <strong>av</strong>dekket hvilke elementer i et databasesøk som<br />
har mest betydning på kvaliteten på søkeresultatet (9). Funnene som er aktuelle for<br />
<strong>systematiske</strong> søk er oppsummert nedenfor.<br />
- Søket må skreddersys for hver database. Forskjellige databaser har forskjellige<br />
emneregistere og forskjellige søkemuligheter.<br />
- Søkestrategien må inneholde de viktigste aspektene i spørsmålet som skal besvares. Søk<br />
på for mange aspekter er en vanlig kilde <strong>til</strong> l<strong>av</strong> sensitivitet. Søk på for få aspekter, har<br />
innvirkning på spesifisitet. Det er derfor viktig å finne riktig balanse. Et vanlig<br />
hjelpemiddel for å dele spørsmålet ned i aspekter er PICO-skjemaet (1).<br />
- Uhensiktsmessig eller feil bruk <strong>av</strong> logiske operatorer 4 vil slå negativt ut på både<br />
sensitivitet og spesifisitet.<br />
3<br />
Konfidensintervallet viser feilmarginen i en studie og sier noe om <strong>til</strong>feldig variasjon (2).<br />
4<br />
Logiske operatorer inkluderer boolske operatorer (AND, OR, NOT) og ”nærhetsoperatorer” (NEAR, WITH,<br />
SAME, ADJ)<br />
6
- I <strong>av</strong>anserte søkestrategier er det vanlig å fordele søket over flere linjer, og koble disse<br />
<strong>til</strong>slutt. Da er det viktig at riktige linjer blir koblet med hverandre. Skal man bruke noen<br />
form for <strong>av</strong>grensninger, er det viktig at rett linje blir <strong>av</strong>grenset.<br />
- Relevante emneord fra kontrollert emneregister må inkluderes. Bruk <strong>av</strong> emneord øker<br />
sensitiviteten i et søk. Irrelevante emneord slår negativt ut på spesifisiteten. Majoriteten <strong>av</strong><br />
forskningen anbefaler at en leter opp emneord ved å undersøke hvilke emneord som er<br />
brukt på relevante studier. Cochrane skisserer dette som en mulig metode, og deretter<br />
bygge på emneordene ved å finne flere relevante artikler med ”Relaterte artikler”-<br />
funksjonen 5 (4). Å utforske emneregisteret i databasene er også en vanlig metode. Det<br />
antydes at denne metoden vil føre <strong>til</strong> større treffmengde med større sensitivitet, men vil<br />
kreve mer tid og krefter for å utvikle. McKibbon derimot, fant store forskjeller i<br />
søkemetode og bruk <strong>av</strong> forskjellige funksjoner hos bibliotekarer, men de forskjellige<br />
metodene utgjorde ikke store utslag på spesifisitet eller sensitivitet (28). Skal man<br />
effektivisere søket med ”Explode”-funksjonen 6 , er det nødvendig å først sjekke<br />
underliggende termer i emneregisteret, for å luke ut irrelevante emneord. ”Focus”funksjonen<br />
7 vil gi signifikante negative utslag på sensitiviteten.<br />
- Underemneord (subheading) kan søkes på alene (floating) eller settes sammen med et<br />
emneord (som en begrensing). Brukes de alene kan senisitiviteten i søket økes (med det<br />
forbehold om at det også søkes på relevante hovedemneord). Settes de sammen med et<br />
emneord vil spesifisiteten øke på bekostning <strong>av</strong> sensitivitet.<br />
- Skrivefeil bør unngås, men det kan det også være aktuelt og søke på vanlige varianter <strong>av</strong><br />
skrivefeil for å øke sensitiviteten i strategien.<br />
- Hensiktsmessig trunkering vil øke sensitiviteten.<br />
- Friteksttermer bør brukes. Optimal sensitivitet blir oppnådd dersom en kombinerer<br />
kontrollerte emneord og friteksttermer. En bør søke friteksttermer i tittel og abstrakt. I<br />
Ovid dekker tekstord (tw) disse feltene. Forskning som sammenligner resultat <strong>av</strong> søk i<br />
tekstord og nøkkelord 8 , som er standard erstatning for emneord i Ovid, er ikke funnet.<br />
Begge fritekstsøk blir brukt i <strong>systematiske</strong> <strong>oversikter</strong>. Friteksttermer bør inkludere<br />
synonymer, forkortelser og akronymer. En optimal metode for å finne friteksttermer er<br />
ikke beskrevet. Bruk <strong>av</strong> irrelevante friteksttermer har negativ innvirkning på spesifisiteten.<br />
5<br />
Funksjon for å finne artikler innen samme tema. Funksjonen heter "Find Similar" i Ovid og "Related Articles"<br />
PubMed.<br />
6<br />
Explode brukes for å søke på et emneord og alle underliggende emneord i emneordshierakiet.<br />
7<br />
Focus brukes for å gjenfinne artikler der emnet er angitt som hovedemne.<br />
8<br />
Nøkkelord = Keyword (mp). Hvilke felter som dekkes <strong>av</strong> nøkkelord varierer mellom databasene. I Medline er<br />
det tittel, originaltittel, abstrakt, n<strong>av</strong>n på legemiddel og emneordtekst.<br />
7
- Avgrensninger brukes for å spesifisere søket. I <strong>systematiske</strong> søk må begrensninger brukes<br />
med forsiktighet slik at det ikke går utover sensitiviteten. I <strong>til</strong>legg <strong>til</strong> ”Focus” og<br />
underemneord (kommentert ovenfor), inkluderer begrensinger bruk <strong>av</strong> metodiske filtere<br />
(også kalt hedges) og bruk <strong>av</strong> predefinerte <strong>av</strong>grensinger som alder og språk. Forskning<br />
viser at de predefinerte <strong>av</strong>grensingene var konsekvent tagget i 74,7 % <strong>av</strong> referansene, men<br />
det er store variasjoner mellom <strong>av</strong>grensingene. Det har for eksempel blitt <strong>av</strong>dekket store<br />
mangler i taggingen <strong>av</strong> aldersgruppe, og det har blitt vanlig å søke med algoritmen ”not<br />
animal (not animal and human)”, for å <strong>av</strong>grense <strong>til</strong> mennesker. Metodiske søkefiltere<br />
består <strong>av</strong> en rekke søkeord som <strong>av</strong>grenser <strong>til</strong> studiedesign, for eksempel <strong>til</strong> RCTer. Mye<br />
forskning har blitt gjort i forhold <strong>til</strong> utvikling <strong>av</strong> filtere. InterTASC Information<br />
Specialists' Sub-Group har laget en oversikt over filterene og har kritisk vurdert mange <strong>av</strong><br />
dem (29). Det blir også utviklet filtere for å <strong>av</strong>grense <strong>til</strong> andre aspekter, f.eks<br />
aldersgrupper (30). I sin <strong>systematiske</strong> oversikt, understreker Jenkins viktigheten <strong>av</strong> å ha<br />
kunnskap om metoden bak utvikling <strong>av</strong> filterene, for å kunne foreta informerte valg om<br />
bruken <strong>av</strong> dem (31). Spesifisitet kan også oppnås ved å velge bort ikke ønsket<br />
studiedesign, for eksempel kommentar, leder og brev. Dette gjøres i SIGN-filerene (32).<br />
- De fleste søk baserer seg på søk i emneord og fritekstsøk i tittel og abstrakt, men øvrige<br />
felt er søkbare i mange databaser. Forskning på nytteverdien <strong>av</strong> å bruke disse er sporadisk,<br />
men hensiktsmessig bruk kan hjelpe søket i positiv retning.<br />
- Søkestrategien bør være velorganisert. I <strong>systematiske</strong> søk er dette viktig for at søket lettere<br />
kan oppdateres, og for å gjøre det lettere for andre å vurdere kvaliteten.<br />
3.5 Utført <strong>av</strong> bibliotekar / søkespesialist<br />
Som det fremgår ovenfor, krever et systematisk søk bred kunnskap om databasesøk, og bør<br />
derfor utføres <strong>av</strong> en person med spesialkompetanse, for eksempel bibliotekarer med<br />
spesialtrening. På Nasjonalt kunnskapssenter for helsetjenesten er det spesialtrente<br />
bibliotekarer som utfører databasesøkene (5). Også NHS Centre for Reviews and<br />
Dissemination ser på kompetansen som en søkespesialist kan bidra med i en systematisk<br />
oversikt som viktig: ”Effective searching is a skill and it is highly desirable to involve an<br />
information expert who can design and execute sensitive (and possibly complex) search<br />
strategies. Reviewers and librarians should work together to develop the search strategy.” (3).<br />
Men hvor vanlig det er å benytte seg <strong>av</strong> ekspertise innen <strong>litteratur</strong>søk <strong>til</strong> <strong>systematiske</strong><br />
<strong>oversikter</strong> og meta-analyser generelt, er vanskelig å si noe om. Retningslinjene <strong>til</strong> MOOSE<br />
(Meta-analysis of Observational Studies in Epidemiology), krever at kvalifikasjonene <strong>til</strong> den<br />
8
som utfører søket skal rapporteres (33). Om ikke annet er det en indikasjon på at den som<br />
utfører søket bør ha spesiell kompetanse. I en <strong>til</strong>svarende retningslinje; QUOROM (Quality of<br />
Reporting of Meta-analyses), er det ingen slike kr<strong>av</strong> (34).<br />
Crumley fant i sin <strong>systematiske</strong> oversikt bare en studie som sammenlignet søkestrategiene <strong>til</strong><br />
to forskjellige forfattere; bibliotekar og ikke-bibliotekar. I denne studien hadde bibliotekaren<br />
en sensitivitet på 53 % og ikke-bibliotekaren en sensitivitet på 34 % (12). McKibbon et al.<br />
studerte også samme spørsmål, og fant ut at brukere med søkeerfaring oppnådde lignende<br />
sensitivitet som bibliotekarer, men at bibliotekarene gjorde det bedre på spesifisitet.<br />
Nybegynnere gjorde det dårlig på både sensitivitet og spesifisitet (28). Selv om forskningen<br />
tyder på at det er verdifullt å benytte seg <strong>av</strong> eksperter innen søk, bør man ta høyde for at ikke<br />
alle forskerne har <strong>til</strong>gang på slik ekspertise. The Cochrane Collaboration krever heller ikke at<br />
<strong>litteratur</strong>søkene må være utført <strong>av</strong> en søkespesialist. I stedet har de fleste Cochranegruppene<br />
såkalte Trials Search Co-ordinators. I hvor stor grad disse personene involveres i de enkelte<br />
prosjekt, er varierende, men Trials Search Co-ordinators har i første rekke en rådgivende rolle<br />
ovenfor forfatterne, og er ikke en integrert del <strong>av</strong> teamet (4). Et tankekors ved dette er at i en<br />
artikkel fra 2006 fant Sampson og McGowan feil i 57 <strong>av</strong> 63 søkestrategier i<br />
Cochrane<strong>oversikter</strong>, og i 52 <strong>av</strong> artiklene var det minst 1 feil som hadde innvirkning på<br />
sensitiviteten (6). Zhang et al. forsøkte å <strong>av</strong>dekke i hvilken grad kvaliteten på søkestrategiene<br />
hadde sammenheng med kvalifikasjonene <strong>til</strong> den som utførte søkene i Cochrane, men kom<br />
ikke frem <strong>til</strong> et svar fordi kvalifikasjonene ikke ble rapportert i de aller fleste <strong>til</strong>fellene (35).<br />
Selv om ikke Sampsons resultater direkte kan forklares med manglende kunnskap om søk,<br />
viser det at det er rom for forbedringer, og at det derfor bør fokuseres mer på at en kvalifisert<br />
person utfører jobben. På den måten viser at man har gjort sitt ytterste for å få en effektiv og<br />
feilfri søkestrategi, noe som er viktig fordi de feilene som har innvirkning på sensitivitet kan<br />
introdusere bias i en systematisk oversikt (36).<br />
3.6 Validering<br />
I en artikkel fra 2004, påpeker Patrick et al. at i evidenshierarkier innen medisin er studier<br />
med god metodikk er mer pålitelig enn en ekspertuttalelse. Fra dette trekker han paralleller <strong>til</strong><br />
at en validert søkestrategi er mer pålitelig enn en søkestrategi som bare en person (den som<br />
utfører søket) går god for (37). I <strong>litteratur</strong>en fins det mange eksempler på artikler der<br />
erfaringer etter systematisk søk er beskrevet (8;22;38). Dersom noen har beskrevet et<br />
systematisk <strong>litteratur</strong>søk innen samme tema, kan en kanskje dra nytte <strong>av</strong> disse erfaringene,<br />
9
fremfor å starte fra bunnen <strong>av</strong>. Et eksempel på noen som drar nytte <strong>av</strong> tidligere erfaringer er<br />
Ogilvie et al., som valgte å søke i de databaser som viste seg mest verdifulle i en annen<br />
systematisk oversikt innen samme disiplin (18). En annen framgangsmåte i oppstarten <strong>av</strong> et<br />
<strong>litteratur</strong>søk er å se på søkestrategiene på andre <strong>systematiske</strong> <strong>oversikter</strong> innen samme tema,<br />
men det er ingen garanti for at disse søkestrategiene er gode. Dersom man går videre <strong>til</strong><br />
forskningen, kan man finne <strong>til</strong>feller der andres og / eller egne søkestrategier har blitt testet<br />
(7;39). Men det er ikke sikkert at <strong>til</strong>nærmingsmåten vil bære frukter eller vise seg å være<br />
effektiv. Mange publiserte søkestrategier har som fokus å være <strong>til</strong> hjelp for helsepersonell<br />
som praktiserer kunnskapsbasert, og har derfor ikke samme kr<strong>av</strong> <strong>til</strong> sensitivitet som i et søk <strong>til</strong><br />
en systematisk oversikt. Dette kan også være vanskelig å <strong>av</strong>dekke før fulltekst <strong>av</strong> artikkel er<br />
innhentet. Patrick et al. undersøkte hvor mange <strong>systematiske</strong> <strong>oversikter</strong> som benyttet seg <strong>av</strong><br />
validerte søkestrategier, og fant at dette ikke var vanlig. Kun 6,7% <strong>av</strong> artiklene som ble<br />
undersøkt hadde en søkestrategi som enten var validert, brukt i en annen sammenheng, eller<br />
blitt vurdert <strong>av</strong> ekspert (37). Fagfellevurdering (peer review) er en metode som kan bidra <strong>til</strong> å<br />
heve kvaliteten på søkestrategien, og det jobbes for å gjøre dette mer vanlig i <strong>systematiske</strong><br />
<strong>oversikter</strong> (6;9).<br />
3.7 Rapportering<br />
Komplett rapportering <strong>av</strong> <strong>litteratur</strong>søk for <strong>systematiske</strong> <strong>oversikter</strong> vil gi leserne mulighet <strong>til</strong> å<br />
bedømme bredden og dybden <strong>av</strong> søket, og på den måten kunne vurdere hvor troverdige<br />
resultatene i den <strong>systematiske</strong> oversikten er (40). Alle retningslinjene krever en form for<br />
rapportering <strong>av</strong> metodene som er brukt for å finne studiene <strong>til</strong> en systematisk oversikt (3-<br />
5;33;34), men inkludering <strong>av</strong> søkestrategien som er brukt i databasesøket er ikke like vanlig.<br />
Det er mer vanlig å finne søkestrategiene i Cochraneoversiktene enn i andre <strong>systematiske</strong><br />
<strong>oversikter</strong> (41). Korsbek et al. peker på at manglende kunnskap hos forfattere kan være en<br />
grunn <strong>til</strong> manglende rapportering (42), men at tidsskriftene ofte ikke <strong>til</strong>later rom for<br />
søkestrategiene er også en viktig faktor (43). MOOSE krever at søkestrategien skal<br />
rapporteres (33), QUOROM krever det ikke (34). Booth har foreslått en standard for<br />
rapprotering der et utdrag <strong>av</strong> strategien tas med (44). Men kr<strong>av</strong>et om at en systematisk<br />
oversikt skal være transparent og reproduserbar blir ikke oppfylt dersom ikke full søkestrategi<br />
er <strong>til</strong>gjengelig. Cochrane blir regnet som gullstandarden for rapportering <strong>av</strong> søk (45). Her skal<br />
full søkestrategi rapporteres i vedlegg (4).<br />
10
4. Diskusjon<br />
Gjennomgangen ovenfor viser hvilke grep som må tas for å kunne oppnå en så komplett<br />
evidensbase som mulig. Men et systematisk <strong>litteratur</strong>søk er tidkrevende, og bruker en flere<br />
kilder i søkeprosessen, vil en få flere referanser å vurdere. Det vil føre <strong>til</strong> at man trenger mer<br />
tid og ressurser for å kunne lage en oversikt (46). Hvor fullstendig en kan være, vil derfor<br />
alltid ha sammenheng med hvor mange ressurser man har <strong>til</strong> rådighet. Booth bemerker i en<br />
artikkel at selv om en systematisk oversikt ideelt sett skal ta med alle studier som møter<br />
inklusjonskriteriene, vil man i realiteten måtte inngå kompromisser, for å kunne levere et<br />
produkt innenfor <strong>til</strong>delte rammer (47).<br />
Et annet aspekt ved dette er at en ikke nødvendigvis må støvsuge verden for informasjon for å<br />
nå målet om et presist svar. En kan finne et gyldig svar på spørsmålet dersom man klarer å<br />
finne frem <strong>til</strong> et utvalg <strong>av</strong> forskningen som er representativt for all forskning på feltet, altså at<br />
man når et punkt der inkluderingen <strong>av</strong> flere studier vil ikke forandre resultatet. Eksempler på<br />
metoder for å vurdere om en har funnet frem <strong>til</strong> et representativt utvalg studier er ”Funnel<br />
plot”, ”Rosenthal’s File Drawer calculation” og ”Capture-Recapture sampling” (47). Egger et<br />
al. anbefaler at dersom en har begrensede ressurser, vil det være mer fornuftig å bruke dem på<br />
grundig kvalitetsvurdering enn et utvidet <strong>litteratur</strong>søk og oversetting <strong>av</strong> fremmedspråklige<br />
artikler (19). Men å bruke bare en kilde er uansett ikke <strong>til</strong>strekkelig. Crumley et al.<br />
sammenfattet resultatene fra 64 studier og konkluderer med at det er viktig å bruke flere<br />
metoder og søke i flere kilder fordi ingen enkelressurs alene hadde god nok sensitivitet (12).<br />
Uansett er det viktig å vite noe om hvor verdifulle de forskjellige metodene er for å finne frem<br />
<strong>til</strong> relevante studier <strong>til</strong> en systematisk oversikt, slik at man har forståelse for hva som går tapt<br />
når man <strong>av</strong>gjør hvilke metoder som brukes i gjenfinningen.<br />
5. Konklusjon<br />
Funnene viser det ikke fins en fasit på hvilke grep som skal tas for å oppnå en presis<br />
konklusjon i en systematisk oversikt. Ideelt sett bør en selvfølgelig ta i bruk alle mulige<br />
metoder for å gjenfinne relevant forskning, men verdien <strong>av</strong> disse må veies opp mot ressurser i<br />
form <strong>av</strong> tid og penger. Men det er viktig å ha forståelse for hva man mister i slike<br />
kompromiss. I <strong>systematiske</strong> <strong>oversikter</strong> er det viktig å introdusere så lite bias som mulig. Det<br />
gjelder også i det <strong>systematiske</strong> søket. Men praksis for hvilke metodiske grep som skal tas for å<br />
sikre at et systematisk søk er utført på best måte varierer mellom ulike aktører.<br />
11
6. Litteraturliste<br />
1. Nortvedt MW, Jamtvedt G, Gr<strong>av</strong>erholt B, Reinar LM. Å arbeide og undervise<br />
kunnskapsbasert: en arbeidsbok for sykepleiere. Oslo: Norsk sykepleierforbund; 2007.<br />
2. Bjørndal A, Flottorp S, Klovning A. Kunnskapshåndtering i medisin og helsefag. 2. utg.<br />
utg. Oslo: Gyldendal akademisk; 2007.<br />
3. Undertaking systematic reviews of research on effectiveness: CRD's guidance for those<br />
carrying out or commissioning reviews. York: NHS Centre for Reviews and<br />
Dissemination, University of York; 2001. CRD Report 4. Tilgjengelig fra:<br />
http://www.york.ac.uk/inst/crd/report4.htm.<br />
4. Cochrane Handbook for Systematic Reviews of Interventions Version 5.0.0<br />
[Nettdokument]. The Cochrane Collaboration [oppdatert Feb 2008 ; lest 20 Mar 2008].<br />
Tilgjengelig fra: www.cochrane-handbook.org.<br />
5. Slik oppsummerer vi forskning: håndbok for nasjonalt kunnskapssenter for<br />
helsetjenesten [Nettdokument (PDF)]. Oslo: Kunnskapssenteret [oppdatert 2006 ; lest 23<br />
Mar 2008]. Tilgjengelig fra:<br />
http://www.kunnskapssenteret.no/binary?id=3551&download=true.<br />
6. Sampson M, McGowan J. Errors in search strategies were identified by type and<br />
frequency. J Clin Epidemiol 2006;59(10):1057-63.<br />
7. Brettle AJ, Long AF, Grant MJ, Greenhalgh J. Searching for information on outcomes:<br />
do you need to be comprehensive? Qual Health Care 1998;7(3):163-7.<br />
8. Matthews EJ, Edwards AG, Barker J, Bloor M, Covey J, Hood K, et al. Efficient<br />
literature searching in diffuse topics: lessons from a systematic review of research on<br />
communicating risk to patients in primary care. Health Libr Rev 1999;16(2):112-20.<br />
9. Sampson M, McGowan J, Lefebvre C, Moher D, Grimshaw J. PRESS: Peer review of<br />
electronic search strategies. Ottawa: Canadian Agency for Drugs and Technologies in<br />
Health; 2008.<br />
10. Helmer D, S<strong>av</strong>oie I, Green C, Kazanjian A. Evidence-based practice: extending the<br />
search to find material for the systematic review. Bull Med Libr Assoc 2001;89(4):346-<br />
52.<br />
11. Topfer LA, Parada A, Menon D, Noorani H, Perras C, Serra-Prat M. Comparison of<br />
literature searches on quality and costs for health technology assessment using the<br />
MEDLINE and EMBASE databases. Int J Technol Assess Health Care 1999;15(2):297-<br />
303.<br />
12. Crumley ET, Wiebe N, Cramer K, Klassen TP, Hartling L. Which resources should be<br />
used to identify RCT/CCTs for systematic reviews: a systematic review. BMC Med Res<br />
Methodol 2005;5:24.<br />
12
13. Sampson M, McGowan J, Cogo E, Horsley T. Managing database overlap in systematic<br />
reviews using Batch Citation Matcher: case studies using Scopus. J Med Libr Assoc<br />
2006;94(4):461-3.<br />
14. Royle P, Milne R. Literature searching for randomized controlled trials used in<br />
Cochrane reviews: rapid versus exhaustive searches. Int J Technol Assess Health Care<br />
2003;19(4):591-603.<br />
15. Avenell A, Handoll HH, Grant AM. Lessons for search strategies from a systematic<br />
review, in The Cochrane Library, of nutritional supplementation trials in patients after<br />
hip fracture. Am J Clin Nutr 2001;73(3):505-10.<br />
16. Betrán AP, Say L, Gulmezoglu AM, Allen T, Hampson L. Effectiveness of different<br />
databases in identifying studies for systematic reviews: experience from the WHO<br />
systematic review of maternal morbidity and mortality. BMC Med Res Methodol<br />
2005;5(1):6.<br />
17. Lemeshow AR, Blum RE, Berlin JA, Stoto MA, Colditz GA. Searching one or two<br />
databases was insufficient for meta-analysis of observational studies. J Clin Epidemiol<br />
2005;58(9):867-73.<br />
18. Ogilvie D, Hamilton V, Egan M, Petticrew M. Systematic reviews of health effects of<br />
social interventions: 1. Finding the evidence: how far should you go? J Epidemiol<br />
Community Health 2005;59(9):804-8.<br />
19. Egger M, Juni P, Bartlett C, Holenstein F, Sterne J. How important are comprehensive<br />
literature searches and the assessment of trial quality in systematic reviews? Empirical<br />
study. Health Technol Assess 2003;7(1):1-76.<br />
20. Beahler CC, Sundheim JJ, Trapp NI. Information retrieval in systematic reviews:<br />
challenges in the public health arena. Am J Prev Med 2000;18(4 Suppl):6-10.<br />
21. Schlosser RW, Wendt O, Bh<strong>av</strong>nani S, Nail-Chiwetalu B. Use of information-seeking<br />
strategies for developing systematic reviews and engaging in evidence-based practice:<br />
the application of traditional and comprehensive Pearl Growing. A review. Int J Lang<br />
Commun Disord 2006;41(5):567-82.<br />
22. Greenhalgh T, Peacock R. Effectiveness and efficiency of search methods in systematic<br />
reviews of complex evidence: audit of primary sources. BMJ 2005;331(7524):1064-5.<br />
23. S<strong>av</strong>oie I, Helmer D, Green CJ, Kazanjian A. Beyond Medline: reducing bias through<br />
extended systematic review search. Int J Technol Assess Health Care 2003;19(1):168-<br />
78.<br />
24. McManus RJ, Wilson S, Delaney BC, Fitzmaurice DA, Hyde CJ, Tobias RS, et al.<br />
Review of the usefulness of contacting other experts when conducting a literature search<br />
for systematic reviews. BMJ 1998;317(7172):1562-3.<br />
25. Hopewell S, Clarke M, Lefebvre C, Scherer R. Handsearching versus electronic<br />
searching to identify reports of randomized trials. Cochrane Database Syst Rev<br />
2007;(2):MR000001.<br />
13
26. Hopewell S, McDonald S, Clarke M, Egger M. Grey literature in meta-analyses of<br />
randomized trials of health care interventions. Cochrane Database Syst Rev<br />
2007;(2):MR000010.<br />
27. Eysenbach G, Tuische J, Diepgen TL. Evaluation of the usefulness of Internet searches<br />
to identify unpublished clinical trials for systematic reviews. Med Inform Internet Med<br />
2001;26(3):203-18.<br />
28. McKibbon KA, Haynes RB, Dilks CJ, Ramsden MF, Ryan NC, Baker L, et al. How<br />
good are clinical MEDLINE searches? A comparative study of clinical end-user and<br />
librarian searches. Comput Biomed Res 1990;23(6):583-93.<br />
29. InterTASC Information Specialists' Sub-Group. Search Filter Resource [Nettdokument].<br />
York: Centre for Reviews and Dissemination, University of York [oppdatert 13 May<br />
2008; lest 18 May 2008]. Tilgjengelig fra: http://www.york.ac.uk/inst/crd/intertasc/<br />
30. Kastner M, Wilczynski NL, Walker-Dilks C, McKibbon KA, Haynes B. Age-specific<br />
search strategies for Medline. J Med Internet Res 2006;8(4):e25.<br />
31. Jenkins M. Evaluation of methodological search filters--a review. Health Info Libr J<br />
2004;21(3):148-63.<br />
32. SIGN: Scottish Intercollegiate Guidelines Network. Search filters [Nettdokument].<br />
[oppdatert 14 Mar 2008 ; lest 23 Mar 2008]. Tilgjengelig fra:<br />
http://www.sign.ac.uk/methodology/filters.html.<br />
33. Stroup DF, Berlin JA, Morton SC, Olkin I, Williamson GD, Rennie D, et al. Metaanalysis<br />
of observational studies in epidemiology: a proposal for reporting. Metaanalysis<br />
Of Observational Studies in Epidemiology (MOOSE) group. JAMA<br />
2000;283(15):2008-12.<br />
34. Moher D, Cook DJ, Eastwood S, Olkin I, Rennie D, Stroup DF. Improving the quality<br />
of reports of meta-analyses of randomised controlled trials: the QUOROM statement.<br />
Quality of Reporting of Meta-analyses. Lancet 1999;354(9193):1896-900.<br />
35. Li Zhang M. Reporting of the Role of the Expert Searcher in Cochrane Reviews.<br />
Evidence Based Library and Information Practice 2006;1(4):3-16.<br />
36. McGowan J, Sampson M. Systematic reviews need systematic searchers. J Med Libr<br />
Assoc 2005;93(1):74-80.<br />
37. Patrick TB, Demiris G, Folk LC, Moxley DE, Mitchell JA, Tao D. Evidence-based<br />
retrieval in evidence-based medicine.[see comment]. J Med Libr Assoc 2004;92(2):196-<br />
9.<br />
38. McNally R, Alborz A. Developing methods for systematic reviewing in health services<br />
delivery and organization: an example from a review of access to health care for people<br />
with learning disabilities. Part 1. Identifying the literature. Health Info Libr J<br />
2004;21(3):182-92.<br />
14
39. Sladek R, Tieman J, Fazekas BS, Abernethy AP, Currow DC. Development of a subject<br />
search filter to find information relevant to palliative care in the general medical<br />
literature. J Med Libr Assoc 2006;94(4):394-401.<br />
40. Zhang L, Ajiferuke I, Sampson M. Optimizing search strategies to identify randomized<br />
controlled trials in MEDLINE. BMC Med Res Methodol 2006;6:23.<br />
41. Collier A, Heilig L, Schilling L, Williams H, Dell<strong>av</strong>alle RP. Cochrane Skin Group<br />
systematic reviews are more methodologically rigorous than other systematic reviews in<br />
dermatology. Br J Dermatol 2006;155(6):1230-5.<br />
42. Korsbek L, Bendix AF, Kidholm K. Profil af en systematisk søgning: søgeområde,<br />
databaser og afrapportering. Ugeskrift for Læger 2006;168(14):1431-4.<br />
43. Sandelowski M. In response to "Brimful of STARLITE". J Med Libr Assoc<br />
2007;95(3):233.<br />
44. Booth A. "Brimful of STARLITE": toward standards for reporting literature searches. J<br />
Med Libr Assoc 2006;94(4):421-9.<br />
45. Major MP, Major PW, Flores-Mir C. An evaluation of search and selection methods<br />
used in dental systematic reviews published in English. J Am Dent Assoc<br />
2006;137(9):1252-7.<br />
46. Allen IE, Olkin I. Estimating time to conduct a meta-analysis from number of citations<br />
retrieved. JAMA 1999;282(7):634-5.<br />
47. Booth A. Using research in practice. Health Info Libr J 2003;20(2):116-8.<br />
15
Vedlegg 1: Søkestrategi<br />
Database: Ovid MEDLINE(R) <br />
Dato: 20.03.08<br />
Antall treff: 1342<br />
Kommentar: Jeg søkte hovedsakelig på MESH-termer, da dette er nok <strong>til</strong> å oppfylle<br />
intensjonen bak <strong>litteratur</strong>søket. Det var ikke aktuelt å <strong>av</strong>grense <strong>til</strong> et spesielt studiedesign, men<br />
en del publikasjonstyper kunne utelukkes for å begrense treffmengden. Kommentarer, brev og<br />
ledere ble derfor tatt bort. For å få <strong>til</strong> dette brukte jeg et utdrag fra SIGN-filteret for<br />
<strong>systematiske</strong> <strong>oversikter</strong> i Medline (32). Jeg tok også med de søkeordene som utelukker<br />
artikler som omhandler dyr. I <strong>til</strong>legg <strong>av</strong>grenset jeg <strong>til</strong> engelsk, dansk, svensk eller norsk språk<br />
og <strong>til</strong> artikler publisert etter 1990.<br />
1 *"information storage and retrieval"/<br />
2 Search strateg$.tw.<br />
3 ((Information or data) adj retrieval).tw.<br />
4 or/1-3<br />
5 *"Sensitivity and Specificity"/<br />
6 exp Subject Headings/<br />
7 Databases as Topic/<br />
8 Terminology as Topic/<br />
9 exp Databases, Bibliographic/<br />
10 Bibliographic database$.tw.<br />
11 or/5-10<br />
12 Meta-Analysis as Topic/<br />
13 "Review Literature as Topic"/<br />
14 "Bibliography of Medicine"/<br />
15 Evidence-Based Medicine/mt, st, hi [Methods, Standards, History]<br />
16 or/12-15<br />
17 11 or 16<br />
18 4 and 17<br />
19 Librarians/<br />
20 exp Libraries/<br />
21 Library Services/<br />
22 or/19-21<br />
23 16 and 22<br />
24 18 or 23<br />
25 comment.pt.<br />
26 letter.pt.<br />
27 editorial.pt.<br />
28 animal/<br />
29 human/<br />
30 28 not (28 and 29)<br />
31 or/25-27,30<br />
32 24 not 31<br />
33 limit 23 to (yr="1990 - 2008" and (danish or english or norwegian or swedish))<br />
16