Det publiseres stadig flere oversiktsartikler, men metoden som brukes for å sikre det beste kunnskapsgrunnlaget varierer sterkt. Vi mener at større systematikk og bredde i litteratursøk til oversiktsartikler kan øke konklusjonenes pålitelighet.
Illustrasjon © Stein Løken
I 2010 sendte vi inn en oversiktsartikkel til European Journal of Cardiovascular Prevention and Rehabilitation om grunnlaget for eksistensen av «smoker’s paradox», dvs. lavere postinfarktmortalitet hos røykere i justerte analyser av pasienter med gjennomgått akutt hjerteinfarkt. Artikkelen ble refusert med skarp kritikk, fordi PRISMA-anbefalingene ikke var blitt fulgt (1 ). Vi omstrukturerte manuskriptet deretter, gjorde et systematisk søk og la ved dokumenterte søkestrategier med antall treff fra databasene Embase, Medline og CENTRAL. Denne nye versjonen ble ganske umiddelbart akseptert for publikasjon i BMC Medicine (2 ).
Hovedfunnet i oversikten var at «smoker’s paradox» kun var til stede i den pretrombolytiske og trombolytiske æra, men ikke i nyere studier med pasienter med akutt koronarsyndrom. I den opprinnelige, usystematiske versjonen hadde vi imidlertid ikke vært i stand til å påvise dette. Trolig skyldtes det skjevhet i kunnskapsgrunnlaget (retrieval bias), som henspiller på manglende evne til å finne all forskning. Vi har siden skrevet to oversiktsartikler til etter samme metode. Disse er uten store vanskeligheter blitt publisert i anerkjente internasjonale tidsskrifter (3 , 4 ).
Forskningsbasert kunnskap er avgjørende for god kvalitet på medisinsk diagnostikk og behandling, men ikke all forskningsbasert kunnskap er like lett tilgjengelig. Vitenskapelige oversiktsartikler kan derfor være et godt hjelpemiddel for helsepersonell i deres daglige virke. Det publiseres stadig flere oversiktsartikler (5 , 6 ). Artiklene kan utarbeides etter ulike metoder, og det gjøres et skille mellom systematiske oversikter og tradisjonelle, narrative oversikter. The Cochrane Collaboration definerer en systematisk oversikt som en artikkel med klart formulert problemstilling der man ved bruk av systematiske og eksplisitte metoder identifiserer, selekterer og kritisk gjennomgår relevant forskning og analyserer data fra studiene som er inkludert (7, seksjon 1.2.2).
I forfatterveiledningen til Tidsskrift for Den norske legeforening står det følgende om litteratursøket til en oversiktsartikkel (8 ): «Vi anbefaler at du gjør et grundig søk i kildelitteratur og databaser der du angir følgende: søkeord, kilder (databaser, gjennomgang av referanselister osv.), avgrensninger ved søket (dato søket ble avsluttet, språk, type studier osv.) og antall treff ved søkene. Uansett om artikkelen er basert på litteratursøk eller f.eks. personlig litteraturarkiv, må du angi kriteriene for utvelgelse og begrunnelsen for kriteriene.»
Dette betyr i praksis at forfattere av oversiktsartikler i Tidsskriftet står fritt til å velge hvilken kunnskap de baserer sine konklusjoner på – med de muligheter for skjevhet det innebærer (9 ). Vi vil i denne kronikken belyse ulemper ved dagens praksis med hovedsakelig usystematiske oversikter i Tidsskriftet og begrunne hvorfor vi anbefaler en større bruk av systematiske søk til oversiktsartikler.
Retningslinjer for systematiske søk
Det systematiske søket er noe av det viktigste som skiller systematiske oversiktsartikler fra tradisjonelle oversiktsartikler. Målet med et systematisk søk er å finne all relevant litteratur om et emne, og kvaliteten på et slikt søk er et kritisk punkt. Som hjelp til å utarbeide og rapportere systematiske oversikter finnes det flere retningslinjer. I dag er PRISMA-anbefalingene (Preferred Reporting Items for Systematic reviews and Meta-analyses) (1 ) en av de mest anerkjente og brukes av blant annet Nasjonalt kunnskapssenter for helsetjenesten.
For en mer detaljert beskrivelse av søk til kunnskapsoppsummeringer anbefaler vi imidlertid The Cochrane Handbook , som er Cochrane-samarbeidets retningslinjer for utarbeiding av systematiske oversikter (7 ). The Cochrane Handbook har et eget kapittel om søk, hvor det blant annet beskrives hvilke kilder man bør bruke, hvordan man skal planlegge søkeprosessen og hvordan søkestrategiene bør utformes. Det er også nøye beskrevet hvordan søkeprosessen skal rapporteres i oversikten (7, kap. 6).
En nøyaktig rapportering av søkeprosessen sammen med en kopi av søkestrategien gjør det mulig å etterprøve og evaluere metoden som er brukt for å sikre kunnskapen som ligger til grunn for konklusjonen i en oversikt. Dokumenterte søk i oversiktsartikler er blitt evaluert, og funnene viser at det gjøres feil i de fleste (10 , 11 ). For å bidra til å bedre kvaliteten på søk gjennomgikk Sampson og medarbeidere eksisterende retningslinjer for utarbeiding og evaluering av søkestrategier. På grunnlag av disse utviklet de en kunnskapsbasert retningslinje for fagfellevurdering av elektroniske søkestrategier, kalt The Peer Review of Electronic Search Strategies (PRESS) (12 ). Forfatterne oppsummerte og evaluerte kriteriene de fant og utarbeidet en validert sjekkliste for evaluering av kvalitet og fullstendighet i elektroniske søkestrategier. Vi mener at denne listen, sammen med The Cochrane Handbook , er det beste utgangspunktet når man skal utarbeide systematiske søk.
Kvaliteten på søkene har også sammenheng med søkers kvalifikasjoner (13 – 15 ). For å få et søk som er optimalt og treffsikkert, anbefaler vi et nært samarbeid mellom den medisinske profesjon og kvalifisert bibliotekarisk ekspertise. Disse må sammen sørge for at oversikten utarbeides etter anbefalte retningslinjer.
Ulike brukergrensesnitt
Siden de fleste oversiktsartikler i Tidsskriftet er basert på søk i PubMed, vil vi si noen ord om ulike brukergrensesnitt og hvordan de kan påvirke søkeresultatet. Skillet går hovedsakelig mellom grensesnitt som er relevansrangert og grensesnitt som er basert på boolsk logikk. Medline, som er den mest anerkjente medisinske databasen, tilbys i flere grensesnitt.
Gratisversjonen PubMed er relevansrangert. Det vil si at det ligger kompliserte algoritmer i systemet, blant annet synonymkontroll. Dette forenkler søkingen og skal gi de mest relevante artiklene først i en treffliste. Utfordringen i et relevansrangert grensesnitt er om systemet takler våre søkeord slik vi ønsker. Hvis vi for eksempel taster inn forkortelsen «asd» i PubMed og forventer at systemet skal forstå at det er «atrial septal defect» vi er interessert i, stemmer ikke det. I tillegg til selve forkortelsen søkes det bare på «Arthrop Struct Dev», som er en tidsskriftforkortelse.
I Norge har vi tilgang til Medline Ovid gjennom Helsebiblioteket. «Advanced search» i Medline Ovid er et grensesnitt som er basert på ren boolsk logikk. I slike søk bruker man operatorene fra George Booles mengdelære for å kombinere søkeord og treffmengder. De to viktigste operatorene er det logiske produktet AND, hvor alle søkeordene må være til stede i resultatet, og den logiske summen OR, hvor bare ett av ordene må forekomme. Da har søker selv kontroll over søket og må blant annet sørge for å søke på alle synonymer og kombinere disse riktig.
Det er fordeler og ulemper med begge typer grensesnitt, men gjennomsiktigheten blir større ved søk basert på boolsk logikk, fordi de er lettere å dokumentere.
Litteratursøk i oversiktsartikler i Tidsskriftet i 2012
En gjennomgang av artikler i Tidsskriftet for 2012 viste at det ble publisert 30 oversiktsartikler. Ingen av artiklene oppfylte de viktigste kravene fra The Cochrane Handbook om søk til en systematisk oversikt, dvs. at det er søkt i Embase, Medline og CENTRAL, at søkestrategien for en av databasene er lagt ved og at søkeprosessen er fullstendig rapportert (7 ).
Rapporteringen av søkeprosessen var, slik vi ser det, jevnt over bra, men i bare én av oversiktene var fullstendig søkestrategi for en av databasene lagt ved (16 ). I de fleste artiklene var det bare søkt i én database, som oftest PubMed. Vi kan ikke hevde at konklusjonene i oversiktsartiklene i Tidsskriftet fra 2012 ville blitt annerledes med søk i flere kilder eller større systematikk i litteratursøket, men vår erfaring er at et systematisk søk kan gjøre en forskjell. Forskning viser også at den systematiske oversikten kan gi et sikrere svar (17 ).
Konklusjon
Den systematiske oversikten oppsto fordi de vitenskapelige kriteriene for å utarbeide tradisjonelle oversiktsartikler ikke var strenge nok. Slike oversikter ble derfor ikke ansett som pålitelige (1 , 11 , 18 ). Vi tror ikke at en oversiktsartikkel, systematisk eller ikke, kan frembringe noen medisinsk sannhet (19 ). Den gir kun status for en problemstilling på et gitt tidspunkt basert på det kunnskapsgrunnlaget man har til disposisjon. Dette kunnskapsgrunnlaget bør imidlertid være det best mulige – og da mener vi at et godt søk i et utvalg elektroniske databaser vil være det beste utgangspunktet for å sikre at man har funnet så mange gode studier som mulig om det aktuelle temaet. Søk i elektroniske databaser vil aldri være den eneste metoden for innhenting av informasjon til oversiktsartikler, men den er den mest effektive og den eneste som er reproduserbar.
Oppsummeringer må, som annen forskning, være gjenstand for bestemte krav, og metoden må være gjennomsiktig og etterprøvbar (20 , 21 ). På den måten kan avgjørelser også diskuteres og utfordres av andre. Vi mener Tidsskriftet bør stille strengere krav til at forfattere av oversiktsartikler benytter seg av et systematisk og veldefinert søk i henhold til gjeldende retningslinjer (1 , 7 , 22 ) og oppfordrer dem til å ta kontakt med sitt bibliotek for å få den nødvendige støtten der.
