Ideen om å lage et sett av systematiske oversikter for å bedømme effekter av alle slags helsetjenester ble fremsatt første gang i 1992. Nå er mer enn 6 000 forskere verden over tilknyttet Cochrane-samarbeidet, som utgir kvalitetskontrollerte oversikter over kliniske studier flere ganger i året. Tidligere kvalitetskontroller har vist at artiklene gir bedre informasjon enn andre systematiske oversikter.
I en ny studie har ti av samarbeidets deltakere gjennomgått 53 publikasjoner fra en utgivelse i 1998 (1). De fleste av artiklene ble lest av to personer, som gav en subjektiv vurdering av innholdet. 15 oversikter fikk karakteristikken «inneholder alvorlige feil», hos ni fordi innholdet ikke kunne forsvare konklusjonen. I alle disse tilfellene var konklusjonen for positiv i forhold til intervensjonen eller behandlingen. Forfatterne ber leserne tolke konklusjonene i Cochrane-oversiktene kritisk. Spesielt oppmerksom bør man være dersom få studier er inkludert, eller hvis man finner mange typografiske feil.
– Studien viser tre ting, sier Arild Bjørndal ved Folkehelsa, som selv er tilknyttet Cochrane-samarbeidet. – For det første kan og bør Cochrane-oversiktene bli bedre. Selv om våre metoder for å trekke sammen kunnskap er gode, er det lett å overdrive effekten. For det andre er det bra at 70 % av oversiktene er temmelig feilfrie. Går vi ti år tilbake i tiden, var det feil i 90 % av tilsvarende oversiktsartikler. For det tredje fremviser studien en viktig side ved Cochrane-samarbeidet, nemlig at det er viktig å åpne for kritikk og å utøve selvkritikk. Feil må identifiseres og rettes, og kvaliteten kan alltid styrkes.
