Noen kan fristes til å fortie studier som ikke har vist effekt eller, kanskje verre, med motsatt resultat av hva man håpet og ønsket.
I en metaanalyse slår vi sammen resultatene fra mange studier som er tilstrekkelig like til at et samlet resultat er av interesse. Da blir konklusjonen sikrere enn om vi bare ser på hver studie for seg. En grundig systematisk gjennomgang der man samler informasjon fra alle relevante studier er utgangspunktet for en fullgod metaanalyse. Hvis vesentlige studier mangler, enten fordi de er upublisert eller ikke tatt med av andre grunner, er det en risiko for at estimatet blir skjevt. Derfor er det viktig å gjøre rede for litteratursøk, inklusjons- og eksklusjonskriterier, datagrunnlaget og de statistiske metodene i metaanalysen, slik at andre kan etterprøve og kvalitetssikre det som er gjort.
Som mange har opplevd, blir ikke all forskning enkelt og raskt publisert og siden inkludert i metaanalyser. Det er ikke utenkelig at studier med ikke signifikante resultater (ofte kalt negative studier), mindre studier med få deltagere eller presentert på andre språk enn engelsk, tar lengre tid å publisere eller forblir upubliserte og dermed ikke kommer med i metaanalyser. Studieregistering er derfor et viktig tiltak mot publikasjonsskjevhet. En metaanalyse med publikasjonsskjevhet vil typisk gi en feilaktig høy effekt av behandlingen, fordi studier uten effekt av behandlingen ikke er funnet (1 ).
Statistiske analyser av publikasjonsskjevhet
Publikasjonsskjevheten gir ofte et gitt mønster i metaanalysen, nærmest et statistisk fingeravtrykk. Statistiske metoder kan «avsløre» dette og vise at noen studier sannsynligvis mangler. Trakteplott (engelsk: funnel plot ) er kanskje den vanligste metoden for å granske publikasjonsskjevhet (figur 1). Man forventer at store studier med høy presisjon gir resultater nær gjennomsnittet i metaanalysen, mens mindre studier med lavere presisjon fordeler seg jevnt og med større variasjon på begge sider av gjennomsnittet. Hvis effekten til de minste studiene bare er i en retning, typisk en positiv effekt av behandlingen, er dette et tegn på publikasjonsskjevhet og at noen studier mangler i metaanalysen. Hvorvidt trakteplottet er asymmetrisk og dermed antyder publikasjonsskjevhet eller tilstrekkelig symmetrisk for å avvise dette, bedømmes ofte visuelt og beror dermed på en viss grad av statistisk magefølelse.
Figur 1 Tre trakteplot med henholdsvis alle relevante studier, publikasjonsskjevhet i utvalget av studier og etter statistisk justering for publikasjonsskjevhet med «ta bort og sette inn»-metoden.
Det finnes statistiske tester og metoder for å vurdere trakteplott med hensyn på publikasjonsskjevhet. Disse undersøker symmetrien med korrelasjons- (f.eks. Beggs test) eller regresjonsanalyse (f.eks. Eggers test) av effekten og presisjonen til studiene. «Ta bort og sette inn»-metoder (engelsk: trim and fill ) gransker symmetrien i trakteplottet og justerer for evt. publikasjonsskjevhet ved å fjerne skjevheten og inkludere «fiktive» upubliserte studier. Prinsippet er kort fortalt å ta bort små studier som forårsaker asymmetri i trakteplottet, beregne et nytt gjennomsnitt, sett dem inn igjen sammen med fiktive studier med motsatt effekt og så beregne en endelig metaanalyse statistisk justert for publikasjonsskjevhet (2 ).
Andre metoder bruker ikke trakteplott, men undersøker fordelingen av studiene i metaanalysen i forhold til deres sannsynlighet for publisering. F.eks. forventer man at store studier med lave p-verdier har større sannsynlighet for publisering enn små studier med høye p-verdier. Disse metodene er matematisk kompliserte og sjelden tilgjengelige i statistiske programpakker. Til slutt er det viktig å nevne såkalte arkivskuffmetoder (engelsk: file drawer ). De forsøker å beregne antall utelatte studier som er nødvendige for vesentlig å endre resultatet i metaanalysen. Altså hvor mange (negative) studier synes å være gjemt i arkivskuffer (eller i skyen), og er dette antallet realistisk (2 , 3 )? Mange av disse metodene finnes i programpakkene STATA eller R, men SPSS har ikke tilsvarende funksjoner eller muligheter for metaanalyse.
På sporet av den tapte publikasjon
Man kan også granske publikasjonsskjevhet uten bruk av avanserte statistiske metoder. Endrer resultatene seg over tid, kan det tyde det på at studier med andre funn blir senere publisert, men kan også skyldes andre forandringer over tid som f.eks. endret behandlingseffekt. Hvis mulig, kan man forsøke å få tak i resultater fra upublisert forskning, noe som kan være enklere hvis studiene allerede er registrert. Er disse annerledes i forhold til de publiserte studiene? God kjennskap til forskningsfeltet, studieregistrering og direkte kontakt med andre forskere er viktig for å avdekke publikasjonsskjevhet. Selv med høy kvalitet til de enkelte studiene i en metaanalyse, vil en metaanalyse med publikasjonsskjevhet ha lav kvalitet. Et motto for upubliserte resultater kan være «mållaust liv har og ei mening» (4 ).
