Påliteligheten av forskningsfunn kan svekkes på flere måter. Studier som har positive og statistisk signifikante funn og som underbygger forfatternes eller redaktørenes hypoteser, har større sannsynlighet for å bli publisert, såkalt publiseringsskjevhet (publication bias) (1, 2). Andre vanlige kilder til skjevhet er selektiv rapportering (ufullstendig rapportering av predefinerte kliniske utfallsmål) og endring av utfallsmål fra protokoll til publisert artikkel (3–6). Denne type uredelig forskningspraksis er overraskende vanlig og kan medføre overdrevne eller direkte feilaktige påstander om behandlingseffekter både i systematiske oversikter, i metaanalyser og i kliniske retningslinjer (7).
Forskeres plikt til å offentliggjøre resultatene fra humane kliniske forsøk er nedfelt både i lovs form og i etiske retningslinjer, bl.a. av Verdens helseorganisasjon (8). For å bøte på underrapportering og manglende transparens i medisinsk forskning ble det i USA i slutten av 1990-årene opprettet en database for obligatorisk registrering av kliniske humanstudier, ClinicalTrials.gov (CTG). Senere er flere tilsvarende registre blitt opprettet. De to største er ISRCTN (9), som kom i 2000, og The European Union Clinical Trials Register (EUCTR)/The European Clinical Trials Database (EUdraCT), som omfatter studier i EU-området (10), fra 2004. Fra 2007 har ClinicalTrials.gov krevd offentliggjøring av resultater i registeret senest 12 måneder etter sluttføring (primary completion), og EUdraCT stilte tilsvarende krav i 2012 (11, 12). Alle registrene gir fri tilgang til elektroniske søk.
Skulderplager er en av de vanligste årsakene til konsultasjoner for muskel- og skjelettplager, og både kirurgisk og konservativ behandling kan være aktuelt. Behandlingspraksis er likevel i liten grad evidensbasert, og publiserte studier kjennetegnes av flere typer skjevhet (bias) (13, 14). Jeg ønsket å kartlegge omfanget av registrerte intervensjonsstudier av skulderplager meldt til de tre nevnte studieregistrene, og hvilken andel av fullførte studier som hadde gjort resultatene offentlig tilgjengelig gjennom rapportering direkte til registeret og/eller i en fagfellevurdert publikasjon.
Kunnskapsgrunnlag
Med søkeordene «shoulder» i kombinasjon med «rotator cuff», «impingement», «arthritis», «osteoarthr*», «fracture», «labral», «dislocation» og «adhesive capsulitis» ble det søkt i studieregistrene ClinicalTrials.gov, EUdraCT og ISRCTN etter fullførte randomiserte og ikke-randomiserte fase 4-studier fra tidsrommet 1.1.2000–31.12.2018. På bakgrunn av kravet om rapportering av resultater til register innen 12 måneder etter avslutning, ble studier fullført senere enn 31.12.2018 ekskludert. Studier som omhandlet forebygging, diagnostikk og skuldersmerter sekundært til annen lidelse, ble også ekskludert. Søkene ble avsluttet 31.5.2020.
De aktuelle intervensjonene ble gruppert i fire grupper: 1 Kirurgi, 2 Fysikalsk behandling/trening (eventuelt i kombinasjon med annen konservativ behandling, inkludert medikamentell behandling), 3 Andre typer konservativ behandling og 4 Analgesi/anestesi. Studienes geografiske lokalisering (verdensdel), type skulderlidelse (adhesiv kapsulitt (frossen skulder), artrose/dislokasjon/fraktur, subakromiale smerter og uspesifiserte skuldersmerter), antall deltakere per studie (basert på innrapporterte data, eventuelt opplysninger i protokoll), studienes definerte start- og fullføringstidspunkt og finansieringstype («industri» versus «andre») ble registrert.
Det primære utfallsmålet var antall studier med opplysninger om resultater i form av registerdata og/eller publikasjon i et fagfellevurdert fagtidsskrift. Dersom registeret ikke hadde lenke til publisert artikkel, ble det søkt i PubMed etter potensielle artikler basert på oppgitt kontaktperson eller studieansvarlig, eventuelt i kombinasjon med nøkkelord fra registerets studiebeskrivelse, identifikasjonsnummer, rekrutteringsperiode og/eller antall forsøkspersoner – om nødvendig i fulltekst. Pearsons khikvadrattest, Kruskal-Wallis’ test og oddsratio (OR) med 95 % konfidensinterfall (KI) ble brukt til subgruppeanalyser. Statistiske beregninger ble gjort i MedCalc, versjon 19.2.
Resultater
Gjennom søk i de tre registrene ble i alt 581 studier identifisert, hvorav 457 i ClinicalTrials.gov, 74 i ISRCTN og 50 i EUdraCT. Av disse ble 233 ekskludert i henhold til beskrevne kriterier (inkludert 49 studier fullført etter 1.1.2019). Av de gjenværende 348 studiene var 287 meldt til ClinicalTrials.gov, 45 til ISRCTN og 16 til EUdraCT (tabell 1). 170 studier var utført i Europa, 131 i Nord-Amerika, 68 i Asia og Midtøsten, 22 i Sør-Amerika og seks i mer enn én region. Det var 278 randomiserte og 70 ikke-randomiserte studier. Median antall deltakere per studie var 60 (interkvartilbredde 40–109). Diagnosene fordelte seg på adhesiv kapsulitt (n = 42), artrose/dislokasjon/fraktur (n = 116), subakromiale smerter (n = 324) og uspesifiserte skuldersmerter (n = 214).
Tabell 1
Oversikt over antall studier om behandling av skulderplager med rapporterte resultater i tidsrommet 1.1.2000–31.12.2018, antall deltakere og tid fra fullføring til resultater er offentliggjort i et register og/eller publisert i en artikkel.
|
|
|
Studieregister
|
|
Sum
(n = 348)
|
|
|
Clinicaltrials.gov
(n = 287)
|
ISRCTN
(n = 45)
|
EUdraCT
(n = 16)
|
|
|
Industrifinansierte studier (n)
|
|
44
|
6
|
2
|
|
52
|
|
Studier med rapportert resultat, n (%)
|
|
153 (53)
|
22 (49)
|
2 (13)
|
|
177 (51)
|
|
Data oppført i register, n (%)
|
|
54 (19)
|
1 (2)
|
0
|
|
55 (16)
|
|
|
Tid fra fullføring til data er oppført i register (median antall måneder, interkvartilbredde)
|
|
24 (15–39)
|
7 (-)
|
-
|
|
24 (14–39)
|
|
Publiserte data, n (%)
|
|
127 (44)
|
22 (49)
|
2 (13)
|
|
151 (43)
|
|
|
Tid fra fullføring til data er publisert i artikkel (median antall måneder, interkvartilbredde)
|
|
24 (16–35)
|
33 (20–43)
|
19 (-)
|
|
25 (16–37)
|
|
Deltakere totalt (n)
|
|
25 134
|
5 057
|
1 833
|
|
32 024
|
|
|
Deltakere i studier uten rapporterte resultater
|
|
11 287
|
2 032
|
1 698
|
|
15 017
|
For 171 (49 %) av de inkluderte studiene kunne man ikke spore resultater verken i register eller i publisert form (tabell 1). Av de tre registrene hadde EUdraCT høyest andel studier uten rapportert resultat (86 %). I alt 32 024 forsøkspersoner deltok i de inkluderte studiene, 15 017 (47 %) av disse i studier uten rapporterte resultater. Figur 1 viser antall studier med og uten rapporterte resultater fordelt på type intervensjon.
Figur 1 Antall studier der resultater er rapportert til et register/publisert i et fagfellevurdert tidsskrift eller ikke er rapportert (uten resultat), fordelt på type intervensjon.
Median studievarighet var 21 måneder (interkvartilbredde 11–37). Av de 55 studiene (16 %) som hadde rapportert resultater til et register, gikk det median 24 måneder (14–39) fra fullføring, og kun syv studier rapporterte innen 12 måneder. 151 (43 %) studier var publisert, median 25 måneder etter fullføring (16–37). 29 (8 %) studier hadde både publisert og rapportert til register. Et Kaplan-Meier-plott framstiller kumulert andel av studier med sporbare resultater i henholdsvis register og publikasjon som en funksjon av tid siden fullføring (figur 2).
Figur 2 Kumulativ andel (prosent) av studier som over tid hadde publisert resultater eller oppgitt resultater til et register, der x-aksen viser antall måneder siden studien ble fullført. Den vertikale linjen markerer 12 måneder, som svarer til kravene EUdraCT og ClinicalTrials.gov har for rapportering av resultater til et register.
Ved analyse av andelen studier uten sporbare resultater i periodene 2000–04, 2005–09, 2010–14 og 2015–18 ble det funnet kun små tegn til bedring (Kruskal-Wallis’ test, p = 0,44) (figur 3). For eksempel var 50 % av rapporterte studier fra 2005–09 og 53 % fra 2010–14 blitt publisert per 2020. De tilsvarende tallene for data til register var henholdsvis 8 % og 23 %.
Figur 3 Antall fullførte studier totalt, studier der resultatene er publisert og studier der resultatene er rapportert til et register per 1.5.2020, gruppert i periodene 2000–04, 2005–09, 2010–14 og 2015–18.
Det var ingen statistisk signifikante forskjeller mellom randomiserte og ikke-randomiserte studier i andelen uten sporbare resultater (Pearsons khikvadrattest, p = 0,6), heller ikke mellom intervensjonsgruppene eller de fire diagnosegruppene (Kruskal-Wallis’ test, henholdsvis p = 0,7 og 0,1). Andelen uten rapporterte resultater var kun ikke-signifikant høyere i studier med færre enn median 60 deltakere sammenliknet med større studier (OR 1,2; 95 % KI 0,76–1,78, p = 0,5). 52 av 348 (15 %) studier var industrifinansierte. Av disse var andelen uten publiserte resultater 60 %, mot 47 % i øvrige studier (1,7; 0,90–3,00, p = 0,1).
Diskusjon
Nesten halvparten av i alt 348 studier av skulderintervensjoner som var fullført minst ett år før søket, hadde ingen sporbare opplysninger om resultater, verken i studieregistre eller fagfellevurderte tidsskrifter. Dette innebærer at over 15 000 forsøkspersoner fram til januar 2019 deltok i skulderstudier uten å ha fått kjennskap til utfallet. Fraværet av resultater var i liten grad påvirket av type intervensjon, studiedesign eller størrelse, og det var ikke holdepunkt for en bedring av praksis over tid.
Det kan innvendes at resultatene i denne studien ikke nødvendigvis kan generaliseres til øvrige typer muskel- og skjelettplager. Imidlertid er dårlig rapporteringspraksis beskrevet i studier av leddlidelser (15), rygglidelser (16) og ortopediske traumer (17, 18), men også innen humanklinisk forskning mer generelt (se tabell i Appendiks for noen utvalgte oversiktsartikler).
Andelen publiserte vitenskapelige studier med positive resultater har ifølge en analyse økt fra 70 % til 86 % i årene 1990–2007, og trenden har vært særlig uttalt innen klinisk medisin og farmakologi (19). Overvekt av publiserte studier med positive funn er beskrevet selv i tidsskrifter med høy impaktfaktor (20). Resultater i originalstudier lar seg ofte ikke replikere i senere tilsvarende studier (21). Betydningen av kommersiell finansiering for rapporteringspraksis er kontroversiell (5, 22–24). I de inkluderte studiene hadde de med kommersiell finansiering 13 prosentpoeng lavere rapporteringsgrad enn de øvrige, men grunnet få studier var forskjellen ikke statistisk signifikant.
Flertallet av de registrerte studiene var små, med median 60 deltakere per studie, og kun tre studier hadde mer enn 500 deltakere. En lavere publikasjonsgrad av små studier er tidligere beskrevet (24). Det kunne tenkes at den lave publiseringsgraden i dette materialet er en konsekvens av at små studier oftere blir refusert enn store studier, men noen signifikant assosiasjon med studiestørrelse kunne ikke påvises verken med tanke på publisering eller rapportering til register. Det ble heller ikke funnet at studiedesign påvirket rapporteringen, men andre har beskrevet høyere publikasjonsgrad i randomiserte studier (22).
Tiltak for å bedre rapportering
Årsaken til at såpass mange studier aldri blir publisert, er sammensatt. En del påbegynte studier, ikke minst innen kirurgi, blir aldri fullført, ofte grunnet problemer med rekruttering (25). Øvrige finansielle og logistiske begrensninger kan vanskeliggjøre veien mot publisering, hindringer som akademiske og kommersielle forskningsinstitusjoner med større ressurser i ryggen har bedre forutsetninger for å håndtere (5, 23).
En nullvisjon for manglende publisering er ikke realistisk. Rapportering til studieregistre sikrer imidlertid tilgang til resultater uavhengig av aksept fra fagfellevurderte tidsskrifter. Disse representerer dermed en lavterskelkanal for offentliggjøring av resultater fra studier som ikke passerer nåløyet for publisering. Selv om registerdata kan ha variabel kvalitet, er opplysningene her ofte mer fullstendige enn det som rapporteres når studien blir publisert, både med hensyn til effekter og uønskede hendelser (26). Registerdata fungerer dermed både som et supplement og et korrektiv til selektiv rapportering.
Kravene til rapportering er skjerpet de senere år, i stor grad som følge av press fra pasientorganisasjoner og forskningsmiljø. Den internasjonale komiteen av redaktører i medisinske tidsskrifter (ICMJE) satte fra 2005 som forutsetning for publisering at det forelå en registerindeksert studieprotokoll før oppstart av studien. Selv om de fleste tidsskrifter, inkludert Tidsskrift for Den norske legeforening, har sluttet seg til dette kravet, er etterlevelsen fortsatt dårlig, selv i tidsskrifter med høy impaktfaktor (5).
ClinicalTrials.gov og EUdraCT, med støtte av helsemyndigheter, har åpnet for sanksjoner mot forskere og institusjoner som ikke oppfyller kravene om transparens. I januar 2020 vedtok EU-domstolen, til tross for protester fra farmasøytisk industri, å gi forskere og helsemyndigheter i EU tilgang til det European Medicines Agency-eide Clinical Study Reports (CSR), der det gis detaljerte opplysninger om design, analyse og funn i kliniske studier (27). I Danmark er det, anført av Legemiddelverket, gitt lovhjemmel til å straffe studiesponsorer som unnlater å rapportere studieresultater til EUdraCT (28). En føderal domstol i USA har nylig pålagt alle studiesponsorer å offentliggjøre resultater fra fullførte studier meldt til ClinicalTrials.gov fram til 2017, med dagsbøter ved manglende rapportering (29).
AllTrials-kampanjen arbeider for at både tidligere, pågående og framtidige studier skal rapporteres. I dette internasjonale initiativet oppfordres universiteter, etiske komiteer og medisinske institusjoner til å arbeide for at deres medlemmer skal innrette seg etter kravene om transparens. Også sentrale institusjoner i norsk forskning har sluttet seg til kampanjen. I 2018 lanserte AllTrials et sporingsverktøy for å flagge hvilke sponsorer som unnlater å offentliggjøre resultater, både fra allerede utførte og fra framtidige studier (30). Dette har vist seg å ha effekt, først og fremst ved akademiske institusjoner. For eksempel kom det nylig inn dobbelt så mange resultater til EUdraCT fra tyske universiteter i løpet av seks måneder som de foregående seks årene (31).
I retningslinjer fra de norske forskningsetiske komiteene poengteres det at «forskningsresultater som hovedregel skal tilgjengeliggjøres», og at «forskere har et selvstendig ansvar for at forskningen vil kunne komme forskningsdeltakere, relevante grupper eller samfunnet til gode (…)» (32). Imidlertid er det per i dag ingen instanser som påser at resultatene faktisk blir gjort offentlig tilgjengelig, og å unnlate å gjøre det får heller ingen praktiske konsekvenser.
De forskningsetiske komiteene bør ikke begrense seg til kun å godkjenne protokoll, men også påta seg ansvaret for at resultatene blir tilgjengeliggjort. For eksempel kunne samtlige studier godkjent av regional etisk komité sendes til et sentralt arkiv som oppretter automatiserte varslinger om overskridelse av tidsfrister til de ansvarlige forskerne, studiesponsorene og helsemyndighetene.
Styrker og svakheter
En styrke ved studien er at den i tillegg til ClinicalTrials.gov inkluderte to andre registre. Mulige feilkilder er at publiserte studier kan ha blitt oversett ved at litteratursøket var begrenset til PubMed, og at kun én person sto for søk og analyse. Det ble ikke forsøkt å innhente manglende resultater fra studienes oppgitte kontaktperson. Studier uten opplysninger om kontaktperson (principal investigator) var det ikke mulig å oppspore.
Konklusjon
Den høye andelen av studier om behandling av skulderplager der resultater verken er rapportert til studieregistre eller publisert, reflekterer en overordnet systemisk svikt i tilgjengeliggjøring og formidling av funn fra humane kliniske studier. Når forsøkspersoner samtykker i å delta i en intervensjonsstudie, bygger dette på en forventning om at resultatene vil bli tilgjengeliggjort, uansett utfall, slik at deres deltakelse kan bidra til å styrke kunnskapsgrunnlaget. Uten slik åpenhet om utfall vil forsøkspersoner kunne utsettes for risiko uten å høste noen fordeler. Manglende rapportering om utfall er derfor etisk sett uakseptabelt. Det gir også risiko for en fiktiv overrepresentasjon av studier med «positive» resultater og at bivirkninger og uønskede hendelser ikke blir erkjent. Manglende transparens om utfallet i fullførte studier kan føre til sløsing med knappe forskningsmidler som følge av at unødvendige og overtallige studier blir igangsatt.
Det bør være en prioritert oppgave for helsemyndigheter, forskningsinstitusjoner og tidsskriftredaktører å påse at de som initierer, finansierer og gjennomfører kliniske studier også sørger for betimelig offentliggjøring av resultater, med rapportering til et studieregister som minstekrav.
