Randomiserte, kontrollerte effektstudier rager høyest i hierarkiet når det gjelder studiedesign, men de har ofte lav generaliserbarhet. Burde de rives ned fra pidestallen?
Medisinsk behandling er i stor grad påvirket av resultatene fra dobbeltblindede, randomiserte, placebokontrollerte effektstudier (efficacy studies), som er konstruert for å finne ut om nye medikamenter eller behandlingsmetoder virker og hvor stor den eventuelle behandlingseffekten er. Disse studiene har ofte en stram, eksperimentell design, strenge kriterier for deltakelse og utvalgte endepunkter som gjør at generaliserbarheten (ekstern validitet) til klinisk praksis er lav (1).
Studiedeltakerne i randomiserte, kontrollerte effektstudier er ofte svært ulike de pasientene som søker helsehjelp. De blir ofte rekruttert gjennom massemediene (de er altså ikke behandlingssøkende) og deretter nøye selektert ved hjelp av en rekke eksklusjons- og inklusjonskriterier. Ofte blir mer enn halvparten vurdert som uegnet for inklusjon eller randomisering (1). Deltakerne har også relativt lav sosioøkonomisk status. Undertegnede mottar jevnlig e-post fra fortvilte amerikanere som ønsker å delta i en eller flere av våre kliniske studier (funnet på www.clinicaltrials.gov) fordi de ikke har råd til fedmekirurgi.
Det er store globale forskjeller i organisering av helsevesenet, behandlingsmål, forskningsledelse, finansiering samt rekruttering av pasienter til studier. Dette gjør at resultater fra relativt godt gjennomførte studier ikke alltid kan generaliseres til andre land eller kontinenter. Kliniske intervensjonsstudier der resultatene er avhengige av behandlernes kompetanse og ferdighetsnivå samt klinisk mindre relevante endepunkter eller surrogatendepunkter, kan også svekke generaliserbarheten av randomiserte effektstudier (1, 2).
Resultatene fra en relativt liten randomisert, kontrollert enkeltsenterstudie med 150 overvektige personer med type 2-diabetes ble nylig publisert i det anerkjente tidsskriftet New England Journal of Medicine (3). Forskergruppen sammenliknet effekten av tre forskjellige behandlingsmetoder: gastrisk bypass, langsgående ventrikkelreseksjon (gastric sleeve) og intensiv medisinsk behandling ut fra det primære surrogatendepunktet HbA1c ≤ 6,0 %. Deltakere hadde en kroppsmasseindeks (BMI) på mellom 27 kg/m² og 43 kg/m² og ble rekruttert fra Cleveland-klinikken eller gjennom mediene. Den eksterne validiteten i denne studien svekkes av høy risiko for utvalgsskjevhet, lavere grenseverdi for det primære surrogatendepunktet enn anbefalt i internasjonale og nasjonale retningslinjer (Norge: HbA1c ≤ 7,0 %) samt inklusjon av deltakere med BMI < 35 kg/m² (lavere enn anbefalt i internasjonale retningslinjer for fedmekirurgi). Det kan også stilles spørsmål ved om intellektuelle og finansielle interessekonflikter hos hovedforfatteren kan ha påvirket behandlingen (utøverskjevhet) (4). Altså – resultatene av denne studien har begrenset relevans for norsk behandlingspraksis.
Kunnskapsgrunnlaget for god pasientbehandling bør ikke begrenses til funn fra randomiserte, kontrollerte effektstudier, det bør også inkludere resultater fra andre typer studier med høyere ekstern validitet (5, 6). En randomisert studie med en mer praktisk nyttig (pragmatisk) design er et godt eksempel på det siste. Allerede i 1967 diskuterte Schwartz & Lellouch forskjellene på såkalt forklarende (explanatory) effektstudier og pragmatiske studier, der man sammenlikner effekter av forskjellige behandlingsmetoder i klinisk praksis (7). Pragmatiske randomiserte studier er laget for å hjelpe beslutningstakere, klinikere og pasienter til å velge mellom alternative behandlingsmetoder. Man legger i større grad vekt på klinisk relevante endepunkter og har færre eksklusjonskriterier.
Man bør heller ikke undervurdere verdien av ikke-randomiserte kliniske studier og rent sammenliknende observasjonelle kohortstudier (6). Amerikanske myndigheter har tatt konsekvensene av dette og oppmuntrer til større bruk av sammenliknende effektforskning (comparative effectiveness research, CER) (6). Dette er forskning der man sammenlikner fordeler og ulemper ved forskjellige behandlingsmetoder og strategier i en «virkelig verden», for eksempel gjennom rene observasjonsstudier. Forskere, sponsorer, etiske komiteer, tidsskrifter og retningslinjeforfattere tar imidlertid fortsatt for lite hensyn til betydningen av observasjonsstudier av god kvalitet, og de neglisjerer samtidig at mange randomiserte effektstudier har lav ekstern validitet (1). Det må likevel understrekes at selv om en studiedesign tilpasset den virkelige verden kan gi høyere ekstern validitet, kan dette gå på bekostning av lavere intern validitet, hvilket også kan svekke resultatenes generaliserbarhet (5).
Beslutningstakere, klinikere og pasienter bør ikke ukritisk stirre seg blinde på resultatene fra randomiserte, kontrollerte effektstudier, man bør også vurdere resultatene fra mer pragmatisk orienterte studier før man velger behandlingsmetode. Randomiserte, kontrollerte effektstudier er imidlertid fortsatt nødvendig, men ikke tilstrekkelig for god pasientbehandling (8). Mange studier inneholder elementer fra begge typer studiedesign.
