Randomisering er en vitenskapelig metode for å nulle ut effekter av faktorer som kan tenkes å påvirke utfall i kontrollerte forsøk, men som vi ikke er interessert i å undersøke. Slurv i randomiseringsprosessen reduserer gyldighet av resultater.
Randomiserte kontrollerte forsøk er medisinsk vitenskaps svar på fysikkens kontrollerte eksperimenter, der forskeren holder alle faktorer konstante bortsett fra den man undersøker effekten av (1, 2). Hva som er sunt kosthold, varierer med hvem som hadde ordet sist, og ernæringsforskning har til dels fått et tvilsomt rykte (3). Men mange av oss tror på middelhavskosten, et sett med kostråd fra over 50 år tilbake som skulle forklare hvorfor befolkningen rundt Middelhavet (og Portugal) var mindre utsatt for hjerte- og karsykdommer enn vi som bodde lenger nord i Europa (4). Og i 2013 fikk vi ytterligere støtte for vår tro: Da publiserte New England Journal of Medicine en artikkel om et kontrollert randomisert forsøk der 7 447 kvinner og menn i alderen 55–80 år med høy risiko for hjerte- og karsykdommer var tilfeldig fordelt til tre grupper, der én fikk fettfattig kost, mens de to andre ble satt på middelhavskost med ekstra tilskudd av nøtter eller olivenolje (5).
Randomiserte kontrollerte forsøk er medisinsk vitenskaps svar på fysikkens kontrollerte eksperimenter, der forskeren holder alle faktorer konstante bortsett fra den man undersøker effekten av
Resultatene var overbevisende. De to gruppene på middelhavskost og nøtter eller olivenolje hadde 30 % lavere forekomst av hjerte- og karsykdommer i løpet av oppfølgingen. Artikkelen er sitert over 3 500 ganger, og søker man på «PREDIMED» (Prevención con Dieta Mediterránea), kommer det mer enn 311 000 treff. Budskapet ble populært.
«Irregulære prosedyrer»
Fem år etter, i juni 2018, ble imidlertid artikkelen trukket tilbake (6). Hva hadde hendt? I et brev til New England Journal of Medicine 13. juni 2018 forklarte forfatterne at de trakk artikkelen tilbake på grunn av «irregularities in our randomization procedures», samtidig som de publiserte en revidert utgave av det opprinnelige forsøket (7). Det «irregulære» handlet om at deltakere som tilhørte samme husholdning, hadde blitt tildelt samme type kost. Dette viste seg å omfatte 10 % av deltakerne. I tillegg hadde en hel landsby blitt satt på samme kosthold, og andre steder var ikke randomisering gjennomført etter protokollen. Man hadde med andre ord ikke fordelt deltakerne tilfeldig til de tre gruppene. Og dette hadde man dessverre ikke tatt høyde for i rapporten fra 2013. Resultatene var basert på at individene ble tilfeldig fordelt til de tre gruppene. Man kunne ha valgt å fordele etter husholdninger eller til og med landsbyer, men en slik design er mindre effektiv enn om randomiseringen er på individnivå. De spanske forskerne hadde ikke noe annet valg enn å ekskludere de 1 588 individene som ikke var tilfeldig fordelt, om de skulle kunne få publiserbare resultater. I den nye analysen presiserte man at disse resultatene ikke var basert på et randomisert forsøk (7).
Anestesilege med sans for p-verdier
Tilbakekallingen av artikkelen kom etter påtrykk utenfra. I 2017 publiserte John B. Carlisle en artikkel i Anaesthesia der han beskrev resultatet av en systematisk gjennomgang av 5 087 randomiserte kontrollerte forsøk med tanke på datafabrikasjon og ikke-randomisert fordeling (8). Han påpekte avvikende forhold i en rekke artikler, bl.a. rapporten fra 2013, og dermed startet historien om irregulære forhold i den spanske studien.
Carlisle hadde tatt for seg utgangsverdier i de randomiserte forsøkene for kontinuerlige variabler som høyde, vekt, alder, blodtrykk osv. Deretter så han på p-verdiene mellom gruppene ved studiestart, og p-verdienes forventede fordeling i forhold til hva som ble observert. I utgangspunktet burde en vellykket randomisering resultere i at gruppene ble ganske like med hensyn til bakgrunnsvariablene, og at p-verdien skulle ligge rundt 0,5. Av de 5 087 forsøkene Carlisle undersøkte, fant han avvik i 15,6 %.
Dårlig statistikk og fabrikkerte data
Noen av avvikene som Carlisle fant, kunne forklares ved at man hadde blandet standardavvik og standardfeil, og dermed beregnet gale p-verdier. Andre så ut til å være rene feiltakelser, fordi man hadde rotet med statistikken, eller – enda mer alarmerende – uttrykk for fabrikkerte data. Carlisle understreket at blant forsøk med ekstreme fordelinger av gjennomsnittsverdiene er det større sannsynlighet for at man finner ukorrekte data eller forskningsjuks.
For oss som lesere er det viktigere at forskerne følger sine protokoller
Arbeidet til Estruch og medarbeidere fikk en ny sjanse. Det var sjenerøst av New England Journal of Medicine, og kanskje var det farget av redaksjonens syn på middelhavskosten. Men for oss som lesere av vitenskapelige artikler er det viktigere at forskerne følger sine protokoller og analyserer resultatene fra forsøkene etter behandlingsintensjonsprinsippet («intention to treat»). I det øyeblikket man bryter med randomiseringens prinsipper, åpnes det for ukjente konfunderende variabler og usikre resultater.
