Unngå å snuble på startstreken. Forhåndsdefinerte spørsmål og god planlegging bedrer kvaliteten på forskningsprosjekter og publikasjoner
20 gjester til middag? De færreste av oss tar det på hælen. Vi sender invitasjoner, planlegger menyen, skriver handlelister og følger oppskrifter når maten skal tilberedes. Selv en mesterkokk må lage en meny før han handler inn de riktige råvarene og begynner matlagingen.
Planlegging er ikke mindre viktig i medisinsk forskning. Det gjelder enten man er nybegynner eller erfaren forsker og uavhengig av om man har tenkt å publisere i Nature eller i Tidsskriftet. Så vel rapporter fra små pasientserier som store prospektive, randomiserte studier trenger en god plan før man samler inn og analyserer data, skriver manus og sender det inn for publisering.
Først og fremst må man stille et konkret forskningsspørsmål og tenke nøye igjennom hvordan man best besvarer dette. En tydelig hypotese er viktig, ikke bare som grunnlag for eventuell beregning av p-verdier (1).
Mange finner det naturlig å skrive en forskningsprotokoll før de setter i gang med en prospektiv intervensjonsstudie. Uten prosjektbeskrivelse, ingen forskningsmidler! Men en god plan har en plass også i retrospektive prosjekter, der data allerede finnes før studien starter. Ordet protokoll kan kanskje virke skremmende og byråkratisk, men ikke alle forskningsprotokoller eller prosjektbeskrivelser trenger å være like detaljerte som legemiddelfirmaers protokoller for kontrollerte kliniske forsøk. Et par A4-sider med de viktigste punktene er mye bedre enn ingen skriftlig plan i det hele tatt. Hovedhensikten er at man skal tenke seg om på forhånd. Det er for sent å rette opp feil i forsøksplan eller datainnsamling når man skal i gang med å analysere data og publisere resultater. Det er for øvrig ikke alltid man skal gjøre mer enn å beskrive data – det blir ikke bedre vitenskap av at man henger på en håndfull p-verdier.
Hva vil vi måle, og hvordan får vi et gyldig svar på spørsmålet som ble stilt? En klar definisjon av hvilke variabler som er de viktigste må være på plass før prosjektet starter. I kontrollerte studier anbefales det å angi én primær og eventuelt flere sekundære effektvariabler (2, 3). Prinsippet kan overføres til alle typer prosjekter, også retrospektive pasientserier.
Den generelle gyldigheten av en konklusjon begrenses av pasientseleksjonen. En grunnleggende forutsetning for en gyldig konklusjon er at pasientene som er med i studien, er representative for den populasjonen man forsøker å trekke slutninger om. I planleggingen av en prospektiv studie må man også vurdere hvor mange pasienter som skal inkluderes, og en god forsøksplan inkluderer en vurdering av teststyrke. Det bør være høy sannsynlighet for å oppdage en effekt hvis den faktisk finnes. En tommelfingerregel er at man bør inkludere så mange pasienter at en effekt av (klinisk) betydning avdekkes som statistisk signifikant med minst 80 % sannsynlighet. Av disse grunner er det viktig på forhånd å planlegge hvilke og hvor mange individer man skal inkludere. Etterpå er det for sent!
Men gir det mening å tenke på utvalgsstørrelse når man er i en situasjon der data allerede foreligger og man bare vil studere «hvordan det gikk»? Det avhenger av hvilke spørsmål man ønsker å få svar på. Noen ganger er det tilstrekkelig å «tage hvad man haver», men straks man kaster seg over sammenlikninger og signifikanstester, blir antall pasienter en viktig faktor. Jo flere pasienter, desto høyere presisjon. Derfor er det smart å vurdere om det datasettet man har tilgang til, faktisk er egnet til å besvare de konkrete spørsmålene man har formulert. Mange studier, både retrospektive og prospektive, viser seg å være for små til at man kan trekke en holdbar konklusjon. Da er det kanskje like greit å la være å gjøre studien. Prosjekter som enten ikke har en klar problemstilling eller er for små til å besvare de aktuelle spørsmålene fører til sløsing med forskningsressurser så vel som spalteplass.
Kan man stole på konklusjonen, eller er det fare for en systematisk skjevhet? En ren sammenlikning av «før» og «etter» vil ofte ha begrenset verdi hvis man forsøker å studere effekten av et tiltak eller en intervensjon. Det er vanskelig å kontrollere om endringen faktisk skyldes tiltaket eller om endring over tid kan forventes uansett om man intervenerer eller ikke. En kontrollgruppe er alltid nyttig, også i rene observasjonsstudier.
Observasjonelle studier har som kjent den svakhet at det kan være andre systematiske forskjeller mellom gruppene enn den eksponeringen man er interessert i å studere. For å unngå feilaktige konklusjoner er det essensielt at man registrerer og kontrollerer for konfunderende variabler (variabler som har sammenheng både med intervensjonen/eksponeringen og med den responsen man måler). Disse er ikke alltid kjent på forhånd, og dette kan gjøre det vanskelig å trekke sikre konklusjoner om kausalitet. For alle intervensjonsstudier gjelder derfor følgende: Dersom det er mulig å randomisere, gjør det! Vurder også om det er mulig å blinde evaluering av respons på intervensjonen. Randomisering og blinding sikrer en rettferdig sammenlikning og gjør at vi kan trekke slutninger om årsakssammenheng.
En god plan skal også si noe om hvordan man har tenkt å analysere data og hvilke pasienter som skal være med i den statistiske analysen. Det enkle rådet er å ta med alle som ble inkludert i utgangspunktet. Frafall underveis i en studie kan lett lede til feilaktige konklusjoner, og det bør planlegges på forhånd hvordan man skal håndtere manglende data.
Hvorfor vil vi publisere og dele ny kunnskap? Er det bare for å forlenge publikasjonslisten – eller er vi genuint interessert i å øke vår viten? Jeg velger å tro det siste. Det innebærer at vi må kunne stole på konklusjonene som trekkes, og det lykkes som regel best hvis et prosjekt er gjennomtenkt og godt planlagt. Det er sjelden mulig å rette opp svakheter når tidspunktet for analyse og presentasjon av resultater er kommet. Enten det dreier seg om et middagsselskap eller et forskningsprosjekt øker god planlegging sannsynligheten for suksess.
