Resultaterne fra en metaanalyse kan lettere generaliseres og er mere anvendelige, hvis de enkelte forsøg omfatter forskelligartede patientpopulationer, og hvis den øvrige behandling og de forhold, forsøgene udføres under, også er lidt forskellige. Da det fx blev vist i en metaanalyse, at indgift af humant albumin øgede mortaliteten (1), gjaldt dette resultat alle tre grupper af kritisk syge patienter, der blev undersøgt. For de patienter der havde hypovolæmi, var forskellen ikke konventionelt signifikant (95 % sikkerhedsinterval for odds ratioen var 0,99 – 3,15), men det ville være forkert at fortolke dette resultat som om, klinikerne kunne fortsætte med at give albumin til disse patienter. De fleste signifikante resultater vil forsvinde på grund af manglende styrke, hvis forsøgene i en metaanalyse deles op i et tilstrækkeligt stort antal undergrupper. Det er mere relevant, at punktestimaterne var nogenlunde de samme i de tre undergrupper, der indgik, og at det kombinerede estimat var homogent. Det er derfor rimeligt at antage, at albumin også er skadeligt hos patienter med hypovolæmi.
Det er svært at skaffe sig af med dårlige behandlinger, selv når de er skadelige. For albumin – og mange andre skadelige interventioner – er det typiske argument, at hvis alt andet har været uden effekt, kan man forsøge det som en sidste udvej. Det er imidlertid sandsynligt, at albumin også er skadeligt i disse tilfælde. Nogle kritisk syge patienter er længere tid om at komme sig end andre, og det er disse patienter, som nu får albumin. Dette er ikke logisk, og som den ultimative test kunne man spørge sig selv, om der er god evidens for, at albumin er gavnligt hos disse patienter? Eller om det er sandsynligt, at en lægemiddelstyrelse ville godkende albumin i dag, hvis det var et nyt lægemiddel? Sådanne spørgsmål peger på, at albumin ikke bør anvendes overhovedet.
Som et andet eksempel har det vist sig, at tilstedeværelse af en støtteperson under hele fødslen reducerer forbruget af smertestillende midler, mindsker risikoen for instrumentel forløsning, kejsersnit og en fem minutters Apgar score mindre end 7, og det forbedrer mødrenes oplevelse af deres fødsel (2). De 14 undersøgelser, der indgik i denne metaanalyse, var udført under ret forskellige forhold. Fx kunne støttepersonen være en professionel person, en specielt uddannet lægperson eller en bekendt, og hospitalerne kunne være et universitetshospital i Canada eller offentlige hospitaler i Afrika og Guatemala, der tog sig af fattige kvinder. Det styrker troværdigheden af en systematisk oversigt over litteraturen, når resultaterne er konsistente trods så varierende forhold, og det vil være svært at forfægte det synspunkt, at «det virker nok ikke her», selvom man undertiden hører sådanne argumenter.
Som eksemplerne viser, kan patienterne blive udsat for skadelige behandlinger eller unddrages gavnlige behandlinger, hvis resultater fra metaanalyser fortolkes for snævert. Klinikerne må derfor vænne sig til at tænke mere bredt, end de har været vant til gennem deres uddannelse i sådanne emner som patofysiologi, farmakologi og biokemi. Kliniske forskere benytter ofte unødigt snævre indgangskriterier, når de skriver protokoller til kliniske forsøg, og dette kikkertsyn er også kendetegnende for medicinalindustrien, idet det er profitabelt at få klinikere til at tro, at mindre forskelle mellem lægemidler i samme gruppe er vigtige. Metaanalyser har imidlertid vist gang på gang, at sådanne forskelle ofte kan ignoreres. Det kan være langt vigtigere at være opmærksom på metodologiske forhold, fx publikationsbias (3, 4) og det ubehagelige faktum, at forsøg, hvor randomiseringsmetoden ikke er beskrevet, overvurderer behandlingseffekten (målt som odds ratio) med omkring 30 % i gennemsnit (5, 6).
En bred metaanalyse øger den statistiske styrke, reducerer risikoen for fejlagtige konklusioner og øger muligheden for eksploratoriske analyser, der kan generere hypoteser for fremtidig forskning. Hvis resultaterne ikke er homogene, kan årsagerne til dette efterforskes. Det brede perspektiv bør derfor foretrækkes, med mindre der er gode grunde, der taler imod. Sådanne grunde bør være baseret på empiri og ikke kun på spekulative forestillinger, eftersom næsten hvad som helst kan tænkes at have betydning. Fx er der ikke nogen god grund til at forvente, at smerte ved slidgigt i knæet skulle respondere anderledes på et analgetikum end smerte ved slidgigt i hoften. På den anden side bør det brede perspektiv selvfølgelig ikke forhindre os i at se på undergrupper, når der foreligger et godt rationale a priori for, at behandlingen kan tænkes at virke forskelligt i forskellige undergrupper. Eksempelvis er endarterektomi i arteria carotis gavnligt hos patienter med svær stenose, men skadeligt hos patienter med de laveste stenosegrader (7). En metaanalyse af homøopati var meget bred, idet den inkluderede alle slags homøopati og sygdomme (8). Dette virker meget fornuftigt. Der er intet godt empirisk belæg for at tro, at homøopati skulle være effektivt ved nogle tilstande og ikke ved andre. Dertil kommer, at teorien bag homøopati er spekulativ og ude på overdrevet, og det er derfor vigtigt, at man omhyggeligt studerer faktorer, der kan give bias. Metaanalysen syntes at vise, at homøopati var effektivt, men analyserne afslørede vigtig bias (8, 9) og forfatterne konkluderede, at «vor undersøgelse har ingen større betydning for klinisk praksis» (8).
Hvis forfatterne havde anvendt et snævert perspektiv og havde publiceret et antal små metaanalyser, som hver rapporterede effekten af homøopati ved kun én sygdom og inkluderede kun 2 – 5 forsøg, så ville klinikere og patienter været blevet vildledt. Mange af disse metaanalyser ville have været positive, men det ville have været umuligt at påvise bias.
Bias i medicinsk forskning er meget almindelig (3 – 6, 10), og dette faktum er formentlig det stærkeste argument for brede metaanalyser. Homøopati-eksemplet kan generaliseres. Patienter og klinikere er bedre tjent med det pålidelige svar, at der ikke er overbevisende evidens for, at et terapeutisk princip, eller en klasse af behandlinger, er effektivt, end det upålidelige svar, at en vis behandling er effektiv ved en vis sygdom.
