Marius Asplin (f. 1960) er overlege ved Akuttklinikken, Oslo universitetssykehus.
Forfatter har fylt ut ICMJE-skjemaet og oppgir ingen interessekonflikter.
Email: marius.asplin@gmail.com
Hvordan sammenlikner vi kvalitet i helsetjenesten?
29.06.2015
I en kommentar- og debattartikkel i Tidsskriftet, setter Aspelin og Fagermoen søkelyset på utfordringer ved et nasjonalt kvalitetsindikatorsystem (1). Dette er utfordringer som både de som yter og de som evaluerer helsetjenesten kjenner igjen. På helsenorge.no er sykehusene sortert etter stigende eller synkende verdi for aktuell indikator. Dette er ikke en rangering med grad av statistisk usikkerhet. Sykehuset med f.eks. høyest 30-dagers overlevelse har derfor ikke nødvendigvis signifikant bedre resultat enn de andre sykehusene.
Helsedirektoratet har ansvaret for det nasjonale kvalitetsindikatorsystemet og helsenorge.no, der indikatorene presenteres. Nasjonalt kunnskapssenter for helsetjenesten har på oppdrag fra direktoratet utviklet nasjonale kvalitetsindikatorer for overlevelse og reinnleggelser etter innleggelse i sykehus, samt laget kvalitetsindikatorer for brukeropplevd kvalitet. Disse indikatorene beregnes med anerkjente statistisk metoder som med rimelig sikkerhet identifiserer sykehus som skiller seg ut, det vil si f.eks. har signifikant lavere eller høyere overlevelse enn de andre sykehusene. Vi kan ikke rangere sykehus utover dette, fordi de statistiske metodene ikke kan plassere sykehusene på en rangert liste lik den sorterte listen. Sannsynligvis vil sykehuset som havnet på 5. plass ikke skille seg tilstrekkelig fra sykehuset på 4. eller 3.plass på den sorterte listen på grunn av usikkerhet. På helsenorge.no presenteres også en del andre indikatorer. Sistnevnte er stort sett deskriptiv statistikk der det ikke er foretatt statistisk sammenligning av institusjoner/sykehus eller utvikling over tid.
Vi er helt enige med forfatterne i at det er viktig og nødvendig å risikojustere når man beregner en kvalitetsindikator. I Kunnskapssenterets analyser for 30-dagers overlevelse og 30-dagers reinnleggelse, brukes helseinformasjon fra pasientadministrative data fra alle landets sykehus og opplysninger fra Folkeregisteret. Det justeres for kjønn, alder og komorbiditet fra tidligere innleggelser. Vi bruker ikke opplysninger om kroniske tilstander som registreres på aktuelt innleggelsestidspunkt, fordi det varierer mye i hvilken grad disse opplysningene registreres ved innkomst. Pasienter som har et lengre sykehusopphold, har ofte fått registrert flere tilstander enn pasienter som skrives ut raskt eller dør kort tid etter innleggelse. For f.eks. hjerneslag og hjerteinfarkt vil alvorlighetsgraden av sykdommen ha betydning for overlevelse, men opplysninger om alvorlighetsgrad finnes ikke i de pasientadministrative dataene. Vi arbeider med å få disse opplysningene fra Hjerte- og karregisteret, slik at alvorlighetsgrad kan inkluderes som justeringsfaktor.
En kvalitetsindikator gir kun en indikasjon på kvalitet, det er ikke et direkte mål på kvalitet. Å identifisere enkelte sykehus med høyere eller lavere overlevelse er derfor ikke ensbetydende med at de leverer henholdsvis svært god eller svært dårlig kvalitet. Kvalitetsforbedringstiltak som er iverksatt etter at det ble publisert diagnosespesifikk 30-dagers overlevelse i 2011, tyder på at det er nyttig å bruke overlevelse som en nasjonal kvalitetsindikator i forbedringsarbeid (2).
Litteratur
1. Asplin M, Fagermoen E. Hvordan sammenlikner vi kvaltiet i helsetjenesten? Tidsskr Nor Legeforen 2015; 135:1112 – 3
2. Kristoffersen DT, Helgeland J, Waage HP et al. Survival curves to support quality improvement in hospitals with excess 30-day mortality after acute myocardial infarction, cerebral stroke and hip fracture: a before-after study. BMJ Open. 2015 Mar 25;5(3):e006741.
06.07.2015
Forfatterne svarer:
Vi har med glede lest kommentaren fra Kristoffersen og medarbeidere fra Nasjonalt kunnskapssenter for helsetjenesten, til vårt debattinnlegg omkring sammenlikning av kvalitet på helsetjenester. Kommentaren utdyper og gir innsikt i kvalitetsindikatorsystemet slik det presenteres på helsenorge.no. Det er en viktig presisering at det som på helsenorge.no fremstilles som en rangering av institusjonenes behandlingsresultater ikke nødvendigvis er et uttrykk for ulik behandlingskvalitet. Dette er likevel noe uklart og ikke innlysende slik det presenteres. Signifikant avvikende behandlingsresultater vil etter vår mening bedre kunne fanges opp og synliggjøres ved å presentere forventede verdier med konfidensintervaller basert på resultater fra hele gruppen av behandlingsinstitusjoner.
Vi er glade for at det er enighet om at kvalitetsindikatorer av typen behandlingsresultater må risikojusteres for å gi mening. Vi anser alvorlighet av sykdom for å være viktigste prediktor for behandlingsresultatet - det er de sykeste pasientene som dør. Etter vår mening svekker det mulighetene til troverdige konklusjoner når behandlingsdata presenteres uten at alvorlighet av sykdom inngår i risikojusteringen. Det er betryggende å registrere at Kunnskapssenteret er klar over problemstillingen og jobber med saken.
Vi håper at også Helsedirektoratet merker seg dette, slik at de er varsomme med å fordele penger/ressurser basert på indikatortall, før en mer fullstendig risikojustering av tallene foreligger. Av samme grunn er det også lite trolig at pasientene finner støtte i tabellene på helsenorge.no, slik at de kan ta informerte valg når de søker etter trygge steder å la seg behandle – slik det legges opp til med fritt sykehusvalg.
Utfordringene omkring presentasjon og sammenlikning av kvalitet på helsetjenester er store for alle aktører. Vi håper at ordvekslingen her kan belyse deler av kompleksiteten.
17.07.2015
Asplin og Fagermoen belyser noen viktige temaer som det er grunn til å ha en bred diskusjon om (1). Hvordan måler vi kvalitet? Hvordan sikrer vi at de dataene som samles inn er kvalitetssikret, herunder risikojustert? Og hvordan sikrer vi at dataene blir gjort tilgjengelig for brukerne av helsetjenesten på en god måte?
Gode og tilgjengelige data er viktige for å utvikle pasientens helsetjeneste. Pasienter og pårørende trenger informasjon for å kunne bli involvert i egen behandling og ta egne valg. Helsepersonell, kommuner og helseforetak trenger gode data for å kunne drive lokalt forbedringsarbeid. Ikke minst trenger politikerne gode data som grunnlag for overordnede beslutninger.
Når bruken av dataene er så vid og så viktig, er det avgjørende at kvaliteten på dataene er så god at de gir et reelt bilde av situasjonen. Helsedirektoratet og Nasjonalt kunnskapssenter for helsetjenesten jobber kontinuerlig med å forbedre datakvaliteten, herunder indikatorer og gode målinger. Som med all annen medisinsk kunnskap, er kunnskapen om metoder for målinger i stadig endring. Derfor er det viktig at helsepersonellet jobber sammen med forvaltningen på dette området. På initiativ fra Helsedirektoratet er det etablert et prosjekt med overordnede kvalitetsindikatorgrupper innen somatikk, psykisk helsevern og rus, samt kommunale helse- og omsorgstjenester (2). Dette er et samarbeid mellom helseforvaltningen, helseforetakene og kommunene.
Helsedirektoratets overordnede mål for kvalitetsarbeidet er å bidra til utvikling og implementering av et helhetlig, nasjonalt kvalitetssystem som:
- Gir helsetjenester av høy og etterprøvbar kvalitet
- Gir kontinuerlig fokus på kvalitetsforbedring og effektivisering
- Gir pasienter, brukere og pårørende grunnlag for valg av helse- og omsorgstjenester
- Gir myndigheter, helsepersonell og virksomhetsledere verdifull styringsinformasjon
Dette arbeidet er en kontinuerlig prosess, og forutsetter et godt samarbeid mellom den sentrale helseforvaltningen og helsepersonellet som jobber nært pasientene. Det forutsetter også medvirkning av brukerne av helse- og omsorgstjenestene. Innspill som det Asplin og Fagermoen kommer med er svært velkomne.
Litteratur
1. Asplin M, Fagermoen E. Hvordan sammenlikner vi kvalitet i helsetjenesten. Tidsskr Nor Legeforen 2015; 135:1112 – 3
2. Om nasjonale kvalitetsindikatorer. Helsedirektoratet. https://helsedirektoratet.no/statistikk-og-analyse/kvalitetsindikatorer/om-nasjonale-kvalitetsindikatorer (20.7.15)
28.07.2015
Asplin & Fagermoen skriver reflektert om problemene med kvalitetsmåling i helsetjenesten (1). Formen er mild, men konklusjonen drepende: Er rangeringen av sykehus på helsenorge.no troverdig? Svarene fra helsebyråkratiet er dessverre forutsigbart "god-dag-mann-økseskaft": Doris Tove Kristoffersen og medforfattere skriver om statistiske metoder som ikke kan fange opp de systematiske feilene Asplin & Fagermoen påpeker. Og Cecilie Daae og medforfattere skriver om Helsedirektoratets luftige visjoner.
Sakens kjerne er denne:
•Helsedirektoratet og Kunnskapssenteret går langt i å innrømme at dagens system er uegnet til å rangere sykehus, bl.a. pga. utilstrekkelig risikojustering og justering for sykehusenes ulike roller.
•Likevel publiseres resultatene på helsenorge.no på en måte som inviterer pasienter til å tro de kan få vite hvor de får best behandling og pressen til å publisere pikante rangeringer.
•En halv milliard kroner av helsebudsjettet skal fordeles ut fra disse rangeringene (2), til tross for at deres grad av presisjon altså ikke gjør dem egnet for det.
•Rangeringer påvirker kodepraksis - sterkere dess sterkere incentiver de er koblet til. Det kan ikke justeres vekk statistisk. Sørg for å kode alle pasienter med lett forhøyede troponinverdier som "hjerteinfarkt", alle med kraftig bronkitt som "pneumoni" og alle med uspesifikke nevroradiologiske funn som "hjerneslag", og du får i pose og sekk: Høy DRG-refusjon og høy kvalitetsskår. Slike betraktninger er blitt hverdagen i de kliniske miljøene. Det trekker helsepersonellets oppmerksomhet vekk fra det som faktisk betyr noe for behandlingskvaliteten.
•Kvalitetsindikatorene kan påvirke behandlingspraksis på måter som kan være uønsket. Dels ved at sykehusene forsøker å unngå pasienter med høy risiko, og dels ved at metoder som "teller" anvendes også der annen behandling hadde vært best (3).
•Kvalitetsindikatorene gir mye arbeid for sykehusenes og helseforetakenes omdømmebyggere (informasjonskonsulenter), for å fremheve de gode tallene og bortforklare de dårlige. Informasjonsstabene vokser, og de kliniske miljøene må bruke mer av sin tid på å gi dem data. Dette systemet får ikke helsetjenesten til å gi god behandling, men får det til å se ut som behandlingen er god.
Det er derfor høy risiko for at arbeidet med kvalitetsindikatorer - gjennom indirekte effekter som er åpenbare sett fra grunnplanet, men dårlig forstått i byråkratiet - fører til kvalitetsforringelse snarere enn forbedring.
Selvsagt skal alle som gir helsetjenester evaluere kvaliteten, men evalueringen må være relevant i den konteksten behandlingen gis. Slik egenevaluering har gode tradisjoner i helsetjenesten, men synes nå å avta, trolig fordi man i stedet strever for å rapportere "pene" tall tjenestevei. Det er ikke kjent hva ovenfra-og-ned-arbeidet med kvalitetsindikatorer koster, men bare de direkte utgiftene må være på mange millioner. Disse pengene ville vært bedre anvendt til reell kvalitetsforbedring der helsetjenestene faktisk gis.
Litteratur
1. Asplin M, Fagermoen E. Hvordan sammenlikner vi kvalitet i helsetjenesten? Tidsskr Nor Legeforen 2015; 135:1112 – 3.
2. Meld. St. 10 (2012 – 2013). God kvalitet – trygge tjenester — Kvalitet og pasientsikkerhet i helse- og omsorgstjenesten. www.regjeringen.no/nb/dokumenter/meld-st-10-20122013/id709025/ (29.7.2015).
3. Frøyshov HM. Hva er god behandling ved akutt hjerneslag? Tidsskr Nor Legeforen 2015; 135: 625.
06.08.2015
Debattinnlegget til Asplin og Fagermoen (1) har ført til gode kommentarer og ytterligere påpeking av begrensningene for noen av de 79 kvalitetsindikatorene som pr mai 2015 publiseres på helsenorge.no. Daae og medforfattere minner om at det er mange brukere og flere aspekter som skal belyses av et nasjonalt indikatorsystem.
Wyller skriver bl.a. at «…Kunnskapssenteret går langt i å innrømme at dagens system er uegnet til å rangere sykehus». Dette krever en kommentar: Når vi sorterer usikre tall, vil rangeringen, dvs rekkefølgen, bli usikker. Dette skyldes den statistiske variabiliteten i tallene, som det er vanskelig å gjøre noe med. Selv med perfekt datakvalitet og perfekt justering for forskjeller i pasientsammensetning, vil vi ikke kunne gi en sikker rangering. Dette er grunnen til at vi advarer mot tolkning av rekkefølgen i tabellen over indikatorer (2). Ved bruk av statistiske metoder våger vi imidlertid å påstå at noen sykehus gjør det bedre eller dårligere enn gjennomsnittet. Forslaget fra Asplin og Fagermoen om å presentere konfidensintervall, kan bidra til å illustrere den statistiske usikkerheten som er i overlevelsessannsynlighetene.
Kunnskapssenteret mener at det er nyttig å ha et nasjonalt kvalitetsindikatorsystem. Internasjonalt anerkjennes bruken av indikatorer (3), og mange land har utviklet indikatorsystemer. Hvis et sykehus kommer signifikant dårligere ut enn andre sykehus, bør sykehuset gå gjennom egne data og praksis. Dette kan gi innsikt i om sykehuset gir suboptimal behandling eller har avvikende kodepraksis. Blant tre norske sykehus som kom signifikant dårligere ut da 30-dagers overlevelse ble publisert i 2011, førte gjennomgang av datagrunnlaget til at sykehusene fikk bedre forståelse av egne data og kvalitetsforbedringstiltak ble satt i gang eller videreført (4).
Overlevelse og reinnleggelse er basert på pasientadministrative data som er relativt billige og lett tilgjengelige. Slik registrering for å dokumentere pasientbehandlingen har foregått i mange år, og har vært brukt til innsatsstyrt finansiering. Vi tror at alle tilstreber riktigst mulig kodebruk. Ettersom mengden av kvalitetsregistre i Norge er økende, vil vi etter hvert kunne utnytte data fra begge kilder.
Litteratur
1. Asplin M, Fagermoen E. Hvordan sammenlikner vi kvalitet i helsetjenesten. Tidsskr Nor Legeforen 2015; 135:1112-3
2. Lindman AS, Hassani S, Kristoffersen DT et al. 30-dagers overlevelse og reinnleggelse ved norske sykehus for 2013. Notat 2014 Kunnskapssenteret.
Oslo 2014
3. Schold JD, Nicholas LH. Considering potential benefits and consequences of hospital report cards: what are the next steps? Health Serv Res 2015; 50(2): 321-329
4. Kristoffersen DT, Helgeland J, Waage HP et al. Survival curves to support quality improvement in hospitals with excess 30-day mortality after acute myocardial infarction, cerebral stroke and hip fracture: a before-after study. BMJ Open. 2015 Mar 25;5(3):e006741.
Kommentarer