Kvalitetsindikatorer benyttes i Norge og mange andre land for å belyse kvaliteten i sykehus. Det må stilles strenge krav ved utviklingen av kvalitetsindikatorer, slik at de er gyldige, pålitelige og anvendbare. Det er grunn til å stille spørsmål om dette alltid oppfylles. For å bidra til at arbeidet på dette området kan styrkes i Norge, har Nasjonalt kunnskapssenter for helsetjenesten igangsatt et prosjekt som tar sikte på å oppsummere internasjonal forskning og erfaring med utvikling og bruk av kvalitetsindikatorer i sykehus. I denne kronikken beskriver vi noen internasjonale utviklingstrekk.
Illustrasjon Kari Stai, Patron
Anvendelse av kvalitetsindikatorer for overvåking av tjenestenes ytelser kan ha flere formål. Myndigheter og eiere av helseinstitusjoner har forventninger om at kvalitetsindikatorer skal gi relevant styringsinformasjon og bidra til en åpenhetskultur knyttet til sykehusenes faglige standard og resultatoppnåelse. Like viktig er det at arbeidet på dette området kan bidra til at helsepersonell kontinuerlig følger med på klinisk praksis og forbedrer kvaliteten på det de leverer. Flere land publiserer rapporter om kvalitetsvurderinger rutinemessig, og noen steder utarbeides rankinglister for sammenlikninger av sykehusenes kvalitet og effektivitet (1).
Utvikling av indikatorer, innsamling av data, analyse og rapportering, er imidlertid hver på sin måte omfattende og kompetansekrevende oppgaver (1 – 3). En systematisk tilnærming, med åpne og etterprøvbare prosesser og bruk av vitenskapelige metoder er ressurskrevende, men vil kunne bidra til å skape troverdighet og aksept for de valgte systemene. Ukritisk utvelgelse og bruk kan derimot føre til at helsetjenesten bruker ressurser på å samle inn og bearbeide data som ikke kan benyttes til forbedring av tjenestene, verken som styringsinformasjon eller i klinisk praksis.
Tidsskriftet har i flere innlegg tatt opp mange av disse utfordringene, blant annet betenkeligheter ved å bruke slike indikatorer som grunnlag for rangering av sykehusene (4 – 6).
Hva er kvalitetsindikatorer?
Kvalitetsindikatorer er målbare variabler som skal si noe om et komplekst fenomen, som i seg selv er vanskelig å måle. Kvalitetsindikatorer som benyttes for å følge med på helsetjenestens kvalitet, knyttes gjerne opp mot vurderinger av om bestemte krav eller standarder er oppfylt. Dette kan for eksempel gjøres gjennom normative beslutninger, ved kunnskapsbaserte kvalitetsstandarder eller ved å foreta sammenlikninger med andre (1 – 3, 7, 8).
Det er vanlig å dele inn kvalitetsindikatorer i struktur-, prosess- eller resultatmål. Strukturmål retter seg mot forhold som helsesystemets kapasitet, personalets kompetanse, osv. Prosessmål evaluerer i hvilken grad klinisk praksis er i samsvar med det som anses å være optimale prosedyrer for utredning og behandling. Resultatmål gir informasjon om de helsemessige effektene av behandlingen, for eksempel funksjon eller overlevelse. Det foreligger ikke konsensus om hvilke av disse kvalitetsmålene som helst bør velges, eller hvordan sammenhengen mellom dem er. Ulike tilnærminger har sine fordeler og ulemper, og det er viktig at det tas hensyn til dette ved utviklingen av indikatorsystemene (1 – 3, 9). Prosessmål kan synes særlig aktuelle fordi de ofte kan baseres på vitenskapelig dokumentasjon av høy kvalitet (f.eks. om pasienter etter akutt hjerteinfarkt får forskrevet acetylsalisylsyre), samtidig som dataene gjerne er relativt enkle å innhente og analysere. Imidlertid gjelder dette bare for en liten andel av prosedyrene som regnes som god praksis, selv ved tilstander som er så mye studert som hjerteinfarkt. Resultatmål på sin side, som dødelighet etter infarkt, vil kanskje ha større interesse for pasienter og myndigheter fordi de er direkte uttrykk for hvordan det går med pasientene. Resultatmål er imidlertid beheftet med flere analytiske begrensninger; bl.a. kan ulikheter i pasientsammensetning påvirke mortalitetsratene (10).
Overordnede rammeverk
De begrepsmessige rammene for kvalitetsindikatorer har ikke vært like eksplisitte gjennom årene. Det var lenge stor oppmerksomhet på strukturmål, som sykehusenes kostnadseffektivitet og produktivitet. I den senere tid har prosessmål og resultatmål knyttet til behandlingskvaliteten og sikkerheten i sykehusene vært kilde til økende interesse (1).
Flere land, som Australia, Canada, Storbritannia, USA, Danmark og Sverige, har de senere årene utviklet rammedokumenter som del av sine overordnede strategier for evaluering av tjenestenes kvalitet (1, 8, 11, 12). Også paraplyorganisasjoner som Verdens helseorganisasjon (WHO) og Organisasjonen for økonomisk samarbeid og utvikling (OECD) deltar på arenaen med kartlegging og evaluering av begrepsmessige rammer og modeller og med utvikling og testing av kvalitetsindikatorsett for nasjonal og til dels internasjonal anvendelse (7, 11, 13, 14). Rammedokumentene klarlegger gjerne underliggende verdier, referanserammer og mål for kvalitetsindikatorarbeidet og fastsetter hvordan ulike interessegrupper bør delta i utviklingen og implementeringen. Andre temaer er hvordan man kan utvikle kunnskapsbaserte og robuste indikatorsystem som gir et balansert bilde av tjenestekvaliteten, men som samtidig holder antallet indikatorer på et håndterbart nivå.
Ifølge OECD som har evaluert noen av medlemslandenes policytilnærminger for kvalitetsindikatorarbeidet, finnes mange fellestrekk, for eksempel de viktigste dimensjonene som var valgt for kvalitetsmålingene: effekt, sikkerhet, pasientorientering, tilgjengelighet, likeverd og effektivitet (14).
Et av landene det er aktuelt å følge utviklingen i, er USA, hvor det de senere årene har vært flere initiativ for å følge med på tjenestekvaliteten (3, 11). Imidlertid har mangfoldet av nasjonale aktører ført til ulike metodetilnærminger og problemer med å kunne sammenlikne data. Nylig la Institute of Medicine (IOM) frem et forslag med beskrivelse av overordnede rammer og en modell for et nasjonalt kvalitetsindikatorsystem. Viktige prinsipper i deres nye forslag er at det nasjonale systemet må utvikle helhetlige og omfattende indikatorer innen de viktigste kvalitetsdimensjonene, at indikatorene er kunnskapsbaserte, at tjenestekvaliteten må følges over tid og på tvers av tjenestenivåene samt at pasienterfaringer må vektlegges (ramme 1) (3).
Ramme 1
Foreslåtte prinsipper for utvikling av nasjonalt kvalitetsindikatorsystem fra Institute of Medicine, USA 2006 (3)
Helhetlige og omfattende mål. Systemet bør fremme forbedring innen områdene: trygge helsetjenester, gitt til rett tid, medisinsk effektive, kostnadseffektive, pasientsentrerte, rettferdig fordelte.
Kunnskapsbaserte mål. Systemet bør baseres på sett av evidensbaserte mål for kvalitetsforbedring.
Longitudinelle mål. Systemet bør monitorere tjenestekvaliteten over tid og på tvers av tjenestenivåene.
Multiple formål. Systemet bør kunne nyttes til flere formål, herunder støtte for intern kvalitetsforbedring, styringsinformasjon, offentlig publisering, etc.
Data fra klinisk rutine. Datagrunnlaget for indikatorene bør hentes fra dokumenter som inngår i rutinemessige oppgaver.
Mål på pasienterfaring. Systemet bør ha sentral betydning for brukerne.
Mål for ulike nivåer. Systemet bør evaluere helse- og tjenestetilbud både på individnivå, populasjonsnivå og systemnivå, herunder også udekkede behov.
Mål på samordning av tjenestene. Systemet bør evaluere både individuelle tjenesteytere og tjenestenes evne å ta delt ansvar for pasientene.
Mål på systemets læringsevne. Monitoreringssystemet bør kontinuerlig evaluere egen funksjon og kvalitet.
Uavhengig og bærekraftig. Systemet bør finansieres og organiseres slik at uavhengighet og kontinuitet sikres.
Arbeidet med å utvikle rammeverk har gitt verdifull erfaring. Selv om dette er tidkrevende prosesser, gir de en viktig forutsetning for å etablere et overordnet og helhetlig perspektiv på tjenestenes kvalitet. I Norge er det nå tatt til orde for å starte arbeid med å sette kvalitetsindikatorer inn i en felles forståelsesramme (15).
Hvordan velge gode indikatorer?
Metodene som beskrives for utvelgelse av kvalitetsindikatorer i ulike land, har også mange likhetstrekk. Det dreier seg om systematiske tilnærminger der kunnskap fra vitenskapelig dokumentasjon eller kliniske retningslinjer kombineres med kollektive ekspertbedømmelser: såkalte formaliserte konsensusprosesser (2). Målet er at indikatorene er vurdert i henhold til eksplisitte kriterier som relevans, nytte, kunnskapsgrunnlag og gjennomførbarhet. Tabell 1 gir en nærmere beskrivelse av de ulike trinnene i prosessen, slik rutinen er i det danske kvalitetsindikatorprosjektet (2). I seleksjonsprosessen vurderes bl.a. om det som måles er viktig i helsepolitisk sammenheng, om det har stor betydning for sykdoms- eller helseforhold, og om det kan påvirkes av behandler eller system. Ved oppsummeringen av den forskningsbaserte kunnskapen for aktuelle metoder og standarder benyttes gjerne samme tilnærming som ved systematiske litteraturoversikter. I de mest omfattende systemene undersøkes de utvalgte indikatorene i empiriske tester med aktuelle datasett for å bestemme graden av presisjon, seleksjonsskjevhet og konstruksjonsvaliditet. I dette ligger bl.a. at det som måles ikke skyldes tilfeldighet, at man er i stand til å korrigere for skjevheter knyttet til pasientkarakteristika og at det kan observeres sammenheng mellom indikatoren eller indikatorsettet og andre indikatorer for tilsvarende type kvalitet (2, 3, 7, 10, 14).
|
Tabell 1 Anbefalte trinn i utvelgelse, utvikling og testing av kliniske indikatorer, etter J. Mainz (2)
|
|
Planleggingsfase
|
1. Prioritere/velge klinisk område for evaluering
|
|
– Bestemme relevans/betydning (eks. høyt volum, kostnader, variasjon)
|
|
– Identifisere muligheter for klinisk intervensjon
|
|
|
|
2. Organisere konsensusgruppe
|
|
– Selektere gruppemedlemmer
|
|
– Organisere og fordele oppgaver
|
|
|
|
Utviklingsfase
|
3. Fremskaffe oversikt over eksisterende kunnskapsgrunnlag og praksis
|
|
– Presentere vitenskapelig dokumentasjon for potensielle indikatorer
|
|
– Etablere konsensus om eksisterende kunnskap og praksis
|
|
|
|
4. Selektere kliniske indikatorer og standarder
|
|
– Selektere prosessindikatorer
|
|
– Selektere resultatindikatorer
|
|
– Identifisere prognostiske faktorer (risikojustering)
|
|
– Etablere prosedyrer for og konsensus om rangering
|
|
|
|
5. Utforme indikatorspesifikasjoner
|
|
– Definere indikatorene og standardene
|
|
– Identifisere målgruppe (populasjon)
|
|
– Bestemme inklusjons- og eksklusjonskriterier
|
|
– Konstruere strategi for risikojustering
|
|
– Identifisere datakilder
|
|
– Beskrive prosedyrer for datainnsamling
|
|
– Utvikle plan for analyse av data
|
|
|
|
6. Utføre pilottesting
|
Utvikling av gode indikatorer fordrer således bruk av åpne og etterprøvbare metoder med grundig vurdering av eksisterende dokumentasjon. Dette kan igjen bidra til økt legitimitet og at fagmiljøene føler eierskap til systemene.
Datainnhentings- og tilbakemeldingssystemer
I tillegg til beskrivelsen av indikatorene og det datagrunnlag de skal baseres på, må det operative systemet for målingene komme på plass og fungere.
Datakilder som pasientadministrative systemer, elektroniske journaler og kliniske kvalitetsregistre gir ulike forutsetninger for kvalitetsindikatorer når det gjelder kompletthet, validitet og reliabilitet. Primære data, dvs. data som innhentes prospektivt for spesifikke kvalitetsmålinger, kan representere de mest valide og pålitelige informasjonskildene, fordi det da er definert nøyaktig hvilke pasientopplysninger som er nødvendige. Dersom elektroniske pasientjournaler skal benyttes, må standard dataspesifikasjoner defineres for indikatorberegningene, og disse må inkorporeres i systemene (2).
Innarbeidet i de operative systemene finnes også ofte konkrete analyseplaner og verktøy for tilbakerapportering til det eller de nivåer som er valgt i rammemodellen. I det danske kvalitetsindikatorprosjektet gis det for eksempel både løpende tilbakemelding til de enkelte avdelinger på egne ujusterte data, så vel som årlige rapporteringer, hvor til dels justerte resultater og kommentarer offentliggjøres til avdelinger, ledelse og publikum (16).
Ved utviklingen av gode indikatorsystemer er altså datatilgjengelighet og datakvalitet på institusjonsnivå en svært viktig forutsetning. Imidlertid bør hva som finnes av etablerte datasystem ikke i for stor grad påvirke indikatorvalgene. Når situasjonen tilsier det, må metoder for prospektiv datainnhenting inngå i systemutviklingen.
Å publisere eller ikke publisere?
Offentliggjøring av indikatorverdier fra enkeltsykehus er blitt stadig mer vanlig fra midten av 1980-tallet. I USA finnes det flere hundre rapporteringssystem på tjenestekvalitet, der data produsert av myndigheter, tjenesteytere, kommersielle aktører og brukerorganisasjoner benyttes. Disse aktivitetene representerer nå en millionindustri (17, 18). I Storbritannia har en økende mistillit til profesjonenes evne til egenregulering, sammen med flere skandaler i helsetjenesten (som «the Bristol case»), ført til politisk grobunn for mer overvåking av tjenestene og profesjonene, bl.a. med obligatorisk deltakelse i rapporteringssystem. Også i Australia, Canada, Danmark, Nederland og i vårt eget land offentliggjøres resultater av indikatorberegninger (18, 19).
Offentliggjøring av slike resultater er, ikke overraskende, ofte kontroversielt. I mange land foregår en livlig debatt om formål og fokus for publiseringen. Eksempler på tema er om indikatorsystemene i tilstrekkelig grad er i stand til å uttrykke kompleksiteten i sykehusenes funksjoner, eller om de overforenkler. Andre diskusjonstemaer er om deltakelse i systemene bør være frivillig eller obligatorisk og om tiltaket bør være knyttet til positive incentiver eller til sanksjoner. Det er også spørsmål om i hvilken grad data bør anonymiseres eller om institusjoner og helsepersonell bør være identifiserbare og i hvilken grad publisering fører til utilsiktede effekter som at tjenestene «tilpasser seg» (1, 17 – 21).
Det er kanskje overraskende, sett på bakgrunn av den betydning man de senere år har tillagt bruken av kvalitetsindikatorer, hvor lite som er gjort av forskning omkring positive og negative effekter av publisering (17, 22). Likevel er det sannsynlig at offentliggjøring av kvalitetsdata er kommet for å bli. Det er derfor viktig å utvikle strategier for å optimalisere effekten av rapporteringssystemene og å få formidlet informasjonen best mulig.
Kunnskapssenterets prosjekt
Arbeidet enkelte land og internasjonale organisasjoner har lagt ned i overordnede rammeverk og teoretiske tilnærminger, synliggjør at det er behov for større systematikk på dette området i Norge. Flere aktører, bl.a. Sosial- og helsedirektoratet, Helse- og omsorgsdepartementet, regionale helseforetak og ulike fagmiljøer, benytter indikatorer for å evaluere kvaliteten i helsetjenesten, men med ulike begrepsmessige og metodiske tilnærminger. Med unntak av indikatorer fra pasienterfaringsundersøkelser har utviklingsarbeidet med nasjonale kvalitetsindikatorer for sykehus i stor grad vært basert på grunnlag av skjønn og ikke formaliserte konsensusprosesser eller valideringsstudier.
Etter vår oppfatning er det behov for å systematisere kunnskapen fra andre lands forskning og erfaring på dette feltet. Gjennom Kunnskapssenterets prosjekt ønsker vi å utarbeide en uavhengig informasjonsressurs, som både forvaltningen, sykehusledelse og fagmiljøene kan dra nytte av ved utviklingen av mer helhetlige og målrettede systemer for kvalitetsmålinger i helsetjenesten (23). Tema for kartleggingen vil bl.a. være teoretiske og metodemessige tilnærminger som systemene er basert på, hvilke krav som er stilt til vitenskapelig dokumentasjon og eventuell empirisk testing, eventuelle kriterier for normering, standardisering og rapportering og ikke minst effektene av bruk og offentliggjøring i forhold til formålet med målingene.
Vi ser imidlertid at selv om internasjonale erfaringer kan gi nyttig kunnskap, så vil det fortsatt være mange utfordringer knyttet til indikatorarbeidet. Selv om forskjellige indikatorsett kan ha sine styrker, vil de være forbundet med begrepsmessige, metodemessige og praktiske dilemmaer. I alle systemer må det foretas avveininger mellom rigorøse vitenskapelige krav og gjennomførbarhet. Det er også usikkert i hvilken grad kvalitetsindikatorer som er utviklet for sykehus i ett land, lar seg overføre til andre land med annen kontekst. Dette er forhold vi vil ta hensyn til i vårt videre arbeid på området.
