Om å sammenlikne sykehusprestasjoner

Hva sammenliknes og hvordan?

Komparative studier i sykehussektoren brukes oftest for å vurdere sykehusenes effektivitet og produktivitet. Effektivitet og produktivitet er begreper som ikke brukes entydig, og i dagligtalen brukes ofte begrepene om hverandre fordi de henger så tett sammen. Produktivitet er generelt hvor mye som skapes, mens effektivitet er hvorvidt arbeidet er virkningsfullt. Produktivitet er rent beskrivende, mens effektivitet er et normativt begrep ved at prestasjonene til sykehuset måles i forhold til en norm (5). Forskjellen mellom produktivitet og effektivitet kan illustreres med en arbeidstaker som etter åtte timers arbeidsdag er sliten og lurer på om han skal gå hjem. Han er fortsatt produktiv, men ikke lenger effektiv. Produktive sykehus er sykehus som har høy produksjon, mens ved effektive sykehus er dette relatert til arbeidsinnsats. Sykehus med lav produksjon kan likevel være effektive fordi de utnytter ressursene godt. I økonomiske analyser blir skillet essensielt, fordi defineringen av effektivitet og produktivitet bestemmer hvordan disse måles og hvordan analysene må tolkes. Allerede i NOU 1974: 59 (Effektiviseringsvirksomheten i sykehussektoren) (6) pekes det på behovet for et ”utvidet effektiviseringsbegrep”, og i NOU 1981: 25 (Medisinsk rasjonalisering) (7) lanseres begrepene indre og ytre effektivitet (fig 1) (5). Økonomer vil kalle ytre effektivitet for allokeringseffektivitet – hensiktsmessigheten av å bruke ressurser på akkurat de tjenester og kvaliteter man produserer i forhold til helsepolitiske mål. Den indre effektiviteten relateres til en norm om hva sykehuset burde kunne produsere ut fra gitt arbeidsinnsats – forholdet mellom faktisk og antatt maksimal produktivitet. Det forutsettes at kvaliteten holdes konstant.

I økonomiske modeller er det som oftest den indre effektiviteten som sammenliknes. Det sondres mellom to typer indre effektivitet: Kostnadseffektivitet , der effektivitet er målt ut fra kroner og ører, og teknisk effektivitet , der innsatsfaktorene gjerne er årsverk og antall senger.

I økonomiske analyser ser man på sykehusenes bruk av ressurser ved produksjon av helsetjenester. Dette innebærer at analysens formål blir om man gjør tingene ”riktig”, men analysen fanger ikke opp om man gjør de riktige tingene. Kritikken mot økonomiske modeller er gjerne rettet mot dette; mot de avgrensninger som gjøres og at man ikke vurderer ”bredere” aspekter ved helsetjenestene, for eksempel kvalitet, helseforbedring og prioriteringseffektivitet (5, 8, 9). Et argument for å måle sykehusenes prestasjoner kun ut fra sykehusenes indre effektivitet er at helsetjenesteforskning har vist at befolkningens livsstil har vel så stor betydning for helseresultatene som selve helsetjenesteproduksjonen (10, 11). Men det er viktig å påpeke at når forhold som kvalitet og helseforbedring ikke trekkes inn i modellene, skyldes det begrensningene i datamateriale og hva som lar seg kvantifisere (12).

I Norge har SAMDATA-publikasjonene (13 – 16) vært basis for diskusjonen om sykehusenes effektivitet. Her offentliggjøres tall fra det enkelte sykehus hva gjelder ressursbruk, sengetall, personalressurser, antall behandlede mv. Siden 1989 er det publisert sammenlikninger av kostnadseffektivitet målt som forholdet mellom kostnader og aktivitet korrigert for pasientsammensetning (15, 16).

Figur 1   Ulike effektivitetsmål brukt ved måling av sykehusenes effektivitet (5)

Figur 2   Prinsippskisse over data envelopment analysis (DEA)-metoden (20)

DEA-metoden

Men det finnes også andre metoder for å måle effektivitet. Den for tiden hyppigst anvendte metoden er en såkalt DEA-metode (Data Envelopment Analysis) (17 – 19). Her tas det utgangspunkt i den indre effektiviteten (forholdet mellom faktisk produktivitet og høyest mulige produktivitet).

I korte trekk måles effektiviteten ved at man definerer ”beste praksis” og rangerer resten av sykehusene i forhold til denne. I modellen sammenstilles flere innsatsfaktorer og produkter. Modellen åpner opp for at det kan finnes ulik sammensetning av innsatsfaktorer. De sykehusene som får mest ut av sine andeler med innsatsfaktorer, danner en front som de andre sykehusene kan måles mot. Dette kan illustreres i en prinsippskisse (fig 2) (20), der det for enkelhetens skyld kun sees på forholdet mellom én innsatsfaktor og ett produkt (21). Sykehusene A, B, C og D er ut fra sine forutsetninger effektive sykehus. De har lavest ressursbruk for en gitt produksjon. Metoden tar hensyn til sykehusenes størrelse, slik at de sykehusene som danner fronten, varierer med andelen de bruker av ulike innsatsfaktorer, men de er likevel effektive sykehus enten de utnytter stordriftsfordeler eller fleksibiliteten og oversiktligheten i å være små sykehus (20, 21). Den rette linjen R viser effektiviteten hvis man ikke tar hensyn til betydning av størrelse. Avstanden fra denne linjen kan tolkes som betydningen av fordeler eller ulemper ved å være enten et stort eller et lite sykehus. Avstanden fra linjen er et uttrykk for hvor mye av effektivitetspotensialet som skyldes volumet av produksjonen. På denne måten kan man tolke sykehus Ks plassering i diagrammet som at det kunne vært tjent med å øke produksjonsvolumet h , gitt den høye andelen bruk av innsatsfaktor n.

Metoden har den fordel at den lett håndterer situasjoner med flere ”produkter”, som for eksempel antall innleggelser eller antall polikliniske konsultasjoner. Den legger få restriksjoner på den teknologien (prosedyrer og andel av ulike innsatsfaktorer) som definerer beste praksis, og den håndterer sammenlikning av effektivitet mellom sykehus som varierer både med hensyn til pasientsammensetning og størrelse.

En svakhet ved modellen er at den er sensitiv for om ulike innsatsfaktorer eller produkter utelates eller inkluderes i modellen. Hvis for eksempel enkelte produkter utelates i modellen, kan et sykehus feilaktig klassifiseres som lite effektivt fordi det brukes ressurser til nettopp en eller flere av de produktene som er utelatt, for eksempel utdanning. Men tilsvarende kan det være problematisk å ta med produkter av marginal betydning, fordi enkelte sykehus da blir klassifisert som effektive, til tross for at de bruker ressurser på ubetydelige produkter (22).

Samtidig gir denne modellen muligheter for å undersøke ulike sider ved sykehusene ved at ulike mål kan studeres. Det er mulig å se på enkelte produksjonsmål og hvordan sykehusene utnytter enkelte innsatsfaktorer. For eksempel kan man se på legeproduktiviteten isolert og relativt i forhold til sykehusets totale effektivitet. Resultatene av slike studier kan gi grunnlag for å vurdere om enkelte innsatsfaktorer bør økes eller reduseres. Hagen og medarbeideres studier av sykehusenes effektivitetsutvikling fra 1997 til 1998 viser at sykehusenes totale effektivitet har økt i perioden, mens legeproduktiviteten er redusert (19).

Det finnes seks studier der man bruker DEA-metoden for å analysere effektivitetspotensialet ved norske sykehus (14, 19, 23 – 26). Disse studiene indikerer at norske sykehus har et effektivitetspotensial på 6 – 9 %. Dette er ikke mye, sammenliknet med DEA-analyser som er gjort av andre sektorer i offentlig forvaltning. Disse studiene viser ofte et effektiviseringspotensial på over 20 % (11). Man bør være forsiktig med å trekke slutninger om samlet effektiviseringspotensial fra denne type studier. Både operasjonalisering av aktivitet og ressursbruk, samt antall sykehus som inngår i analysen, vil kunne påvirke gjennomsnittlig effektiviseringsnivå i betydelig grad. Denne typen analyser er best egnet til å sammenlikne grupper av sykehus samt utvikling over tid.

Et problem i forbindelse med komparative effektivitetsstudier er at sykehusenes interne variasjon ikke fanges opp og dermed ikke direkte kan inngå for å forklare årsaken til ineffektivitet. Data på avdelingsnivå eller også helt ned på de enkelte diagnoser ville gitt bedre informasjon til hjelp ved styringen av det enkelte sykehus. På denne måten ville man kunne sammenlikne hvordan den enkelte avdeling håndterer spesifikke pasientgrupper og hvor mye ressurser som blir brukt på dem. Dette er vanskelig å få til, fordi det enkelte sykehus har ulike måter å organisere virksomheten på. Det er for eksempel vanskelig å regne ut den kirurgiske virksomhets ressursbruk når enkelte sykehus ”blander” medisinske pasienter inn på de kirurgiske sengeavdelingene. Imidlertid lar det seg gjøre å lage modeller som tar hensyn til sykehusenes egenart. Ved å konstruere dikotome variabler (dummy) for hvert enkelt sykehus går det an å kontrollere for effekten av de enkelte sykehus, slik det blir gjort i studien av effekter av innsatsstyrt finansiering (19).

Figur 3   Prinsippskisse over flernivåmodell. Data om pasienter på nivå 1, data om sykehus på nivå 2 og data om fylkeskommuner på nivå 3

Internasjonale sammenliknende studier av sykehus

Det finnes kun én internasjonal komparativ studie der Norge er med. Dette er studien til Mobley & Magnussen, som bruker DEA-modellen i sine analyser av effektiviteten i nordamerikanske sykehus versus norske sykehus (31). Studien tar for seg 50 norske offentlige sykehus (universitetssykehus, spesialsykehus og sykehus som ikke hadde data om DRG var ekskludert) og 178 private sykehus fra California (sykehus som ikke lot seg sammenlikne med norske ble ekskludert), delt inn i urbane profittmaksimerende sykehus, urbane ikke-profittmaksimerende sykehus og ikke-urbane ikke-profittmaksimerende sykehus. Denne inndelingen ble gjort for å sammenlikne grupper av sykehus for så å se på betydningen av hvorvidt de var profittmaksimerende eller ikke. Det ble kontrollert for ulikhet i pasienttyngde. Innsatsfaktorene var senger og personell. Personell ble omregnet til legeårsverk og årsverk for annet personell.

Studien viser at norske offentlige sykehus generelt ikke har lavere effektivitet enn private amerikanske sykehus. I stor grad skyldes dette to forhold. For det første evner norske sykehus å utnytte kapasiteten langt bedre enn hva de amerikanske sykehusene gjør, og for det andre er det mindre variasjon mellom de norske sykehusene enn hva tilfellet er i USA. Mobley & Magnussen konkluderer med at beste praksis i Norge er på nivå med beste praksis i USA, men at det er færre sykehus med lav effektivitet i Norge (32). I denne studien, som bruker data fra 1991, påpekes det at konkurransen om kontrakter mellom sykehus i USA fører til dublisering av kapasitet og dermed til lav kapasitetsutnytting. Den utviklingen man senere har sett i USA, hvor store Health Maintenance Organizations (HMO) opererer mye i tråd med den britisk/skandinaviske modellen, kan forstås på bakgrunn av dette.

Det er ingen andre studier der man forsøker å sammenlikne effektiviteten i norske sykehus med effektiviteten i sykehus fra andre land. Det er imidlertid en rekke skandinaviske studier som bruker DEA-modellen for å gjøre nasjonale studier. I Finland har Linna gjort en sammenlikning av finske sykehus, med særlig vekt på undervisning og forskningsfunksjoner (33). I Danmark har Olesen & Petersen gjort en produktivitetsanalyse av 70 danske sykehus (22), og i Sverige har Färe og medarbeidere gjort en produktivitetsanalyse av 17 svenske sykehus i perioden 1970 – 85 (34). Se Linnas artikkel (33) for en fullstendig liste over utførte effektivitets- og produktivitetsanalyser på sykehus.

I tabell 1 er det gitt en oppstilling av hva slags data som eksisterer fra Norden og California. De nordiske landene har et stort potensial for sammenlikninger fordi datamaterialet her er såpass likt. Riktignok benyttes i norske og finske studier årsverk som en indikator for arbeidsinnsats, mens i svenske og danske studier benyttes lønn eller antall arbeidstakere som indikator.

Komparative studier i en helsepolitisk sammenheng

Komparative studier har et helsepolitisk aspekt ved at de ofte er knyttet opp til politiske beslutninger. Det er vanskelig å komme utenom at resultatene som forskerne kommer frem til i komparative studier, danner grunnlag for reformer i neste omgang. Dette gjør at det blir særdeles viktig å se på hva forskerne legger til grunn for valg av innsatsfaktorer og effektivitetsmål i sine analyser, og de begrensninger som ligger der.

Sammenlikninger mellom sykehus og spesielt fra ulike land vil ha klare begrensninger. Norske sykehus varierer for eksempel svært i størrelse. Det største sykehuset utfører like mange årsverk som de 22 minste sykehusene til sammen (13). Dette avspeiler at sykehusene kan ha ulike formål og funksjoner. Det er grunn til å tro at lokaliseringen av for eksempel Kirkenes sykehus er gjort ut fra helt andre kriterier enn effektivitetshensyn. Eksemplet viser hvor viktig det er å skille mellom beskrivelse og forklaring, særlig når komparative studier brukes som grunnlag for politiske avgjørelser.

Argumentet for at komparative studier bør brukes til å lage rangeringslister, er at det gir grunnlag for å danne bedre belønningssystemer. Det har vært vanlig at sykehus som ikke holder budsjettene, ”belønnes” ved at de nesten automatisk får dekket sine budsjettoverskridelser (35). Dette kan svekke legitimitetsgrunnlaget for en offentlig finansiering. Med effektivitetssammenlikninger vil sykehus som evner å vise god utnyttelse av ressursene, i større grad kunne bli belønnet enn sykehus som er mindre effektive.

En kritikk av belønning ut fra effektivitet basert på komparative effektivitetsanalyser er at de kun omfatter kvantitative og dokumenterbare størrelser og ignorerer kunnskap av mer kvalitativ art. Særlig reformene i det britiske offentlige helsevesen (NHS) er blitt kritisert for å være for orientert mot evalueringer, dokumentasjon og standarder, mens erfaringene er at disse ofte er utilstrekkelige til å vurdere reformer (36). Pettersen & Bjørnenak (8) fanger opp denne kritikken i et sitat fra en ukjent kilde: ”Når man ikke kan måle det som er viktig, blir det man kan måle tillagt viktighet.” Endringer i kvalitative forhold blir oversett fordi de ikke er målbare (36).

I tolkingen av DEA-analyser forutsettes det at kvaliteten på tjenestene holdes konstant. Dermed unngår man konflikten mellom effektivitet og kvalitet. Men hvis behandlingen for samme diagnose varierer, sammenlikner man ikke lenger likt med likt. I realiteten er ”produktene” sjelden de samme, og kvaliteten kan påvirkes av organisatoriske endringer (37). Hvordan forskere måler effektivitet, sier dessuten noe om hva forskeren mener at sykehusene bør gjøre og langs hvilke dimensjoner en effektivisering bør foregå. I dette ligger det et normativt aspekt som må gjøres tydelig, ikke minst før resultatene brukes av politikere og byråkrater som grunnlag for reformer.

Om effektivitetsstudier viser at Norges nordligste sykehus er ineffektivt, så betyr ikke dette at det da automatisk legges ned.

Oppsummerende betraktninger

Rangeringslister gir ofte en jakt på de dårligste, et ønske om å ”ta” de ansvarlige og en kamp om å kunne bortforklare. Dette er uheldig og tilslører nytten av å sammenlikne. Hensikten må være å vinne mer kunnskap om effekter av ulike måter å organisere på. Samtidig kan modellene benyttes til å analysere sammenhengen mellom institusjonelle forhold og effektivitet, som i studien til Magnussen & Mobley (32), eller betydningen av kostnader til undervisning og forskning, som i studien til Linna (33). Alternativet til komparative studier er illusjonen om at det ikke finnes variasjoner i helsetjenestetilbudet.