Gjensidig evaluering med gjensidige praksisbesøk har i mange land vært benyttet med godt resultat i allmennpraksis (1 – 6). I Norge har man også gjort positive erfaringer med metoden i kvalitetssikring av utdanningsavdelinger for spesialister (7). Gjensidig evaluering har imidlertid vært lite benyttet i kvalitetssikring av sykehusavdelinger (8, 9). På bakgrunn av dette ønsket det tidligere Sosial- og helsedepartementet og regionsykehusdirektørene et forsøk med gjensidige besøk som kvalitetssikringsmetode i sykehusenheter. Et slikt forsøk ble i 1998 – 99 gjennomført ved de gastromedisinske enhetene ved fire regionsykehus. Prosjektets målsetting var å undersøke om gjensidige besøk, skriftlig rapport og en bearbeidingsprosess (gjensidig evaluering) er en egnet metode til å kvalitetssikre pasientbehandlingen i en sykehusavdeling. I denne artikkelen beskriver vi våre erfaringer med og resultater av prosjektet.
Materiale og metode
Deltakere i prosjektet var de gastromedisinske enhetene ved Ullevål universitetssykehus, Haukeland Universitetssjukehus, Universitetssykehuset Nord-Norge og St. Olavs Hospital i Trondheim. Alle enhetene omfattet én sengeenhet og én diagnostisk laboratorieenhet, som blant annet utfører endoskopiske undersøkelser. Prosjektet ble ledet av en styringsgruppe som bestod av både sykepleiere og leger.
Gjensidig evaluering
De gjensidige besøkene ble gjennomført januar 1999. Alle avdelingene gjennomførte ett og mottok ett besøk. Rekkefølgen var tilfeldig, men ingen enhet besøkte den enheten de selv mottok besøk fra. Besøket varte i to dager og ble gjennomført av en lege med erfaring fra både senge- og laboratorieenheten, en sykepleier fra sengeenheten og en sykepleier fra laboratorieenheten. I vurderingen konsentrerte man seg ikke om medisinske spørsmål, kun om pasienten – dvs. pasientene som tenkende og følende medmennesker. Utgangspunktet var separate fokuslister for sengepostene og laboratorieenhetene. Listene var detaljerte og innholdt avsnitt om ytre forhold, bemanningsplaner samt arbeids- og informasjonsrutiner. De tjente også som bakgrunn for en skriftlig rapport som enhetene mottok innen en måned etter besøket. Rapporten ble først gjenstand for en uformell lokal bearbeiding med bred deltakelse. Omtrent to måneder etter besøkene ble det arrangert et seminar over halvannet døgn, der sykepleiere og leger som hadde gjennomført besøkene, personalet ved avdelingene, styringsgruppen og representanter for Stiftelsen for helsetjenesteforskning (HELTEF) deltok. Programmet omfattet gjennomgang av besøksrapportene og gruppearbeid rettet mot hvordan pasientfokus kan forbedres samt gjensidig evaluering som kvalitetssikringsmetode. Gruppearbeidene ble tilslutt diskutert i plenum. Etter seminaret fulgte ny lokal bearbeiding og en implementeringsfase.
Pasienterfaringsundersøkelser
Evalueringen ble delvis basert på pasienterfaringsundersøkelser ved sengepostene og laboratorieenhetene før og etter besøkene. Ved sengepostene ble undersøkelsene gjennomført i en tremånedersperiode høsten 1998 som ledd i HELTEFs undersøkelser (10) og i en tilsvarende periode høsten 1999 i egen regi med identisk verktøy. Alle utskrevne pasienter ble inkludert. Undersøkelsene ved laboratorieenhetene gikk over to tilsvarende seksukersperioder og omfattet alle pasienter med polikliniske gastro- og koloskopier. En metode for å undersøke pasienterfaringer i forbindelse med poliklinisk endoskopi ble utviklet med basis i HELTEFs metode (10, 11). I likhet med denne skulle alle spørsmålene besvares på en tidelt visuell-analog skala, der 1 og 10 identifiserte det henholdsvist mest negative og mest positive svaralternativet (10, 11). Metodens egnethet og reproduserbarhet ble undersøkt i en pilotundersøkelse. Det endelig spørreskjemaet inkluderte, som metoden for sengepostene (10, 11), variabler som alder, kjønn, røykeatferd, allmennutdanning og helserelatert livskvalitet undersøkt ved help av SF-36 (12).
Statistisk bearbeiding
Sammenlikningen av resultatene fra pasienterfaringsundersøkelsene før og undersøkelsene etter den gjensidige evalueringen ble basert på en ikke-parametrisk test (Mann-Whitneys U-test). For sengepostene ble svarene angitt som prosent av forventet svar beregnet ved hjelp av multippel lineær regresjon på grunnlag av et stort materiale av innlagte pasienter under hensyntaken til alder, kjønn, allmennutdanning, røykeatferd samt fysisk og mental helse (10, 11). For laboratorienhetene ble svarene angitt som rå skåreverdier. Multippel lineær regresjon ble benyttet til å justere for de samme variablene som ble brukt for sengepostene. I tillegg ble det justert for sykehus og undersøkelsestype. Reproduserbarheten ble angitt som andelen like svar.
Resultater
Gjensidige besøk og rapporter
De muntlige tilbakemeldingene fra dem som gjennomførte besøkene var entydig positive. Det ble presisert at det hadde vært inspirerende å se hvordan man hadde løst problemene ved andre sykehus, og de fikk mange nye ideer. I rapportene ble det pekt på positive og negative sider ved avdelingenes situasjon og rutiner, og samlet ble det identifisert til dels betydelige forskjeller sykehusene imellom når det gjaldt ytre rammebetingelser. Alle senge- og laboratorieenhetene syntes stort sett å ha vel gjennomtenkte og velfungerende rutiner. Noen enheter hadde imidlertid åpenbart funnet frem til bedre løsninger på enkelte områder enn andre. For legene ble det registrert noe variasjon mellom sykehusene hva gjelder teaminndeling, visitt og supervisjonsrutiner, men samarbeidet mellom sykepleiere og leger fungerte ikke vesentlig forskjellig. Samlet etterlot rapportene imidlertid liten tvil om at det ved alle enhetene var et forbedringspotensial.
Lokal og felles bearbeiding
Tilbakemeldingene tydet på at den lokale bearbeidingen hadde vært en noe varierende, men stort sett inspirerende prosess. På seminaret deltok 21 sykepleiere og ni leger samt representanter fra HELTEF. Det var preget av mye tverrfaglig diskusjon og et betydelig engasjement. Mange forbedringsforslag fremkom, og tilbakemeldingene var entydige med henblikk på at gjensidig evaluering er en verdifull kvalitetssikringsmetode.
Implementering
Rapportene og seminaret resulterte i en rekke forbedringsforslag som senere ble bearbeidet videre lokalt. Den etterfølgende prosessen resulterte også i noen konkrete tiltak ved enkeltsykehus (tab 1).
Tabell 1 Eksempler på forbedringsforslag og gjennomførte tiltak i 1999 ved enkeltsykehus
|
Sengeposten
|
Bedre informasjonsmateriell
|
Nye legevisittrutiner
|
Skriftlig utredningsplan
|
Postvakt
|
Bedre kontinuitet i legetjenesten
|
Bedre utskrivningssamtale
|
|
Laboratoriet
|
Bedre informasjon om premedikasjon
|
Skriftlig informasjon til pasientene etter undersøkelsen
|
Bedre supervisjon av leger i utdanning
|
System for overvåking etter endoskopi
|
Mer tid til hver undersøkelse
|
Pasienttilfredsheten ved sengepostene
Det ble før og etter gjensidig evaluering mottatt henholdsvis 341 (50 %) og 252 (53 %) svar. Det var en tendens til at pasientene var noe mindre overbevist om at de var blitt feilbehandlet etter den gjensidige evalueringen enn før (p < 0,05). Ingen av de øvrige 29 spørsmålene ble besvart statistisk signifikant forskjellig før og etter den gjensidige evalueringen (tab 2).
Tabell 2 Pasienterfaringer ved sengeenhetene før (n = 341) og etter (n = 252) gjensidig evaluering. Utvalgte spørsmål. Skåreverdiene er angitt som prosent av forventet og presentert som gjennomsnittsverdier med standarddeviasjon (SD)
|
|
Før gjensidig evaluering
|
|
Etter gjensidig evaluering
|
|
|
Spørsmål
|
Gjennomsnitt
|
SD
|
|
Gjennomsnitt
|
SD
|
|
Forskjellen (før og etter gjensidig evaluering)
|
Tillit til sykehuset
|
99
|
25
|
|
98
|
25
|
|
Ikke-signifikant
|
Tilfreds med pleie og behandling
|
98
|
28
|
|
97
|
28
|
|
Ikke-signifikant
|
Informasjon om hvordan under søkelser skulle foregå
|
99
|
20
|
|
99
|
30
|
|
Ikke-signifikant
|
Informasjon om resultatet av under søkelser
|
94
|
38
|
|
98
|
38
|
|
Ikke-signifikant
|
Informasjon om legemidler
|
97
|
53
|
|
95
|
54
|
|
Ikke-signifikant
|
Informasjon om sykdommen
|
95
|
35
|
|
91
|
37
|
|
Ikke-signifikant
|
Sykepleiernes omsorg
|
96
|
22
|
|
97
|
22
|
|
Ikke-signifikant
|
Sykepleiernes faglige dyktighet
|
99
|
23
|
|
99
|
22
|
|
Ikke-signifikant
|
Legenes omsorg
|
99
|
33
|
|
101
|
34
|
|
Ikke-signifikant
|
Legenes faglige dyktighet
|
98
|
25
|
|
98
|
25
|
|
Ikke-signifikant
|
Medisinsk feilbehandling
|
100
|
25
|
|
97
|
27
|
|
P < 0,05
|
Pasienttilfredsheten ved laboratoriene
Reproduserbarheten ble undersøkt i forbindelse med pilotundersøkelsen hos 31 pasienter. Andelen like svar var for de enkelte spørsmålene gjennomsnittlig 59 % (31 – 81 %). I alt besvarte 779 pasienter (75 %) spørreskjemaet før og 690 (70 %) etter den gjensidig evalueringen. Ventetiden for endoskopisk undersøkelse var før og etter gjensidig evaluering henholdsvis 7,6 og 7,0 uker (p < 0,001). De fleste spørsmålene oppnådde en gjennomsnittverdi på over 8 (tab 3). Lavere gjennomsnittsverdi ble funnet for smerter og ubehag under undersøkelsen og for spørsmål vedrørende informasjon og rådgiving. Statistisk signifikant høyere skåreverdier (større tilfredshet) etter gjensidig evaluering i forhold til før ble funnet for tre spørsmål om informasjon (tab 3).
Tabell 3 Pasienterfaringer ved laboratorieenhetene før (n = 779) og etter (n = 690) gjensidig evaluering. Angitt som gjennomsnittsskåre med standarddeviasjon (SD)
|
|
Før gjensidig evaluering
|
|
Etter gjensidig evaluering
|
|
|
Spørsmål
|
Gjennomsnitt
|
SD
|
|
Gjennomsnitt
|
SD
|
|
Forskjellen (før og etter gjensidig evaluering)
|
Den skriftlige innkallingen
|
8,72
|
1,81
|
|
8,74
|
1,77
|
|
Ikke-signifikant
|
Mottakelsen ved laboratoriet
|
8,94
|
1,51
|
|
9,00
|
1,42
|
|
Ikke-signifikant
|
Informasjonen om venting på laboratoriet
|
5,17
|
4,26
|
|
5,64
|
4,24
|
|
Ikke-signifikant
|
Fikk selv fortalt det viktige
|
8,03
|
2,38
|
|
7,96
|
2,36
|
|
Ikke-signifikant
|
Informasjonen om hvordan undersøkelsen skulle foregå
|
8,89
|
1,82
|
|
9,11
|
1,50
|
|
P < 0,05 (p < 0,01¹)
|
Informasjon om resultatet av undersøkelsen
|
8,10
|
2,62
|
|
8,17
|
2,53
|
|
Ikke-signifikant
|
Lindring av smerter/ubehag
|
7,94
|
2,70
|
|
7,82
|
2,72
|
|
Ikke-signifikant
|
Undersøkelsen innfridde forventningen
|
8,46
|
2,19
|
|
8,51
|
2,25
|
|
Ikke-signifikant
|
Forstod personalet
|
9,17
|
1,28
|
|
9,17
|
2,26
|
|
Ikke-signifikant
|
Forstod legen
|
8,83
|
1,82
|
|
8,84
|
1,75
|
|
Ikke-signifikant
|
Sykepleierens omsorg
|
9,17
|
1,30
|
|
9,11
|
1,41
|
|
Ikke-signifikant
|
Sykepleierens tid for deg
|
8,97
|
1,68
|
|
8,98
|
1,66
|
|
Ikke-signifikant
|
Sykepleierens faglige dyktighet
|
9,30
|
1,21
|
|
9,26
|
1,33
|
|
Ikke-signifikant
|
Legens omsorg
|
8,41
|
2,09
|
|
8,51
|
2,00
|
|
Ikke-signifikant
|
Legens faglige dyktighet
|
9,18
|
1,47
|
|
9,18
|
1,41
|
|
Ikke-signifikant
|
Organiseringen av arbeidet
|
8,92
|
1,56
|
|
9,00
|
1,44
|
|
Ikke-signifikant
|
Informasjon om legemidler
|
7,00
|
3,30
|
|
6,88
|
3,37
|
|
Ikke-signifikant
|
Informasjon om hva man skulle gjøre om noe ekstra hendte etter at man kom hjem
|
5,97
|
3,89
|
|
6,80
|
3,71
|
|
P < 0,01 (p < 0,001¹)
|
Informasjon om hvilke plager man kunne regne med fremover
|
5,94
|
3,80
|
|
6,51
|
3,66
|
|
P < 0,05 (p < 0,01¹)
|
Informasjon om hva man selv kunne gjøre for å bli bedre eller hindre tilbakefall
|
3,83
|
4,16
|
|
3,84
|
4,15
|
|
Ikke-signifikant
|
[i]
|
Diskusjon
Allerede i 1983 oppfordret Steinar Westin allmennpraktikerne til å invitere en kollega på praksisbefaring (13). Norske allmennpraktikere har de siste årene tatt i bruk gjensidige praksisbesøk i den obligatoriske etterutdanningen som alternativ til kurs. Det forutsettes at to leger går sammen om gjensidige praksisbesøk, at det lages praksisbeskrivelser og at besøket resulterer i en rapport som gjøres tilgjengelig for den besøkte legen. Erfaringen er gode, men ordningen har likevel vært lite benyttet, muligens pga. lav poenghonorering (5). En ordning med praksisbesøk kun konsentrert om konsultasjonen og ikke belastet med krav om skriftlig rapport har fått god oppslutning (6).
I Norge er gjensidig evaluering også blitt forsøkt som kvalitetssikringsmetode i forhold til spesialistutdanningen. I et prøveprosjekt besøkte legene ved to øyeavdelinger og to barneavdelinger hverandre i to dager (7). Alle sider ved spesialistutdanningen ble vurdert, og besøkene ble avsluttet med et felles evalueringsmøte. Det ble konkludert med at den gjensidige evalueringen hadde ført til økt oppmerksomhet omkring mangler og hadde gitt det puff som skulle til for å få endringsprosessen i gang. Ordningen ble gjort til et frivillig tilbud.
I Sverige er gjensidig evaluering også forsøkt som kvalitetssikringsmetode for sykehusavdelinger. I 1992 foretok tre akuttavdelinger gjensidige besøk av to dagers varighet (8). Besøkene ble gjennomført av 9 – 16 personer tilhørende mange profesjoner, inklusive leger og sykepleiere. Besøkene ble avsluttet med et møte mellom alle involverte, og besøksteamets vurdering ble dessuten oppsummert i en skriftlig rapport. Erfaringene beskrives som meget positive. I perioden 1993 – 94 foretok leger og sykepleiere ved tre svenske barneavdelinger to gjensidige besøk med ett års mellomrom (9). Man konsentrerte seg om rammebetingelser, prosess og resultat. Også i denne undersøkelsen beskrives utbyttet av besøkene som stort.
Erfaringene i forbindelse med vårt forsøk med gjensidig evaluering var entydig positive. Rapportene identifiserte et betydelig forbedringspotensial, og prosessen førte til mange forbedringsforslag . Effekten av forsøket ble forsøkt dokumentert ved hjelp av pasienterfaringsundersøkelser. Ved sengepostene var det ingen overbevisende endringer. Heller ikke når det gjelder den polikliniske endoskopiske virksomheten fikk man holdepunkter for å anta at det hadde skjedd en generell endring i måten å arbeide på. Tre spørsmål rettet mot aspekter ved informasjon viste imidlertid positiv endring etter den gjensidige evalueringen. Funnene kan skyldes påvirkning i forbindelse med den gjensidige evalueringen, men fordi man kun hadde en historisk kontroll, kan de også skyldes en uavhengig holdningsendring til informasjon i observasjonsperioden. En sammenlikning mellom pasienterfaringene for pasienter innlagt ved norske sykehus i perioden 1996 – 2000 viser en liknende endring som i vår undersøkelse (14).
Flere forhold kan forklare at vi ikke lyktes i å frembringe overbevisende holdepunkter for å tro at den gjensidige evalueringen hadde påvirket helsepersonellets holdninger og måte å arbeide på. Metoden som ble benyttet for å måle endringer i pasienterfaringer kan være uegnet. Det er vist at metoden som ble benyttet hos innlagte pasienter, kan identifisere endringer over tid, forskjeller mellom avdelinger og effekt av intervensjon (10, 11, 14). Den liknende metoden som ble brukt i forbindelse med polikliniske endoskopier, gav godt reproduserbare svar, men hvorvidt den kan påvise effekten av en intervensjon, er ikke kjent. Det er også mulig at implementeringsperioden var for kort. Den siste undersøkelsen ble foretatt kun et halvt år etter bearbeidingsseminaret. Det å endre holdninger og rutiner tar vanligvis lang tid. Ressurskrevende endringer betinger dessuten ofte en ny budsjettperiode. For å få en vedvarende effekt av en type prosesses som den aktuelle må den dessuten trolig gjentas med med 1 – 2 års mellomrom, dvs. gjøres til en del av et kvalitetssikringssystem.
Gjensidig evaluering skiller seg positivt fra mange andre kvalitetssikringstiltak. Kanskje det viktigste er at dette er en type tiltak som det er lett å fatte hensikten med og som bare i liten grad gir følelsen av å bli kontrollert. En annen viktig positiv side ved metoden er gjensidigheten. Besøkeren er ikke bare motivert for å gi dem som besøkes en tilbakemelding, man er minst like motivert for å lære hva man selv kan gjøre bedre. Gjensidige besøk bidrar dessuten til å skape nyttig kontakt. Også andre har gjort liknende erfaringer (8, 9).
Sannsynligvis er det viktig at besøket blir dokumentert i en skriftlig rapport. Kravet om dokumentasjon skjerper de besøkende, og man får noe konkret å basere bearbeidingsprosessen på. Erfaringene fra dette prosjektet understreker spesielt betydningen av en felles bearbeidingsprosess i tillegg til den lokale. Seminaret sikret dessuten at problemstillingene ble gjenstand for en tverrfaglig prosess.
Gjensidig evaluering er trolig egnet som kvalitetssikringsmetode i forhold til mange typer problemstillinger. Valget av en problemstilling som angår både sykepleiere og leger var trolig en viktig årsak til de positive erfaringene.
Undersøkelsen resulterte i en omfattende rapport, som ble oversendt oppdragsgiverne i 2001. Mangel på tilbakemelding og finansiering har ført til at gjensidig evaluering siden ikke er blitt implementert eller videreutviklet som metode til kvalitetssikring av sykehusenheter. Med bakgrunn i våre erfaringer er dette å beklage.