Pasienterfaringsstudier er utbredt og brukes som en av flere kilder for å evaluere kvaliteten på helsetjenesten (1 – 3). I Norge benyttes pasienterfaringer som nasjonale kvalitetsindikatorer for spesialisthelsetjenesten (4), og fra og med 2004 er pasientenes vurdering av tjenestene i psykisk helsevern inkludert.
En viktig utfordring for pasienterfaringsstudier er metodologiske problemer, inkludert lav svarprosent og måleinstrumenter med svak kvalitetsdokumentasjon (1, 2, 5). Studier innen psykisk helsevern er ikke noe unntak (6 – 8). I Norge finnes flere validerte pasienterfaringsinstrumenter (9, 10), og i en annen artikkel i dette nummeret har vi beskrevet valideringen av et instrument for å måle pasienterfaringer blant utskrevne døgnpasienter i psykisk helsevern (11).
Pasienterfaringsundersøkelser i psykisk helsevern har ofte stort frafall (6, 8, 11). I en nasjonal undersøkelse blant polikliniske pasienter i psykisk helsevern var svarprosenten 44,5 (12), og i en regional pilotundersøkelse i Helse Vest blant døgnpasienter var svarprosenten 30 (12). Når mer enn halvparten av pasientene i utvalget ikke svarer, blir representativiteten tvilsom. I flere store helseundersøkelser er det påvist strukturelle skjevheter i utvalget ved at personer med lavere utdanning og sosioøkonomisk status er underrepresentert (2, 13, 14). Rusmisbrukere og andre med psykiatriske diagnoser har også vist seg å være underrepresentert (14), så også personer med kognitive svekkelser (2, 14).
Det store frafallet i pasienterfaringsundersøkelser og påviste strukturelle skjevheter må tas på alvor. Det er viktig med høyest mulig svarprosent for å beskytte mest mulig mot responsskjevhet (2), men dette må skje innenfor forsvarlige metodologiske, praktiske og økonomiske rammer. Intervjumetoder har f.eks. vist seg å generere høyere svarprosent i pasienterfaringsundersøkelser enn postale undersøkelser (2, 15), men disse er langt dyrere enn postal innsamling (2, 16). Vi har derfor ønsket å undersøke hvordan ulike varianter av postal innsamling påvirker svarprosent og pasientevalueringer.
I 2005 gjennomførte Kunnskapssenteret en nasjonal undersøkelse blant døgnpasienter. I forkant av dette har vi gjort en pilotundersøkelse ved Psykiatrisk klinikk i Helse Stavanger for å teste ut ulike innsamlingsmåter. Vi ønsket å finne ut mer om hvordan innsamlingsmåte påvirker svarprosent og nivået på den pasientopplevde kvaliteten. Tradisjonell postal spørreskjemainnsamling ble benyttet, i tillegg til to andre innsamlingsmåter hvor institusjonene ble involvert i innsamlingen. Det finnes indikasjoner i litteraturen på at mer personlige innsamlingsmåter gir høyere svarprosent (15), men samtidig at slike innsamlingsmåter gir mindre kritiske tilbakemeldinger fra pasientene (2). Vi forventet derfor at den postale designen ville gi lavest svarprosent og det laveste nivået på pasientopplevd kvalitet.
Materiale og metode
Studien omfattet voksne døgnpasienter som ble utskrevet fra tre distriktspsykiatriske sentre under Psykiatrisk klinikk i Helse Stavanger våren 2005, og bestod av tre undersøkelsesperioder hver på tre uker. I den første perioden sendte Kunnskapssenteret et spørreskjema hjem til pasientene noen dager etter at undersøkelsesperioden var over, og utfylt skjema ble returnert til Kunnskapssenteret. De som ikke svarte, fikk én purring etter fire uker. I den andre perioden delte de ansatte ut spørreskjemaet i forkant av utskrivning, og pasienten kunne enten fylle ut og levere svaret i lukket konvolutt på institusjonen eller fylle ut og sende i posten til Kunnskapssenteret etter hjemkomst. I den tredje perioden delte de ansatte ut spørreskjemaet i forkant av utskrivning og pasienten fikk beskjed om at skjemaet skulle leveres tilbake i lukket konvolutt på institusjonen før hjemreise. I periode 2 og 3 ble undersøkelsen gjennomført anonymt, og primærkontakten til pasienten eller avdelingssykepleier hadde ansvaret for at spørreskjemaene ble utdelt og ev. innsamlet. For enkelhets skyld refererer vi til periode 1 som postal design, selv om alle periodene er varianter av postal design.
Pasienterfaringsundersøkelsene som gjennomføres av Kunnskapssenteret (PasOpp) er godkjent av regional komité for medisinsk forskningsetikk. Vi har dispensasjon fra taushetsplikten i forbindelse med innsamling av data og konsesjon for å opprette de nødvendige personregistre.
Spørreskjema og variabler
Spørreskjemaet inneholdt spørsmål om ulike erfaringer fra oppholdet, generell tilfredshet, utbytte og bakgrunnsvariabler. Pasienterfaringsinstrumentet har dokumentert tilfredsstillende reliabilitet og validitet (11). Psykiatrisk klinikk overførte i tillegg pasientadministrative data for hver pasient, om bl.a. kjønn, alder, liggetid og innleggelsesmåte. I denne studien ser vi på resultater for samledimensjonen i instrumentet samt for de 11 underliggende enkeltspørsmålene. Hvert spørsmål har en svarskala med fem svarverdier.
Analyse
Vi benyttet statistikkprogrammet SPSS for å analysere materialet. Vi presenterer deskriptiv statistikk med gjennomsnitt, standardavvik og andeler. Vi sammenlikner svarprosenten i de ulike innsamlingsperiodene, og ser på fordelingen på kjønn, alder, innleggelsesmåte, liggedager og egenvurdert helse i totalutvalget og blant svarerne i de tre ulike undersøkelsesperiodene. Ettersom design 2 og 3 er gjennomført anonymt, har vi kun informasjon om innleggelsesmåte og liggedager for bruttoutvalget (fra det pasientadministrative systemet). Egenvurdert helse er spørreskjemadata og finnes følgelig kun for nettoutvalgene.
For å undersøke forskjeller i nivået på pasientopplevd kvalitet, sammenlikner vi gjennomsnittsverdier på samledimensjonen og underliggende enkeltspørsmål mellom de tre ulike innsamlingsmåtene. Vi benyttet t-test for å teste om forskjellene var signifikante, og i disse analysene ble design 2 og 3 slått sammen.
Resultater
244 pasienter som hadde vært innlagt ved de tre distriktspsykiatriske sentrene, ble inkludert i undersøkelsen. 68 spørreskjemaer ble returnert (28 %). Svarprosenten var høyest i periode 1 (tab 1) (27/72, 38 %) og lavere i de to neste periodene (henholdsvis 20/82, 24 % og 21/90, 23 %). Svarprosenten var signifikant høyere i periode 1 sammenliknet med de andre periodene samlet (p < 0,05), men forskjellen skyldtes den ekstra purringen i periode 1; ca. 17 % av svarerne i den postale designen gav tilbakemelding etter å ha bli purret.
|
Tabell 1 Kjennetegn ved bruttoutvalg og nettoutvalg, etter innsamlingsmåte
|
|
Postal design
|
|
Utdeling på institusjon, valgfritt utfyllingssted
|
|
Utdeling og utfylling på institusjonen
|
|
Bruttoutvalg (n = 72)
|
Nettoutvalg (n = 27)
|
|
Bruttoutvalg (n = 82)
|
Nettoutvalg (n = 20)
|
|
Bruttoutvalg (n = 90)
|
Nettoutvalg (n = 21)
|
|
Kjønn, kvinner (%)
|
56
|
70
|
|
45
|
47¹
|
|
60
|
60¹
|
|
Alder, gjennomsnitt (SD)
|
38 (15)
|
39 (16)
|
|
40 (15)
|
42 (17)¹
|
|
39 (17)
|
36 (14)¹
|
|
Akutt innlagte pasienter (%)
|
18
|
15
|
|
17
|
–
|
|
11
|
–
|
|
Antall liggedager, median (SD)
|
18 (36)
|
26 (36)
|
|
9 (31)
|
–
|
|
19 (101)
|
–
|
|
Dårlig egenvurdert helse (%)
|
–
|
30¹
|
|
–
|
21¹
|
|
–
|
20¹
|
|
[i]
|
|
|
|
|
|
|
|
|
|
Tabell 2 Gjennomsnitt (SD) på samledimensjonen og underliggende enkeltspørsmål, etter innsamlingsmåte
|
|
Postal design
|
Utdeling på institusjon, valgfritt utfyllingssted
|
Utdeling og utfylling på institusjonen
|
|
Samledimensjon 1
|
49,9 (19,5) 3
|
58,9 (21,1)
|
63,0 (17,9)
|
|
1 Utbytte av behandling 2
|
2,0 (1,0) 3
|
2,5 (0,9)
|
2,6 (1,0)
|
|
2 Endring i psykiske plager
|
2,4 (0,9)
|
2,7 (1,0)
|
3,0 (0,8)
|
|
3 Ansatte forberedte deg på utskrivning
|
1,3 (1,0) 3
|
1,9 (1,0)
|
2,0 (1,4)
|
|
4 Nok tid til samtaler/kontakt
|
2,2 (1,0)
|
2,4 (1,3)
|
2,3 (1,1)
|
|
5 Forstod behandler din situasjon
|
2,0 (1,1) 4
|
2,4 (1,1)
|
3,0 (0,8)
|
|
6 Fikk du fortalt det som var viktig om din tilstand
|
2,1 (1,1) 3
|
2,6 (1,1)
|
2,7 (1,0)
|
|
7 Behandling tilpasset din situasjon
|
1,8 (1,2)
|
2,3 (1,2)
|
2,3 (1,3)
|
|
8 Innflytelse på behandlingsopplegg
|
1,6 (0,9)
|
1,9 (1,1)
|
2,1 (1,2)
|
|
9 Erfaringer med andre ansatte
|
2,8 (0,9)
|
2,7 (0,9)
|
3,1 (1,1)
|
|
10 Behandlingsmuligheter
|
1,9 (1,1)
|
2,4 (1,3)
|
2,3 (1,4)
|
|
11 Psykiske plager/diagnose
|
1,8 (1,3)
|
1,9 (1,3)
|
2,4 (1,2)
|
|
[i]
|
I den postale designen var kvinner overrepresentert blant svarerne (tab 1), men dette gjaldt ikke i de andre periodene. Det var ingen forskjeller i aldersgjennomsnitt mellom bruttoutvalg og nettoutvalg i noen av periodene. Kjønnsfordeling og gjennomsnittlig liggetid varierte noe mellom bruttoutvalgene i de tre periodene, og det gjorde også andelen med dårlig egenvurdert helse i nettoutvalgene.
Gjennomsnittsresultatet på samledimensjonen er langt lavere blant pasienter i den postale designen enn i de to andre designene. På samledimensjonen er gjennomsnittsverdien i den postale designen på 50 (på en skala fra 0 – 100 hvor 100 er best), mot 59 i design 2 og 63 i design 3. Resultatene er signifikant forskjellige på samledimensjonen og fire av 11 enkeltspørsmål.
Diskusjon
Det var høyest svarprosent i den postale designen, men en vesentlig forskjell mellom de ulike designene er at det kun ble purret i den postale designen. Purring er en viktig faktor for å øke svarprosenten i utvalgsundersøkelser (2, 13, 17, 18), og i vår studie gav ca. 17 % av svarerne i den postale designen tilbakemelding etter å ha blitt purret. Bortsett fra forskjellen i svarprosent som skyldes purring, er det ingen substansiell forskjell i svarprosent mellom postal design og de andre innsamlingsmåtene. Dette er ikke i tråd med litteraturgjennomgangen til Sitzia & Wood (15), som konkluderte med at personlig kontakt i rekruttering og datainnsamling er viktig for å øke svarprosenten i pasienterfaringsundersøkelser.
I design 2 og 3 var det lokal administrering av spørreskjemaer, noe som gir nye oppgaver og merarbeid for institusjonene. I tillegg er Kunnskapssenteret både eksterne i forhold til de som skal administrere undersøkelsen og de som skal svare. Kombinasjonen av eksternt eierskap og praktiske utfordringer kan ha ført til lavere motivasjon og feil og forglemmelser i datainnsamlingen. Det var imidlertid kun åtte pasienter som ble uteglemt i periode 2 og 3, enten ved at de ikke fikk spørreskjemaet utdelt eller ved at de glemte å levere inn skjemaet. Lokale pasienterfaringsundersøkelser ved Psykiatrisk klinikk har dessuten gitt omtrent samme svarprosent som i vår undersøkelse. Det er dermed lite sannsynlig at kombinasjonen av lokal administrering og eksternt eierskap er en viktig forklaring på hvorfor personlig kontakt ikke gav den forventede effekt på svarprosenten.
Pasientens primærkontakt eller ev. avdelingssykepleier hadde ansvaret for administreringen, enten ved at de selv utførte oppgaven eller delegerte den til andre. Dette ble bestemt etter råd fra Psykiatrisk klinikk, som har det beste kjennskapet til hverdagen og organiseringen på institusjonene. Det er mulig at involvering av behandlerne i administreringen ville vært positivt i forhold til svarprosent, gitt at dette medfører et sterkere relasjonelt press for å delta. Dette var imidlertid ikke aktuelt, både av ressurshensyn og fordi involvering av behandlerne ble forventet å påvirke svarerne til å gi mer positive tilbakemeldinger.
Det er viktig å peke på at studien til Sitzia & Wood (15) gjelder alle pasientgrupper, dvs. at funnene ikke automatisk er gyldige for døgnpasienter i psykisk helsevern. Det samme metodiske opplegget vil kunne generere ulike resultater for ulike pasientgrupper. Det er derfor viktig å undersøke metodiske tiltak kontekstuelt, spesielt for å avdekke ev. forskjeller i effekter mellom ulike pasientgrupper. Vår studie er liten, men gir likevel indikasjoner på at involvering av institusjonen i rekrutteringsfasen ikke er effektivt for å øke svarprosenten blant døgnpsykiatriske pasienter.
Pasientene i den postale designen var mer kritiske enn i de andre designene. Dette er i tråd med litteraturgjennomgangen til Crow og medarbeidere (2), som viste at mindre personlige innsamlingsmåter, inkludert postalt spørreskjema gir lavere tilfredshetsnivå. Hovedforklaringen som vanligvis gis på dette, er at anonymiteten er mindre truet og at det ikke er noe press for å gi sosialt akseptable svar (1, 2, 7). En annen mulig forklaring kan være at de ekstra respondentene i det postale opplegget er mer kritiske enn de andre respondentene. De som svarer etter purring kan teoretisk betraktes som ikke-svarere. Det finnes indikasjoner i litteraturen på at svarere er mer tilfredse enn ikke-svarere (6, 19), men funnene er motstridende (7, 20). I den postale designen i vår studie var det ingen forskjell i pasientopplevd kvalitet mellom de som svarte før og etter purring.
Vi gjennomførte studien i tre perioder med hver sin design. Studien er imidlertid ikke randomisert, slik at mulige forklaringer på forskjellene i pasienterfaringer kan være variasjon i kvalitet mellom periodene og/eller forskjeller i pasientsammensetning.
Undersøkelsen fant sted i perioder som lå tett opptil hverandre tidsmessig, og alle periodene var høyaktivitetsperioder. Det var heller ingen organisasjonsendringer i de angjeldende tidsrom og bemanningen var lik og stabil. Det er dermed lite som taler for at kvalitetsforskjeller mellom periodene er en viktig forklaring på forskjellene i pasientopplevd kvalitet.
Alder og egenvurdert helse er viktige forklaringsfaktorer for variasjon i pasienterfaringer (2), også innen psykisk helsevern (21). Studiens størrelse begrenser muligheten for justering av forskjeller i pasientsammensetning mellom periodene, for eksempel ved hjelp av regresjonsanalyse. Vi har gjort analyser som viser at alder og egenvurdert helse har liten effekt på tilfredshet i denne studien. Vi har heller ikke funnet systematiske forskjeller i andre tilgjengelige individuelle kjennetegn mellom de ulike innsamlingsperiodene som kan forklare de forskjellene i pasientopplevd kvalitet som er observert (kjønn, innleggelsesmåte, liggedager). Det er imidlertid flere bakenforliggende variabler vi ikke har tilgang til, f.eks. alvorlighetsgrad og diagnose, og dette gjør at vi ikke kan utelukke strukturelle forskjeller mellom periodene. Effekten av slike strukturelle forskjeller er imidlertid uklar, da sammenhengen mellom alvorlighetsgrad/diagnose og pasientopplevd kvalitet ikke er entydig i litteraturen (7, 22).
Selv om svarprosenten i det postale opplegget i denne studien er på nivå med andre tilsvarende undersøkelser (7, 21, 23), må nivået karakteriseres som utilfredsstillende. Dersom denne pasientgruppen skal inkluderes i nasjonale pasienterfaringsundersøkelser, må det gjennomføres flere tiltak for å øke svarprosenten, som flere purrerunder (2, 13, 17, 18) og incentiver for deltakelse (13, 17, 24), og det bør samles inn mest mulig data fra ikke-svarere (inkludert oppfølgingsstudie) for å undersøke om det er forskjeller mellom svarere og ikke-svarere.
