Foresattes vurdering av barne- og ungdomspsykiatriske poliklinikker

Materiale og metode

Populasjonen i undersøkelsen var foresatte til barn/unge under 16 år som hadde minst én konsultasjon ved en barne- og ungdomspsykiatrisk poliklinikk i perioden 1.9. – 31.12. 2006.

Utvalgsstørrelsene ble bestemt slik at det skal være mulig å avgjøre med rimelig sikkerhet dersom en institusjon avviker tilstrekkelig mye fra gjennomsnittet for en av dimensjonene. Utvalgsstørrelsen ved hver poliklinikk ble satt til 400. Inklusjonsperioden ble oppdelt i to puljer, hver på åtte uker. Vi trakk et tilfeldig utvalg for hver poliklinikk innenfor hver av puljene. For poliklinikker med færre enn 200 personer i en pulje ble alle inkludert.

Poliklinikkene overførte pasientadministrative data til Kunnskapssenteret, blant annet barnets navn, adresse, kjønn, alder, henvisningsgrunn, hoveddiagnose på seks akser og foresattes etnisitet.

Vi sendte spørreskjema i posten til barnas/ungdommenes hjemmeadresse og purret to ganger i posten på ikke-svarerne. De foresatte ble bedt om å vurdere den poliklinikken som de på den tiden hadde et tilbud ved. Vi gjennomførte også telefonintervjuer med et utvalg foresatte som ikke svarte på spørreskjemaet, for å undersøke om det var forskjeller i tilfredshet mellom svarere og ikke-svarere.

Prosjektet ble vurdert og godkjent av regional komité for medisinsk forskningsetikk region Sør. Sosial- og helsedirektoratet har gitt dispensasjon fra taushetsplikten i forbindelse med innsamling av data. Personvernet er ivaretatt ved å følge vilkårene som Datatilsynet har lagt til grunn for konsesjonen. Poliklinikkene hadde anledning til å ekskludere enkeltpersoner fra undersøkelsen.

Resultater

I tabell 1 ser vi at nasjonale gjennomsnittsskårer på hoveddimensjonene var 75 for behandlere (på en skala fra 0 til 100, der 100 er best), 59 for informasjon/medbestemmelse og 72 for utbytte. De enkeltspørsmålene som får best tilbakemelding er om man blir møtt med høflighet og respekt av behandlerne og om behandlerne snakker på en forståelig måte, med gjennomsnittsskår på henholdsvis 4,4 og 4,3 på en skala fra 1 til 5, der 5 er best. Det enkeltspørsmålet der det er dårligst tilbakemelding, omhandler i hvilken grad de foresatte har fått informasjon om hvilke behandlingsmuligheter som finnes for barnet (gjennomsnittskår 3,1).

I e-tabell 2 og figur 1 ser vi at gjennomsnittet på behandlerdimensjonen for poliklinikkene varierer fra 63 for Fosen til 81 for Kongsvinger og Brønnøysund (skala 0 – 100, der 100 er best). Fem av poliklinikkene har en gjennomsnittsskår på over 80 (Kongsvinger, Brønnøysund, Lillestrømklinikken, Nordstrand og Sandnessjøen), mens to poliklinikker har lavere gjennomsnittsskår enn 65 (Fosen og Tiller). Statistisk testing viser at gjennomsnittet til Lillestrømklinikken er signifikant bedre enn landsgjennomsnittet, mens gjennomsnittet til Tiller er signifikant dårligere.

Figur 1  Gjennomsnittsskårer på hovedområder for hver poliklinikk på en skala fra 0 til 100. Punkt angir gjennomsnitt og strek 95 % konfidensintervall. Tallene er justert for pasientsammensetning. Molde, Mosjøen, Harstad, Nordre Aker/Sagene, Lister, Hallingdal, Brønnøysund, Øst-Finnmark og Hammerfest har høy andel manglende diagnose, og for disse poliklinikkene har vi ikke benyttet diagnosevariabler i justeringen for pasientsammensetning. Enkeltresultater med høyere standardfeil enn 5 vises ikke

På dimensjonen informasjon og medbestemmelse varierer gjennomsnittet fra 48 for Tiller til 68 for Indre Salten (e-tab 2, fig 1). Tre av poliklinikkene har gjennomsnittskår over 65 (Askim, Hallingdal, Indre Salten), tre har en skår under 50 (Larvik, Fosen, Tiller). Tiller har signifikant dårligere resultat enn landsgjennomsnittet, men ellers er det ingen signifikante forskjeller mellom poliklinikkene og landsgjennomsnittet.

Gjennomsnittet på utbyttedimensjonen varierer fra 62 for Tiller til 78 for Nordfjord (e-tab 2, fig 1). Tre av poliklinikkene har gjennomsnittsskår over 76 (Kongsvinger, Sogndal, Nordfjord), to har en skår under 65 (Larvik, Tiller). Tiller har signifikant dårligere skår enn landsgjennomsnittet, men ellers er det ingen signifikante forskjeller mellom poliklinikkenes resultater og landsgjennomsnittet på utbyttedimensjonen.

Flere av poliklinikkene har gjennomgående høye gjennomsnittsskårer på de tre dimensjonene, som Kongsvinger, Hallingdal og Brønnøysund (e-tab 2, fig 1). Generelt er det en god sammenheng mellom poliklinikkenes resultater på tvers av dimensjonene, noe som bekreftes av mønsteret i figur 1 samt av høye korrelasjoner mellom dimensjonene på poliklinikknivå – høyest korrelasjon mellom dimensjonene på poliklinikknivå er det mellom behandlerdimensjonen og dimensjonen informasjon/medbestemmelse (Pearsons r er 0,85), lavest korrelasjon er det mellom utbyttedimensjonen og behandlerdimensjonen (Pearsons r er 0,58).

Resultater som ikke vises her, antyder at det er små forskjeller i gjennomsnittsskårer på de tre dimensjonene mellom helseregionene og mellom poliklinikker av ulik størrelse, og at det er ubetydelige forskjeller i tilfredshet mellom dem som svarte på telefon i ikke-svarerundersøkelsen og de postale svarerne.

Diskusjon

For første gang er det gjennomført en brukererfaringsundersøkelse ved alle poliklinikker innen barne- og ungdomspsykiatrien i Norge. Bakgrunnen for prosjektet var at helsemyndighetene har bestemt at det skal gjennomføres systematiske brukererfaringsundersøkelser på området, som en del av det nasjonale kvalitetsindikatorsystemet. Resultatene fra denne nasjonale brukererfaringsundersøkelsen viste at de foresatte var fornøyd med tilbudet ved poliklinikkene, spesielt med behandlerne og med utbyttet av behandlingen. De var minst fornøyd med informasjonen fra poliklinikkene og med mulighetene for medbestemmelse. Tilbakemeldingene fra de foresatte varierte en del fra poliklinikk til poliklinikk, men det var få som skilte seg signifikant fra landsgjennomsnittet.

Som i brukererfaringsundersøkelser på andre områder er det ofte lite dokumentasjon av kvaliteten av måleinstrumentet som blir benyttet (17, 25). I vår litteraturgjennomgang fant vi ingen validerte spørreskjemaer på norsk, og vi gjennomførte derfor et omfattende utviklingsprosjekt for å ivareta validiteten og reliabiliteten til måleinstrumentet. De 15 kjernespørsmålene i det nasjonale spørreskjemaet hadde få manglende svar, noe som indikerer at de foresatte aksepterte spørsmålene som relevante. Psykometrisk testing av det nasjonale materialet viste dessuten at instrumentet har tilfredsstillende intern konsistens. I sum mener vi at reliabiliteten og validiteten til måleinstrumentet i den nasjonale undersøkelsen var tilfredsstillende.

Det generiske instrumentet består av 15 spørsmål som er relevante på tvers av alle grupper foresatte. For noen av spørsmålene vil imidlertid stadium i utrednings- og behandlingsprosessen kunne påvirke svarene – for eksempel har de med mer enn ett års kontakt med BUP-poliklinikken rundt 10 poeng høyere skår på utbyttedimensjonen enn de med en kontaktsvarighet på under tre måneder. Dimensjonsskårene må derfor tolkes som gjennomsnittlig tilfredshet på tvers av alle utrednings- og behandlingsforløp og ikke som uttrykk for tilfredshet med utbytte, informasjon og behandlere etter utskrivning fra BUP-poliklinikkene. Vi understreker imidlertid at forskjeller i utrednings- og behandlingstid mellom poliklinikkene ikke påvirker resultatene i denne studien, ettersom denne variabelen inngår i justeringsmodellen som er benyttet.

Svarprosenten i brukererfaringsundersøkelser innenfor barne- og ungdomspsykiatrien har generelt vært lav (17). Den nasjonale undersøkelsen ble hovedsakelig gjennomført som en postal spørreskjemaundersøkelse. Det er vist at postal innsamling gir mer nøkterne tilbakemeldinger enn mer direkte innsamlingsmåter (25, 26), at det er langt rimelige enn andre måter og at det krever betydelig mindre arbeidsinnsats fra poliklinikkene. Det ble gjennomført flere purrerunder, siden dette i andre studier har vist seg å være effektivt for å øke svarprosenten (25). Vi purret inntil to ganger på ikke-svarere, og den andre purrerunden resulterte i en økning i svarprosent fra 34 til 46. Dette var såpass lavt at det ble nødvendig å gjøre ytterligere analyser for å undersøke og forbedre representativiteten. Vi gjennomførte telefonintervjuer med et tilfeldig utvalg som ikke hadde svart etter to postale purringer. Nesten 60 % av dem som ble trukket ut til telefonintervju, besvarte en kortversjon av spørreskjemaet, og tilfredshetsnivået var det samme som blant de postale svarerne. Vi analyserte også forskjeller i svarsannsynlighet mellom ulike grupper og korrigerte for de forskjellene vi fant i svarsannsynlighet gjennom stratifiseringen. Samlet sett konkluderer vi derfor med at undersøkelsen har tilfredsstillende representativitet.

Selv små forskjeller mellom BUP-poliklinikker kan gi nyttige tilbakemeldinger til klinikkene om områder med forbedringspotensial. Spørsmålet om hva som er klinisk relevante forskjeller, er imidlertid vanskelig å besvare. I en ny kunnskapsoppsummering om pasientrapporterte utfallsmål poengteres det at minste meningsfulle forskjell avhenger av populasjon og kontekst, og det anbefales multiple tilnærminger og metodetriangulering for å estimere hva som er minste meningsfulle forskjell (27). En praktisk måte å tilnærme seg problemstillingen i denne studien på er å sammenlikne dimensjonsskårene mellom ulike verdier på spørsmålet om generell tilfredshet. Forskjellen i dimensjonsskår mellom de som er ganske fornøyd og de som er svært fornøyd er 10 – 15 poeng. Tilsvarende forskjell finner vi for dem som er ganske fornøyde og for dem som har svart «både-og». En forskjell på 10 – 15 poeng på dimensjonene tilsvarer altså en substansiell endring i generell tilfredshet og kan brukes som et estimat for minste meningsfulle forskjell. Vi understreker imidlertid at dette kun er et pragmatisk svar som hjelp til klinisk tolking og bruk i denne studien, og at det bør forskes langt mer på minste meningsfulle forskjell på brukererfaringsområdet.

Høyt tilfredshetsnivå i denne studien, som i andre studier innenfor barne- og ungdomspsykiatrien (17), gjør at det må settes spørsmålstegn ved om instrumentet skiller tilstrekkelig mellom gode og dårlige erfaringer og ved muligheten til å måle endring over tid og mellom institusjoner. For to av dimensjonene i det nasjonale instrumentet var gjennomsnittsskåren over 70 på en skala fra 0 til 100, der 100 er best. Selv om resultatet på den siste dimensjonen var 59, er ikke instrumentet optimalt sett i forhold til diskrimineringsevne og sensitivitet.

En annen begrensning ved studien var at vi kun ba om tilbakemelding fra de foresatte, ikke fra barna/ungdommene. En helhetlig tilbakemelding fra brukerne bør inkludere barnas/ungdommenes perspektiv. Vi har i denne studien heller ikke sett på sammenhengen mellom de foresattes vurderinger og andre faktorer, som for eksempel klinisk resultat (12), andre kvalitetsindikatorer og produktivitet. Dette er problemstillinger som bør følges opp i senere studier.

Vi konkluderer med at måleinstrumentet og representativiteten i den nasjonale brukererfaringsundersøkelsen var tilfredsstillende. Generelt var de foresatte fornøyd med poliklinikkene, men det var forbedringspotensial på alle dimensjonene og for alle poliklinikkene. Ved BUP-poliklinikkene har man med disse resultatene mulighet for å analysere og reflektere over tilbakemeldingene fra en viktig målgruppe for virksomheten og mulighet for å implementere forbedringstiltak slik at tilbudet kan bli enda bedre for barna/ungdommene og deres foresatte. Etter planen skal denne undersøkelsen være en av de faste nasjonale brukererfaringsundersøkelsene som gjentas hvert tredje år. Dette betyr at det vil være mulig å følge utviklingen i de foresattes vurderinger av poliklinikkene over tid.