I 10. semester er medisinstudentene ved Universitetet i Oslo utplassert i allmennpraksis på Sørlandet og Østlandet i seks uker. Praksisperioden er en viktig del av undervisningen i dette semesteret og i utdanningen som helhet. I dag er evalueringen av studentene i praksisperioden basert på fortløpende tilbakemelding fra praksisveileder. Praksislærerens vurdering etter direkte observasjon av studenten kan på mange måter betraktes som gullstandard ved vurdering av studenter i undervisningen. Dette fungerer fint for mange studenter, som opplever praksisperioden som spennende og lærerik. Mange studenter har imidlertid rapportert at praksisveilederen ikke overvar konsultasjonene deres med tanke på direkte tilbakemelding, eller at tilbakemeldingene de fikk var for uspesifikke (1 ).
I andre land er tilbakemeldinger fra pasienter i økende grad blitt brukt for å vurdere kvalitet i allmennpraksis. Stort sett er pasienter fornøyd med helseomsorgen de får (2 ). Flere utenlandske studier med ulike metoder rapporterer at pasientene er tilfreds også når studenter er til stede og deltar under konsultasjonen (3 – 5 ). I Norge har man prøvd å bruke strukturerte tilbakemeldinger fra pasienter til allmennleger. Dette er blitt oppfattet å ha begrenset nytteverdi for legene og som et dårlig grunnlag for endringsprosesser i deres praksis (6 ). En nederlandsk artikkel antyder imidlertid at studenter kan ha mer nytte enn allmennleger av strukturert tilbakemelding fra pasienter (7 ).
Vi har latt pasienter evaluere studentenes konsultasjoner og sammenliknet pasientenes, studentenes og praksisveiledernes vurdering av konsultasjoner studentene hadde. Dette har vært forsøkt i forskjellige utforminger i andre land, men ikke i allmennpraksis (8 – 11 ). Vi ønsket å belyse om standardiserte spørreskjemaer utfylt av pasienter kan være et nyttig supplement til praksislærerens tilbakemelding i evalueringen av medisinstudenter i klinisk praksis.
Materiale og metode
Høsten 2004 ble det gjort en pilotstudie der et spørreskjema ble delt ut til et utvalg av pasientene til ni studenter, til sammen 123 pasienter. På bakgrunn av erfaringer fra pilotstudien ble spørreskjemaet videre bearbeidet.
Kvantitativ del
Kull H00, som var i praksisutplassering i to puljer i perioden mars-mai 2005, ble valgt ut til å delta i selve studien. Studentene ble informert om prosjektet og forespurt om deltakelse på forelesning og på e-post. Praksislærerne fikk informasjon om studien på et fellesseminar i januar 2005. Deltakelsen ble bekreftet ved at studentene signerte på en liste.
Studentene fikk med seg 20 skjemaer som de skulle gi til helsesekretæren på praksisstedet. Helsesekretæren skulle dele ut skjemaene til vilkårlig valgte pasienter som studenten hadde hatt selvstendig konsultasjon med i løpet av de tre siste ukene av praksisperioden. Studenten skulle ikke vite hvilke pasienter som fikk skjema. Pasienter som ikke behersket norsk, og pasienter med alvorlig psykisk sykdom, ble unntatt fra studien. På skjemaet oppga pasienten kjønn og alder. Åtte spørsmål dekket sentrale aspekter ved en konsultasjon. Alle spørsmålene, unntatt ett, var positivt formulert, og pasienten krysset av på en fempunkts Likert-skala fra «Helt enig» til «Helt uenig». Det var i tillegg et felt for «Andre kommentarer».
Vi ønsket også å undersøke samsvaret i vurderingen av studentens konsultasjonsferdigheter fra pasientens, studentens og praksislærerens side. I fem konsultasjoner ble praksisveilederen oppfordret til å observere studenten. Både pasient, student og lege skulle evaluere disse konsultasjonene uavhengig av hverandre (student og lege besvarte ikke spørsmålet om pasienten kunne tenke seg studenten som sin fastlege). På disse skjemaene ble pasientens hoveddiagnose påført.
Studentene ble oppringt da de var i tredje eller fjerde uke av praksisperioden og minnet på prosjektet. Praksislærerne fikk et påminningsbrev og et skjema for evaluering av hele prosjektet tilsendt i studentenes tredje praksisuke. Sluttevalueringsskjemaene skulle fylles ut av studenten og læreren for å vurdere nytten av tiltaket og systematisere erfaringer om hvordan prosjektet ble gjennomført. Alle spørreskjemaene ble samlet inn etter praksisperioden, og det ble gjennomført to purringer.
Kvalitativ del
To PBL-grupper (problembasert læring) med åtte studenter hver ble valgt ut til en samtale før og etter praksisperioden. En gruppe studenter som hadde valgt ikke å delta i studien, ble også intervjuet etter utplasseringen. Hovedtema i den første samtalen var forventninger til praksisperioden, evalueringen studentene regnet med å få, og tanker om hvordan det ville oppleves å bli evaluert av sine egne pasienter. I den andre samtalen var det i større grad lagt vekt på gjennomføringen av prosjektet. Intervjuet med gruppen som ikke hadde deltatt i prosjektet, dreide seg særlig om hva slags tilbakemeldinger studentene hadde fått og hva de hadde savnet. Fokusgruppeintervjuene varte ca. 45 minutter, ble tatt opp på bånd og skrevet ut etterpå.
Bearbeiding av data
Pasientevalueringsskjemaene ble lagt inn i statistikkprogrammet SPSS 11.0. Vi snudde skalaen for det negativt formulerte spørsmålet om studenten hadde brukt vanskelige ord og uttrykk, slik at verdien 5 fortsatt tilsvarer beste karakter. På skjemaer der pasienten hadde vært svært fornøyd med konsultasjonen, men likevel hadde krysset av «Helt enig» på dette spørsmålet, ble svaret ikke ekskludert. Vi utførte en Wilcoxon-test for å finne samsvaret mellom henholdsvis pasient/student og pasient/veileder.
Pasientenes tilbakemeldinger til studentene i fritekst ble gruppert etter tema. Vi delte dem i positive og negative utsagn og valgte så ut det mest meningsbærende utsagnet i hver underkategori. Utskriftene fra fokusgruppeintervjuene ble gjennomlest og studentenes kommentarer ble kategorisert etter tema, og illustrerende eksempler ble valgt ut.
Resultater
36 studenter returnerte skjema med evalueringer av totalt 681 konsultasjoner. Etter to purringer ble omfanget av prosjektet som spesifisert i tabell 1. Det var stor bredde i pasientenes alder og diagnoser der dette var kjent.
Tabell 1 Pasientevalueringsprosjektet for studenter i 10. semester i Oslo utplassert i allmennpraksis våren 2005
Studenter
Totalt
Kvinner
Studenter på kull H00
84
53
Påmeldte
52
37
Sluttet på kullet
2
2
Trakk seg fra studien
14
10
Endelig antall deltagere
36
24
Gjennomsnittlig antall konsultasjoner evaluert per student
18,9
–
Deltagere med gjennomførte trippelevaluerte konsultasjoner
16
13
Konsultasjoner
Antall
Konsultasjoner evaluert av pasient, student eller lege
681
Pasientevaluerte konsultasjoner
648
Studentevaluerte konsultasjoner
94
Legeeevaluerte konsultasjoner
93
Konsultasjoner evaluert av både pasient, student og lege
63
Pasienter (kvinner i parentes)
681 (395)
Ulike diagnoser (bare rapportert i legeobserverte konsultasjoner)
74
Pasientenes alder i gjennomsnitt (spredning)
43,0 (0,1 – 93)
Pasientene viste høy grad av enighet i uttalelsene på skjemaet. I beregninger av dataene der «Helt enig» tilsvarte 5 og «Helt uenig» tilsvarte 1, lå gjennomsnittlige svar fra 4,3 til 5,0 (tab 2). Ingen enkeltstudenter fikk gjennomgående lave skårer fra sine pasienter. En del pasienter hadde gitt ytterligere tilbakemeldinger i kommentarfeltet nederst på spørreskjemaet. Kommentarene var i en del tilfeller utdypende og gjaldt studentens styrker og svakheter (ramme 1).
Tabell 2 Pasientenes vurdering av studentenes konsultasjoner. Spørsmålene er gjengitt slik de var formulert i spørreskjemaet som pasientene fylte ut, her sortert etter størst enighet. 5 = Helt enig, 4 = Litt enig, 3 = Vet ikke, 2 = Litt uenig, 1 = Helt uenig. N = 36 studenters gjennomsnittlige skårer
Gjennomsnitt (95 % KI)
Antall pasienter som har krysset av på «Helt enig» (%)
I konsultasjonen som du har hatt hos studenten, synes du at han/hun har:
– Gitt seg nok tid for å få frem hva du kom til lege for?
5,0 (4,8 – 5,0)
635 (98)
– Gitt et tillitvekkende inntrykk som lege?
4,9 (4,8 – 5,0)
599 (93)
– Besvart de spørsmålene du hadde om din tilstand?
4,9 (4,7 – 5,0)
590 (92)
– Gjort en ordentlig undersøkelse av deg?
4,9 (4,7 – 5,0)
586 (92)
– Vist tilfredsstillende faglige kunnskaper?
4,8 (4,4 – 5,0)
527 (82)
– Laget en plan for videre oppfølging av din tilstand som du er fornøyd med?
4,7 (4,4 – 5,0)
508 (83)
– Brukt ord og uttrykk som er vanskelige å forstå?
4,3 (3,6 – 5,0)
495 (78)
Tenk deg at du skulle bytte fastlege, kunne du tenke deg å bruke ham/henne som fastlege?
4,3 (3,5 – 5,0)
416 (66)
Ramme 1
Utvalgte kommentarer til studentenes konsultasjoner fra pasientene i fritekstområdet på spørreskjemaet
Positive kommentarer
God kontakt: «Lett å oppnå kontakt. Øyekontakt under samtalen. Virket meget konsentrert og lyttende til det jeg sa med hensyn til hvordan jeg «hadde det».»
Åpen for pasientens perspektiv: «Studenten spurte meg: «Hva tror du selv at det feiler deg?» (Første gang en lege har spurt om dette. Veldig positivt.)»
Fikk pasienten til å åpne seg: «Stilte aktuelle spørsmål i forhold til problemområdet. Fikk meg til å fortelle ting jeg ikke har nevnt for andre. Positivt.»
Trygg med barn: «En meget god lege som vil passe godt, også som barnelege, da hun behandla barnet på en tillitsskapende og trygg måte. Forklarte begreper både for mor og barn. Barna var faktisk tryggere hos [studenten] enn de har vært hos lege tidligere.»
Likeverdig posisjon: «Tok seg god tid, vennlig, forklarer bra, ikke «arrogant» (som jeg har opplevd før).»
Grundig undersøkelse: «Jeg foreslo selv i utgangspunktet en «enkel» løsning på problemet, (…), mens studenten gjerne ville undersøke først – positivt.»
Negative kommentarer
Passiv: «Synes eleven kunne vært mer delaktig og ikke fullt så passiv og observerende.»
Usikker: «Virket litt usikker/nervøs.»
Vanskelig tilfelle: «Litt vanskelig for ham, da jeg kom med noe som ikke er helt dagligdags.»
Urutinert: «Trenger mer erfaring med de forskjellige skjemaer, det kommer nok med tiden.»
Vi undersøkte samsvaret mellom evalueringene fra pasientene, studentenes selvevaluering og veileders vurdering på de samme områdene (fig 1). Veileder og pasient vurderte studenten likt på fem av sju temaer. Veileder ga høyere skår på spørsmålet om studenten hadde brukt vanskelige ord og uttrykk (p < 0,01), og ga lavere skår på spørsmålet om studenten hadde gjort en ordentlig undersøkelse av pasienten (p = 0,01). Studentene ga gjennomgående en lavere vurdering av sine egne konsultasjoner enn pasientene, med signifikant forskjell på alle områder bortsett fra spørsmålet om vanskelige ord og uttrykk.
Samsvar mellom evaluering av studentenes konsultasjoner fra pasient, student og lege (veileder). N = 63 veilederobserverte konsultasjoner. 5 = Helt enig, 4 = Litt enig, 3 = Vet ikke, 2 = Litt uenig, 1 = Helt uenig. Søylene viser gjennomsnittlig skåre. Studenten skårer seg selv lavere på seks av sju områder
Veilederne ble spurt om utfylling av skjemaene medførte økt belastning for pasientene. Tre av 32 veiledere var «Helt enig» eller «Litt enig» i dette. Ni av 32 veiledere mente at utdeling og innsamling av skjemaene medførte økt belastning for helsesekretærene. Seks av 33 studenter var «Litt enig» i at det ga dem økt prestasjonsangst å skulle bli evaluert av sine egne pasienter. To av 33 studenter var «Litt enig» i at det medførte et press som hindret naturlig progresjon i utplasseringsperioden. Ni av 33 studenter var «Helt enig» eller «Litt enig» i at de visste hvilke pasienter som hadde fylt ut evalueringsskjema.
Studentenes og veiledernes tilbakemeldinger om nytten av prosjektet er gjengitt i tabell 3. Ingen av veilederne var uenig i pasientenes samlede vurdering av studenten. Det var stor spredning i svarene på de andre spørsmålene. Det var flere studenter som mente at bruken av skjemaene styrket evalueringen av kommunikasjonen enn de som mente at skjemaene var til hjelp i evalueringen av deres ferdigheter. Ramme 2 viser et utvalg av studentenes kommentarer fra fokusgruppeintervjuene ordnet i positive og negative utsagn, som illustrerer og utdyper tilbakemeldingene vi fikk i skjemaform.
Tabell 3 Studentenes og legenes oppfatning av hvor nyttig det var å bruke pasientevalueringsskjemaene i utplasseringsperioden. Dataene er hentet fra sluttevalueringsskjemaene, svarene «Helt enig» og «Litt enig» er samlet under overskriften «Enig», «Helt uenig» og «Litt uenig» er samlet under «Uenig»
Studentene (n = 33)
Legene (n = 33)
Enig
Vet ikke
Uenig
Enig
Vet ikke
Uenig
Er legen enig i pasientenes samlede vurdering av studenten?
–
–
–
30
3
0
Medførte skjemaene en konkret og detaljert diskusjon om studentens ferdigheter?
5
5
22
12
7
14
Styrket bruken av skjemaet evalueringen av kommunikasjonen mellom student og pasient?
21
1
11
14
9
10
Synes legen bruken av skjemaet har gjort evalue-ringen av studenten mer konstruktiv?
–
–
–
12
11
8
Er pasientutfylte evalueringsskjema vel verdt tiden og kreftene det tar?
11
8
14
18
6
9
Ramme 2
Utvalgte kommentarer til bruk av pasientevalueringsskjema fra studentene i fokusgruppe-intervjuene
Positive kommentarer
Ga selvtillit: «Positiv tilbakemelding var godt for selvtilliten! (Pasientene sier det sjelden spontant når de er fornøyde).»
Lite tilbakemelding ellers: «Vi vil jo bli flinkest mulig leger, og da bør vi takke ja til all den tilbakemelding vi kan få, for det er egentlig ikke så veldig mye i løpet av studiet.»
Trenger pasientenes perspektiv: «Pasientene vi trenger det mest ifra, kanskje?»
Engasjerte veilederen: «Altså, han [legen] var jo der litt da i hvert fall, i forhold til hva han ellers hadde vært.»
Jevner ut forskjeller på utplasseringsstedene: «Det som kunne være fordelen med dette her, da, at du trengte fram en standardisering. At folk faktisk fikk jobbe selvstendig.» [En annen repliserer:] «På den annen side så hadde du tvunget frem at legen faktisk var til stede. For jeg hadde ikke én konsultasjon med legen min til stede.» (Studenter som ikke deltok i prosjektet.)
Negative kommentarer
Tør ikke stole på pasienten: «Der jeg sjøl følte at jeg ikke kunne det godt nok, og så kryssa dem av på utmerkede kunnskaper, og jeg tenkte jaja, jeg veit ikke helt om jeg tør helt å stole på det!»
Foretrekker veileders tilbakemelding: «Likevel så fikk jeg jo tilbakemelding fra de legene. (…) Jeg tar det for bedre fisk, da, enn det pasienten sier.» (Student som ikke deltok i prosjektet.)
For travel praksisperiode: «Det var hele tida stress, hele tiden, av og til så var det to minutter med en banan midt på dagen, og så var det bare hepp-hepp videre. Og hvis jeg hadde kommet med skjema «nå skal vi evaluere litt» – det tror jeg ikke hadde vært noe populært i det hele tatt.» (Student som ikke deltok i prosjektet.)
Diskusjon
Mange studenter ønsker mer tilbakemelding i praksisperioden. Vi ønsket å finne ut om pasienter kan være en nyttig ressurs i evalueringen av studenters kliniske praksis i allmennmedisin. Vårt hovedfunn er at det var svært høy tilfredshet blant pasienter som hadde hatt konsultasjoner med medisinstudenter. Ettersom veilederens vurdering er en slags gullstandard, er det et viktig funn at ingen veiledere oppga å være uenig i den samlede vurderingen pasientene hadde gitt av den enkelte student. Videre samsvarte pasientens og veilederens evaluering på de fleste områdene som ble undersøkt. Imidlertid skåret medisinstudentene seg selv gjennomgående lavere enn både pasient og veileder. Fokusgruppeintervjuene viste at flere studenter som bare fikk svært gode tilbakemeldinger fra sine pasienter, ikke festet lit til at tilbakemeldingene reflekterte deres prestasjoner. En av deltakerne i fokusgruppen kommenterte før prosjektet: «Man dømmer seg selv for hardt, tror jeg. (…) Medisinstudenter er strenge.»
Studiens begrensning ligger først og fremst i seleksjon av studentene ved at deltakelse i prosjektet ble fremstilt som et tilbud til kullet. 14 av 50 deltakere trakk seg fra studien underveis, en del fordi behovet for evaluering ble dekket av veileder. Andre antydet at det var fordi det ikke ble lagt til rette for gjennomføring på praksisplassen deres. Det er rimelig å tenke seg at studentene møtte en utvalgt gruppe praksispasienter, og at de som fikk utdelt spørreskjema, var ytterligere selektert. Imidlertid møtte studentene pasienter i alle aldre og med et bredt spekter av diagnoser. Intensjonen var at studentene skulle være ukjent med hvilke pasienter som evaluerte konsultasjonene deres. Likevel visste omtrent en tredel av studentene hvem som hadde fylt ut skjemaene. Det var imidlertid ikke slik at evalueringene til studentene som visste hvilke pasienter som evaluerte dem, skilte seg ut fra resten.
Vi valgte å lage et spørreskjema som skulle passe til alle typer pasienter som møtte en student i allmennpraksis. Skjemaet hadde mange positivt formulerte utsagn, og det første spørsmålet var om pasienten hadde fått nok tid. Studentene hadde relativt god tid til sine konsultasjoner. Dette kunne påvirke den som fylte ut skjemaet, til å besvare positivt også videre nedover på skjemaet, den såkalte spørsmålsrekkefølge-effekten (12 ). Det er heller ikke sikkert at skjemaet fanget opp pasientens egentlige mening. Det er vist at inneliggende pasienter som har gitt studenter høye poeng på spørreskjema, har hatt dårlige erfaringer som de ikke rapporterte på skjemaet. Dette skyldes at pasienter har en viss motvilje mot å kritisere studenter (8 ).
Et flertall av studentene mente at bruken av skjemaet styrket evalueringen av deres kommunikasjon med pasienten. Dette synet støttes av andre studier. McKinley og medarbeidere fant at pasienter kan bedømme kommunikasjon og mellommenneskelige egenskaper (10 ). Veileder kan ikke erstatte pasientperspektivet når det gjelder emosjonell respons (13 ). Når det gjelder evalueringen av tekniske ferdigheter, slik som innhenting av adekvat informasjon og den kliniske undersøkelse, er veilederens vurdering å foretrekke (8 , 13 ). Våre studenter ga også uttrykk for at pasientevalueringsskjemaene ikke bidro til så god evaluering av deres kliniske ferdigheter, mens veilederne ikke ga noe entydig svar på dette spørsmålet.
Ved måling av pasienttilfredshet vil denne generelt være høy. Pasienter er gjennomgående fornøyd når de uttaler seg om omsorgen de får av legen, særlig når de er behandlingstrengende og i en avhengighetssituasjon (2 , 14 ). Det er også rapportert om stor grad av tilfredshet hos pasienter som har vært i kontakt med medisinstudenter (3 – 5 , 8 – 11 ). Dette reflekteres også i vår studie. Vår studie skiller seg fra liknende studier ved at studentene hadde selvstendige konsultasjoner i allmennpraksis.
Det er viktig at pasienten er fornøyd. Dette har betydning for pasienters behandlingsetterlevelse og for pasientens totale helsesituasjon (2 ). Vi tror det var en viktig lærdom for studentene at pasientene var så fornøyd med deres konsultasjoner, og at dette kan være en støtte for studentene videre, slik det også kom til uttrykk i noen utsagn i fokusgruppeintervjuene. Pasientenes egenformulerte kommentarer understøttet de utfylte skjemaene, og kommentarene ble ansett som konkrete og nyttige av studentene. Også for kontormedarbeiderne hadde prosjektet noen positive effekter. Helsesekretærene fortalte studentene at det var betryggende at de visste at pasientene var fornøyd når de ble sendt inn til studentene.
Trippelevaluerte konsultasjoner viste seg å ha en betydelig egenverdi. Studenter som mente at legen var for distansert i forhold til deres arbeid, kunne bruke prosjektet til å få tilbakemelding på observerte konsultasjoner. En del studenter fikk liten mulighet til å jobbe selvstendig i praksisperioden og erfarte at prosjektet ga dem støtte i kravet om å få «egne» pasienter.
På et godt praksissted er behovet for tilbakemelding dekket. På andre praksissteder mener vi denne type prosjekter kan bidra til å heve kvaliteten på en enkel og billig måte. Som en student som var fornøyd med sin praksis sa: «Eg synes ikkje skjemaet skal være obligatorisk (men absolutt eit tilbod) fordi eg meiner at ein av forutsetningane for at praksisen vart så bra, var at allmennpraktikaren og studenten saman var fri til å utforme opplegget utan overstyring frå fakultetet.»
