I medisinstudiet i Oslo er undervisningen i kunnskapshåndtering integrert i faget kunnskapshåndtering, ledelse og kvalitetsforbedring, forkortet KLoK (1). I 10. semester har studentene en 12 ukers praksisperiode i sykehus og allmennpraksis, der de løser individuelle oppgaver i KLoK. Undervisning i kunnskapshåndtering har tradisjonelt vært basert på kritisk vurdering av vitenskapelige artikler, men erfaringer tydet på at studentene ikke tilegnet seg tilstrekkelige ferdigheter i å stille presise kliniske spørsmål, søke etter kunnskap i egnede databaser og integrere forskningsbasert kunnskap i egen praksis. Denne erkjennelsen ledet til et ønske om å legge om undervisningen i kunnskapshåndtering. En gjennomgang av oppsummert forskning for ulike typer pedagogiske tiltak ga god dokumentasjon for at undervisning integrert i klinisk arbeid med pasientnære problemstillinger og skriftlig dokumentasjon av prosessen gir kunnskap og ferdigheter i kunnskapshåndtering (2 – 4).
Vi utviklet et nytt læringstiltak, kalt Kunnskapsbasert praksis for medisinstudenter, ved bruk av e-læringsressurser (KUPMESTER). Studentene skal i løpet av praksisperioden i 10. semester fylle ut to såkalte arbeidsfiler for å dokumentere prosessen fra kliniske spørsmål til svar. En arbeidsfil er et elektronisk skjema (Microsoft Word-dokument) der man fyller inn klinisk problemstilling, litteratursøk, søkeresultat, kildevalg, kritisk vurdering av kunnskapsgrunnlaget, konklusjon med en løsning på problemet og eventuelt om det er behov for å endre praksis i avdelingen/praksisen. Studentene blir tilbudt veiledning underveis og blir oppfordret til bruk av nettkurset www.kunnskapsbasertpraksis.no.
I denne artikkelen rapporterer vi resultater fra bruk av arbeidsfilene for et kull medisinstudenter for å evaluere ferdigheter i spørsmålsformulering, kunnskapssøk og kritisk vurdering av retningslinjer og studier. Vi rapporterer også i hvilken grad studentene fant svar på sine kliniske spørsmål og antall tilfeller hvor de konkluderte med at det var behov for å endre praksis.
Materiale og metode
KUPMESTER ble utviklet i 2009 som et prosjekt ledet av to medisinstudenter (førsteforfatter og Øystein Andersen) under veiledning av sisteforfatter og Arild Bjørndal, som har ansvar for undervisningen i kunnskapshåndtering. Oppgaven er siden da blitt et fast ledd i undervisningen i 10. semester. Datamaterialet er basert på arbeidsfiler innlevert vårsemesteret 2011.
Undervisning før praksisperioden
I 7. semester får studentene et fire dagers kurs i kunnskapsbasert praksis. Det avsluttes med en kunnskapstest som må bestås for at man skal kunne gå opp til ordinær eksamen. I 10. semester inngår to timers undervisning i kunnskapsbasert praksis i et innføringsseminar i KLoK-programmet uken før praksistreningen. Undervisningen gir en kort repetisjon av stegene i kunnskapsbasert praksis og en forklaring til utfylling av arbeidsfilene. Erfaringsmessig møter under halvparten av studentene til denne undervisningen i 7. og 10. semester.
Studentene ble anbefalt å gjøre litteratursøk med søkeord hentet fra et PICO-spørsmål. Vi gir en grundigere innføring i spørsmålsformulering, litteratursøk og kritisk vurdering i en kronikk i denne utgaven av Tidsskriftet (5). Første steg i sirkelen fra spørsmål til svar er å formulere et nøyaktig «PICO-spørsmål» med presis beskrivelse av pasient/ populasjon (P), behandlingsalternativer (Intervention; I og Comparator; C) og utfall/kliniske endepunkter (Outcomes; O). Neste steg er å utføre litteratursøk. Her blir studentene anbefalt å gjøre «pyramidesøk» i søkemotoren McMaster PLUS med 1 – 2 enkle søkeord hentet fra PICO-spørsmålet. Dette er en søkemotor som tråler relevante databaser og tidsskrifter og rangerer svarene på ulike nivåer av kunnskapspyramiden (5 – 7). McMaster PLUS er således en hjelp til å finne forhåndsvurderte systematiske oversikter og enkeltstudier som anses å være gyldige og interessante for helsearbeidere. Studentene ble oppfordret til å lete etter svar fra topp til bunn i kunnskapspyramiden og til å velge kvalitetsvurderte studier fremfor ikke-kvalitetsvurderte.
Kritisk vurdering av gyldighet, resultater og appliserbarhet skulle gjennomføres for den valgte retningslinjen eller studien. Studentene ble oppfordret til å bruke sjekklister tilgjengelig på www.kunnskapsbasertpraksis.no for kritisk vurdering. De ble også bedt om å rapportere både relative og absolutte effektestimater samt mål for statistisk usikkerhet.
Praksisperioden
I 10. semester er studentene i praksis i seks uker ved ti samarbeidende lokalsykehus. Det er ingen annen undervisning i denne perioden. De følger normal arbeidstid ved praksisplassene og deltar på vakter. Av i alt 107 studenter i dette semesteret var det 91 som inngikk i prosjektet. Vi mottok ikke arbeidsfiler for de resterende 16 studentene.
Hver student ble bedt om å fylle ut to arbeidsfiler med utgangspunkt i en klinisk problemstilling fra egen praksis, fortrinnsvis et spørsmål om effekt av behandling. Oppgaven ble vurdert og godkjent av lektor (praksislærer) ved lokalsykehuset før innsending til universitetslærer sentralt på fakultetet. Lektorene hadde ikke fått systematisk undervisning i kunnskapshåndtering.
Studentene ble oppfordret til å benytte nettkurset på www.kunnskapsbasertpraksis.no ved behov for mer kunnskap om de enkelte steg i kunnskapssirkelen. Dette kurset er utarbeidet ved Høgskolen i Bergen i samarbeid med Nasjonalt kunnskapssenter for helsetjenesten og har som målsetting at brukeren skal lære seg å finne og kritisk vurdere forskningsbasert kunnskap for å kunne ta kunnskapsbaserte beslutninger (8). Nettkurset gir en innføring i de viktigste begrepene i de seks trinnene i kunnskapsbasert praksis gjennom tekstmoduler, videoforelesninger, oppgaver og litteraturhenvisninger. Vi inkluderte også et spørsmål om behov for praksisendring, basert på konklusjonen i arbeidsfilen. Dette spørsmålet leder opp mot KLoK-oppgaven i 11. semester, der studentene skal utvikle et kvalitetsforbedringsprosjekt basert på erfaringer fra praksisperioden (1).
Arbeidsfiler
Arbeidsfiler for klinisk integrert læring i kunnskapshåndtering er blitt utviklet av sisteforfatter siden 2006, som læringsverktøy for leger i spesialistutdanning og senere også for fysioterapeuter i Norge (Vandvik PO, Bjørndal A, foredrag ved 3rd International Conference of Evidence-based Health Care Teachers and Developers, Taormina, 2007; Olsen NR, Vandvik PO, Larun L et al, foredrag ved 5th International Conference of Evidence-based Health Care Teachers and Developers, Taormina, 2009). Arbeidsfilene er utformet med tanke på at helsepersonell skal oppøve praktiske ferdigheter i kunnskapshåndtering på bakgrunn av tilstrekkelig teoretisk kunnskap. Samtidig utgjør arbeidsfilen et verktøy for interaksjon mellom studentene, lektorene og universitetslærerne og muliggjør evaluering av praktiske ferdigheter i kunnskapshåndtering. Vi videreutviklet og prøvde ut disse arbeidsfilene på flere kull med medisinstudenter i 10. semester i perioden 2009 – 10.
Figur 1 viser arbeidsfilen (som er utviklet i Microsoft Word) slik den ble utfylt av en medisinstudent (ER). Arbeidsfilen inneholder alle stegene i kunnskapssirkelen (5).
Figur 1 Eksempel på arbeidsfil utfylt av en medisinstudent (ER) med tilbakemeldinger
Powerpoint
For å kunne evaluere studentenes ferdigheter gjennom de utfylte arbeidsfilene kategoriserte vi hvert felt i filen tilsvarende stegene i kunnskapsbasert praksis (5). Vi utviklet forskjellige svarkategorier, som illustrert under vår rapportering av resultater. I feltet «Hva slags type kjernespørsmål?» var det for eksempel fire svarkategorier (effektspørsmål, diagnosespørsmål, prognosespørsmål eller «andre»). For statistisk bearbeiding ble svarkategoriene innen hvert felt tildelt en numerisk verdi. Arbeidsfiler med like verdier innen samme felt ble således summert opp og benyttet til å rapportere svarandeler.
Konklusjonen i arbeidsfilen ble vurdert som tilfredsstillende dersom studenten hadde gjort en adekvat resultatfortolkning av en relevant artikkel ut fra en skjønnsmessig vurdering. Kategorisering av svaralternativene ble utført av medisinstudenten (ICK) og deretter diskutert og gjennomgått med ansvarlig universitetslærer (POV). Arbeidsfil nr. 2 ble plukket ut til vurdering og kategorisering.
Resultater
90 av totalt 91 arbeidsfiler omhandlet forståelige og relevante kliniske problemstillinger. Effekt av behandling var temaet i 76 arbeidsfiler, mens de resterende dreide seg om diagnostikk og prognose.
Med utgangspunkt i de kliniske problemstillingene utviklet studentene fokuserte spørsmål i PICO-format: 70 arbeidsfiler inneholdt alle fire komponenter, 14 manglet ett element og sju manglet to elementer. Populasjon, intervensjon og kontrollgruppe ble tilfredsstillende definert i henholdsvis 84, 85 og 72 arbeidsfiler. Når det gjaldt definering av pasientviktige utfall, manglet 13 arbeidsfiler utfall, mens 60 definerte ett, 17 definerte to og én definerte 4 – 5 utfall. Figur 1 illustrerer at studenten kun identifiserte ett relevant utfall.
Før studentene utførte litteratursøk ble de bedt om å rapportere hvilke kilder de normalt sett ville benyttet for å finne svar i vanlig praksis. 31 ville spurt erfarne kolleger, 24 ville gjort oppslag i lærebøker, 19 ville utført nettsøk og 15 ville lett etter lokale retningslinjer.
I de 91 arbeidsfilene ble litteratursøk hyppigst utført med pyramidesøk i McMaster PLUS (n = 42), etterfulgt av direkte søk i Up to date eller Best practice (n = 17), PubMed eller andre databaser (n = 15) og søk uten angitt database (n = 17). Svar ble hyppigst funnet i kunnskapsbaserte oppslagsverk eller retningslinjer (n = 43), dernest i primærstudier (n = 30) og systematiske oversikter (n = 15). Kun tre fant svar i ikke angitte kilder.
78 av 91 studenter gjorde en kritisk vurdering av resultatene. I vurderingen av relevante momenter vedrørende gyldighet inneholdt 29 ingen momenter, 12 ett moment, åtte to momenter og 29 tre eller flere momenter. Minst ett effektestimat ble rapportert i 46 arbeidsfiler, hvorav ti filer inkluderte både absolutte og relative effektestimater. I studentens vurdering av om tiltaket var appliserbart i egen praksis, ble minst ett moment rapportert i 58 arbeidsfiler.
89 av 91 studenter mente at de fant svar på sitt kliniske spørsmål. Av disse konkluderte vi med at 84 faktisk hadde funnet svar og hadde kommet med en adekvat og tilfredsstillende konklusjon. Figur 1 illustrerer hvordan studenten feiltolket dokumentasjonen og hvordan universitetslæreren formidlet dette tilbake.
50 av 91 studenter rapporterte hva som var vanlig behandlingspraksis i avdelingen der de gjennomførte sin praksisperiode. I 17 arbeidsfiler konkluderte studenten at det var behov for å endre praksis. Dette omfattet noen av studentene som ikke opplyste hva som var vanlig behandlingspraksis i avdelingen.
Ingen av studentene rapporterte at de kontaktet universitetslærer eller bibliotekar underveis i arbeidet med arbeidsfilene. Kun fem rapporterte hvor mange timer de hadde jobbet med arbeidsfilen. Figur 1 illustrerer hvordan studenten fikk tilbakemelding på elementer i arbeidsfilen med forbedringsbehov.
Diskusjon
Vår evaluering av 91 innleverte arbeidsfiler fra et kull medisinstudenter i 10. semester gir gode holdepunkter for å hevde at studentene tilegnet seg grunnleggende ferdigheter i kunnskapshåndtering, i tråd med målsettingen for undervisningen. Arbeidsfilene er i så måte et lovende verktøy både for klinisk integrert læring i kunnskapshåndtering og for evaluering av ferdigheter.
De fleste studentene formulerte presise spørsmål i PICO-format for klinisk relevante problemstillinger i praksisperioden. I undervisningen vektlegger vi at vurdering av flere utfall er viktig når man betrakter fordeler og ulemper ved en behandling (9). Kun et mindretall rapporterte imidlertid mer enn ett pasientviktig utfall. Dette kan skyldes at studentene ikke kjenner alle utfall man kan forvente av behandlingen, eller at de glemmer at behandling også er beheftet med uønskede konsekvenser/bivirkninger. Imidlertid beskrev noen studenter flere utfall i resultatet enn de selv definerte i PICO-spørsmålet. Dette tilsier en aktiv læringsprosess gjennom stegene i kunnskapssirkelen.
Erfarne kolleger og lærebøker utgjorde de viktigste kildene til svar på kliniske spørsmål. Dette er i tråd med tidligere publiserte studier (10). Litteratursøk ble hyppigst utført for effektspørsmål med pyramidesøk i McMaster PLUS. Dette er et verktøy som blir presentert i undervisningen, og funnet tyder på at studentene går frem med utgangspunkt i hva som blir forelest og anbefalt i forkant. Svar ble funnet i kunnskapsbaserte oppslagsverk eller kvalitetsvurderte studier når det gjaldt to tredeler av de kliniske spørsmålene. Dette funnet tilsier at studentene har tilegnet seg god kunnskap i å finne den beste oppsummerte forskningen. Spørsmål om diagnostikk og prognose stilte studentene overfor større utfordringer i formulering av presise spørsmål, valg av database og i kritisk vurdering av artiklene. Det siste funnet indikerer at man i undervisningen forut for praksistreningen bør legge mer vekt på diagnostikk og prognose.
Til tross for at kritisk vurdering ble utført i 78 av 91 arbeidsfiler identifiserte vår evaluering svakheter i beskrivelsene av mulige systematiske feilkilder og effektestimater. Spesielt gjelder dette rapportering og tolking av resultatene. God forståelse av både absolutte og relative effektestimater samt statistisk usikkerhet er nødvendige ferdigheter i kunnskapshåndtering (11). Funnene indikerer at studentene trenger ytterligere øvelse i kritisk vurdering. Én mulig forklaring er at kun et mindretall studenter møter til undervisningen i 7. semester der kritisk vurdering av artikler er hovedtemaet, men også at studentene i liten grad benyttet seg av nettkurset og tilbud om veiledning underveis i arbeidet. Studentene bør informeres bedre om at denne undervisningen er grunnleggende for å kunnne lykkes med kritisk vurdering, at undervisningen er relevant for oppgaven med arbeidsfiler i 10. semester og for KLoK-oppgaven i 11. semester. Det kan også være aktuelt å gjøre undervisningen på dette feltet obligatorisk.
Behovet for å endre praksis ble rapportert i nesten en femdel av arbeidsfilene. Dette illustrerer potensialet for kvalitetsforbedring ved å søke svar på kliniske spørsmål samt behovet for å holde seg oppdatert på ny forskning. Funnet er noe usikkert, da kun halvparten av studentene rapporterte hva som var eksisterende praksis ved avdelingen. Flere av arbeidsfilene har dannet grunnlag for kvalitetsforbedringsprosjekter i KLoK-faget i 11. semester, og enkelte av disse prosjektene er i ferd med å bli implementert i praksis.
Vi mener studien gir rimelige pålitelige kunnskaper om studenters ferdigheter i kunnskapshåndtering gjennom klinisk integrert læring med arbeidsfiler. Vi anser resultatene basert på arbeidsfiler fra 91 av 107 studenter for å være representative, da mangel på innlevering skyldtes en misforståelse hos enkelte lektorer. Svakheter med studien omfatter bl.a. valg av studiedesign, som ikke er egnet til å måle effekt av læringstiltaket. En randomisert, kontrollert studie, der kun halvparten av studentene gjennomgikk læringstiltaket, lot seg ikke gjennomføre i praksis. Måling av studentenes kunnskaper og ferdigheter i kunnskapsbasert praksis før og etter læringstiltaket ble vurdert, men forkastet av mangel på et gyldig verktøy for slik evaluering.
En annen svakhet er studentenes manglende rapportering av behov for veiledning og bruk av nettkurset underveis i arbeidet med arbeidsfilene. Vårt inntrykk er at studenter som får veiledning underveis, gjør adekvate endringer i arbeidsfilen og tilegner seg bedre ferdigheter i kunnskapshåndtering. Det er også nødvendig å sikre at lektorene ved lokalsykehusene har tilstrekkelig kompetanse i kunnskapshåndtering, slik at de både kan veilede underveis og gjøre korrekte vurderinger i godkjenningen av arbeidsfilene. Regelmessige veiledningsmøter med studentene i praksisperioden kan bidra til å kvalitetssikre læringsprosessen.
Konklusjon
Undersøkelsen viser at majoriteten av studentene på slutten av medisinstudiet er i stand til å utforme forståelige og gode kliniske spørsmål. Studentene utviste gode kunnskaper om litteratursøk, og seks av ti studenter fant svaret på sitt kliniske spørsmål i oppsummert forskning. Den kritiske vurderingen av artiklene var noen ganger mangelfull, derfor bør slike ferdigheter vektlegges mer i undervisningen. Økt bruk av nettkurs og veiledning underveis kan gi ytterligere kompetanseheving i kunnskapshåndtering.
