En nasjonal delprøve ble gjennomført i mars 2017 for medisinstudenter i siste studieår. Oppslutningen om prøven var stor, og resultatene indikerer et jevnt faglig nivå på tvers av de norske studiestedene.
I 2014 bestilte dekanene ved de fire medisinske fakultetene en utredning av en nasjonal prøve (1). Det nasjonale utdanningsmøtet i medisin opprettet i mars 2015 en prosjektgruppe hvor mandatet var å utarbeide en skriftlig digital delprøve i klinisk resonnement i studiets siste semester. Dekanmøtet besluttet i desember 2015 at en delprøve i medisin skulle gjennomføres (1, 2). En viktig begrunnelse for delprøven er at den skal gi studentene informasjon om deres faglige nivå og samtidig gi fagmiljøene muligheten til å sammenligne prestasjoner på tvers av studiesteder.
Som et ledd i utviklingen av nasjonal delprøve i medisin formidler vi erfaringene fra den første piloten av nasjonal delprøve som ble gjennomført i mars 2017.
Nasjonale fagkomiteer
Utvalgte fagområder i piloten var kardiologi, thoraxkirurgi, gastroenterologi, gastrokirurgi, nefrologi og urologi (1). Det var et mål at spørsmålene skulle gjenspeile kompetansekravene i grunnutdanningen og innbefatte allmennmedisinske perspektiver.
I 2016 ble det etablert tre nasjonale fagkomiteer, med ti medlemmer hver, som utarbeidet oppgaver. Spørsmålstypen som ble valgt, var flervalgsoppgaver med fire svaralternativer og ett korrekt svar (1). Det ble utviklet en egen veileder for fagkomiteene (3). Komiteene laget til sammen 138 oppgaver som ble fagfellevurdert av i alt ni eksterne leger (leger i spesialisering, spesialist i det aktuelle området og spesialist i allmennmedisin). Fagfellevurdererne påpekte behov for justeringer i én av tre oppgaver, og enkelte oppgaver ble foreslått fjernet. Totalt 12 oppgaver ble strøket, og fagkomiteene gjorde en rekke justeringer i oppgavene.
Oppmøte og gjennomføring
Nasjonal delprøve var ikke obligatorisk, men oppmøtet var godt. Totalt 319 (83 %) av 384 aktuelle kandidater gjennomførte prøven (4). Oppmøteprosenten var mellom 73 % og 94 % ved de ulike studiestedene. Det ble valgt en digital løsning for eksamensavviklingen. Den var teknisk krevende og fungerte, men brukervennligheten var ikke optimal. Prøven besto av 120 oppgaver, og det ble beregnet en tidsramme på 120 sekunder per oppgave. Det viste seg at få studenter brukte mer enn 75 sekunder per spørsmål (4). Oppgaver og fasit med begrunnelser ble publisert på nett like etter at prøven var gjennomført (5).
Sensur og tilbakemeldinger
Studentene ble invitert, både individuelt og som kull, til å gi tilbakemelding på prøven som helhet, enkeltspørsmål og fasit med begrunnelser. Studentene ga tilbakemeldinger på 40 av oppgavene. Prosjektgruppen fungerte som sensurkomité. Komiteens vurderinger av oppgavene og konklusjoner med hensyn til studentenes tilbakemeldinger ble oppsummert i et eget notat som ble gjort tilgjengelig på nett (6). Seks spørsmål ble besluttet trukket fra prøven, og fasit ble endret for fem spørsmål fordi to svaralternativer i ettertid ble vurdert som korrekte.
Gjennomsnittlig korrekt skår var 71 %, med en spredning fra 41 % til 91 %, og prøven hadde gode diskriminerende egenskaper (4). Alle studenter fikk, om lag to uker etter at prøven var gjennomført, individuell tilbakemelding med angivelse av skår innen de ulike fagområdene. Studentene fikk også informasjon om gjennomsnittlig prosentvis skår for alle kandidater nasjonalt, i tillegg til angivelse av hvordan man selv presterte, sammenlignet med studenter ved eget fakultet. Gjennomsnittlig totalskår på tvers av fakultetene varierte med 4 %. Hvert fakultet har fått detaljerte data for de ulike fagområdene – for nærmere analyse og bearbeiding.
Evaluering av prøven
Alle studenter som deltok, fikk en tid etter prøven tilsendt et digitalt evalueringsskjema med spørsmål om prøvens formål, innhold og gjennomføring. 152 (48 %) av 319 studenter svarte (4). Svarandelen er lav, og det hefter derfor usikkerhet ved resultatene. 84 % av studentene som svarte, oppga at de vurderte nasjonal delprøve som et positivt tiltak, og 68 % ønsket at det skal arbeides for å etablere en felles skriftlig avsluttende eksamen. Studentene ga i form av fritekstkommentarer tilbakemelding om at en del oppgaver testet spesialistkunnskap og at prøven i større grad burde teste hva en nyutdannet lege blir forventet å kunne. Studentene etterlyste behov for flere øvingsoppgaver, bedre korrekturlesing av oppgavene, inkludert standardisering av benevnelser og referanseverdier, og et mer brukervennlig system for gjennomføringen. Noen poengterte i fritekst at det er nødvendig at prøven er obligatorisk om den skal belyse reelle forskjeller på tvers av studiestedene.
Vurderinger og videre planer
Erfaringene med piloten viser at det er faglig og teknisk mulig å gjennomføre en digital, nasjonal delprøve i medisinstudiets siste år. De nasjonale fagkomiteene representerer i seg selv en ny arena for dialog om studiets innhold og forventet læringsutbytte i ulike medisinske fagområder. En stor andel studenter valgte å gjennomføre prøven, og et flertall av dem som svarte på evalueringen, opplevde den som et positivt tiltak. Fagfellevurderingen av oppgavene bidro til kvalitetssikring og forbedring av en rekke oppgaver. I tillegg bidro den til tydeliggjøring med hensyn til fasit med begrunnelser. Tilbakemeldingene viste samtidig at det er ytterligere rom for forbedring.
Oppgaveformatet og bruk av digitale verktøy gjorde det mulig å gi alle studenter tilbakemelding om deres egen prestasjon innen to uker etter at prøven ble gjennomført. Fasit med begrunnelser, inkludert justeringer som ble foretatt i etterkant av sensuren, er fritt tilgjengelig på nett og representerer en mulighet for læring, både for studenter som har gjennomført prøven, og andre. Oppmøtet varierte mellom studiestedene, og ulike studentgrupper hadde ulik erfaring med oppgaveformatet og digital eksamensavvikling. Det er derfor vanskelig å trekke slutninger om reelle forskjeller på tvers av studiestedene etter å ha gjennomført én pilot. Det er grunn til å tro at det over tid vil være faglige nivåforskjeller fra kull til kull på samme studiested.
Dekanene besluttet i juni 2017 at nasjonal delprøve i medisin videreføres med en utvidet prøve som et obligatorisk arbeidskrav for alle avgangskull på medisinstudiet i Norge våren 2018. Delprøven skal ikke være en erstatning for kliniske og muntlige eksamener. I enkelte land, med lengre tradisjon for nasjonale prøver og eksamener, kombinerer man testing av teoretisk kunnskap med testing av kliniske ferdigheter. Det er mulig vi på sikt vil se en slik utvikling også i Norge.
