Hvordan kan strykprosenten ved eksamen stabiliseres?

Materiale og metode

Resultater

Dagens absolutt 65 %-metode ga opptil 12 % differanse i andel stryk på samme eksamen i studieforløpet i den undersøkte perioden (fig 1, tab 2). Eksempelvis var det på eksamen på 5.–6. semester i 2010–11 ingen kandidater som strøk, mens det i 2015 var 11 (12,0 %) som strøk (fig 1a). Andelen studenter som strøk gikk ned underveis i studieforløpet (fig 1b) og var lik for alle standardsettingsmetodene.

Figur 1 a) Andel av medisinstudenter som har strøket til eksamen hvert studieår ved Norges teknisk-naturvitenskapelige universitet 2010–15 ved bruk av dagens metode for standardsetting med 65 % beståttgrense. b) Andel stryk (%) til fire kull fulgt over tid, kull 09 startet i 2009, kull 10 i 2010 osv. X-aksen viser hvilken eksamen data er hentet fra, mens Y-aksen viser antall stryk i prosent

Beståttgrensen ved original Cohen og modifisert Cohen med K-verdiene lik 0,65 og 0,70, var lavere enn 65 % absolutt. Bruk av modifisert Cohen med K-verdi på 0,75 ga en beståttgrense som svingte rundt dagens grense (fig 2). Ved original Cohen var beståttgrensen 57–65 % og ved modifisert Cohen 53–68 %, avhengig av hvilken K-verdi man brukte (tab 3).

Figur 2 Sammenligning av beståttgrensene ved alle eksamener ved medisinstudiet ved Norges teknisk-naturvitenskapelige universitet 2010–15 ved bruk av de forskjellige metodene for standardsetting. Hver enkeltsøyle representerer en eksamen. Y-aksen viser beståttgrensen, X-aksen viser de ulike metodene

Med unntak av eksamen i det første studieåret, var andelen stryk lavere med både original og modifisert Cohen sammenlignet med dagens metode (fig 3, tab 3). Original Cohen ga lik variasjonsbredde i andel stryk som absolutt 65 % (0–13,7 %), men reduserte gjennomsnittet av studenter som strøk totalt fra 5,2 % til 3,9 %. Modifisert Cohen med K-verdi på 0,65 og 0,70 reduserte standardavviket (SD) og gjennomsnittlig andel stryk totalt. Modifisert Cohen med K-verdi lik 0,70 har en gjennomsnittlig andel stryk på 3,0 % (SD 3,1) og en variasjonsbredde på 0–10,4 %, mens 65 % absolutt har gjennomsnittlig stryk på 5,2 % (SD 4,2) og en variasjonsbredde på 0–13,7 %. Modifisert Cohen med K-verdi på 0,75 ga en større variasjonsbredde i andel stryk enn absolutt 65 %, og dermed et høyere standardavvik (tab 3). Standardavviket for andel stryk ble lavere med lavere beståttgrense.

Figur 3 Gjennomsnittlig andel stryk i prosent inkludert standardavviket for hver eksamen ved bruk av de ulike metodene for standardsetting ved Norges teknisk-naturvitenskapelige universitet 2010–15. X-aksen viser hvilken eksamen i studieforløpet, mens Y-aksen viser den gjennomsnittlige andelen stryk

Diskusjon

Vi fant at andelen medisinstudenter som stryker varierer fra år til år på samme eksamen i studieløpet, men at det er en fallende andel studenter som stryker ut over i medisinstudiet. Vi har vist at standardavviket i andel studenter som stryker kan reduseres ved bruk av Cohens metoder, men at dette går på bekostning av en lavere beståttgrense.

Studien viser at det ut over i medisinstudiet er et fall i andelen som stryker. Vi har ikke undersøkt årsakene til dette fenomenet, men det er trolig flere. Medisinstudiet i Trondheim praktiserer spirallæring, det vil si at man i løpet av studiet kommer tilbake til samme tema omtrent hvert andre år. Eksempelvis har man det første studieåret hjertefysiologi med kliniske eksempler, det tredje studieåret kardiologi og det siste studieåret en oppsummering av kardiologien. Studentene vil i løpet av spirallæringen få en økende forståelse for faget. Videre er studentene fra videregående skole vant til et klart definert pensum med hyppig testing. Medisinstudiet ved Norges teknisk-naturvitenskapelige universitet har derimot læringsmål med flere ulike anbefalte læreverk og kun 1–2 eksamener per år der alt kan testes. Overgangen i studieteknikk vil derfor være stor for mange, men det ser ut til at de fleste lærer seg å mestre dette gjennom studiet. I tillegg er det størst frafall de første to studieårene, da 2–6 må gå om igjen, mens maksimum én må gå om igjen de siste årene. Av de som slutter eller får inndratt studieretten grunnet gjentatte stryk, har 73 % (101 av 137 basert på tall fra 1999–2016) ikke fullført 2. studieår (personlig korrespondanse Mona Dalland Stormo og Marte Laugen, studieseksjonen ved Fakultet for medisin og helsevitenskap, Norges teknisk-naturvitenskapelige universitet). Andre faktorer som kan tenkes å bidra er eksamenserfaring, økende alder og at fagene oppleves mer relevante ut over i studiet, noe som kan øke motivasjonen.

I studien til Cohen-Schotanus sammenlignet de to kohorter ved to ulike medisinstudier i Nederland (5). Ved det ene fakultetet brukte man en referansebasert metode. Her ble gjennomsnittsskår minus et standardavvik benyttet for å sette grensen for bestått. Beståttgrensen varierte da mellom 15 % og 46 %, mens man hadde en relativt stabil strykandel på omtrent 17 %. Ved det andre fakultetet brukte de en forhåndsbestemt beståttgrense på 60 %, og strykandelen var 17–97 % (i gjennomsnitt 53 %). Man kan tenke seg at de studentene som hadde en høyere beståttgrense, ville være mer kunnskapsrike. Likevel var det ingen forskjeller i prestasjoner hos studentene i disse to kohortene på den nasjonale prøven (progresjonstesten) som gjennomføres på seks av åtte medisinstudier i Nederland (5). Studentene på fakultetet med en forhåndsbestemt beståttgrense på 60 % med høy andel stryk brukte imidlertid i snitt ett år lengre på å fullføre studiet. Tatt i betraktning at disse kohortene var like kunnskapsrike på den nasjonal prøven, taler dette for at forhåndsbestemte absolutte beståttgrenser er sløsing av offentlige ressurser, og ikke minst studentenes tid og ressurser (5).

Både original og modifisert Cohens metoder reduserte standardavviket i andelen som strøk. Ved bruk av disse metodene ville færre studenter ha strøket. Det overrasket oss at det motsatte, at flere studenter strøk på eksamener som ingen med absolutt bestått-grense strøk på, aldri var tilfellet. Vi mener at den Cohens metode man burde velge, er den som gir størst reduksjon i standardavviket for andel stryk, men som samtidig gir minst endring av beståttgrensen. Dette for å unngå å senke nivået på eksamen for mye, men samtidig forsøke å redusere variasjonen i strykandelen. I vårt materiale ville det vært modifisert Cohen med K = 0,70. Med denne setter man grensen for bestått til 70 % av poengsummen til studentene på 90-prosentilen.

Det er vanskelig å vurdere hvor god en standardsettingsmetode egentlig er, da det er vanskelig å vite nøyaktig hva den «sanne» beståttgrensen bør være for hver enkelt eksamen. Cohens metoder har den fordelen at de er forutsigbare for studentene ved at de vet at de aldri trenger flere prosent riktig enn den oppgitte K-verdien (hvis 90 eller 95-prosentilen hadde hatt alt riktig). De vet også at metoden korrigerer for prøvens vanskelighetsgrad og at beståttgrensen ikke er en skjønnsmessig vurdering i en eksamenskommisjon. La oss si at fakultetet bestemmer seg for at vi skal bruke Cohen med K = 0,70. Har du 70 % av poengsummen til 90-prosentilen, står du. Har du ikke det, stryker du.

En annen fordel med Cohens metoder sammenlignet med andre relative metoder er at den ikke gir en fast andel stryk. Vi synes det er noe problematisk å innføre en standardsettingsmetode som reduserer dagens 65 % absolutte grense for bestått. Selv om det er variasjon i andelen stryk, er det likevel et lite antall studenter som stryker på medisinstudiet hvert år sammenlignet med andre studier (5, 6).

Absolutte metoder med bruk av ekspertpaneler er nok det nærmeste man kommer den «sanne» beståttgrensen ved en medisinsk eksamen (2, 3). Dette benyttes mange steder, inklusive i den amerikanske nasjonale lisensprøven (USMLE) (8). I praksis vil dette være vanskelig å gjennomføre på alle eksamener på hvert enkelt medisinstudium. Ut ifra våre funn mener vi at en absolutt beståttgrense på 65 % kan la seg forsvare, så lenge andelen som stryker er så lav som i dag. En standardsettingsmetode må ha kredibilitet. Blir variasjonen i strykandelen fra år til år for høy ved testing av en homogen gruppe studenter vurdert etter inntaksgrensene for medisinstudiet, taper eksamen kredibilitet (4). Cohens metoder bør brukes ved studiesteder med en svært høy andel stryk, eller der det er svært store variasjoner i strykandelen på samme eksamen i studieløpet. Ved Norges teknisk-naturvitenskapelige universitet tror vi metodene kan egne seg hvis strykandel ved eksamen avviker betydelig fra hva som er vanlig nå.