For første gang er det nå blitt gitt avsluttende prøver, med bestått/ikke bestått, i et av Legeforeningens nettkurs. Flere slike kommer i fremtiden. Det er imidlertid ikke gitt at alle kurs bør ha avsluttende «eksamen». Her problematiseres kursprøver som virkemiddel for kontroll og økt læring, særlig sett i forhold til Blooms taksonomi og våre forventninger til legers læring.
Illustrasjon Kari Stai/Patron
Legeforeningen lanserte våren 2000 fire Internett-kurs beregnet for allmennpraktikere. Siden er det utviklet flere kurs av samme type for flere målgrupper. For leger i spesialistutdanning i sykehus er det utviklet to grunnkurs: Klinisk kardiologi for indremedisin og Grunnkurs i kirurgisk og medisinsk gastroenterologi. Ettersom disse er obligatoriske i spesialistutdanningen, er de ikke rene Internett-kurs. De inngår i en kombinasjon av regionale samlinger, der deltakerne må levere kasuistikker. For å få kursbevis må deltakerne ha besvart alle oppgaver og tester underveis og ha deltatt på en avsluttende samling.
De nevnte testene underveis avslutter hver leksjon av den Internett-baserte delen av kurset, og det er opp mot 30 – 40 leksjoner i de obligatoriske kursene. Det har ikke vært krav til et bestemt antall riktige svar på testene, vekten har vært lagt på læring fremfor kontroll. Testen i slutten av hver leksjon er derfor til vel så mye for kursdeltakeren selv. Testene fungerer som kontrollspørsmål og som tilbakemelding til kursdeltakerne om de har fått med seg hovedinnholdet. Mot denne bakgrunnen kaller vi denne første elektroniske «eksamenen» et brudd med tidligere praksis.
I mars 2008 avholdt Legeforeningen for første gang en elektronisk eksamen for nettkurset i kirurgisk og medisinsk gastroenterologi. Redaktørene for kurset ønsket å prøve ut en test med krav til minimum antall riktige svar for å innfri kravet til kursbevis. I samarbeid med redaktørene ble det utarbeidet en kursprøve med spørsmål fra alle kapitler i kurset.
Hvorfor ha avsluttende prøve?
Legeforeningen har et ansvar for å sikre kvaliteten på de kursene som tilbys, blant annet ved å sørge for at kursbeviset faktisk er et bevis på aktiv deltakelse. Eksamen er en vanlig måte å kontrollere at deltakere har lært, og etter flere år uten en slik kontroll ønsket redaktørgruppen at dette ble innført.
Det er ikke uproblematisk å bruke relativt enkle tester som kontrollredskap i en slik sammenheng. Automatiserte prøver – prøver hvor systemet gir tilbakemelding om rett eller galt uten at et menneske er sensor – krever standardsvar med klare premisser. De avspeiler ikke alltid virkeligheten legen må forholde seg til. Dette problematiserer vi avslutningsvis. Innholdet i dette kurset er i hovedsak faktabasert, og spørsmålene har entydige premisser og svar. Det er slik sett et velegnet kursinnhold for en slik prøve. Kursprøven kunne dessuten inneholde spørsmål fra hele kurset, og vi antok den ville gi et komplett bilde av kursdeltakernes forståelse. Som vi skal komme tilbake til, er dette ikke alltid tilfellet.
Rammeverket for avsluttende kursprøve
Vi laget en samling med litt over hundre spørsmål. Spørsmålene var alltid flervalgsoppgaver, men om det var ett riktig svar eller flere korrekte alternativer varierte.
Fra denne samlingen ble det trukket et tilfeldig utvalg på 30 spørsmål hver gang en kursdeltaker startet prøven. Rekkefølgen på spørsmålene var tilfeldig. Prøven er automatisert, det vil si at riktige og gale svar er gitt i systemet, og kursdeltakeren får umiddelbart tilbakemelding om antall poeng.
Kursdeltakerne fikk drøye to uker på seg til å besvare kursprøven. I løpet av den tiden kunne de gjøre to forsøk. Beste forsøk var tellende. Fordi uttrekket av spørsmål var tilfeldig, fikk kursdeltakeren i praksis forskjellige prøver i første og annet forsøk. Kravet for bestått var minst 50 % korrekte svar. Når prøven først var åpnet, hadde kursdeltakerne 30 minutter på seg før kursprøven automatisk lukket seg. De svarene som til da var avgitt, ble regnet som levert prøve.
Kursprøver – ikke bare av det gode?
Tester har både positive og negative sider. Testene etter hver leksjon kan til en viss grad regnes som en formativ vurdering underveis. De gir løpende tilbakemeldinger til kursdeltakeren om hvordan vedkommende ligger an (1). Selv om deltakeren bare får registrert resultatene av disse prøvene én gang i vårt system, kan vedkommende ta dem flere ganger for å teste seg selv. Dessuten kan man bestemme tidspunktet selv. Slike fortløpende tilbakemeldinger med mulighet for selvevaluering og det at kursdeltakeren selv velger når testen skal tas, sammen med muligheten for repetisjon, antas å øke læringsutbyttet (1, 2). Tester kan også hjelpe kursdeltakerne til å konsentrere seg om hovedinnholdet i kurset. Innen pedagogikken eksisterer det en antakelse om at tester fungerer som rettledere for læring, da de angir hva som er viktig og må beherskes (3).
Kursprøven etter fullført kurs som vi nå har innført i Grunnkurs i kirurgisk og medisinsk gastroenterologi, er en summativ vurdering slik vi kjenner fra eksamener. Om slike tester fungerer som guide for videre læring er heller tvilsomt, og vi forventer ikke at det øker læringen. I noen tilfeller kan man oppleve det motsatte – at sterk orientering mot en prøve fører til at kursdeltakere ignorerer de delene av innholdet som ikke vil eller kan bli testet (4, 5). Dermed blir det viktig at man kan teste hele kursinnholdet eller har alternative måter å etterprøve kunnskapen i de delene som ikke egner seg for tester på. (I nevnte kurs kreves det en kasuistikk fra kursdeltakerne – laget av vedkommende alene eller i samarbeid med andre.) En kursprøve blir et middel for kontroll mer enn for læring.
Denne balansegangen mellom testen som verktøy i læringen og testen som eksternt kontrollverktøy som potensielt tar oppmerksomheten bort fra læringen, må vurderes for hvert enkelt kurs. Tilbakemeldingene fra kursdeltakerne var ikke entydig positive. Noen følte at dette ble et unødvendig kontrollverktøy.
Motivasjonen for kursprøve
Grunnkurs i kirurgisk og medisinsk gastroenterologi er obligatorisk – i motsetning til de fleste av våre nettbaserte kurs, som er frivillige. Det er svært omfattende samtidig som det må tas i løpet av en gitt periode. Kursstart er i september, og kurset avsluttes med en samling i februar. Det kan være krevende å holde motivasjonen oppe over så lang tid, og vi vet at mange kommer under et sterkt tidspress mot slutten. Vårt inntrykk er likevel at deltakerne har hatt godt faglig utbytte av kurset. Resultatene fra denne kursprøven har vært betryggende. Det tyder på at kursdeltakerne har god forståelse av innholdet.
Hva slike tester aldri kan vise
Ifølge Blooms taksonomi kan læringsmål deles inn i ulike kategorier, rangert på en skala (6). Det laveste nivået av kunnskap er å gjengi fakta (knowledge). Det ypperste i denne sammenhengen er å lage egne synteser av ulike kunnskaper, ferdigheter og eventuelt ny informasjon og å evaluere ny informasjon (6).
Flervalgsprøver av denne typen er kritisert for at man ved hjelp av disse kun tester de lavere nivåene (7) – selv om det også blir hevdet at man kan lage flervalgsspørsmål for alle nivåer (8). Samtidig er legen i sin profesjonsutøvelse på de øvre nivåene av Blooms pyramide. Dette er et grunnleggende problem – ikke bare for oss, det gjelder for all medisinsk utdanning. Standardiserte prøver er sjelden et optimalt målingsverktøy, bare en fagperson som – aller helst – sitter i dialog med studenten/kursdeltakeren kan gi en fullgod evaluering.
Forbedret teknologi og økt pedagogisk forståelse åpner nye muligheter. Legeforeningen følger utviklingen nøye og ser på andre former for automatiserte tester som bedre gjenspeiler legens hverdag enn det tradisjonelle flervalgsoppgaver gjør.
Kursprøvens fremtid i Legeforeningens kurs
Det vi her har prøvd ut, er en alternativ måte å gjennomføre kursprøver på. En egen spesialisteksamen er det foreløpig ikke aktuelt å innføre i Norge. (Kursprøven vi her har innført i kurs som inngår i spesialistutdanninger, er ikke forbundet med spesialisteksamen.) Av de nordiske land er det bare i Finland man har spesialisteksamen.
Innenfor en del fag er det mulig å ta en eksamen på europeisk nivå. For eksempel arrangerer European Board of Anaesthesiology en egen eksamen basert på et definert kjernepensum. Ettersom det er gjensidig godkjenning av spesialister innenfor EØS, har en slik eksamen liten betydning for dem som vil praktisere sin spesialitet i et av EØS-landene.
Hvis vi avslutningsvis forsøker å se fremover, antar vi at sluttester av den typen som vi har omtalt her, også vil bli tatt i bruk på andre Internett-kurs. Det kan også erstatte arbeidskrevende, manuelle tester på enkelte tradisjonelle kurs der dette er hensiktsmessig.
