Tildeling av prosjektmidler fra det australske forskningsrådet for helse og medisin er kostnadskrevende og noe tilfeldig.
Det er gjort lite forskning på fagfellevurderingen av søknader om forskningsmidler. Nå har australske forskere studert evalueringsprosessen i det australske forskningsrådet for helse og medisin (1).
Søknadene ble vurdert av paneler med 7 – 13 fagfeller i hvert panel. Av alle søknadene som ble sendt inn i 2009, fikk 23 % (n = 620) støtte. Ved å bruke en «bootstrap»-modell der nye skårer ble estimert ut fra en liten endring i panelet, f.eks. at ett medlems skår ble erstattet av et annet medlems skår, ble søknadene kategorisert i tre tildelingsgrupper: de som alltid, av og til eller aldri ble støttet ut fra de nye skåringene. Kun 9 % av søknadene kom i kategorien «alltid» tildelt, 29 % kom i «av og til» og 61 % kom i «aldri». Større paneler var mer kostnadskrevende enn små, men viste også høyere reliabilitet.
– Resultatene i denne studien er ikke overraskende. Alle som arbeider med evaluering av forskningssøknader, vet at eksperter kan vurdere søknadene forskjellig, noe som kan være avgjørende for om det gis støtte. Likevel mener de fleste av oss at bruk av eksperter og kvalifisert skjønn er det beste vi har, sier dekan Stig A. Slørdahl ved Det medisinske fakultet ved Norges teknisk-naturvitenskapelige universitet. Han er medlem i divisjonsstyret for vitenskap i Norges forskningsråd.
– I Norden har vi erfaringsutveksling mellom landene for hele tiden å forbedre søknadsprosedyrene. I Finland har man sett på hvordan to ulike paneler vurderte de samme søknadene, som ble klassifisert på en skala fra 1 til 6. Bare et mindretall av søknadene fikk samme karakter fra begge panelene. Vi må være åpne for å endre rutinene for å sikre at de beste søknadene blir valgt ut. Det er ikke vanskelig å være enig med forfatterne i at vi trenger mer forskning på området, sier Slørdahl.
