Alle som jobber med fagfellevurdering vet at det er vanskelig å vurdere prosjekter og artikler. Vurderingen av vitenskapelig kvalitet vil aldri være objektiv, men derimot basert på fageksperter og fagpanelers beste skjønn. Vårt mål er at graden av tilfeldige utslag blir minst mulig.

Forskerne Rolf Andreas Markussen og Geir Wackers stiller i Tidsskriftet spørsmål knyttet til Forskningsrådets fagfellevurderinger. De spør om programmenes fagfellevurdering hemmer perspektiv- og metodemangfoldet. Analysen er betimelig og setter fingeren på problemstillinger som krever oppmerksomhet. Slik forskerne påpeker, er det spesielt innenfor tverrfaglige områder som for eksempel «folkehelse» at det vitenskapelige perspektivmangfoldet er spesielt betydningsfullt.

Forskerne sendte samme søknad til Forskningsrådets programmer Bedrehelse og Frihumsam, og fikk henholdsvis karakterene 3 og 6 på samme søknad. Bedrehelse-programmet er et handlingsrettet helseforskningsprogram med tematiske og målrettede utlysninger, mens Frihumsam er en åpen arena for forskning innenfor samfunnsvitenskap og humaniora, der alle tema er like aktuelle. Dette vil kunne føre til ulike vurderinger av samme prosjekt og peker på utfordringene med fagfellevurdering i programmer med ulike formål.

Fagpanelene i Forskningsrådet består av internasjonale fageksperter. Panelene oppnevnes på bakgrunn av program og utlysning, og søkerne inviteres til å komme med forslag til fagfeller. Et vesentlig element i fagpanelenes vurdering av søknader er metodikkens hensiktsmessighet for å belyse og gi svar på de forskningsspørsmålene prosjektet stiller. Vurderingen av faglig kvalitet vil alltid vurderes mot en vitenskapelig forskningsfront innen et fagfelt, og vil kunne variere fra ett fagområde til et annet, eller fra én vitenskapstradisjon til en annen. Markussen og Wackers beskriver dette godt med gullet som analogi. Det viktige er å la prosjektet bli vurdert på de faglige premisser og tradisjoner det utgår fra, også om det er tverrfaglig.

Vi ser at prosjekter som ikke svarer på målene i utlysningen, i noen tilfeller også vurderes lavere på vitenskapelig kvalitet av samme panel. Selv om fagfellevurderinger gjøres på grunnlag av gitte kriterier, kan det altså være vanskelig å skille helt mellom de ulike kriteriene som prosjektene vurderes etter. Det er derfor ikke helt uvanlig at ett prosjekt, søkt på en åpen arena og som svar på en utlysning som har helt klare tema og mål, får ulik vurdering også på vitenskapelig kvalitet.

Det er uheldig at søkere sitter igjen med en oppfatning av at vurderingen er tilfeldig, eller faglig innskrenkende. Forskningsrådet er evaluert til å ha gode rutiner for søknadsbehandling, og er i kontinuerlig prosess for å forbedre arbeidet vårt på feltet. Markussen og Wickstrøm peker på viktige utfordringer med fagfellevurderinger i programmer med ulike formål. Synspunktene deres vil være viktige i vårt videre arbeid med å forbedre prosessene for søknadsvurdering. Vi arbeider nå med å samordne de faglige vurderingene i større grad på tvers av våre programmer.