Kan vi droppe fagfellevurderingen?

Nylig ble en norsk artikkel som hadde stått på trykk i BMJ, trukket tilbake (1). Studien, som ble publisert i 2000, hadde konkludert med at blant kvinner med diabetes var det høyere forekomst av perinatal død og fødselsdefekter i Nordøst-England enn i Norge. Etter at artikkelen var trykt, oppdaget forfatterne at de hadde gjort en fundamental feil. De norske dataene hadde ikke ekskludert kvinner med svangerskapsdiabetes. En ny analyse viste ingen signifikant forskjell mellom landene. Artikkelen hadde rutinemessig gjennomgått «peer review», som på norsk gjerne kalles fagfellevurdering eller ekstern faglig vurdering, men artikkelen var likevel sluppet igjennom. I en ledsagende lederartikkel skriver Richard Smith, redaktøren i BMJ, at eksterne faglige vurderere sjelden klarer å oppdage større feil i manuskripter (2).

Ekstern faglig vurdering er selve adelsmerket på vitenskapelige tidsskrifter. Dersom noe er publisert i et anerkjent vitenskapelig tidsskrift, har det langt større betydning enn om resultatene bare er lagt frem på en vitenskapelig kongress. Vi legger stor vekt på dette også i Tidsskriftet. I for eksempel spalten Medisinsk nytt krever vi at nyhetene er basert på originalartikler fra vitenskapelige tidsskrifter. Kongressbidrag og liknende holder ikke. Men er det egentlig grunnlag for en slik holdning?

I boken Peer review in health sciences gjennomgås ordningen med ekstern faglig vurdering grundig. Konklusjonen er nådeløs: Det er en ineffektiv, kostbar og grov metode som sjelden avdekker dårlig studiedesign, feilaktig metode, inkonsistenser eller ubalansert sitering. Med Richard Smiths ord: Ordningen med peer review innebærer høyst subjektive vurderinger, fungerer nærmest som et lotteri og er utsatt for skjevheter og misbruk (2). Likevel: Ekstern faglig vurdering blir stadig mer populært, og brukes ikke bare i vitenskapelige tidsskrifter, men også ved vurdering av forskningssøknader. Hvordan kan dette henge sammen? Logikken er churchillsk: Alternativene er verre.

Førsteutgaven kom i 1999, dette er andre utgave. 34 forfattere bidrar i 24 kapitler. Magne Nylenna og Tor-Arne Hagve er førsteforfattere på kapitlet om små tidsskrifter og tidsskrifter som utgis på andre språk enn engelsk. 12 % av de ca. 4 500 tidsskriftene som indekseres i Medline hører til denne siste kategorien.

At peer review er en alvorlig sak, forstår vi av tittelen på en annen bok som nylig er utgitt på samme forlag: How to survive peer review (3). Enkelte av kapitlene i den aktuelle boken vil være av interesse for dem som kommer i befatning med eksterne faglige vurderinger, men pris og omfang gjør nok at boken som helhet først og fremst passer for dem med en mer omfattende interesse for emnet.