Siteringsanalyse av vitenskapelige artikler fra norske helseforetak 2005 – 11

Materiale og metode

Vi har analysert alle originalartikler og oversiktsartikler med minst én forfatteradresse fra et norsk helseforetak publisert i perioden 2005 – 11 og indeksert i Thomson Reuters database Web of Science (ca. 12 000 tidsskrifter). Hvert år leser Nordisk institutt for studier av innovasjon, forskning og utdanning manuelt alle forfatteradresser fra Norge i Web of Science fra foregående år (ca. 30 000 per år) og koder dem til riktig institusjon. Doble adresser (eks: Univ Oslo, Dept Pediat, Oslo Univ Hosp) kodes både for universitet og sykehus.

Alle institusjoner som bidrar til en publikasjon, får like stor uttelling (til forskjell fra ved fraksjonalisering der hver institusjon krediteres for sin andel av en artikkel (hvis to institusjoner skriver en artikkel sammen krediteres de 0,5 artikler hver)). Vi ønske å vurdere hvor mange siteringer et helseforetak har fått, i mindre grad hvor stor andel av publikasjonene de ulike institusjonene har bidratt med.

Inndelingen av publikasjoner i fagfelt er gjort etter et klassifiseringssystem utviklet av Centre for Science and Technology Studies ved Universitetet i Leiden, som er Europas ledende miljø for bibliometriske studier. En publikasjon tilordnes det faget som tidsskriftet den er publisert i er klassifisert under. Ettersom mange tidsskrifter er tildelt mer enn ett fagområde, bruker vi den gjennomsnittlige siteringshyppigheten til de respektive fagområdene som basis for å kalkulere siteringsindekser for tidsskrifter med en bredere fagprofil.

Analysen av siteringer er basert på rådata fra Thomson Reuters og Centre for Science and Technology Studies. I beregningen av siteringsindekser har vi tildelt hver publikasjon det antallet siteringer som den har fått fra og med det året den ble publisert til og med 2012. Det er vanlig å bruke fagfeltjusterte skalaer (relative siteringsindekser) i konstruksjonen av siteringsindikatorer, bl.a. for å korrigere for forskjellene i gjennomsnittlig siteringshyppighet mellom fagfelt (3). Siteringsfrekvenser er dessuten skjevfordelt. Den store majoriteten av artikler blir aldri eller sjelden sitert, mens noen få artikler blir ekstremt mye sitert (4). Vi har sammenliknet artiklenes siteringstall med årlige internasjonale gjennomsnitt for de fagfeltene som artiklene er klassifisert i. De internasjonale gjennomsnittene vi har brukt er basert på samtlige publikasjoner indeksert i Web of Science i perioden 2005 – 11 (ca. 10 millioner artikler).

Vi har beregnet relative siteringsindekser, der en indeks på 1 representerer verdensgjennomsnittet. En indeks på 1,1 vil si at publikasjonene ble 10  % mer sitert enn det som er gjennomsnittet på verdensbasis. På denne måten har vi konstruert en indikator som tar hensyn til den relative publiseringen i ulike tidsskrifter per år. Følgende eksempel illustrerer dette: Et helseforetak har publisert en artikkel i et tidsskrift i 2007. Denne artikkelen er sitert 18 ganger, mens verdensgjennomsnittet for antall siteringer innen fagområdet som tidsskriftet er klassifisert under, var 13 for artikler fra samme år. Denne artikkelens siteringsindeks blir dermed 18/13 = 1,38. Det betyr at artikkelen er sitert 38  % mer enn verdensgjennomsnittet. Gjennomsnittet for norsk forskning totalt ligger på 1,2 – 1,3 i perioden (5).

Siteringsindeksene er beregnet for hver artikkel separat og er grunnlaget for den gjennomsnittlige normaliserte siteringsindeksen (6). Den vil dermed også være størrelsesuavhengig, siden den er et uttrykk for hvor mye «gjennomsnittspublikasjonen» er sitert. Vi viser i tillegg antall høyt siterte artikler, dvs. artikler som er blant de 10  % mest siterte artiklene på verdensbasis innenfor samme fagområde.

Foruten å vise siteringsindeks for alle artikler totalt, viser vi en indikator for originalartikler med førsteforfatter fra helseforetaket. Dette indikerer om helseforetaket er hovedbidragsyter. Det vil si at vi blant annet har fjernet alle oversiktsartikler, som vanligvis blir mye sitert.

Metodene vi har brukt er vanlig å benytte i tilsvarende bibliometriske analyser internasjonalt. Blant annet lå de til grunn for Norges forskningsråds evaluering av biologi, medisin og helsefag i 2011 (7). Vi viser kun siteringsindekser for helseforetak med mer enn 25 publikasjoner. Dette skyldes at siteringer har større begrensninger som indikator når artikkeltallet er lavt.

Resultater

Av totalt 59 018 original- og oversiktsartikler med norske forfatteradresser indeksert i Web of Science i perioden 2005 – 11 har 13 843 bidragsytere fra et norsk helseforetak. Alle regionale helseforetak har siteringsindekser godt over verdensgjennomsnittet (tab 1). Helse Stavanger har den høyeste gjennomsnittlige siteringsindeksen i perioden 2005 – 11 (2,24), etterfulgt av Diakonhjemmet Sykehus og Helse Nord-Trøndelag (begge 2,21) (tab 2). Deres siteringsindekser er langt over nestemann på listen, Oslo universitetssykehus (1,55). Det er altså ingen signifikant sammenheng mellom sykehusstørrelse og siteringsindeks. Det er fortsatt slik at Helse Stavanger og Diakonhjemmet Sykehus har de høyeste siteringsindeksene når vi kun ser på originalartikler der helseforetakene bidrar med førsteforfatter, men avstanden ned til de andre helseforetakene er redusert.

I den målte perioden er den mest siterte originalartikkelen med førsteforfatter fra et helseforetak Homocysteine lowering and cardiovascular events after acute myocardial infarction (8) publisert i New England Journal of Medicine i 2006. Denne var forfattet av Universitetet i Tromsø, med bidrag fra Universitetet i Bergen, Nasjonalt folkehelseinstitutt, Universitetssykehuset Nord-Norge og Helse Bergen. Artikkelen er sitert 674 ganger, med en siteringsindeks på 47,93. Dette er for øvrig den mest siterte originalartikkelen med norsk førsteforfatter av alle publikasjoner fra Norge i 2005 – 11 uansett fag.

Helse Stavanger skiller seg særlig ut på høye siteringsindekser innen hjertemedisinsk forskning (indeks 4,50; 86 artikler), klinisk nevrologi (indeks 3,11; 127 artikler) og kirurgi (indeks 2,35; 73 artikler). Det er også innenfor disse fagene vi finner nesten alle høyt siterte artikler fra foretaket. For Diakonhjemmet Sykehus er det revmatologi (indeks 3,10; 202 artikler) og psykiatri (indeks 1,42; 72 artikler) som trekker opp gjennomsnittet. 32 av 48 høyt siterte artikler fra dette sykehuset er innen revmatologi.

Helseforetakene har i ulik grad konsentrert sin forskning om utvalgte fag. Ved Helse Stavanger utgjør de fire største fagfeltene (klinisk nevrologi, psykiatri, hjertemedisinsk forskning og kirurgi) alene 51,7  % av totalt antall publikasjoner. Tilsvarende tall for de fire største fagfeltene ved universitetssykehusene er 33,5  % for Oslo universitetssykehus, 38,7  % for Helse Bergen, 41,6  % for St. Olavs hospital og 30,8  % for Universitetssykehuset Nord-Norge. Ved Diakonhjemmet Sykehus utgjør revmatologi og psykiatri alene 61,6  % av alle publikasjoner.

I tabell 3 viser vi hvilke internasjonale medforfatterskap universitetssykehusene samt de to andre høyest siterte helseforetakene (Diakonhjemmet og Helse Nord-Trøndelag) har. Artikler med internasjonalt medforfatterskap er generelt høyere sitert enn artikler med rent nasjonalt forfatterskap (9). Helse Stavanger og Diakonhjemmet Sykehus skiller seg ut ved at hhv. 49,9  % og 48,5  % av deres publikasjoner har internasjonalt medforfatterskap. Disse har i tillegg et sterkere innslag av medforfattere fra tunge forskningsnasjoner som USA, Storbritannia, Nederland og Tyskland i forhold til øvrige helseforetak.

Fortolkning

Tre helseforetak skiller seg ut i siteringshyppighet i perioden 2005 – 11: Helse Stavanger, som er høyest sitert i utvalget av norske helseforetak, Diakonhjemmet Sykehus og Helse Nord-Trøndelag. Det andre vesentlige funnet i artikkelen er mangelen på sammenheng mellom en forskningsinstitusjons størrelse og dets siteringsindeks. Oslo universitetssykehus og Helse Bergen dominerer imidlertid stort med hensyn til antall høyt siterte artikler.

Vår undersøkelse baserer seg på et stort datamateriale: samtlige norske publikasjoner indeksert i Web of Science. Fra de regionale helseforetakenes årlige rapportering av publikasjoner til Helse- og omsorgsdepartementet vet vi at ca. 95  % av publikasjonene er indeksert i Web of Science (resten er primært i norskspråklige profesjonstidsskrifter). Således er datamaterialet nær komplett med hensyn til helseforetakenes forskning.

Et problem i denne type analyse er at noen prestisjefulle generelle medisinske tidsskrifter ikke lar seg gruppere på fagområder, men havner i kategorien «generell medisin». Mye av den ypperste forskningen blir presentert i disse tidsskriftene. Dermed får eksempelvis ikke et helseforetak en kreftrelatert artikkel i New England Journal of Medicine med i sin siteringsindeks for onkologi (der den sannsynligvis ville bidratt til å øke siteringsindeksen). Isteden havner den i kategorien «generell medisin», som består av mange høyt siterte artikler, og kommer derfor ut med en lavere siteringsindeks. Dette problemet berører først og fremst Oslo universitetssykehus, som har mange artikler av denne typen. Disse artiklene bidrar positivt inn på foretakets overordnede siteringsindeks, men på fagområdenivå blir noe av den fremste forskningen skjult.

Som for alle andre siteringsanalyser er det nødvendig med noen metodologiske presiseringer. Siteringer er ofte brukt som et uttrykk for kvalitet, men i dag er det enighet om at innflytelse (impact) er en mer korrekt måte å fortolke siteringer på (2). Kvalitet kan vurderes ut fra om forskningen er gjennomført på en god vitenskapelig måte, hvor originale konklusjonene er osv. Siteringer, derimot, sier noe om i hvilken grad dette arbeidet faktisk blir brukt av andre. Bibliometriske analyser kan dermed ikke fungere som et substitutt til fagfellevurderinger. Det er like fullt gjennomført flere studier der man sammenlikner siteringer med fagfellevurderinger. Her betraktes fagfellevurderingene som en form for standard som siteringene skal valideres opp imot. Hovedinntrykket er et positivt samsvar, selv om de identifiserte korrelasjonene langt fra er perfekte og varierer mellom studiene (10, 11). Antall siteringer en artikkel oppnår vil også være influert av faktorer som ikke nødvendigvis er knyttet til dens vitenskapelige bidrag, slik som selvsiteringer. Videre blir mange oversiktsartikler høyt sitert, uten at man krediterer originalarbeidene som disse er basert på.

Det er tidligere veldokumentert at norsk medisinsk forskning blir sitert over verdensgjennomsnittet, i likhet med norsk forskning samlet sett (9). Bibliometriske data kan i liten grad forklare hvorfor et forskningsmiljø faktisk blir mye sitert. I Helse Nord-Trøndelags tilfelle synes fellesnevneren for de mest siterte artiklene å være at de er basert på data fra Helseundersøkelsen i Nord-Trøndelag (HUNT). Tilsvarende ser vi at artikler fra Universitetssykehuset Nord-Norge som er basert på data fra Tromsø-undersøkelsen, er mye siterte. Dette er et positivt funn sett med norske øyne: Vi har helseundersøkelser som er unike i en internasjonal kontekst. Ved Helse Nord-Trøndelag er det flest publikasjoner med høye siteringsindekser innen psykiatri (26) og samfunnsmedisin (12), men også fire svært høyt siterte artikler innen genetikk trekker det samlede gjennomsnittet opp. Ettersom det totale antallet artikler fra Helse Nord-Trøndelag er forholdsvis lavt (N = 106), gjør disse mye for den gjennomsnittlige siteringsindeksen.

Vi har likevel en del informasjon som gir oss mulighet til å legge frem noen mer generelle hypoteser. Den første mulige forklaringen har vi valgt å kalle konsentrasjonsfaktoren. Til forskjell fra de store universitetssykehusene, ser vi at Helse Stavanger har konsentrert sin forskning om noen få områder, der de skårer særdeles høyt innenfor alle områdene. Deres forskning innen hjertemedisin, klinisk nevrologi, kirurgi og psykiatri har alle høye siteringsindekser. De to første er sitert eksepsjonelt høyt i en internasjonal kontekst. Ved Diakonhjemmet Sykehus er revmatologi i særklasse det største forskningsområdet.

De store universitetssykehusene synes å rammes av et typisk fenomen innenfor bibliometriske studier: Store enheter består av både høyt siterte og mindre siterte fagområder/forskningsgrupper. Siden siteringsindekser er gjennomsnittstall, vil de høyt siterte gruppene ikke synliggjøres. Dette illustreres med Oslo universitetssykehus som har 88 publikasjoner innen onkologi som tilhører de 10  % mest siterte kreftartiklene i verden, uten at onkologi tilhører foretakets mest siterte fagområder. Videre har det 628 publikasjoner blant verdens 10  % mest siterte artikler, men samlet siteringsindeks blir likevel ikke mye høyere enn i mange små helseforetak.

Helse Stavanger og Diakonhjemmet Sykehus synes å ha en motsatt profil. De høyt siterte gruppene/fagområdene der står for en så stor andel av forskningen at mindre siterte grupper/fagområder ikke trekker de høye siteringstallene ned. Således skal man være varsom med å bruke våre resultater til en rangering av norske helseforetak. Det er forskningen utført ved Helse Stavanger som er mest sitert i gjennomsnitt, uten at vi av den grunn kan konkludere med at foretaket er et bedre forskningssykehus enn de langt mer breddeorienterte universitetssykehusene. Vi kan heller ikke si at landets fremste forskermiljøer kommer fra Stavanger, ettersom de fremste enkeltmiljøene ikke synliggjøres like godt ved større sykehus.

En annen mulig forklaring kan være graden av internasjonalt samarbeid. Helse Stavanger og Diakonhjemmet Sykehus har vesentlig større innslag av internasjonalt medforfatterskap enn øvrige universitetssykehus – og i særdeleshet gjelder dette samarbeid med forskningsnasjonene USA, Storbritannia, Tyskland og Nederland.

De høye verdiene for Helse Stavanger og Diakonhjemmet Sykehus og de høyt siterte fagområdene ved disse helseforetakene er for øvrig i overensstemmelse med Norges forskningsråds evaluering av norsk medisin, biologi og helsefag i 2011 (7).

Vår studie viser at det er Oslo universitetssykehus og Helse Bergen som i absolutte tall er mest synlige internasjonalt innen høyt sitert forskning, mens i relative tall er det Helse Stavanger og Diakonhjemmet Sykehus som skårer best. Våre resultater peker i retning av at strategisk satsing på få forskningsområder gir seg utslag i høy innflytelse (impact), men sier ikke noe om verken forskningsproduktivitet eller samlet forskningskvalitet/kompetanse i et helseforetak.