Bruk av tverrfaglige ekspertgrupper (review-grupper) i utarbeiding av medisinske metodevurderinger har vært en sentral arbeidsform ved Senter for medisinsk metodevurdering (nå en del av Nasjonalt kunnskapssenter for helsetjenesten). Formålet er å sikre utredningene faglig grunnlag og relevans og derved øke nytteverdien for brukerne. Evalueringsskjema ble sendt til totalt 112 deltakere i ekspertgrupper som gjennomførte metodevurderinger i perioden 1998 til juni 2003. Ifølge eksperter som har deltatt i denne arbeidsformen, gir den kompetanse i kritisk vurdering av medisinsk litteratur, faglig oppdatering og opplæring i en arbeidsmetode som gir arbeidet faglig legitimitet. Senterets vurdering er at bruk av tverrfaglige ekspertgrupper forankrer utredningene i den kliniske virkelighet med hensyn til innhold og implementering.
Ved opprettelse av Senter for medisinsk metodevurdering høsten 1997 gav Sosial- og helsedepartementet senteret i oppgave å vurdere nytten ved å anvende nye og etablerte metoder som benyttes i helsesektoren. Medisinsk-faglig dokumentasjon skulle systematisk identifiseres og kritisk vurderes i tråd med internasjonal praksis (1 – 4) for medisinske metodevurderinger (Health Technology Assessment).
Senter for medisinsk metodevurdering utfører i regelen medisinske metodevurderinger i samhandling med eksterne eksperter fra relevante fagmiljøer, som til sammen utgjør en tverrfaglig ekspertgruppe (5 – 7). For å få innsikt i gruppenes erfaringer sendte senteret et evalueringsskjema til alle eksperter som gjennomførte metodevurderinger i perioden 1998 til juni 2003.
Materiale og metode
Til sammen 17 ekspertgrupper med 112 deltakere som gjennomførte metodevurderinger (8) i den aktuelle tidsperioden, ble tilsendt evalueringsskjema. Antall deltakere per gruppe var 4 – 14. De brukte 4 – 33 måneder på utredningsarbeidet, og det ble avholdt 1 – 21 møter i de forskjellige ekspertgruppene.
Det kom inn 58 besvarelser fra 55 personer da tre eksperter hadde vært med i to metodevurderinger hver. Svarprosenten for undersøkelsen er således 52. 20 – 86 % av deltakerne i hver gruppe svarte på spørreskjemaene. Det ble ikke gjennomført purringer.
Spørsmålene på evalueringsskjemaet var gruppert etter tema/mandat, sammensetning av gruppen, organisering av gruppens arbeid, metoden, oppdatering, og andre kommentarer.
Ekspertenes besvarelser
Tema/mandat
Forslag til problemstillinger kan komme fra Senter for metodevurderings styringsorganer og fagpanel, Helsedepartementet, Sosial- og helsedirektoratet, fagmiljøene, andre organisasjoner og enkeltpersoner. Styringsgruppen ved senteret vurderer og prioriterer innkomne forslag til temaer og avgjør hvilke temaer som skal utredes etter gitte kriterier (7). Mandat og prosjektplan utarbeides i samarbeid mellom senterets prosjektkoordinator og ekspertgruppen. Planen godkjennes i senterets styringsgruppe.
Deltakerne mente at temavalget var godt nok begrunnet (83 %), og at det var klart hvem som var oppdragsgiver (90 %). Imidlertid syntes 20 (35 %) at mandatet ikke var klart. Av de 36 som syntes mandatet var tilstrekkelig klart, mente 25 deltakere at det var nyttig for ekspertgruppen selv å diskutere problemstillingen og bidra til formuleringen av den.
Sammensetning av gruppen
Den tverrfaglige ekspertgruppen er primært sammensatt for å dekke nødvendig faglig kompetanse.
Totalt 49 svarte på hva gruppesammensetningen har betydd. I stikkordsform kan nevnes: tverrfaglighet betyr svært mye, er sentralt i prosessen, gir faglig kompetanse, bidrar til effektivt arbeid og gode faglige diskusjoner, sikrer god kvalitet på produktet, legitimerer resultatet, er viktig med ulike synspunkter i gruppen, gir en mer helhetlig vurdering og stor ekspertgruppe gir økt troverdighet. Andre kommentarer er: viktig at gruppemedlemmer har tid til arbeidet, Norge har et fåtall eksperter og det er alltid de samme som skal uttale seg, i enkelte prosjekter er det viktig med geografisk spredning på deltakerne, deltakerne hadde for lik bakgrunn og bruk av eksperter skaper fronter. Litt over halvparten, totalt 31 eksperter, syntes ikke det var viktig at alle regioner var representert. En firedel av ekspertene (26 %) savnet kompetanse i gruppen.
Organisering av gruppens arbeid
Ekspertgruppene etableres med en faglig leder av de inviterte gruppemedlemmene og en prosjektkoordinator fra Senter for medisinsk metodevurdering. Senteret utfører litteratursøk basert på strukturert søkestrategi. Prosjektkoordinator leder utredningen frem til endelig rapport ved å gi faglig rettledning, gjøre nødvendige forberedelser samt tilrettelegge granskings- og skrivearbeidet i ekspertgruppen. Rapporten kvalitetsikres internt ved senteret og godkjennes av senterets styringsgruppe.
Hele 44 deltakere (76 %) var tilfreds med leder i gruppen, og til sammen 46 deltakere (79 %) var tilfreds med senterets prosjektstyring. 19 deltakere svarte på spørsmål om hvordan ledelsen av gruppen kunne forbedres. Svarene dreide seg mye om tidsbruk – fremdrift, delmål og milepæler, strammere tidsfrister og styring av skriveprosessen. I alt 49 deltakere (85 %) var fornøyd med sekretariatsfunksjonen. Ti hadde forslag til forbedringer som omhandlet fremdriften i forhold til at ikke alle fikk gjort «hjemmeleksen» i tide på grunn av sterkt arbeidspress og manglende «smidighet» i skriveprosessen. Det var 49 deltakere (85 %) som var fornøyd med balansen mellom gruppemedlemmenes forventede arbeidsinnsats og med senterets service.
Metoden
Ekspertgruppen vurderer kritisk all relevant litteratur om emnet. Arbeidsformen krever at granskingen gjennomføres slik at hele prosessen er gjennomsiktig og kan etterprøves. Litteraturen klassifiseres etter kvalitet/intern validitet, og dokumentasjonens beviskraft rangeres ut fra evidensnivå ved forskjellige typer studiedesign. Den utvalgte dokumentasjonen gis en samlet evidensstyrke og vurderes for ekstern validitet. Relevante vurderingselementer, som norsk praksis, etikk, jus og økonomi, belyses når det er aktuelt.
Mange gav uttrykk for at de fikk innsikt i og god oversikt over metoden, at det hadde vært lærerikt, verdifullt, bidratt til faglig oppdatering og vært nyttig for senere arbeid. Faglig vurdering var at metoden gav vitenskapelig legitimitet, gav grunnlag for et velfundert budskap og forsterket skepsisen til enkeltarbeid som grunnlag for konklusjoner. Imidlertid uttrykte enkelte at det var mye arbeid for beskjeden nytte og at systematiske oversikter lett kan bli «negative» ved at det ikke kunne påvises noen forskjell mellom metoder eller sammenheng mellom metode og effekt. Én syntes det var bortkastet arbeid.
13 deltakere (22 %) mente at arbeidsformen var en for stor arbeidsbelastning i forhold til resultatet. Når det gjaldt behov for ytterligere metodeopplæring, var det omtrent like mange som svarte ja (25 deltakere) som svarte nei (26 deltakere). Majoriteten, 49 deltakere (85 %), syntes at biblioteksservicen var god nok. De fleste (40 deltakere) mente de hadde nok tid til arbeidet i ekspertgruppene og på møtene. I alt var 43 deltakere (74 %) enig og to uenig om at resultatene av arbeidet blir tilfredsstillende publisert/rapportert.
Oppdatering
En metodevurdering oppsummerer litteraturgrunnlaget innenfor en fastsatt tidsperiode. Nye kliniske studier vil kunne endre konklusjonen. Oppdatering av en metodevurdering er en relativt enkel prosess siden litteratursøk og granskingsprosessen allerede er vel definert.
Hele 48 deltakere (83 %) kunne tenke seg å delta i en oppdatering av den aktuelle metodevurderingen med omtrent samme arbeidsform etter en tid. Bare én ekspert svarte nei på dette spørsmålet.
Andre kommentarer
Det ble gitt tilleggskommentarer fra 42 deltakere. De mente at metodevurdering er et viktig arbeid, lærerikt, interessant, faglig stimulerende og kompetanseoppbyggende. Flere kommenterte tidsbruken med forslag til forbedringer i arbeidsprosessen. Om Senter for medisinsk metodevurdering ble det kommentert at senteret har utviklet seg til en viktig institusjon for fagmiljøene, og at det også er viktig at senteret tar opp temaer fra lavstatusmedisin med lite ressurser.
Diskusjon
Senter for medisinsk metodevurdering har bevisst valgt å samarbeide med eksterne relevante fageksperter ved utarbeiding av metodevurderinger. Formålet med ekspertgrupper som arbeidsform er å sikre faglig grunnlag og relevans for metodevurderingen, samt å oppnå legitimitet i fagmiljøene og gi opplæring i denne arbeidsmetoden. Dermed øker sannsynligheten for at fagmiljøene forholder seg til foreliggende dokumentasjon og implementerer metodevurderingens konklusjoner.
Deltakerne i ekspertgruppene ble bedt om å kommentere arbeidsformen etter ferdigstilt metodevurdering. Disse svarene var overveiende positive. De kan sammenfattes til at metodevurderingsarbeidet var lærerikt, av faglig interesse, gav faglig utvikling og den systematiske arbeidsmetoden gav vitenskapelig legitimitet.
Svarprosenten er ikke høy, men heller ikke lav. Den kan reflektere manglende interesse generelt for å svare på slike spørreskjemaer, travelhet blant forespurte, misnøye med deltakelsen eller skyldes annen årsak.
Ulempen ved ekspertgrupper er imidlertid at de er arbeids-, tids- og kostnadskrevende. Opplæring og involvering av eksperter på alle trinn i en metodevurdering er i regelen også arbeidskrevende.
Konklusjon
Erfaringen er i det alt vesentlige positiv og gir god grunn til å fortsette bruken av ekspertgrupper i utarbeiding av metodevurderinger. Senter for medisinsk metodevurdering ser nytten av at arbeidsformen kan varieres etter oppdragets natur og tidsfrist, men mener at bruken av tverrfaglige ekspertgrupper gir metodevurderingene den sterkeste faglige legitimitet. Senteret ønsker å videreføre bruken av tverrfaglige ekspertgrupper fordi metodevurderinger utarbeidet etter prinsipper for internasjonal praksis på dette området forankrer resultatene i et bredt helsefaglig miljø.
