To klinikere vil ikke alltid konkludere likt om hvorvidt en pasient har en diagnose. Cohens kappa er et mye brukt enkeltmål på samsvar. Men det kan være nyttig å skille mellom positivt samsvar og negativt samsvar – såkalt spesifikt samsvar. Dette er analogt til skillet mellom sensitivitet og spesifisitet for en diagnostisk test.
Hvis to klinikere vurderer samme pasient, vil de ikke alltid komme til samme konklusjon om pasientens diagnose. Hva er egnede mål på samsvar mellom observatørene?
Vi skal ta utgangspunkt i et eksempel hvor to psykologer, uavhengig av hverandre, satte diagnose basert på opptak av semistrukturerte intervju med barn og unge (1). Resultatene for opposisjonell atferdsforstyrrelse er vist i tabell 1. Klinikerne var enige i diagnosen i en andel (25+2)/29 = 0,93 av tilfellene. Justert for samsvar som forventes ved tilfeldigheter, er Cohens kappa lik 0,63, som bare så vidt regnes som godt samsvar (2). Men hvor relevant er det å oppsummere dette i bare ett tall? Nøyaktigheten til en diagnostisk test kvantifiseres jo med to størrelser: Sensitivitet, som er andel med positiv test blant de syke, og spesifisitet, som er andel med negativ test blant de friske (3). Tilsvarende kunne man definere positivt samsvar mellom observatører som andel enige blant pasienter som er syke, og negativt samsvar som andel enige blant pasienter som er friske. Men her kjenner vi ikke pasientens virkelige tilstand. Men de aktuelle tallene kan estimeres tilnærmet på følgende måte, der størrelsene a, b, c og d er som angitt i tabell 1. Vi antar at antall syke pasienter som blir korrekt klassifisert av begge observatørene, er tilnærmet lik d. Videre antar vi at halvparten av de pasientene som klassifiseres forskjellig av de to observatørene, er syke. Da vil totalt antall syke være [d + (b + c)/2]. Dermed får vi at positivt samsvar er d/[d + (b + c)/2. Tilsvarende resonnement gir negativt samsvar: a/[a + (b + c)/2].
Tabell 1
Samsvar mellom klinikere ved vurdering av om pasienten har diagnosen opposisjonell adferdsforstyrrelse (1)
|
|
Kliniker 2
|
|
|
Kliniker 1
|
Nei
|
Ja
|
Totalt
|
|
Nei
|
25 (a)
|
2 (b)
|
27
|
|
Ja
|
0 (c)
|
2 (d)
|
2
|
|
Totalt
|
25
|
4
|
29
|
I eksempelet finner vi at positivt samsvar blir lik 2/[2 + (2+0)/2] = 0,67, og negativt samsvar blir lik 25/[25 + (2 + 0)/2] = 0,96. Vi ser at i dette tilfellet er man mer sikker på en negativ diagnose enn på en positiv diagnose.
Stor klinisk relevans
Et forslag til fortolkning av positivt samsvar er at dersom en kliniker klassifiserer pasienten som syk, så er dette sannsynligheten for at en annen kliniker, basert på samme informasjon, kommer til samme konklusjon (4). Tilsvarende kan man tolke negativt samsvar.
I motsetning til sensitivitet og spesifisitet vil positivt og negativt samsvar være avhengig av sykdommens prevalens blant dem som undersøkes. Samsvaret vil være størst i den største gruppen, typisk de friske, altså negativt samsvar. Jo lavere prevalensen er, jo lavere vil positivt samsvar bli (4).
Matematikken knyttet til negativt og positivt samsvar er behandlet av Feinstein (5) og Cicchetti (6). En kortfattet og velskrevet innføring finnes i artikkelen Clinicians are right not to like Cohen’s kappa (4).
Spesifikt samsvar har to fordeler fremfor Cohens kappa (4, 7). For det første skilles det mellom positivt og negativt samsvar. Den kliniske konsekvensen av å bli klassifisert som syk er en annen enn konsekvensen av å bli klassifisert som frisk. For det andre: Ved lav prevalens og stor grad av enighet vil Cohens kappa alltid bli paradoksalt lav, noe som ikke er tilfelle i samme grad for spesifikke samsvar: Da vil negativt samsvar typisk bli høyt, mens positivt samsvar kan være moderat.
Til tross for at positivt og negativt samsvar har stor klinisk relevans, er målene ikke tatt mye i bruk ennå.
