I hvilke sammenhenger kan det være relevant å rapportere p-verdier? Mange vil være enige om at p-verdier rapporteres i for mange sammenhenger i den medisinske faglitteraturen (1). Både som medforfatter, og som statistisk fagfelle, opplever jeg regelmessig at forskere også vil rapportere p-verdier i sammenhenger der de er klart irrelevante (2). De såkalte «Vancouver-retningslinjene», fra «International Committee of Medical Journal Editors» er klare i sin anbefaling i sitt avsnitt «Statistics» (3):
“When possible, quantify findings and present them with appropriate indicators of measurement error or uncertainty (such as confidence intervals). Avoid relying solely on statistical hypothesis testing, such as P values, which fail to convey important information about effect size and precision of estimates.”
Dette er etter mitt syn et fornuftig råd, og også i tråd med konklusjonen i (1): Det viktigste er effektstørrelse, deretter usikkerhet uttrykt ved for eksempel konfidensintervall, og til slutt eventuelt p-verdi. Men i Vancouver-retningslinjene fra August 2013 (4) fant man også følgende, som ble stående uforandret frem til desember 2019, under «Results»:
“Give numeric results not only as derivatives (e.g., percentages) but also as the absolute numbers from which the derivatives were calculated, and specify the statistical significance attached to them, if any.”
Siste del av dette kunne oppfattes som en generell oppfordring til å rapportere p-verdier. Jeg fant dette også i motstrid til anbefalingen under «Statistics». Jeg gjorde ICMJE oppmerksom på dette i mai 2019. I de reviderte retningslinjene av desember 2019 (3) er dette nå endret til:
“Give numeric results not only as derivatives (for example, percentages) but also as the absolute numbers from which the derivatives were calculated.”
Dette setningsleddet er altså tatt ut: “and specify the statistical significance attached to them, if any.”
Dermed kan ikke lenger forskere påberope seg «Vancouver-retningslinjene» som grunnlag for å rapportere irrelevante p-verdier. Et lite skritt i en riktig retning!
Litteratur:
1. Stensrud MJ, Aalen OO. Skal vi skrinlegge begrepet statistisk signifikans? Tidsskr Nor Laegeforen 2019; 139.
2. Lydersen S. Statistical review: frequently given comments. Ann Rheum Dis 2015; 74: 323-5.
3. Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals. Updated December 2019, 2019. http://www.icmje.org/icmje-recommendations.pdf. 16 January 2020.
4. Recommendations for the Conduct, Reporting, Editing, and Publication of Scholarly Work in Medical Journals. Updated August 2013, 2013. http://www.icmje.org/recommendations/archives/2013_aug_urm.pdf. 16 January 2020.