Takk til S Lydersen for å bidra til skroting av begrepet «statistisk signifikans» og av statistisk sannsynlighetsberegninger (p-verdier). Det er nesten en ufattelig historie Lydersen forteller, at de som reviderte Vancouver-retningslinjene ikke fikk med seg poenget Lydersen nevner, er nær ufattelig.

Vancouver-retningslinjene anbefaler nå kvantifisering av måleresultater, altså at man beskriver effektenes størrelser. Vancouver-retningslinjene er imidlertid nær ubegripelige på grunn av manglende klargjøring av begreper.
Kvantifisering av resultater krever minst to parametere, nemlig en lokalisasjonsparameter som gjennomsnitt, mode eller median, og en spredningsparameter, som standarddeviasjon (SD), varians (SD2), range eller kvartiler. Også eventuell skjevfordeling må vises og antall observasjoner.

Vancouver-retningslinjene benytter begrepene målefeil (measurement error) og usikkerhet (uncertainty). Målefeil er vanligvis knyttet til målemetoden og krever en særskilt evaluering. Den foreligger sjeldent. Videre må det klargjøres hva som menes med usikkerhet. Det kan, for eksempel være målemetodens feilmarginer, eller det kan være gjennomsnittsverdiens usikkerhet det siktes til. Begrepet «precision of estimates» krever også klargjøring.

Mener man å kvantifisere resultater må man benytte begreper i overenstemmelse med måleteori, ikke statistikkbegreper.
Så til det avgjørende problemet: Uten at det er redegjort for hva som menes med usikkerhet anfører retningslinjene at usikkerheten skal beskrives med konfindensintervaller. Konfindensintervaller brukes som regel som 95% konfindensintervaller (95%Ci). Det er et teoretisk beregnet intervall som man med 95% sannsynlighet mener at gjennomsnittsverdiene ligger innenfor. Om man gjør målingene 100 ganger regner man med at gjennomsnittene i 95 av gangene vil ligge innenfor intervallet. 95% Ci har eksakt samme betydning som p=0,05.

Hvis det er en viss avstand mellom to konfidensintervaller har det samme betydning som p<0,05. Beregner man både p-verdier og konfindensintervaller finner vi en 100 prosent lineær overensstemmelse.
Det er mulig at retningslinjene mener at konfidensintervaller er det samme som spredningsparametere. Det er de ikke. En spredningsparameter beskriver variasjonen innenfor en populasjon og når man har målt et rimelig antall personer forblir spredningen nesten uforandret om man måler flere. Konfidensintervallet, derimot vil minke på grunn av at dette er en parameter hvor spredningen (variansen) divideres med antallet.

Riktignok er konfidensintervall også en spredningsparameter, men da spredning på gjennomsnittsverdier, tilsvarende «standard error of the mean» (SEM), men altså ikke et mål på effektens variasjon. Skroter man p-verdier og betegnelsen «signifikant», men beholder konfindensintervaller er man like langt. Ved å vise til at to konfidensintervaller ikke overlapper kan man som før si at man har en sikker effekt, i gammel terminologi en signifikant effekt, selv om kvantifiseringen viser en helt ubetydelig effekt.