Halvorsen har helt rett i at man skal tolke studier med lav styrke varsomt og kritisk.
Det er ikke slik at en lav p-verdi fra en studie med lav styrke nødvendigvis må innebære at den sanne effekten er stor. Artikler Halvorsen refererer til påpeker at den positive prediktive verdien (PPV) av en «signifikant» p-verdi, med andre ord sannsynligheten for at en nullhypotese er gal gitt at man har forkastet den, blant annet er avhengig av teststyrken. Jo lavere styrke, desto lavere positiv prediktiv verdi, og dermed høyere risiko for at nullhypotesen er sann selv om den ble forkastet.
Derimot blander Halvorsen begreper når han hevder at lav teststyrke øker risikoen for type I-feil. Positiv prediktiv verdi og sannsynlighet for type I-feil er to forskjellige betingede sannsynligheter. Man begår en type I-feil når man forkaster en nullhypotese selv om den er sann. Det er vanlig å benytte en øvre grense på 5 % for sannsynligheten for å begå denne feilen (signifikansnivå α=0,05). Denne sannsynligheten sier ingenting om sannsynligheten for at nullhypotesen er sann, og den er uavhengig av teststyrken.
