Wartość założonego poziomu istotności jest porównywana z wyliczoną na podstawie testu statystycznego wartością p (lub jego ekwiwalentem). Jeśli wartość p jest większa, rezultaty badania są niekonkluzywne. W propozycji Neymana–Pearsona, należy w tej sytuacji postępować tak jakby prawdziwa była hipoteza zerowa H0 (która zwykle postuluje brak efektu lub różnic), nie daje to jednak samodzielnych podstaw do przekonania, że tak rzeczywiście jest. Brak istotności testu w jednym badaniu nie oznacza samo w sobie, że sfalsyfikowano hipotezę badawczą. Wysokie p może wynikać również na przykład z niskiej mocy testu.
Jeśli wartość p jest niższa, można postępować tak jakby prawdziwa była hipoteza alternatywna, i o ile założenia modelu i algorytmu były dochowane, powinno to prowadzić do błędu w długim okresie tylko w odsetku realizacji testu równym α. To również nie daje samodzielnych podstaw do rozstrzygnięcia o prawdziwości hipotez. Zjawiska o bliskiej zeru wielkości efektu i bez praktycznego znaczenia mogą przekroczyć próg istotności statystycznej, np.