Wyniki istotne statystycznie

Gdy porównujemy ze sobą grupy pod względem pewnej zmiennej prawie zawsze wystapią różnice pomiędzy grupami w mierzonej zmiennej. Jednakże dopiero, gdy zastosujemy odpowiedni test statystyczny, uwzględniając przyjęty poziom istotności, będziemy mogli odpowiedzieć, czy zaobserwowane wyniki są istotne statystycznie. Gdy przyjmiemy poziom istotności p < 0,05 to zaobserwowane różnice, dla których p jest mniejsze niż 0,05 możemy nazwać różnicami istotnymi statystycznie.
Inaczej mówiąc, to że występują różnice jeszcze o niczym nie świadczy. Dopiero, gdy test statystyczny wykaże, że dla przyjętego poziomu statystycznego zaobserwowane różnice pomiędzy grupami są odpowiednio duże, dopiero wtedy możemy powiedzieć, że występują różnice istotne statystycznie. Jeżeli test nie wykaże istotnych statystycznie różnic, to pod względem statystycznym zaobserwowane wyniki dla grup są sobie równe!

Przy weryfikacji postawionych hipotez można popełnić błąd pierwszego bądź drugiego rodzaju.