Porównania wielokrotne tzw. testy post-hoc stanowią dodatkowe testy dla analizy wariancji. Dla prostoty opisu przyjrzyjmy się jednoczynnikowej analizie wariancji dla czynników międzygrupowych. Analizę tą wykonujemy w momencie, gdy chcemy porównać więcej niż 2 grupy ze sobą. Istotny statystycznie wynik przeprowadzonej analizy informuje nas, że nasza zmienna niezależna ma wpływ na zmienną zależną. Występują różnice pomiędzy badanymi grupami. Jednakże na podstawie samego wyniku analizy wariancji nie jesteśmy w stanie określić, które dokładnie grupy różnią się między sobą istotnie statystycznie. Ogólnie, analiza wariancji wykazuje istotne wyniki, jednak nie wiemy, które z porównywanych grup różnią się między sobą.
Dlatego też musimy przeprowadzić porównania wielokrotne pomiędzy analizowanymi grupami, czyli przeprowadzić tzw. testy post-hoc (nazwa odnosi się do sytuacji porównań wykonywanych "po fakcie"). Te testy umożliwiają nam odpowiedzenie na pytanie, które z analizowanych grup różnią się między sobą. Sam istotny wynik analizy wariancji nie wskazuje nam, że wszystkie z analizowanych grup różnią się między sobą. Najczęściej wystarczy istotna różnica pomiędzy dwiema grupami (np z analizowanych czterech), aby cały wynik analizy wariancji okazał się być istotny statystycznie.
Przykład:
Badacz chciał sprawdzić, czy osoby powyżej 30 roku życia z różnym poziomem wykształcenia różnią się między sobą pod względem wagi ciała. Zmierzył on wagę ciała (zmienna zależna) u osób z wykształceniem podstawowym, zawodowym, średnim i wyższym (zmienna niezależna; 4 porównywane grupy). Analiza wariancji wykazała istotny statystycznie wynik. Badacz mógł zatem stwierdzić, że poziom wykształcenia wpływa na wagę ciała. Jednakże oprócz tego stwierdzenia interesowało go również, które grupy różnią się między sobą. Przeprowadził on zatem porównania wielokrotne, testy post-hoc. Analizy wykazały, że osoby z wykształceniem podstawowym i średnim (grupy między sobą nie różniły się wagą ciała) miały większą masę ciała w porównaniu do osób z wykształceniem zawodowym i wyższym (te grupy również między sobą się nie różniły).
Jak widać w opisanym powyżej przykładzie, porównania wielokrotne umożliwiają badaczom na "głębszą" analizę badanego zjawiska. Choć sam wpływ zmiennej niezależnej na zmienną zależną jest interesujący to jednak przeprowadzenie testów post-hoc dostarcza większej ilości informacji, umożliwia postawić bardziej wnikliwe wnioski.
Przeprowadzając analizę wariancji i otrzymując istotny statystycznie efekt nie możemy polegać jedynie na wartościach średnich, aby stwierdzić, które z porównywanych grup różnią się między sobą. Aby móc postawić jakiekolwiek wnioski na temat różnic w konkretnych grupach należy przeprowadzić porównania wielokrotne, testy post-hoc.
Czasem może zdarzyć się sytuacja, że analiza wariancji dostarczy nam istotnego statystycznie wyniku, a przeprowadzone porównania wielokrotne nie wykażą żadnych istotnych statystycznie różnic. Taka sytuacja zdarza się najczęściej w sytuacji, gdy istotny efekt analizy wariancji osiągnął poziom bliski p = 0,05 (przyjmując poziom istotności p = 0,05). Powodem nieistotnych wyników testów post-hoc jest uwzględnianie poprawki na liczbę przeprowadzanych porównań wielokrotnych. Za wyjątkiem takich testów jak: NIR (najmniejsza istotna różnica) pozostałe testy uwzględniają taką poprawkę, aby zniwelować możliwość popełnienia błędu pierwszego rodzaju. W praktyce najczęściej, nieistotny wynik analizy wariancji świadczy, że porównania wielokrotne pomiędzy grupami również nie będą istotne statystycznie.
Porównania wielokrotne wykorzystywane są do testowania hipotez badawczych. Hipotezy (cel badania) może być od razu nastawiony na weryfikację, czy jakieś dwie (z kilku innych badanych) grupy różnią się między sobą. W takich przypadkach porównania wielokrotne przeprowadzamy nawet pomimo faktu, że wynik analizy wariancji nie okazał się być istotny statystycznie.
Istnieje szereg różnych rodzajów testów post-hoc. Po pierwsze, istnieje grupa testów post-hoc, które wykonujemy, gdy wariancje w porównywanych grupach są równe - homogeniczność wariancji, a inne gdy zostało złamane te założenie analizy wariancji. Testy post-hoc różnią się czułością, tj. prawdopodobieństwo wykrycia rzeczywistych różnic między grupami oraz możliwością popełnienia błędu pierwszego rodzaju, czyli przyjęcia za istotne tych różnic, które w rzeczywistości nie są istotne statystycznie. Do najpopularniejszych testów post-hoc możemy zaliczyć:
- NIR - najmniejszej istotnej różnicy
- Tukeya
- Bonferroniego
- Duncana
- Gamesa-Howella
- Scheffego
- Studenta-Newmana-Keula
Testy post-hoc. Porównania wielokrotne Wasze opinie