Zgodność sędziów kompetentnych
Oceny sędziów kompetentnych wykorzystywane są przy badaniu osób pytaniami otwartymi, gdzie nie istnieje odpowiedni jednoznaczny klucz odpowiedzi, według którego można wyliczyć interesującą badacza cechę. Sposób interpretacji wyniku testu leży w subiektywnym odczuciu osoby oceniającej, jej punktu widzenia na daną odpowiedź osoby badanej. Dlatego też, aby uniknąć błędu subiektywizmu osoby oceniającej wybiera się kilka osób, sędziów kompetentnych do oceny tego samego materiału badawczego i każdej z tych osób daje się te same wskazówki odnośnie oceniania wypowiedzi osób badanych. Dzięki zastosowaniu większej liczby osób oceniających wypowiedź, możliwość błędnego zinterpretowania wypowiedzi zostaje zredukowana.
Ważne jest, aby poszczególni sędziowie kompetentni muszą dokonywać ocen niezależnie od siebie. Nie może wystąpić sytuacja, w której sędziowie przed dokonywaniem oceny konsultują między sobą jej wynik. Co więcej, sędziowie kompetentni muszą potrafić w sposób rzetelny ocenić zebrany materiał badawczy według kryteriów oceny.
Bardzo istotne przy tej metodzie badawczej jest przeanalizowanie zgodności sędziów kompetentnych, tzn. czy oceny sędziów (osób oceniających) różnią się znaczenie od siebie, czy są one podobne. Duża rozbieżność ocen sędziów wskazuje na to, że dana metoda badawcza jest bardzo wrażliwa na subiektywną ocenę osoby oceniającej, co sugeruje, że zastosowana metoda badawcza nie jest poprawna, ponieważ jej wynik dla danej badanej osoby jest uzależniony bardziej od subiektywizmu oceny sędziów niż od odpowiedzi osoby badanej.
Przykład: Badacz przedstawiał ulotkę reklamową osobom badanym i poprosił je, aby napisali klika zdań o tym co sądzą na temat reklamowanego na ulotce produktu. Celem badacza było zbadanie, czy reklama wywołuje wśród osób badanych jakiekolwiek emocje wobec badanego produktu. Aby jego ocena odpowiedzi nie była subiektywna polecił kliku sędziom kompetentnym ocenienie nacechowania emocjonalnego wypowiedzi osób badanych.
W celu obliczenia zgodności sędziów kompetentnych wykorzystuje się analizę testem W Kendalla.
Zgodność sędziów kompetentnych Wasze opinie