Jednym z założeń analizy regresji jest brak występowania współliniowości predyktorów (zmiennych objaśniających). Wprowadzając do modelu regresji silnie skorelowane ze sobą zmienne wprowadzamy do modelu (przy każdej zmiennej) małą bądź zerową unikalną "część wyjaśnienia" zmiennej zależnej. W zależności od sposobu liczenia jeden z predyktorów silnie powiązanych straci swoją "moc" przewidywania zmiennej zależnej na rzecz innego predyktora, z racji występowania silnego związku pomiędzy nimi.
Współliniowość innymi słowy oznacza sytuację, w której predyktory wprowadzane do modelu regresji są ze sobą silnie skorelowane i taka sytuacja powoduje „pogorszenie się” parametrów modelu.
Najczęściej współliniowość szacowana jest poprzez dwa parametry: wskaźnik tolerancji oraz parametr VIF (CIW – czynnik inflacji wariancji). Należy zaznaczyć, że parametry te obliczane są dla każdego z predyktorów wprowadzonych do modelu. Dzięki temu możliwe jest oszacowanie, który z nich wprowadza do modelu współliniowość.
Wskaźnik tolerancji informuje nas ile jeszcze procent wariancji zmiennej zależnej nie jest wyjaśnione przez pozostałe predyktory. Można powiedzieć zatem, że im dany predyktor ma mniejszy wskaźnik tolerancji tym jest bardziej zbędny w modelu w porównaniu do innych predyktorów. W praktyce, jeżeli wskaźnik tolerancji dla któregoś z przedyktorów spada poniżej wartości 0,1 to wówczas model staje się nieużyteczny.
Innym parametrem oceniającym współliniowość jet VIF (CIW) nazywany czynnikiem inflacji wariancji. Wskaźnik ten pokazuje ile razy wariancja predyktora jest większa od wartości niezakłóconej współliniowością. Innymi słowy, porównuje obecną sytuację do sytuacji idealnej, w której nie występowałaby współliniowość między parametrami. W praktyce analitycznej wielkość parametru VIF powyżej 10 wskazuje na zakłócający wpływ współliniowości na parametru modelu.
Mniej popularną metodą jest wyznaczanie parametru CN (wskaźnika uwarunkowania macierzy), który wyznaczany jest dla całego modelu jako pierwiastek kwadratowy z ilorazu najmniejszej i największej wartości własnej macierzy XTX zmiennych objaśniających.
W jaki sposób można poradzić sobie ze zjawiskiem występowania współliniowości w analizowanym modelu regresji?
Możemy usunąć z modelu te predyktory, które są najsilniej współliniowe z innymi. Sytuacja występowania współliniowości dotyczy sytuacji, gdy pod względem wartości predyktory są bardzo podobne do siebie, np. cena mąki i cena chleba. Jeden i drugi predyktor jest bardzo podobny do siebie. W takich przypadkach do modelu powinniśmy wybrać tylko jeden z podobnych znaczeniowo predyktorów.
Możemy również przeprowadzić analizę regresji grzbietowej, w której sztucznie (poprzez dodanie parametru lambda) zmniejsza się wartość współczynników korelacji aż do osiągnięcia zadowalających efektów oszacowania.
Współliniowość innymi słowy oznacza sytuację, w której predyktory wprowadzane do modelu regresji są ze sobą silnie skorelowane i taka sytuacja powoduje „pogorszenie się” parametrów modelu.
Najczęściej współliniowość szacowana jest poprzez dwa parametry: wskaźnik tolerancji oraz parametr VIF (CIW – czynnik inflacji wariancji). Należy zaznaczyć, że parametry te obliczane są dla każdego z predyktorów wprowadzonych do modelu. Dzięki temu możliwe jest oszacowanie, który z nich wprowadza do modelu współliniowość.
Wskaźnik tolerancji informuje nas ile jeszcze procent wariancji zmiennej zależnej nie jest wyjaśnione przez pozostałe predyktory. Można powiedzieć zatem, że im dany predyktor ma mniejszy wskaźnik tolerancji tym jest bardziej zbędny w modelu w porównaniu do innych predyktorów. W praktyce, jeżeli wskaźnik tolerancji dla któregoś z przedyktorów spada poniżej wartości 0,1 to wówczas model staje się nieużyteczny.
Innym parametrem oceniającym współliniowość jet VIF (CIW) nazywany czynnikiem inflacji wariancji. Wskaźnik ten pokazuje ile razy wariancja predyktora jest większa od wartości niezakłóconej współliniowością. Innymi słowy, porównuje obecną sytuację do sytuacji idealnej, w której nie występowałaby współliniowość między parametrami. W praktyce analitycznej wielkość parametru VIF powyżej 10 wskazuje na zakłócający wpływ współliniowości na parametru modelu.
Mniej popularną metodą jest wyznaczanie parametru CN (wskaźnika uwarunkowania macierzy), który wyznaczany jest dla całego modelu jako pierwiastek kwadratowy z ilorazu najmniejszej i największej wartości własnej macierzy XTX zmiennych objaśniających.
W jaki sposób można poradzić sobie ze zjawiskiem występowania współliniowości w analizowanym modelu regresji?
Możemy usunąć z modelu te predyktory, które są najsilniej współliniowe z innymi. Sytuacja występowania współliniowości dotyczy sytuacji, gdy pod względem wartości predyktory są bardzo podobne do siebie, np. cena mąki i cena chleba. Jeden i drugi predyktor jest bardzo podobny do siebie. W takich przypadkach do modelu powinniśmy wybrać tylko jeden z podobnych znaczeniowo predyktorów.
Możemy również przeprowadzić analizę regresji grzbietowej, w której sztucznie (poprzez dodanie parametru lambda) zmniejsza się wartość współczynników korelacji aż do osiągnięcia zadowalających efektów oszacowania.
Współliniowość zmiennych objaśniających Wasze opinie