ANALIZA KANONICZNA

Ogólna charakterystyka

• analiza kanoniczna stanowi uogólnienie liniowej regresji wielorakiej na dwa zbiory zmiennych (pozwala badać związki zachodzące pomiędzy dwoma zbiorami zmiennych)

• związki te są interpretowane jako zależności między dwoma typami nowych zmiennych zwanych zmiennymi kanonicznymi (czynnikami)

• pierwszy typ zmiennych kanonicznych jest liniową funkcją pierwszego zbioru zmiennych wejściowych, a drugi liniową funkcją drugiego zbioru zmiennych wejściowych

• zmienne kanoniczne są wyznaczane w taki sposób, aby maksymalnie wyjaśniać zależności liniowe pomiędzy zmiennymi wejściowymi należącymi do różnych zbiorów (dąży się do maksymalizacji kwadratu współczynnika korelacji między zmiennymi kanonicznymi)

• pierwsza para zmiennych kanonicznych, syntetyzując zależności pomiędzy zbiorami zmiennych wejściowych, wyjaśnia większość związków między tymi zbiorami, ale nie wyjaśnia ich w pełni, co powoduje konieczność wyznaczania kolejnych par zmiennych kanonicznych

• każda ze zmiennych należących do kolejnej pary zmiennych kanonicznych nie jest skorelowana z żądną ze zmiennych kanonicznych tego samego typu gdyż wyjaśnia zależności między zbiorami zmiennych wejściowych w innych wymiarach

• kolejna para zmiennych kanonicznych wyznaczana jest na takich samych zasadach jak i pierwsza para, tzn. tak aby maksymalizować współczynnik korelacji między nimi z tym, że korelacje pomiędzy parami zmiennych kanonicznych są coraz słabsze

ALGORYTM ANALIZY KANONICZNEJ

• budowa macierzy danych wejściowych składających się z dwóch podzbiorów zmiennych, z których jeden możemy traktować jako zbiór zmiennych objaśniających, a drugi zmiennych objaśnianych:

, i=1,...,n; j=1,2,...,q; j'=q+1, q+2,...,m (7.1)

• przedstawienie nowych zmiennych, nazywanych zmiennymi kanonicznymi, jako kombinacji liniowych zmiennych wejściowych:

oraz
(7.2)

gdzie:

- macierz zmiennych kanonicznych pierwszego typu (s x n), przy czym u_li jest wartością l-tej zmiennej kanonicznej w i-tym obiekcie,

- macierz zmiennych kanonicznych drugiego typu (s x n), przy czym v_li jest wartością l-tej zmiennej kanonicznej w i-tym obiekcie,

- transponowana macierz wag kanonicznych (q x s), przy czym a_jl jest wagą zmiennej kanonicznej pierwszego typu,

- transponowana macierz wag kanonicznych ((m-q) x s), przy czym b_j'l jest wagą kanoniczną j'-tej zmiennej dla l-tej zmiennej kanonicznej drugiego typu.

• szacunek wag kanonicznych

• wagi kanoniczne wyznaczane są w taki sposób aby maksymalizować korelację między kolejnymi parami zmiennych kanonicznych

• wagi kanoniczne są wyznaczane w analogiczny sposób jak w analizie głównych składowych, z tym odpowiednikiem macierzy korelacji w analizie głównych składowych jest łączna macierz korelacji zmiennych o postaci:

, (7.3)

gdzie:

R₁₁ - macierz korelacji zmiennych objaśnianych X₁,

R₂₂ - macierz korelacji zmiennych objaśniających X₂,

R₁₂, R₂₂ - macierze korelacji obu rodzajów zmiennych.

• w pierwszym etapie analizy poszukujemy wag kanonicznych pierwszej pary zmiennych kanonicznych, która ma największy udział w wyjaśnianiu zależności pomiędzy zbiorami zmiennych wejściowych

• wagi kanoniczne, są tak dobierane aby zmaksymalizowały korelację pomiędzy pierwszą parą zmiennych kanonicznych, czyli maksymalizowały wyrażenie:

. (7.4)

Współczynnik
nazywamy współczynnikiem korelacji kanonicznej.

• wagi kanoniczne dla pierwszej pary zmiennych są wyznaczane poprzez rozwiązanie układów równań jednorodnych o postaci:

, (7.5)

, (7.6)

gdzie:

- pierwiastek charakterystyczny (wartość własna) macierzy
lub
,

• pierwiastki charakterystyczne uzyskujemy rozwiązując równania wyznacznikowe o postaci:

, (7.7)

, (7.8)

• liczba niezerowych pierwiastków charakterystycznych równań wyznacznikowych jest równa s=min(q,m-q)

• po malejącym uporządkowaniu pierwiastków charakterystycznych znajdujemy wagi kanoniczne dla pierwszej pary zmiennych kanonicznych wstawiając do układu równań ((7.5) i (7.6)) największy z nich

• po wyznaczeniu wag kanonicznych dla pierwszej pary zmiennych kanonicznych wyznaczamy wagi dla kolejnych par zmiennych kanonicznych, zakładając że zmienne kanoniczne tego samego typu są ze sobą nieskorelowane, podstawiając w tym celu do układu równań ((7.5) i (7.6)) kolejne pierwiastki charakterystyczne macierzy ((7.7) i (7.8))

• wagi kanoniczne określają wkład poszczególnych zmiennych wejściowych w tworzenie zmiennych kanonicznych (przy standaryzacji zbiorów zmiennych wejściowych, są odpowiednikiem współczynników beta w regresji wielorakiej)

• wagi kanoniczne mogą być wykorzystane do wyznaczenia wartości zmiennych kanonicznych w obserwowanych obiektach

• ze względu na fakt, że zmienne kanoniczne danego typu nie są ze sobą skorelowane suma kwadratów współczynników korelacji kanonicznej, dla wszystkich par zmiennych kanonicznych, stanowi miarę stopnia wyjaśniania zmienności (poprzez związki liniowe) jednego typu zmiennych (objaśnianych) przez drugi typ zmiennych (objaśniających):

(7.12)

OKREŚLANIE LICZBY PAR ZMIENNYCH KANONICZNYCH

• na wstępie należy założyć normalność rozkładu analizowanych zmiennych

• następnie zakładamy, że przynajmniej k pierwszych korelacji kanonicznych jest istotnych i testujemy hipotezę o istotności ostatnich s-k korelacji kanonicznych

• weryfikację istotności par zmiennych kanonicznych przeprowadzamy stosując statystykę testową o postaci:

(7.13)

• statystyka ta ma, przy założeniu prawdziwości hipotezy zerowej, asymptotycznie rozkład chi-kwadrat o liczbie stopni swobody:

(7.14)

• weryfikacja istotności par zmiennych kanonicznych odbywa się w sposób iteracyjny:

• jeżeli wartość statystyki testowej jest mniejsza od wartości krytycznej, przy przyjętym poziomie istotności, to przynajmniej współczynnik korelacji kanonicznej o indeksie k+1 jest istotny (odpowiadająca mu para zmiennych kanonicznych jest istotna)

• wiedząc, że kolejne korelacje kanoniczne są coraz mniejsze, przyjmujemy na początek procesu weryfikacyjnego, że k=0 czyli, że przynajmniej pierwsza z korelacji kanonicznych jest istotna

• jeżeli stwierdzimy jej istotność to zwiększając kolejno indeks k o jeden testujemy istotność kolejnych współczynników korelacji kanonicznej

• w ostatecznej analizie uwzględniamy wszystkie pary zmiennych kanonicznych, dla których współczynniki korelacji kanonicznej są istotne

INTERPRETACJA WYNIKÓW

• w celu interpretacji zmiennych kanonicznych możemy przedstawić zbiory zmiennych wejściowych jako kombinacje liniowe zmiennych kanonicznych:

(7.15)

gdzie:

C=[c_jl] - macierz kanonicznych ładunków czynnikowych (s x q), przy czym c_lj jest kanonicznym ładunkiem czynnikowym znajdującym się przy j-tej zmiennej wejściowej i l-tej zmiennej kanonicznej pierwszego typu

D=[d_j'l] - macierz kanonicznych ładunków czynnikowych (s x (m-q)), przy czym d_j'l, jest kanonicznym ładunkiem czynnikowym znajdującym się przy j'-tej zmiennej wejściowej i l-tej zmiennej kanonicznej drugiego typu

• kanoniczne ładunki czynnikowe są, analogicznie jak w analizie czynnikowej, współczynnikami korelacji liniowej pomiędzy zmiennymi pierwotnymi, a zmiennymi kanonicznymi:

, j=1,2,...,q; l=1,2,...,s, (7.16)

, j'=q+1, q+2,...,m; l=1,2,...,s. (7.17)

• kwadrat współczynnika korelacji, czyli współczynnik determinacji, wskazuje jaka część wariancji danej zmiennej wejściowej jest wyjaśniana przez daną zmienną kanoniczną, tym samym przy interpretacji zmiennych kanonicznych bierzemy pod uwagę zmienne wejściowe silnie z nimi skorelowane

• dzieląc sumy kwadratów współczynników korelacji danej zmiennej kanonicznej podzielimy przez liczbę zmiennych wejściowych odpowiedniego typu uzyskujemy tzw. wariancję wyodrębnioną, określającą jaki procent wariancji zmiennych wejściowych wyjaśnia średnio dana zmienna kanoniczna:

, l=1,2,...,s, (718)

lub

, l=1,2,...,s. (7.19)

• miarą stopnia wyjaśniania wariancji zmiennych pierwotnych danego typu przez zmienne kanoniczne drugiego typu są współczynniki redundancji o postaci:

, l=1,2,...,s, (7.20)

, l=1,2,...,s. (7.21)