Analiza regresji
Analiza regresji
Regresja jednozmiennowa
• Jeden predyktor, jedna zmienna zależna
(obie zmienne ilościowe)
• Założenia:
– odpowiednia liczba osób badanych (formuła 50
+ 8),
– prostoliniowa zależność (oceniana na oko),
– normalność rozkładu zmiennych (przy małych
liczebnościach test Shapiro-Wilka, przy małych
K-S),
– usunięte przypadki odstające i skrajne
Podsumowanie
• Za pomocą metody najmniejszych kwadratów
dopasowywana jest linia prosta spełniająca
taki warunek, że suma odległości wyników od
linii jest minimalna (wyniki badanych leżą jak
najbliżej tej linii analiza wariancji)
• Dowiadujemy się jak silny jest związek i jaki
jest jego kierunek (współczynnik beta)
• Uzyskujemy informacje o parametrach
prostej. Dzięki temu możemy zapisać
zależnośc między zmiennymi w postaci wzoru
matematycznego i precyzyjnie przewidywać
wielkość zmiennej przewidywanej znając tylko
wielkość predyktora.
Przykład – Pokaż mi, ile masz
książek…
• Jak dobra rozmiar ramy
• Wysokość ramy musi zapewniać
dostateczny dystans pomiędzy
górną rurą ramy a kroczem. Ma on
pozwolić na bezpieczne zeskoczenie
z pedałów bez przykrych
konsekwencji. W rowerze górskim
rowerzysta, kiedy stoi okrakiem nad
ramą, musi mieć możliwość
uniesienia przedniego koła co
najmniej 15 cm nad ziemię.
Oglądamy wykres
• Wykres wygląda
mało
zachęcająco, ale
nie widać
żadnych
dewiantów ani
zależności
krzywoliniowej
0
1
2
3
4
5
6
7
L.KSIAZEK W DOM BIBLIOTECE R (OBECNIE)
0
20
40
60
80
100
W
Y
N
IK
W
T
E
S
C
IE
A
L
F
A
B
E
T
F
U
N
K
C
/1
99
9/
0-
10
0
Czy model jest dobrze dopasowany?
Analiza wariancji
b
188548,096
1 188548,1
234,958
,000
a
768772,778
958
802,477
957320,874
959
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R (OBECNIE)
a.
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
b.
Analiza wariancji testująca dopasowanie modelu
regresji jest istotna F(1, 958)=234,9; p<0,001.
Oznacza to, że model regresji jest bardziej
precyzyjny niż opis danych za pomocą średniej
grupowej
Współczynniki
Standaryzowany współczynnik regresji wynosi beta=0,44 i jest istotnie
różny od zera (p<0,001), co oznacza, że zależność między
analizowanymi zmiennymi jest dość silna i dodatnia. Osoba posiadająca
dużo książek ma wysoki wynik w teście rozumienia tekstu.
Rozbieżność współczynnika beta jest weryfikowana testem t-Studenta dla
jednej próby (H0: beta=0).
Tą samą metodą jest testowana wartość stałej.
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Wartość statystyki t
Wartość statystyki t testu sprawdzającego
rozbieżność parametrów od zera to wartość
parametru dzielona przez błąd standardowy, a
zatem:
t=25,851 / 1,591 = 16,247
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Statystyka t a statystyka F
Analiza wariancji
b
188548,096
1 188548,1
234,958
,000
a
768772,778
958
802,477
957320,874
959
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R (OBECNIE)
a.
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
b.
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
F=
t
2
Współczynniki
Współczynniki niestandaryzowane wynoszą: stała=25,85 i współczynnik
kierunkowy=7,85. Zapis równania, które posłużyć może do przewidywania wyników
wyglądać będzie następująco:
Y=7,85*X+25,85
Co to oznacza?
Osoba, która w ogóle nie ma żadnej książki uzyskała…..punktów w teście rozumienia
tekstu.
Wraz z zakupem jednej książki wynik w teście rośnie o……… punktów.
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Współczynniki
Równanie opisujące zależność między zmiennymi
Y=7,85*X+25,85
Jeśli Andrzej ma 5 książek to jego wynik w teście będzie
wynosił 7,85*5+25,85= 65 punktów w teście.
Jak bardzo się mylimy? Jaki jest błąd naszego
wnioskowania?
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Błąd wnioskowania
Jak bardzo się mylimy? Jaki jest błąd naszego
wnioskowania?
O błędzie wnioskowania można się wypowiadać na
podstawie błędów standardowych obu parametrów.
Błąd standardowy określa o ile przeciętnie się mylimy w
szacowaniu obu parametrów równania regresji
Jeśli chodzi o stałą to błąd wynosi 1,59 dla współczynnika
kierunkowego 0,512. Można zapytać, czy to dużo, czy
mało? Zależy od wielkości parametru. Można obliczyć
procentową wartość błędu względem współczynnika: dla
stałej to 6% dla współczynnika kierunkowego to 6,5%
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Błąd wnioskowania
Niektórzy autorzy zamiast procentowej wartości błędu
podają proporcję wartość parametru/błąd. Jeśli
wartość tej proporcji jest bardzo mała to nasze
oszacowania nie są precyzyjne.
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Precyzja wnioskowania -
graficznie
• Precyzje
wnioskowania można
także przedstawić
graficznie w postaci
przedziału ufności
wokół linii regresji.
Przedział ufności
określa gdzie z 95%
prawdopodobieństwe
m może przechodzić
linia regresji.
Precyzja przewidywania - graficznie
• Przewidywanie jest precyzyjne bo przedział
ufności jest wąski
Procent wyjaśnionej wariancji
• Zmienna liczba książek pozwala wyjaśnić
prawie 20% (mnożymy R –kwadrat przez
100%) zmienności zmiennej analfabetyzm
funkcjonalny
Model - Podsumowanie
,444
a
,197
,196
28,328
Model
1
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R
(OBECNIE)
a.
Procent wyjaśnionej
wariancji
• R-kwadrat to wyjaśniona suma kwadratów
(suma kwadratów dla regresji) dzielona
przez całkowitą sumę kwadratów (sumę
kwadratów ogółem).
Model - Podsumowanie
,444
a
,197
,196
28,328
Model
1
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R
(OBECNIE)
a.
Analiza wariancji
b
188548,096
1 188548,1
234,958
,000
a
768772,778
958
802,477
957320,874
959
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R (OBECNIE)
a.
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
b.
Predykcja zmiennej zależnej w
oparciu o wiele predyktorów
(2 i więcej)
Regresja
wielokrotna
Multiple
Regression
Regresja wielokrotna
• Kilka predyktorów ilościowych, jedna zmienna
przewidywana ilościowa
• Założenia jak w regresji jednozmiennowej
Kolejne kroki analizy regresji wielokrotnej
(wielozmiennowej) identyczne jak w
jednozmiennowej:
Testowanie dopasowania modelu
Określenie siły i kierunku zależności między
predyktorami a zmienną przewidywaną
Określenie łącznej efektywności modelu (R-kwadrat)
Medyczny przykład
• Przewidujemy umieralność na chorobę
wieńcową (CW) w zależności od ilości
wypalanych papierosów i poziomu stresu
pacjenta.
• Rzeczywiste dane
• Przy dwóch predyktorach i jednej zmiennej
zależnej nie dopasowujemy linii prostej a
płaszczyznę do punktów umieszczonych w
przestrzeni trójwymiarowej. Każdy punkt
(osoba badana) może zostać opisana przez
trzy właściwości.
Obie zmienne sytuacje stresowe i liczba wypalanych papierosów są istotnie związane
z umieralnością na CW, ale również predyktory są ze sobą związane
Współczynnik korelacji
wielokrotnej
• Współczynnik analogiczny do r
• Zawsze oznaczany przez R
• Zawsze pozytywny
– Korelacja konstruktu stworzonego ze
wszystkich predyktorów łącznie ze
zmienna zależną
– Często zamiast R podaje się R
2
, które
łatwiej zinterpretować
R
2
Przy kilku predyktorach odczytujemy
Skorygowane R-kwadrat, gdyż R-kwadrat jest
przeszacowane wtedy, gdy więcej niż jeden
predyktor. Tutaj model regresji wyjaśnia 45%
zmienności zmiennej zależnej.
Czy model jest istotny?
Współczynniki regresji
• Stała i współczynniki dla każdego
predyktora
• Przy szacowaniu współczynnika dla
danej zmiennej wartości pozostałych
są utrzymywane na stałym poziomie
• Równanie regresji wielokrotnej jest
rozszerzeniem równania regresji
prostej o kolejne predyktory.
Równanie regresji
wielokrotnej
• W drugim równaniu nie mamy stałej, (stała = 0)
• Patrzenie na wystandaryzowane współczynniki –
sprowadzone do jednej skali pozwala na
porównywanie ich wkładu do modelu
2
2
1
1
0
2
2
1
1
Z
Z
Z
b
X
b
X
b
Y
y
Odczytujemy, która zmienna jest istotnym
predyktorem umieralności na chorobę
wieńcową. Patrzymy na istotności
współczynników beta. Istotny jest tylko
współczynnik dla dziennej liczby papaierosów.
Zależność ta jest dodatnia i bardzo silna
(beta=0,818, p<0,05). Osoby, które duża palą są
też bardziej narażone na rozwój choroby
wieńcowej.
Równanie regresji
• A równaniu regresji uwzględniamy jedynie
istotne predyktory. A zatem w naszym
przykłądzie jedynie współczynnik
niestandaryzowane B dla zmiennej „liczba
wypalanych papierosów” oraz stałą. Co
prawda stała nie różni się istotnie od zera
więc też moglibyśmy pominąć ją w równaniu.
979
,
1
346
,
2
ˆ
0
2
2
1
1
pap
b
X
b
X
b
Y
Przewidywanie
Załóżmy, że:
• liczba papierosów = 10
• Liczba sytuacji stresowych = 5,
• Jakie jest ryzyko choroby wieńcowej
10000
44
,
25
979
,
1
46
,
23
ˆ
na
Y
979
,
1
346
,
2
ˆ
0
2
2
1
1
pap
b
X
b
X
b
Y
Dodatkowe założenie analizy
wielokrotnej
• Wielokrotna analizy regresji wymaga tego, żeby
predyktory nie były ze sobą skorelowane a więc
powinny być niezależne od siebie. Zależy nam
bowiem na tym, żeby wariancję zmiennej zależnej
wyjaśniać za pomocą niezależnych źródeł
predyktorów. Jeśli predyktory są ze sobą skorelowane
silnie, to znaczy, że de facto mierzą to samo
• Palenie papierosów i poziom stresu w gruncie rzeczy
mogą mierzyć tę samą tempEramentalną właściwość
– reaktywność. Jeśli ktoś jest reaktywny to nawet
słabe bodźce przysporzą mu stresu a jedną z form
jego rozładowania może być palenie. Więc obie te
zmienne wydają się mieć to samo źródło w postaci
innej zmiennej
Problem skorelowanych
predyktorów
• Korelacja cząstkowa –
– korelacja między dwiema zmiennymi Y i
X1, po odrzuceniu z obu zmiennych,
jakiejkolwiek wariancji, którą można
przypisać trzeciej zmiennej (X2).
– Patrzymy na związek dwóch zmiennych,
przy kontroli trzeciej
– Korelacja semicząstkowa – to co wyjaśnia
dany predyktor ze zmiennej wyjaśnianej
Silniejszy wygrywa?
R
2
=30,
8
R
2
=50,
8
R
2
=70
%
Idea korelacji cząstkowej
p
a
p
ie
ro
s
y
50,8%
Umieralność na CW
Syt. stresowe
30,8%
Unikalna
wariancja
w zmiennej
zależnej
wyjaśniona przez
papierosy
Unikalna
wariancja
w zmiennej
zależnej
wyjaśniona przez
syt. stresowe
Wariancja
w zmiennej
zależnej
wyjaśniona przez
oba predyktory
Przy korelacji
cząstkowej
kontrolujemy
efekt trzeciej
zmiennej na obie
pozostałe
Umieralność na CW
Umieralność na CW
1
2
3
Idea korelacji cząstkoweji
semicząstkowej
Korelacja semicząstkowa
predyktora 1 to część
unikalna wyjaśniana
tylko przez ten predyktor
na tle tego co jest do
wyjaśnienia, czyli część
oznaczona numerem 1
do całego żółtego
kwadracika)
Korelacja cząstkowa
predyktora 1 to unikalna
cześć wyjaśniana przez
ten predyktor na tle
tego, czego ten drugi nie
wyjaśnia (część 1 na tle
1 i 4)
Umieralność na CW
1
2
3
Predykto
r2
Predykto
r1
4
Korelacje
cząstkowe
Nasi sąsiedzi
• Jak widać, to, czy dana zmienna będzie dobrym
predyktorem zależy od sąsiedztwa z innymi
zmiennymi w modelu i tego, czy są one ze sobą
skorelowane
– (gdyby nie były, wtedy nie zmieniałyby się współczynniki
regresji w zależności od tego, która zmienna jest w
modelu. (ta informacja jest ważna przy stosowaniu różnych
metod wprowadzania danych).
• Patrząc na cząstkowe korelacje dostajemy czysty
obraz związku, przy kontroli innych zmiennych i
widać, które zmienne są lepszymi, a które gorszymi
predyktorami.
– Sugerowane jest zrobienie regresji jeszcze raz, tym razem
z uwzględnieniem w równaniu tylko istotnych predyktorów