Prosta analiza regresji i
wprowadzenie do regresji
wielokrotnej
Wykład 9
Prosta analiza regresji i
wprowadzenie do regresji
wielokrotnej
Wykład 9
Różnice
• Dotychczas szukaliśmy różnic między
pewnymi grupami (zmienna
niezależna jakościowa)
Podsumowanie – poszukiwanie różnic
Podsumowanie – poszukiwanie różnic
Podsumowanie – poszukiwanie różnic
Zmiana sposobu wnioskowania
poszukiwanie związku
• Oprócz różnic chcemy także
poszukiwanie związku pomiędzy
zmiennymi – metody regresyjne
• Zaczniemy od najprostszej postaci –
związek między dwiema zmiennymi
ilościowymi
• Przewidywanie
Możliwości przewidywania zarobków,
pogody w majowy weekend…
• Spojrzenie na średnie zarobki.
• Dowiadujemy się, ile zarabiają przeciętnie Polacy i to jest wtedy przewidywana kwota jaką zarobimy.
• Jeśli znamy predyktory zarobków np. poziom wykształcenia to możemy przewidzieć zarobki znając
średnią grupową.
• Skoro osoby z wykształceniem średnim zarabiają przeciętnie 4400 złotych brutto to my też
powinniśmy
Gdy zmienna przewidywana i
predyktor są ilościowe….
• Jeśli mamy dwie zmienne ilościowe to
posługiwanie się średnią jest mało
dokładne.
• Znacznie lepsze jest użycie do
przewidywania modelu uzyskanego w
wyniku analizy regresji
Analiza regresji
• Pozwala na przewidywanie poziomu jednej
zmiennej na podstawie poziomu drugiej
zmiennej.
• Nie ma sensu przeprowadzać prostej analizy
regresji, kiedy nie ma korelacji między
zmiennymi
– Im silniejsza korelacja między zmiennymi, tym
lepsza możliwość przewidywania
– Analiza regresji prostoliniowej – posługujemy się
do przewidywania matematycznym modelem linii
prostej
Ogólny wzór linii prostej
stala
nachylenia
ˆ
B
X
B
Y
stala
nachylenia
ˆ
A
X
B
Y
Y=2x+1
– Jak wzrasta
wartość X o 1,
wartość Y
wzrasta o 2
– Idealna
predykcja, w
większości
przypadków
mamy do
czynienia z
błędem
predykcji
X
12
11
10
9
8
7
6
5
4
3
2
1
0
Y
24
22
20
18
16
14
12
10
8
6
4
2
0
Przykład 1
• Czy wielkość stresu kierownika
zależy od liczby podległych mu
pracowników?
• Obie zmienne ilościowe
• Pytanie badawcze o związek
między zmiennymi
• Uznajemy, że zależność ta jest
proporcjonalna więc linia prosta
będzie dobrym modelem ją
opisującym.
Linia regresji
Aby opisać dane
posługujemy się
modelem linii prostej.
Szukamy takiej linii,
której odległość od
wszystkich wyników
jest minimalna.
Określamy to za
pomocą Metody
Najmniejszych
Kwadratów odległości
punktów od linii.
2,00
4,00
6,00
8,00
10,00
12,00
os X - liczba pracowników
0,00
2,00
4,00
6,00
8,00
10,00
12,00
o
s
Y
-
p
o
zi
o
m
s
tr
es
u
R kwadrat dla Liniowej
= 0,766
Dopasowanie linii
Porównanie
kwadratów odległości
punktów od
linii regresji
oraz
odległości punktu
przewidywanego od
średniej
2,00
4,00
6,00
8,00
10,00
12,00
os X - liczba pracowników
0,00
2,00
4,00
6,00
8,00
10,00
12,00
o
s
Y
-
p
o
zi
o
m
s
tr
es
u
R kwadrat dla Liniowej
= 0,766
.
Wyniki
rzeczywisty
Wyniki
przewidywan
y
Dopasowanie linii
Kwadraty odległości
punktów to………
Jaka statystyka?
2,00
4,00
6,00
8,00
10,00
12,00
os X - liczba pracowników
0,00
2,00
4,00
6,00
8,00
10,00
12,00
o
s
Y
-
p
o
zi
o
m
s
tr
es
u
R kwadrat dla Liniowej
= 0,766
Reszta regresji
Aby sprawdzić, czy
linia regresji jest
dobrym modelem
wykonywana jest
analiza wariancji
porównująca średni
kwadrat regresji (to
co regresja wyjaśnia)
w stosunku do
średniego kwadratu
reszt (to czego
regresja nie wyjaśnia)
Jak w SPSS-ie?
Wydruk analizy wariancji
• Istotna analiza wariancji informuje nas, że
odległości przewidywanych wyników są większe w
porównaniu do reszt.
• A tak po ludzku?
Analiza wariancji
b
26,036
1
26,036
9,807
,049
a
7,964
3
2,655
34,000
4
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), pracow
a.
Zmienna zależna: stres
b.
Jaki jest wzór linii?
• Wzór linii (dla danych surowych):
stres=0,964*liczba pracowników - 0,75
Na podstawie tego wzoru możemy przewidywać poziom stresu
innych kierowników
Na przykład – jeśli kierownik ma 40 podwładnych to zgodnie ze
wzorem 0,964*50-0,75=47,45
Oznacza to, że przewidywany poziom stresu powinien osiągnąć około
47 punktów w kwestionariuszu. Nie musimy więc już go mierzyć
Współczynniki
a
-,750
2,275
-,330
,763
,964
,308
,875
3,132
,049
(Stała)
pracow
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: stres
a.
Ale jaka jest ta zależność?
• Interpretacji zależności dokonujemy na podstawie
współczynnika standaryzowanego beta. Jest to odpowiednik
współczynnika korelacji R-Pearsona
• Siła i kierunek zależności
• Istotność testu T informuje nas o tym czy beta=0
• Jeśli beta jest równa zero, to nie ma zależności prostoliniowej
• Jeśli istotnie różni się od zera to znaczy, że mamy zależność –
wtedy interpretujemy betę
Współczynniki
a
-,750
2,275
-,330
,763
,964
,308
,875
3,132
,049
(Stała)
pracow
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: stres
a.
Ale jaka jest ta zależność?
• Jaka jest zatem zależność między liczbą
podległych pracowników a poziomem
stresu?
• silna ? słaba
• dodatnia ? ujemna
Współczynniki
a
-,750
2,275
-,330
,763
,964
,308
,875
3,132
,049
(Stała)
pracow
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: stres
a.
Czy predyktor jest
efektywny?
• Aby się dowiedzieć, czy predyktor jest
dobrym predyktorem – wyjaśnia duży
procent wariancji zmiennej
przewidywanej patrzymy na wartość r
kwadrat
Model - Podsumowanie
,875
a
,766
,688
1,62934
Model
1
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Predyktory: (Stała), pracow
a.
Jak obliczamy r kwadrat?
Model - Podsumowanie
,875
a
,766
,688
1,62934
Model
1
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Predyktory: (Stała), pracow
a.
ogolem
regresja
SS
SS
R
2
Analiza wariancji
b
26,036
1
26,036
9,807
,049
a
7,964
3
2,655
34,000
4
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), pracow
a.
Zmienna zależna: stres
b.
Podsumowanie
Kolejne kroki analizy regresji:
1.
Sprawdzamy czy model linii regresji dobrze
pasuje do danych (analiza wariancji)
2.
Sprawdzamy, czy istnieje zależność między
predyktorem a zmienną zależną (istotność
współczynnika beta)
3.
Interpretujemy współczynnik beta (siła i
kierunek zależności)
4.
Zapisujemy wzór linii dla danych surowych
Przykład 1 - problemy
Współczynniki
a
3,002
1,124
2,670
,026
,500
,118
,816
4,239
,002
(Stała)
x3
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: y3
a.
Analiza wariancji
b
27,470
1
27,470
17,972
,002
a
13,756
9
1,528
41,226
10
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), x3
a.
Zmienna zależna: y3
b.
Uwaga dewianci…
4,00
6,00
8,00
10,00
12,00
14,00
x3
6,00
8,00
10,00
12,00
y3
R kwadrat dla Liniowej
= 0,666
Jak zdiagnozować dewianta?
Statystyki odległości
Gdy
większe
niż jeden
Przykład 2 - Problemy
Statystyki opisowe
7,5009
2,03058
11
9,0000
3,31662
11
y4
x4
Średnia
Odchylenie
standardowe
N
Współczynniki
a
3,002
1,124
2,671
,026
,500
,118
,817
4,243
,002
(Stała)
x4
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: y4
a.
Przykład 2 – stała + dewiant
5,00
10,00
15,00
20,00
x4
6,00
8,00
10,00
12,00
y4
R kwadrat dla Liniowej
= 0,667
Przykład 3- brak liniowości
4,00
6,00
8,00
10,00
12,00
14,00
x2
3,00
4,00
5,00
6,00
7,00
8,00
9,00
10,00
y2
R kwadrat dla Liniowej
= 0,666
-2
-1
0
1
2
Regresja Standaryzowana wartość przewidywana
-2
-1
0
1
R
eg
re
sj
a
R
es
zt
a
st
an
d
ar
yz
o
w
an
a
Zmienna zależna: y2
Wykres rozrzutu
-2
-1
0
1
2
Regresja Standaryzowana wartość przewidywana
-2
-1
0
1
R
eg
re
sj
a
R
es
zt
a
st
an
d
ar
yz
o
w
an
a
Zmienna zależna: y1
Wykres rozrzutu
Założenia analizy regresji
• Odpowiednia liczba osób badanych. Ale co to
znaczy? Tabachnick i Fidel podają, że musi to
być 50 osób plus 8 na każdy predyktor. Jeśli
mamy jedną zmienną niezależną to
powinniśmy mieć w zbiorze danych 58 osób
badanych.
• Zmienna zależna musi mieć rozkład normalny
• Zmienne niezależne powinny być liniowo
powiązane ze zmienną zależną
• Przypadki odstające i ekstremalne powinny
zostać znalezione i wyeliminowane
Przykład 4 – Pokaż mi, ile masz
książek…
• Jak dobry rozmiar ramy?
• Wysokość ramy musi zapewniać
dostateczny dystans pomiędzy
górną rurą ramy a kroczem. Ma on
pozwolić na bezpieczne zeskoczenie
z pedałów bez przykrych
konsekwencji. W rowerze górskim
rowerzysta, kiedy stoi okrakiem nad
ramą, musi mieć możliwość
uniesienia przedniego koła co
najmniej 15 cm nad ziemię.
Oglądamy wykres
• Wykres wygląda
mało
zachęcająco, ale
nie widać
żadnych
dewiantów ani
zależności
krzywoliniowej
0
1
2
3
4
5
6
7
L.KSIAZEK W DOM BIBLIOTECE R (OBECNIE)
0
20
40
60
80
100
W
Y
N
IK
W
T
E
S
C
IE
A
L
F
A
B
E
T
F
U
N
K
C
/1
99
9/
0-
10
0
Czy model jest dobrze dopasowany?
Analiza wariancji
b
188548,096
1 188548,1
234,958
,000
a
768772,778
958
802,477
957320,874
959
Regresja
Reszta
Ogółem
Model
1
Suma
kwadratów
df
Średni
kwadrat
F
Istotność
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R (OBECNIE)
a.
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
b.
Model jest dobrze dopasowany do danych F(1,
958)=234,9; p<0,001
Współczynniki
• Jeśli osoba badana ma zero książek to
uzyskuje ….. punktów w teście.
• Wraz z zakupem każdej kolejnej książki
osoba badana zyskuje 7,8 punktu w teście
• Zależność jest dość silna i dodatnia
Współczynniki
a
25,851
1,591
16,247
,000
7,847
,512
,444
15,328
,000
(Stała)
q163 L.KSIAZEK W
DOM BIBLIOTECE
R (OBECNIE)
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: alfa WYNIK W TESCIE ALFABET FUNKC/1999/0-100
a.
Procent wyjaśnianej
wariancji
• Zmienna liczba książek pozwala wyjaśnić
prawie 20% zmienności zmiennej
analfabetyzm funkcjonalny
Model - Podsumowanie
,444
a
,197
,196
28,328
Model
1
R
R-kwadrat
Skorygowane
R-kwadrat
Błąd
standardowy
oszacowania
Predyktory: (Stała), q163 L.KSIAZEK W DOM BIBLIOTECE R
(OBECNIE)
a.
Podsumowanie
• Regresja dopasowuje linię prostą –
metoda najmniejszych kwadratów –
analiza wariancji
• Dowiadujemy się jak silny jest związek i
jaki jest jego kierunek (współczynnik
beta)
• Dzięki wzorowi linii możemy przewidywać
wielkość zmiennej przewidywanej znając
tylko wielkość predyktora.
• Uwaga na dewiantów i krzywoliniowość