Korelacja i
regresja
Korelacja i
regresja
TYPY ZWIĄZKÓW MIĘDZY ZMIENNYMI
• Związek funkcyjny
– każdej wartości jednej zmiennej
niezależnej odpowiada tylko jedna wartość zmiennej
zależnej
Wzór na obwód kwadratu
Wzór na objętość kuli
X
Y 4
0
10
20
30
40
50
0
2
4
6
8
10
12
[cm]
[cm]
0
1000
2000
3000
4000
5000
0
2
4
6
8
10 12
[cm]
[cm
3
]
3
3
4
X
Y
X - długość boku
X - promień kuli
TYPY ZWIĄZKÓW MIĘDZY ZMIENNYMI
• Związek statystyczny
– określonym wartościom
zmiennej niezależnej odpowiadają określone średnie
wartości zmiennej zależnej
72
,
87
15
,
4
wiek
wzrost
cm
wzrost
2
,
129
72
,
87
10
15
,
4
Wzrost w tej grupie dzieci zwiększa się średnio o 4,15 cm rocznie
Błąd standardowy estymacjiS
e
=12,72
Przewidywane wartości zmiennej WZROST różnią się od średnich
empirycznych przeciętnie o 12,72cm
Przewidywany wzrost 10-latka w tej grupie dzieci:
STATYSTYCZNE METODY ANALIZY KIERUNKU I
KSZTAŁTU POWIĄZAŃ MIEDZY ZMIENNYMI
• Regresja liniowa
– liniowa zależność miedzy dwoma zmiennymi ilościowymi
•Regresja wielokrotna
– oddziaływanie wielu zmiennych na jedną
zmienną zależną ilościową (relacje między zmiennymi liniowe)
• Regresja krzywoliniowa
– nieliniowe relacje między zmiennymi
•Regresja logistyczna
– wpływ zmiennych ilościowych na
zmienną zależną dychotomiczną
• Analiza kanoniczna
– powiązania miedzy zbiorami zmiennych
ilościowych
• Analiza log-liniowa
– powiązania miedzy zbiorami zmiennych
jakościowych
MIARY ZWIĄZKÓW MIĘDZY ZMIENNYMI
•Siła związku
• Współczynniki korelacji
• Pearsona
• Spearmana
•Kształt związku
• Równania regresji
• Tau Kendalla
• Gamma
SIŁA ZWIĄZKU
4 0
5 0
6 0
7 0
8 0
9 0
1 0 0 1 1 0 1 2 0 1 3 0
[m m ]
4 0
5 0
6 0
7 0
8 0
9 0
1 0 0 1 1 0 1 2 0 1 3 0
[m m ]
[m m ]
[m m ]
Mała siła związku między
dwiema zmiennymi. Danej
wartości jednej zmiennej
odpowiada szeroki zakres
wartości drugiej zmiennej.
4 0
5 0
6 0
7 0
8 0
9 0
1 0 0 1 1 0 1 2 0 1 3 0
[m m ]
4 0
5 0
6 0
7 0
8 0
9 0
1 0 0 1 1 0 1 2 0 1 3 0
[m m ]
[m m ]
[m m ]
Duża siła związku między
dwiema zmiennymi. Danej
wartości jednej zmiennej
odpowiada niewielki zakres
wartości drugiej zmiennej.
KSZTAŁT ZWIĄZKU
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100110120130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100110120130 [dni]
[mm]
4 0
5 0
6 0
7 0
8 0
9 0
1 0 0 1 1 0 1 2 0 1 3 0
[d n i]
[m m ]
4 0
5 0
6 0
7 0
8 0
9 0
1 0 0 1 1 0 1 2 0 1 3 0
[d n i]
[m m ]
Związki prostoliniowe
Związki krzywoliniowe
Korelacja dodatnia
Korelacja ujemna
ZWIĄZKI
PROSTOLINIOW
E
SIŁA ZWIĄZKU MIĘDZY DWIEMA ZMIENNYMI
Współczynnik korelacji liniowej Pearsona
Jest współczynnikiem parametrycznym
Teoretycznie rozkłady wartości jednej obu zmiennych musza być
zgodne z rozkładem normalnym. Odstępstwa od tej zasady nie maja
jednak większego wpływu na wartość współczynnika korelacji.
Przyjmuje wartości od -1 do 1
Jego znak wskazuje na kierunek zależności
Oznacza się go literą
r
Ma zastosowanie wyłącznie do danych w skali interwałowej i
ilorazowej
Na jego wartość duży wpływ maja obserwacje odstające
Dotyczy wyłącznie liniowej zależności miedzy zmiennymi
Znaczne różnice w kształcie obu rozkładów mogą wpływać na jego
wartość.
SIŁA ZWIĄZKU MIĘDZY DWIEMA ZMIENNYMI
Współczynnik korelacji liniowej Pearsona
Istotność współczynnika korelacji Pearsona bada się odpowiedni test, który
pozwala ocenić, czy korelacja stwierdzona na podstawie próby jest
przypadkowa, czy też odzwierciedla prawidłowości istniejące w populacji. H
0
zakłada, że współczynnik korelacji Pearsona nie różni się istotnie od zera.
Wartość wsp. korelacji
Siła związku
Poniżej 0,20
Korelacja bardzo słaba
Między 0,20 i 0,39
Korelacja słaba
Między 0,40 i 0,69
Korelacja
umiarkowana
Między 0,70 i 0,89
Korelacja silna
Powyżej 0,89
Korelacja bardzo silna
WSPÓŁCZYNNIK KORELACJI LINIOWEJ PEARSONA
Przykład 21
Badano związek między różnymi pomiarami biometrycznymi u biegusów
płaskodziobych
Otrzymano następujące wartości współczynnika korelacji. Kolorem
czerwonym zaznaczono współczynniki istotnie różne od 0.
dzió
b
sko
k
skrzydł
o
cięża
r
dziób
1,00
skok
0,47
1,0
0
skrzydł
o
0,40 0,3
3
1,00
ciężar
0,31
0,1
7
0,28
1,00
Stwierdzono umiarkowane skorelowanie długości dzioba z długością skoku i
długością skrzydła oraz słabą korelację pomiędzy długością dzioba i ciężarem
ciała, długością skoku i długością skrzydła oraz długością skrzydła i ciężarem
ciała.
Nie stwierdzono zależności między długością skoku i ciężarem ciała (r=0,17;
t=1,32; p=0,19)
PORÓWNANIE DWÓCH WSPÓŁCZYNNIKÓW KORELACJI LINIOWEJ
PEARSONA
Ma zastosowanie w sytuacji, gdy chcemy sprawdzić czy siła związku dwóch
zmiennych w dwóch różnych populacjach jest taka sama.
Przykład 22
Współczynniki korelacji między wysokością i pierśnicą sosen rosnących na
dwóch różnych siedliskach wynoszą odpowiednio: 0,83 (n=123) i 0,71
(n=94). Należy sprawdzić czy siła związku między pierśnicą i wysokością
sosen zależy od typu siedliska.
H
0
: siła związku jest taka sama
H
A
: siła związku nie jest taka sama
Do wykonania testu potrzebne są wartości współczynników korelacji i
liczebności prób
siedlisko 1 siedlisko
2
r
0,83
0,71
n
123
94
p = 0,0315
Siła związku między wysokością i
pierśnicą sosen rosnących na dwóch
siedliskach różni się istotnie (p<0,05).
Zależność między wysokością i
pierśnicą sosen zależy od typu siedliska
(p<0,05).
Istnieje także test porównujący
wiele współczynników korelacji.
NIEPARAMETRYCZNE WSPÓŁCZYNNIKI KORELACJI
Współczynnik korelacji Spearmana
Jest nieparametrycznym odpowiednikiem współczynnika korelacji
Pearsona
Obliczany jest w nie w oparciu o wartości pomiarów, a o ich rangi
Współczynnik tau Kendalla
Jego wartość obliczana jest na podstawie różnicy między
prawdopodobieństwem tego, że dwie zmienne układają się w tym samym
porządku, a prawdopodobieństwem, że ich uporządkowanie się różni.
Przyjmuje wartości od -1 do 1. Jego znak wskazuje na kierunek zależności
Wskazuje na zgodność uporządkowania dwóch zbiorów
Przyjmuje wartości od -1 do 1. Jego znak wskazuje na kierunek zależności
Jego znak wskazuje na kierunek zależności
Mogą być stosowane do danych w skali porządkowej
Współczynnik Gamma
Odpowiednik współczynnika tau Kendalla dla danych z bardzo dużą liczbą par wiązanych
Zalecane do prób o małej liczebności
NIEPARAMETRYCZNE WSPÓŁCZYNNIKI KORELACJI
Przykład 23
Badano związek między różnymi pomiarami biometrycznymi u 10 biegusów
zmiennych.
Otrzymano następujące wartości współczynnika korelacji Spearmana.
Kolorem czerwonym zaznaczono współczynniki istotnie różne od 0.
dzió
b
skrzydł
o
cięża
r
dziób
1,00
skrzydł
o
0,97
1,00
ciężar
0,35
0,39
1,00
Stwierdzono istotną statystycznie bardzo silną korelację między długością
dzioba i skrzydła (r
s
=0,97; p<0,05). Nie stwierdzono zależności między
długością skrzydła i ciężarem ciała (r
s
=0,39; p>0,05) oraz długością dzioba i
ciężarem ciała (r
s
=0,35; p>0,05).
NIEPARAMETRYCZNE WSPÓŁCZYNNIKI KORELACJI
Przykład 24
Badano czy międzysezonowe zmiany liczebności u 3 gatunków siewkowców
przebiegają podobnie. Otrzymano następujące wartości współczynnika
korelacji tau Kendalla. Kolorem czerwonym zaznaczono współczynniki istotnie
różne od 0.
Biegus
krzywodziob
y
Biegus
rdzawy
Krwawodzió
b
Biegus
krzywodzioby
1,00
Biegus rdzawy
0,51
1,00
Krwawodziób
-0,45
-0,14
1,00
Stwierdzono istotną statystycznie umiarkowaną korelację między zmianami
liczebności biegusa rdzawego i krzywodziobego (tau Kendalla=0,51; p<0,05).
Nie stwierdzono zależności między zmianami liczebności krwawodzioba i obu
gatunków biegusów (tau Kendalla=-0,45; p>0,05 i tau Kendalla=-0,14;
p>0,05)).
KORELACJA WIELOKROTNA
Do oceny siły związku między więcej niż dwoma zmiennymi służą
współczynniki korelacji wielokrotnej. Przyjmują one wartości od 0 (brak
związku) do 1 (związek doskonały).
Stosuje się go w przypadku analiz parametrycznych.
Oznacza się go literą
R
Jest on pierwiastkiem kwadratowym ze
współczynnika determinacji R
2
, który
wykorzystywany jest w analizie regresji do oceny dopasowania równania
regresji do danych empirycznych.
Stosuje się go w przypadku analiz nieparametrycznych.
Współczynnik ten wykorzystywany jest także jako ocena zgodności między
wieloma rankingami (tzw. ocena zgodności niezależnych sędziów).
Oznacza się go literą
W
Współczynnik korelacji wielokrotnej
Współczynnik zgodności Kendalla
KORELACJA CZĄSTKOWA
Jest miarą korelacji między dwiema zmiennymi z wyłączeniem wpływu na ten
związek innych zmiennych.
Stosowany jest w analizach regresji opisujących wpływ wielu zmiennych na
wartość zmiennej badanej.
Współczynnik korelacji cząstkowej
Wysoka wartość współczynnika korelacji cząstkowej dwóch zmiennych przy
niskim współczynniku korelacji Pearsona świadczy o silnej zależności tych
zmiennych i o silnie zaburzającym tą zależność wpływie pozostałych
zmiennych.
Wysoka wartość współczynnika korelacji cząstkowej dwóch zmiennych przy
wysokim współczynniku korelacji Pearsona świadczy o silnej zależności tych
zmiennych i o braku wpływu na tą zależność pozostałych zmiennych.
KORELACJA CZĄSTKOWA I WIELOKROTNA
Przykład 25
Badano związek między wzrostem pewnego gatunku rośliny a temperaturą i
ilością opadów. Eksperyment przeprowadzono w laboratorium na 30
osobnikach. Kolorem czerwonym oznaczono współczynniki istotne
statystycznie (p<0,05).
Współczynni
k korelacji
cząstkowej
Współczynnik
korelacji Pearsona
Temperatura
0,39
0,73
Opady
0,70
0,85
Wzrost badanego gatunku rośliny jest silniej uzależniony od ilości opadów
(oba współczynniki przyjmują wysoką wartość), niż od temperatury (niska
wartość współczynnika korelacji cząstkowej).
Współczynnik korelacji wielokrotnej
R=0,86
Ilość opadów i temperatura bardzo silnie korelują ze wzrostem badanego
gatunku rośliny (współczynnik korelacji wielokrotnej R=0,86).
KSZTAŁT ZWIĄZKU
REGRESJA
PROSTOLINIOWA
KORELACJA
i
REGRESJA
Związki jednostronne
– wartość jednej zmiennej (tzw. zmiennej niezależnej)
wpływa na wartość drugiej zmiennej (tzw. zmiennej zależnej). Odwrotna
zależność nie istnieje. Np. wiek drzewa (zmienna niezależna) i wysokość
drzewa (zmienna zależna).
Związki dwustronne
– wzajemne oddziaływanie na siebie dwóch zmiennych.
Nie można wskazać zmiennej zależnej i zmiennej niezależnej, np. związek
wysokości i pierśnicy drzewa.
Do oceny siły obu tych związków stosuje się współczynniki korelacji
Do przedstawienia przebiegu tych zależności stosuje się:
• związki jednostronne –
linia regresji
• związki dwustronne –
oś główna zredukowana
b
ax
y
Y
X
0
10
20
30
40
0
5
10
15
20
[dni]
[mm]
Zmiany długości liścia pewnego gatunku rośliny w kolejnych dniach
Regresja prostoliniowa
długość liścia
=
a
*
dzień
+
b
y
– zmienna zależna
x
– zmienna niezależna
a
– współczynnik regresji (współczynnik
kierunkowy)
o ile zmieni się wartość zmiennej zależnej, gdy
wartość zmiennej niezależnej zwiększy się o 1
b
– wyraz wolny (punkt przecięcia prostej regresji z osią Y)
METODA NAJMNIEJSZYCH KWADRATÓW
0
10
20
30
40
0
5
10
15
20
[dni]
[mm]
b
ax
y
Parametry równania prostej regresji wyznaczane są w taki sposób, by suma
kwadratów odchyleń przyjmowała minimalną wartość.
Regresja prostoliniowa
Przykład 26
Na podstawie próby 35 mężczyzn w tym samym wieku zbadano zależność
ciężaru ciała od wzrostu.
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
1 5 5
1 6 0
1 6 5
1 7 0
1 7 5
1 8 0
1 8 5
1 9 0
1 9 5
w z r o s t
4 5
5 0
5 5
6 0
6 5
7 0
7 5
8 0
8 5
9 0
ci
ęż
ar
[c m ]
[k g ]
r = 0 , 9 9
Jaka część obserwowanej zmienności ciężaru ciała jest wyjaśniona przez
wzrost?
R
2
=0,99
R
2
- współczynnik determinacji
Współczynnik regresji istotnie
różni się od zera (związek
regresyjny jest istotny)
(t=50,3; p<0,001)
Regresja prostoliniowa
Przykład 26 cd.
Jaki jest przewidywany ciężar mężczyzny z tej grupy o wzroście 187 cm?
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
ciężar = 1,40 * 187 cm -176,5
ciężar = 85 kg
155
160
165
170
175
180
185
190
195
wzrost
45
50
55
60
65
70
75
80
85
90
ci
ęż
ar
[cm]
[kg]
Jaki dokładne jest nasze
oszacowanie?
Błąd standardowy szacunku
(estymacji)
: 1,04 kg
(odchylenie standardowe z reszt –
mówi o ile przeciętnie różnią się wartości empiryczne od wartości teoretycznych
reprezentowanych przez prostą regresji
Regresja
wielokrotna
b
x
a
x
a
x
a
x
a
y
n
n
......
3
3
2
2
1
1
b
ax
y
Równanie regresji prostoliniowej z jedna zmienną niezależną
Regresja wielokrotna
Równanie regresji prostoliniowej z wieloma zmiennymi niezależnymi
zmienne niezależne = zmienne objaśniające
Regresja wielokrotna jest jedną z
najpowszechniej stosowanych metod w bardziej
zaawansowanych analizach statystycznych
Wartość każdego ze współczynników regresji informuje o ile zmieni się
wartość zmiennej zależnej, gdy wartość danej zmiennej niezależnej zwiększy
się o 1, a pozostałe zmienne niezależne pozostaną bez zmian.
Regresja wielokrotna
Przykład 27
Pomierzono i zważono 435 biegusów krzywodziobych. Należało znaleźć
równanie regresji szacujące ciężar ciała na podstawie wymiarów liniowych.
B
Błąd st.
t
poziom p
wyraz wolny
-28,16
14,28
-1,97
0,049
dł. głowy
-0,07
0,15
-0,47
0,635
dł. nogi
0,48
0,21
2,32
0,021
dł. skrzydła
0,45
0,12
3,71
0,000
Uzyskano następujące wyniki
R
2
= 0,07
Błąd standardowy
szacunku = 6,55
Ciężar ciała = 0,54*dł. nogi + 0,23*dł. skrzydła – 8,06
B
Błąd st.
t
poziom p
wyraz wolny
-8,06
11,39
-0,71
0,479
dł. nogi
0,54
0,14
3,90
0,000
dł. skrzydła
0,23
0,09
2,48
0,013
R
2
= 0,05
Błąd standardowy
szacunku = 6,25
Uzyskano model (równanie, który objaśnia zaledwie 5% zaobserwowanej
zmienności ciężaru ciała tego gatunku. Jego wartość prognostyczna jest
bardzo niska. Na ciężar ciała biegusów zmiennych silnie wpływają inne
zmienne niż analizowane pomiary liniowe
Ciężar ciała = -0,07*dł. głowy + 0,48*dł. nogi + 0,45*dł. skrzydła – 28,16
Założenia analizy regresji
Liniowość modelu
Liczebność próby większa od liczby szacowanych
parametrów
Rozkład reszt musi być normalny
Brak autokorelacji reszt
Homoscedastyczność
LINIOWOŚĆ MODELU
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
LICZEBNOŚĆ PRÓBY WIĘKSZA OD LICZBY
SZACOWANYCH PARAMETRÓW
b
x
a
Y
*
b
x
a
x
a
Y
2
2
1
1
*
*
N>2
N>3
b
x
a
x
a
x
a
Y
3
3
2
2
1
1
*
*
*
N>4
W praktyce zawsze dysponujemy większa liczebnością prób
DEFINICJA RESZT
5
,
3
4
5
4
3
2
X
5
,
3
5
5
,
3
4
5
,
3
3
5
,
3
2
-1,5
-0,5
0,5
1,5
-1,5
2
=2,25
-0,5
2
=0,25
0,5
2
=0,25
1,5
2
=2,25
5,00
29
,
1
1
5
n
s
3
,
1
5
,
3
x
ROZKŁAD RESZT MUSI BYĆ NORMALNY
i
i
i
y
y
e
ˆ
DEFINICJA RESZT
40
50
60
70
80
90
100
110
120
130
[dni]
[mm]
ROZKŁAD RESZT MUSI BYĆ NORMALNY
test Shapiro-Wilka; W=0,95;
p>0,05
-2,5
-1,5
-0,5
0,5
1,5
2,5
-6
-4
-2
0
2
4
Reszty
W
a
rt
o
śc
i
o
cz
e
k
iw
a
n
e
-6 -5
-4
-3
-2
-1
0
1
2
3
0
2
4
6
8
N
• Sprawdzenie założeń, których spełnienie jest
warunkiem wyznaczania równania regresji
metodą najmniejszych kwadratów
• Odnalezienie punktów odstających i
ekstremalnych
• Wykrycie niejednorodności danych zebranych w
wyniku badań, co może wskazywać na istnienie
czynników nieuwzględnionych w modelu, lub
może być pierwszym krokiem wiodącym do
odkrycia nowego zjawiska
Analiza reszt w regresji liniowej umożliwia:
Analiza reszt powinna być wykonywana
obligatoryjnie po wstępnym ustaleniu
parametrów równania regresji
BRAK AUTOKORELACJI RESZT
t
t
t
e
e
1
współczynnik autokorelacji
0
:
0
:
0
A
H
H
Autokorelacja występuje, jeżeli
współczynnik autokorelacji istotnie różni się
od zera
Autokorelację spotyka się najczęściej w tzw. szeregach czasowych – gdy
zmienną niezależną jest czas. Autokorelacja występuje gdy wartość
zmiennej zależnej w danym punkcie zależy od jej wartości w punkcie
poprzednim.
Autokorelacja reszt równania regresji występuje gdy składnik resztowy w
danym punkcie zależy od składnika resztowego w punkcie poprzednim.
WNIOSKOWANIE ZA POMOCĄ TESTU DURBINA-
WATSONA
0
2
4
d
L
4-d
L
d
U
4-d
U
a
u
to
k
o
re
la
c
ja
d
o
d
a
tn
ia
a
u
to
k
o
re
la
c
ja
u
je
m
n
a
brak
autokorelacji
reszt
o
b
s
z
a
r
n
ie
k
o
n
k
lu
zy
w
n
o
ś
c
i
o
b
s
z
a
r
n
ie
k
o
n
k
lu
zy
w
n
o
ś
c
i
wartość testu - d <0;4>
dwie wartości krytyczne - d
L
i d
U
równanie regresji musi mieć wyraz wolny
N>15
Jeśli wartość testu Durbina-Watsona nie rozstrzyga o istnieniu autokorelacji,
stosuje się
test mnożników Lagrange’a
POSTĘPOWANIE PRZY AUTOKORELACJI
•Ponownie przeanalizować zastosowany model.
Autokorelację może powodować wadliwa postać
funkcyjna modelu
•Zastosować inna metodę estymacji równania regresji niż
metoda najmniejszych kwadratów
•Nie robić nic - ale wtedy nasze estymatory (czyli
parametry równania) nie będą efektywne
40
50
60
70
80
0
10 20
30
40
DNI
N
HOMOSCEDASTYCZNOŚĆ
Wariancja reszt jest taka sama dla wszystkich wartości
zmiennej zależnej
-20
-10
0
10
20
90
100 110 120 130
[dni]
[mm]
Wartości przewidywane
re
sz
ty
homoscedastyczność
-20
-10
0
10
20
90
100 110 120 130
[dni]
[mm]
Wartości przewidywane
re
sz
ty
heteroscedastyczność
WYKRYWANIE HETEROSCEDASTYCZNOŚCI
-20
-10
0
10
20
90
100
110
120
130
[dni]
[mm]
Wartości przewidywane
re
sz
ty
test Lagrange’a
F=16,5; p<0,001
POSTĘPOWANIE PRZY HETEROSCEDASTYCZNOŚCI
•Zastosować inna metodę estymacji równania regresji niż
metoda najmniejszych kwadratów
•Zastosować transformację danych:
Y
Y
log
gdy wariancja wzrasta
gdy wariancja maleje
2
Y
Y
•Nie robić nic - ale wtedy nasze estymatory (czyli
parametry równania) nie będą efektywne
WSPÓŁLINIOWOŚĆ ZMIENNYCH NIEZALEŻNYCH
Tylko w przypadku regresji wielokrotnej
Po stronie zmiennych niezależnych nie powinny występować
pomiary silnie ze sobą skorelowane
80
,
10
BL
28
,
0
BM
48
,
0
F
12
,
10
THL
51
,
0
BL
24
,
0
BM
45
,
0
F
zmienna
B
t
p
BM
0,45 3,51
0,003
BL
0,24 1,72 0,104
THL
0,51 0,39 0,701
w.wolny
10,12 3,27
0,005
zmienna
B
t
p
BM
0,48 3,58
0,002
BL
0,28 2,55
0,020
w.wolny
10,80 3,38
0,004
931
,
0
R
2
933
,
0
2
R
OBSERWACJE NIETYPOWE
40
50
60
70
80
90
100 110 120 130
[dni]
[mm]
40
50
60
70
80
90
100 110 120 130
[dni]
[mm]
•Mogą być następstwem błędu pomiaru
•Mogą wskazywać na złą postać modelu
Statystyczną weryfikację przypadków
nietypowych musi poprzedzić analiza
merytoryczna
odstająca
wpływowa
WYKRYWANIE OBSERWACJI NIETYPOWYCH
•Wykresy rozrzutu:
•Wartości przewidywanych względem otrzymanych
•Wartości przewidywanych względem reszt
•Porównanie uzyskanych pomiarów z teoretycznym
zakresem wartości danej zmiennej
•Analiza statystyk związanych z resztami:
•Odległość Cooka
•Odległość Mahalanobisa
Po usunięciu pomiaru nietypowego należy
ponownie wykonać analizę regresji
Regresja prostoliniowa
Przykład 26 cd.
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
Liniowość modelu
– punkty układają się wzdłuż linii prostej
Liczebność próby większa od liczby szacowanych parametrów
N = 35, liczba szacowanych parametrów równania = 2 (a, b)
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
1 5 5
1 6 0
1 6 5
1 7 0
1 7 5
1 8 0
1 8 5
1 9 0
1 9 5
w z r o s t
4 5
5 0
5 5
6 0
6 5
7 0
7 5
8 0
8 5
9 0
ci
ęż
ar
[c m ]
[k g ]
r = 0 , 9 9
Regresja prostoliniowa
Przykład 26 cd.
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
Rozkład reszt musi być normalny
- 3
- 2
- 1
0
1
2
3
R e s z ty
- 3
- 2
- 1
0
1
2
3
O
cz
ek
iw
an
a
w
ar
to
ść
n
or
m
al
na
r
es
zt
Wykres normalności reszt
Brak autokorelacji reszt
Regresja prostoliniowa
Przykład 26 cd.
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
Wynik testu Durbina-Watsona d = 2,10
Wartości krytyczne dla α=0,05, n=35,
k=1 (liczba zmiennych niezależnych)
d
L
= 1,402; d
U
= 1,519
0
2
4
d
L
4-d
L
d
U
4-d
U
a
u
to
k
o
re
la
c
ja
d
o
d
a
tn
ia
a
u
to
k
o
re
la
c
ja
u
je
m
n
a
brak
autokorelacji
reszt
o
b
s
za
r
n
ie
k
o
n
k
lu
zy
w
n
o
ś
c
i
o
b
s
za
r
n
ie
k
o
n
k
lu
z
y
w
n
o
ś
c
i
1,402
1,519
2,598
2,481
2
,1
0
Nie ma podstaw do odrzucenia H
0
o braku autokorelacji reszt
Regresja prostoliniowa
Przykład 26 cd.
c ię ż a r = 1 , 4 0 * w z r o s t - 1 7 6 , 5
Homoscedastyczność
45
50
55
60
65
70
75
80
85
90
Wartości przewidywane
-3
-2
-1
0
1
2
3
R
es
zt
y
Brak hereroscedastyczności. Rozrzut reszt względem wartości
przewidywanych nie wykazuje wyraźnej tendencji rosnącej lub malejącej.
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
40
50
60
70
80
90 100 110 120 130 [dni]
[mm]
Regresja krzywoliniowa
Związki pozorne
Analiza siły i przebiegu związku między zmiennymi MUSI
być poprzedzona wnikliwą analizą merytoryczną
badanego zjawiska.
Istotny związek między liczbą urodzin i liczbą bocianów w
Polsce
Istotny związek między liczbą urodzin i spożyciem alkoholu w Kanadzie
Przykłady związków pozornych
Istotny związek liczbą strażaków biorących udział w gaszeniu pożaru i
wielkością strat materialnych.
