1
Analiza współzależności zmiennych mierzalnych
Korelacja i regresja
Część II
W I części analizy współzależności zajmowaliśmy się badaniem siły i kierunku
związków między zmiennymi.
Podstawą szacunkowej oceny stopnia i kierunku zależności jest diagram korelacyjny.
Na podstawie przykładowego diagramu korelacyjnego: (Y– szybkość czytania, X– IQ)
możemy ocenić, że związek między Y i X jest dodatni i stosunkowo silny.
Diagram korelacyjny
(Y - szybkość czytania; X - IQ)
0
50
100
150
200
250
300
0
20
40
60
80
100
120
140
Dalsza część analizy zależy właśnie od tego czy związek między Y i X jest słaby czy
silny.
• Jeżeli związek jest słaby, kończymy analizę współzależności badanych
zmiennych Y i X. Formułujemy stosowny wniosek i rozpoczynamy
poszukiwanie relacji między Y i inną zmienną
• Jeżeli związek jest silny przystępujemy do dalszego etapu analizy, czyli
szacowania linii regresji
W jakim celu szacujemy linię regresji i w jaki sposób to robimy?
Przy silnym związku między zmiennymi łatwo sobie wyobrazić, że między punktami
przebiega pewna funkcja np. liniowa, która z pewną dokładnością może służyć do
opisu prawidłowości jaka ma miejsce między Y i X i następnie do prognozy Y na
podstawie wartości X.
Opisanie układu punktów nie jest łatwe i nie jest jednoznaczne. Można spróbować
opisać diagram powyższy diagram korelacyjny. Prawdopodobnie wersji byłoby tyle,
ile autorów. Odbiór też byłby różny.
Ale gdybyśmy założyli, że udałoby się do tych punktów empirycznych dopasować
linię, wówczas podając równanie tej linii można opisać relację między Y i X w sposób
jednoznaczny.
2
Diagram korelacyjny
(Y - szybkość czytania; X - IQ)
Oszacowana linia regresji:
Y^ = 3,02X - 148,48
0
50
100
150
200
250
300
0
20
40
60
80
100
120
140
Podsumowując ten fragment: będziemy dążyć do jednoznacznego opisu relacji między
Y i X przy pomocy równania odpowiedniej funkcji.
Najczęściej, wstępnie zakładamy, że związek YX jest liniowy i szacujemy parametry
równania.
Zakładamy, że relacja między Y i X jest liniowa, czyli :
Y = aX + b + e
lub inne oznaczenia
Y = a
1
X + a
0
+ e
gdzie:
a i b parametry równania, w tym:
a – współczynnik kątowy (parametr przy zmiennej X),
b – wyraz wolny
Parametry równania a i b są nieznane i możemy jedynie oszacować ich wartość na
podstawie zebranych danych empirycznych, czyli znaleźć przybliżone wartości,
odpowiednio: a^ i b^ .
Wzory na oszacowanie parametrów a i b metodą najmniejszych kwadratów (MNK):
∑
∑
−
−
−
=
2
)
(
)
)(
(
ˆ
x
x
y
y
x
x
a
i
i
i
x
a
y
b
v
w ˆ
ˆ
−
=
Po oszacowaniu parametrów a i b oszacowaną linię regresji zapiszemy jako:
b
X
a
Y
ˆ
ˆ
ˆ
+
=
lub inne oznaczenia
0
1
ˆ
ˆ
ˆ
a
X
a
Y
+
=
(Sa) (Sb) standardowe błędy oszacowania parametrów
(Wa%) (Wb%) względne błędy oszacowania parametrów
3
Ocena oszacowania funkcji regresji
1) r
2
(kwadrat r) – współczynnik determinacji; przyjmuje wartości od 0 do 1
i oznacza % zmienności Y wyjaśniony zmiennością X.
Np.
r
2
=0,67 oznacza, że zróżnicowanie Y można w 67% wyjaśnić
zróżnicowaniem X.
2)
S(e)
– Standardowy błąd oszacowania funkcji regresji (modelu)
k
n
y
y
e
S
i
i
−
−
=
2
)
ˆ
(
)
(
3)
)
ˆ
(a
S
-
Standardowy błąd oszacowania współczynnika kątowego,
(
)
n
x
x
e
S
a
S
i
i
/
)
(
)
ˆ
(
2
2
∑
−
=
4)
)
ˆ
(b
S
-
Standardowy błąd oszacowania wyrazu wolnego
(
)
[
]
n
x
x
n
x
b
S
i
i
i
/
)
ˆ
(
2
2
2
∑
∑
∑
−
=
5) względne błędy oszacowania (w %)
W(a^), W(b^) – względne błędy oszacowania a^, b^ w %
%
100
ˆ
)
ˆ
(
)
ˆ
(
a
a
S
a
W
=
%
100
ˆ
)
ˆ
(
)
ˆ
(
b
b
S
b
W
=
4
Przykład 1. Oszacować regresję Y względem X (Y – szybkość czytania i X – iloraz
inteligencji (IQ).
lp
x
i
y
i
x
i
- x
y
i
- y (x
i
- x )*( y
i
- y )
(x
i
- x )
2
( y
i
- y )
2
1 80
120
-27
-55
1485
729
3025
2 92
140
-15
-35
525
225
1225
3 90
100
-17
-75
1275
289
5625
4 109
170 2
-5
-10
4 25
5 100
130 -7
-45
315
49
2025
6 105
190 -2
15
-30
4 225
7 110
220 3
45
135
9
2025
8 110
140 3
-35
-105
9
1225
9 115
180 8
5
40
64 25
10 120
240 13
65
845
169 4225
11 123
200 16
25
400
256 625
12 130
270 23
95
2185
529 9025
Suma 1284 2100 X
X
7060
2336 29300
Średnia X= 107 Średnia Y= 175
02
,
3
2336
7060
)
(
)
)(
(
ˆ
2
=
=
−
−
−
=
∑
∑
x
x
y
y
x
x
a
i
i
i
x
a
y
b
v
w ˆ
ˆ
−
=
= 175 – 3,02 x 107 = - 148,14
Oszacowane równanie:
Y^
= 3,02
X
– 148,14
Błędy oszacowania
S(a^)=0,58 S(b^)=63,0
W(a^)=0,58/3,02*100%= 19,2%
W(b^)=63/148,14*100%=42,5%
Współczynnik determinacji
r
2
= 0,73
a^- oznacza tempo wzrostu/spadku funkcji, czyli odpowiada na pytanie o ile
wzrośnie (zmniejszy się Y) jeśli X wzrośnie o 1.
Interpretacja:
Związek między Y i X jest silny i dodatni, co oznacza, że osoby o wyższym IQ
szybciej czytają. Współczynnik determinacji 0,73 oznacza, że zróżnicowanie
szybkości czytania można w 73% wyjaśnić zróżnicowaniem IQ.
a^=3,02 oznacza, że zwiększenie IQ o 1 (większy IQ o 1) powoduje zwiększenie
szybkości czytania o 3.
Wykres oszacowanej funkcji:
wyznaczamy 2 punkty, x1= … i y1= … oraz x2=… i y2= … (patrz diagram korelat.0
5
Szacowanie funkcji regresji (parametrów Funkcji regresji) w arkuszu Excel.
>Analiza danych,
>Regresja
>Zaznaczenie zakresu Y, X oraz miejsca na wynik (opcje wyjścia)
Otrzymujemy wynik:
PODSUMOWANIE - WYJŚCIE
Statystyki regresji
Wielokrotność R
0,853364
R kwadrat
0,728231
Dopasowany R
kwadrat
0,701054
Błąd standardowy
28,21851
Obserwacje
12
ANALIZA
WARIANCJI
df
SS
MS
F
Istotność F
Regresja
1 21337,16 21337,16 26,79591 0,000415191
Resztkowy
10
7962,842 796,2842
Razem
11
29300
Współczynniki
Błąd
standardowy
t Stat
Wartość-p
Dolne 95%
Górne 95%
Dolne
95,0%
Górne
95,0%
Przecięcie
-148,382 63,00029
-2,35526 0,040278
-
288,7552348 -8,00846 -288,755 -8,00846
X
3,02226 0,583845
5,176476 0,000415
1,72137232 4,323148 1,721372 4,323148
Obliczenia
własne
Względne błędy
oszacowania
Przecięcie (wyraz wolny)
42,45822
X (współ. kątowy)
19,31816