1

Analiza współzależności zmiennych mierzalnych

Korelacja i regresja

Część II

W I części analizy współzależności zajmowaliśmy się badaniem siły i kierunku
związków między zmiennymi.

Podstawą szacunkowej oceny stopnia i kierunku zależności jest diagram korelacyjny.
Na podstawie przykładowego diagramu korelacyjnego: (Y– szybkość czytania, X– IQ)
możemy ocenić, że związek między Y i X jest dodatni i stosunkowo silny.

Diagram korelacyjny

(Y - szybkość czytania; X - IQ)

0

50

100

150

200

250

300

0

20

40

60

80

100

120

140

Dalsza część analizy zależy właśnie od tego czy związek między Y i X jest słaby czy
silny.

• Jeżeli związek jest słaby, kończymy analizę współzależności badanych

zmiennych Y i X. Formułujemy stosowny wniosek i rozpoczynamy
poszukiwanie relacji między Y i inną zmienną

• Jeżeli związek jest silny przystępujemy do dalszego etapu analizy, czyli

szacowania linii regresji

W jakim celu szacujemy linię regresji i w jaki sposób to robimy?
Przy silnym związku między zmiennymi łatwo sobie wyobrazić, że między punktami
przebiega pewna funkcja np. liniowa, która z pewną dokładnością może służyć do
opisu prawidłowości jaka ma miejsce między Y i X i następnie do prognozy Y na
podstawie wartości X.
Opisanie układu punktów nie jest łatwe i nie jest jednoznaczne. Można spróbować
opisać diagram powyższy diagram korelacyjny. Prawdopodobnie wersji byłoby tyle,
ile autorów. Odbiór też byłby różny.
Ale gdybyśmy założyli, że udałoby się do tych punktów empirycznych dopasować
linię, wówczas podając równanie tej linii można opisać relację między Y i X w sposób
jednoznaczny.

2

Diagram korelacyjny

(Y - szybkość czytania; X - IQ)

Oszacowana linia regresji:

Y^ = 3,02X - 148,48

0

50

100

150

200

250

300

0

20

40

60

80

100

120

140

Podsumowując ten fragment: będziemy dążyć do jednoznacznego opisu relacji między
Y i X przy pomocy równania odpowiedniej funkcji.
Najczęściej, wstępnie zakładamy, że związek YX jest liniowy i szacujemy parametry
równania.
Zakładamy, że relacja między Y i X jest liniowa, czyli :

Y = aX + b + e

lub inne oznaczenia

Y = a

1

X + a

0

+ e

gdzie:

a i b parametry równania, w tym:

a – współczynnik kątowy (parametr przy zmiennej X),

b – wyraz wolny

Parametry równania a i b są nieznane i możemy jedynie oszacować ich wartość na
podstawie zebranych danych empirycznych, czyli znaleźć przybliżone wartości,
odpowiednio: a^ i b^ .
Wzory na oszacowanie parametrów a i b metodą najmniejszych kwadratów (MNK):

∑

∑

−

−

−

=

2

)

(

)

)(

(

ˆ

x

x

y

y

x

x

a

i

i

i

x

a

y

b

v

w ˆ

ˆ

−

=

Po oszacowaniu parametrów a i b oszacowaną linię regresji zapiszemy jako:

b

X

a

Y

ˆ

ˆ

ˆ

+

=

lub inne oznaczenia

0

1

ˆ

ˆ

ˆ

a

X

a

Y

+

=

(Sa) (Sb) standardowe błędy oszacowania parametrów

(Wa%) (Wb%) względne błędy oszacowania parametrów

3

Ocena oszacowania funkcji regresji

1) r

2

(kwadrat r) – współczynnik determinacji; przyjmuje wartości od 0 do 1

i oznacza % zmienności Y wyjaśniony zmiennością X.

Np.

r

2

=0,67 oznacza, że zróżnicowanie Y można w 67% wyjaśnić

zróżnicowaniem X.

2)

S(e)

– Standardowy błąd oszacowania funkcji regresji (modelu)

k

n

y

y

e

S

i

i

−

−

=

2

)

ˆ

(

)

(

3)

)

ˆ

(a

S

-

Standardowy błąd oszacowania współczynnika kątowego,

(

)

n

x

x

e

S

a

S

i

i

/

)

(

)

ˆ

(

2

2

∑

−

=

4)

)

ˆ

(b

S

-

Standardowy błąd oszacowania wyrazu wolnego

(

)

[

]

n

x

x

n

x

b

S

i

i

i

/

)

ˆ

(

2

2

2

∑

∑

∑

−

=

5) względne błędy oszacowania (w %)

W(a^), W(b^) – względne błędy oszacowania a^, b^ w %

%

100

ˆ

)

ˆ

(

)

ˆ

(

a

a

S

a

W

=

%

100

ˆ

)

ˆ

(

)

ˆ

(

b

b

S

b

W

=

4

Przykład 1. Oszacować regresję Y względem X (Y – szybkość czytania i X – iloraz
inteligencji (IQ).

lp

x

i

y

i

x

i

- x

y

i

- y (x

i

- x )*( y

i

- y )

(x

i

- x )

2

( y

i

- y )

2

1 80

120

-27

-55

1485

729

3025

2 92

140

-15

-35

525

225

1225

3 90

100

-17

-75

1275

289

5625

4 109

170 2

-5

-10

4 25

5 100

130 -7

-45

315

49

2025

6 105

190 -2

15

-30

4 225

7 110

220 3

45

135

9

2025

8 110

140 3

-35

-105

9

1225

9 115

180 8

5

40

64 25

10 120

240 13

65

845

169 4225

11 123

200 16

25

400

256 625

12 130

270 23

95

2185

529 9025

Suma 1284 2100 X

X

7060

2336 29300

Średnia X= 107 Średnia Y= 175

02

,

3

2336

7060

)

(

)

)(

(

ˆ

2

=

=

−

−

−

=

∑

∑

x

x

y

y

x

x

a

i

i

i

x

a

y

b

v

w ˆ

ˆ

−

=

= 175 – 3,02 x 107 = - 148,14

Oszacowane równanie:

Y^

= 3,02

X

– 148,14

Błędy oszacowania
S(a^)=0,58 S(b^)=63,0
W(a^)=0,58/3,02*100%= 19,2%
W(b^)=63/148,14*100%=42,5%
Współczynnik determinacji
r

2

= 0,73

a^- oznacza tempo wzrostu/spadku funkcji, czyli odpowiada na pytanie o ile
wzrośnie (zmniejszy się Y) jeśli X wzrośnie o 1.

Interpretacja:
Związek między Y i X jest silny i dodatni, co oznacza, że osoby o wyższym IQ
szybciej czytają. Współczynnik determinacji 0,73 oznacza, że zróżnicowanie
szybkości czytania można w 73% wyjaśnić zróżnicowaniem IQ.

a^=3,02 oznacza, że zwiększenie IQ o 1 (większy IQ o 1) powoduje zwiększenie
szybkości czytania o 3.

Wykres oszacowanej funkcji:
wyznaczamy 2 punkty, x1= … i y1= … oraz x2=… i y2= … (patrz diagram korelat.0

5

Szacowanie funkcji regresji (parametrów Funkcji regresji) w arkuszu Excel.

>Analiza danych,
>Regresja
>Zaznaczenie zakresu Y, X oraz miejsca na wynik (opcje wyjścia)

Otrzymujemy wynik:

PODSUMOWANIE - WYJŚCIE

Statystyki regresji

Wielokrotność R

0,853364

R kwadrat

0,728231

Dopasowany R
kwadrat

0,701054

Błąd standardowy

28,21851

Obserwacje

12

ANALIZA

WARIANCJI

df

SS

MS

F

Istotność F

Regresja

1 21337,16 21337,16 26,79591 0,000415191

Resztkowy

10

7962,842 796,2842

Razem

11

29300

Współczynniki

Błąd

standardowy

t Stat

Wartość-p

Dolne 95%

Górne 95%

Dolne

95,0%

Górne
95,0%

Przecięcie

-148,382 63,00029

-2,35526 0,040278

-

288,7552348 -8,00846 -288,755 -8,00846

X

3,02226 0,583845

5,176476 0,000415

1,72137232 4,323148 1,721372 4,323148

Obliczenia
własne

Względne błędy

oszacowania

Przecięcie (wyraz wolny)

42,45822

X (współ. kątowy)

19,31816