Analiza regresji

wielokrotnej

Różne metody

„Metodologia i statystyka –

kurs zaawansowany”

Modelki

• Jak można przewidzieć

dochody modelek? Mamy
trzy zmienne: wiek, staż
pracy oraz urodę. Co się
stanie jeśli uwzględnimy te
trzy predyktory w
przewidywaniu dochodów
modelek.

Czy model analizy regresji jest

dobrze dopasowany?

• Wyniki analizy regresji wskazują, że

tak F(3,227)=17,07; p<0,001

Analiza wariancji

b

10871,964

3 3623,988

17,066

,000

a

48202,790

227

212,347

59074,754

230

Regresja
Reszta
Ogółem

Model
1

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), beauty, years, age

a.

Zmienna zależna: salary

b.

Współczynniki regresji

Współczynniki

a

-60,890

16,497

-3,691

,000

6,234

1,411

,942

4,418

,000

-5,561

2,122

-,548

-2,621

,009

-,196

,152

-,083

-1,289

,199

(Stała)
age
years
beauty

Model
1

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczynniki

standaryzowa

ne

t

Istotność

Zmienna zależna: salary

a.

Model - Podsumowanie

,429

a

,184

,173

14,57213

Model
1

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Predyktory: (Stała), beauty, years, age

a.

Istotne

predyktory:

Wiek i lata pracy

Interpretacja:

Model wyjaśnia

17% wariancji

zarobków

Korelacje cząstkowe i

semicząstkowe

• Korelacje rzędu zerowego to korelacje r-

Pearsona

• Jeśli dwa predyktory są silnie ze sobą

skorelowane to korelacje cząstkowe i

semicząstkowe są dużo mniejsze niż beta lub

r-Pearsona.

Współczynniki

a

-36,182

7,315

-4,947

,000

2,630

,401

,397

6,555

,000

,397

,397

,397

-68,409

15,453

-4,427

,000

5,642

1,336

,853

4,222

,000

,397

,269

,254

-4,840

2,050

-,477

-2,361

,019

,337

-,154

-,142

(Stała)
age
(Stała)
age
years

Model
1

2

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczynniki

standaryzowa

ne

t

Istotność

Rzędu

zerowego

Cząstkowa

Semicząs

tkowa

Korelacje

Zmienna zależna: salary

a.

Wykres rozrzutu

macierzowy

Korelacje między

zmiennymi

• Ocena piękna modelki

nie jest skorelowana z
dochodami

• Wiek jest prawie

idealnie skorelowany
ze stażem pracy

Pytania:
1. Co z dewiantami?
2. Czy jest sens

uwzględniać
jednocześnie wiek i
staż pracy?

3. Czy można być

modelką będąc
brzydką?

Korelacje

1

,397**

,337**

,068

,000

,000

,304

231

231

231

231

,397**

1

,955**

,261**

,000

,000

,000

231

231

231

231

,337**

,955**

1

,173**

,000

,000

,008

231

231

231

231

,068

,261**

,173**

1

,304

,000

,008

231

231

231

231

Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N

salary

age

years

beauty

salary

age

years

beauty

Korelacja jest istotna na poziomie 0.01 (dwustronnie).

**.

Wykres skrzynkowy dla

zmiennej zarobki

• Spora grupa

przypadków
nietypowych

• Rozkład dodatnio-

skośny – przewaga
niskich dochodów
nad wysokimi, bo
górny wąs wykresu
jest dłuższy niż
dolny a linia
oznaczająca
medianę jest
poniżej połowy
skrzynki.

Zmienne nie mogą się

dublować

• Odrzucamy zmienną

wiek i bierzemy pod
uwagę tylko staż
pracy. Jest także
możliwość zrobienia
łącznego wskaźnika
dla tych dwóch
zmiennych – można
tutaj zrobić
proporcję

Oglądamy współczynniki

korelacji

• Korelacje

istotne ale
znacznie
słabsze

Korelacje

1

,337**

,068

,000

,304

231

231

231

,337**

1

,173**

,000

,008

231

231

231

,068

,173**

1

,304

,008

231

231

231

Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N
Korelacja Pearsona
Istotność (dwustronna)
N

salary

years

beauty

salary

years

beauty

Korelacja jest istotna na poziomie 0.01 (dwustronnie).

**.

Wykresy skrzynkowe dla

wszystkich zmiennych

• Rozkład

atrakcyjności

modelek jest

normalny ale

atrakcyjność

oceniana w

procentach jest

bardzo wysoka –

wariancja dość

mała

• Bardzo małe

wariancje

pozostałych

zmiennych – wieku i

stażu pracy

Dewianci – analiza odrębna

• Dewianci mogą zostac usunięci ze zbioru

danych i całkowicie pominięci w analizach.

Informujemy wtedy ilu jest dewiantów i

jakie było kryterium ich wyodrębniania.

• Dewianci mogą także zostać potraktowani

jako osoby pochodzące z innej populacji i

analizowani osobno – tutaj dewianci to

populacja top-modelek. Analiza zostanie

wykonana oddzielnie dla całej grupy

modelek i osobno dla top-modelek.

Wykres skrzynkowy dla

zmiennej zarobki

Top-modelki

–

osoby
zarabiające
powyżej 36
funtów dziennie

Modelki –

osoby

zarabiające
poniżej 36
funtów dziennie

Opcja –

Opcja –

wybierz

wybierz

obserwacje

obserwacje

Wyniki dla modelek (gorzej

zarabiających)

• Sprawdzamy czy model regresji jest

dobrze dopasowany do danych.

• Analiza wariancji wskazuje, że model

jest dobrze dopasowany do danych
F(2, 213)=4,20; p<0,05

Analiza wariancji

b

681,786

2

340,893

4,203

,016

a

17276,832

213

81,112

17958,618

215

Regresja
Reszta
Ogółem

Model
1

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), beauty, years

a.

Zmienna zależna: salary

b.

Współczynniki regresji

• Modelka jako

„chodzący

wieszak”

Współczynniki

a

-,534

6,888

-,078

,938

1,125

,410

,187

2,742

,007

,046

,091

,034

,507

,613

(Stała)
years
beauty

Model
1

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczynniki

standaryzowa

ne

t

Istotność

Zmienna zależna: salary

a.

Model - Podsumowanie

b

,195

a

,038

,029

9,00621

Model
1

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Predyktory: (Stała), beauty, years

a.

Zmienna zależna: salary

b.

Istotne

predyktory:

lata pracy

beta=0,187;

p<0,01

Interpretacja:

Model wyjaśnia

3% wariancji

zarobków

Wizualizacja

• Należałob

y chyba
zastosowa
ć inny
kształt niż
linia
prosta

Regresja dla top modelek

• Analiza regresji jest dobrze

dopasowana do danych F(2,
12)=4,803; p<0,05

Analiza wariancji

b

1900,570

2

950,285

4,803

,029

a

2374,451

12

197,871

4275,021

14

Regresja
Reszta
Ogółem

Model
1

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), beauty, years

a.

Zmienna zależna: salary

b.

Współczynniki dla top-

modelek

Współczynniki

a

68,785

49,716

1,384

,192

6,935

2,246

,722

3,087

,009

-,667

,693

-,225

-,963

,355

(Stała)
years
beauty

Model
1

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczynniki

standaryzowa

ne

t

Istotność

Zmienna zależna: salary

a.

Model - Podsumowanie

b

,667

a

,445

,352

14,06666

Model
1

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Predyktory: (Stała), beauty, years

a.

Zmienna zależna: salary

b.

Istotny predyktor:

lata pracy

beta=0,722;

p<0,01

Interpretacja:

Model wyjaśnia

35% wariancji

zarobków

Wizualizacja zależności

Metody regresji – kolejność

wprowadzania zmiennych do

modelu

• Metoda wprowadzania (Enter)
• Metoda eliminacji wstecznej (Backward)
• Metoda selekcji postępującej (Forward)
• Metoda krokowa (Stepwise)
• Hierarchiczna analiza regresji

(Hierarchic)

• Segmentowa analiza regresji

Metoda eliminacji wstecznej

• Analiza przeprowadzana jest w kolejnych krokach –

najpierw wprowadzane są wszystkie predyktory a

potem kolejno usuwane są najsłabsze. Kryterium jest

poziom istotności >=0,1

• Analiza predyktorów konstruktywnego stylu radzenia

sobie w konflikcie. Predyktory to sześć rodzajów

kompetencji społecznych: wrażliwość społeczna,

wrażliwość emocjonalna, kontrola społeczna,

kontrola emocjonalna, ekspresywność społeczna,

ekspresywność emocjonalna. Zakładamy, że

predyktory wiążą się prostoliniowo ze zmienną

zależną a więc im wyższy poziom predyktora tym

większa tendencja do rozwiązywania konfliktów w

sposób konstruktywny

• Czy zawsze ta zależność musi być prostoliniowa?

Testowanie założeń

Kołmogorow-Smirnow(a)

Shapiro-Wilk

Statystyk
a

df

Istotność

Statystyk

a

df

Istotność

ekspr_e

,054

236

,098

,995

236

,565

wraz_e

,072

236

,004

,989

236

,066

kontr_e

,063

236

,023

,991

236

,159

ekspr_s

,048

236

,200(*)

,993

236

,320

wraz_s

,062

236

,029

,989

236

,066

kontr_s

,078

236

,001

,987

236

,033

konstruk

,111

236

,000

,975

236

,000

konstruk

kontr_s

wraz_s

ekspr_s

kontr_e

wraz_e

ekspr_e

40

20

21

213

256

262

9

96

94

28

30 89

269

52

60

123

145

172

74

122

Które zmienne są usuwane w

kolejnych krokach?

Zmienne wprowadzone/usunięte

b

kontr_s, kontr_e, wraz_s,
ekspr_e, wraz_e, ekspr_s

a

.

Wprowadzanie

.

ekspr_s

Eliminacja wsteczna (Kryterium: Prawdopodobieństwo
F-usunięcia >= ,100).

.

kontr_s

Eliminacja wsteczna (Kryterium: Prawdopodobieństwo
F-usunięcia >= ,100).

.

ekspr_e

Eliminacja wsteczna (Kryterium: Prawdopodobieństwo
F-usunięcia >= ,100).

.

kontr_e

Eliminacja wsteczna (Kryterium: Prawdopodobieństwo
F-usunięcia >= ,100).

Model
1

2

3

4

5

Zmienne wprowadzone

Zmienne

usunięte

Metoda

Wszystkie wyspecyfikowane zmienne zostały wprowadzone.

a.

Zmienna zależna: konstruk

b.

Dopasowania kolejnych

modeli

• Który model

wybieramy?
Ostatni istotny
– zerkamy
wtedy, które
zmienne są w
tym modelu
istotne

Analiza wariancji

f

1453,108

6

242,185

7,034

,000

a

7884,062

229

34,428

9337,169

235

1453,100

5

290,620

8,478

,000

b

7884,070

230

34,279

9337,169

235

1406,256

4

351,564

10,240

,000

c

7930,914

231

34,333

9337,169

235

1344,153

3

448,051

13,005

,000

d

7993,017

232

34,453

9337,169

235

1312,798

2

656,399

19,060

,000

e

8024,372

233

34,439

9337,169

235

Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem

Model
1

2

3

4

5

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), kontr_s, kontr_e, wraz_s, ekspr_e, wraz_e, ekspr_s

a.

Predyktory: (Stała), kontr_s, kontr_e, wraz_s, ekspr_e, wraz_e

b.

Predyktory: (Stała), kontr_e, wraz_s, ekspr_e, wraz_e

c.

Predyktory: (Stała), kontr_e, wraz_s, wraz_e

d.

Predyktory: (Stała), wraz_s, wraz_e

e.

Zmienna zależna: konstruk

f.

Współczynni

ki

• Opisujemy

współczynniki
dla ostatniego
modelu. Dla
tego modelu
zapisujemy
model
równania:

Współczynniki

a

23,342

4,314

5,411

,000

-,146

,092

-,121

-1,587

,114

,346

,089

,293

3,869

,000

-,123

,082

-,100

-1,509

,133

-,001

,070

-,001

-,015

,988

,202

,071

,198

2,857

,005

,092

,096

,078

,960

,338

23,338

4,295

5,434

,000

-,147

,090

-,122

-1,630

,104

,346

,089

,293

3,877

,000

-,123

,081

-,100

-1,522

,129

,202

,071

,198

2,865

,005

,091

,078

,077

1,169

,244

24,970

4,065

6,143

,000

-,116

,086

-,096

-1,345

,180

,358

,089

,303

4,037

,000

-,110

,080

-,089

-1,368

,173

,184

,069

,181

2,673

,008

21,833

3,335

6,547

,000

,306

,080

,260

3,825

,000

-,072

,075

-,058

-,954

,341

,186

,069

,183

2,700

,007

19,897

2,646

7,521

,000

,298

,080

,252

3,740

,000

,193

,069

,189

2,806

,005

(Stała)
ekspr_e
wraz_e
kontr_e
ekspr_s
wraz_s
kontr_s
(Stała)
ekspr_e
wraz_e
kontr_e
wraz_s
kontr_s
(Stała)
ekspr_e
wraz_e
kontr_e
wraz_s
(Stała)
wraz_e
kontr_e
wraz_s
(Stała)
wraz_e
wraz_s

Model
1

2

3

4

5

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczynniki

standaryzowa

ne

t

Istotność

Zmienna zależna: konstruk

a.

Y

k

=0,198*X

WE

+0,193*X

WS

+ 19,897

Siła poszczególnych modeli

• Usuwanie kolejnych

predyktorów nie

powoduje

znaczących zmian w

obrębie R

2

skorygowanego.

• Zawsze lepszy

modelem jest ten,

który zawiera

maksymalnie mało

predyktorów

Model - Podsumowanie

,394

a

,156

,134

5,86756

,394

b

,156

,137

5,85479

,388

c

,151

,136

5,85943

,379

d

,144

,133

5,86964

,375

e

,141

,133

5,86851

Model
1
2
3
4
5

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Predyktory: (Stała), kontr_s, kontr_e, wraz_s, ekspr_e, wraz_
e, ekspr_s

a.

Predyktory: (Stała), kontr_s, kontr_e, wraz_s, ekspr_e, wraz_
e

b.

Predyktory: (Stała), kontr_e, wraz_s, ekspr_e, wraz_e

c.

Predyktory: (Stała), kontr_e, wraz_s, wraz_e

d.

Predyktory: (Stała), wraz_s, wraz_e

e.

Metoda selekcji

postępującej

• W metodzie selekcji postępującej

najpierw wybierany jest najsilniejszy
predyktor i ten predyktor jest
testowany. Otrzymujemy wydruk ze
statystykami tego modelu. Następnie
do modelu wprowadzany jest kolejny
predyktor. Kolejne kroki mają na celu
dodanie istotnych predyktorów – w
każdym kroku jeden predyktor.

Dla selekcji postępującej

• Informacja o zmiennych

wprowadzonych i kryterium
wprowadzenia

Zmienne wprowadzone/usunięte

a

wraz_e

.

Selekcja postępująca (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050).

wraz_s

.

Selekcja postępująca (Kryterium:
Prawdopodobieństwo F-wprowadzenia
<= ,050).

Model
1

2

Zmienne

wprowadzone

Zmienne

usunięte

Metoda

Zmienna zależna: konstruk

a.

Statystyki dopasowania

modeli

• Musimy wybrać któryś z modeli. Jak to zrobić?
• Najlepiej posłużyć się statystyką zmiana R

2

Analiza wariancji

c

1041,721

1 1041,721

29,385

,000

a

8295,448

234

35,451

9337,169

235

1312,798

2

656,399

19,060

,000

b

8024,372

233

34,439

9337,169

235

Regresja
Reszta
Ogółem
Regresja
Reszta
Ogółem

Model
1

2

Suma

kwadratów

df

Średni

kwadrat

F

Istotność

Predyktory: (Stała), wraz_e

a.

Predyktory: (Stała), wraz_e, wraz_s

b.

Zmienna zależna: konstruk

c.

Istotność zmiany R

2

• W tabeli zmiana R

2

dla modelu 2 jest

istotna. Zatem udaje nam się za pomocą

drugiego modelu wyjaśnić istotny kawałek

zmienności zmiennej zależnej. Tak więc

lepiej pokazywać drugi model niż pierwszy.

Model - Podsumowanie

,334

a

,112

,108

5,95404

,112

29,385

1

234

,000

,375

b

,141

,133

5,86851

,029

7,871

1

233

,005

Model
1
2

R

R-kwadrat

Skorygowane

R-kwadrat

Błąd

standardowy

oszacowania

Zmiana

R-kwadrat

Zmiana F

df1

df2

Istotność

zmiany F

Statystyki zmiany

Predyktory: (Stała), wraz_e

a.

Predyktory: (Stała), wraz_e, wraz_s

b.

Współczynniki regresji

Współczynniki

a

23,205

2,403

9,657

,000

,394

,073

,334

5,421

,000

19,897

2,646

7,521

,000

,298

,080

,252

3,740

,000

,193

,069

,189

2,806

,005

(Stała)
wraz_e
(Stała)
wraz_e
wraz_s

Model
1

2

B

Błąd

standardowy

Współczynniki

niestandaryzowane

Beta

Współczynniki

standaryzowa

ne

t

Istotność

Zmienna zależna: konstruk

a.

Istotne predyktory:

wrażliwość

społeczna

(beta=0,189,

-<0,01) i

emocjonalna

(beta=0,252;

p<0,001

Interpretacja:

Wybór metody

• Analiza regresji ma serię różnych

metod. Ich wybór nie jest prosty.
Niekiedy wszystkie te analizy dają
identyczne wyniki. Czasem jednak
dzieje się tak, że jedna metoda
zaprzecza drugiej. Często jest tak
wtedy, gdy predyktory są silnie ze
sobą skorelowane.