Analiza regresji prostej

Troche teorii



Regresja to

w statystyce metoda,

pozwalająca na zbadanie związku
pomiędzy

różnymi

wielkościami

występującymi

danych

wykorzystanie

tej

wiedzy

przewidywania nieznanych wartości
jednych wielkości na podstawie
znanych wartości innych.

regresja prosta

analiza regresji

Jednozmiennowa

Wielozmiennowa

prosta

wieloraka

regresja prosta

Rodzaje analizy regresji

Logika analizy regresji



Dokonujac analizy regresji budujemy
model zaleznosci liniowej pomiedzy
zmienna niezalezna a zmienna
zalezna.



W modelu wartosci jakie przyjmuje
zmienna zalezna, zaleza glownie od
wartosci zmiennej niezaleznej
(predyktora).

regresja prosta

Dokładniej
o predyktorze



Zarówno analiza regresji,
jak i korelacji nie pokazują zależności

przyczynowo – skutkowej wśród zmiennych.



Dlatego określenia: zmienna zależna i

niezależna nie mają tu uzasadnienia.



W związku z tym do analizy regresji

wprowadzono określenia:
dla zmiennej niezależnej:

PREDYKTOR

natomiast zmienna zależna to ta, której

wartość przewidujemy na podstawie

predyktora.

regresja prosta

Dlaczego model liniowy?

Czy apetyt rosnie
w miare jedzenia?

regresja prosta

JEDZENIE

zm. wyjasniajaca

PREDYKTOR

APETYT

zm. wyjasniana

ZM. ZALEZNA

Czy apetyt rosnie w miare jedzenia?

regresja prosta

JEDZENIE

zm. wyjasniajaca

PREDYKTOR

APETYT

zm. wyjasniana

ZM. ZALEZNA

Jak znalezc linie?



Pierwszym krokiem analizy regresji jest
najdokladniejsze dopasowanie linii do
danych.



Linia musi byc najblizej wszystkich
punktow jednoczesnie.



Umozliwia to metoda najmniejszych
kwadratow.

regresja prosta

Metoda najmniejszych kwadratow



Pozwala na wykreslenie linii regresji
(dopasowania), poprzez odnalezienie
takich wspolczynnikow regresji, aby
suma podniesionych do kwadratu
odleglosci punktow od prostej byla jak
najmniejsza.

regresja prosta

Metoda najmniejszych kwadratow

regresja prosta

JEDZENIE

APETYT

Linia dopasowania
moze sie wznosic lub opadac

regresja prosta

Im wieksza wartosc

predyktora (X), tym

wieksza wartosc

zmiennej Y

ZWIAZEK DODATNI,

POZYTYWNY

Im wieksza wartosc

predyktora (X), tym

mniejsza wartosc

zmiennej Y

ZWIAZEK UJEMNY,

NEGATYWNY

Cechy modelu

Cechy liniii regresji
okreslane sa przez
dwie charakterystyki:



Punkt przeciecia
z osia Y.



Nachylenie
wzgledem osi X.

regresja prosta

Bardziej formalnie



Model to rownanie opisujace
linie prosta zawierajace dwa
wspolczynniki: stala okreslajaca
punkt przeciecia (b) i wspolczynnik
kierunkowy, opisujacy nachylenie linii
(a). Oraz przewidywana wartosc
zmiennej zaleznej (y) i wartosc
predyktora (x).

y = ax + b

regresja prosta

y = ax + b

regresja prosta

Y – przewidywane wartosci zm. zaleznej

X – wartosci predyktora
a – nachylenie linii
(o ile zmieni sie y, gdy x zmieni sie o jednostke).
b – stala (wyraz wolny, punkt przecieca linii regresji),
ile wynosi y, gdy x = 0.

Współczynnik korelacji r Pearsona



Opierają się na nim metody:
analiza regresji, analiza czynnikowa, analiza rzetelności,



Przybiera wartości od <-1;1>



Wartosci ujemne informuja o spadku (Y maleje ze
wzrostem X).



Wartosci dodatnie informuja o wzroscie (Y rosnie ze
wzrostem X).



Jesli r = 0, to znaczy, ze dane na wykresie nie tworza
zaleznosci liniowej.



Jesli r = 1, lub r = -1, to znaczy, ze dane ukladaja sie w
idealna zaleznosc.



Ocena jakościowa: umowna

regresja prosta

Współczynnik determinacji



Pokazuje w jakim stopniu model regresji
odzwierciedla relacje miedzy danymi.



Miara sily zwiazku jest R² (wspolczynnik
determinacji).



Wynik R² mozna rozumiec jako proporcje
zmiennosci ZZ wyjasnianej przez rownanie
regresji w stosunku do calej zmiennosci ZZ.
Gdy R² = 0.53, mozna stwierdzic, ze apetyt da
sie w 53% przewidziec na podstawie ilosci
spozytego jedzenia.

regresja prosta

R²



Wielkosc tego wspolczynnika jest
zawsze dodatnia i przyjmuje wartosci
od 0 do 1.



Po wyciagnieciu pierwiastka
otrzymujemy informacje na temat
kierunku, wzrostu i spadku jednej
zmiennej w stosunku do drugiej.

regresja prosta

Zalozenia analizy regresji

(jako testu parametrycznego)



Zm. zalezna i predyktory

pochodza z populacji o rozkladzie normalnym (Test

Kolmogorowa-Smirnowa).



Obie zmienne mierzone na skali ilosciowej
(ewentualnie nominalnej, ale tylko
dwukategorialnej)!



Liczba przypadków równa 10 x liczba zmiennych:
dwie zmienne to konieczność przebadania min. 20
osób.



W regresji wielozmiennowej, predyktory nie powinny
ze soba korelowac, a wiec musza byc niezalezne.

regresja prosta

Zadanie 1

Badacze chcieli sprawdzic, czy zdolnosci
matematyczne

wsrod

studentow

maja

zwiazek  z  wynikami  osiaganymi  na  zajeciach
ze  statystyki.  Sprawdzali  czy  na  podstawie
testu  umiejetnosci  matematycznych  mozna
przewidziec wyniki ze statystyki?
Przeanalizowano wyniki 30 studentow.

osiagniecia.sav

regresja prosta

LICZBA PUNKTOW

ZDOBYTYCH W TESCIE

MATEMATYCZNYM I

LICZBA

PUNKTOW

UZYSKANYCH NA

STATYSTYCE

DANE DLA 30

STUDENTOW

PREDYKTOR

PREDYKTOR (matematyka)

ZM. WYJASNIANA

ZM. WYJASNIANA
(staystyka)

Na poczatek wykres rozrzutu

regresja prosta

Os X:
PREDYKTOR

Os Y:
ZM. WYJASNIANA,
WYNIKOWA

Wyniki cd.

regresja prosta

F (1, 28) = 104.72, p < .001

Istotnosc testu F informuje nas o tym,

czy model jest dobrze dopasowany.

Jesli jest istotny, to znaczy, ze tak.

Wyniki cd.

Przewidywanie wartosci zmiennej wyjasnianej

regresja prosta

βo = 4.845 oznacza, że gdy w tescie matematycznym student
otrzyma 0 pkt., to ze statystyki otrzyma 0 pkt! Ten efekt jest
nieistotny!

β1 = .965 oznacza wielkość zmiany zmiennej Y, gdy zmienna X
wzrośnie o jedną jednostkę (1 pkt.)

Wzrost wyniku w tescie matematycznym o 1 pkt., powoduje wzrost
liczby punktow na statystyce o .97 pkt.

O czym informuje test t?

regresja prosta

Istotność testu t wskazuje tu, czy wartość różni się istotnie od zera.
Jeśli test t nie jest istotny, oznacza, że Beta nie różni się istotnie od
zera – zmiana wartości predyktora nie powoduje zmiany zmiennej Y.

Efektywnosc modelu:

regresja prosta

r = .89 korelacja pomiędzy liczba punktow uzyskanych w tescie
matematycznym a wynikiem ze statystyki.

= .79 Wynik w tescie matematycznym wyjasnia 78,9% wariancji

wyniku ze statystyki (mnożymy tę wartość x 100).

BŁĄD STANDARDOWY OSZACOWANIA - mówi nam jakim błędem
obarczone jest nasze przewidywanie wynikow ze statystyki – o 10.22
pkt. w górę i w dół.

interpretacja

regresja prosta

Badano  możliwość  przewidywania  wynikow  z  kursu  ze
statystyki  na  podstawie  liczby  punktow  z  testu
matematycznego.  Model  regresji  okazał  się  być  dobrze
dopasowany:  F  (1,  28)  =  104.72,  p  <  .001.  Zmienna
wynik  testu  matematycznego  wyjaśnia  79%  wariancji
wynikow ze statystyki. Zależność między predyktorem a
zmienną wyjaśnianą była silna i dodatnia (Beta=.89). Im
więcej  punktow  z  matematyki,  tym  wieksze  osiagniecia
na  statystyce.  Wartość  współczynnika  kierunkowego
wyniosła  .97,  t  (28)  =  10.23,  p  <  .001,  a  wartość  stałej
wyniosła  0,  t  (28)  =  .78,  p  =  .432.  Oznacza  to,  że  z
każdym  kolejnym  punktem  w  tescie  matematycznym,
liczba punktow ze statystyki ma szanse wzrosnac o .97.

Zadanie 2

Badacze chcieli sprawdzic czy na podstawie
czasu spedzanego na korzystaniu z mediów
(TV, internet) da sie przewidziec wyniki w
tescie tworczosci.
W tym celu przeanalizowali deklaracje 60
osob na temat dziennego czasu jaki spedzaja
z mediami (w godzinach), oraz wynikow jakie
osiagneli na skali tworczosci.

tworczosc.sav

regresja prosta

3. korelacje



Istnieje silna negatywna zaleznosc pomiedzy dzienna liczba
godzin korzystania z mediow a wynikiem na skali tworczosci.



r (60) = -.89, p < .001

regresja prosta

4. Analiza wariancji



Czyli czy model jest dopasowany?

regresja prosta

(1, 58) = 231.38,

< .001

5. Predykcja

Przewidywanie wartosci zmiennej wyjasnianej.



βo = 39.47 oznacza, że gdy osoba badana w ogole nie
korzysta z mediow (X = 0), to na skali tworczosci otrzyma
39.47 pkt.



β1 = -4.12 oznacza, ze wzrost czasu poswieconego na
korzystnie z mediow o 1h, powoduje spadek liczby punktow na
skali tworczosci o 4.12.



Czy zmiana wartosci predyktora powoduje zmiane zm. Y?

regresja prosta

6. Efektywnosc modelu



r = -.89 (zaleznosc miedzy zmiennymi)



= .80 Liczba h spedzonych z mediami wyjasnia 80%

wariancji wyniku na skali tworczosci.



BŁĄD STANDARDOWY OSZACOWANIA – przewidywania
wynikow na skali tworczosci obarczone sa błędem 3.46 pkt. w
górę i w dół.

regresja prosta

. Interpretacja



regresja prosta

Badano  możliwość  przewidywania  wynikow  w  tescie
tworczosci  na  podstawie  ilosci  godzin  dziennie
spedzanych  na  korzystaniu  z  mediow.  Model  regresji
okazał się być dobrze dopasowany: F(1, 58) = 231.38, p
< .001. Zmienna liczba godzin z mediami  wyjaśnia  80%
wariancji wynikow na skali tworczosci. Zależność między
predyktorem  a  zmienną  wyjaśnianą  była  silna  i  ujemna
(Beta=.89).  Im  więcej  godzin  dziennie  z  mediami,  tym
mniejsze  osiagniecia  w  tescie  tworczosci.  Wartość
współczynnika  kierunkowego  wyniosła  4.12,  t(58)  =
15.21, p < .001, a wartość stałej 38.47, t(58) = 45.05, p
<  .001.  Oznacza  to,  że  z  każda  kolejna  godzina
dziennego korzystania z mediow, liczba punktow na skali
tworczosci moze zmalec o 4.12.

Zadanie 3

regresja prosta

Badacze chcieli sprawdzic czy reaktywnosc
emocjonalna (RE) osoby badanej ma zwiazek i
wyjasnia syndrom wypalenia zawodowego.
Przebadanych zostalo 50 pracownikow duzej
korporacji. Na podstawie kwestionariusza
temperamentu FCZ_KT otrzymano wskaznik
RE, a na podstawie Kwestionariusza
wypalenia zawodowego ogolny wskaznik
wypalenia.

wypalenie.sav

3. Predykcja



βo = .33 Gdy RE wynosi 0, to wynik na skali
wypalenia wynosi 0.



β1 = 1.84 Jesli predyktor (RE) wzrosnie o 1, to
poziom wypalenia zawodowego zwiekszy sie o 1.84.

regresja prosta

Zadanie 4

Studenci

zastanawiali

sie

czy

podstawie wynikow Memory Brain Test da
sie  przewidziec  ilosc  zapamietanych  liczb
podawanych w 20 elementowym ciagu. W
tym  celu  zbadano  30  osob  stosujac  Brain
Test  i  pozniej  sprawdzajac  pojemnosc  ich
pamieci roboczej.

pamiec.sav

regresja prosta

Zadanie 5

Komisja  antykorupcyjna  chciala  sprawdzic
czy  w  pewnym  szpitalu  lapowki  zaleza  od
poziomu placy lekarza. Sprawdzali czy ilosc
kopert  przyjmowanych  przez  lekarzy  moze
byc  przewidywana  na  podstawie  wysokosci
ich  wynagrodzenia  (w  tys.).  Analizowano
przypadki 20 lekarzy.

korupcja.sav

regresja prosta

Analiza regresji



Służy

opisania

relacji

między

zmiennymi,  a  także  do  przewidywania
wartości  kryterium  (zmiennej  zależnej)  na
podstawie  wartości  predyktora  (zmienna
niezależna).



Przeprowadzając  tę  analizę,  posługujemy
się  szeregiem  statystyk  (współczynników)
w  celu  określenia  siły  korelacji  i  kształtu
związku między badanymi zmiennymi.

regresja prosta

Wspolczynniki raz jeszcze



współczynnik

korelacji

Pearsona

regresyjne);  służy  do  oszacowania  korelacji
między  zmiennymi,  wartości  R  interpretujemy
tak  samo,  jak  r  Pearsona  (korelacja  mała,
średnia i duża).



R2:  służy  do  określenia  w  jakim  stopniu
zmienna  niezależna  pozwala  na  przewidzenie
zmienności  kryterium,  czyli  jak  dobrym
predyktorem jest dana zmienna niezależna; im
bliżej  R2  do  1  (100%),  tym  lepszym
predyktorem jest dana zmienna.

regresja prosta

Wspolczynniki raz jeszcze



F  i  wartość  p:  określają,  czy  R  jest  istotne
czy  nie,  wartości  te  interpretujemy  w
klasyczny  sposób  (jeśli  p  <  .05,  to  R  jest
istotne)



Beta:  służy  do  oszacowania  wpływu
predyktora  na  kształt  linii  regresji,  czyli
stopnia  wpływu  zmiennej  niezależnej  na
zależną

(przydatny

szczególnie

analizie regresji wielokrotnej)



t :określa, czy wsp. Beta jest istotny.

regresja prosta

Document Outline