Regresja  pozwala  na  opisanie  związku  pomiędzy  zmiennymi  objaśniającymi  a  zmienną  objaśnianą, 
oszacowanie  średniej  wartości  zmiennej  objaśnianej  w  zależności  od  zmiennych  objaśniających,  a 
także na wybranie zmiennych istotnie wpływających na zmienną objaśnianą.   
 

•

 

Ogólna postać modelu regresji liniowej. W tym równaniu nieznane  są parametry β

0   

i  β

1, 

nieznana jest także wartość ε, którą uważamy za zmienną losową. 
 

                                                                           część losowa/zakłócenia 

     

Y = β

0 

+ β

1 * 

X +  ε

 

 

 

 

 

 

 
część deterministyczna 

          Y~ X ( „ Y zależy od X ”, „ Y jest funkcją  X”)  

gdzie,  
Y – zmienna objaśniana (zależna) 
X – wektor p zmiennych objaśniających   
β

0  

i  β

1 

to  tzw. parametry strukturalne modelu, 

ε  (epsilon)    -  czynnik  (  składnik)    losowy.    Wyraża  on  wpływ  wszystkich  innych  czynników,  które 
oprócz  zmiennej  X  mogą  wpływać  na  wartość  zmiennej  Y  a  także  wyraża  on  do  pewnego  stopnia 
nasza niepewność co do rzeczywistego kształtu powiązania pomiędzy Y i X.   
 

•

 

Co znaczy że dany parametr modelu regresji liniowej jest statystycznie istotny?   

Istotność parametrów modelu  
Parametrami modelu są liczby β

0  

i β

1

. Badanie istotności parametrów modelu zakłada  osobne badanie 

poszczególnych  parametrów.  Przy  analizie istotności parametrów  modelu testuje  się hipotezy  o  tym, 

że  parametry  te  są  różne  od  0.  Najważniejszym  testem  jest  test,  który  sprawdzi  czy  parametr  β

1 

jest 

równy 0. Gdyby się okazało w procesie testowanie, że nie możemy odrzucić hipotezy o tym, że β

1 

= 0 

oznaczałoby to , że zmienna X nie jest powiązana z Y.  
 
 Analizując parametr β

1

 

H

0

: β

1 

= 0   

H

1

: β

1 

≠ 0 

W przypadku, gdy odrzucamy hipotezę zerową. Parametr β

1 

posiada jakąś wartość różną od zera,  

a więc jest statystycznie istotny. β

1 

stojąc przy zmiennej X( objaśniającej) wpływa na zmienną Y 

( objaśnianą)  
W  przypadku  gdy  przyjmujemy  hipotezę  zerową.  Parametr  β

1   

jest  równy    zero,  a  więc  nie  jest 

statystycznie istotny. β

1 

stojąc przy zmiennej X(objaśniającej) nie wpływa na zmienną Y( objaśnianą). 

Zmienna X nie jest powiązana z Y.  
 

•

 

Przypomnienie zasad testowania hipotez  

Hipotezy statystyczne to pewne przypuszczenia na temat populacji, w szczególności hipoteza, że β

1 

= 

0 odnosi się do modelu Y = β

0 

+ β

1 * 

X + ε , który opisuje zależność między X i Y w populacji.  

Stawiamy zawsze dwie hipotezy: zerową ( H

0

) i hipotezę alternatywną ( H

1

) 

                                            
 

 H

0

: β

1 

= 0   vs.          H

1

: β

1 

≠ 0 

 

                      brak powiązania między      istnieje  powiązanie między   

 

 

 

 

         X i Y 

 

 

        X i Y 

 

 

 

 

 

 

 

 

 

 

 

 

 

   Obie hipotezy dotyczą populacji  

 
Z procesem  testowania hipotez wiąże się pojęcie istotności testu α ( na ogół α = 0,05). 
 
W  programach  komputerowych  proces  usuwania  hipotez  polega  na  wyznaczeniu  p  –  wartości  (  p  – 
value) . 
  
Wnioskowanie: 
Im mniejsza p – wartość tym większe przeświadczeni, że H

0

 trzeba odrzucić i przyjąć H

1 

1)

 

gdy p – value ≤ α, to odrzucamy H

0

 i przyjmujemy H

1

 

2)

 

gdy  p  –  value  >  α,  to  uznajemy,  nie  ma  podstaw  do  odrzucenia  H

0

  (  w  uproszczeniu 

przyjmujemy , że H

0 

jest prawdziwe). 

 
Testowanie hipotezy o istotności parametru β

0

: 

1.

 

określamy H

0

 i H

1

 

             H

0

: β

0

=0 vs H

1

: β

0

≠

0 

2.

 

Określamy p – wartość 

3.

 

poziom istotności testu ( α=0,05) 

gdy p – value ≤ α, to odrzucamy H

0

 i przyjmujemy H

1

 

gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia 
 

Testowanie hipotezy o istotności parametru β

1

: 

1.

 

określamy H

0

 i H

1

 

            H

0

: β

1

=0 vs H

1

: β

1

≠

0 

2.

 

Określamy p – wartość  

3.

 

poziom istotności testu ( α=0,05) 

gdy p – value ≤ α, to odrzucamy H

0

 i przyjmujemy H

1

 

gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia 

 
Testowanie hipotezy o istotności parametru β

2

: 

1.

 

określamy H

0

 i H

1

 

             H

0

: β

2

=0 vs H

1

: β

2

≠

0 

2.

 

Określamy p – wartość  

3.

 

poziom istotności testu ( α=0,05) 

gdy p – value ≤ α, to odrzucamy H

0

 i przyjmujemy H

1

 

gdy p – value > α, to uznajemy, nie ma podstaw do odrzucenia 

 

 
Interpretacja parametrów  
β

1  – 

określa  o  ile  jednostek  wzrośnie  (lub  zmaleje,  gdy  β

1 

<  0)  wartość  zmiennej  Y,  gdy  wartość 

zmiennej X wzrośnie o jednostkę. 
β

0   

-  na    ogól  nie  jest  interpretowane.  Niekiedy  można  jednak  go  zinterpretować  jako  wartość  Y  w 

sytuacji  gdy  X  = 0,  ale  dotycz  to  wyłącznie  przypadków  gdy  ma  sens  mówienie  o  zerowej  wartości 
cechy Y

 .   

 

Przykład:                     

  enzym Y ( z daszkiem) = 87,7 + 4,1 * enzym X 

 

 

 

 

 

 

 

 

oszacowanie dla β

1

 

Interpretacja dla 4,1: 
Wzrost enzymu X o jednostkę sugeruje wzrost enzymu Y o około 4,1.