dr Dušan Bogdanov
1
Ekonometria 1
Wykład 4
Estymacja parametrów jednorównaniowego liniowego modelu ekonometrycznego
Istota metod estymacji parametrów strukturalnych modeli ekonometrycznych polega na tym,
aby znale
źć
oceny parametrów, przy których model jest mo
Ŝ
liwie dobrze dopasowany do danych
empirycznych. Wybór metody estymacji zale
Ŝ
y od klasy modelu, przede wszystkim od powi
ą
za
ń
pomi
ę
dzy zmiennymi endogenicznymi nieopó
ź
nionymi w czasie oraz od wła
ś
ciwo
ś
ci składników
losowych modelu. W estymacji parametrów modeli jednorównaniowych oraz wielorównaniowych
prostych i rekurencyjnych najcz
ęś
ciej stosowana jest metoda najmniejszych kwadratów. Idea tej
metody wykorzystywana jest w podwójnej metodzie najmniejszych kwadratów, a tak
Ŝ
e w iteracyjnych
procedurach szacowania parametrów modeli nieliniowych
1
. Nale
Ŝ
ałoby jeszcze wspomnie
ć
,
Ŝ
e metoda najmniejszych kwadratów jest najstarsz
ą
z metod estymacji parametrów modeli, została
zaproponowana ponad 200 lat temu przez Lagrange’a i Gaussa do okre
ś
lenia orbit planet
na podstawie danych astronomicznych
2
.
4.1. Klasyczny model liniowy, wła
ś
ciwo
ś
ci estymatora uzyskanego metod
ą
najmniejszych kwadratów
Przedmiotem naszych rozwa
Ŝ
a
ń
jest klasyczny model liniowy, którego definicja opiera si
ę
na tzw. warunkach stosowania metody najmniejszych kwadratów. Dana jest próba n obserwacji
na zmiennej obja
ś
nianej i zmiennych obja
ś
niaj
ą
cych:
[ ]
=
nk
n
n
n
k
k
x
...
x
x
y
...
...
...
...
...
x
...
x
x
y
x
...
x
x
y
X
Y
2
1
2
22
21
2
1
12
11
1
(4.1)
1
≡
k
X
Warunek 1
W klasycznym modelu liniowym
−
t
ta realizacja zmiennej obja
ś
nianej
t
y
jest liniow
ą
funkcj
ą
zmiennych obja
ś
niaj
ą
cych
tk
t
t
x
,...
x
,
x
2
1
oraz realizacji składnika losowego
t
ε
. Próba n obserwacji
generowana według tego modelu spełnia układ równa
ń
:
n
,..
,
t
x
...
x
x
x
y
t
tk
k
t
t
t
t
2
1
3
3
2
2
1
1
=
+
+
+
+
=
ε
α
α
α
α
(4.2)
1
Z. Pawłowski, Ekonometria, Warszawa 1972, s.74
2
D. Strahl D., E. Sobczak i inni, Modelowanie ekonometryczne z EXCELEM, Wyd. AE Wrocław 2002
dr Dušan Bogdanov
2
Ekonometria 1
co mo
Ŝ
na rozpisa
ć
:
1
1
13
3
12
2
11
1
1
ε
α
α
α
α
+
+
+
+
=
k
k
x
...
x
x
x
y
2
2
23
3
22
2
21
1
2
ε
α
α
α
α
+
+
+
+
=
k
k
x
...
x
x
x
y
…………………………………………………
n
nk
k
n
n
n
n
x
...
x
x
x
y
ε
α
α
α
α
+
+
+
+
=
3
3
2
2
1
1
(4.3)
i zapisa
ć
w postaci macierzowej:
+
⋅
=
n
k
nk
n
n
k
k
n
...
...
x
...
x
x
...
...
...
...
x
...
x
x
x
...
x
x
y
...
y
y
ε
ε
ε
α
α
α
2
1
2
1
2
1
2
22
21
1
12
11
2
1
(4.4)
albo bardziej zwartej
ε
α
+
=
X
Y
(4.5)
Warunek 2
Zmienne obja
ś
niaj
ą
ce
(
)
k
,..
,
j
X
j
2
1
=
s
ą
nielosowe.
Warunek 3
Zmienne obja
ś
niaj
ą
ce
(
)
k
,..
,
j
X
j
2
1
=
s
ą
liniowo niezale
Ŝ
ne, to znaczy,
Ŝ
e macierz
X
ma pełen
rz
ą
d kolumnowy.
Warunek 4
Składniki losowe
(
)
n
,...
,
t
t
2
1
=
ε
s
ą
niezale
Ŝ
nymi zmiennymi losowymi o warto
ś
ci oczekiwanej 0
i stałej wariancji (dla wszystkich realizacji zmiennej obja
ś
nianej)
2
σ
.
Wynika st
ą
d,
Ŝ
e macierz wariancji i kowariancji wektora losowego ma posta
ć
:
( )
n
n
n
n
n
n
T
I
...
...
...
...
...
...
...
E
...
E
E
...
...
...
E
...
E
E
E
...
E
E
E
cov
2
2
2
2
2
2
1
2
2
2
1
2
1
2
1
2
1
0
0
0
0
0
0
σ
σ
σ
σ
ε
ε
ε
ε
ε
ε
ε
ε
ε
ε
ε
ε
ε
ε
ε
εε
ε
=
=
=
=
(4.6)
dr Dušan Bogdanov
3
Ekonometria 1
Estymacja parametrów strukturalnych modelu metod
ą
najmniejszych kwadratów polega
na znalezieniu takich ich ocen, dla których suma kwadratów odchyle
ń
zaobserwowanych warto
ś
ci
zmiennej obja
ś
nianej
t
y
od warto
ś
ci oszacowanej funkcji
tk
k
t
t
t
x
a
...
x
a
x
a
y
ˆ
+
+
+
=
2
2
1
1
jest
minimalna. Ró
Ŝ
nice
t
t
t
y
ˆ
y
e
−
=
nazywamy resztami, a wi
ę
c nale
Ŝ
y wyznaczy
ć
minimum kwadratów
reszt:
(
)
(
)
min
x
a
...
x
a
x
a
y
a
,...
a
,
a
S
n
t
tk
k
t
t
t
k
→
−
−
−
−
=
∑
=
1
2
2
2
1
1
2
1
(
) (
)
∑
=
−
⋅
−
−
−
−
⋅
=
∂
∂
n
t
t
tk
k
t
t
t
x
x
a
...
x
a
x
a
y
a
S
1
1
2
2
1
1
1
2
(
) (
)
∑
=
−
⋅
−
−
−
−
⋅
=
∂
∂
n
t
t
tk
k
t
t
t
x
x
a
...
x
a
x
a
y
a
S
1
2
2
2
1
1
2
2
……………………………………………………………
(
) (
)
∑
=
−
⋅
−
−
−
−
⋅
=
∂
∂
n
t
tk
tk
k
t
t
t
k
x
x
a
...
x
a
x
a
y
a
S
1
2
2
1
1
2
(4.7)
Po wykonaniu działa
ń
otrzymujemy układ równa
ń
normalnych
∑
∑
∑
∑
=
=
=
=
=
+
+
+
n
t
t
t
n
t
tk
t
k
n
t
t
t
n
t
t
x
y
x
x
a
...
x
x
a
x
a
1
1
1
1
1
2
1
2
1
2
1
1
∑
∑
∑
∑
=
=
=
=
=
+
+
+
n
t
t
t
n
t
tk
t
k
n
t
t
n
t
t
t
x
y
x
x
a
...
x
a
x
x
a
1
2
1
2
1
2
2
2
1
2
1
1
…………………………………………………………
∑
∑
∑
∑
=
=
=
=
=
+
+
+
n
t
tk
t
n
t
tk
k
n
t
tk
t
n
t
tk
t
x
y
x
a
...
x
x
a
x
x
a
1
1
2
1
2
2
1
1
1
(4.8)
Rozwi
ą
zuj
ą
c powy
Ŝ
szy układ równa
ń
otrzymujemy oceny parametrów.
Rozwa
Ŝ
my rozwi
ą
zanie układu dla funkcji jednej zmiennej, to znaczy dla modelu
2
1
α
α
+
=
x
y
.
Otrzymujemy układ dwóch równa
ń
z dwiema niewiadomymi:
∑
∑
∑
=
=
=
=
+
n
t
t
t
n
t
t
n
t
t
x
y
x
a
x
a
1
1
2
1
2
1
∑
∑
=
=
=
⋅
+
n
t
t
n
t
t
y
n
a
x
a
1
2
1
1
(4.9)
dr Dušan Bogdanov
4
Ekonometria 1
Rozwi
ą
zuj
ą
c ten układ wzorami Cramera otrzymujemy:
2
1
1
2
1
1
1
1
−
−
=
∑
∑
∑
∑
∑
=
=
=
=
=
n
t
t
n
t
t
n
t
t
n
t
n
t
t
t
t
x
x
n
y
x
y
x
n
a
x
a
y
a
1
2
−
=
(4.10)
Z drugiego równania wida
ć
,
Ŝ
e linia wyznaczona metod
ą
najmniejszych kwadratów przechodzi
przez warto
ś
ci
ś
rednie zmiennych.
Rozwi
ą
zanie układu równa
ń
normalnych w przypadku funkcji wielu zmiennych jest bardziej
uci
ąŜ
liwe. Wygodnie jest zapisa
ć
rozwi
ą
zanie w postaci macierzowej. Zacznijmy od zapisania układu
w postaci macierzowej:
=
⋅
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
=
=
=
=
n
t
k
t
n
t
t
n
t
t
k
n
t
k
n
t
k
n
t
k
n
t
k
n
t
n
t
n
t
k
n
t
n
t
x
y
....
x
y
x
y
a
...
a
a
x
...
x
x
x
x
...
...
...
...
x
x
...
x
x
x
x
x
...
x
x
x
1
1
2
1
1
2
1
1
2
1
2
1
1
1
2
1
2
2
1
1
2
1
1
1
2
1
1
2
1
(4.11)
Wyliczmy
X
X
T
=
⋅
∑
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
=
n
t
k
n
t
k
n
t
k
n
t
k
n
t
n
t
n
t
k
n
t
n
t
nk
n
n
k
k
nk
k
k
n
n
x
...
x
x
x
x
...
...
...
...
x
x
...
x
x
x
x
x
...
x
x
x
x
...
x
x
...
...
...
...
x
...
x
x
x
...
x
x
x
...
x
x
...
...
...
...
x
...
x
x
x
...
x
x
1
2
1
2
1
1
1
2
1
2
2
1
1
2
1
1
1
2
1
1
2
1
2
1
2
22
21
1
12
11
1
1
2
22
12
1
21
11
(4.12)
A nast
ę
pnie obliczmy
Y
X
T
=
⋅
∑
∑
∑
=
=
=
n
t
k
t
n
t
t
n
t
t
n
nk
k
k
n
n
x
y
....
x
y
x
y
y
...
y
y
x
...
x
x
...
...
...
...
x
...
x
x
x
...
x
x
1
1
2
1
1
2
1
1
1
2
22
12
1
21
11
(4.13)
dr Dušan Bogdanov
5
Ekonometria 1
I oznaczmy
=
k
a
...
a
a
a
2
1
wektor ocen parametrów, wówczas układ równa
ń
normalnych mo
Ŝ
na
zapisa
ć
w postaci macierzowej:
Y
X
a
X
X
T
T
=
⋅
(4.14)
Z układu tego wyznaczamy
a
:
(
)
(
)
(
)
Y
X
X
X
a
Y
X
X
X
a
X
X
X
X
T
T
T
T
T
T
1
1
1
−
−
−
=
=
⋅
(4.15)
Przykład:
Rozwa
Ŝ
my model z jedn
ą
zmienn
ą
obja
ś
niaj
ą
c
ą
:
t
t
t
x
y
ε
α
α
+
+
=
2
1
1
Wektor obserwacji zmiennej obja
ś
nianej Y oraz macierz X obserwacji zmiennej obja
ś
niaj
ą
cej X
maj
ą
posta
ć
:
=
=
1
1
1
1
1
2,62
2,51
2,56
2,63
2,32
X
65
69
73
71
73
Y
oceny
a
parametrów
α
wyznaczamy z formuły:
(
)
Y
X
X
X
a
a
a
T
T
1
2
1
−
=
=
w kolejnych krokach obliczamy:
−
−
=
=
−
100,87
39,82
39,82
15,75
X)
(X
5
12,64
12,64
32
X
X
1
T
T
=
351
886,46
Y
X
T
dr Dušan Bogdanov
6
Ekonometria 1
I ostatecznie oceny parametrów równania wynosz
ą
:
−
=
=
=
−
104,76
13,67
a
a
Y
X
X)
(X
a
0
1
T
1
T
Oszacowany model przedstawia si
ę
nast
ę
puj
ą
co:
t1
13,67x
104,76
t
yˆ
−
=
Warunek 1 mo
Ŝ
na rozszerzy
ć
na modele nieliniowe, ale liniowe ze wzgl
ę
du na parametry
oraz logarytmiczno-liniowe. Pozwala to na szacowanie metod
ą
najmniejszych kwadratów równie
Ŝ
znacznej grupy modeli nieliniowych.
dr Dušan Bogdanov
7
Ekonometria 1
Pytania kontrolne:
1. Podaj definicj
ę
klasycznego modelu liniowego.
2. Wyja
ś
nij jak teoretycznie mo
Ŝ
na wyobrazi
ć
sobie realizacj
ę
zmiennych losowych
(
)
n
t
t
,..
2
,
1
,
=
ε
3. Wyja
ś
nij istot
ę
metody najmniejszych kwadratów.
4. Przedstaw graficzn
ą
ilustracj
ę
metody najmniejszych kwadratów dla modelu z jedn
ą
zmienn
ą
obja
ś
niaj
ą
c
ą
.