dr Dušan Bogdanov
1
Ekonometria 1
Wykład 6
Własno
ś
ci estymatora parametrów klasycznego modelu liniowego
uzyskanego metod
ą
najmniejszych kwadratów
Wyka
Ŝ
emy,
Ŝ
e przy spełnieniu warunków stosowania metody najmniejszych kwadratów estymator
uzyskany metod
ą
najmniejszych kwadratów posiada po
Ŝą
dane wła
ś
ciwo
ś
ci. W rozwa
Ŝ
aniach
zachowamy oznaczenia z poprzednich wykładów.
Twierdzenie 1
Je
Ŝ
eli model jest klasycznym modelem liniowym, to znaczy spełnione s
ą
warunki 1-4, to estymator
parametrów tego modelu, wyznaczony metod
ą
najmniejszych kwadratów jest nieobci
ąŜ
ony.
Dowód:
Nale
Ŝ
y wykaza
ć
,
Ŝ
e warto
ść
oczekiwana estymatora jest równa warto
ś
ci parametru, tzn.
( )
α
=
a
E
na podstawie warunku 1:
( )
( )
[
]
( )
(
)
[
]
=
+
=
=
−
−
ε
α
X
X
X
X
E
Y
X
X
X
E
a
E
T
T
T
T
1
1
( )
( )
( )
[
]
( )
[
]
ε
α
ε
α
T
T
T
T
T
T
X
X
X
E
X
X
X
X
X
X
X
E
a
E
1
1
1
−
−
−
+
=
+
=
(6.1)
Nast
ę
pnie korzystamy z warunku 2,
Ŝ
e zmienne obja
ś
niaj
ą
ce s
ą
nielosowe oraz z warunku 4,
Ŝ
e składniki losowe maj
ą
warto
ść
oczekiwan
ą
0:
( )
[
]
( )
( )
0
1
1
=
=
−
−
ε
ε
E
X
X
X
X
X
X
E
T
T
T
T
st
ą
d:
( ) ( )
( )
[
]
α
ε
α
=
+
=
−
T
T
X
X
X
E
E
a
E
1
(6.2)
co ko
ń
czy dowód.
Twierdzenie 2
Je
Ŝ
eli model jest klasycznym modelem liniowym to macierz wariancji i kowariancji estymatorów
parametrów tego modelu wyznaczonych metod
ą
najmniejszych kwadratów wyra
Ŝ
a si
ę
wzorem:
( )
( )
1
2
2
−
=
X
X
a
D
T
σ
(6.3)
dr Dušan Bogdanov
2
Ekonometria 1
Dowód:
( ) (
)(
)
( )
[
]
( )
[
]
( )
(
)
[
]
( )
(
)
[
]
=
−
+
⋅
−
+
=
−
⋅
−
=
−
−
=
−
−
−
−
T
T
T
T
T
T
T
T
T
T
T
X
X
X
X
X
X
X
X
E
Y
X
X
X
Y
X
X
X
E
a
a
E
a
D
α
ε
α
α
ε
α
α
α
α
α
1
1
1
1
2
( )
[
]
( )
[
]
=
⋅
=
−
−
T
T
T
T
T
X
X
X
X
X
X
E
ε
ε
1
1
( )
( )
[
]
( )
( ) ( )
1
1
1
1
−
−
−
−
=
=
X
X
X
E
X
X
X
X
X
X
X
X
X
E
T
T
T
T
T
T
T
T
T
εε
εε
(6.4)
poniewa
Ŝ
( )
I
E
T
2
σ
εε
=
to
( )
( )
( )
( )
1
2
1
2
1
2
−
−
−
=
⋅
=
X
X
X
X
X
I
X
X
X
a
D
T
T
T
T
σ
σ
(6.5)
co ko
ń
czy dowód.
Twierdzenie 3 Gaussa-Markowa
1
Je
Ŝ
eli model jest klasycznym modelem liniowym to estymator wyznaczony metod
ą
najmniejszych
kwadratów jest najefektywniejszym nieobci
ąŜ
onym liniowym estymatorem parametrów tego modelu.
Dowód:
Mówimy,
Ŝ
e estymator jest liniowy, je
Ŝ
eli jest liniow
ą
funkcj
ą
wektora
Y
to znaczy mo
Ŝ
na go
przedstawi
ć
w postaci:
AY
a
=
, gdzie
A
jest dowoln
ą
macierz
ą
nielosow
ą
o wymiarach (k x n).
Aby estymator
AY
był nieobci
ąŜ
ony, to znaczy aby jego warto
ść
oczekiwana była równa
parametrowi:
( )
(
)
[
]
α
α
ε
α
=
=
+
=
AX
X
A
E
AY
E
(6.6)
potrzeba aby
I
AX
=
1
Por. G. C. Chow, Ekonometria, Wydawnictwo Naukowe PWN, Warszawa 1995, s. 80 i nast.
dr Dušan Bogdanov
3
Ekonometria 1
Macierz wariancji i kowariancji nieobci
ąŜ
onego estymatora
AY
jest równa:
(
)(
)
[
]
(
)
[
]
(
)
[
]
{
}
=
−
+
⋅
−
+
=
−
−
T
T
X
A
X
A
E
AY
AY
E
α
ε
α
α
ε
α
α
α
(
)
( )
T
T
T
T
T
AA
A
E
A
A
A
E
2
σ
εε
εε
=
⋅
=
=
(6.7)
Macierz
A
mo
Ŝ
na przedstawi
ć
jako sum
ę
macierzy
( )
T
T
X
X
X
1
−
i pewnej macierzy
B
,
po podstawieniu do równo
ś
ci
I
AX
=
otrzymujemy:
( )
[
]
( )
I
BX
I
BX
X
X
X
X
X
B
X
X
X
AX
T
T
T
T
=
+
=
+
=
+
=
−
−
1
1
(6.8)
st
ą
d:
0
=
BX
wyznaczmy macierz wariancji i kowariancji estymatora
AY
( )
[
]
( )
I
BX
I
BX
X
X
X
X
X
B
X
X
X
AX
T
T
T
T
=
+
=
+
=
+
=
−
−
1
1
( )
( )
[
]
( )
[
]
=
+
⋅
+
=
=
−
−
T
T
T
T
T
T
B
X
X
X
B
X
X
X
AA
AY
D
1
1
2
2
2
σ
σ
( )
( ) ( )
( )
[
]
=
+
+
+
=
−
−
−
−
T
T
T
T
T
T
T
T
BB
X
X
BX
B
X
X
X
X
X
X
X
X
X
1
1
1
1
2
σ
( )
[
]
T
T
BB
X
X
+
=
−
1
2
σ
(6.9)
a wi
ę
c:
( )
(
)
Y
X
X
X
D
AY
D
T
T
1
2
2
)
(
−
≥
(6.10)
dr Dušan Bogdanov
4
Ekonometria 1
czyli macierz kowariancji dowolnego liniowego nieobci
ąŜ
onego estymatora jest wi
ę
ksza od macierzy
kowariancji
( )
1
2
−
X
X
T
σ
estymatorów uzyskanych metod
ą
najmniejszych kwadratów, co ko
ń
czy
dowód.
Twierdzenie 4
Je
Ŝ
eli model jest klasycznym modelem liniowym i parametry tego modelu szacowane s
ą
metod
ą
najmniejszych kwadratów, to nieobci
ąŜ
ony estymator wariancji składnika losowego
2
σ
wyra
Ŝ
a si
ę
wzorem:
∑
=
−
=
−
=
n
t
t
T
e
k
n
e
e
k
n
s
1
2
2
1
1
(6.11)
Dowód:
( )
( )
(
)
=
+
−
+
=
−
+
=
−
=
−
−
ε
α
ε
α
ε
α
X
X
X
X
X
X
Y
X
X
X
X
X
a
X
Y
e
T
T
T
T
1
1
( )
( )
[
]
ε
ε
ε
⋅
−
=
−
=
−
−
T
T
n
T
T
X
X
X
X
I
X
X
X
X
1
1
(6.12)
Nast
ę
pnie wyznaczymy warto
ść
oczekiwan
ą
e
e
T
. Przyjmiemy dodatkowo,
Ŝ
e
tr
oznacza
ś
lad
macierzy, to jest sum
ę
elementów na głównej przek
ą
tnej macierz kwadratowej. W dalszych
przekształceniach skorzystamy z własno
ś
ci:
( ) ( )
BA
tr
AB
tr
=
.
( )
[
]
( )
[
]
{
}
=
−
−
=
−
−
ε
ε
T
T
n
T
T
n
T
T
X
X
X
X
I
X
X
X
X
I
E
e
Ee
1
1
(
)
[
]
{
}
=
−
=
−
ε
ε
T
T
n
T
X
X
X
X
I
E
1
(
)
[
]
(
)
{
}
=
−
=
−
ε
ε
T
T
n
T
X
X
X
X
I
tr
E
1
(
)
[
]
{
}
=
−
=
−
ε
ε
T
T
T
n
T
X
X
X
X
I
tr
E
e
Ee
1
(6.13)
dr Dušan Bogdanov
5
Ekonometria 1
(
)
[
]
=
−
=
−
ε
ε
T
T
T
n
E
X
X
X
X
I
tr
1
( )
(
)
[
]
(
)
k
n
X
X
X
X
tr
trI
T
T
n
−
=
−
=
−
2
1
2
σ
σ
A wi
ę
c warto
ść
oczekiwana wyra
Ŝ
enia
e
e
k
n
s
T
−
=
1
2
wynosi
2
σ
, czyli
2
s
jest nieobci
ąŜ
onym
estymatorem wariancji składnika losowego, co nale
Ŝ
ało udowodni
ć
.
Twierdzenie 5
Je
Ŝ
eli model jest klasycznym modelem liniowym i składnik losowy ma rozkład normalny,
to
estymator
parametrów
tego
modelu
wyznaczony
metod
ą
najmniejszych
kwadratów
ma k- wymiarowy rozkład normalny.
Dowód:
( )
( )
(
)
( )
ε
α
ε
α
T
T
T
T
T
T
X
X
X
X
X
X
X
Y
X
X
X
a
1
1
1
−
−
−
+
=
+
=
=
(6.14)
Poniewa
Ŝ
parametry modelu s
ą
nielosowe oraz zmienne obja
ś
niaj
ą
ce s
ą
nielosowe,
a
ε
ma rozkład normalny to
a
te
Ŝ
ma rozkład normalny, co nale
Ŝ
ało udowodni
ć
.
Przedstawione twierdzenia stanowi
ą
teoretyczn
ą
podstaw
ę
budowy jednorównaniowych liniowych
modeli ekonometrycznych.
Z twierdzenia 1 oraz z twierdzenia Gaussa-Markowa wynika,
Ŝ
e wyznaczony metod
ą
najmniejszych kwadratów estymator parametrów klasycznego modelu liniowego jest nieobci
ąŜ
ony
i najefektywniejszy w klasie nieobci
ąŜ
onych estymatorów liniowych.
Natomiast z twierdzenia 2 i 4 wynika,
Ŝ
e nieobci
ąŜ
ony estymator macierzy wariancji i kowariancji
ocen parametrów klasycznego modelu liniowego ma posta
ć
:
( )
( )
X
X
s
a
D
T
2
2
ˆ
=
. Na głównej
przek
ą
tnej tej macierzy znajduj
ą
si
ę
wariancje ocen parametrów modelu, a ich pierwiastki
to odchylenia standardowe ocen parametrów. Nazywa si
ę
je bł
ę
dami standardowymi ocen
parametrów. Wyra
Ŝ
aj
ą
si
ę
one wzorem:
dr Dušan Bogdanov
6
Ekonometria 1
( )
1
,
,...
2
,
1
,
−
∈
=
=
X
X
c
k
i
c
s
b
T
ii
ii
i
(6.15)
Bł
ę
dy standardowe szacunków parametrów s
ą
podstaw
ą
oceny dokładno
ś
ci estymacji, przy czym
w praktyce do oceny u
Ŝ
ywa si
ę
bł
ę
dów wzgl
ę
dnych (stosunek bł
ę
du szacunku i oceny parametru).
Dowodzi si
ę
,
Ŝ
e przy zało
Ŝ
eniach 1-4 elementy macierzy
( )
a
D
2
d
ąŜą
do zera, gdy liczba
obserwacji n d
ąŜ
y do niesko
ń
czono
ś
ci. Z twierdzenia 1 wynika natomiast,
Ŝ
e estymatory parametrów
strukturalnych modelu; s
ą
nieobci
ąŜ
one, a wi
ę
c s
ą
one zgodne. Zgodno
ść
estymatorów gwarantuje
zmniejszanie si
ę
prawdopodobie
ń
stwa popełniania bł
ę
dów szacunku wraz ze wzrostem liczby
obserwacji.
Ponadto w twierdzeniu 4 okre
ś
lony został estymator parametru struktury stochastycznej modelu.
Sformułujemy jeszcze dwa twierdzenia, które co prawda nie odgrywaj
ą
Ŝ
adnej roli w estymacji
parametrów, jednak s
ą
wykorzystywane w weryfikacji, pierwsze- do badania istotno
ś
ci parametrów
strukturalnych modelu, drugie- liniowej zale
Ŝ
no
ś
ci zmiennej obja
ś
nianej i zmiennych obja
ś
niaj
ą
cych.
Twierdzenie 6
Je
Ŝ
eli model jest klasycznym modelem liniowym i składniki losowe maj
ą
rozkład normalny
i estymatory parametrów modelu s
ą
wyznaczone metod
ą
najmniejszych kwadratów to zmienna
losowa:
ii
i
i
i
c
a
Z
σ
α
−
=
ma rozkład normalny standaryzowany, a zmienna losowa:
ii
i
i
i
c
s
a
t
α
−
=
ma rozkład Studenta o n-k stopniach swobody.
Twierdzenie 7
Je
Ŝ
eli zmienna obja
ś
niana
Y
ma rozkład normalny i nie jest liniowo skorelowana ze zmiennymi
obja
ś
niaj
ą
cymi
(
)
k
X
X
X
,...
,
2
1
to zmienna losowa
(
)
(
)
2
2
2
2
1
1
1
1
1
1
1
1
ϕ
ϕ
k
n
k
R
k
n
R
k
F
−
−
−
=
−
−
−
=
(6.16)
dr Dušan Bogdanov
7
Ekonometria 1
ma rozkład Fishera-Snedecora o k-1 i n-k stopniach swobody.
Pytania kontrolne:
1. Kiedy mówimy,
Ŝ
e estymator jest liniowy?
2. Co stanowi podstaw
ę
oceny dokładno
ś
ci estymacji?
3. Co to jest bł
ą
d standardowy oceny parametru?
4. Je
Ŝ
eli zmienna obja
ś
niana ma rozkład normalny i nie jest liniowo skorelowana
ze zmiennymi obja
ś
niaj
ą
cymi to, jaki rozkład ma zmienna losowa?