dr Dušan Bogdanov

1

Ekonometria 1

Wykład 6

Własno

ś

ci estymatora parametrów klasycznego modelu liniowego

uzyskanego metod

ą

najmniejszych kwadratów

Wyka

ż

emy,

ż

e przy spełnieniu warunków stosowania metody najmniejszych kwadratów estymator

uzyskany metod

ą

najmniejszych kwadratów posiada po

żą

dane wła

ś

ciwo

ś

ci. W rozwa

ż

aniach

zachowamy oznaczenia z poprzednich wykładów.

Twierdzenie 1

Je

ż

eli model jest klasycznym modelem liniowym, to znaczy spełnione s

ą

warunki 1-4, to estymator

parametrów tego modelu, wyznaczony metod

ą

najmniejszych kwadratów jest nieobci

ąż

ony.

Dowód:

Nale

ż

y wykaza

ć

,

ż

e warto

ść

oczekiwana estymatora jest równa warto

ś

ci parametru, tzn.

( )

α

=

a

E

na podstawie warunku 1:

( )

( )

[

]

( )

(

)

[

]

=

+

=

=

−

−

ε

α

X

X

X

X

E

Y

X

X

X

E

a

E

T

T

T

T

1

1

( )

( )

( )

[

]

( )

[

]

ε

α

ε

α

T

T

T

T

T

T

X

X

X

E

X

X

X

X

X

X

X

E

a

E

1

1

1

−

−

−

+

=

+

=

(6.1)

Nast

ę

pnie korzystamy z warunku 2,

ż

e zmienne obja

ś

niaj

ą

ce s

ą

nielosowe oraz z warunku 4,

ż

e składniki losowe maj

ą

warto

ść

oczekiwan

ą

0:

( )

[

]

( )

( )

0

1

1

=

=

−

−

ε

ε

E

X

X

X

X

X

X

E

T

T

T

T

st

ą

d:

( ) ( )

( )

[

]

α

ε

α

=

+

=

−

T

T

X

X

X

E

E

a

E

1

(6.2)

co ko

ń

czy dowód.

Twierdzenie 2

Je

ż

eli model jest klasycznym modelem liniowym to macierz wariancji i kowariancji estymatorów

parametrów tego modelu wyznaczonych metod

ą

najmniejszych kwadratów wyra

ż

a si

ę

wzorem:

( )

( )

1

2

2

−

=

X

X

a

D

T

σ

(6.3)

dr Dušan Bogdanov

2

Ekonometria 1

Dowód:

( ) (

)(

)

( )

[

]

( )

[

]

( )

(

)

[

]

( )

(

)

[

]

=













−

+

⋅

−

+

=







−

⋅

−

=

−

−

=

−

−

−

−

T

T

T

T

T

T

T

T

T

T

T

X

X

X

X

X

X

X

X

E

Y

X

X

X

Y

X

X

X

E

a

a

E

a

D

α

ε

α

α

ε

α

α

α

α

α

1

1

1

1

2

( )

[

]

( )

[

]

=













⋅

=

−

−

T

T

T

T

T

X

X

X

X

X

X

E

ε

ε

1

1

( )

( )

[

]

( )

( ) ( )

1

1

1

1

−

−

−

−

=

=

X

X

X

E

X

X

X

X

X

X

X

X

X

E

T

T

T

T

T

T

T

T

T

εε

εε

(6.4)

poniewa

ż

( )

I

E

T

2

σ

εε

=

to

( )

( )

( )

( )

1

2

1

2

1

2

−

−

−

=

⋅

=

X

X

X

X

X

I

X

X

X

a

D

T

T

T

T

σ

σ

(6.5)

co ko

ń

czy dowód.

Twierdzenie 3 Gaussa-Markowa

1

Je

ż

eli model jest klasycznym modelem liniowym to estymator wyznaczony metod

ą

najmniejszych

kwadratów jest najefektywniejszym nieobci

ąż

onym liniowym estymatorem parametrów tego modelu.

Dowód:

Mówimy,

ż

e estymator jest liniowy, je

ż

eli jest liniow

ą

funkcj

ą

wektora

Y

to znaczy mo

ż

na go

przedstawi

ć

w postaci:

AY

a

=

, gdzie

A

jest dowoln

ą

macierz

ą

nielosow

ą

o wymiarach (k x n).

Aby estymator

AY

był nieobci

ąż

ony, to znaczy aby jego warto

ść

oczekiwana była równa

parametrowi:

( )

(

)

[

]

α

α

ε

α

=

=

+

=

AX

X

A

E

AY

E

(6.6)

potrzeba aby

I

AX

=

1

Por. G. C. Chow, Ekonometria, Wydawnictwo Naukowe PWN, Warszawa 1995, s. 80 i nast.

dr Dušan Bogdanov

3

Ekonometria 1

Macierz wariancji i kowariancji nieobci

ąż

onego estymatora

AY

jest równa:

(

)(

)

[

]

(

)

[

]

(

)

[

]

{

}

=

−

+

⋅

−

+

=

−

−

T

T

X

A

X

A

E

AY

AY

E

α

ε

α

α

ε

α

α

α

(

)

( )

T

T

T

T

T

AA

A

E

A

A

A

E

2

σ

εε

εε

=

⋅

=

=

(6.7)

Macierz

A

mo

ż

na przedstawi

ć

jako sum

ę

macierzy

( )

T

T

X

X

X

1

−

i pewnej macierzy

B

,

po podstawieniu do równo

ś

ci

I

AX

=

otrzymujemy:

( )

[

]

( )

I

BX

I

BX

X

X

X

X

X

B

X

X

X

AX

T

T

T

T

=

+

=

+

=

+

=

−

−

1

1

(6.8)

st

ą

d:

0

=

BX

wyznaczmy macierz wariancji i kowariancji estymatora

AY

( )

[

]

( )

I

BX

I

BX

X

X

X

X

X

B

X

X

X

AX

T

T

T

T

=

+

=

+

=

+

=

−

−

1

1

( )

( )

[

]

( )

[

]

=

+

⋅

+

=

=

−

−

T

T

T

T

T

T

B

X

X

X

B

X

X

X

AA

AY

D

1

1

2

2

2

σ

σ

( )

( ) ( )

( )

[

]

=

+

+

+

=

−

−

−

−

T

T

T

T

T

T

T

T

BB

X

X

BX

B

X

X

X

X

X

X

X

X

X

1

1

1

1

2

σ

( )

[

]

T

T

BB

X

X

+

=

−

1

2

σ

(6.9)

a wi

ę

c:

( )

(

)

Y

X

X

X

D

AY

D

T

T

1

2

2

)

(

−

≥

(6.10)

dr Dušan Bogdanov

4

Ekonometria 1

czyli macierz kowariancji dowolnego liniowego nieobci

ąż

onego estymatora jest wi

ę

ksza od macierzy

kowariancji

( )

1

2

−

X

X

T

σ

estymatorów uzyskanych metod

ą

najmniejszych kwadratów, co ko

ń

czy

dowód.

Twierdzenie 4

Je

ż

eli model jest klasycznym modelem liniowym i parametry tego modelu szacowane s

ą

metod

ą

najmniejszych kwadratów, to nieobci

ąż

ony estymator wariancji składnika losowego

2

σ

wyra

ż

a si

ę

wzorem:

∑

=

−

=

−

=

n

t

t

T

e

k

n

e

e

k

n

s

1

2

2

1

1

(6.11)

Dowód:

( )

( )

(

)

=

+

−

+

=

−

+

=

−

=

−

−

ε

α

ε

α

ε

α

X

X

X

X

X

X

Y

X

X

X

X

X

a

X

Y

e

T

T

T

T

1

1

( )

( )

[

]

ε

ε

ε

⋅

−

=

−

=

−

−

T

T

n

T

T

X

X

X

X

I

X

X

X

X

1

1

(6.12)

Nast

ę

pnie wyznaczymy warto

ść

oczekiwan

ą

e

e

T

. Przyjmiemy dodatkowo,

ż

e

tr

oznacza

ś

lad

macierzy, to jest sum

ę

elementów na głównej przek

ą

tnej macierz kwadratowej. W dalszych

przekształceniach skorzystamy z własno

ś

ci:

( ) ( )

BA

tr

AB

tr

=

.

( )

[

]

( )

[

]

{

}

=

−

−

=

−

−

ε

ε

T

T

n

T

T

n

T

T

X

X

X

X

I

X

X

X

X

I

E

e

Ee

1

1

(

)

[

]

{

}

=

−

=

−

ε

ε

T

T

n

T

X

X

X

X

I

E

1

(

)

[

]

(

)

{

}

=

−

=

−

ε

ε

T

T

n

T

X

X

X

X

I

tr

E

1

(

)

[

]

{

}

=

−

=

−

ε

ε

T

T

T

n

T

X

X

X

X

I

tr

E

e

Ee

1

(6.13)

dr Dušan Bogdanov

5

Ekonometria 1

(

)

[

]

=

−

=

−

ε

ε

T

T

T

n

E

X

X

X

X

I

tr

1

( )

(

)

[

]

(

)

k

n

X

X

X

X

tr

trI

T

T

n

−

=

−

=

−

2

1

2

σ

σ

A wi

ę

c warto

ść

oczekiwana wyra

ż

enia

e

e

k

n

s

T

−

=

1

2

wynosi

2

σ

, czyli

2

s

jest nieobci

ąż

onym

estymatorem wariancji składnika losowego, co nale

ż

ało udowodni

ć

.

Twierdzenie 5

Je

ż

eli model jest klasycznym modelem liniowym i składnik losowy ma rozkład normalny,

to

estymator

parametrów

tego

modelu

wyznaczony

metod

ą

najmniejszych

kwadratów

ma k- wymiarowy rozkład normalny.

Dowód:

( )

( )

(

)

( )

ε

α

ε

α

T

T

T

T

T

T

X

X

X

X

X

X

X

Y

X

X

X

a

1

1

1

−

−

−

+

=

+

=

=

(6.14)

Poniewa

ż

parametry modelu s

ą

nielosowe oraz zmienne obja

ś

niaj

ą

ce s

ą

nielosowe,

a

ε

ma rozkład normalny to

a

te

ż

ma rozkład normalny, co nale

ż

ało udowodni

ć

.

Przedstawione twierdzenia stanowi

ą

teoretyczn

ą

podstaw

ę

budowy jednorównaniowych liniowych

modeli ekonometrycznych.

Z twierdzenia 1 oraz z twierdzenia Gaussa-Markowa wynika,

ż

e wyznaczony metod

ą

najmniejszych kwadratów estymator parametrów klasycznego modelu liniowego jest nieobci

ąż

ony

i najefektywniejszy w klasie nieobci

ąż

onych estymatorów liniowych.

Natomiast z twierdzenia 2 i 4 wynika,

ż

e nieobci

ąż

ony estymator macierzy wariancji i kowariancji

ocen parametrów klasycznego modelu liniowego ma posta

ć

:

( )

( )

X

X

s

a

D

T

2

2

ˆ

=

. Na głównej

przek

ą

tnej tej macierzy znajduj

ą

si

ę

wariancje ocen parametrów modelu, a ich pierwiastki

to odchylenia standardowe ocen parametrów. Nazywa si

ę

je bł

ę

dami standardowymi ocen

parametrów. Wyra

ż

aj

ą

si

ę

one wzorem:

dr Dušan Bogdanov

6

Ekonometria 1

( )

1

,

,...

2

,

1

,

−

∈

=

=

X

X

c

k

i

c

s

b

T

ii

ii

i

(6.15)

Bł

ę

dy standardowe szacunków parametrów s

ą

podstaw

ą

oceny dokładno

ś

ci estymacji, przy czym

w praktyce do oceny u

ż

ywa si

ę

bł

ę

dów wzgl

ę

dnych (stosunek bł

ę

du szacunku i oceny parametru).

Dowodzi si

ę

,

ż

e przy zało

ż

eniach 1-4 elementy macierzy

( )

a

D

2

d

ążą

do zera, gdy liczba

obserwacji n d

ąż

y do niesko

ń

czono

ś

ci. Z twierdzenia 1 wynika natomiast,

ż

e estymatory parametrów

strukturalnych modelu; s

ą

nieobci

ąż

one, a wi

ę

c s

ą

one zgodne. Zgodno

ść

estymatorów gwarantuje

zmniejszanie si

ę

prawdopodobie

ń

stwa popełniania bł

ę

dów szacunku wraz ze wzrostem liczby

obserwacji.

Ponadto w twierdzeniu 4 okre

ś

lony został estymator parametru struktury stochastycznej modelu.

Sformułujemy jeszcze dwa twierdzenia, które co prawda nie odgrywaj

ą

ż

adnej roli w estymacji

parametrów, jednak s

ą

wykorzystywane w weryfikacji, pierwsze- do badania istotno

ś

ci parametrów

strukturalnych modelu, drugie- liniowej zale

ż

no

ś

ci zmiennej obja

ś

nianej i zmiennych obja

ś

niaj

ą

cych.

Twierdzenie 6

Je

ż

eli model jest klasycznym modelem liniowym i składniki losowe maj

ą

rozkład normalny

i estymatory parametrów modelu s

ą

wyznaczone metod

ą

najmniejszych kwadratów to zmienna

losowa:

ii

i

i

i

c

a

Z

σ

α

−

=

ma rozkład normalny standaryzowany, a zmienna losowa:

ii

i

i

i

c

s

a

t

α

−

=

ma rozkład Studenta o n-k stopniach swobody.

Twierdzenie 7

Je

ż

eli zmienna obja

ś

niana

Y

ma rozkład normalny i nie jest liniowo skorelowana ze zmiennymi

obja

ś

niaj

ą

cymi

(

)

k

X

X

X

,...

,

2

1

to zmienna losowa

(

)

(

)

2

2

2

2

1

1

1

1

1

1

1

1

ϕ

ϕ

k

n

k

R

k

n

R

k

F

−

−

−

=

−

−

−

=

(6.16)

dr Dušan Bogdanov

7

Ekonometria 1

ma rozkład Fishera-Snedecora o k-1 i n-k stopniach swobody.

Pytania kontrolne:

1. Kiedy mówimy,

ż

e estymator jest liniowy?

2. Co stanowi podstaw

ę

oceny dokładno

ś

ci estymacji?

3. Co to jest bł

ą

d standardowy oceny parametru?

4. Je

ż

eli zmienna obja

ś

niana ma rozkład normalny i nie jest liniowo skorelowana

ze zmiennymi obja

ś

niaj

ą

cymi to, jaki rozkład ma zmienna losowa?