dr Dušan Bogdanov
1
Ekonometria 1
Wykład 5
Wnioski z metody najmniejszych kwadratów
Rozwa
Ŝ
my układ równa
ń
normalnych w sytuacji, gdy model liniowy ma wyraz wolny, to znaczy
1
≡
tk
x
. Układ równa
ń
normalnych mo
Ŝ
na zapisa
ć
w postaci:
∑
∑
∑
∑
=
=
=
=
=
+
+
+
n
t
t
t
n
t
t
k
n
t
t
t
n
t
t
x
y
x
a
x
x
a
x
a
1
1
1
1
1
2
1
2
1
2
1
1
...
∑
∑
∑
∑
=
=
=
=
=
+
+
+
n
t
t
t
n
t
t
k
n
t
t
n
t
t
t
x
y
x
a
x
a
x
x
a
1
2
1
2
1
2
2
2
1
2
1
1
...
…………………………………………………..
∑
∑
∑
=
=
=
=
+
+
+
n
t
t
k
n
t
t
n
t
t
y
na
x
a
x
a
1
1
2
2
1
1
1
...
(5.1)
Ostatnie równanie podzielmy przez n:
∑
∑
∑
=
=
=
=
+
+
+
n
t
t
k
n
t
t
n
t
t
y
n
a
x
n
a
x
n
a
1
1
2
2
1
1
1
1
...
1
1
(5.2)
y
a
x
a
x
a
k
=
+
+
+
...
2
2
1
1
(5.3)
Funkcja liniowa z wyrazem wolnym przechodzi przez warto
ś
ci
ś
rednie zmiennych.
W dalszej analizie odwołajmy si
ę
do postaci układu bezpo
ś
rednio po zró
Ŝ
niczkowaniu:
(
) (
)
∑
=
−
⋅
−
−
−
−
⋅
=
∂
∂
n
t
t
tk
k
t
t
t
x
x
a
x
a
x
a
y
a
S
1
1
2
2
1
1
1
...
2
(
) (
)
∑
=
−
⋅
−
−
−
−
⋅
=
∂
∂
n
t
t
tk
k
t
t
t
x
x
a
x
a
x
a
y
a
S
1
2
2
2
1
1
2
...
2
…………………………………………………………
(
) ( )
∑
=
−
⋅
−
−
−
−
⋅
=
∂
∂
n
t
tk
k
t
t
t
k
x
a
x
a
x
a
y
a
S
1
2
2
1
1
1
...
2
(5.4)
dr Dušan Bogdanov
2
Ekonometria 1
Z przyrównania pochodnych cz
ą
stkowych do zera otrzymali
ś
my:
(
) (
)
0
...
2
1
1
2
2
1
1
=
−
⋅
−
−
−
−
⋅
∑
=
n
t
t
tk
k
t
t
t
x
x
a
x
a
x
a
y
(
) (
)
0
...
2
1
2
2
2
1
1
=
−
⋅
−
−
−
−
⋅
∑
=
n
t
t
tk
k
t
t
t
x
x
a
x
a
x
a
y
………………………………………………………
(
) ( )
0
1
...
2
1
2
2
1
1
=
−
⋅
−
−
−
−
⋅
∑
=
n
t
tk
k
t
t
t
x
a
x
a
x
a
y
(5.5)
(
)
0
...
1
1
2
2
1
1
=
⋅
−
−
−
−
∑
=
n
t
t
tk
k
t
t
t
x
x
a
x
a
x
a
y
(
)
0
...
1
2
2
2
1
1
=
⋅
−
−
−
−
∑
=
n
t
t
tk
k
t
t
t
x
x
a
x
a
x
a
y
…………………………………………………
(
)
0
...
1
2
2
1
1
=
−
−
−
−
∑
=
n
t
tk
k
t
t
t
x
a
x
a
x
a
y
(5.6)
Odchylenia zaobserwowanych warto
ś
ci zmiennej obja
ś
nianej
t
y
od warto
ś
ci oszacowanej funkcji
tk
k
t
t
t
x
a
x
a
x
a
y
+
+
+
=
...
ˆ
2
2
1
1
, to jest
t
t
t
y
y
e
ˆ
−
=
nazywamy resztami.
∑
=
=
n
t
t
t
x
e
1
1
0
∑
=
=
n
t
t
t
x
e
1
2
0
…………
∑
=
=
n
t
t
e
1
0
(5.7)
Z przedstawionych równa
ń
wynika,
Ŝ
e w modelu liniowym szacowanym metod
ą
najmniejszych
kwadratów wektor reszt i zmienne obja
ś
niane s
ą
ortogonalne i je
Ŝ
eli w modelu jest wyraz wolny
to suma reszt jest równa 0.
dr Dušan Bogdanov
3
Ekonometria 1
W warunku 3 stosowania metody najmniejszych kwadratów
Ŝą
damy, aby zmienne obja
ś
niaj
ą
ce
były liniowo niezale
Ŝ
ne, to znaczy aby
Ŝ
adna ze zmiennych obja
ś
niaj
ą
cych nie była kombinacj
ą
liniow
ą
pozostałych zmiennych. Spełnienie tego warunku gwarantuje nam,
Ŝ
e macierz
( )
X
X
T
jest
nieosobliwa tzn.
( )
0
det
≠
X
X
T
, a wi
ę
c układ równa
ń
normalnych ma rozwi
ą
zanie. Sprawd
ź
my
to na przykładzie modelu, w którym b
ę
d
ą
tylko dwie zmienne obja
ś
niaj
ą
ce:
2
2
1
1
x
x
y
α
α
+
=
,
je
Ŝ
eli te zmienne b
ę
d
ą
liniowo zale
Ŝ
ne to
−
=
p
px
x
,
2
1
skalar, wówczas:
( )
=
=
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
n
t
t
n
t
t
t
n
t
t
t
n
t
t
n
t
t
n
t
t
t
n
t
t
t
n
t
t
T
x
x
px
x
px
x
p
x
x
x
x
x
x
X
X
1
2
2
1
2
2
1
2
2
1
2
2
2
1
2
2
1
2
1
1
2
1
1
2
1
( )
0
det
2
1
2
2
2
2
1
2
2
2
=
−
=
∑
∑
=
=
n
t
t
n
t
t
T
x
p
x
p
X
X
(5.8)
Rozwa
Ŝ
my jeszcze, te
Ŝ
na przykładzie modelu z dwiema zmiennymi obja
ś
niaj
ą
cymi, przypadek
przeciwny, to znaczy, gdy zmienne obja
ś
niaj
ą
ce s
ą
ortogonalne (prostopadłe), wtedy
∑
=
=
n
t
t
t
x
x
1
2
1
0
,
oceny parametrów tego modelu b
ę
d
ą
miały posta
ć
:
( )
Y
X
X
X
a
T
T
1
−
=
(5.9)
( )
=
=
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
n
t
t
n
t
t
n
t
t
n
t
t
t
n
t
t
t
n
t
t
T
x
x
x
x
x
x
x
x
X
X
1
2
2
1
2
1
1
2
2
1
2
1
1
2
1
1
2
1
0
0
(5.10)
(
)
∑
∑
=
=
=
n
t
t
n
t
t
T
x
x
X
X
1
2
2
1
2
1
det
(5.11)
⋅
=
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
n
t
t
t
n
t
t
t
n
t
t
n
t
t
n
t
t
n
t
t
x
y
x
y
x
x
x
x
a
a
1
2
1
1
1
2
1
1
2
2
1
2
2
1
2
1
2
1
0
0
1
(5.12)
dr Dušan Bogdanov
4
Ekonometria 1
=
∑
∑
∑
∑
=
=
=
=
n
t
t
n
t
t
t
n
t
t
n
t
t
t
x
x
y
x
x
y
a
a
1
2
2
1
2
1
2
1
1
1
2
1
(5.13)
Z powy
Ŝ
szego wida
ć
,
Ŝ
e w przypadku zmiennych obja
ś
niaj
ą
cych ortogonalnych oceny parametrów
przy poszczególnych zmiennych zale
Ŝą
tylko od obserwacji tych zmiennych i zmiennej obja
ś
nianej.
Wniosek ten mo
Ŝ
na uogólni
ć
na dowoln
ą
liczb
ę
zmiennych obja
ś
niaj
ą
cych. Wzajemna ortogonalno
ść
zmiennych obja
ś
niaj
ą
cych jest korzystna dla interpretacji parametrów strukturalnych modelu
1
.
Pytania kontrolne:
1. Kiedy zmienne obja
ś
niaj
ą
ce modelu s
ą
ortogonalne?
2. Jakie skutki dla szacunków parametrów modelu ma ortogonalno
ść
zmiennych?
3. Kiedy zmienne s
ą
liniowo niezale
Ŝ
ne?
1
M. Rocki, Ekonometria praktyczna, SGH, Warszawa 2000, s. 28-29