Metoda najmniejszych kwadratów Metoda Najmniejszych Kwadratów Niech będzie dany model:
y = β + β x + β x + ... + β x + ξ
t
0
1
t1
2
t 2
k
tk
t
gdzie:
y –
x –
β -
ξ -
t = 1,2, ..., T
k –
Zapis macierzowy modelu Y = X β + ξ
y
ξ
1
1
1 x
x
...
x
11
12
1k
y
ξ
2
2
Y =
1 x
x
...
x
21
22
2k
ξ =
:
X =
M
:
:
:
:
,
y
ξT
T
1 x
x
...
x
T1
T 2
Tk
β
1
β2
β = M
βk
1
Metoda najmniejszych kwadratów ZałoŜenia numeryczne MNK
1. r( X ) = k+1,
2. k+1 < T.
ZałoŜenia stochastyczne
1. E (ξt) = 0,
2. E(ξ)2 = σ 2
ξ = const,
3. E(ξt ξs) = 0, jeśli t ≠ s, 4. E(xξ) = 0,
5. ξ
2
t ~ N (0, σξ ),
Ideą KMNK jest
∑T
∑ξ2ˆ
min
t
t=1
T
∑ξˆ2 =ξˆTξˆ = −
−
=
−
+
t
(Y βˆ
X )T (Y
βˆ
X ) Y T Y
βˆ
2 T X T Y
βˆ T X T X βˆ
t 1
=
∂ξˆTξˆ =− 2X TY + X T Xβˆ
2
∂ βˆ
2
Metoda najmniejszych kwadratów Warunek konieczny istnienia ekstremum funkcji: T
T
ˆ
− 2X Y + 2X
β
X = 0
Druga pochodna jest określona nieujemnie: 2
T
ˆ ˆ
∂ ξ ξ = 2X T X
T
ˆ ˆ
∂ β∂β
Estymator uzyskanego klasyczną metodą najmniejszych kwadratów ma postać:
β (X T X ) 1
ˆ
−
=
X TY
Współliniowość zmiennych objaśniających 3
Metoda najmniejszych kwadratów y = β + β x + ξ
t
0
1 t
t
Macierze momentów dla modelu z jedną zmienną objaśniającą mają postać:
1 x
1
T
K
T
∑ xt
1
1
1 1
x
T
2
X X =
=
t=1
x
x
...
x
M
M
1
2
T
T
T
2
∑ x
x
t
∑
t
1
x
t=1
t =1
T
y
1
T
K
∑ yt
1
1
1 y
T
2
X y =
= t=1
x
x
...
x
M
1
2
T
T
∑
x y
t
t
y
t=1
T
4
Metoda najmniejszych kwadratów y = β + β x + β x + ξ
t
0
1 t1
2
t 2
t
Macierze momentów dla modelu z dwoma zmiennymi objaśniającymi mają postać:
T
T
1 x x
T
∑ x
x
t1
∑ t2
1
1
K
1
11
12
t=1
t =1
1
x
x
T
21
22
T
T
T
2
X X = x
x
K
x
=
x
x
x x
11
21
T 1
∑ t1
∑ t1
∑
M
M
M
t1 t 2
x
x
K
x
t =1
t=1
t=1
12
22
T 2
T
T
T
1 x x
2
T1
T 2
x
x x
x
∑ t2 ∑ t2 t1 ∑
t 2
t =1
t=1
t =1
T
y
∑ yt
1
1
K
1 1
t=1
y
T
2 T
X y = x
x
K
x
=
x y
11
21
T 1
∑
M
t1
t
x
x
K
x
t =1
12
22
T 2
T
yT
x y
∑
t 2
t
t =1
5
Metoda najmniejszych kwadratów Własności estymatora MNK
Estymator jest BLUE (the Best Linear Unbiased Estimator)
♦ nieobciąŜony
βÊ = β
♦ zgodny
♦ najefektywniejszy
Losowe błędy estymacji mają wariancje i kowariancje, które są elementami macierzy wariancji i kowariancji błędów ocen parametrów strukturalnych
2 ˆ
ˆ ˆ
L
ˆ ˆ
σ (β )
σ(β ,β )
σ(β ,β )
0
0
1
0
k
σ β β
σ β
L σ β β
T
ˆ ˆ
2
ˆ
ˆ ˆ
( ,
)
( )
( ,
)
1
0
1
1
k
Σˆ = E β − ˆ
(
β β − ˆ
)(
β) =
ˆ
β
M
M
M
M
ˆ ˆ
ˆ ˆ
2
L
ˆ
σ(β ,β ) σ(β ,β )
σ (β )
k
0
k
1
k
6
Metoda najmniejszych kwadratów Błędy estymacji parametrów są liniowymi funkcjami składników zakłócających, czyli βˆ − β
T
1
−
T
= ( X X ) X ξ
otrzymuje się więc:
2
ˆ
ˆ
ˆ
L
ˆ
ˆ
ˆ
σ (β )
ˆ
σ (β , β )
ˆ
σ (β , β )
0
0
1
0
k
2
ˆ ˆ
ˆ
L
ˆ ˆ
ˆ
σ (β , β )
ˆ
σ (β )
ˆ
σ (β , β )
1
0
1
1
k
2
1
ˆΣ =
ˆ
σ (X T X )−
=
ˆ
ξ
β
M
M
M
M
2
ˆ
ˆ
ˆ
ˆ
L
ˆ
ˆ
σ (β , β )
ˆ
σ (β , β )
ˆ
σ (β )
k
0
k
1
k
Średnie błędy ocen parametrów oblicza się jako pierwiastki kwadratowe z kolejnych elementów na głównej przekątnej macierzy wariancji i kowariancji błędów estymacji parametrów.
7