Ekonometria
Metoda najmniejszych kwadratów
1
Metoda Najmniejszych Kwadratów
Niech będzie dany model:
t
tk
k
t
t
t
x
x
x
y
ξ
β
β
β
β
+
+
+
+
+
=
...
2
2
1
1
0
gdzie:
y –
x –
β
β
β
β -
ξ
ξξ
ξ -
t = 1,2, ..., T
k –
Zapis macierzowy modelu
Y = X β
β
β
β + ξ
ξξ
ξ
=
=
=
=
T
2
1
y
:
y
y
Y
,
=
=
=
=
Tk
2
T
1
T
k
2
22
21
k
1
12
11
x
...
x
x
1
:
:
:
:
x
...
x
x
1
x
...
x
x
1
X
ξ
ξξ
ξ
ξ
ξξ
ξ
ξ
ξξ
ξ
=
=
=
=
ξ
ξξ
ξ
T
2
1
M
β
β
β
β
β
β
β
β
β
β
β
β
=
=
=
=
β
β
β
β
k
2
1
M
Ekonometria
Metoda najmniejszych kwadratów
2
ZałoŜenia numeryczne MNK
1. r( X ) = k+1,
2. k+1 < T.
ZałoŜenia stochastyczne
1. E (ξξξξ
t
) = 0,
2. E(ξξξξ)
2
= σ
σ
σ
σ
ξ
2
= const,
3. E(ξξξξ
t
ξ
ξξ
ξ
s
) = 0, jeśli t ≠
≠
≠
≠ s,
4. E(xξξξξ) = 0,
5. ξξξξ
t
~ N (0, σ
σ
σ
σ
ξ
2
),
Ideą KMNK jest
∑
∑
∑
∑
=
=
=
=
ξ
ξξ
ξ
T
1
t
2
t
ˆ
min
(
) (
)
β
β
β
β
β
ξ
ξ
ξ
ˆ
ˆ
ˆ
2
ˆ
ˆ
ˆ
ˆ
ˆ
1
2
X
X
Y
X
Y
Y
X
Y
X
Y
T
T
T
T
T
T
T
T
t
t
+
−
=
−
−
=
=
∑
=
β
β
ξ
ξ
ˆ
2
2
ˆ
ˆ
ˆ
X
X
Y
X
T
T
T
+
−
=
∂
∂
Ekonometria
Metoda najmniejszych kwadratów
3
Warunek konieczny istnienia ekstremum funkcji:
0
ˆ
2
2
=
+
−
β
X
X
Y
X
T
T
Druga pochodna jest określona nieujemnie:
X
X
T
T
T
2
ˆ
ˆ
ˆ
ˆ
2
=
∂
∂
∂
β
β
ξ
ξ
Estymator uzyskanego klasyczną metodą najmniejszych
kwadratów ma postać:
(
)
Y
X
X
X
T
T
1
ˆ
−
=
β
Współliniowość zmiennych objaśniających
Ekonometria
Metoda najmniejszych kwadratów
4
t
t
t
x
y
ξ
β
β
+
+
=
1
0
Macierze momentów dla modelu z jedną zmienną
objaśniającą mają postać:
=
=
∑
∑
∑
=
=
=
T
t
t
T
t
t
T
t
t
T
T
T
x
x
x
T
x
x
x
x
x
x
X
X
1
2
1
1
2
1
2
1
1
1
1
...
1
1
1
M
M
K
=
=
∑
∑
=
=
T
t
t
t
T
t
t
T
T
T
y
x
y
y
y
y
x
x
x
y
X
1
1
2
1
2
1
...
1
1
1
M
K
Ekonometria
Metoda najmniejszych kwadratów
5
t
t
t
t
x
x
y
ξ
β
β
β
+
+
+
=
2
2
1
1
0
Macierze momentów dla modelu z dwoma
zmiennymi objaśniającymi mają postać:
=
=
∑
∑
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
=
=
T
t
t
t
T
t
t
T
t
t
T
t
t
t
T
t
t
T
t
t
T
t
t
T
t
t
T
T
T
T
T
x
x
x
x
x
x
x
x
x
x
T
x
x
x
x
x
x
x
x
x
x
x
x
X
X
1
2
2
1
1
2
1
2
1
2
1
1
2
1
1
1
1
2
1
1
2
22
12
1
21
11
2
22
12
1
21
11
1
1
1
1
1
1
M
M
M
K
K
K
=
=
∑
∑
∑
=
=
=
t
T
t
t
T
t
t
t
T
t
t
T
T
T
T
y
x
y
x
y
y
y
y
x
x
x
x
x
x
y
X
1
2
1
1
1
2
1
2
22
12
1
21
11
1
1
1
M
K
K
K
Ekonometria
Metoda najmniejszych kwadratów
6
Własności estymatora MNK
Estymator jest BLUE (the Best Linear Unbiased Estimator)
♦ nieobciąŜony
β
=
βˆ
E
♦ zgodny
♦ najefektywniejszy
Losowe błędy estymacji mają wariancje i kowariancje,
które są elementami macierzy wariancji i kowariancji
błędów ocen parametrów strukturalnych
=
−
−
=
Σ
)
ˆ
(
)
ˆ
,
ˆ
(
)
ˆ
,
ˆ
(
)
ˆ
,
ˆ
(
)
ˆ
(
)
ˆ
,
ˆ
(
)
ˆ
,
ˆ
(
)
ˆ
,
ˆ
(
)
ˆ
(
)
ˆ
)(
ˆ
(
ˆ
2
1
0
1
1
2
0
1
0
1
0
0
2
ˆ
k
k
k
k
k
T
E
β
σ
β
β
σ
β
β
σ
β
β
σ
β
σ
β
β
σ
β
β
σ
β
β
σ
β
σ
β
β
β
β
β
L
M
M
M
M
L
L
Ekonometria
Metoda najmniejszych kwadratów
7
Błędy estymacji parametrów są liniowymi funkcjami
składników zakłócających, czyli
ξ
β
β
T
T
X
X
X
1
)
(
ˆ
−
=
−
otrzymuje się więc:
1
2
2
1
0
1
1
2
0
1
0
1
0
0
2
ˆ
)
(
ˆ
)
ˆ
(
ˆ
)
ˆ
,
ˆ
(
ˆ
)
ˆ
,
ˆ
(
ˆ
)
ˆ
,
ˆ
(
ˆ
)
ˆ
(
ˆ
)
ˆ
,
ˆ
(
ˆ
)
ˆ
,
ˆ
(
ˆ
)
ˆ
,
ˆ
(
ˆ
)
ˆ
(
ˆ
ˆ
−
=
=
Σ
X
X
T
k
k
k
k
k
ξ
β
σ
β
σ
β
β
σ
β
β
σ
β
β
σ
β
σ
β
β
σ
β
β
σ
β
β
σ
β
σ
L
M
M
M
M
L
L
Średnie błędy ocen parametrów oblicza się jako
pierwiastki kwadratowe z kolejnych elementów na głównej
przekątnej macierzy wariancji i kowariancji błędów
estymacji parametrów.