Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
1
WYKŁAD 7b
Estymatory c.d. Własności asymptotyczne
Estymatory zgodne
Estymatory asymptotycznie normalne
Metoda delta
Własności estymatorów wyznaczanych metodą
największej wiarogodności
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
2
„ Próba nieskończona ”
Badaliśmy własności estymatorów, zdefiniowanych na
próbie losowej
n
1
X
,...,
X
o skończonym rozmiarze, n
.
Rozważmy teraz sytuacje, w której rozmiar próbki może
się dowolnie zwiększać.
Pytanie: jak zachowuje się estymator
)
X
,
,
X
(
gˆ
n
1
parametru g(
) gdy n
?
Estymatory zgodne
Definicja 1. Estymator
)
X
,
,
X
(
gˆ
n
1
wielkości g(
) jest
zgodny, jeśli dla każdego
,
1
)
|
)
(
g
)
X
,
,
X
(
gˆ
(|
P
lim
n
1
n
dla każdego
> 0.
Innymi słowy estymator jest zgodny, jeśli zbiega do
estymowanej wielkości według prawdopodobieństwa.
Definicja 2. Estymator
)
X
,
,
X
(
gˆ
n
1
wielkości g(
) jest
mocno zgodny, jeśli dla każdego
1
))
(
g
)
X
,
,
X
(
gˆ
lim
(
P
n
1
n
Innymi słowy estymator jest mocno zgodny, jeśli zbiega do
estymowanego parametru prawie na pewno.
Zatem estymator jest zgodny (mocno zgodny) jeśli przy
powiększaniu rozmiaru próby zbiega - w odpowiednim sensie
– do estymowanego parametru.
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
3
Przypominamy: zbieżność prawie na pewno i zbieżność
według prawdopodobieństwa.
Ciąg zm. losowych {Y
n
} zbiega do liczby g
a) z prawdopodobieństwem 1 (prawie na pewno), co
zapisujemy,
g
Y
.
n
.
p
n
, jeśli
1
})
g
)
(
Y
:
({
P
n
;
b) według prawdopodobieństwa (stochastycznie, według
miary), co zapisujemy
g
Y
P
n
, jeśli
1
})
|
g
)
(
Y
|
:
({
P
lim
n
n
dla każdego
0
.
Zbieżność
g
Y
.
n
.
p
n
ma miejsce wtedy i tylko wtedy, gdy
dla każdego
0
})
|
g
)
(
Y
|
sup
:
({
P
lim
n
n
k
n
= 1
MPWL Kołmogorowa. Jeżeli X
1
,X
2
,…, X
n
,… są
niezależnymi zm. los. o jednakowym rozkładzie
z wartością oczekiwaną
, to dla każdego
0
.
1
)
|
k
X
X
|
(sup
P
lim
k
1
n
k
n
Wniosek. Przyjmując
k
X
otrzymujemy:
k
X
.
n
.
p
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
4
Własność ta nazywa się (MPWL) co uzasadnia nazwę
Twierdzenia Kołmogorowa.
Przykład 1. MPWL dla niezależnych zm. los.
zerojedynkowych o jednakowym rozkładzie:
=
n
X
p, gdzie p = P(X
1
=1),
oznacza, że estymator wyrażający częstość sukcesów w
próbie
losowej
jest
zgodnym
estymatorem
prawdopodobieństwa sukcesu w rozkładzie teoretycznym .
Przykład 2. (Inne sformułowanie MPWL). Niech
n
1
X
,
,
X
będzie próbą prostą z rozkładu zm. los. X. O rozkładzie X
zakładamy jedynie, że
)
X
(
E
Niech
n
X
oznacza średnią z tej n elementowej próby. Mocne
prawo wielkich liczb (MPWL) mówi, że
.
n
.
p
n
X
co oznacza,
że średnia jest mocno zgodnym estymatorem wartości
oczekiwanej rozkładu X.
Przykład 3. Często używanymi statystykami są także
momenty z próby wyższych rzędów niż średnia. Niech
n
1
X
,
,
X
będzie próbą prostą z rozkładu zm. los. X.
O rozkładzie X zakładamy jedynie, że m
k
=E(X
k
)
, k
.
1
(k-ty moment rozkładu teoretycznego)
a) Rozważmy A
k
=
n
1
i
k
i
X
n
1
. Na mocy MPWL (zauważmy, że
Y
i
=
k
i
X
;
i=1,2,...,n, są niezależne o jednakowym rozkładzie i
że E(Y
i
) = m
k
<
) mamy więc także
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
5
A
k
=
n
1
i
k
i
X
n
1
n
przy
,
k
.
n
.
p
m
.
Zatem k-ty moment zwykły z próby jest estymatorem mocno
zgodnym k-tego zwykłego momentu rozkładu teoretycznego .
b) Niech
X
(
E
k
m
1
)
k
– k-ty moment centralny rozkładu
X. Rozważmy k-ty moment centralny z próby. Można
wykazać, że zachodzi następująca zbieżność
M
k
=
k
n
1
i
.
n
.
p
k
i
)
X
X
(
n
1
Dowód. Można pokazać, że między momentami centralnymi
i zwykłymi z próby (między M
k
i A
k
) zachodzą takie same
związki jak między momentami centralnymi i zwykłymi z
rozkładu (między
k
i m
k
).
Np. M
2
=
2
Sˆ
= A
2
-
2
1
A
,
2
1
2
2
m
m
.
Zatem z a) wynika, że
M
2
=
2
Sˆ
= A
2
-
2
1
A
n
.
p
2
2
2
1
2
m
m
Oznacza to, że M
2
=
2
Sˆ
jest zgodnym estymatorem wariancji
rozkładu teoretycznego zm. los. X. Podobny dowód można
przeprowadzić dla innych momentów.
Komentarz. Zgodność estymatora jest bardzo naturalnym
wymaganiem. Stąd też prawie wszystkie stosowane w
praktyce estymatory są zgodne (nawet mocno zgodne).
(Estymatory niezgodne jednak istnieją. Oto przykład.
Niech
X
1
,….X
n
,
E(X) =
. Niech X
1
=
. Estymator jest nieobciążony ale jeśli
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
6
X
1
na zbiorze o dodatnim prawdopodobieństwie, to nie jest on zgodny.
Mamy bowiem
0
})
|
)
(
X
|
:
({
P
})
|
)
(
|
:
({
P
lim
1
n
n
dla pewnego
Asymptotyczna efektywność
Miarę efektywności estymatora określaliśmy dla ustalonego
rozmiaru próby losowej.
Miara efektywności estymatora (
Przypominamy).
Niech
)
X
,...,
X
(
ˆ
n
1
1
i
)
X
,...,
X
(
ˆ
n
1
2
będą dwoma estymatorami tego
samego parametru
i niech
)
X
,...,
X
(
ˆ
n
1
1
będzie estymatorem
najefektywniejszym (ENMW).
Definicja. Wielkość
)
ˆ
(
Var
)
ˆ
(
Var
)
ˆ
(
eff
2
1
2
przyjmuje się za miarę efektywności estymatora
2
ˆ
.
Zauważmy, że
0 <
1
)
ˆ
(
Var
)
ˆ
(
Var
)
ˆ
(
eff
2
1
2
Oczywistym jest fakt, że równość
1
)
ˆ
(
eff
2
oznacza, iż
2
ˆ
jest najefektywniejszy.
Miarą asymptotycznej efektywności estymatora
ˆ
parametru
nazywamy granicę
n
lim
eff(
(
)
X
,...,
X
n
1
).
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
7
Mówimy, że estymator
gˆ
jest asymptotycznie
najefektywniejszy
jeśli
miara
asymptotycznej
efektywności tego estymatora wynosi 1.
W dalszym ciągu przy badaniu estymatorów wygodnie będzie
korzystać z następującej własności rozkładu normalnego.
Uwaga. (Przypominamy wiadomości z rachunku
prawdopodobieństwa).
a) O liniowym przekształceniu zm. los. normalnej. Jeżeli X ma
rozkład normalny N(
, ), to dla dowolnych liczb a,b (a
0) zmienna
Y=aX+b ma rozkład N(a
+b, |a|
)
b)
Jeżeli ciąg zm. losowych
),
,
0
(
N
Z
d
n
to oznacza, że
n
Z
)
1
,
0
(
N
d
.
Dowód.
.
tzn
)
,
0
(
N
Z
d
n
dt
)
2
x
exp(
2
1
)
a
Z
(
P
2
2
a
n
a więc
dx
)
2
x
exp(
2
1
)
a
Z
(
P
2
2
a
n
.
Przez zamianę zmiennych w ostatniej całce, podstawiając
s = (x/
otrzymujemy
ds
)
2
s
exp(
2
1
)
a
Z
(
P
2
/
a
n
.
Wobec dowolności a, oznaczając
, mamy
ds
)
2
s
exp(
2
1
)
z
Z
(
P
2
z
n
,
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
8
co oznacza, że
n
Z
)
1
,
0
(
N
d
.
Estymatory asymptotycznie normalne
Mówimy, że estymator
gˆ
(
)
X
,
,
X
n
1
wielkości g(
)
jest
asymptotycznie normalny, jeśli dla każdego
istnieje
takie
),
(
że
n
przy
)),
(
,
0
(
N
))
(
g
)
X
,
,
X
(
gˆ
(
n
(*)
d
n
1
Zaznaczona zbieżność jest zbieżnością według rozkładu.
Fakt. Własność (*) oznacza , że estymator jest
asymptotycznie normalny jeśli
)
a
(
),
a
(
)
a
))
(
g
)
X
,
,
X
(
gˆ
(
)
(
n
(
P
lim
n
1
n
jest
dystrybuantą rozkładu N(0,1).
Dowód wynika z punktu b)
Wniosek. Mówiąc mniej precyzyjnie oznacza to, że dla
dostatecznie dużych n rozkład statystyki
))
(
g
)
X
,
,
X
(
gˆ
(
)
(
n
n
1
jest bliski rozkładowi N(0,1). Zatem
na mocy Uwagi a) rozkład
gˆ
(
)
X
,
,
X
n
1
jest bliski
rozkładowi N(g(
)
n
/
)
(
),
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
9
Zwykło się nazywać wielkość
)
n
/
)
(
2
wariancją
asymptotyczną estymatora, chociaż z definicji nie wynika,
że
)
(
)
X
,
,
X
(
gˆ
nVar
2
n
1
.
Przykład.
gˆ
(
)
X
,
,
X
n
1
=
n
X
, g(
)
=
= E(X), X zmienna o
rozkładzie, z którego pochodzi próba. Z Centralnego
Twierdzenia Granicznego mamy
n
przy
),
,
0
(
N
)
X
(
n
d
n
gdzie
X
Var
)
(
2
Zauważmy, że w tym przypadku
)
n
/
)
(
2
jest wariancją
n
X
.
Przy badaniu asymptotycznej normalności wygodny jest
następujący lemat zwany Metodą delta.
Lemat. (Metoda delta). Jeżeli dla ciągu zmiennych losowych
n
T
mamy
)
,
0
(
N
)
T
(
n
d
n
przy n
i h:R
R
jest
funkcją różniczkowalną w punkcie
to
)
|
)
(
h
|
,
0
(
N
))
(
h
)
T
(
h
(
n
d
n
Idea dowodu. Rozwijamy h (wykorzystując wzór Taylora )
wokół
w następujący sposób
)
t
(
r
)
t
)(
(
h
)
(
h
)
t
(
h
, r(t)/(t-
)
0
dla t
Wstawiamy t =
n
T
i mnożymy strony równości przez
n
.
Otrzymujemy
n
)
T
(
r
n
)
T
(
n
)
(
h
))
(
h
)
T
(
h
(
n
n
n
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
10
Okazuje się , że przy n
składnik z resztą można pominąć,
a wykorzystując założenie lematu dostajemy tezę.
Komentarz. Metoda delta pozwala „ budować” estymatory
asymptotycznie normalne. Wykorzystamy ją przy konstrukcji
asymptotycznych przedziałów ufności.
Własności asymptotyczne estymatorów największej
wiarogodności
Są bardzo dokładne twierdzenia dotyczące estymatorów
otrzymywanych metodą największej wiarogodności. Nie
będziemy ich tutaj szczegółowo przytaczać. Wspomnieć
należy jednak, że w bardzo wielu przypadkach estymatory te
są zgodne, asymptotycznie normalne i asymptotycznie
efektywne.