Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

1

Wykład 5b

Wstęp do teorii estymacji



Estymatory



Metody wyznaczania estymatorów



Przykłady wyznaczania estymatorów metodą
momentów



Metoda największej wiarogodności (MNW)
i estymatory największej wiarogodności (ENW)

Funkcja wiarogodności

ENW dla parametru w rozkładzie wykładniczym

ENW dla parametru w rozkładzie Poissona

ENW dla parametru w rozkładzie jednostajnym

ENW dla parametrów w rozkładzie normalnym

Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

2

Estymatory



Modelem statystycznym nazywamy rodzinę (

,



F,



P )







wraz z ciągiem zmiennych losowych

n

2

1

X

,

,

X

,

X



określanych obserwacjami.



Spróbujemy wyjaśnić, skąd się bierze taka definicja. W
zagadnieniach praktycznych, bardzo często, nie znamy dokładnie
parametru



.

Załóżmy, że możemy jedynie umiejscowić go w

pewnym zbiorze



. Mamy zatem do czynienia z rodziną

(

,



F,



P )







, gdzie



jest zbiorem parametrów.

Nieznany rozkład, który „rządzi” zachowaniem obserwacji

(a więc i ich rozkładem) należy do



P ,







. Stąd też rozkład

obserwacji będzie także dziedziczył nieznany parametr.



Zauważmy, że próba losowa prosta jest szczególnym przypadkiem
ciągu zm. los. obserwowalnych. Wiemy, że są to zm. los.
niezależne o jednakowym rozkładzie. W dalszym toku wykładu
będziemy zajmowali się tylko takimi obserwacjami.



Na początku będziemy zakładali, że znamy typ rozkładu , z którego
pochodzi próba ale nie znamy pewnych parametrów . Np.
wiadomo, że poszczególne obserwacje pochodzą z rozkładu
wykładniczego

,

, ale nie jest dokładnie znane.



Te początkowe rozważania – związane z przybliżaniem

parametrów rozkładu – nazywają się estymacją parametryczną.



Estymatorem nieznanego parametru



nazywamy dowolną

statystykę T (

n

2

1

X

,

,

X

,

X



) o wartościach w zbiorze



, jeśli

interpretujemy statystykę T jako przybliżenie nieznanego parametru.
(Np. średnia arytmetyczna z próby traktowana jako estymator
wartości oczekiwanej rozkładu, z którego pochodzi próba).

Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

3



Oznaczenia. Statystycy przyjęli niepisaną umowę. Estymator T,
który przybliża wartość



przyjęto oznaczać



ˆ

np. estymator

odchylenia standardowego oznacza się



ˆ

.



Estymacja punktowa nieznanego parametru



polega na

wyznaczeniu wartości estymatora tego parametru na podstawie
próbki i przyjmowaniu tej wartości za oszacowanie parametru.



Uwaga. W pewnych przypadkach estymuje się nie konkretny

parametr, ale pewną jego funkcję określoną na przestrzeni
parametrów. Wtedy estymator otrzymuje nazwę tej funkcji
opatrzoną daszkiem np.

(

gˆ

n

2

1

X

,

,

X

,

X



) jest estymatorem g(



)



W estymacji parametrycznej parametr



może być także wektorem.

(np. estymujemy jednocześnie ( ,



Rodzą się pytania: a) Jak budować estymatory?

b) Jak oceniać jakość estymatora?

Popularne metody to: metoda momentów (MM), metoda największej
wiarogodności (MNW) i metoda najmniejszych kwadratów (MNK).
Zajmujemy się na początku budowaniem estymatorów. Rozważamy
metodę momentów i MNW.

Metody otrzymywania estymatorów.

Przykład. Producent bada jakość swojej zautomatyzowanej

produkcji. Niech



oznacza prawdopodobieństwo pojawiania się

sztuki wybrakowanej, (1-



) natomiast prawdopodobieństwo sztuki

bez wad. Producent chce ocenić



. Narzucającym się estymatorem

jest częstość braków w próbie losowej:



ˆ

(

n

2

1

X

,

,

X

,

X



)=

n

/

K

X

n



gdzie K jest liczbą

wadliwych elementów w n-elementowej próbie losowej.

Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

4

Metoda momentów (MM)

Metodę tę wprowadził Karl Pearson (1857-1936; brytyjski

matematyk).



Polega ona na oszacowaniu nieznanych momentów rozkładu za

pomocą momentów z prób (empirycznych). Wychodzi się z

założenia, że naturalnym estymatorem momentu rzędu p

rozkładu teoretycznego jest p-ty moment z próby.

Przypominamy:

k

A

=





n

1

i

k

i

X

n

1

-

k-ty moment zwykły z próby

k

m

=

k

)

X

X

(

n

1

n

1

i

i







-

k-ty moment centralny z próby

Momenty z próby są odpowiednikami momentów zwykłych i
centralnych z rozkładu.

a

k

= E(X

k

) - k-ty moment zwykły z rozkładu,

k



= E(X-E(X))

k

- k-ty moment centralny z rozkładu.

Metoda. Algorytm otrzymywania estymatorów polega na

przyrównaniu momentów rozkładu teoretycznego do odpowiednich

momentów z próby (empirycznych). Układamy tyle równań, ile jest

estymowanych parametrów.

Przykład. Próba pochodzi z rozkładu normalnego N(

.

Nieznane są parametry: wartość oczekiwana

odch. standardowe

Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

5

Wiadomo, że zmienna o rozkładzie teoretycznym ma następujące

momenty:
E(X)=

E(

. ( Przypominamy: Var (X) = E(X

2

)-

(E(X))

2

).

MM polega na zastąpieniu:



lewych stron równań przez momenty próbkowe,



nieznanych parametrów po prawej stronie równań ich

estymatorami.

Mamy więc następujące „równania estymacyjne”

X

=

, (1/n)





n

1

i

2

i

X

=

W rezultacie otrzymujemy estymatory

X

,

=





n

1

i

2

i

X

X

=





n

1

i

i

X

(

X

Ogólnie konstrukcja estymatorów
Niech

n

2

1

X

,

,

X

,

X



, f-funkcja gęstości rozkładu

teoretycznego . Niech

oznacza nieznany wektor

parametrów należący do



. Załóżmy, że rozkład teoretyczny

posiada k-momentów zwykłych i momenty te wyrażają się
równościami:

E(

) =

, p = 1,2,…,k.

Estymatorami MM nazywamy rozwiązania układu równań:

(1/n)







n

1

i

p

i

X

h

p

(

p 1 2 (*)

Niekiedy w metodzie MM opieramy się na momentach
centralnych. Wtedy równania na estymatory jest postaci

(1/n)









n

1

i

p

i

)

X

X

(

p

(

p 1 2

Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

6

Przykład. Rozkład teoretyczny: Gamma (

)

p

,



. Estymujemy oba

parametry. Przyjmujemy:

)

p

,



. Przypominamy

Równania rozkładu teoretycznego:
E(X) =



/

p

,

)

/

p

(

VarX

2





Zatem równania MM mają postać



ˆ

/

pˆ

=

X

,

.

S

ˆ

ˆ

/

pˆ

2

2





(**)

Wyznaczając z tych równości

pˆ

i

ˆ



, jako funkcje

2

S

ˆ

i

X

,

otrzymujemy estymatory:

2

S

ˆ

/

X

ˆ





,

.

S

ˆ

/

X

pˆ

2

2



Metoda największej wiarogodności

Idea metody. Wybieramy taki parametr rozkładu

teoretycznego, dla którego wyniki doświadczenia losowego są

najbardziej prawdopodobne.



Niech f(

)

x

,...,

x

,

x

;

n

2

1



oznacza łączną gęstość obserwacji

pochodzących z rozkładu o nieznanym parametrze







(lub łączną funkcję prawdopodobieństwa przy zm.los.

dyskretnych.

W przypadku próby losowej prostej jest to iloczyn gęstości

(iloczyn odpowiednich prawdopodobieństw) poszczególnych

zmiennych.

Definicja.Wiarogodnością (oznaczaną L(

))



nazywamy

funkcję gęstości (prawdopodobieństwa) łącznego rozkładu
obserwacji traktowaną jako funkcja parametru

.



Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

7

Zatem dla ustalonych wartości obserwacji

L(





)

f(

)

x

,...,

x

,

x

,

n

2

1



.

Definicja. Statystyka

)

X

,

,

X

,

X

(

ˆ

ˆ

n

2

1









jest estymatorem

największej wiarogodności (ENW) parametru



))

(

ENW

ˆ

(







jeśli

),

x

,...,

x

,

x

;

(

f

sup

)

x

,...,

x

,

x

);

x

,...,

x

,

x

(

ˆ

(

f

n

2

1

n

2

1

n

2

1













(*)

dla realizacji próby losowej:

n

2

1

x

,...,

x

,

x

Skrócony zapis (*):

)

(

L

sup

)

ˆ

(

L















Przykład 1. Obserwacje są próbą prostą pochodzącą
z rozkładu wykładniczego: f(x) =

x

e







. Przyjmujemy

L(





)

f(

)

x

,...,

x

,

x

,

n

2

1



=









i

x

n

e

Niech l(

















i

x

ln

n

)

(

L

ln

)

Analizujemy pochodną funkcji l(

. Z przyrównania

pochodnej do zera otrzymujemy















0

x

n

)

(

l

i

, zatem biorąc pod uwagę fakt, że

0

n

)

(

l

2













mamy następującą wartość argumentu

maksymalizującą L(

:

)



x

1

x

n

)

x

,...,

x

(

ˆ

i

n

1









dla każdej

realizacji próby losowej.
Wniosek. ENW(

X

/

1

)





Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne

8



Przykład 2. Okazuje się, że w przypadku, kiedy próba
pochodzi z rozkładu N(

)

,





z

0





, otrzymujemy

ENW(

)



i ENW(

2



) są odpowiednio

2

S

ˆ

i

X

.



Przykład 3. Próba pochodzi z rozkładu Poissona:

f(x)=

...

2

,

1

,

0

x

,

!

x

e

x









.

0





L(





)

f(

)

x

,...,

x

,

x

,

n

2

1



=

!

x

!...

x

e

n

1

)

n

x

...

2

x

1

x

(

n











Zatem
l(

)

!

x

ln(

x

)

ln(

n

)

(

L

ln

)

i

i























0

x

1

n

)

(

l

i

















dla

x

x

n

1

i









Badając pod uwagę zmianę znaków pochodnej w otoczeniu

x

(tutaj też druga pochodna jest ujemna) otrzymujemy :

arg max

)

(

L



=

x

.

Zatem

ENW(

)



=

X

.

Przykład 4. Próba pochodzi z rozkładu jednostajnego U(0,

)



,

.

0









1

)

x

(

f

dla x

]

,

0

[





w przeciwnym przypadku f(x) = 0.



















przypadku

przeciwnym

w

0

)

x

,...,

x

,

x

max(

dla

1

)

(

L

n

2

1

n

ENW(

)

X

,.....,

X

max(

)

n

1





.