Procesy stochastyczne

5. Łańcuchy Markowa — zadania do samodzielnego rozwiązania

Zad. 5.1 (J. S., Zad. 3a str. 272) Niech (U

n

) będzie ciągiem i.i.d., P (U

n

= 1) = P (U

n

= −1) =

1
2

.

Pokazać, że X

n

= U

n

· U

n+1

jest łańcuchem Markowa.

Zad. 5.2 (J. S., Zad. 4 str. 272) Podać przykład łańcucha Markowa X

0

, X

1

, ... i dowolnej funkcji

borelowskiej f , takich że f (X

0

), f (X

1

), ... nie jest łańcuchem Markowa.

Zad. 5.3 (J. S., Zad. 6a str. 273) Niech X

n

będzie błądzeniem losowym na prostej, X

0

= 0.

Pokazać, że ciąg (Y

n

) zdefiniowany wzorem

Y

n

= |X

n

|

jest łańcuchem Markowa i znaleźć macierz przejścia.

Zad. 5.4 (J. S., Zad. 7 str. 273) Niech X i Z będą łańcuchami Markowa o wartościach całkowi-

toliczbowych. Czy X + Z musi być łańcuchem Markowa?

Zad. 5.5 (J. S., Zad. 8 str. 273) Seminarium probabilistyczne jest organizowane przez matematy-

ków z Torunia, Warszawy i Wrocławia. Na zakończenie każdego spotkania losuje się z równy-
mi prawdopodobieństwami miejsce następnego spośród dwóch pozostałych ośrodków. Podać
macierz przejścia odpowiedniego łańcucha Markowa, obliczyć prawdopodobieństwo znalezie-
nia się w poszczególnych stanach w chwili n i ich granice przy n → ∞. Uwzględnij sytuacje,
gdy gospodarz pierwszego seminarium został wybrany losowo oraz, gdy był nim jeden usta-
lony wcześniej ośrodek np. Warszawa.

Zad. 5.6 (J. S., Zad. 13 str. 273) Niech X, Y będą niezależnymi łańcuchami Markowa, oba z ma-

cierzą przejścia P . Udowodnić, że Z = (X, Y ) jest łańcuchem Markowa z macierzą przejścia
p

ij,hk

= p

ih

p

jk

.

Zad. 5.7 Niech X

n

opisuje stan linii telefonicznej w chwili n. X

n

= 0, gdy linia jest wolna, X

n

= 1,

gdy linia jest zajęta. Prawdopodobieństwo, że ktoś zajmie linię jest równe p ∈ (0, 1), a że
ktoś zwolni linię jest równe q ∈ (0, 1). Przyjmujemy, że w chwili początkowej linia jest wolna.
Niech

τ = inf

n­1

{X

n

= 0}.

Oblicz Eτ .

Zad. 5.8 (J. S., Zad. 18 str. 274)

Funkcje harmoniczne. Jeśli (X

n

) jest łańcuchem Markowa o przestrzeni stanów S i ma-

cierzy przejścia (p

ij

), to funkcja harmoniczną nazywamy taką funkcję f : S → R, że istnieje

stała λ, dla której zachodzi równość

λf (i) =

X

j∈S

p

ij

f (j).

Wykazać, że jeśli f jest funkcją harmoniczną na łańcuchu Markowa (X

n

) o skończonej prze-

strzeni stanów, to ciąg (λ

−n

f (X

n

), σ(X

1

, ..., X

n

)) jest martyngałem.