Procesy stochastyczne
5. Łańcuchy Markowa — zadania do samodzielnego rozwiązania
Zad. 5.1 (J. S., Zad. 3a str. 272) Niech (U
n
) będzie ciągiem i.i.d., P (U
n
= 1) = P (U
n
= −1) =
1
2
.
Pokazać, że X
n
= U
n
· U
n+1
jest łańcuchem Markowa.
Zad. 5.2 (J. S., Zad. 4 str. 272) Podać przykład łańcucha Markowa X
0
, X
1
, ... i dowolnej funkcji
borelowskiej f , takich że f (X
0
), f (X
1
), ... nie jest łańcuchem Markowa.
Zad. 5.3 (J. S., Zad. 6a str. 273) Niech X
n
będzie błądzeniem losowym na prostej, X
0
= 0.
Pokazać, że ciąg (Y
n
) zdefiniowany wzorem
Y
n
= |X
n
|
jest łańcuchem Markowa i znaleźć macierz przejścia.
Zad. 5.4 (J. S., Zad. 7 str. 273) Niech X i Z będą łańcuchami Markowa o wartościach całkowi-
toliczbowych. Czy X + Z musi być łańcuchem Markowa?
Zad. 5.5 (J. S., Zad. 8 str. 273) Seminarium probabilistyczne jest organizowane przez matematy-
ków z Torunia, Warszawy i Wrocławia. Na zakończenie każdego spotkania losuje się z równy-
mi prawdopodobieństwami miejsce następnego spośród dwóch pozostałych ośrodków. Podać
macierz przejścia odpowiedniego łańcucha Markowa, obliczyć prawdopodobieństwo znalezie-
nia się w poszczególnych stanach w chwili n i ich granice przy n → ∞. Uwzględnij sytuacje,
gdy gospodarz pierwszego seminarium został wybrany losowo oraz, gdy był nim jeden usta-
lony wcześniej ośrodek np. Warszawa.
Zad. 5.6 (J. S., Zad. 13 str. 273) Niech X, Y będą niezależnymi łańcuchami Markowa, oba z ma-
cierzą przejścia P . Udowodnić, że Z = (X, Y ) jest łańcuchem Markowa z macierzą przejścia
p
ij,hk
= p
ih
p
jk
.
Zad. 5.7 Niech X
n
opisuje stan linii telefonicznej w chwili n. X
n
= 0, gdy linia jest wolna, X
n
= 1,
gdy linia jest zajęta. Prawdopodobieństwo, że ktoś zajmie linię jest równe p ∈ (0, 1), a że
ktoś zwolni linię jest równe q ∈ (0, 1). Przyjmujemy, że w chwili początkowej linia jest wolna.
Niech
τ = inf
n1
{X
n
= 0}.
Oblicz Eτ .
Zad. 5.8 (J. S., Zad. 18 str. 274)
Funkcje harmoniczne. Jeśli (X
n
) jest łańcuchem Markowa o przestrzeni stanów S i ma-
cierzy przejścia (p
ij
), to funkcja harmoniczną nazywamy taką funkcję f : S → R, że istnieje
stała λ, dla której zachodzi równość
λf (i) =
X
j∈S
p
ij
f (j).
Wykazać, że jeśli f jest funkcją harmoniczną na łańcuchu Markowa (X
n
) o skończonej prze-
strzeni stanów, to ciąg (λ
−n
f (X
n
), σ(X
1
, ..., X
n
)) jest martyngałem.