Procesy stochastyczne
6. Klasyfikacja stanów — zadania do samodzielnego rozwiązania
Zad. 6.1 Niech S = {1, 2, 3, 4}. Przeprowadzić klasyfikację stanów łańcucha Markowa o macierzy
przejścia
1
4
1
4
1
4
1
4
0
0
3
4
1
4
0
0
0
1
0
0
0
1
Zad. 6.2 Pokazać, że w klasie stanów istotnych relacja ”stany s
i
i s
j
komunikują się” jest rela-
cją równoważności. Wywnioskować stąd, że przestrzeń stanów S łańcucha Markowa można
podzielić na rozłączne klasy stanów S
0
, S
1
, S
2
, ... takie, że
1. S
0
składa się z wszystkich stanów nieistotnych;
2. S
i
, i 1 są rozłączne i wewnątrz każdej klasy wszystkie stany komunikują się.
Zad. 6.3 (B. M. P., Ex. 4.24 p. 116) Rozważmy jednorodny łańcuch Markowa o przestrzeni stanów
S = {1, 2, 3, 4, 5} i macierzy przejścia
1
3
0
1
12
1
4
1
3
0
1
4
0
0
3
4
1
3
1
12
1
2
0
1
12
0
1
3
1
4
1
4
1
6
0
1
3
0
0
2
3
Sklasyfikuj stany tego łańcucha.
Zad. 6.4 (K., Ex. 47.5 p. 221) W poniższej macierzy przejścia znakiem x zaznaczono niezerowe
współrzędne tej macierzy:
0
0
0 x 0
0
0
0 x
0 x x 0 x 0
0
0 x
0
0
0
0
0
0
0 x 0
x 0
0
0
0
0
0
0
0
0
0
0
0 x 0
0
0
0
0 x 0
0
0
0
0
0
0
0 x 0
0
0 x x 0
0
0
0 x 0
0
0
0
0
0
0
0
0 x 0
0
0
0 x
.
Sklasyfikuj stany łańcucha o takiej macierzy przejścia. Które z tych stanów są okresowe?
Zad. 6.5 (J. S., Zad. 3 str. 286) Czy nieprzywiedlny łańcuch Markowa o wszystkich elementach
na przekątnej macierzy przejścia równych 0 musi być okresowy?