Seria: Informatyka
Metody niezawodności i
eksploatacji
Wykład 10
Modele Markowa w
eksploatacji systemów –
modele klasy CD

dr hab. inż. Tadeusz Nowicki prof.

nadzw. WAT

e-mail:[e-mail], tel. 6-

837118

Podział procesów klasy DC na typy

semimarkowskie

inne PNP

kaskadowe

Procesy DC

Markowa

inne

o zależnych

przyrostach PZP

o niezależnych

przyrostach PNP

Poissona

inne PZP

Rys. Podział procesów klasy DC na typy

Oznaczenia:

X(t

i

)=X

i

, P{X(t

i

)=x

i

}=p(x

i

),

P{X

1

=x

1

, X

2

=x

2

,...,X

n

=x

n

}=p(x

1

,x

2

,...,x

n

),

P(X

n

=x

n

 X

n-1

=x

n-1

, X

n-2

=x

n-2

,..., X

1

=x

1

)= p(x

n

x

n-1

,...,x

1

),

P(X

n

=x

n

 X

1

=x

1

)= p(x

n

x

1

)

Twierdzenie.

Niech

{t

1

,t

2

,...,t

n-1

,t

n

}

będzie

dowolnym

wybranym

skończonym ciągiem n wartości parametru t procesu X(t),
którym odpowiadają zmienne losowe {X

1

,X

2

,...,X

n-1

,X

n

}.

Spełniona jest następująca równość:

p(x

n

x

1

)=    ...  p(x

n

x

n-1

,x

n-2

,...,x

1

)p(x

n-1

x

n-2

,x

n-

3

,...,x

1

) ... p(x

2

x

1

)

x

n-1

x

n-2

x

n-3

x

2

Rozkłady warunkowe procesu klasy DC

Niech {t

i

: i=1,..,n} będzie dowolnym ciągiem

rosnącym wartości parametru tT dla dla procesu

stochastycznego klasy DC. Otrzymujemy wtedy
odpowiedni ciąg { X(t

i

): i=1,...,n} zmiennych

losowych.

Wniosek (ważny!)

Dla n=3 teza twierdzenia brzmi następująco

p(x

3

x

1

)=  p(x

3

x

2

,x

1

) p(x

2

x

1

)

x

2

czyli po zmianie kolejności w iloczynie mamy

p(x

3

x

1

)=  p(x

2

x

1

) p(x

3

x

2

,x

1

)

x

2

Ale dla procesu Markowa mamy

p(x

3

x

2

,x

1

)= p(x

3

x

2

)

zatem

p(x

3

x

1

)=  p(x

2

x

1

) p(x

3

x

2

)

x

2

Ogólnie więc dla t

i

<t

j

<t

k

mamy

p(x

k

x

i

)=  p(x

j

x

i

) p(x

k

x

j

)= p(x

k

x

j

)p(x

j

x

i

)

x

j

x

j

Procesy semimarkowskie

Definicja i własności procesów
semimarkowskich

Proces X(t) nazywamy procesem
semimarkowskim o skończonym zbiorze
stanów, jeśli spełnia następujące założenia:

•X(t) przyjmuje wartości ze skończonego
zbioru





m

2

1

e

,...,

e

,

e

E 

•Czasy trwania



i

stanów e

i

są niezależnymi

dodatnimi

zmiennymi

losowymi,

o

dystrybuantach F

i

() , przy czym F

i

(+0)<1,

i=1,2,...,m.

•Warunkowe prawdopodobieństwa przejścia
z i-tego stanu do j-tego stanu, przy
warunku, że 

i

= , sa określone jako

funkcje q

ij

() spełniające warunek

m.

1,2,...,

i

,

1

)

(

q

m

1

j

ij











przy czym q

ij

(

i

) mają skończone wartości

oczekiwane





m.

1,2,...,

j

i,

),

(

dF

)

(

q

)

(

q

E

p

i

0

ij

i

ij

ij

















Uwagi:

•Wartości prawdopodobieństw p

ij

można

traktować

jako

oczekiwane

prawdopodobieństwa przejść, ponieważ

1

)

(

dF

)

(

q

)

(

dF

)

(

q

p

i

m

1

j

0

m

1

j

ij

i

0

ij

m

1

j

ij

































•Gdy zmienne losowe



i

mają rozkłady

jednopunktowe o skoku w punkcie 1, to
proces semimarkowski staje się łańcuchem
markowa

klasy

DD

z

macierzą

prawdopodobieństw przejść

 

 

m

m

ij

m

m

ij

)

1

(

q

p











•Gdy zmienne losowe



i

mają rozkłady

wykładnicze

m

1,2,...,

i

,

e

1

)

(

F

i

i















oraz q

ij

()=q

ij

=const, i,j=1,2,...,m wtedy

można

pokazać,

że

proces

X(t)

jest

jednorodnym procesem Markowa klasy DC o
macierzy intensywności przejść

 

m

m

ij 







       gdzie 

ij

=

i

q

ij

.

Wskaźniki przejścia 

ij

Dla każdej zmiennej losowej 

i

określa się

rodzinę binarnych zmiennych losowych 

ij

={

ij

: j=1,2,...,m} o rozkładach zależnych od

funkcji q

ij

()





)

(

q

/

1

P

ij

i

ij



















)

(

q

1

/

0

P

ij

i

ij

















Uwaga:

•Wskaźniki przejścia



ij

spełniają











m

1

j

ij

m.

1,2,...,

i

,

1

•Bezwarunkowa wartość oczekiwana

 

 





 





ij

i

ij

ij

ij

p

q

E

E

E

E















Czas utrzymywania się procesu
półmarkowskiego w podzbiorze stanów

Niech E

1

E, E

0

E\E

1

, E

1

E

0

=E. Oznaczmy

przez 

i

zmienną losową będącą czasem

utrzymywania się procesu stochastycznego
X(t) w podzbiorze stanów E

1

, pod warunkiem,

że jako pierwszy wystąpi stan i-ty. Można
pokazać, że





1

1

E

j

'

j

ij

i

i

E

i

,

x

P

x

P







































Ten układ równań stochastycznych (w
sensie rozkładów) można zapisać
symbolicznie następująco:

1

1

E

j

'

j

ij

i

i

E

i

, 

















Zmienne losowe 

i

, ’

j

, oraz 

ij

, ’

j

są

parami niezależne.

Przyjmijmy oznaczania:

 E{

i

}=a

i

,

 E{

j

}=m

j

.

Wartość oczekiwana zmiennej losowej 

i

Mając na uwadze powyższe, otrzymujemy

1

E

i

,

1









E

j

j

ij

i

i

m

p

a

m

Otrzymujemy układ równań liniowych, z
którego

możemy

wyznaczyć

wartości

oczekiwane czasów przebywania procesu w
podzbiorze stanów E

1

.

Funkcja charakterystyczna rozkładu

Zmienna losowa 

j

ma pewien rozkład

prawdopodobieństwa o dystrybuancie 

j

(x) i

gęstości 

j

(x). Oznaczmy przez T

j

() funkcję

charakterystyczną zmiennej losowej 

j

. Z

definicji

 

















0

j

x

i

j

i

j

dx

)

x

(

e

e

E

)

(

T

Istnieje

związek

między

T

j

()

i

przekształceniem Laplace’a gęstości 

j

(x)

rozkładu zmiennej losowej 

j

:













0

j

sx

j

dx

)

x

(

e

)

s

(

ponieważ

)

i

(

)

(

T

j

j











możemy
zapisać

 

j

s

j

e

E

)

s

(

T







Otrzymujemy równość:

 





1

'

j

s

1

E

j

i

s

ij

i

s

i

E

i

,

1

e

E

e

E

e

E

)

s

(

T



















































i dalej

 









1

j

1

E

j

i

s

ij

i

s

i

E

i

,

1

)

s

(

T

e

E

e

E

)

s

(

T























Z

równania

tego

można

wyznaczyć

transformaty

Laplace’a

funkcji

charakterystycznych rozkładów zmiennych
losowych 

j

i dalej uzyskać gęstość rozkładu

tych zmiennych losowych stosując odwrotne
przekształcenie Laplace’a.

Można

jednak

wyznaczyć

transformaty

Laplace’a

funkcji

charakterystycznych

rozkładów zmiennych losowych 

j

w prostszy

sposób.

Jeśli przez p

ij

() oznaczymy

prawdopodobieństwo przejścia (i,j) w
odcinku czasu od chwili t wejścia procesu
x(t) do stanu i do wybranej chwili t

i

+  , to

m

,...,

1

j

,

i

,

x

d

)

x

(

f

)

x

(

q

)

x

(

dF

)

x

(

q

)

(

p

0

i

ij

0

i

ij

ij

















oraz









0

)

(

)

(





ij

s

ij

dp

e

s

p





i

s

ij

i

ij

s

ij

e

E

dF

q

e

s

p























0

)

(

)

(

)

(

W efekcie otrzymać można równania
postaci:





1

E

i

,

)

(

)

(

)

(

0

1















E

j

ij

E

j

j

ij

ij

s

p

s

T

s

p



gdzie

















0

0

)

(

)

(

)

(

)

(

)

(















d

f

q

e

dF

q

e

s

p

i

ij

s

i

ij

s

ij

Zatem uzyskujemy układ zawierający tyle
równań, ile elementów zawiera zbiór E

1

.

Wielkości p

ij

() i dalej p

ij

(s) wyznaczamy w

oparciu o wzór niższy i dalej podstawiając do
równań wyższych uzyskujemy układ liniowych
równań ze względu na T

j

(s). Po otrzymaniu

postaci tych funkcji zależnych od zmiennej s
wyznaczamy

transformatę

odwrotną

Laplace’a otrzymując w efekcie rozkłady (w
postaci funkcji gęstości) zmiennych losowych


i

.

Podstawowe charakterystyki procesów
semimarkowskich

Intensywności odnowień stanów procesów
semimarkow-skich

Niech N

j

(t,h) oznacza liczbę odnowień stanu

e

j

w odcinku czasu (t,t+h). Przez odnowienie

stanu e

j

rozumie się przejście procesu x(t) do

stanu e

j

z każdego dowolnego stanu e

i

,

i=1,...,m.

Twierdzenie 1. Dla procesu
semimarkowskiego istnieją granice

0

t

,

m

,...,

1

j

,

h

}

1

)

h

,

t

(

N

{

P

j

0

h

lim









Twierdzenie 2. Dla procesu
semimarkowskiego zachodzi

0

t

,

m

,...,

1

j

,

0

h

}

2

)

h

,

t

(

N

{

P

j

0

h

lim











Na mocy obu twierdzeń otrzymujemy:



 



)

h

(

o

1

)

h

,

t

(

N

P

1

)

h

,

t

(

N

P

j

j









oraz









h

1

)

h

,

t

(

N

P

h

1

)

h

,

t

(

N

P

j

0

h

j

0

h

lim

lim











Oznaczmy przez





m

,...,

1

j

,

h

1

)

h

,

t

(

N

P

)

t

(

j

0

h

j

lim











i

funkcje



j

(t)

nazywać

będziemy

intensywnościami odnowień odpowiednich
stanów procesu x(t). Funkcje 

j

(t) są

wyznaczane jednoznacznie układem równań:





m

,...,

1

j

),

s

(

h

)

0

(

P

)

s

(

)

s

(

h

z

ij

m

1

i

i

i

m

1

i

ij

ij























gdzi
e

m

,...,

1

i

,

dt

e

)

t

(

)

s

(

st

0

i

i















m

,...,

1

j

,

i

,

dt

e

)

t

(

q

)

t

(

f

)

s

(

h

st

ij

0

i

ij











m

,...,

1

j

,

i

,

dt

e

)

z

(

F

1

)

t

z

(

q

)

t

z

(

f

)

s

(

h

st

0

i

ij

i

z

ij



















przy Re s>0.

Uwaga: symbolem u(s) oznaczamy
transformatę Laplace’a funkcji u(t).

Charakterystyki chwilowe procesów
semimarkowskich

Umiejętność wyznaczania funkcji 

j

(s) oraz

ich transformat odwrotnych 

j

(t) pozwala

nam uzyskać podstawową charakterystykę
chwilową dla procesów semimarkowskich.
Jest to prawdopodobieństwo P

j

(t) zdarzenia

polegającego na tym, że w ustalonej chwili
t>0 proces będzie przebywał w stanie e

j

,

j=1,...,m, przy czym zakłada się znajomość
rozkładu

początkowego

P(0).

Przy

ustaleniach

z

definicji

procesów

semimarkowskich otrzymujemy:





m

,...,

1

j

,

)

z

(

F

1

)

t

z

(

F

1

)

0

(

P

dv

)

v

(

F

1

)

v

t

(

)

t

(

P

j

j

j

t

0

j

j

j





















oznaczając

m

,...,

1

j

,

dt

e

)

t

(

f

)

s

(

f

,

dt

e

)

t

(

P

)

s

(

P

0

st

j

j

0

st

j

j



















otrzymuje
my





m

,...,

1

j

,

dt

e

)

z

(

F

1

)

t

z

(

F

1

)

0

(

P

)

s

(

f

1

s

1

)

s

(

)

s

(

P

0

st

j

j

j

j

j

j























Poszukiwaną funkcję P

j

(t) wyznaczamy jako

oryginał funkcji P

j

(s), j=1,...,m.

Charakterystyki graniczne procesów
semimarkowskich

Prawdopodobieństwa przejść w momentach
zmian stanów procesu semimarkowskiego
określa stochastyczna macierz





m

m

ij

m

m

ij

p

q

E











]

[

)}

(

{



która wraz ze zbiorem E stanów procesu oraz
zbiorem chwil zmian stanów definiuje tak
zwany włożony łańcuch Markowa. Jeśli
łańcuch ten jest ergodyczny, to określić
można dla niego rozkład graniczny

gdzie 

i

oznacza graniczne

prawdopodobieństwo przebywania włożonego
łańcucha Markowa w stanie i-tym, i=1,...,m.





m

2

1

,...,

,











Wektor  otrzymujemy z układu równań

























m

1

i

i

1

0

)

I

(

Niec
h

m

,...,

1

i

,

)

t

(

dF

t

}

{

E

i

0

i

i



















wtedy





















m

1

i

i

i

t

gdzie

,

1

t

)

t

(

N

lim

oraz

E

A

,

1

t

)

t

(

N

A

i

i

A

t

lim

















gdzie N

A

(t) jest liczba odnowień stanów z

podzbioru A
w okresie (o,t]

•średni odstęp pomiędzy dwoma kolejnymi

zmianami stanów, po dostatecznie długim
czasie trwania procesu x(t), wynosi ,

•średni odstęp pomiędzy odnowieniami

stanu i-tego, po dostatecznie długim
czasie trwania procesu x(t), wynosi /

i

,

i=1,...,m,

•Jeśli P

i

(t) oznacza prawdopodobieństwo

przebywania procesu x(t) w stanie i-tym w
chwili t, to

m

,...,

1

i

,

)

t

(

P

i

i

i

t

lim















oraz

E

A

,

)

t

(

P

A

i

i

i

A

i

i

t

lim





















