Теория случайных процессов : марковские цепи

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ 

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ  
ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ  
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСиС» 

 

 
 
 

 

 

 

 
 

 

№ 2331 

Кафедра инженерной кибернетики

В.В. Шихеева 
 
 

Теория случайных процессов

Марковские цепи 

Учебное пособие 

Допущено УМО по образованию в области  
прикладной математики и управления качеством  
в качестве учебного пособия для студентов  
высших учебных заведений, обучающихся по направлению  
231300 – Прикладная математика 

Москва  2013 

УДК 519.216 
 
Ш65 

Р е ц е н з е н т  
д-р физ.-мат. наук, проф. И.В. Артамкин (НИУ ВШЭ) 

Шихеева, В.В. 
Ш65  
Теория случайных процессов : марковские цепи : учеб. пособие / В.В. Шихеева. – М. : Изд. Дом МИСиС, 2013. – 70 с. 
ISBN 978-5-87623-736-1 

В учебном пособии рассмотрены решения некоторых интересных задач из 
раздела «Марковские цепи» курса «Теория случайных процессов». Перед условием каждой задачи приведены краткие определения. Дополнительно прилагается список условий задач по всему курсу «Теория случайных процессов». 
Содержание пособия соответствует программе курса «Теория случайных 
процессов». 
Предназначено для студентов специальности 230401 «Прикладная математика». 
УДК 519.216 

ISBN 978-5-87623-736-1 
© В.В. Шихеева, 2013 

ОГЛАВЛЕНИЕ 

1. Марковское свойство случайного процесса......................................5 
2. Свойства состояний марковской цепи.............................................13 
3. Пуассоновский поток событий.........................................................31  
4. Процессы рождения и гибели и их инифинитезимальные  
параметры...............................................................................................37 
5. Уравнения Колмогорова для процессов рождения и гибели............. 
6. Задачи по курсу «Теория случайных процессов»...........................52 
Литература .............................................................................................69 

,  . . (. : ,1971), .

, . , . , .

.

4

1. , , t, t t.

, t1 < t2 < · · · < tn < t P{a < Xt ⩽ b|Xt1 = x1, Xt2 = x2, . . . , Xtn = xn} =

= P{a < Xt ⩽ b|Xtn = xn}.

, , {0, 1, 2, . . . }.

() , i
n, Xn = i.

j  n + 1 , n i P n,n+1
ij
= P{Xn+1 = j|Xn = i}.

5

P n,n+1
ij
P(n) = ||P n,n+1
ij
|| =

P n,n+1
00
P n,n+1
01
P n,n+1
02
P n,n+1
03
. . .
P n,n+1
10
P n,n+1
11
P n,n+1
12
P n,n+1
13
. . .
P n,n+1
20
P n,n+1
21
P n,n+1
22
P n,n+1
23
. . .
. . .
. . .
. . .
. . .
. . .
P n,n+1
i0
P n,n+1
i1
P n,n+1
i2
P n,n+1
i3
. . .
. . .
. . .
. . .
. . .
. . .

n. P n,n+1
ij
n, , . P(n) = ||Pij||
.

P(n) Xn+1 , n  , .

, , , . P(n)
Xn+1 , n , .

: Pij ⩾ 0,
i, j = 0, 1, 2, 3, . . . ,

6

∞
j=0
Pij = 1,
i = 1, 2, 3, . . . .

, pi =
= P(X0 = i),
i = 1, 2, . . . P = ||Pij|| .

, , P{X0 = i0, X1 = i1, . . . , Xn = in} = Pin−1inPin−2in−1 . . . Pi0i1pi0.

1.1
, . .
, , , . , 1 6
.

, , , . , , . Pi,j = P{X(n + 1) = j|X(n) = i},
i, j = 1, 2, . . . , 6.

7

P1,j 1/6 j, . Pi,j = 1

6, j > i,
Pi,j = 0, j < i,
Pi,i = i

6,
i, j = 1, . . . , 6.

, :

P = ||Pij|| =

1
6
1
6
1
6
1
6
1
6
1
6
0
1
3
1
6
1
6
1
6
1
6
0
0
1
2
1
6
1
6
1
6
0
0
0
2
3
1
6
1
6
0
0
0
0
5
6
1
6
0
0
0
0
0
1

1.2
, , n n . p, q, 0 < q < p < 1.

, , .

0, , , .

8

Ri
n , n i , . , n i , , Ri
n. i n P{Xn = i} = Ri
n(p
n+i

2 q
n−i

2 + p
n−i

2 q
n+i

2 ).

n + 1 i+1, n i, P{Xn = i, Xn+1 = i + 1} = Ri
n(p
n+i+2

2
q
n−i

2 + p
n−i

2 q
n+i+2

2
),

: p
n+i+2

2
q
n−i

2 , n
i n+1-, p
n−i

2 q
n+i+2

2
, n i n + 1-.

P{Xn+1 = i+1|Xn = i} P{Xn = i, Xn+1 = i + 1}

P{Xn = i}
.

,

P{Xn+1 = i + 1|Xn = i} = Ri
n(p
n+i+2

2
q
n−i

2 + p
n−i

2 q
n+i+2

2
)

Ri
n(p
n+i

2 q
n−i

2 + p
n−i

2 q
n+i

2 )
=

9

= pi+1 + qi+1

pi + qi
.

, P{Xn+1 = i − 1|Xn = i} = Ri
n(p
n+i

2 q
n−i+2

2
+ p
n−i+2

2
q
n+i

2 )

Ri
n(p
n+i

2 q
n−i

2 + p
n−i

2 q
n+i

2 )
=

= (pi−1 + qi−1)pq

pi + qi
.

, P{Xn+1 = i + 1|X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}.

P{Xn+1 = i + 1, X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}

P{X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}
.

F i1,i2,...,in−1,i
1,2,...,n−1,n
n, r ir, r 1 n − 1,
n i i
, . , r ir, r 1 n−1, n −i i , .

P{X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn−1 = in−1, Xn = i}

F i1,i2,...,in−1,i
1,2,...,n−1,n (p
n+i

2 q
n−i

2 + p
n−i

2 q
n+i

2 ).

10

P{X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i, Xn+1 = i + 1}

F i1,i2,...,in−1,i
1,2,...,n−1,n (p
n+i+2

2
q
n−i

2 + p
n−i

2 q
n+i+2

2
).

P{Xn+1 = i + 1|X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}

P{Xn+1 = i + 1, X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}

P{X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}
=

= F i1,i2,...,in−1,i
1,2,...,n−1,n (p
n+i+2

2
q
n−i

2 + p
n−i

2 q
n+i+2

2
)

F i1,i2,...,in−1,i
1,2,...,n−1,n (p
n+i

2 q
n−i

2 + p
n−i

2 q
n+i

2 )
.

P{Xn+1 = i + 1|X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i} =

= pi+1 + qi+1

pi + qi
.

, P{Xn+1 = i − 1|X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i} =

= P{Xn+1 = i − 1, X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}

P{X1 = i1, X2 = i2, ..., Xn−1 = in−1, Xn = i}
=

= F i1,i2,...,in−1,i
1,2,...,n−1,n (p
n+i

2 q
n−i+2

2
+ p
n−i+2

2
q
n+i

2 )

F i1,i2,...,in−1,i
1,2,...,n−1,n (p
n+i

2 q
n−i

2 + p
n−i

2 q
n+i

2 )
.

11