Теория случайных процессов

Булинский А.В.

Ширяев А.Н.

Теория случайны х

процессов

МОСКВА

ФИЗМАТЛИТ ®

УДК 519.216.2
ББК 22.171
Б 90

Бул и н с к и й А. В., Ш и р я е в А. Н. Теория случайных процессов. — М.: ФИЗМАТЛИТ,

2005. — 400 с. — ISBN 978-5-9221-0335-0.

Книга создана на основе лекций, прочитанных авторами в разные годы на механикоматематическом ф-те МГУ им. М. В. Ломоносова. Материал значительно превышает рамки
учебного курса, чтобы дать более глубокое представление о разнообразных разделах теории и
ее применениях. Сложные доказательства вынесены в «Приложения». «Дополнения и упражнения» помогают в усвоении материала.
Для профессорско-преподавательского состава, научных работников, аспирантов и студентов старших курсов университетов.
Ил. 19. Библиогр. 198 назв.

ISBN 978-5-9221-0335-0

c⃝ ФИЗМАТЛИТ, 2003, 2005

c⃝ А. В. Булинский, А. Н. Ширяев, 2003, 2005

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

6

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

8

I.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

11

,
.
.
.
.
.
.
,
,
,
{,

.
-B

T

.
.

.
.
(R

n

;
B(R

n

)).
.
B

T

T
.
.
.
.

.

I
I.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

46

.
.
().
.
.
.
.
.
.
.
.
.
.

I
I
I.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

76

.
.
().
.
.
,
.
-F

,
,
.
.
.
.
,
[0;
t].
.
.

IV.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

108

,
,
.
.
.

.
.
.

.
.
.
().

.
.
.
{.
L

1

(;
F
;
P).
.

.
.

V.

.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

147

.
.
.
.
C
(T
;
S).
.

.
{.
,
.
.

.
,
.
.
{.

VI.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

180

.
R

d

.
.
,
.
.
.
d-.
,
5

.
.
.
.
.

Q
(P(t))

t>0

.
.
Q

.
.
,

.

VI
I.
.

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

225

-.
,
.
,
.
.
.

.
{.
.

L

2

().
.
.
.

.
.
.
.

{.

VI
I
I.
.

.
.
.
.
.
.
.

276

.
.

.
.

.
{.
.

.

1.
.
.
.
.
.
.
.
.
.
.
.

317

2.
.
.
.
.
.
.
.
.
.
.
.
.
.

323

3.
.
.
.
.
.
.
.

327

4.
{.
.
.
.
.
.
.

337

5.
{.
.
.
.
.
.

340

6.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

344

7.
.
.
.
.
.
.
.
.
.

354

8.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

364

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

383

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

385

.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.

393

,
-.
.
.
.

6-(4-)
(5-).
,
.
|

.
.
\"
.
,
\"
.
.

.
[34]
\"
.
,
,
(,
).
\"
,
,
.

,
,
,
.
{,
(),
,
.
,
,
,
,
{,
,
.
.
,
,
,

,
,
,
,
7

{,
.
.

|
,
.
200
.
,
,
[85].

.

I
,
,
.
I
I
,
.
I
I
I
.
IV,
VI
VI
I
,

.
V
,
,
.
VI
I
I

(,
)
.

.
,
,
,
,
|
.
.
\"
.
()
()
,
,
(I
I.10)
|
(10)
I
I,
(6.2)
{
(2)

6.
.
\"
,
.

,
-.
.
.
.
,
.
.

.

.
02-01-14077.

.
.
,

.
.
-.
.
.
:=
\"

N
|
,
N
=
N
[
f1g,

Q
|
,

Z
|
,

Z

+

|
,

R
|
,
R
=
R
[
f1g,

C
|
,

a;
b
2
R,
a
^
b
=
min
fa;
bg,
a
_
b
=
maxfa;
bg,
a

+

=
maxfa;
0g,
a

=
maxfa;
0g,

[a]
|
a,
sgn
a
|
,

A
|
A,

1

A

|
A,

[A]
|
A
(),

@
A
|
A
(),

(S;
)
|
S
,

B

r

(x)
|
r
x,

C
(T
;
S)
|
T
S,

C

1

0

(R

m

)
|
,

k
k

H

|
()
H
,

(;
F
;
P)
|
,

E
|
,

D
|
,

cov
(X
;
Y
)
|
X
Y
,

E
(X
j
A
)
|
X
-A
,

X
2
F
j
B
,
X
-F
B,

fM
g
|
-,
M
S
(S),

B(S)
|
-S,

B

T

|
-(S

t

;
B

t

),
t
2
T
,

P

X

(PX

1

La
w
(X
))
|
X
,

fX

t

,
t
2
T
g
|
-,
X

t

,
t
2
T

((;
F
;
P)),

Q

n

=
)
Q
|
Q

n

Q,

X

n

D

!
X
|
X

n

X
,

X

n

P

!
X
|
X

n

X
,

mes
|
,

N(a;
C
)
|
a
C
,

W
=
fW
(t),
t
>
0g
|
(),

F
=
(F

t

)

t2T

|
,

F

X

=
(F

X

t

)

t2T

|
X
=
fX

t

,
t
2
T
g,

P
(s;
x;
t;
B
)
|
,

p

i;j

(t)
|
.

I

.

,
.
.
.
.
.
.
,
,
,
{,

.
-B

T

.
.
.
.
(R

n

;
B(R

n

)).
.
B

T

T
.
.
.
.
.

x
1.
,
,
,

,
,
,
.,
.

,
\"?

(,
.
.),
,
.
,
,
,
.
,
,
,
,

.

1827
.
(R.
Bro
wn)
.
,
,
.
19
|
20
,
.
,
-.
12
.
.
,
.
.
.
,
.
,
.
,
.
,
.
,

.
,
.
,
.
,
.
,
.
.
,
.
.
.
1997
.
.
,

,
.

,
,
,
,
.

1

.
,
,
,
,
.
,
\"
,
,
:
G
R

d

,
().

2

.
,
\"
.
,
,
,
,
,
,
.
?
,

,
(,
,
.),
,
().

3

.
:
t
t
+
s
(s
>
0).
,
,
,
(-,
).

4

.
,
,
(),
,
.
?
,
,
.
,
{,
()
".

5

.
,
.
,
,
\"
,

,
,
,
.

,
3

{5

.

-,
.
I.
.
13

,
-,
.

,
,
.
,
.

,
.
.
(x
2),
(x
6),
(x
7)
x
9,
,
x
8.
,
(x
12)

,
.
2
(x
15).

x
2.
,
,
(;
F
;
P),

..
(;
F
)
P.

,
|
,
-().


-,
-.
,
,
,
-,
.
P,
,
|
,
P()
=
1.
.

,
S.
(;
F
)
(S;
B)
|
(6=
?
S
6=
?).

1.
X
:
!
S
F
j
B-(X
2
F
j
B),
X

1

(B)
F
,
..
X

1

(B
)
:=
f!
:
X
(!
)
2
B
g
2
F
B
2
B.

F
j
B-S.

M
S
fM
g
-S,
M
.
S
|
,
,
,
,
,
-B(S)
-fM
g,

M
|
S.
S
=
R

k

(),
B
=
B(R

k

)
k
>
1
X
(F
j
B-)
,
k
=
1,
()
.

X
|
(;
F
),
F
j
B(R)-X
,
,
F
-.

.
.
,
.
.
1.
X
:
!
S
(X
--)
M
|
S.
X
2
A
j
fM
g,
A
:=
fX

1

(M
)g.
fX

1

(M
)g
=
X

1

(fM
g):

.
,
D
=
fD
S
:
X

1

(D
)
2
A
g

-,
A
--.
M
D
.
,
fM
g
D

,
,
X
2
A
j
fM
g,
.
.
X

1

(fM
g)
A
.
,
X

1

(M
)
X

1

(fM
g),

X

1

(fM
g)
-.
A
=
fX

1

(M
)g
X

1

(fM
g).

,
A
=
X

1

(fM
g).
1.
-F
.
X

1

(M
)
F
,
X
2
F
j
fM
g.

1
fX

1

(M
)g
F
:
,
B
=
fM
g
F
j
B-X
B,
,
X

1

(B
)
2
F

B
M
.
X
R

k

(,
)
,
z
=
(z

1

;
:
:
:
;
z

k

)
2
R

k

f!
:
X
(!
)
6
z
g
:=
f!
:
X

1

(!
)
6
z

1

;
:
:
:
;
X

k

(!
)
6
z

k

g
2
F
:

1.
,
-,
.
A
=
fX

t

;
t
2
T
g,
X

t

:
!
S

t

,

(S

t

;
B

t

)
|
,
t
2
T
,
,
A
|
-,
X

t

2
A
j
B

t

t
2
T
.
,

A
=
fX

1

t

(B

t

)
:
B

t

2
B

t

;
t
2
T
g

X

t

2
F
j
B

t

t
2
T
,
,
,
A
F
.

x
3.
-.
-C
S,
,
.
.
A;
B
2
C
,
A
\
B
2
C
(C
S).
-D
S
:
S
2
D
A;
B
2
D
,
A
B
,
B
n
A
2
D
,
,
A

n

2
D
,
n
2
N
,
A

n

"
A

.
.
A

n

A

n+1

,
n
2
N
,
A
=

1

S

n=1

A

n

,

A
2
D
.
K
S
()
-fK
g
-fK
g
S,
K
.

M
S
-,
M

-.

.
I.
.
15

1
().
-C
-D
S
,
C
D
.
fC
g
=
fC
g
D
.

.
,
D
=
fC
g.
,
D
-,
D
-,
C
.
,
,
A
\
B
2
D
,
A;
B
2
D
.
B
2
C
F

B

=
fA
S
:
A
\
B
2
D
g.
F

B

-C
F

B

.
D
=
fC
g
F

B

.
,
A
\
B
2
D

A
2
D
B
2
C
.
A
2
D
G

A

=
fB
S
:
A
\
B
2
D
g.
,
D
G

A

A
2
D
.
,
D
fC
g
fC
g.
,
fC
g
fC
g.
1
.
.
.
.
.
-D
-.

,
,
.

2.
(;
F
)
P
Q,

F
=
fC
g,
C
-.
P
Q
F
,
P
=
Q
C
.

.
.
,
A
2
F
,
P(A)
=
Q(A),
-.
3.
(;
F
;
P)
|
A
|
F
.
C
2
fA
g
inf

A2A

P(C
4
A)
=
0;
(1)

C
4
A
=
(C
n
A)
[
(A
n
C
).
,
C
2
fA
g
"
>
0

A

"

2
A
,
P(C
4
A

"

)
<
",
jP(C
)
P(A

"

)j
<
".

.
C
A
,
-,

(1).
,
,
(1),
-.

1.
4
().
S
|
Q
|
B(S).
B

Q(B
)
=
sup

F

Q(F
)
=
inf

G

Q(G);
(2)

F
B
,
|
G
B
.

.
.
,
.
.
.
|
S
(x;
D
)
=
inf
f(x;
y
)
:
y
2
D
g,
x
2
S,
D
S.
>
0
F
F

=
fx
2
S
:
(x;
F
)
<

<
g.
,
F

|
F

#
F
#
0.
(2)
B
.
(.
[2,
.
16]),
B
,
(2),
-.
,

B(S)
|
-,
S.

x
4.
(;
F
;
P).
N
|
,
C
2
N
(
)
9
D
2
F
:
C
D
P(D
)
=
0.
F
|
A
[
C
,
A
2
F
C
2
N
.
,
F
-(F
P).
P
-F

P(A
[
C
)
=
P(A);
A
2
F
;
C
2
N
(3)

(N
).
,
P

F
.
,
F
=
A
[
C
=
B
[
D
,
A;
B
2
F
C
;
D
2
N
,
P(F
)
=
P(A)
=
P(B
).

(;
F
;
P)
(P)
(;
F
;
P).
,
,
F
P
(N
).
-A
F
,
P-N
,
-A

(P)

=
A
[
N
(A

(P)

,
(3)).

,
A

(P)

=
fA
;
N
g.
,
P

A

P

-F
-A
F
A
P

A

,
,
,
-,
A

(P)

.
(;
F
;
P)
,
A

(P)

A
.

x
5.
.

5.
(M
;
G
)
|
,
(S;
)
|
-B(S).
h

n

:
M
!
S,

h

n

2
G
j
B(S)
n
=
1;
2;
:
:
:
.
h

n

(x)

!
h(x)
x
2
M
,

.
.
(h

n

(x);
h(x))
!
0
n
!
1.
h
:
M
!
S
G
j
B(S)-.

.
B
2
B(S)

fx
:
h(x)
2
B
g
=

1

\

k
=1

1

[

m=1

\

n>m

fx
:
h

n

(x)
2
B

(1=k
)

g
2
G
;

B

(")

=
fx
2
S
:
(x;
B
)
<
"g,
(x;
B
)
=
inf
f(x;
y
)
:
y
2
B
g.
1.
.
I.
.
17

6.
5
(M
;
G
)
P
h

n

(x)

!
h(x)
n
!
1
P-..
x
2
M

(.
.
P(x
2
M
:
h

n

(x)

9
h(x),
n
!
1)
=
0).
h
G
j
B(S)-,
G
|
G
P.

.
h

n

(x)
!
h(x),
n
!
1,
x
2
M

0

,
P(M

0

)
=
1.

z

0

2
S
e

h

n

(x)
=
h

n

(x)
x
2
M

0

e

h

n

(x)
=
z

0

x
2
M
n
M

0

,
n
2
N
.
e

h

n

(x)
!

e

h
(x)
x
2
M
,
e

h(x)
=
h(x)
x
2
M

0

e

h
(x)
=
z

0

x
2
M
n
M

0

.
,

e

h

n

2
G
j
B(S).
5
,

e

h
G
j
B(S)-.
,
B
2
B(S)
h

1

(B
)
=
fM

0

\

e

h

1

(B
)g
[
f(M
n
M

0

)
\
h

1

(B
)g
2
G
;

M

0

2
G
,

e

h

1

(B
)
2
G
(M
n
M

0

)
\
h

1

(B
)
M
n
M

0

,
P(M
n
M

0

)
=
0.
7.
(;
F
;
P)
-A
F
.
Y
(!
)
A
-,
A
-Z
(!
)
,
Y
=
Z
(P-..),
.
.
P(!
2
:
Y
(!
)
6=
Z
(!
))
=
0.

.
Y
2
A
j
B(R).
\"

Y

n

(!
)
=

2

n

1

X

k
=2

n

k
n2

n

1

f!
:
Y
(!
)2(k
n2

n

;(k
+1)n2

n

]g

(!
);
n
2
N
;
(4)

,
,
1

B

(
)
{
B
,

1

B

(x)
=

1;
x
2
B
;

0;
x
=
2
B
:

(5)

(1

B

(x)
1
fB
g.)

,
Y

n

(!
)
!
Y
(!
)
n
!
1
!
2
,
Y

n

2
A
j
B(R),

n
2
N
.
-A
f!
:
Y
(!
)
2
(k
n2

n

;
(k
+
1)n2

n

]g
=
A

n;k

[
C

n;k

;

A

n;k

2
A
,
C

n;k

2
N
(k
=
2

n

;
:
:
:
;
2

n

1,
n
2
N
).


A
=

1

[

n=1

2

n

1

[

k
=2

n

A

n;k

:

A
2
A
P(A)
=
1.
Z

n

(!
)
=
1

A

(!
)

2

n

1

X

k
=2

n

k
n2

n

1

A

n;k

(!
);
!
2
;
n
2
N
:

.
.
,
.
.
,
Z

n

2
A
j
B(R),
Z

n

=
0
!
=
2
A
(n
2
N
)
Z

n

(!
)
!
Y
(!
)
n
!
1

!
2
A.
5
Z
=
1

A

Y
2
A
j
B(R).
,
Z
=
Y
(P-.
.).

,
Z
.

Z
2
A
j
B(R)
Y
=
Z
.
.
(.
.
P-.
.).
Z

n

=
Z
,
n
2
N
.

Z

n

!
Y
.
.
n
!
1,
6
Y
2
A
j
B(R),
.
x
6.
.

(;
F
)
(S;
B)
|
,
(;
F
)
P.
X
:
!
S
F
j
B-.

2.
,
,
X
B,
P

X



P

X

(B
)
:=
P(X

1

(B
));
B
2
B:
(6)

X
PX

1

,
La
w
(X
)
La
w
(X
j
P),
,
P
.
P

X

P
()
X
.

.
1

,
F
j
B-,

(;
F
;
P)
S,
(S;
B),
,
.
,
X
P

X

.
8.
Q
(S;
B)
X
.

=
S,
F
=
B,
P
=
Q
X
(!
)
=
!
().
x
7.
.

3.
X
=
fX
(t),
t
2
T
g
X
(t),
t
2
T
(;
F
),
.

.
I.
.
19

,
,
.

,
X
(t),
t
2
T
,

(;
F
).
,
X
(t),
t
2
T
,

,
.
,
(S

t

;
B

t

)

t2T

.
X
=
fX
(t),

t
2
T
g
X
=
X
(t;
!
),
T
,

t
2
T
S

t

F
j
B

t

-(X
(t;
)
:
!
S

t

).
X
=
X
(t;
!
)

,
(;
F
)
(S

t

;
B

t

)

t2T

.

X
=
fX
(t),
t
2
T
g,
t
2
T
,
,
X
(t;
!
)
=
(!
)f
(t);

|
,
(;
F
;
P),
f
:
T
!
R.
,
,
,
.

4.
!
X
(
;
!
),
X
(t;
!
),
t
2
T
,

,
.

!
X
(t)

X

t

,
.
T
R
=

=
(1;
1),
t
2
T
.
T
|
,
,
,
,
,
T
Z
=
f:
:
:
;
1;
0;
1;
:
:
:
g
{
.
T
R

d

,
d
>
1,
X
.

,
()

X
=
fX

t

,
t
2
T
g
T

0

T
.
,
X
=
fX

t

,
t
>
0g
>
0,
.
.

Y
=
fX

n

,
n
=
0;
1;
2;
:
:
:
g.

,

,
T
R

d

(d
>
1),
(T
-).
,
fX

t

,
t
2
U
g
fX

t

,
t
2
V
g
U;
V
T
.

(T
R).
,
,

T
(S

t

;
B

t

)

t2T

,
,
.
,
20
.
.
,
.
.
()
.
(,
)
,
,
,
.
.,
.

x
8.
,
(;
F
;
P),
-(),
.

5.
(,
,
-)

A

1

;
:
:
:
;
A

n

F
(n
>
2)
(),
P(A

1

A

n

)
=
P(A

1

)
P(A

n

)
(7)

A

k

2
A

k

,
k
=
1;
:
:
:
;
n.
A

t

F

(2
A

t

),
t
2
T
,
,
A

t

1

;
:
:
:
;
A

t

n

n
>
2
t

1

;
:
:
:
;
t

n

2
T
.

9.
-M

1

;
:
:
:
;
M

n

F
(n
>
2).
-fM

1

g;
:
:
:
;
fM

n

g.
-,
N
.

.
D

1

|
F
,
(7)
A

1

2
D

1

A

k

2
M

k

,
k
=
2;
:
:
:
;
n.
,
D

1

-,

M

1

D

1

.
1
,
fM

1

g
D

1

.
D

2

,
A

2

,
(7)
A

1

2
fM

1

g
A

k

2
M

k

,
k
=
3;
:
:
:
;
n.
,
.

,
A
-G
,
.
.

-G
N
,
A
=
C
[
D
,
C
2
G
D
2
N
.
()
fX

t

,
t
2
T
g,

(;
F
;
P)
t
2
T
-(S

t

;
B

t

),
-fX

t

g
=
X

1

(B

t

),
t
2
T
.

,
X

t

,
t
2
T
(T
),
,
P(X

t

1

2
B

1

;
:
:
:
;
X

t

n

2
B

n

)
=

n

Y

k
=1

P(X

t

k

2
B

k

)
(8)

n
>
2,
t

1

;
:
:
:
;
t

n

2
T
B

k

2
B

t

k

,
k
=
1;
:
:
:
;
n.

.

.
I.
.
21

2
({,
[161]).
(S

t

;
B

t

)

t2T

|
t
2
T
(S

t

;
B

t

)
Q

t

.
(;
F
;
P)
X

t

:
!
S

t

,
X

t

2
F
j
B

t

,
,

P

X

t

=
Q

t

B

t

t
2
T
.

,
.
,
,
(S;
B)
(S

t

;
B

t

)
t
2
T
(.
6).

x
12
(4),
.
1.

x
9.
,
,
.

.
,
,
2
3.

1.
0

;
1

;
:
:
:
|
,
(;
F
;
P)
R

m

(m
>
1).
()

S

n

=

n

X

j
=0

j

;
n
2
Z

+

=
f0;
1;
:
:
:
g;
(9)

.

,
0

()
n
2
N
n

,

(n;
S

n

)
.

2.
1

;
2

;
:
:
:
X

0

(!
)
=
0;
X

t

(!
)
=
sup

n
:

X

j
6n

j

(!
)
6
t

;
t
>
0:
(10)

,
X

t

(!
)
=
0,
1

(!
)
>
t.
,
X

t

(!
)
R
=
R
[
f1g;
-B(R
)
B
B
[
f1g,
B
2
B(R).

\"
.
,

t

0

=
0,
,
j

,
(,
),

.
X

t

(!
)
(\")
(0;
t].
X
=
fX

t

(!
),
t
2
R

+

=
[0;
1)g
.
2.

.
.
,
.
.
.
2

3.
(;
F
;
P)
fj

,
j
2
N
g
fj

,
j
2
N
g

,
fj

;
j

,
j
2
N
g
La
w
(j

)
=
La
w
(1

),

La
w
(j

)
=
La
w
(1

),
j
2
N
.
y

0

c
Y

t

(!
)
=
y

0

+
ct
X

t

(!
)

X

j
=1

j

(!
);
t
>
0;
(11)

X

t

(!
)
(10).
(11)
{(.,
,
[86;
.
99]),
y

0

|

,
c
|
,
j

|
j

=

j

P

i=1

i

(j
2
N
),
Y

t

t.

4.
1

;
2

;
:
:
:
|
,
(;
F
;
P)
R

m

(m
>
1).
P

n

(B
;
!
)
=

1

n

n

X

j
=1

1

B

(j

(!
));
B
2
B(R

m

);
n
2
N
:
(12)

3,
,
(12)
n
2
N

,
B
,
.
.

T
=
B(R

m

).

1

B

(12)
f
H
.
f
,
.

5.
fj

,
j
2
Z

d

g
|
,
R

m

.
-)

B(R

d

),
d
>
1.
S

n

(B
;
!
)
=

X

j
2Z

d

j

(!
)(nB
\
C

j

);
B
2
B([0;
1]

d

);
n
2
N
;
(13)

)

-(S;
B),
S
=

1

S

n=1

S

n

,
S

n

2
B
(S

n

)
<
1
n
2
N
.