Случайные процессы. Примеры и задачи

УДК 621.37+621.391 
ББК 32.841 
    Т46 

Р е ц е н з е н т ы :  доктор техн. наук, профессор  Н. Н. Удалов;  
доктор физ.-мат. наук, профессор А. И. Козлов 

Тихонов В. И., Шахтарин Б. И., Сизых В. В. 
Т46        Случайные процессы. Примеры и задачи. Том 5 – Оценка сигналов, 
их параметров и спектров. Основы теории информации: Учебное 
пособие для вузов. – 2 изд., стереотип.  – М.: Горячая линия–
Телеком, 2012. – 400 с.: ил. 
ISBN 978-5-9912-0102-5. 

В пятом томе задачника в первой части представлены задачи по 
оценке сигналов, их параметров и энергетических спектров. Рассмотрены 
задачи на вычисление границ Рао–Крамера для дисперсии оценок, на определение оценок методами максимального правдоподобия и байесовских 
критериев, а также задачи на оценивание случайных сигналов фильтрами 
Винера и Калмана, приведены примеры приложения теории нелинейного оценивания (метод Стратоновича) и задачи на оценивание спектра. Во второй части пособия даны задачи на вычисление энтропии распределений, а также задачи по кодированию и по оценке помехоустойчивости систем передачи сообщений. 
Для студентов вузов радиотехнических и инфокоммуникационных специальностей. 
ББК 32.841 
Адрес издательства в Интернет WWW.TECHBOOK.RU 
 
Учебное издание 
 

Тихонов Василий Иванович, Шахтарин Борис Ильич,  

Сизых Вадим Витальевич 

Случайные процессы. Примеры и задачи.  
Том 5 – Оценка сигналов, их параметров и спектров.  
Основы теории информации 
Учебное пособие для вузов 
 
Компьютерная верстка  Ю. Н. Чернышова 
Обложка художника  В. Г. Ситникова 
 

Подписано  в  печать  20.01.12. Формат 60×90/16. Усл. печ. л. 27,75.  Тираж 500 экз. (1 завод. – 100 экз.) 

 
ISBN 978-5-9912-0102-5                          ©  В. И. Тихонов,  Б. И. Шахтарин, 
В. В. Сизых, 2009, 2012 
                                              ©  Издательство Горячая линия–Телеком, 2012 

Ǒ,
,
.
.
,
.

,
,
.
,
,
,
,

.

.
Ǒ:

.
1.
.
|
.:
,

2003.
|
399
.

.
2.
.
|
.:
,
2004.
|
399
.

.
3.
,
.
|
.:
,
2004.
|
407
.

.
4.
.
|
.:
-.
..
,
2005.
|
367
.

.
5.
,
.

.
|
.:
{,
2009.
|

400
.

..
..
,
,
,
(,
,
).

.
(1{8)
,
.
{(),
,

.
|
(Ǒ).
ǑǑ-,
,

Ǒ-(,
,
).

.
.
().

5,
6,
7
,
.
5
|
(),

6
|
(),
7
|
().
8
,
,
(),
Ǒ,
(,
MUSIC),
ESPRIT.

.
9
|
(2
).
10
,
11
12
|
.

(Ǒ1-10)
,

,
.

(Ǒ1),
()
(Ǒ2),
(Ǒ3)
(Ǒ4)
.
Ǒ()
(Ǒ5),
(Ǒ6),
(Ǒ7),
ESPRIT
(Ǒ8),
(Ǒ9).
10
.

,
,
.

|
Ǒ|
Ǒ|
Ǒ|
|
|
|
|
{Ǒ|
|
|
|
|
|
|
|
|
|
Ǒ
|
|
|
Ǒ|
Ǒ|
Ǒ
|
{ǑǑ
|
|
/Ǒ|
-Ǒ|
ǑǑ
|
Ǒ|
|

|
|
|
Ǒ
|
Ǒ|
|
|
Ǒ
|
|
|
|
|
|
|
Ǒ
|
-|
|
|
|
|
|
I

,
1

-1.1.
-()
θ
[1{5℄.

ǑǑW
(x, θ )
()
[3℄

E
∂
ln W
(x, θ )

∂θ

=
0
θ.
(1. 1)

D (

^θ
)
^θ
D (

^θ
) ⩾

1

−E
∂

2

ln W
(x, θ )

∂θ

2

,
(1. 2)

θ .

,
^θ
,
∂
ln W
(x, θ )

∂θ

2

= I
(θ )[g
(x ) − θ
℄,
(1. 3)

I
g
.

,
^θ
= g
(x ),
1/I
(θ ).

.
(1.2)

E
∂

2

ln W
(x, θ )

∂θ

2

=
∂

2

ln W
(x, θ )

∂θ

2
W
(x, θ ) dx.
(1. 4)

-7

3.

1.
(1.2)
,
(.
3)

E

∂
ln W
(x, θ )

∂θ

2= −E
∂

2

ln W
(x, θ )

∂θ

2

.
(1. 5)

(1.2)
D (

^θ
) ⩾

1

E

∂
ln W
(x, θ )

∂θ

2.
(1. 6)

(1.2)
I
(θ )
x
=
(x

0, x

1, ...xN−1

)

,

I
(θ )
= −E
∂

2

ln W
(x, θ )

∂θ

2

.
(1. 7)

Ǒln W
(x, θ )
=

N−1
n =0

ln W
(x [n℄, θ ),

x
=
(x [0℄, x [1℄, ...x [N −
1℄)

,
−E
∂

2

ln W
(x, θ )

∂θ

2

= −

N−1
n =0
E
∂

2

ln W
(x [n℄, θ )

∂θ

2

,

,
I
(θ )
= Ni(θ ),
(1. 8)

i(θ )
= −E
∂

2

ln W
(x [n℄, θ )

∂θ

2

(1. 9)

.

2.
.

{x
=
(x

0, x

1, ...xn

)

D (

^θ
) ⩾

1

ni(θ ) .

1

.
^θ
e(θ )
=

1

ni(θ )D (

^θ
)
.
(1. 10)

Ǒe(θ )
=
1
^θ
,
e(θ ),
..

,
.

-D (

^θ
)
=

1

I
(θ ) .
(1. 11)

,
(1.3)
g
(x )
=

^θ ,
∂

2

ln W
(x, θ )

∂θ

2

= ∂I
(θ )

∂
(θ )

(

^θ − θ ) − I
(θ )

,
,

−E
∂

2

ln W
(x, θ )

∂θ

2

= −∂I
(θ )

∂
(θ )

[E
(

^θ
) − θ ℄
+ I
(θ )
= I
(θ ),

(1.11).

Ǒθ
x [n℄
= s[n, θ ℄
+ w
[n℄,
n
=
0,
1, ...N −
1,

w
[n℄ ∼ N
(0, σ

2

).

W
(x, θ )
=

1

(2πσ

2

)
N

2

exp{−

1

2σ

2

N−1
n =0

(x [n℄ − s[n, θ ℄)

2.

,
∂
ln W
(x, θ )

∂θ

=

1
σ

2

N−1
n =0

(x [n℄ − s[n, θ ℄)∂s[n, θ ℄

∂θ

;

∂

2

ln W
(x, θ )

∂θ

2

=

1
σ

2

N−1
n =0

(x [n℄ − s[n, θ ℄)∂

2s[n, θ ℄
∂θ

2
−
∂s[n, θ ℄

∂θ

2.

ǑE
[∂

2

ln W
(x, θ )

∂θ

2

℄
= −

1
σ

2

N−1
n =0

∂s[n, θ ℄

∂θ

2
.

-9

ǑD (

^θ
) ⩾
σ

2

N−1
n =0

∂s[n, θ ℄

∂θ

2 .
(1. 12)

,
s[n, θ ℄
= θ ,
σ

2/N
;
s[n, θ ℄
= A

os(2πf

0n
+ θ ),
N−1
n =0


os(4πf

0n
+
2θ ) ≈
0,
(1. 13)

2σ

2/ (NA

2

).

(Ǒ3.6)
α
= g
(θ )
θ
D (
^α ) ⩾

∂g

∂θ

2

−E
∂

2

ln W
(x, θ )

∂θ

2

.
(1. 14)

α
= g
(A)
= A

2

D (

^A

2

) ⩾

2A

2

Nσ

2

=

4A

2σ

2

N
,
(1. 15)

(1.7)
(1.14)
I
(θ )
(1.11)

D (

^θ
)
=

1

I
(θ )

= D (

^A
)
= σ

2

N

=

1

I
(A).

,
.
Ǒx

2

A

2

,
x ∼ N
(A, σ

2/N
),
E
(x

2

)
= E

2

(
x )
+ D (
x
)
= A

2

+ σ

2

N ̸= A

2,
(1. 16)

,
,
x

2

.

,
x

2

A

2

,
,
x

2

,
[3℄

D (x

2

)
=

4A

2σ

2

N

+

2σ

4

N

2 ,

,
x

2

.

10
1

.
1.1

g
(
x )
A
(.
1.1):

g
(
x ) ≈ g
(A)
+ dg
(A)
dA

(
x − A),
(1. 17)

E
[g
(
x )℄
= g
(A)
= A

2.

,
.

Ǒ(1.17)
D [g
(
x
)℄
=
dg
(A)
dA

2
D (
x )
=

(2A)

2σ

2

N

+

4A

2σ

2

N
.

,
,
..
(.
(1.15)).

=
[θ

1, θ

2...θp

℄

.

Ǒ,
^

:

E
(

^

)
=
,

E
(

^θi

)
= θi,
ai < θi < bi

;
E
(

^


)
=
[E
[θ ℄

1, E
[θ

2

℄...E
[θp

℄℄

.

[3,
4,
7℄

D (

^θi

) ⩾
[I−1

()
℄ii,
(1. 18)

I()
| p × p-;

[I()
℄ij

= −E
∂

2

ln W
(x,
)

∂θi∂θj

(1. 19)

i
=
1,
2...p; j
=
1,
2...p.

1.2.
.

ǑǑW
(x,
)
E
∂
ln W
(x,
)

∂
=
0
.
(1. 20)

-11

^

C

^

−
I−1

() ⩾
0,
(1. 21)

⩾
0
,
.

[I()
℄ij

= −E
∂

2

ln W
(x,
)

∂θi∂θj

,
(1. 22)

.

,
C

^θ

=
I−1

()
,
∂
ln W
(x,
)

∂
=
I()(g
(x) −
)
(1. 23)

p-g
p × p-I.

(|

),
^

= g
(x)
I−1

().

4.

3.
Ǒ,
[C

^θ −
I−1

()
℄ii ⩾
0.

(1.18)

D (

^θi

)
=
[C

^θ

℄ii ⩾
[I−1

()℄ii.
(1. 24)

C

^θ

=
I−1

(),
(1.24)
.

4.
(4
[3℄)

E
∂
ln W
(x,
)

∂θi
∂
ln W
(x,
)

∂θj

= −E
∂

2

ln W
(x,
)

∂θi∂θj

=
I[℄ij.
(1. 25)

,
=
g()
,
g
| r
-.
4,
C

^
^
C

^
− ∂
g()

∂
I−1

()∂
g()

∂
⩾
0.
(1. 26)

1

∂
g()/∂
|
r × p-:

∂
g()

∂
=














∂g

1

()

∂θ

1

∂g

1

()

∂θ

2
. . .
∂g

1

()

∂θp
∂g

2

()

∂θ

1
∂g

2

()

∂θ

2
. . .
∂g

2

()

∂θp

· · ·
· · ·

.

.

.
· · ·
∂gr

()

∂θ

1

∂gr

()

∂θ

2
. . .
∂gr

()

∂θp














.
(1. 27)

,
=
g()
=
A+
b,

A
| r × p-;
b
| r ×
1-.

^
=
A

^

+
b
^

|
,
..
C

^

=
I−1

(),
C

^
=
AC

^

A

=
AI−1

()A

= ∂
g()

∂
I−1

()∂
g

()

∂
,
(1. 28)

.
N → ∞ .

Ǒx
(1.12).

Ǒx ∼ N{ (),
C()} ,
.

[3℄,
[I()
℄ij

=
∂
()

∂θi

C−1

()
∂
()

∂θj

+

1

2

tr
C−1

()∂
C()

∂θi

C−1

()∂
C()

∂θj

,

(1. 29)

∂
()

∂θi

=













∂
[()℄

1

∂θi
∂
[()℄

2

∂θi

.

.

.
∂
[()℄N

∂θi













;
(1. 30)

-13

∂
C()

∂θi

=













∂
[C()℄

11

∂θi
∂
[C()℄

12

∂θi
. . .
∂
[C()℄

1N

∂θi
∂
[C()℄

21

∂θi
∂
[C()℄

22

∂θi
. . .
∂
[C()℄

2N

∂θi

· · ·
· · ·

.

.

.
· · ·
∂
[C()℄N
1

∂θi
∂
[C()℄N
2

∂θi
. . .
∂
[C()℄NN

∂θi













.
(1. 31)

θ
x ∼ N{ (θ ),
C(θ )} ,
I
(θ )
=
∂
(θ )
∂θ

C−1

(θ )
∂µ(θ )

∂θ

+

1

2

tr

C−1

(θ )∂
C(θ )
∂θ

2.
(1. 32)

(1.32)
(1.12).

,
.

[3℄,
(N → ∞ )
[I()
℄ij

= N

2

1/2

−1/2

∂
ln S
(f,
)

∂θi
∂
ln S
(f,
)

∂θj
df,
(1. 33)

S
(f,
)
|
,
(Ǒ)
,
Ǒ x [n℄
.

()
[4,

7℄.
:

IB

=
ID

+
IP ,

ID

|
;
IP

|
:

[ID

℄ij

= −E
∂

2

ln W
(x, θ )

∂θi∂θj

;
[IP

℄ij

= −E
∂

2

ln W
(θ )

∂θi∂θj

,

W
(x,
),
|
W
().

Rε

= E
[(

^

−
)(

^

−
)

℄.

,
Rε

,
,

.

[4℄

R ⩾
I−1
B .
(1. 35)