Двадцать лекций о гауссовских процессах

ДВАДЦАТЬ 
ЛЕКЦИЙ
О ГАУССОВСКИХ 
ПРОЦЕССАХ

В. И. ПИТЕРБАРГ

ISBN 978-5-4439-0198-5

9 785443 901985 >

В. И. ПИТЕРБАРГ  
ДВАДЦАТЬ ЛЕКЦИЙ О ГАУССОВСКИХ ПРОЦЕССАХ

В. И. Питербарг

Двадцать лекций
о гауссовских процессах

Допущено УМО по классическому университетскому образованию
в качестве учебного пособия для студентов высших учебных заведений,
обучающихся по направлениям .. «Математика»,
.. «Механика и математическое моделирование» и специальности
.. «Фундаментальные математика и механика»

Электронное издание

Москва
Издательство МЦНМО


УДК .
ББК .
П

Питербарг В. И.
Двадцать лекций о гауссовских процессах
Электронное издание
М.: МЦНМО, 
 с.
ISBN ----

В первой части лекций рассматривается общая теория гауссовских распределений в конечномерных и функциональных пространствах. Основное внимание уделяется задачам сравнения гауссовских
распределений, свойствам ограниченности, экспоненциальной интегрируемости, общим локальным свойствам гауссовских случайных
функций. Вторая часть посвящена подробному изложению основных
методов исследования асимптотического поведения вероятностей
высоких выбросов траекторий гауссовских случайных функций, в том
числе предельного распределения множеств пересечения высокого
уровня.

Подготовлено на основе книги:
Питербарг В. И. Двадцать лекций о гауссовских процессах. ––
М.: МЦНМО, . ––  с. –– ISBN ----

Издательство Московского центра
непрерывного математического образования
, Москва, Большой Власьевский пер., ,
тел. ()––.
http://www.mccme.ru

ISBN ----
© Питербарг В. И., .
© МЦНМО, .

Предисловие

Настоящие лекции являются переработанным и существенно
дополненным изданием записей моих лекций «Теория гауссовских
процессов» (издательство МГУ,  год). Курс, который я читал на
механико-математическом факультете МГУ в течение  лет, в настоящее время превратился из полугодового в годовой. Часть, посвященная асимптотическим методам исследования распределений
гауссовских процессов, по сравнению с прошлыми лекциями существенно выросла. Основой первой части, как и прежде, является
статья К. Ферника []. Несмотря на большое число новых, в том
числе принципиальных результатов в исследовании свойств траекторий гауссовских функций, я считаю, что статья этого выдающегося математика остается основой теории и является принципиально
важной для изучения всей теории. Основу второй части (лекции
––) составляет моя монография [], а также результаты последних лет в этом направлении. В отличие от статьи К. Ферника, эта
монография весьма трудна для чтения и предназначена скорее для
специалистов, работающих в данной области. Я рассмотрел в лекциях лишь случай одномерного параметрического пространства, стараясь избегать довольно существенных аналитических сложностей,
особенно характерных для случая многомерного параметра. Результаты экзаменов по курсу показывают, что основные идеи асимптотических методов вполне доступны студентам старших курсов
мехмата и аспирантам.
Привлекательность теории гауссовских процессов состоит в возможности ее изложения без опоры на общую теорию случайных процессов, достаточно знания основных разделов из анализа и функционального анализа. Кроме того, явный вид распределений позволяет доводить вычисления до конца, получая красивые и физически понятные результаты. Возможность применения широкого
спектра общематематического инструментария делает теорию особенно привлекательной для математиков-теоретиков. Следует сказать и о прикладном значении теории, как раз потому, что многое
удается вычислить в явном виде. Гауссовская модель чрезвычайно
популярна в самых разных областях приложений, от физики до математических финансов, и можно было бы привести, наряду с име


Предисловие

ющимся в лекциях, гораздо большее число красивых и полезных
фактов теории. Однако лекции не направлены на это, они предназначены в первую очередь математикам и студентам-математикам,
желающим изучить соответствующую технику и методологию.
Студенты и аспиранты, слушая лекции, читая их записи, сдавая
экзамены, указывали на опечатки и неточности в лекциях и их конспектах. Я приношу за это благодарность Александру Жданову, Игорю Родионову, Александру Клебану, Екатерине Чернавской, Юлии
Гусак, Серику Айбатову. Я благодарен Сереже Кобелькову за полезные советы и помощь в организации рукописи.
О замеченных опечатках просьба писать по адресу piter@mech.
math.msu.su.

Лекция 

Основные определения. Конечномерные
распределения

Пусть T –– произвольное множество и (Ω, , P) –– вероятностное
пространство. Семейство действительных случайных величин X =
= {Xt(ω), t ∈ T, ω ∈Ω} называется гауссовской функцией с действительными значениями на параметрическом множестве T, если для
любого конечного подмножества T0 ⊂ T случайный вектор X(T0) =
= (Xt(ω), t ∈ T0} со значениями в T0 является гауссовским. Если
T ⊂, то мы будем говорить о гауссовском процессе; в случае T ⊂n

мы говорим о гауссовском случайном поле. Для фиксированного ω
функцию X(·, ω) будем называть траекторией гауссовской функции. В этой лекции мы определим гауссовские конечномерные векторы и рассмотрим их основные свойства.

.. Определения и основные свойства

Определение ... Случайная величина X = X(ω) со значениями в (, ), где –– борелевская σ-алгебра, называется гауссовской (или нормальной), если ее характеристическая функция равна

ψ(z) := EeizX = exp
izm − 1

2σ2z2.

Всегда считаем, что σ ⩾0.

Дифференцируя ψ(z), убеждаемся, что EX = m и Var X = σ2. Для
обозначения того, что величина X нормально распределена, пишут
X ∼ (m, σ2). Если σ = 0, то X = m с вероятностью единица, в таком случае говорят, что X –– вырожденная нормальная случайная
величина. Случайная величина X ∼ (0, 1) называется стандартной нормальной или стандартной гауссовской.

Определение ... Случайный вектор X = X(ω) = (X1, …, Xd)⊤

со значениями в измеримом евклидовом пространстве (d, d), где

 Везде считаем, что векторы являются векторами-столбцами.


Лекция . Основные определения. Конечномерные распределения

d –– борелевская σ-алгебра, называется гауссовским, если его характеристическая функция

ψ(z) = Eei(z,X),
z = (z1, …, zd),

имеет вид

ψ(z) = exp(i(z, m)− 1

2(z, Rz)),
(.)

где m –– вектор и R –– матрица.

Поскольку функция ψ(z) обязана быть ограниченной, матрица R
должна быть неотрицательно определенной.Вектор m=(m1, …, md)⊤

представляет собой вектор математических ожиданий компонент
вектора X=(X1, …, Xd)⊤, а матрица R = (rkl : k, l = 1, …, d) является матрицей его ковариаций. В этом легко убедиться при помощи
дифференцирования характеристической функции и вычисления ее
производных в нуле:

mk = EXk = −i ∂ψ(z)

∂zk

zk=0
и
EXk Xl = rkl + mkml = −∂2ψ(z)

∂zk∂zl

zk=zl=0.

Дадим другое, эквивалентное определение гауссовского вектора,
которое, кроме того, доказывает, что ψ(z) действительно является
характеристической функцией случайного вектора.

Определение ... Случайный вектор X называется стандартным гауссовским (или нормальным), если его компоненты X1, …, Xd
независимы в совокупности и для каждого i выполняется условие
Xi ∼(0, 1). Случайный вектор X называется гауссовским, если для
некоторых вектора m, матрицы A и стандартного гауссовского вектора Z выполнено равенство

X
d= m+ AZ.

Запись
d= означает равенство распределений.

Чтобы показать эквивалентность двух вышеприведенных определений .. и .., вычислим сначала характеристическую функцию гауссовского вектора в смысле второго определения. Заметим,
что характеристическая функция гауссовского стандартного вектора Z равна

di=1
exp(−z2
i /2) = exp(−|z|2/2).

.. Определения и основные свойства


Далее, имеем,

E exp((i(z, m)+ AZ)) = ei(z,m)E exp((z, AZ)) =

= exp(i(z, m))E exp((A⊤z, Z)) = exp(i(z, m))E exp
−1

2|A⊤z|2=

= exp
i(z, m)− 1

2(z, Rz)
,

где R = AA⊤, так что матрица R неотрицательно определена, т. е. из
второго определения следует первое. Обратно, пусть m и R –– параметры гауссовского вектора в смысле определения ... Пусть A ––
квадратный корень из R, R = AA⊤. Пусть Z –– некоторый стандартный гауссовский вектор, тогда характеристическая функция случайного вектора X = m + AZ равна данной в определении ... Таким
образом, определения эквивалентны, и ψ(z) действительно характеристическая функция.
Пусть X=(X1, X2) –– гауссовский вектор, где X1 и X2 также могут
быть векторами. Ковариационная матрица вектора X имеет следующую структуру:

R =

R11
R12
R21
R22

,

где R11 и R22 –– соответственно ковариационные матрицы векторов
X1 и X2, а R12 называется матрицей взаимных ковариаций. В силу
симметрии матрица R, имеем R12 = R⊤
21, где R⊤
21 –– матрица, сопряженная к R21. Характеристическую функцию вектора X можно записать в виде

ψX(z) = exp
i(z1, m1)+ i(z2, m2)− 1

2(z1, R11z1)− 1

2(z2, R22z2)−

− 1

2(z1, R12z2)− 1

2(z2, R21z1)
,
(.)

где (m1, m2) и (z1, z2) –– подвекторы, соответствующие подвекторам
(X1, X2) вектора X. Из представления (.) следует, что подвекторы
(X1, X2) независимы тогда и только тогда, когда R12 = 0, т. е. все
взаимные ковариации компонент векторов X1 и X2 равны нулю. Такие векторы называются некоррелированными. Получаем следующее утверждение.

Предложение ... Пусть гауссовские векторы X1 и X2 таковы,
что составной вектор (X1, X2) также гауссовский. В этом случае X1
и X2 независимы тогда и только тогда, когда они некоррелированы.


Лекция . Основные определения. Конечномерные распределения

Задача. Приведите пример двух гауссовских некоррелированных, но зависимых случайных величин.
Указание. Пусть X1, Y1 –– независимые гауссовские стандартные
величины. Положим

(X, Y) =

(X1, |Y1|),
если X1 ⩾ 0,

(X1, −|Y1|),
если X1 < 0.

Задача. Приведите пример двух гауссовских случайных величин, совместное распределение которых негауссовское.
Указание. См. предыдущую задачу. Попробуете придумать другой пример.

Предложение ... Сумма двух независимых гауссовских векторов является гауссовским вектором.

Доказательство. Поскольку характеристическая функция суммы независимых случайных векторов равна произведению их характеристических функций, получаем, что

ψX1+X2(z) = exp(iz(m1 +m2)− 1

2(z, (R1 + R2)z),

где (m1, R1) и (m2, R2) –– соответствующие параметры векторов X1
и X2.

Найдем плотность распределения гауссовского вектора в случае, когда она существует. Сначала рассмотрим одномерный случай
и найдем плотность распределения гауссовской стандартной величины. Ее характеристическая функция суммируема, поэтому можно
найти обратное преобразование Фурье:

ϕ(x) =
1
2π

e−izx−z2/2dz =
1
2πe−x2/2 e−(z+ix)2/2dz =

=
1
2πe−x2/2
ix+∞
ix−∞
e−z2/2dz =
1
2πe−x2/2
∞
−∞
e−z2/2dz.

(Обратите внимание на то, что в текстах по теории вероятностей

знак интеграла
, как правило, понимается как

+∞
−∞
.) Последнее со
отношение имеет место в силу аналитичности функции e−z2/2. Определенный интеграл можно вычислить следующим образом:
e−z2/2dz =
e−u2/2+v2/2 du dv
1/2
.

.. Определения и основные свойства


Используя полярные координаты, получаем, что
e−u2/2+v2/2 du dv = 2π

∞
0
re−r2/2dr = 2π

∞
0
e−sds = 2π.

Итак,

ϕ(x) =
1
2πe−x2/2.
(.)

Отсюда непосредственно получаем, что плотность распределения стандартного гауссовского вектора существует и равна

ϕ(x) =
1

(2π)d/2 exp(−1

2||x||2).
(.)

Предложение ...
Пусть X –– гауссовский случайный вектор
с параметрами (m, R), и пусть ковариационная матрица R невырожденна, т. е. rank(R) = d. Тогда плотность распределения этого
вектора существует и равна

ϕX(x) =
1

(2π)d/2(det R)1/2 exp
−1

2(x−m, R−1(x−m))
,
(.)

где det –– определитель матрицы.

Доказательство. По определению .. имеем X
d= m + AZ, где
матрица A невырожденна и, следовательно, матрица R = AA⊤ также
невырожденна. Плотность случайного вектора Z преобразуется по
стандартному правилу при линейном преобразовании случайного
вектора, а именно,

ϕAZ+m(x) = (det A)−1ϕZ(A−1(x−m)).

Применяя это соотношение к плотности стандартного гауссовского
вектора Z и имея в виду, что det R = (det A)2, получаем искомое выражение для плотности.

Формула (.) может быть получена при помощи обратного преобразования Фурье характеристической функции (.):

ϕX(x) = (2π)−d d
e−i(x,z)− 1

2 (z,Rz)dz.

Отсюда при помощи дифференцирования получаем полезные соотношения для гауссовской плотности:

∂2ϕX(x)
∂xk∂xl = ∂ϕX(x)

∂rkl
, k ̸= l,
и

1
2
∂2ϕX(x)

∂x2
k
= ∂ϕX(x)

∂rkk
,
k, l = 1, …, d,
(.)