Теория вероятностей с примерами и задачами

Предисловие

В основу настоящего издания положены годовые курсы лекций по теории вероятностей, читавшиеся авторами в течение нескольких лет для студентов специальностей “Прикладная математика”, “Прикладная математика и информатика” и “Математическое обеспечение и администрирование информационных систем” на математикомеханическом факультете СПбГУ, а также материалы практических занятий, сопровождавших эти лекции.
Кроме теоретического материала в книге имеется большое количество задач. Часть
из них, представленных в конце параграфов, соответствующих тематике этих задач,
сопровождается подробными решениями. В конце некоторых глав приведены задачи
для самостоятельного решения. Следует заметить, что изучение теории вероятностей
без систематического самостоятельного решения задач невозможно. Именно поэтому
в данном учебном пособии уделено значительное место подробному изложению решений ряда задач, что может служить полезным примером в выборе методов и способов
решений при самостоятельной работе.
Книга состоит из следующих основных разделов: элементарная вероятность, незави-
симые испытания, предельные теоремы для схемы испытаний Бернулли, законы больших чисел, случайные величины и их числовые характеристики, цепи Маркова, характеристические и производящие функции, центральная предельная теорема, преобразования Лапласа, условные распределения и условные математические ожидания, элементы случайных процессов. Такой выбор материала обусловлен желанием, во-первых,
представить традиционную часть теории вероятностей, которая как правило присутствует в любом курсе по теории вероятностей, читаемом в высших учебных заведениях
(главы 1-6, 8, 11), во-вторых, показать разнообразие различных математических инструментов, используемых при изучении свойств распределений (главы 7, 9), в-третьих,
обеспечить возможность изложения в дальнейшем курса по математической статистике. Кроме того, в теоретическую часть включены некоторые задачи, на примере решения которых было желание продемонстрировать возможности применения различных
инструментов, таких, как характеристические или производящие функции или преобразование Лапласа. Это, например, задача о вырождении фамилий (глава 7, раздел 2)
или задача о занятости обрабатывающего заявки устройства (глава 9, раздел 2).
В настоящем учебном пособии применяется следующая нумерация теорем и лемм.
Каждая теорема или лемма снабжена тремя числами, первое число означает номер
главы, второе – номер раздела в главе, а третье – номер теоремы или леммы в данном
разделе. Задачи для самостоятельного решения приведены в конце некоторых глав и
имеют свою сплошную нумерацию внутри соответствующей главы.
Пособие рассчитано на лиц, намеренных использовать теорию вероятностей в при
3

ложениях достаточно профессионально.
Авторы пользуются случаем выразить глубокую благодарность своему учителю —
профессору В.В.Петрову, прочитавшему рукопись книги и сделавшему ряд ценных замечаний и предложений по улучшению изложения материала. Авторы благодарны профессорам В.А.Егорову и В.Б.Меласу за высказанные ими полезные советы. Эта книга
не была бы написана без поддержки коллектива научной школы “Теория вероятностей
и математическая статистика: асимптотические проблемы” НШ-1216.2012.1, руководимой академиком РАН И.А.Ибрагимовым. Авторы признательны также своему коллеге
А.А.Семенову за квалифицированные советы по оформлению настоящего учебного пособия.

Глава 1

Элементарная вероятность

1.1
Случайные события, операции над событиями,
вероятность, вероятностное пространство

Будем рассматривать эксперимент, который заканчивается одним из многих исходов. Мы предполагаем, что можем описать все возможные исходы, но каким конкретно
исходом закончится эксперимент, заранее мы сказать не можем. Введём ряд определений и обозначений.
Пусть Ω — это множество исходов нашего эксперимента (множество элементарных
событий), ω ∈ Ω — элементарные события, элементы множества исходов. Пусть на Ω
определена F — σ-алгебра подмножеств Ω.
Если A ∈ F, то A ⊂ Ω, и будем называть A случайным событием. Если множество
элементарных событий Ω конечное или счётное, то в качестве σ-алгебры F берут чаще
всего множество всех подмножеств (если n элементов в Ω, то в σ-алгебре 2n событий).
Говорим, что событие A произошло, если эксперимент заканчивается исходом ω ∈ A,
а если ω /∈ A , то событие A не произошло.
Рассмотрим A и B — случайные события (A, B ∈ F), тогда A B означает сумму (объеденение) событий A и B, а A B = AB — произведение (пересечение) этих
событий.
Обозначим A = Ω \ A — событие, обратное к событию A.
Отметим, что всегда Ω ∈ F и Ω называется достоверным событием, т.е. событием,
которое всегда происходит. Дополнение к достоверному — ∅ = Ω представляет собой
невозможное событие.
Пусть имеются два случайных события A и B и, причем AB = ∅. Тогда события
A и B называют несовместными событиями. Например, A и A — пара несовместных
событий.
Рассмотрим набор событий A1, A2, . . . , Am ∈ F, для которых выполнены 2 условия:
1) AiAj = ∅ при всех i ̸= j;

2)
mi=1
Ai = Ω.

Тогда A1, A2, . . . , Am — полная система (группа) несовместных событий. Отметим,
что возможен вариант m = ∞.
Определим основное понятие нашей книги — «вероятность»:

5

Глава 1. Элементарная вероятность

Определение. Пусть имеются множество элементарных событий Ω и сигма-алгебра
событий F. Пусть функция P определена на множестве случайных событий (P : F → R)
и удовлетворяет следующим условиям:
1) P (A) ≥ 0 для любого A ∈ F
2) P (Ω) = 1
3) Если имеется не более чем счётное число случайных событий A1, A2, . . ., таких,что

AiAj = ∅ (i ̸= j) , то P
∞
i=1
Ai

=
∞
i=1
P (Ai) .

В этом случае P называется вероятностью, а три приведенных выше условия – аксиомами вероятности. Тройку элементов (Ω, F, P) принято называть вероятностным
пространством.

Рассмотрим следующие примеры.

1. Однократное подбрасывание монеты. Обозначим при однократном подбрасывании монеты символом Г — выпадение герба, а символом Р — выпадение решетки.

Тогда Ω = {Г,Р}, F = {{Г}, {Р}, {Г,Р}, ∅}.

Положим P1({Г}) = P1({Р}) = 0, 5, P1(Ω) = 1, P1(∅) = 0. Таким образом, мы
определили вероятностное пространство (Ω, F, P) с вероятностью P = P1.

Заметим, что вероятность можно определить и иначе:

P2({Г}) = 1

5, P2({P}) = 4

5, P2(Ω) = 1, P2(∅) = 0.

Это показывает, что определенного способа задания вероятности изначально нет.
Если есть симметрия, то используем её.

2. Дважды подбрасываем игральный кубик. Определим Ω = {(i, j) : 1 ≤ i, j ≤ 6} —
множество элементарных событий. Всего 36 возможных вариантов. Будем считать, что F = 2Ω, то есть сигма-алгебра событий — это множество всех подмножеств Ω и предполагаем, что кубики правильные — “честные”. Тогда вероятность
можно определить следующим способом:

P({(i, j)}) = 1

36, P({ω1, ω2, . . . , ωk}) = k

36,

где событие под знаком вероятности состоит из k различных исходов вида (i, j).

Примеры решения задач на определение множества
элементарных событий и сигма-алгебр случайных событий

Итак, важнейшим элементом теории вероятностей является вероятностное пространство (Ω, F, P). Первый элемент Ω={ω} вероятностного пространства представляет собой множество элементарных событий (взаимно исключающих исходов некоторого эксперимента). Типичные примеры пространства элементарных событий:
Ω={Г, Р} — отвечает бросанию монеты, при котором возможен один из двух исходов:
ω1=Г (появление герба) и ω2=Р (появление решетки);
Ω={(Г, Г), (Г, Р), (Р, Г), (Р, Р)} — соответствует одновременному бросанию двух монет, причем символ на первом месте определяется первой монетой, а символ на втором
месте зависит от исхода бросания второй монеты;

1.1. Случайные события, операции над событиями, вероятность, . . .
7

Ω={1, 2, 3, 4, 5, 6} — используется при бросании игральной кости, грани которой
помечены цифрами 1,. . . , 6;
Ω={ωi,j}, где ωi,j = (i, j), i, j = 1, . . . , 6, удобно использовать при бросании двух
игральных костей;
Ω=[0;1] — соответствует координате точки, случайно брошенной на отрезок [0;1].
Рассмотрим более сложные примеры пространств элементарных исходов.
Задача 1. Как выглядит Ω, если в эксперименте игральная кость бросается до
появления первого герба?
Решение.
В этом случае возможно появление герба при первом, втором, . . . бросаниях монеты; количество элементарных исходов бесконечно; их можно обозначить
следующим образом: ωn=(Р,
Р,
. . . , Р,
Г), n = 1, 2, . . . , где последовательность из
символов Р и Г, соответствующая элементарному исходу ωn, содержит n − 1 символ Р
и один символ Г, размещенный на n-м месте.
Задача 2. Опишите множество элементарных событий, соответствующих четырехкратному бросанию игральной кости. Сколько элементов в этом множестве?
Решение.
В качестве элементарных исходов следует взять четверки (i, j, k, l), где
каждый из символов может принимать шесть значений от 1 до 6. Всего таких четверок
будет 64.
Задача 3. Из колоды в 52 карты вытаскивают 5 карт. Каково множество элементарных событий в этом случае?
Решение. Здесь возможно два случая, в зависимости от того, важен или нет для
нас порядок прихода карт. Если эти карты получает один игрок для дальнейшей игры, ему не важно, какой по счету пришла конкретная карта. В этом случае в качестве
элементарных событий можно взять всевозможные пятерки (без учета порядка) карт,
взятых из колоды в 52 карты. Примером такого элементарного события является, скажем, набор (дама треф, король пик, десятка червей, валет червей, тройка пик). Всего
можно образовать n = C5
52 =
52!
5!47! таких наборов. Если карты раздаются по одной пяти игрокам, то уже в этой ситуации порядок их прихода может быть важен. В этом
случае следует рассмотреть всевозможные пятерки карт, но уже с учетом их порядка.
Тогда упомянутый выше набор (дама треф, король пик, десятка червей, валет червей,
тройка пик) и набор (король пик, дама треф, десятка червей, валет червей, тройка
пик) представляют уже различные элементы пространства элементарных исходов. Более того, из этого набора, переставляя 5 его конкретных элементов, можно получить 5!
различных элементарных событий. Общее число элементарных исходов в данном случае, таким образом, в 5! раз превышать число исходов в первой ситуации и равняется
числу размещений A5
52.
Напомним, что A5
52 = 5!C5
52 = 52!

47! = 52 · 51 · 50 · 49 · 48.
Задача 4. Предполагаем теперь, что выбор пятерки карт в предыдущей задаче
происходит с возвращением, т.е. зафиксировав масть и значение карты, мы ее возвращаем в колоду и она может быть вытащена повторно в следующей попытке. Опишите
пространство элементарных исходов в этом случае.
Решение. В этом случае можно зафиксировать 525 различных вариантов последовательного прихода карт. В общем виде элементарный исход можно записать в виде
пятерки символов (k1, k2, k3, k4, k5), где на месте каждого символа может стоять название любой из 52 карт.
Задача 5. Рассмотрим более сложную ситуацию: по 5 карт из колоды в 52 карты
раздали 4 игрокам. Опишите возможное пространство элементарных событий.

Глава 1. Элементарная вероятность

Решение. Здесь очевидно важно, что 20 вытащенных карт представляют не одну
группу (тогда мы бы оказались в условиях задачи 3 с заменой 5 карт на 20), а разбиты
на 4 равные по количеству карт группы. Правда, здесь также возможны варианты. Для
практической игры, как правило, не важен порядок в каждой пятерке карт, но важно,
к какому игроку попали эти конкретные пятерки. Поэтому элементарное событие можно записать в виде четырех пятерок символов ((k1, k2, k3, k4, k5),
(k6, k7, k8, k9, k10),
(k11, k12, k13, k14, k15),
(k16, k17, k18, k19, k20)), где первая группа относится к первому
игроку, вторая — ко второму, третья — к третьему и четвертая — к четвертому. Порядок внутри каждой группы нас не интересует. Отметим, что в каждом таком наборе фигурируют 20 различных карт. Для того, чтобы заполнить первые пять мест
мы должны из 52 карт взять любые 5. Это можно сделать, как мы знаем из задачи 3,
n1 = C5
52 способами. После этого у нас остается 47 карт, из которых n2 = C5
47 способами
можно вытащить очередную пятерку для второго игрока. Видим, что каждому из n1
вариантов заполнения пятерки (k1, k2, k3, k4, k5) соответствует n2 различных вариантов
заполнения второй пятерки. Таким образом, первые две группы могут быть заполнены
n1 · n2 = C5
52 · C5
47 способами. Продолжая эти рассуждения, получаем, что все 4 группы
можно заполнить C5
52 · C5
47 · C5
42 · C5
37 способами.

Замечание. Отметим, что если нам нужно из m = m1+m2+· · ·+mr предметов составить
r групп, содержащих соответственно m1, m2, . . . , mr предметов, то число различных
вариантов такого распределения предметов равно

n = Cm1
m Cm2
m−m1 . . . Cmr
m−m1−m2−···−mr−1.

Воспользовавшись соотношением Cs
r =
r!

s!(r−s)!, можно получить более простое равенство n =
m!

m1!m2!...mr!.
В задаче 5 мы по существу разбили 52 предмета на 5 групп (по 5 карт четырем
игрокам и еще 32 карты остались в колоде). Число таких разбиений, согласно приведенной только что формуле, равно
52!

(5!)4·32!, что, как нетрудно убедиться, совпадает с
ответом, полученным в задаче 5.

Следующий элемент вероятностного пространства — σ-алгебра событий F. Напомним, что множество элементарных событий позволяет выбрать σ-алгебру событий неоднозначно. Например, множество из двух событий: достоверного Ω и невозможного ∅,
которое является событием, дополнительным к достоверному, уже образует σ-алгебру
событий (проверьте, что выполняются все необходимые условия того, что данный набор
событий {Ω, ∅} является σ-алгеброй). Такие тривиальные σ-алгебры не очень интересны для нас, поскольку набор событий, для которых определены вероятности (а они
определены лишь для элементов выбранной заранее σ-алгебры) слишком беден. Если
Ω = {ω1, . . . , ωr} состоит из конечного числа элементарных исходов, то естественной
будет σ-алгебра, состоящая из всевозможных подмножеств Ω, включая невозможное
событие ∅ и все множество Ω, которое, если рассматривать его как непременный элемент любой σ-алгебры событий, является достоверным событием.
Задача 6. Покажите, что если пространство Ω состоит из r элементарных исходов,
то описанная выше естественная σ-алгебра событий состоит из 2r элементов.
Решение. Все события, образующую естественную σ-алгебру, можно разбить на r+1
группу по числу элементарных исходов, входящих в событие. Событий, которые включают ровно m из r исходов, где m может равняться 0, 1, . . . , r, будет ровно Cm
r . Например, m = 0 соответствует лишь невозможное событие, а m = r дает лишь достоверное

1.1. Случайные события, операции над событиями, вероятность, . . .
9

событие. Таким образом, общее число элементов σ-алгебры совпадает с суммой

C0
r + C1
r + · · · + Cr−1
r
+ Cr
r,

которая является разложением бинома (a + b)r при a = b = 1 и равна, следовательно,
2r.
Задача 7. Пусть Ω = {ω1, . . . , ω6} (это пространство элементарных исходов отвечает, например, эксперименту, в котором имеем дело с бросанием игральной кости). Какое минимальное число событий нужно добавить к событиям A1 = ∅, A2 = {ω3}, A3 =
{ω1, ω2}, A4 = {ω4, ω5, ω6}, чтобы они образовали σ-алгебру?
Решение. Поскольку Ω состоит из 6 исходов, то естественная σ-алгебра должна
содержать 26 элементов, но нас интересует минимальная σ-алгебра, содержащая события A1, A2, A3 и A4. Из определения σ-алгебры следует, что в ней должны обязательно присутствовать события, дополнительные событиям A1, A2, A3 и A4, т.е. события
A5 = {ω1, . . . , ω6}, A6 = {ω1, ω2, ω4, ω5, ω6}, A7 = {ω3, ω4, ω5, ω6} и A8 = {ω1, ω2, ω3}.
Достоверное событие Ω — непременный атрибут любой σ-алгебры совпадает с событием A5 и остается убедиться, что всевозможные объединения (суммы) любого набора
(здесь достаточно рассматривать лишь суммы конечного числа событий) из событий
Ak, k = 1, . . . , 8, совпадают с каким-либо из событий A1, . . . , A8. Видим, например,
что A1 ∪ Ak = Ak и A5 ∪ Ak = A5 = Ω для любых k = 1, 2, . . . , 8, A2 ∪ A3 = A8,
A2 ∪ A4 = A7, A2 ∪ A3 ∪ A4 = A5 = Ω и так далее. Таким образом, четыре события
A5, A6, A7 и A8 дополняют набор A1, A2, A3 и A4 до минимальной σ-алгебры.
Задача 8. Монету бросаем три раза. Как может выглядеть в этом случае пространство элементарных исходов и σ-алгебра, содержащая события B={ герб выпал нечетное
число раз}, C={герб появился три раза} и D={герб появился при втором бросании}?
Решение. Если речь шла бы о σ-алгебре, включающей B, то можно было выбрать Ω,
состоящее из двух элементарных исходов ω1={при трех бросаниях герб выпал четное
число раз} и ω2={при трех бросаниях герб выпал нечетное число раз}, и σ-алгебру,
состоящую из четырех событий A1 = ∅, A2 = Ω, A3 = {ω1} и A4 = {ω2}. Если бы
мы хотели включить в σ-алгебру события B и C, забыв о D, то нас устроило бы
пространство элементарных исходов, состоящее из ωk={при трех бросаниях монеты
герб выпал k раз}, k = 0, 1, 2, 3. Тогда B и C можно выразить в виде B = {ω1, ω3}
и C = {ω3}. В этом случае минимальная σ-алгебра включала бы восемь событий:
∅, Ω, B, C, B = {ω0, ω2}, C = {ω0, ω1, ω2}, B ∪ C = {ω0, ω2, ω3} и Ω \ (B ∪ C) = {ω1}.
Ни первая, ни вторая из приведенных выше σ-алгебр не включает D. Поэтому,
если мы хотим найти σ-алгебру, содержащую все три события B,
C и D, следует выбрать другое пространство элементарных исходов. Например, удобно взять Ω, состоящее из элементарных исходов ω1={Р,Р,Р},
ω2={Р,Р,Г},
ω3={Р,Г,Р},
ω4={Р,Г,Г},
ω5={Г,Р,Р},
ω6={Г,Р,Г},
ω7={Г,Г,Р} и ω8={Г,Г,Г}, где символ, стоящий на k-ом
месте, указывает на результат (появление герба или решетки) k-го бросания монеты
(k = 1, 2, 3). В этом случае события B, C и D выражаются через элементарные исходы
следующим образом: B = {ω2, ω3, ω5, ω8}, C = {ω8}, D = {ω3, ω4, ω7, ω8}.
Безусловно, естественная σ-алгебра, содержащая 28 = 256 подмножеств множества
Ω = {ω1, . . . , ω8}, будет содержать и все три события B, C и D. Если нам нужно было
бы минимизировать число элементов, содержащихся в Ω и соответствующей σ-алгебре,
то можно было заметить, что ключевые для нас события B, C и D, а следовательно и
их дополнения и суммы, могут быть построены из более крупных “блоков”, чем исходные “кирпичи” — элементы ω1, . . . , ω8. В качестве таких новых элементарных исходов

Глава 1. Элементарная вероятность

можно взять ˜ω1 = (ω1, ω6), ˜ω2 = (ω2, ω5), ˜ω3 = ω3, ˜ω4 = (ω4, ω7), ˜ω5 = ω8. Отметим, что
тогда B = {˜ω2, ˜ω3, ˜ω5}, C = {˜ω5}, D = {˜ω3, ˜ω4, ˜ω5}.
Таким образом, окончательно в качестве пространства элементарных исходов можно взять ˜Ω = {˜ω1, ˜ω2, ˜ω3, ˜ω4, ˜ω5}. Естественная σ-алгебра подмножеств ˜Ω, состоящая
из 25 = 32 элементов, будет содержать и заданный набор событий B, C и D. Можно показать, используя решение задачи 7, что эта σ-алгебра является минимальной,
содержащей события B, C и D.

1.2
Свойства вероятности

Предполагаем, что
(Ω, F, P) — произвольное вероятностное пространство. Тогда
для вероятности справедливы следующие свойства:

1) P(A) = 1 − P(A).

2) 0 ≤ P(A) ≤ 1 для любого случайного события A.

3) P(∅) = 0.

4) P(A ∪ B) = P(A) + P(B) − P(AB).

4∗) P
ni=1
Ai

=
ni=1
P(Ai) − i<j
P(AiAj) +

+
i<j<k
P(AiAjAk) − . . . + (−1)n+1P
ni=1
Ai

,

где A1, A2, . . . , An — произвольные случайные события.

5) P
i
Ai

≤ i
P(Ai), где A1, A2, . . . , An — произвольные случайные события.

6) Если A ⊂ B (в этом случае принято говорить, что “событие A предшествует
событию B” или “событие A влечёт за собой событие B”), то P(A) ≤ P(B).

7) Пусть имеется последовательность “расширяющихся” событий A1 ⊂ A2 ⊂ . . . .

Введем обозначение A =
∞
i=1
Ai. Тогда P(A) = lim
n→∞ P(An).

8) Пусть имеется последовательность “вложенных” событий, то есть для последова
тельности событий Bi выполняются условия: B1 ⊃ B2 ⊃ . . . . Если B =
∞
i=1
Bi , то

P(B) = lim
n→∞ P(Bi).

Последние два свойства принято называть свойствами непрерывности вероятности.
Доказательство свойств.
1) Поскольку A, A – несовместные события, то, согласно третьей аксиоме, имеем
P(A∪A) = P(A)+P(A), но P(A∪A) = P(Ω) = 1. Отсюда следует, что P(A) = 1−P(A).
2) Левое неравенство совпадает с первой аксиомой. Докажем правое неравенство.
Поскольку 1 = P(A) + P(A) и P(A) ≥ 0, то P(A) + P(A) ≥ P(A).