Теория вероятностей и математическая статистика

В. П. Яковлев, Н. Е. Кошелева

Теория вероятностей 
и математическая 
статистика

Учебное пособие

5-е издание, пересмотренное

Москва
Издательско-торговая корпорация «Дашков и К°»
2022

Серия «Учебные издания для бакалавров»

УДК 519.2
ББК 22.17
Я47

Яковлев, Виталий Павлович. 
Теория вероятностей и математическая статистика : 
учебное пособие для бакалавров /  В. П. Яковлев, Н. Е. Кошелева. — 
5-е изд., пересм. — Москва : Издательско-
торговая корпорация «Дашков и К°», 2022. — 182 с.

ISBN 978-5-394-04978-1.

Дается логически последовательное изложение традиционного 
курса теории вероятностей и математической статистики, 
основанное на исследованиях А. Н. Колмогорова по теории 
сложности нерегулярных последовательностей. Рассмотрены 
информационные и физические обоснования понятия 
независимости, проблемы регрессионного подхода, оптимизации 
технического эксперимента, а также актуальные проблемы 
аналого-цифрового преобразования, распознавания образов 
и выделения сигнала на фоне шума.
Для студентов бакалавриата, обучающихся по направлениям 
подготовки, входящим в укрупненную группу «Экономика 
и управление», а также экономистов и инженеров, использующих 
математическое моделирование.
УДК 519.2
ББК 22.17

Я47

ISBN 978-5-394-04978-1
© Яковлев В. П., 2007
© Яковлев В. П., Кошелева Н. Е., 2022, 
    с изменениями

Рецензенты:
Б. И. Олейников — кандидат технических наук, доцент Российского 
университета кооперации;
Н. А. Веклич — кандидат физико-математических наук, доцент Российского 
государственного университета нефти и газа имени И. М. Губкина.

Предисловие ............................................................................................................................7

Часть I
ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Глава 1. СЛУЧАЙНЫЕ СОБЫТИЯ .................................................................9
§ 1.1. Определение вероятности ...................................................................9
§ 1.2. Свойства вероятности события ....................................................12
§ 1.3. Свойства статистического ансамбля .......................................19
§ 1.4. Эпсилон-зависимость ...........................................................................25
§ 1.5. Формализация теории вероятностей .....................................29
§ 1.6. Примеры решения задач теории 
вероятностей событий ..........................................................................36
§ 1.7. Кодирование источника сообщений ........................................40
§ 1.8. Информация .................................................................................................46

Глава 2. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ .........................................................49
§ 2.1. Распределение вероятностей ........................................................49
§ 2.2. Непрерывные случайные величины .......................................52
§ 2.3. Классификация..........................................................................................55
§ 2.4. Примеры законов распределения .............................................58
§ 2.5. Критерий трех сигм и доверительный интервал .........61
§ 2.6. Совместное распределение вероятностей .........................63
§ 2.7. Взаимная информация случайных величин ....................65

Глава 3. ФУНКЦИИ ОТ СЛУЧАЙНЫХ ВЕЛИЧИН .....................71
§ 3.1. Расчет плотности вероятностей ..................................................71
§ 3.2. Линейные преобразования случайных величин ..........74
§ 3.3. Многомерное гауссовское распределение ..........................77
§ 3.4. Суммирование случайных величин .........................................80
§ 3.5. Центральная предельная теорема ............................................83

Глава 4. ТЕОРИЯ АНАЛОГО-ЦИФРОВОГО 
ПРЕОБРАЗОВАНИЯ ...........................................................................87
§ 4.1. Оптимизация ................................................................................................87
§ 4.2. Асимптотические соотношения 
при малых шагах равномерного квантования ................89
§ 4.3. Энтропийное кодирование квантованных величин ...91

Часть II
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Глава 5. CТАТИСТИЧЕСКИЕ ПРИЛОЖЕНИЯ ...............................97
§ 5.1. Предмет статистики ..............................................................................97
§ 5.2. Достоверность рейтингов и гистограмм ...............................99

Глава 6. ПРИНЯТИЕ РЕШЕНИЙ В УСЛОВИЯХ 
НЕОПРЕДЕЛЕННОСТИ ................................................................102
§ 6.1. Задача различения гипотез .........................................................102
§ 6.2. Функция правдоподобия ................................................................107
§ 6.3. Распознавание образов ....................................................................114

Глава 7. ВЫДЕЛЕНИЕ СИГНАЛА НА ФОНЕ ШУМА ............118
§ 7.1. Статистическое оценивание ........................................................118
§ 7.2. Максимально правдоподобное оценивание ....................121

Глава 8. РЕГРЕСИОННЫЙ АНАЛИЗ .....................................................127
§ 8.1. Регресионная модель .........................................................................127

§ 8.2. Статистический подход к регрессии ....................................132
§ 8.3. Оценка тенденции ................................................................................135

Глава 9. ПЛАНИРОВАНИЕ 
ТЕХНИЧЕСКОГО ЭКСПЕРИМЕНТА ..............................139
§ 9.1. Экстремальное регулирование .................................................139
§ 9.2. Модификация регрессии ................................................................143
§ 9.3. Статистический анализ регрессии ........................................148
§ 9.4. Алгоритм планирования эксперимента ............................151

Приложения:

1. Формула Стирлинга ............................................................................................154
2. Расчет эпсилон-энтропии случайной величины ........................155
3. Независимые последовательности с половинной 
вероятностью .............................................................................................................159
4. Оценка параметров 
двумерного нормального распределения..........................................162
5. Методические указания к выполнению 
домашних заданий курса “Теория вероятностей 
и математическая статистика” ..................................................................166
Задание 1. 
Расчет частот символов (букв) 
печатного текста .....................................................................166
Задание 2. 
Расчет вероятности ситуации при игре .............169
Задание 3. 
Транспортная задача .........................................................169
Задание 4.  Расчет среднего значения и дисперсии 
по заданной плотности вероятности .....................169
Задание 5. 
Расчет допусков на частоты букв 
с помощью закона Бернулли .......................................169
Задание 6. 
Оценка качества распознавания символов 
текста по частотам отрывков ......................................172
Задание 7. 
Расчет средних частот и их дисперсий 
по результатам для пяти отрывков .......................173

Задание 8. 
Расчет энтропии печатного текста .........................174
Задание 9. 
Повторный эксперимент 
при распознавании образов ..........................................174
Задание 10. Регрессия курса валют .....................................................174
Задание 11. Расчет параметров регрессии 
за период 10–60 дней ..........................................................175
Задание 12. Оценка достаточности 
линейной зависимости ......................................................176
Задание 13. Оценка корреляции 
курсов доллара и евро .......................................................176

ЛИТЕРАТУРА ................................................................................................................179

Предисловие

Все классические математические понятия имеют своими 
корнями физические аналоги. Так, интеграл — это площадь 
или объем, производная — это скорость, мера — результат 
измерения. И только вероятность не имеет физического ана-
лога, поскольку однозначно не определен способ ее измерения. 
Нет четкого определения основного понятия теории вероят-
ности — независимости. Удивительно, но из такого неформа-
лизованного понятия как независимость получается уникаль-
ное математическое свойство — представление функции двух 
“переменных” — совместной вероятности осуществления двух 
событий — произведением двух функций одной переменной — 
вероятностей каждого события. Отсутствие математическо-
го доказательства этого факта часто вводит в заблуждение 
классиков современной физики. Так, в учебнике Л. Д. Ландау, 
Е. М. Лифшица “Статистическая физика” утверждается, что 
“с математической точки зрения статистическая независи-
мость означает, что вероятность составной системы разбивает-
ся на вероятности каждой подсистем”.
Вопрос о природе случайного интересует физиков и ин-
женеров до сих пор. Известна дискуссия Эйнштейна и Гайзер-
берга по этому поводу. Гайзенберг утверждал, что случайность 
присуща природе, материи. Возражая, Эйнштейн говорил, 
что в природе нет ничего случайного, а есть неполное знание 
и шутливо замечал, что по Гайзенбергу “Бог играет в кости со 
Вселенной”. Точка Зрения Эйнштейна получила в последнее 
время подтверждение в рамках теории грубых, или робастных, 
систем. Считается, что при составлении моделей реальных объектов 
или явлений учитываются только существенные параметры, 
позволяющие описать реальную ситуацию с требуемой 
точностью. Остальные многочисленные факторы дают “фон”, 

который разумно учитывать с помощью теории вероятностей 
и математической статистики. Этот учет неизбежен, поскольку 
использование математической статистики дает уникальную 
возможность оценить достоверность, надежность выводов, сделанных 
на основании модели. Получается, что случайность — 
это неучтенная “определенность”, неопознанная детерминированность. 
В связи с этим возникает сомнение относительно 
общепринятого противопоставления случайного и детерминированного. 
Логичнее считать, что методы теории вероятности 
вполне применимы и к детерминированным объектам, но дают 
лишь частичное описание. Этот вывод весьма актуален в связи 
с тем, что практически повсеместно при моделировании на 
компьютере используются вполне детерминированные псевдослучайные 
последовательности.
Необходимость строгого математического обоснования те-
ории вероятностей и математической статистики стали очевид-
ны для А. Н. Колмогорова уже после разработки аксиоматичес-
кой теории вероятностей. С целью преодоления существующих 
парадоксов в течение 80-х гг. прошлого столетия учениками его 
школы была разработана соответствующая теория. Она позво-
лила дать строгое определение понятия случайного и детерми-
нированного, описать математически феномен независимости. 
В предлагаемом пособии предпринята попытка в максимально 
доступной форме изложить эти подходы и проиллюстриро-
вать их пригодность для решения современных задач теории 
аналого-цифрового преобразования, передачи информации по 
каналам связи, распознавания образов, обработки данных из-
мерений, регрессионного анализа и планирования техническо-
го эксперимента с целью оптимизации производственного про-
цесса.

Часть I
ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Глава 1. Случайные события

§ 1.1. Определение вероятности

Случайным называется событие, которому можно припи-
сать вероятность. Известно, что определение физической вели-
чины сводится к описанию способа ее измерения. Это положе-
ние в полной мере относится к вероятности. Рассматриваются 
испытания, которые можно повторять многократно. Совсем не-
обязательно самим проводить испытания, можно просто за 
ними наблюдать или даже воображать их проведение. Класси-
ческим примером являются азартные игры. При бросании мо-
неты “орел” может выпасть или не выпасть; если на него сдела-
на ставка, его выпадение — благоприятное событие. При игре 
“в кости” бросается кубик (он заменил употреблявшуюся ранее 
кость с явно выраженными шестью гранями). В результате мо-
жет произойти одно из шести событий — выпадение помечен-
ной цифрой грани. Здесь само испытание осуществляется при 
нашем непосредственном участии. Кубик может иметь нерав-
нозначные грани. Если нас интересует наличие некоторой по-
роды в керне, мы должны воспользоваться результатами ис-
пытаний, проведенных, возможно, с другими целями, а не для 
поиска нужной нам породы, то есть здесь мы практически не 
участвуем в проведении испытаний.
Вероятность определяется путем анализа результатов се-
рии из N испытаний, результаты испытаний можно трактовать 

как выход некоторого генератора испытаний или источника со-
бытий. Результаты можно наблюдать в последовательные мо-
менты времени на выходе одного источника. Кроме того, мож-
но вообразить набор источников, расположенных в различных 
точках пространства, выходы которых фиксируются в один и 
тот же момент времени. Мыслимы также различные комбина-
ции приведенных способов получения результатов испытаний, 
или проведения эксперимента.
Дадим определение вероятности события на основе ана-
лиза результатов испытаний, часто называемое классическим. 
Итак, в серии из N испытаний n раз фиксировался некоторый, 
скажем, благоприятный для нас исход. Рассмотрим частоту 
pn = n/N; если при безграничном увеличении N величина pn все 
ближе к некоторому значению р, то говорят, что событие, кото-
рое характеризует благоприятный исход, имеет вероятность, 
равную р.
Классическому определению можно придать строгую ма-
тематическую формулировку. Рассматривается бесконечная 
бинарная последовательность a1, a2, … aN, …, члены которой мо-
гут принимать значения 0 или 1. Если ai = 1, будем говорить, что 
реализуется событие; с точки зрения математика событие — 
абстрактное понятие, не отражающее какой-либо практический 
смысл. Рассмотрим расходящийся ряд a1 + a2 + … + aN + … 
с частными суммами

Если существует предел последовательности

будем считать, что событие случайно, а p его вероятность. Разумеется, 
вообще говоря, один и тот же предел p имеют многие 
последовательности a1, a2, …. aN, их совокупность образует 
статистический ансамбль; всякая последовательность из этого 
ансамбля однозначно его определяет. Кроме того, конкретное 

значение ai нельзя отождествить с единственной последовательностью, 
оно принадлежит всему ансамблю, поэтому можно 
считать, что реализации ai получены от разных источников, в 
частности, при наличии достаточно большого числа последовательностей 
в ансамбле, величинам ai можно поставить в соответствие 
разные источники событий.
Из приведенного определения следуют выводы, существенные 
для теории вероятностей и математической статистики. 
Во-первых, к теории вероятностей следует отнести 
изучение свойств пределов случайных последовательностей, 
а математическая статистика рассматривает задачу аппроксимации, 
то есть возможность оценки статистических ха-
рактеристик, в первую очередь вероятности p, по конечному 
числу N членов последовательности ансамбля a1, a2, … aN. 
Во-вторых, отнесение данного объекта к разряду случайных 
объектов и реализация “экспериментов” по определению конкретных 
значений вероятностей не относятся математике; ее 
задачи формулируются после аксиоматического определения 
исследуемых объектов и их свойств, так что последовательность 
a1, a2, …, aN считается заданной. Наконец, в третьих, в 
состав ансамбля по определению входят последовательности, 
члены которых определяются однозначно по заранее заданному 
правилу или алгоритму, в том числе периодические последовательности. 
В качестве примера для случая p = 0,5 приведем 
последовательность 101010…, полученную повторением 
набора 10, для которой вероятность получается не только для 
N → ∞, но уже при N = 2;4;6;…. Аналогичными свойствами 
обладают и другие периодические последовательности, например, 
последовательность 10011001… имеет период N0 = 4. 
Таким образом, детерминированные, или псевдослучайные 
последовательности относятся к случайным, и на вполне законных 
основаниях могут использоваться в качестве полноценных 
представителей ансамбля, определяющих все его 
характеристики. Разумеется, особенности псевдослучайных 
последовательностей как членов ансамбля определяются далеко 
не полностью, их отнесение к ансамблю дает лишь неко-

торые их черты. Однако противопоставление на основе такого 
положения детерминированных и случайных объектов ничем 
не оправдано.

§ 1.2. Свойства вероятности события

Математика изучает взаимодействие математических 
объектов, в данном случае таковыми предстают случайные 
события, отождествляемые с бинарными последовательностями. 
Но операции над последовательностями возможны лишь в 
случае, если проведена их общая нумерация: при заданном номере 
i однозначно определены члены ai и bi разных последовательностей. 
В соответствие с аналогией нумерации и осуществления 
последовательных испытаний в эксперименте логично 
говорить о появлении двух событий в одном эксперименте, и 
соответствующих бинарных последовательностей ai и bi. Рассмотрим 
некоторые определения и результаты, характеризующие 
взаимодействие случайных событий.
Определение 1. Два события A и B равны, если ai = bi.
Определение 2. Сумма, или объединение двух событий есть 
событие C = A + B, происходящее тогда и только тогда, если 
реализуется событие A или B. Таким образом, последователь-
ность ci получается из ai и bi по правилу: ci = 1, если ai = 1, bi = 0, 
или ai = 0, bi = 1, или ai = 1, bi = 1, однако ci = 0, если ai = bi = 0. Та-
ким образом, сложение членов последовательностей осущест-
вляется по правилам булевой алгебры.
Определение 3. События A и B несовместимы (ортогональ-
ны), если реализация A исключает реализацию B, а реализа-
ция B подразумевает невозможность реализации A; однако “не 
реализация” A не исключает “не реализацию” B. Этот означает, 
что при ai = 1 должно быть bi = 0, а при bi = 1 обязательно ai = 0. 
Bозможны несколько событий, несовместимых с A, поскольку 
при некоторых i могут быть ai = bi = 0.
Определение 4. Событие A считается достоверным, если 
оно реализуется в любом испытании. В этом случае ai = 1 при 
любом i.

Определение 5. Событие A считается невозможным, если 
оно не реализуется ни при каком испытании, то есть ai = 0 при 
любом i.
Определение 6. Событие C = A · B является произведением 
или пересечением событий A и B, если оно реализуется лишь в 
случае осуществления A и B. Таким образом, ci получается из ai 
и bi обычным умножением: сi = aibi.
Определение 7. Событие A следует из события B, если по-
явление B означает и появление A. Таким образом, в последо-
вательности для A содержатся все единицы последовательнос-
ти события B, поэтому A “богаче” B, и может быть использован 
символ “>”:  A > B означает, что A следует из B.
Определение 8. Пусть A > B. Событие 
 считается допол-
нением B до A, если оно несовместимо с B, и 
. Таким 
образом, последовательность для 
 включает те единицы A, 
которые не вошли в B. Если A — достоверное событие, то 
 
обозначается без символа внизу — 
 и называется событием, 
противоположным B, поскольку единицам последовательности 
для B соответствуют нули последовательности для 
, а нули 
последовательности для B соответствуют единицам последова-
тельности для .
Определение 9. Пусть A, B — два события, A · B — их произ-
ведение, 
 — дополнения соответственно до A и B про-
изведения A · B. Событие 
 называется симмет-
ричной разностью событий A и B.
Определение 10. Набор событий A1, A2, ... An считается пол-
ным, если исходом эксперимента может быть одно из них, и 
никакое другое. При объединении таких событий получается 
последовательность, состоящая из одних единиц, то есть досто-
верное событие.
Рассмотрим некоторые факты теории вероятностей, ха-
рактеризующие понятие вероятности как предела частоты при 
безграничном увеличении числа испытаний. Их предваряет 
фундаментальное понятие независимости, лежащее в основе 
практически всех исследований в теории вероятностей и мате-
матической статистике.

Определение 11. События A и B независимы, если вероят-
ность их пересечения P(A · B), называемая совместной вероят-
ностью событий A и B, равна произведению вероятностей P(A) 
и P(B) событий A и B:

P(A · B) = P(A)P(B).

Определение 12. Условной вероятностью события A при ус-
ловии реализации события B с вероятностью P(B) называется 
отношение

Используя бинарные последовательности ai, bi, ci = aibi со-
ответственно событий A, B, C = A · B, получим:

Согласно теореме о пределе отношения:

Сумма в знаменателе задает число единиц последователь-
ности bi, реализованных за N испытаний. Очевидно, величина 
предела не изменится, если в числителе сумму единиц после-
довательности aibi заменить суммой единиц последовательнос-
ти ai, приходящихся на единицы bi, т. е. отбросить те ai, которые 
приходятся на нули bi. Распространяя суммирование на едини-
цы bi, можно записать соотношение: