Вероятность и статистика в примерах и задачах. Том I. Основные понятия теории вероятностей и математической статистики

М. Я. Кельберт, Ю. М. Сухов

Вероятность и статистика
в примерах и задачах

Том 1

Основные понятия теории вероятностей
и математической статистики

Электронное издание

Москва
Издательство МЦНМО
2017

УДК 519.21
ББК 22.171
К34

Кельберт М. Я., Сухов Ю. М.
Вероятность и статистика в примерах и задачах
Т. 1: Основные понятия теории вероятностей и математической статистики
Электронное издание
М.: МЦНМО, 2017
486 с.
ISBN 978-5-4439-2326-0

Для освоения теории вероятностей и математической статистики тренировка в решении задач и выработка интуиции важны не меньше, чем изучение
доказательств теорем; большое разнообразие задач по этому предмету затрудняет студентам переход от лекций к экзаменационным задачам, а от
них — к практике.
Ввиду того, что предмет этой книги критически важен как для современных приложений (финансовая математика, менеджмент, телекоммуникации, обработка сигналов, биоинформатика), так и для приложений классических (актуарная математика, социология, инженерия), авторы собрали большое количество упражнений, снабженных полными решениями. Эти решения
адаптированы к нуждам и умениям учащихся. Необходимые теоретические
сведения приводятся по ходу изложения; кроме того, текст снабжен историческими отступлениями.

Подготовлено на основе книги:
Кельберт М. Я., Сухов Ю. М. Вероятность и статистика в примерах
и задачах. Т. 1: Основные понятия теории вероятностей и математической
статистики. Издание 2-е, дополненное. — М.: МЦНМО, 2010. —
ISBN 978-5-94057-253-4.

Издательство Московского центра
непрерывного математического образования
119002, Москва, Большой Власьевский пер., 11,
тел. (499)-241-08-04
http://www.mccme.ru

ISBN 978-5-4439-2326-0
© Кельберт М. Я., Сухов Ю. М., 2010
© МЦНМО, 2017

Оглавление

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5

Часть A
Вероятность

Гл а в а 1. Дискретные пространства элементарных исходов
. . 15

§ 1.1. Равномерное распределение . . . . . . . . . . . . . . . . . . . 15

§ 1.2. Условные вероятности. Формула Байеса. Независимые испытания
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

§ 1.3. Формула включения-исключения. Задача о баллотировке . . 49

§ 1.4. Случайные величины. Математическое ожидание, условное
математическое ожидание. Совместные распределения
. . . 56

§ 1.5. Биномиальное, пуассоновское и геометрическое распределения. Производящие функции распределений, производящие функции моментов и характеристические функции
. . . 82

§ 1.6. Неравенства Чебышёва и Маркова. Неравенство Йенсена.
Закон больших чисел и теорема Муавра—Лапласа
. . . . . 103

§ 1.7. Ветвящиеся процессы
. . . . . . . . . . . . . . . . . . . . . . 130

Гл а в а 2. Непрерывные пространства элементарных исходов
. 143

§ 2.1. Равномерное распределение. Плотность распределения вероятностей. Случайные величины. Независимость
. . . . . . 143

§ 2.2. Математическое ожидание, условное математическое ожидание, дисперсия, производящая функция, характеристическая функция
. . . . . . . . . . . . . . . . . . . . . . . . . . . 190

§ 2.3. Нормальное распределение. Сходимость случайных величин и распределений. Центральная предельная теорема . . . 225

Оглавление

Часть B
Основы статистики

Гл а в а 1. Оценивание параметров
. . . . . . . . . . . . . . . . . . 257

§ 1.1. Предварительные сведения. Некоторые важные вероятностные распределения . . . . . . . . . . . . . . . . . . . . . . 257
§ 1.2. Оценки. Несмещенность . . . . . . . . . . . . . . . . . . . . . 269
§ 1.3. Достаточные статистики. Критерий факторизации
. . . . . . 275
§ 1.4. Оценки максимального правдоподобия . . . . . . . . . . . . . 279
§ 1.5. Нормальные выборки. Теорема Фишера . . . . . . . . . . . . 282
§ 1.6. Среднеквадратические ошибки. Теорема Рао—Блекуэлла.
Неравенство Крамера—Рао . . . . . . . . . . . . . . . . . . . 285
§ 1.7. Экспоненциальные (показательные) семейства . . . . . . . . 292
§ 1.8. Доверительные интервалы . . . . . . . . . . . . . . . . . . . . 296
§ 1.9. Байесовское оценивание . . . . . . . . . . . . . . . . . . . . . 301

Гл а в а 2. Проверка гипотез . . . . . . . . . . . . . . . . . . . . . . 314

§ 2.1. Вероятности ошибок I и II рода. Наиболее мощные критерии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
§ 2.2. Критерии отношения правдоподобий. Лемма Неймана—
Пирсона и комментарии к ней . . . . . . . . . . . . . . . . . . 316
§ 2.3. Критерии согласия. Проверка гипотез для нормальных распределений. Однородные выборки
. . . . . . . . . . . . . . . 326
§ 2.4. Критерий Пирсона
q2. Теорема Пирсона . . . . . . . . . . . . 331
§ 2.5. Критерии обобщенного отношения правдоподобия. Теорема
Уилкса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
§ 2.6. Таблицы сопряженности признаков . . . . . . . . . . . . . . . 346
§ 2.7. Проверка гипотез для нормальных распределений. Неоднородные выборки . . . . . . . . . . . . . . . . . . . . . . . . . . 353
§ 2.8. Линейная регрессия. Оценки метода наименьших квадратов 367
§ 2.9. Линейная регрессия для нормальных распределений . . . . . 373

Гл а в а 3. Задачи кембриджских «Математических треножников» к курсу «Статистика» . . . . . . . . . . . . . . . . . . . . . . . . 381

Таблицы случайных величин и вероятностных распределений . . . . . 473
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
Предметный указатель
. . . . . . . . . . . . . . . . . . . . . . . . . . . 483

Введение

Первоначальные побуждения к созданию данной книги были весьма личными. Один из авторов в ходе своей педагогической деятельности
на факультете математики и математической статистики Кембриджского
университета и Колледжа Св. Иоанна в Кембридже часто наблюдал печальную картину, когда хорошие (и даже блестящие) студенты, увлеченные
математикой и ее приложениями и отлично завершившие свой первый
учебный год, спотыкались или даже проваливались на экзаменах. Это вело
к большому разочарованию, которое очень трудно преодолеть в последующие годы учебы. Добросовестный преподаватель всегда сочувствует таким
неудачам, однако даже тщательное объяснение слабых сторон студента
(если таковые имеются) не всегда помогает. Другой автор приобрел подобный опыт скорее как отец студента Кембриджского университета, чем
как преподаватель.
Мы почувствовали, что книга, состоящая главным образом из заданий,
предложенных на экзаменах по математике в Кембриджском университете, будет полезной большинству студентов. В соответствии с нашими
собственными научными и педагогическими устремлениями мы выбрали
главной темой вероятность и статистику. Отправным пунктом стало содержание курса теории вероятностей (I год обучения) и математической
статистики (II год обучения). Чтобы отразить полное содержание этих
курсов, потребуется еще несколько томов; так или иначе, мы решили
реализовать этот проект.
Наша основная цель — представить кембриджские курсы вероятности и статистики с помощью экзаменационных заданий, предложенных
в предыдущие годы. В процессе написания мы сочли необходимым время
от времени включать также некоторые стандартные вопросы из списков
задач, иллюстрирующих материал лекций, хотя мы и старались свести их
число к минимуму.
Конечно, кембриджские экзамены никогда не были легкими. По их
результатам испытуемые делятся на классы: первый, второй (он делится
на две категории, 2.1 и 2.2) и третий; небольшое число испытуемых про

Введение

валивается. (На самом деле составляется более подробный список всех
испытуемых по ранжиру, согласно их результатам, но он не оглашается.)
Официальное название экзаменов — «Математические треножники», оно
происходит от трехногих табуреток, на которых испытуемые и экзаменаторы восседали (часто на протяжении многих часов) во время устных
экзаменов в давние времена. Теперь все экзамены письменные. Первый
год трехлетнего курса обучения именуется «часть IA», второй — «часть
IB» и третий — «часть II».
В мае—июне 2003 г. студенты-математики первого года обучения сдавали 4 экзамена; каждый длился 3 часа и состоял из 12 вопросов по
двум предметам. На экзамены были вынесены следующие курсы: «Алгебра и геометрия», «Числа и множества», «Анализ», «Вероятность»,
«Дифференциальные уравнения», «Векторное исчисление» и «Механика».
Все вопросы по заданному курсу были собраны в одном экзамене, кроме
курса алгебры и геометрии, по которому студенты экзаменовались дважды.
В каждом экзамене 4 вопроса классифицированы как краткие (по 2 вопроса из каждого курса) и 8 как расширенные (по 4 из каждого курса).
Испытуемые должны ответить на все 4 кратких вопроса и не более чем
на 5 расширенных, не более чем по 3 из каждого курса; расширенный
вопрос приносит в 2 раза больше очков, чем краткий, при условии верного
ответа. Расчет показывает: если студент берется за все 9 положенных
вопросов (так происходит чаще всего) и правильно распределяет время, то
на краткий вопрос нужно ответить за 12—13 минут, а на расширенный —
за 24—25 минут. Это нелегко и требует специальной практики; данная
книга во многом нацелена на то, чтобы помочь в обретении необходимых
«тренировочных» навыков.
Экзамены во второй год обучения частично схожи с предыдущими, но
имеют свои отличия. В июне 2003 г. проводились 4 экзамена «Математических треножников» по «части IB», каждый был рассчитан на 3 часа
и содержал 9 или 10 коротких и 9 или 10 расширенных вопросов по
предметам, отобранным для данного экзамена. В частности, «Статистика
IB» содержалась в экзаменах 1, 2 и 4, а в целом было 6 вопросов по
«Статистике». Конечно, подготовка к экзаменам «части IB» отличается от
подготовки к «части IA»; мы разберем эти различия в соответствующих
главах.
Для типичного студента Кембриджа специальная подготовка к экзамену
начинается во время пасхального семестра (с середины апреля). В идеале
к работе рекомендуется приступать во время предшествующих пятинедельных каникул. (Некоторая предэкзаменационная подготовка к «части IB»
и «части II», а именно вычислительные проекты, выполняется в основном
на весенних (пасхальных) каникулах.) По мере приближения экзаменов

Введение
7

атмосфера в Кембридже сгущается и становится нервной, хотя делается
немало попыток ее разрядить. Многие испытуемые прилагают огромные
усилия, пытаясь подсчитать как можно точнее, сколько же труда вложить
в тот или иной предмет в зависимости от баллов, которые он приносит,
и того, как они сами в этом предмете разбираются, с целью оптимизировать общий уровень подготовки. Можно соглашаться либо не соглашаться
с таким подходом, но ясно: если студенты обладают достаточной информацией по поводу уровня и стиля вопросов к экзаменам «Математические
треножники» и способны их усвоить, то у них намного больше шансов
мобилизовать свои лучшие качества и способности. В настоящий момент,
под гнетом нехватки времени и сил, большинство из них не в состоянии
мобилизоваться, и многое отдается на волю случая. Мы будем чрезвычайно
рады, если наша книга поможет изменить эту ситуацию, сняв предэкзаменационный стресс и лишив экзамены «Треножники» налета некоторой
таинственности, по крайней мере в части учебных дисциплин, рассматриваемых здесь.
Таким образом, первой из причин появления этой книги было желание облегчить жизнь студентам. Однако во время работы над текстом
появилась и вторая причина, и она представляет, по нашему мнению,
значительный профессиональный интерес для всех, кто читает курс теории
вероятностей и статистики. В 1991/2 учебном году в Кембридже произошли большие изменения, касающиеся подхода к чтению вероятностных
и статистических курсов. Наиболее значимым в новом подходе оказалось
то, что курсы «Вероятность IA» и «Статистика IB» были переработаны
с целью сделать их привлекательными для широкой аудитории (200 студентов первого курса, изучающих «Вероятность IA», и почти такое же число
студентов второго курса, изучающих «Статистику IB»). Для большого
числа студентов это единственные курсы теории вероятностей и статистики, которые они слушают на протяжении учебы. Поскольку все большее
число специалистов в современном мире имеют дело с теоретическими
и (особенно) прикладными задачами вероятностной и статистической природы, очень важно, чтобы указанные курсы поддерживали у студентов
повышенный интерес. Таким образом, основная цель переместилась с академического введения в предмет на методологический подход, который
вооружил бы студентов методами, необходимыми для решения разумных
практических и теоретических проблем, возникающих в реальных жизненных ситуациях.
Как следствие, акцент в курсе «Вероятность IA» сместился с сигма-алгебр, интегрирования по Лебегу и Стилтьесу и характеристических
функций на прямое рассмотрение различных моделей, как дискретных, так
и непрерывных, с целью подготовить студентов к будущим курсам и зада

Введение

чам (в частности, к курсу «Статистика IB» и «Марковские цепи IB/II»).
В свою очередь, центральной частью курса «Статистика IB» стали наиболее популярные практические применения теории оценивания, проверки
гипотез и регрессионного анализа. Основным показателем экзаменационной подготовки, относящейся к курсам «Вероятность IA» и «Статистика
IB», стала способность студентов решать задачи без привлечения глубоких теоретических сведений, а лишь путем выбора и анализа подходящей
модели и аккуратного выполнения разумного количества вычислений.
Конечно, такие изменения (и параллельное развитие других курсов) не
были единогласно поддержаны на математическом факультете и вызвали
большие дебаты. Однако основная масса студентов поддержала новый
подход, и переработанные курсы завоевали большую популярность как
в плане посещаемости, так и по числу задач данного курса, выбираемых
экзаменуемыми (что является весьма важным моментом в жизни математических факультетов Кембриджа). Кроме того, с увеличением роли
компьютеров студенты оказали существенное предпочтение «алгоритмическому» стилю лекций и экзаменационных вопросов (по крайней мере, по
опыту авторов).
В этом отношении представляет определенный интерес следующий
опыт, приобретенный одним из авторов. В течение определенного времени
он опрашивал выпускников-математиков Колледжа Святого Иоанна,
которые трудятся ныне в различных сферах деятельности, о том, какие
разделы курса, прослушанного в Кембридже, они считают наиболее
важными для их нынешней работы. Оказалось, что наибольшее влияние
на большинство респондентов оказали не конкретные факты, теоремы
и доказательства (надолго, однако, запоминаются шутки, прозвучавшие на
лекциях). Гораздо выше ценится способность построить математическую
модель, которая удачно представляет жизненную ситуацию, поставить
верно задачу и решить ее аналитически или, чаще, численными методами.
Этим подтверждается своевременность предложенного подхода.
Вследствие всего вышесказанного уровень и стиль «Математических
треножников» претерпел изменения. Строго подразумевается (хотя это
и не всегда достигается), что вопросы должны иметь четкую структуру,
согласно которой испытуемые переходят от одной части задачи к следующей. Курьезным наблюдением многих экзаменаторов является то, что, как
бы ни были совершенны задуманные экзаменатором решения, испытуемые
следуют им очень редко. Поэтому в книге часто используются студенческие
решения.
Описанная выше вторая причина внушает нам надежду, что книга будет
интересна далеко за пределами Кембриджа. В связи с этим возникает
естественный вопрос: каково место данной книги в длинном списке учеб

Введение
9

ников по теории вероятностей и статистике? Большая часть библиографии
в конце этого тома содержит список книг, опубликованных на английском языке после 1991 г., имеющих в названии термины «вероятность»
и «статистика» и приобретенных как главной библиотекой Кембриджского
университета, так и факультетскими библиотеками (список неполон, по
нашему убеждению, и мы извиняемся за все пропуски).
Что касается основ теории вероятностей, хочется сравнить нашу книгу
с тремя популярными сериями учебников и сборников задач, одна из них
принадлежит С. Россу [119]—[123], другая — Д. Стирзакеру [136]—[138],
третья — Г. Гримметту и Д. Стирзакеру [61]—[63]. Книги Росса и Стирзакера — хорошее введение в основные понятия. Стиль и уровень изложения
книг Росса принят во многих американских университетах. С другой стороны, книги Гримметта и Стирзакера написаны на гораздо более высоком
уровне, который можно охарактеризовать как «профессиональный». Уровень нашей книги — это нечто среднее. По нашему мнению, мы ближе
к Россу и Стирзакеру, хотя и очень далеки от них в некоторых важных аспектах. Нам кажется, что уровень книг Росса и Стирзакера для
Кембриджа недостаточен; его недостаточно для того, чтобы сдать кембриджские квалификационные экзамены с разрядом 2.1 и выше. Книг
Гримметта и Стирзакера, конечно, более чем достаточно, однако если по
ним готовиться к экзаменам, то основной проблемой будет выбор подходящих примеров из примерно тысячи предлагаемых.
Многие из этих книг — прекрасное дополнительное чтение для тех, кто
хочет продвинуться в определенном направлении. Отметим лишь некоторые из них: [29], [40], [55], [59], [73], [130] и [26]. В любом случае,
прошло то (ностальгическое) время, когда каждый, кто взялся изучать теорию вероятностей, должен был прилежно проштудировать (великолепный)
двухтомник Феллера [49] (по нашему мнению, Феллера до сих пор никто
не превзошел).
Что касается статистики, тут картина сложнее. Даже определение
предмета статистики — до сих пор нечто спорное (см. введение к части B
данного тома). Стиль чтения лекций и проведения экзаменов по основному
курсу «Статистики» (и по другим курсам, относящимся к статистике)
в Кембридже всегда имел отличительные особенности. Этот стиль всегда
сопротивлялся намерениям сделать изложение «абсолютно строгим»,
несмотря на то что курс читался студентам-математикам. Меньшая часть
студентов находила курс слишком сложным, однако для большинства
сложностей не было. С другой стороны, уровень строгости курса достаточно высокий и требует прочных математических знаний. Из новейших
изданий к кембриджскому стилю ближе всего, вероятно, [22]. Как пример
весьма отличного подхода отметим книгу [149] (ее стилем мы восхищаемся,

Введение

но не считаем эту книгу приемлемой для первоначального знакомства
с курсом или для подготовки к кембриджским экзаменам).
Отличительной чертой данной книги является наличие повторений:
некоторые темы и вопросы возникают не единожды, часто в слегка
измененной форме, что затрудняет ссылки на предыдущие их появления.
Это типичная черта экзаменационного процесса, что становится очевидным, если читать курс лет десять или около того. Наше персональное
отношение к данному вопросу выражается пословицей «повторение—мать
учения», популярной (в различных формах) во многих языках. Однако мы
извиняемся перед теми читателями, кому некоторые (а может, и многие)
из наших повторений покажутся чрезмерными.
Книга построена следующим образом. В части A представлен материал
курса «Вероятность IA» (который состоит из 24 одночасовых лекций).
В этой части вопросы экзаменов «Треножники» расположены внутри или
непосредственно следуют за соответствующими теоретическими сведениями. В части B представлен материал курса «Статистика IB», состоящего
из 16 лекций. Здесь вопросы «Треножников» охватывают широкий класс
отдельных тем, и мы решили расположить их отдельно от материала курса.
Однако отдельные разделы теории всегда представлены в соответствии
с той ролью, которую они играют в экзаменационных вопросах.
Задачи, представленные в книге, взяты из списков задач к экзаменам
по вероятности и статистике разных лет, проводившимся в Кембриджском
университете, а также в Университете Свонзи-Уэльс.
Некоторые отступления, разбросанные по тексту, позаимствованы
из [107], [59], [66], веб-сайтов Университета Святого Андрея
http://www-history.mcs.st-andrews.ac.uk/history/
и Массачусетского университета
http://www.umass.edu/wsp/statistics/tales/.
Беседы с Х. Дэниэлсом, Д. Г. Кендаллом и К. Р. Рао также привели к появлению нового материала. Однако ряд историй — это часть фольклора
(большинство из них доступно в Интернете); за возможные ошибки несут
ответственность авторы этой книги. Фотографии и портреты многих людей,
упоминаемых в этой книге, размещены на сайтах Йоркского университета
http://www.york.ac.uk/depts/maths/histstat/people/
и (с биографиями) на
http://members.aol.com/jayKplanr/images.htm.
С появлением Всемирной Сети чрезвычайно быстро стали распространяться шутки, юмор. Мы признаем, что немало времени мы посвятили
веб-сайтам, посвященным шуткам и забавным цитатам; часть из них использована в книге. Просим прощения у авторов, оставшихся безымянными (иногда мы даже меняли смысл фраз).

Введение
11

В процессе работы над книгой нас воодушевляла поддержка многих коллег, которые прочли весь текст или его часть. Мы благодарим
Чарльза Голди, Оливера Джонсона, Джеймса Мартина, Ричарда Самворса
и Аманду Тернер за плодотворные дискуссии и замечания. Особенно мы
благодарны Алану Хоксу за бесконечное терпение, с которым он продирался через предварительный вариант рукописи. Мы широко использовали
конспекты лекций, списки экзаменационных вопросов и другие тексты,
подготовленные сотрудниками Статистической лаборатории, в частности
Джеффри Гримметтом, Франком Келли, Джеймсом Норрисом, Сюзанной
Питтс и Ричардом Вебером. Особая благодарность также Саре Шеи-Симондс за тщательное прочтение книги и исправление большого числа стилистических ошибок.
∗
∗
∗

Английское и русское издания этой книги выходят в свет практически
одновременно. Тем не менее, текст русского издания был существенно
переработан и расширен (перевод был выполнен с рукописи). Авторы
благодарят переводчиков — В. Кнопову, Ю. Мишуру и Л. Сахно — за добросовестное и вдумчивое отношение к тексту. Мы также признательны
Джону Хейгу, указавшему на ряд неточностей в английском издании.

Предисловие ко второму изданию

Нам было приятно (и важно) узнать, что первое издание разошлось за
два с небольшим года. Мы решили заменить некоторое количество задач
и добавить несколько теоретических примеров. Мы получили замечания
и предложения от ряда коллег, которым мы выражаем искреннюю признательность. В особенности мы благодарны Э. Бассулзу, К. Ванинскому,
Б. Гуревичу, В. Рыкову и А. Соболевскому.