Математическая статистика и анализ данных
Покупка
Новинка
Тематика:
Математическая статистика
Издательство:
Издательский Дом НИТУ «МИСиС»
Автор:
Максимова Ольга Владимировна
Год издания: 2023
Кол-во страниц: 172
Дополнительно
Доступ онлайн
В корзину
Пособие представляет теоретический курс с охватом базовых тем математической статистики, необходимых для изучения дальнейших дисциплин по специальности. В нем рассматриваются современные методы сбора, систематизации и обработки результатов наблюдений со справочной информацией использования программного модуля Excel. Материал сопровождается практическими примерами и задачами, а также историческими
сведениями и списком источников. Пособие адаптировано для сжатого изложения. Предназначено для студентов специальностей 28.03.01 «Нанотехнологии и микросистемная техника», 28.03.03 «Наноматериалы», 03.03.02 «Физика», 11.03.04 «Электроника и наноэлектроника», 22.03.01 «Автоматизация технологических процессов и производств (в машиностроении)» Института новых материалов и нанотехнологий.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 03.03.02: Прикладная математика и информатика
- 11.03.04: Электроника и наноэлектроника
- 22.03.01: Материаловедение и технологии материалов
- 28.03.01: Нанотехнологии и микросистемная техника
- 28.03.03: Наноматериалы
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов.
Для полноценной работы с документом, пожалуйста, перейдите в
ридер.
Москва 2023 МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РФ УНИВЕРСИТЕТ НАУКИ И ТЕХНОЛОГИЙ МИСИС ИНСТИТУТ БАЗОВОГО ОБРАЗОВАНИЯ Кафедра математики О.В. Максимова МАТЕМАТИЧЕСКАЯ СТАТИСТИКА И АНАЛИЗ ДАННЫХ Учебное пособие Рекомендовано редакционно-издательским советом университета № 4442
УДК 519.22 М17 Р е ц е н з е н т д-р техн. наук, проф., советник генерального директора ФГБУ «Институт стандартизации», профессор МГИМО МИД России И.З. Аронов Максимова, Ольга Владимировна. М17 Математическая статистика и анализ данных : учеб. пособие / О.В. Максимова. – Москва : Издательский Дом НИТУ МИСИС, 2023. – 172 с. Пособие представляет теоретический курс с охватом базовых тем математической статистики, необходимых для изучения дальнейших дисциплин по специальности. В нем рассматриваются современные методы сбора, систематизации и обработки результатов наблюдений со справочной информацией использования программного модуля Excel. Материал сопровождается практическими примерами и задачами, а также историческими сведениями и списком источников. Пособие адаптировано для сжатого изложения. Предназначено для студентов специальностей 28.03.01 «Нанотехнологии и микросистемная техника», 28.03.03 «Наномате- риалы», 03.03.02 «Физика», 11.03.04 «Электроника и наноэлектроника», 22.03.01 «Автоматизация технологических процессов и производств (в машиностроении)» Института новых материалов и нанотехнологий. УДК 519.22 Максимова О.В., 2023 НИТУ МИСИС, 2023
Содержание Обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 РАЗДЕЛ 1.Случайные события и их вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.1. Предмет теории вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2. Случайные события . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3. Вероятность случайных событий, их свойства . . . . . . . . . . . 14 1.4. Независимые и зависимые случайные события, условная вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 РАЗДЕЛ 2. Случайные величины и их числовые характеристики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.1. Понятие случайной величины . . . . . . . . . . . . . . . . . . . . . . . . 24 2.2. Системы случайных величин. Независимые случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.3. Числовые характеристики случайных величин . . . . . . . . . . 34 РАЗДЕЛ 3. Законы распределения случайных величин . . . . . . . . 40 3.1. Законы распределения ДСВ . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.2. Законы распределения НСВ . . . . . . . . . . . . . . . . . . . . . . . . . . 47 РАЗДЕЛ 4. Предельные теоремы теории вероятностей . . . . . . . . 56 4.1. Законы распределения НСВ (продолжение) . . . . . . . . . . . . . 56 4.2. Предельные теоремы теории вероятностей . . . . . . . . . . . . . . 59 4.3. Законы распределения НСВ, часто применяемые в математической статистике . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 РАЗДЕЛ 5. Выборочный метод . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.1. Задачи и терминология математической статистики . . . . . . 70 5.2. Точечные оценки параметров генеральной совокупности, их свойства. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 5.3. Понятие доверительного интервала . . . . . . . . . . . . . . . . . . . . 80 РАЗДЕЛ 6. Доверительные интервалы . . . . . . . . . . . . . . . . . . . . . 82 6.1. Доверительный интервал (продолжение раздела 5) . . . . . . . 82 6.2. Доверительный интервал для математического ожидания . . . 83 6.3. Доверительный интервал для дисперсии. . . . . . . . . . . . . . . . 90 6.4. Доверительный интервал для вероятности успеха в серии независимых испытаний . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
РАЗДЕЛ 7. Проверка параметрических гипотез для одной выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 7.1. Вводные формулы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 7.2. Основные понятия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 7.3. Проверка параметрических гипотез. Случай одной выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 РАЗДЕЛ 8. Проверка параметрических гипотез для двух выборок. Критерий согласия Пирсона 2 (хи-квадрат) . . . . . . . . 111 8.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 8.2. Параметрические гипотезы для двух выборок . . . . . . . . . . 112 8.3. Критерий согласия Пирсона 2 (хи-квадрат) . . . . . . . . . . . . 121 РАЗДЕЛ 9. Основы корреляционно-регрессионного анализа . . . 126 9.1. Что изучает корреляционно-регрессионный анализ . . . . . 126 9.2. Корреляционный анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 9.3. Регрессионный анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Библиографический список . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 Приложение 1. Формулы, связанные с теоремами сложения и умножения вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 П1.1. Формула полной вероятности (ФПВ) . . . . . . . . . . . . . . . . 144 П1.2. Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 П1.3. Формула Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 Приложение 2. Зависимость случайных величин . . . . . . . . . . . . 148 П2.1. Функции от случайных величин. Нормальный закон для линейного преобразования случайной величины . . . . . . . . 148 П2.2. Ковариация. Свойства математического ожидания и дисперсии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 Приложение 3. Методы получения точечных оценок. Первичный анализ данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 П3.1. Метод моментов и метод максимального правдоподобия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 П3.2. Систематизация и начальная обработка данных . . . . . . . 152 Приложение 4. Статистики и значения функций некоторых распределений в Excel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 Приложение 5. Основные законы распределения . . . . . . . . . . . . 158 Приложение 6. Табулированные таблицы распределений . . . . . 159
ОБОЗНАЧЕНИЯ k Cn число сочетаний из n по k ! ! ! k n n C k n k достоверное событие (пространство элементарных исходов) A событие, противоположное событию A P(A) вероятность события A P | A B вероятность события A при условии, что произошло событие B F(x) функция распределения случайной величины (F(x) = P( < x)) f(x) функция плотности вероятности случайной величины M математическое ожидание случайной величины D дисперсия случайной величины Mo мода случайной величины xp квантиль уровня p: F(xp) = p Me медиана случайной величины (квантиль уровня 0,5, т.е. F(x0,5) = 0,5) среднеквадратическое (стандартное) отклонение cov(X, Y) ковариация случайных величин X, Y rXY коэффициент корреляции случайных величин X, Y B(p) закон распределения Бернулли с параметром p Bi(n, p) биномиальный закон распределения с параметрами n, p G(p) геометрический закон распределения с параметром p
П() закон распределения Пуассона с параметром Exp() показательный (экспоненциальный) закон распределения с параметром R[a, b] равномерный закон распределения с параметрами a, b N(m, 2) нормальный закон распределения с параметрами m, 2 (закон Гаусса) t(k) закон распределения Стьюдента с k степенями свободы 2(k) закон 2-распределения Пирсона с k степенями свободы F(k1, k2) закон распределения Фишера с k1 и k2 степенями свободы (x) функция Лапласа H0, H1 основная и альтернативная (конкурирующая) гипотезы соответственно уровень значимости (вероятность ошибки I рода) доверительная вероятность (уровень надежности, = 1 – ) вероятность ошибки II рода начало и конец доказательства (*) пример
ПРЕДИСЛОВИЕ Пора выбрать стратегию «МОЖЕТ БЫТЬ» и приступить… Я.И. Хургин. Да, нет или может быть… Каждый день мы принимаем решения, анализируя ситуацию вокруг нас. Иногда мы даже не замечаем, что приняли какое-то решение, основываясь на полученной извне информации. И если результат оказался не очень удачным, пеняем на плохую информацию или просто невезение. Ввиду этого не только в своей повседневной жизни, но и в профессиональной деятельности, мы стараемся придавать решениям большую надежность, хотя в некоторых ситуациях интуиция не срабатывает. Повысить точность принимаемых решений можно, применив иногда даже очень простую статистическую модель и статистические методы. Как только математика вступает в практическую область, она сразу воплощается в сборе, описании, моделировании и предсказании реальных процессов. Именно в статистике она обретает силу, выходя за пределы идеализированных и оторванных от жизни формул и расчетов. Знание основ курса «Математическая статистика и анализ данных» (МСиАД) способствует развитию у студентов навыков принятия решений на основе статистического мышления. Этот курс знакомит студентов с терминологией теории вероятностей и математической статистики, важными статистическими законами распределения и основами корреляционно- регрессионного анализа. Между тем потребность изучения МСиАД также продиктована необходимостью систематизации у студентов знаний, приобретения умений и формирования компетенций в области принятия решений на основе статистического мышления, при выборе лучшей альтернативы из нескольких возможных, а также при изучении в дальнейшем таких дисциплин, как «метрология», «статистическое управление
процессами» и др. Помимо этого, знания, полученные студентами при изучении курса, могут быть использованы ими в ходе выполнения дипломной работы, а также при формировании и дальнейшем развитии комплекса собственных профессиональных и научных интересов в рамках индивидуальной образовательной траектории. Настоящее учебное пособие содержит сжатое изложение базовых тем теории вероятностей с продвижением и углублением в разделы статистики, сопровождающимися помимо практических примеров и справочной информации использованием программного модуля Excel для обработки результатов наблюдений, исторической справкой и полезными ссылками на дополнительные литературные источники. Учебное пособие косвенно состоит из двух блоков, в первом блоке содержится три раздела, во втором – шесть. В первом блоке даются базовая терминология и необходимые в дальнейшем теоремы теории вероятностей. Второй блок пособия посвящен изложению стандартных приемов сбора и систематизации данных, а также подходам к их анализу, раскрывающим возможности изучения в дальнейшем современных математических методов в этой сфере. К некоторым разделам дополнительный материал можно найти в приложениях. Учебное пособие предназначено для студентов второго года обучения Института новых материалов и технологий (ИНМиН), изучающих дисциплину МСиАД. Кроме того, отдельные материалы пособия могут быть востребованы студентами других факультетов университета, осваивающих и применяющих основы математической статистики. Автор будет благодарен за критические замечания и выявление недочетов, которые можно направлять по следующему адресу: ov.maksimova@misis.ru.
РАЗДЕЛ 1 СЛУЧАЙНЫЕ СОБЫТИЯ И ИХ ВЕРОЯТНОСТЬ В мире господствует случай и одновременно действуют порядок и закономерность, которые формируются из массы случайностей согласно законам случайного. А. Реньи. Трилогия о математике 1. Случайное событие служит «качественной» оценкой эксперимента. 2. Изучение закономерностей в случайных экспериментах начинается с построения математической модели этих экспериментов. 3. Любая модель начинается с задания вероятностного пространства, и выясняется множество всех возможных результатов данного эксперимента. 4. Определяется подход к расчету вероятности интересующего нас события. Затем рассматриваются те подмножества этого множества, которые влекут наступление интересующих нас событий. 5. Если событие сложное (представляется суммой/произведением некоторых событий Ai), то его вероятность можно попытаться вычислить с помощью теорем сложения и умножения. Для применения этих теорем важно заранее определить и учитывать совместность и зависимость событий Ai. 1.1. Предмет теории вероятностей Часто в нашей повседневной жизни, произнося слова наподобие «Вероятно, завтра я пойду на лекцию по теории вероятностей», мы определенно, сознательно или бессознательно, приписываем, исходя из собственного опыта, некоторую вероятность событию «завтра я пойду на лекцию по теории вероятностей». Но эта веро-
ятность должна быть оценена с помощью совокупности сведений, благоприятствующих и не благоприятствующих этому событию, которые учитываются при подсчете вероятности. Ваше решение пойти на данную лекцию может зависеть отчасти от погодных условий именно в этот день, от того, успеете ли вы покормить вашего кота или вообще успеете ли проснуться к началу лекции, от пробок по пути на дороге и многого другого. Таким образом, ваше решение по отношению к этой конкретной лекции служит результатом взаимодействия многих факторов, иногда непредсказуемых. С таким типом неопределенных событий мы встречаемся, когда неизвестно, какой из законов случайных событий действует в данном конкретном случае. Другое дело, когда мы подбрасываем обычную игральную кость. Результат ее падения случаен и не может быть определен заранее. Но с равной уверенностью можно ожидать появления одного из шести очков. Иметь дело с такими событиями, вообще говоря, несложно. Результат такого эксперимента диктуется законом случайных событий, проявляющемся в этом частном случае. В первом примере мы встречаемся с событиями, которые нельзя повторить многократно в одних и тех же условиях, в отличие от второго. Во втором примере мы имеем возможность в одинаковых условиях не только многократно, а сколько угодно раз производить наблюдения. Но и их результат заранее (до совершения эксперимента) точно определить нельзя. Однако вполне правдоподобно, что с увеличением числа наблюдений частота наступления этого события будет мало и несистематически меняться. Установлено, что случайные события в массе своей подчиняются некоторым общим неслучайным закономерностям, главная из которых – свойство статистической устойчивости: если некоторое событие A может произойти в результате эксперимента, то доля экспериментов, в которых данное событие произошло, с ростом общего числа экспе-
риментов приближается к некоторому числу P(A). Это, в свою очередь, означает, что частоты наблюдений изучаемого события, рассчитанные по всем наблюдениям и по некоторому отобранному подмножеству, близки. Число P(A) служит числовой характеристикой «степени уверенности»1 собы тию A произойти. Такая закономерность наблюдается не только при бросании монеты: вероятность любого случайного события можно трактовать как долю случаев, когда это событие происходит при многократном повторении опыта. Итог: не все явления можно воспроизвести в одинаковых условиях любое число раз. Теория вероятностей изучает закономерности случайных массовых явлений, которые возможно реализовать в одинаковых условиях эксперимента. Теория вероятностей – математическая дисциплина, изучающая математические модели случайных массовых явлений ( экспериментов). Теория вероятностей зародилась в 1654 г. в переписке французских математиков Блеза Паскаля и Пьера Ферма по поводу азартных игр (в частности, по поводу известной задачи де Мере). В этой переписке сформировались первые понятия теории вероятностей и вероятностные вычисления. 1.2. Случайные события В теории вероятностей рассматриваются три класса случайных явлений: случайные события; случайные величины; функции случайных величин. Со случайным экспериментом можно связать различные случайные события, которые могут осуществляться или нет в этом эксперименте. 1 «А разве можно измерить степень уверенности числом? Конечно, отвечу я; лица, играющие в азартные игры, основывают свою уверенность именно на этом» (Реньи А. Трилогия о математике. М.: Мир, 1980. 376 с.).
Определение 1. Событие, которое при заданном комплексе факторов может либо произойти, либо не произойти, называется случайным событием. Случайное событие, по сути, представляет некое описание результата эксперимента. Обозначение: A, B, C, … . (*1) Эксперимент: трое студентов садятся в лифт на первом этаже корпуса университета. A = {лифт перегружен}; B = {все трое студентов выйдут из лифта на одном этаже}. Классификация 1. Если при каждом воспроизведении опыта событие неизбежно происходит, то его называют достоверным (обозначение ). 2. Если при воспроизведении опыта событие произойти не может, то его называют невозможным (обозначение ). (*2) Эксперимент: наблюдение за водой при температуре 20 С и атмосферном давлении 760 мм рт. ст. Достоверное событие: = {вода в жидком состоянии}, невозможное событие: = {вода в твердом состоянии}. 3. Элементарным событием называется исход одного опыта (обозначение ). Любое событие можно представить как совокупность элементарных. В (*1) событие B можно рассматривать как совокупность трех элементарных: i = {студенты выйдут на i-м этаже}, i = 1, 2, 3. Определение 2. Совокупность всех элементарных исходов образует пространство элементарных исходов, которое, в свою очередь, есть достоверное событие . Операции над событиями 1. Произведением событий A и B называется событие С, которое происходит тогда, когда происходит и A, и B, обозначается C = A · B. 2. Суммой событий A и B называется событие С, которое происходит при наступлении хотя бы одного из событий A или B, обозначается C = A + B.
Доступ онлайн
В корзину