Методы обработки данных мониторинга окружающей среды

Содержание

1

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное 

образовательное учреждение высшего образования
«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»

Инженерно-технологическая академия

Б. И. МАРЧЕНКО

МЕТОДЫ ОБРАБОТКИ ДАННЫХ

МОНИТОРИНГА ОКРУЖАЮЩЕЙ СРЕДЫ

Учебное пособие

Ростов-на-Дону – Таганрог

Издательство Южного федерального университета

2022

Содержание

2

УДК 502.7(075.8)
ББК  20.18я73

М30

Печатается по решению кафедры техносферной безопасности и химии

Института нанотехнологий, электроники и приборостроения 

Южного Федерального университета (протокол № 10 от 11 мая 2022 г.)

Рецензенты:

доктор медицинских наук, заведующий лабораторией санитарной 
микробиологии водных объектов и микробной экологии человека 
Ростовского научно-исследовательского института микробиологии 

и паразитологии П. В. Журавлев

доктор медицинских наук, профессор, заведующий кафедрой 

дерматовенерологии Ростовского государственного медицинского

университета, главный врач ГБУ РО «КВД» В. Е. Темников

Марченко, Б. И.

М30     
Методы обработки данных мониторинга окружающей среды : учебное 

пособие / Б. И. Марченко ; Южный федеральный университет. – Ростов-на-
Дону ; Таганрог : Издательство Южного федерального университета, 2022. –
165 с.

ISBN 978-5-9275-4266-6
В учебном пособии рассматриваются вопросы статистической обработки 

данных динамического наблюдения за окружающей средой. Изложены основы 
измерений и количественного описания данных в экологии. Подробно рассмот-
рены статистические гипотезы, методы их проверки с применением различных 
статистических критериев, алгоритмы принятия статистических решений, оценки 
вероятности ошибок и принципы содержательной интерпретации полученных ре-
зультатов. Представлены параметрические и непараметрические методы сравне-
ния, варианты многофункциональных статистических критериев, критерий соот-
ветствия хи-квадрат, основы корреляционного, регрессионного и дисперсионного 
анализа при ведении экологического мониторинга.

Для студентов специальности 20.03.01 «Техносферная безопасность».

УДК 502.7(075.8)

ББК 20.18я73

ISBN 978-5-9275-4266-6

© Южный федеральный университет, 2022
© Марченко Б. И., 2022
© Оформление. Макет. Издательство

Южного федерального университета, 2022

Содержание

3

СОДЕРЖАНИЕ

ВВЕДЕНИЕ …………………………………………………………..
6

1. ОСНОВЫ ИЗМЕРЕНИЯ И КОЛИЧЕСТВЕННОГО 
ОПИСАНИЯ ДАННЫХ В ЭКОЛОГИЧЕСКОМ 
МОНИТОРИНГЕ …………………………………………………….
7

1.1. Генеральная и выборочная совокупность …………………...
9

1.2. Шкалы измерений при ведении мониторинга окружающей 
среды ………………………………………………………………..
12

1.3. Случайные величины и их графическое представление ……
18

1.4. Первичные описательные статистики ………………………..
21

1.4.1. Характеристики положения (меры центральной тен-
денции и квантили распределения) …………………………………
21

1.4.2. Характеристики рассеивания (меры изменчивости) …...
28

1.4.3. Характеристики асимметрии (показатель косости) …..
30

1.4.4. Характеристики эксцесса (островершинности) ………..
31

1.5. Нормальное распределение как стандарт. Проверка нормаль-
ности распределения ………………………………………………..
31

1.6. Исключение резко отличающихся («аномальных») величин 
в вариационном и динамическом рядах. Метод Шовене ………..
37

1.7. Относительные показатели …………………………………...
39

1.7.1. Интенсивные показатели ……………………………………..
39

1.7.2. Экстенсивные показатели ……………………………………
43

1.7.3. Показатели соотношения …………………………………….
44

1.7.4. Показатели наглядности ……………………………………..
46

1.8. Средняя ошибка среднего арифметического и относитель-
ного показателя …………………………………………………….
47

1.8.1. Средняя ошибка среднего арифметического (mM) ………
47

1.8.2. Средняя ошибка относительного показателя (mRI) …….
48

1.9. Степени свободы ………………………………………………
49

1.10. Метод доверительных интервалов ………………………….
51

2. СТАТИСТИЧЕСКИЕ ГИПОТЕЗЫ 
И МЕТОДЫ ИХ ПРОВЕРКИ ……………………………………...
60

Содержание

4

2.1. Предметные (исследовательские, научные) и статистиче-
ские гипотезы. Нулевая и альтернативная статистические гипо-
тезы. Направленные и ненаправленные альтернативы ………….
60

2.2. Уровни статистической значимости …………………………
63

2.3. Статистические критерии, виды и применение при провер-
ке статистических гипотез ………………………………………...
65

2.4. Статистическое решение, вероятность ошибки и принципы 
содержательной интерпретации …………………………………..
70

2.5. Выбор метода статистического вывода ……………………...
77

3. ПАРАМЕТРИЧЕСКИЕ МЕТОДЫ СРАВНЕНИЯ ……………..
79

3.1. Сравнение дисперсий …………………………………………
79

3.2. Критерий t-Стьюдента для одной выборки ………………….
80

3.3. Критерий t-Стьюдента для двух независимых выборок ……
81

3.4. Критерий t-Стьюдента для двух зависимых выборок ………
83

3.5. Критерий t-Стьюдента для относительных показателей …...
84

4. МНОГОФУНКЦИОНАЛЬНЫЕ
СТАТИСТИЧЕСКИЕ КРИТЕРИИ ………………………………….
87

4.1. Понятие о многофункциональных статистических критериях
87

4.2. Критерий *-угловое преобразование Фишера ……………..
88

5. НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ СРАВНЕНИЯ …………
93

5.1. Критерий U Манна–Уитни для двух независимых выборок
93

5.2. Критерий Т Вилкоксона для двух зависимых выборок …….
95

6. КРИТЕРИЙ СООТВЕТСТВИЯ (СОГЛАСИЯ) 2 …………….
97

7. КОРРЕЛЯЦИОННЫЕ СВЯЗИ …………………………………..
100

7.1. Понятие корреляции …………………………………………..
100

7.2. Коэффициент корреляции Пирсона (rXY) ……………………
103

7.3. Регрессионный анализ. Линейная регрессия ………………...
107

8. ДИСПЕРСИОННЫЙ АНАЛИЗ (ANOVA) ……………………..
109

8.1. Назначение и основные понятия дисперсионного анализа ...
109

8.2. Однофакторный дисперсионный анализ …………………….
111

ЗАКЛЮЧЕНИЕ ………………………………………………………
116

Содержание

5

ПРИЛОЖЕНИЯ
(ОСНОВНЫЕ СТАТИСТИЧЕСКИЕ ТАБЛИЦЫ) ……………….
117

Приложение 1. Стандартные нормальные вероятности ………...
117

Приложение 2. Критические значения двустороннего t-критерия 
Стьюдента …………………………………………………………...
119

Приложение 3. Значения критерия Шовене (коэффициента Uт) 
для выявления аномальных (резко отличающихся, «выскакива-
ющих») показателей ……………………………………………….
125

Приложение 4. Верхняя и нижняя границы доверительного ин-
тервала медианы ……………………………………………………
126

Приложение 5. Критические значения одностороннего F-критерия 
Фишера (для проверки направленных гипотез при p = 0,05) ………
130

Приложение 6. Критические значения одностороннего F-критерия 
Фишера (для проверки направленных гипотез при p = 0,01) ………
135

Приложение 7. Критические значения двустороннего F-критерия 
Фишера (для проверки ненаправленных гипотез при p = 0,05) …..
140

Приложение 8. Критические значения двустороннего F-критерия 
Фишера (для проверки ненаправленных гипотез при p = 0,01) …..
145

Приложение 9. Критические значения критерия 2 ……………..
150

Приложение 10. Критические значения критерия U Манна–Уитни
152

Приложение 11. Критические значения критерия T Вилкоксона
158

Приложение 12. Величины угла  (в радианах) для разных про-
центных долей ……………………………………………………...
159

Приложение 13. Уровни статистической значимости для раз-
ных значений критерия * Фишера ………………………………
162

Приложение 14. Критические значения коэффициентов корре-
ляции Пирсона и Спирмена ……………………………………….
163

СПИСОК  ЛИТЕРАТУРЫ …………………………………………..
164

Содержание

6

ВВЕДЕНИЕ

Учебное пособие «Методы обработки данных мониторинга окру-

жающей среды» ориентировано на базовую подготовку студентов специ-
альности 20.03.01 «Техносферная безопасность» в области статистической 
обработки и профильной интерпретации данных о компонентах окружа-
ющей среды, собираемых при ведении экологического мониторинга. Пра-
вильно подобранные и адекватно реализованные методы математической 
статистики обеспечивают получение достоверной информации об иссле-
дуемых объектах, процессах и явлениях. 

В пособии представлены алгоритмы применения основных стати-

стических критериев и организации различных способов аналитической 
обработки данных о состоянии компонентов окружающей среды. Особое 
внимание уделено основам измерения и количественного описания дан-
ных в экологическом мониторинге, статистическим гипотезам и методам
их проверки с применением различных параметрических и непараметри-
ческих статистических критериев. Приводятся конкретные статистиче-
ские приемы и методы, помогающие работать с экологической информа-
цией на этапах сбора, подготовки и обобщения данных. Подробно разо-
браны различные варианты параметрических и непараметрических мето-
дов сравнения для зависимых и независимых выборок, многофункцио-
нальных статистических критериев на основе процедуры углового преоб-
разования Фишера, критерий соответствия (согласия) хи-квадрат. Рас-
смотрены основы парного линейного корреляционного, регрессионного и 
дисперсионного анализа.

Особое внимание в учебном пособии уделено разбору конкретных 

примеров, направленных на решение технически сложных практических и 
исследовательских задач. Полноценная статистическая обработка сведе-
ний, получаемых в ходе практической деятельности и научных исследо-
ваний, позволяет качественно проанализировать результаты и сформули-
ровать достоверные выводы. Умение применять методы математической 
статистики является незаменимой компетенцией и навыком, который по-
надобится при проведении обучающимися научных исследований и раз-
работок, выполнении проектных заданий, подготовке выпускных квали-
фикационных работ и т.д. [7, 8].

Содержание

7

1. ОСНОВЫ ИЗМЕРЕНИЯ И КОЛИЧЕСТВЕННОГО 

ОПИСАНИЯ ДАННЫХ 

В ЭКОЛОГИЧЕСКОМ МОНИТОРИНГЕ

Ключевым инструментом изучения состояния окружающей среды 

при ведении экологического мониторинга является статистическое иссле-
дование, которое включает ряд последовательных этапов:

•
организация статистического исследования с определением 

его целей и задач, необходимых сил и средств, программы и объема ста-
тистического наблюдения, методов анализа результатов;

•
статистическое наблюдение заключается в сборе и накоплении

исходных данных (первичной информации, которая подлежит анализу). 
В статистике различают три вида данных – количественные (результаты 
измерений), порядковые (соответствуют месту в определенной последо-
вательности, ранжированной в порядке возрастания или убывания) и ка-
чественные (отражают определенные свойства, которые не могут быть 
измерены). Следует дифференцировать понятия данные и их значения, так 
как различные данные могут принимать одинаковые значения. Так, напри-
мер, вариационный ряд (12, 4, 5, 15, 12, 5 и 5) включает семь данных, одна-
ко они принимают только четыре варианта значений (4, 5, 12 и 15);

•
статистическая группировка и сводка (результаты наблюде-

ний сводятся в качественно однородные группы в виде различных вари-
антов разработочных рабочих таблиц с исходными данными в виде аб-
солютных чисел);

•
счетная обработка исходных материалов сводки предполагает 

расчет на основании абсолютных чисел разработочных рабочих таблиц 
производных величин. Результатом данного этапа являются аналитиче-
ские таблицы – перечневые (содержат относительные показатели и сред-
ние величины) и оценочные (представляют в наглядной форме результаты 
исследования с их интерпретацией и качественной оценкой);

•
анализ материалов исследования предусматривает оценку до-

стоверности полученных относительных показателей и средних величин, 
сопоставление их между собой, с результатами подобных исследований 
или специальными оценочными критериями и формулировку объектив-

1. Основы измерения и количественного описания данных в экологическом…

8

ных выводов. С применением различных методов математической стати-
стики производится углубленное изучение взаимодействующих факторов, 
выявление основных влияющих причин и закономерностей исследуемого 
явления (процесса);  

•
литературное и графическое оформление результатов выпол-

ненного статистического исследования.

Статистическое наблюдение, осуществляемое в рамках ведения 

мониторинга окружающей среды, следует классифицировать как по фор-
ме, так и по охвату.

Так, по форме различают:

o
текущее статистическое наблюдение, при котором регистрация 

исследуемого явления (процесса) производится непрерывно или периоди-
чески через определенные промежутки времени. Текущее статистическое 
наблюдение показано для учета динамично изменяющихся свойств окру-
жающей среды;

o
единовременное (одномоментное) статистическое наблюде-

ние отражает статику (срез) исследуемого явления (процесса) на определенный 
момент времени. Единовременное наблюдение следует применять 
при изучении тех явлений (процессов), изменения свойств которых 
происходят относительно медленно, что определяет недостаточную 
целесообразность организации и проведения текущего статистического 
наблюдения. 

По охвату регистрацией исследуемого явления (процесса) статистическое 
наблюдение также подразделяется на два вида:

o
сплошное статистическое наблюдение, которое обеспечивает 

регистрацию всех элементов изучаемых явлений (процессов), например, 
полный учет источников загрязнения компонентов окружающей среды 
(атмосферы, гидросферы и литосферы) на исследуемой территории. Организация 
и проведение сплошного наблюдения достаточно сложны, требуют 
значительных затрат времени и средств;

o
частичное (несплошное) статистическое наблюдение при условии 
его правильной организации и осуществления позволяет в относительно 
короткий срок, при существенно меньших затратах времени и 
средств, получить достоверные данные об изучаемом явлении (процессе). 

1.1. Генеральная и выборочная совокупность

9

Самым совершенным методом частичного (несплошного) статистического 
наблюдения является выборочный метод, который представляет 
собой исследование специально отобранной части (выборки) изучаемой 
генеральной совокупности.

1.1. Генеральная и выборочная 

совокупность

Любое эмпирическое исследование состояния окружающей среды 

при ведении экологического мониторинга должно дебютировать с выдвижения 
требующей проверки предметной (исследовательской, научной) 
гипотезы. Процедура проверки гипотезы подразумевает необходимость 
измерения соответствующих свойств объектов исследования.

Под генеральной совокупностью подразумевается вся совокупность (
множество) объектов, в отношении которой была сформулирована 
предметная (исследовательская, научная) гипотеза. Характеристики 
генеральной совокупности называются параметрами, которые являются 
фиксированными и неизвестными числовыми значениями. Как правило, 
генеральная совокупность объединяет в себе значительное число объектов, 
что делает практически недоступным проведение сплошного статистического 
наблюдения. Поэтому масштабы исследования вынужденно 
ограничиваются относительно небольшой частью изучаемых объектов –
выборкой (рис. 1).

Выборочная совокупность (выборка) представляет собой ограниченной 
численности совокупность объектов исследования, которую 
специально отбирают из генеральной совокупности. Характеристиками 
выборки являются статистики, которые используются для оценки соответствующих 
им параметров генеральной совокупности. На основе результатов 
исследования объектов, включенных в выборочную совокупность, 
производится изучение свойств генеральной совокупности. Данная 
процедура носит название выборочного исследования, выводы 
которого экстраполируются на генеральную совокупность. Таким образом, 
ключевой проблемой любого выборочного исследования является 
обоснованность генерализации его выводов, что требует соответствия 
выборочной совокупности двум основным критериям:

1. Основы измерения и количественного описания данных в экологическом…

10

Рис. 1. Генеральная и выборочная совокупность

1.1. Генеральная и выборочная совокупность

11

•
критерий репрезентативности (представительности) выбороч-

ной совокупности заключается в адекватности характеристик явлений 
(процессов), определенных на основе результатов выборочного исследо-
вания, соответствующим характеристикам явлений (процессов) в гене-
ральной совокупности (в пределах допустимых погрешностей). Именно 
репрезентативность является основным критерием, лимитирующим гра-
ницы генерализации выводов выборочного исследования.

Необходимость соответствия критерию репрезентативности требу-

ет от исследователя применения ряда специальных методов при формиро-
вании выборочной совокупности, таких как, например, простой случай-
ный (рандомизированный) отбор или стратифицированный случайный
отбор (моделирование выборки по свойствам генеральной совокупности);

•
статистическая достоверность (статистическая значимость) 

полученных при выборочном исследовании эмпирических результатов
может быть определена только при использовании специальных мето-
дов математической статистики и зависит от объема выборочной сово-
купности. Окончательный результат определения статистической до-
стоверности выборки может быть получен только по итогам уже вы-
полненного анализа.

Достаточно типичной при аналитических исследованиях в рамках 

ведения мониторинга окружающей среды является ситуация, требующая 
сравнения определенных характеристик двух и более выборок. В зави-
симости от применяемой процедуры сопоставления изучаемых характе-
ристик различают два типа выборочных совокупностей:

o
независимые выборки, которые формируются с соблюдением 

принципов независимого отбора объектов исследования, когда вероят-
ность отбора объектов в одну из выборок не влияет на отбор объектов в 
другие выборки (например, отбор проб атмосферного воздуха в разных 
населенных пунктах для исследования на содержание диоксида серы);

o
зависимые выборки, когда каждому объекту исследования в од-

ной выборочной совокупности по определенному критерию строго соот-
ветствует объект исследования в другой выборке (например, попарный 
отбор проб воздуха для исследования на содержание твердых аэрозоль-
ных загрязнителей до и после очистных сооружений с целью сравнитель-
ной оценки эффективности различных систем пылеочистки).

1. Основы измерения и количественного описания данных в экологическом…

12

1.2. Шкалы измерений при ведении 

мониторинга окружающей среды

В соответствии с тем, какой тип процедуры положен в основу из-

мерения изучаемой характеристики окружающей среды, принято разли-
чать четыре вида так называемых измерительных шкал, задача которых 
состоит в установлении определенных соотношений между свойствами 
чисел и измеряемыми свойствами объектов исследования (переменными).
Переменные представляют собой то, что исследователь при проведении
экологического мониторинга может измерять, контролировать, регистри-
ровать и даже изменять. Под независимыми переменными подразуме-
ваются те, которые с точки зрения исследователя способны влиять на за-
висимые переменные (например, при дисперсионном анализе) или специ-
ально им манипулируются при изучении возможных причинно-
следственных связей (например, при корреляционном анализе). Зависи-
мая переменная (следствие) – это та измеряемая переменная, вариатив-
ность которой исследователь связывает с изменениями независимой пе-
ременной (причиной).

Важной характеристикой любой переменной является то, как много 

измеряемой информации обеспечивает тип той шкалы, в которой проведено 
измерение. Таким образом, четырем существующим типам измерительных 
шкал (две неметрические и две метрические) соответствуют четыре 
типа переменных (рис. 2).

Номинативная шкала (номинальное измерение, шкала наименований, 
именная шкала). Неметрическая шкала, которая обычно не ассоциируется 
с процедурой измерения, так как соответствующие ей номинальные (
категориальные) переменные применяются исключительно в 
целях качественной классификации по названию. Иными словами, номинальные 
переменные измеряются только по их принадлежности к определенным 
классам, имеющим разные названия (например, наименования городов 
и сельских районов). При этом должно соблюдаться правило идентичности 
объектов по измеряемому свойству внутри соответствующего 
класса. Часто для удобства обработки данных каждому классу присваивается 
числовое обозначение, которое не имеет никакого метрического значения (
например, 1 – Ростов-на-Дону, 2 – Азов, 3 – Волгодонск и т.д.).

1.2. Шкалы измерений при ведении мониторинга окружающей среды

13

Рис. 2. Типы измерительных шкал