Цифровые методы диагностики и прогнозирования процессов

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ 

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ  
ВЫСШЕГО ОБРАЗОВАНИЯ  
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСиС» 

 

 
 
 

 

 

 

 
 

 

№ 2809 

Кафедра автоматизации

О.В. Сенько 
 

Цифровые методы диагностики 
и прогнозирования процессов 

 

Учебное пособие 

Рекомендовано редакционно-издательским 
советом университета 

Москва  2016 

УДК 681.5 
 
C31 

Р е ц е н з е н т  
д-р физ.-мат. наук, проф. А.Г. Дьяконов (ф-т ВМК МГУ) 

Сенько О.В. 
С31  
Цифровые методы диагностики и прогнозирования процессов : 
учеб. пособие / О.В. Сенько. – М. : Изд. Дом МИСиС, 2016. – 
85 с. 
ISBN 978-5-906846-21-1 

Изложены методы решения задач автоматического прогнозирования и 
диагностики процессов с помощью алгоритмов, настроенных по выборкам 
прецедентов. Описывается ряд методов регрессионного анализа, включая современные модели, основанные на регуляризации по Тихонову. Анализируются наиболее популярные подходы к решению задач распознавания, включая статистические модели, нейронные сети, решающие деревья и леса, комбинаторно-логические модели, метод опорных векторов и др. Рассматриваются статистически обоснованные способы оценки точности получаемых 
решений, сравниваются эффективности различных подходов. Приводится 
ряд примеров использования излагаемых методов для решения различных 
практических задач в разных отраслях промышленности.  
Соответствует ГОС дисциплины «Цифровые методы диагностики и прогнозирования процессов». 
Предназначено для магистров, аспирантов и специалистов.  
 

УДК 681.5 

ISBN 978-5-906846-21-1 
 О.В. Сенько, 2016 
 
 НИТУ «МИСиС», 2016 

ОГЛАВЛЕНИЕ 

1. Обучение по выборкам прецендентов ................................................ 5 
1.1. Области применения ..................................................................... 5 
1.2. Основные понятия ......................................................................... 5 
1.3. Методы распознавания и регрессии с максимальной 
обобщающей способностью ................................................................ 8 
1.4. Способы обучения ......................................................................... 8 
1.4.1. Метод максимального правдоподобия (ММП) .................... 8 
1.4.2. Метод минимизации эмпирического риска (ММЭР) ........ 11 
1.5. Эффект переобучения ................................................................. 12 
1.6. Методы оценивания обобщающей способности ...................... 14 
1.7. Существующие методы и модели для решения задач 
прогнозирования и распознавания .................................................... 15 
2. Линейная регрессия ............................................................................ 17 
2.1. Методы настройки моделей ........................................................ 17 
2.2. Одномерная регрессия ................................................................ 18 
2.3. Многомерная регрессия .............................................................. 19 
2.4. Методы регуляризации по Тихонову ......................................... 21 
3. Методы распознавания ...................................................................... 25 
3.1. Методы оценки эффективности алгоритмов 
распознавания ..................................................................................... 25 
3.2. Статистические методы распознавания .................................... 31 
3.2.1. Байесовский метод, основанный на аппроксимации с 
помощью нормальных распределений ......................................... 31 
3.2.2. Линейный дискриминант Фишера (ЛДФ) .......................... 34 
3.2.3. Логистическая регрессия ..................................................... 36 
3.2.4. Метод k-ближайших соседей ............................................... 37 
4. Модели распознавания, основанные на различных способах 
обучения .................................................................................................. 38 
4.1. Метод линейной машины ........................................................... 38 
4.2. Нейросетевые методы ................................................................. 40 
4.2.1. Модель искусственного нейрона ......................................... 40 
4.2.2. Многослойный перцептрон ................................................. 43 
4.3. Решающие деревья и леса ........................................................... 47 
4.3.1. Решающие деревья ............................................................... 47 
4.3.2. Решающие леса ..................................................................... 53 
4.4. Комбинаторно-логические методы, основанные на 
принципе частичной прецедентности ............................................... 54 

4.5. Методы, основанные на голосовании по системам 
логических закономерностей............................................................. 61 
4.6. Метод мультимодельных статистически взвешенных 
синдромов ............................................................................................ 63 
4.7. Метод опорных векторов ............................................................ 67 
4.7.1. Линейная разделимость ........................................................ 67 
4.7.2. Отсутствие линейной разделимости ................................... 72 
4.7.3. Построение оптимальных нелинейных разделяющих 
поверхностей с помощью метода опорных векторов .................. 75 
5. Практическое использование методов распознавания 
и регрессионного анализа в различных областях ................................ 78 
5.1. Примеры и задачи ........................................................................ 78 
5.2. Программная система «РАСПОЗНАВАНИЕ» .......................... 80 
Библиографический список ................................................................... 83 
 

1. ОБУЧЕНИЕ ПО ВЫБОРКАМ ПРЕЦЕНДЕНТОВ 

1.1. Области применения 

Задачи диагностики и прогнозирования некоторой величины Y  по 
доступным значениям переменных 
1,
,
n
X
X

 возникают в различных 
областях человеческой деятельности:  
– задачи диагностики хода технологического процесса по показаниям различных датчиков; 
– задачи диагностики состояния технического оборудования; 
– задачи медицинской диагностики по совокупности клинических 
и лабораторных показателей;  
– задачи прогнозирования свойств еще не синтезированного химического соединения по его молекулярной формуле;  
– прогноз значений финансовых индикаторов. 
Для решения подобных задач могут быть использованы методы, основанные на использовании точных знаний. Например, могут использоваться методы математического моделирования, основанные на использовании физических законов. Однако сложность точных математических моделей нередко оказывается слишком высокой. Кроме того, при 
использовании физических моделей часто требуется знание различных 
параметров, характеризующих рассматриваемое явление или процесс. 
Значения некоторых из таких параметров часто известны только приблизительно или неизвестны вообще. Все эти обстоятельства ограничивают возможности эффективного использования физических моделей.  
В прикладных исследованиях нередко возникают ситуации, когда 
математическое моделирование, основанное на использовании точных законов, является затруднительным, но в распоряжении исследователей оказывается выборка прецедентов – результатов наблюдений исследуемого процесса или явления, включающих значения прогнозируемой величины Y  и переменных 
1,
,
n
X
X

. В этих случаях 
для решения задач диагностики и прогнозирования могут быть использованы методы, основанные на обучении по прецедентам.  

1.2. Основные понятия 

Предположим, что задача прогнозирования решается для некоторого процесса или явления F. Множество объектов, которые потен

циально могут возникать в рамках F, называется генеральной совокупностью, далее обозначаемой  .  
Поиск алгоритма, вычисляющего прогноз, осуществляется по выборке прецедентов, которая обычно является случайной выборкой 
объектов из   с известными значениями 
1
,
,
,
n
Y X
X

. Выборку прецедентов также принято называть обучающей выборкой.  
Обучающая выборка имеет вид  

 
1
1
1
{
(
,
),
,
(
,
)}
t
m
m
m
S
s
y
s
y



x
x


, 

где 
jy  – значение переменной для объекта 
js ; 

j
x  – векторы переменных 
1,
,
n
X
X

 для объекта 
js ; 

m  – число объектов в 
tS .  

В процессе обучения производится поиск эмпирических закономерностей, связывающих прогнозируемую переменную Y  с переменными 
1,
,
n
X
X

. 
Данные закономерности далее используются при прогнозировании. 
Методы, основанные на обучении по прецедентам, также принято 
называть методами машинного обучения (Machine learning). 
Прогнозируемая величина Y  может иметь различную природу: 
– принимать значения из отрезка непрерывной оси;  
– принимать значения из конечного множества; 
– являться кривой, описывающей вероятность возникновения некоторого критического события до различных моментов времени. 
Задачи распознавания. Задачи, в которых прогнозируемая величина принимает значения из множества, содержащего несколько 
элементов, принято называть задачами распознавания. Например, к 
ним относятся задачи прогнозирования категориальных переменных. 
Подмножества объектов с одинаковым значением Y обычно принято 
называть классами. Поэтому задача распознавания часто формулируется в следующем виде. Предположим, что множество объектов   
является объединением непересекающихся классов 
1,
,
L
K
K

. Тогда 

задача распознавания состоит в поиске по обучающей выборке 
tS  
алгоритма, относящего произвольный объект s  из множества   к 
одному из классов 
1,
,
L
K
K

. При этом искомый номер класса вы

числяется по описанию объекта s, представляющему собой вектор 
значений на s  переменных 
1,
,
n
X
X

. 
Задачи регрессии. Задачи, в которых прогнозируемая величина 
принимает значения из некоторого подмножества оси вещественных 
чисел R , обычно принято называть задачами регрессии. 
Приведем конкретный пример закономерности, которая может 
быть использована при решении задачи регрессии.  

 

Рис. 1.1. Закономерность, описывающая линейную связь 

 

Рис. 1.2. Закономерность для решения задачи распознования 

На рис. 1.1 изображена закономерность, описывающая линейную 
связь между переменными Y  и X . Видно, что график линейной 
функции 0,3 + 2,7Х проходит достаточно близко к значениям переменной Y . Поэтому данная функция может быть использована для 
предсказания значений Y  по соответствующим значениям X .  
На рис. 1.2 показана закономерность, которая может быть использована для решения задачи распознавания: объекты класса K1 (
) и 
класса K2 ( ) из обучающей выборки St находятся по разные стороны 
прямой, проходящей через точки.  

1.3. Методы распознавания и регрессии 
с максимальной обобщающей способностью 
Для каждой задачи регрессии или распознавания существует объективно оптимальный метод, для которого обобщающая способность объективно является наилучшей. Для задач регрессионного анализа оптимальным является алгоритм A, вычисляющий прогноз Y  для произвольного вектора x, равный условному математическому ожиданию Y  
в точке x: 
( )
(
| )
A
E Y

x
x . 
Для задач распознавания наиболее высокой точностью обладает 
байесовский классификатор. Пусть в точке 
n

x
R  объекты из классов 
1,
,
L
K
K

 встречаются с вероятностями 
1
(
| ),
, (
| )
L
K
K
P
x
P
x

.  
Тогда распознаваемый объект со значением вектора прогностических переменных x может быть отнесен в класс 
i
K   только в случае 
выполнения набора неравенства 
(
| )
(
| )
i
i
K
K


P
x
P
x  при 
{1,
, }
i
L


. 
Иными словами, распознаваемый объект может быть отнесен к одному из классов, вероятность принадлежности которому в точке x  
максимальна. Таким образом, максимально точное решение задач 
регрессии может быть легко получено, если в каждой точке известны 
условные математические ожидания 
(
| )
E Y x . Аналогично максимально точное решение задач распознавания может быть получено 
при знании условных вероятностей 
1
(
| ),
, (
| )
L
K
K
P
x
P
x

.  

1.4. Способы обучения 

1.4.1. Метод максимального правдоподобия (ММП) 
Условные математические ожидания 
(
| )
E Y x  могут быть вычислены, когда известна плотность совместного распределения переменных 
1
,
,
,
n
Y X
X

, обозначаемая далее 
1
( ,
,
,
)
n
p Y X
X

. Условные 

вероятности 
1
(
| ),
, (
| )
L
K
K
P
x
P
x

 могут быть вычислены, когда известны плотности совместного распределения переменных 
1,
,
n
X
X

 
для каждого из классов 
1,
,
L
K
K

, а также вероятности каждого из 
классов во всей генеральной совокупности.  
Плотности совместного распределения в принципе могут быть 
получены с использованием известного метода максимального правдоподобия, который используется в математической статистике для 
аппроксимации вероятностных распределений по выборкам данных. 
В общем случае ММП требует априорных предположений о типе 
распределений. Чаще всего используется гипотеза о нормальности 
распределения. Значения параметров 
1,
,
r



, задающих конкретный вид распределений, находятся путем максимизации функционала правдоподобия, представляющего собой произведение плотностей 
вероятностей на объектах обучающей выборки. Рассмотрим в качестве примера задачу распознавания двух классов 
1
K  и 
2
K  по единственному признаку X . При этом предполагается, что классы 
1
K  и 

2
K  распределены нормально, т.е. точки, описывающие объекты из 
данных 
классов, 
имеют 
плотности 
распределения 

2
1
2
(
)

2
1
1
( )
2

x
p x
e






 
 и 

2
2
2
(
)

2
2
1
( )
2

x
p
x
e






 
 соответственно при 

значении признака X  равном x. Допустим, что нам неизвестны параметры 
1
  и 
2
 , являющиеся математическими ожиданиями признака X  в классах 
1
K  и 
2
K . Математические ожидания 
1
  и 
2
  могут быть найдены с помощью ММП по обучающей выборке 

1
1
1
{
(
,
),
,
(
,
)}
t
m
m
m
S
s
y x
s
y
x





, где 
1
jy   при 
1
js
K

 и 
2
jy 
 при 

2
js
K

. При этом подбираются такие значения 
1
  и 
2
 , при кото
рых достигают максимума функционалы правдоподобия  

 

2
1
2

1
1

(
)

2
1
1
1
1
(
,
)
(
)
2
j
j

x

t
j
s
K
s
K
L S
p x
e











 



 
(1.1) 

и 

 

2
2
2

2
2

(
)

2
2
1
2
1
(
,
)
(
)
2
j
j

x

t
j
s
K
s
K
L S
p
x
e











 



, 
(1.2) 

т.е. функционал 
1
1
(
,
)
t
L S 

 является произведением плотностей вероятности в точках, соответствующих объектам обучающей выборки из 
класса 
1
K , функционал 
2
1
(
,
)
t
L S 

 является произведением плотностей вероятности в точках, соответствующим объектам обучающей 
выборки из класса 
2
K .

Поскольку натуральный логарифм ln( )z  является монотонной 

функцией аргумента z , то задача максимизации 
1
1
(
,
)
t
L S 

 эквива
лентна задаче максимизации 
1
1
ln[
(
,
)]
t
L S 

. Отметим, что 

2
2
1
1
2
2

1
1

(
)
(
)

2
2
1
1
1
1
ln[
( ,
)]
ln
ln(
)
ln
2
2

j
j

j
j

x
x
m

t
s
K
s
K
L S
e
e



































 












  

1

2
1
1
1
1
2
2
(
)
ln( )
ln(2 )
2
j

j

s
K

x
m
m



 
 
 
 


, 
(1.3) 

где 
1
m  – число объектов из класса
1
K  в выборке 
tS .  

Из формулы (1.3) следует, что задача максимизации 
1
1
ln[
(
,
)]
t
L S 

 

сводится к задаче минимизации 

1

2
1
1
2
(
)
(
,
)
2
j

j
t
s
K

x
Q S



 





. Необхо
димым условием минимума 
1
(
,
)
t
Q S 

 является выполнение равенства 

1

1

(
,
)
0
t
Q S






, что эквивалентно выполнению равенства  

 

1

1
2
2(
)
0
2
j

j

s
K

x



 



. 
(1.4) 

Из равенства (1.4) следует, что 

1
1

1
1

j

j
m
s
K

x


 

, т.е. применение 

ММП приводит к выводу о равенстве параметра 
1


 

среднему значению признака X  по всем объектам обучающей выборки из класса 

1
K . Очевидно, что поиск оптимального значения параметра 
2
  с по

мощью ММП аналогичен поиску оптимального значения параметра 

1


 

и приводит к одинаковому результату.  
В общем случае нам требуется найти параметры 
1,
,
r




 

совместного распределения переменных 
1
,
,
,
n
Y X
X

. Данная задача 
может быть решена с помощью максимизации функционала правдоподобия  

 
 

1
1
1
(
,
,
,
)
(
,
,
,
,
)

m

t
r
j
j
r
j
L S
p y









x



, 
(1.5) 

который является произведением плотностей вероятностей в точках, 
соответствующих 
объектам 
обучающей 
выборки 

1
1
1
{
(
,
),
,
(
,
)}
t
m
m
m
S
s
y
s
y



x
x


. Метод ММП является одним из 
важнейших инструментов настройки алгоритмов распознавания или 
регрессионных моделей в математической статистике. Однако использованием ММП требует знания вида вероятностного распределения. На практике чаще используется метод минимизации эмпирического риска, который требует знания только общего вида алгоритма прогнозирования.  

1.4.2. Метод минимизации эмпирического риска 
(ММЭР) 

Основным способом поиска закономерностей является выбор из 
заданного семейства 
{ :
}
M
A X
Y




  алгоритма, наилучшим образом аппроксимирующего связь переменных из набора 
1,
,
n
X
X

 с 

переменной Y  на обучающей выборке, где X  – область возможных 
значений векторов переменных 
1,
,
n
X
X

, Y  – область возможных 
значений переменной Y . Отметим, что чаще всего алгоритм A задается с помощью прогнозирующей функции. 
Пусть [
, (
)]
j
j
y
A

x
 – величина «потерь», произошедших в резуль
тате использования в качестве прогноза величины 
(
)
j
A x
. Одним из 

способов обучения является минимизация на обучающей выборке 
функционала эмпирического риска  

 
1

1
(
, )
[
, (
)]

m

t
j
j
m
j
Q S A
y
A





x

. 

Примеры конкретного вида функции потерь [
, (
)]
j
j
y
A

x
. В за
дачах регрессии чаще всего используется квадрат ошибки прогноза 

2
[
,
(
)]
[
(
)]
j
j
j
j
y
A
y
A



x
x
. Также может быть использован модуль 

ошибки [
, (
)]
|[
(
)]|
j
j
j
j
y
A
y
A



x
x
.  

В случае задачи распознавания функция потерь может быть равной 0 при правильной классификации и 1 при ошибочной. При этом 
функционал эмпирического риска равен числу ошибочных классификаций.  
Точность алгоритма прогнозирования на всевозможных новых 
неиспользованных для обучения объектах, которые возникают в результате процесса, соответствующего рассматриваемой задаче прогнозирования, принято называть обобщающей способностью. Иными 
словами обобщающую способность алгоритма прогнозирования 
можно определить как точность на всей генеральной совокупности. 
Мерой обобщающей способности служит математическое ожидание 
потерь по генеральной совокупности 
{ [ , ( )]}
E
Y A
 
x
. При решении 
задач прогнозирования основной целью является достижение 
наилучшей обобщающей способности, при которой математическое 
ожидание потерь 
{ [ , ( )]}
E
Y A
 
x
 минимально.  

1.5. Эффект переобучения 

Расширение модели 
{ :
}
M
A X
Y




 , увеличение ее сложности 
всегда приводит к повышению точности аппроксимации на обучающей выборке. Однако повышение точности на обучающей выборке, 
связанное с увеличением сложности модели, часто не ведет к увеличению обобщающей способности. Более того, обобщающая способность может даже снижаться. Различие между точностью на обучающей выборке и обобщающей способностью при этом возрастает. 
Данный эффект называется эффектом переобучения.