Регрессионный анализ динамических систем

РЕГРЕССИОННЫЙ 
АНАЛИЗ 
ДИНАМИЧЕСКИХ 
СИСТЕМ

А.П. САРЫЧЕВ

МОНОГРАФИЯ

Москва
ИНФРА-М
2022

УДК 519.25:681.5(075.4)
ББК 22.172.6
 
С20

Сарычев А.П.
С20  
Регрессионный анализ динамических систем : монография / 
А.П. Сарычев. — Москва : ИНФРА-М, 2022. — 229 с. — (Научная 
мысль). — DOI 10.12737/1865377.

ISBN 978-5-16-017656-7 (print)
ISBN 978-5-16-110274-9 (online)
В монографии изложены статистические методы моделирования динамических систем по данным наблюдений их функционирования в условиях 
структурной неопределенности по составу входных переменных и степени 
статистической зависимости между случайными составляющими в моделях. В рамках метода группового учета аргументов (МГУА) разработаны 
критерии качества моделей, основанные на разбиении выборки наблюдений на обучающую и проверочную подвыборки, и критерии скользящего 
экзамена.
Применение изложенных методов моделирования позволяет глубже 
проникнуть в суть явлений и объектов в процессе научных исследований, 
позволяет лучше описать состояние и прогнозировать поведение систем 
в условиях структурной неопределенности в различных приложениях.
Книга предназначена для специалистов по математическому моделированию в различных областях науки и практики, многомерному статистическому анализу, а также для студентов и аспирантов учебных направлений 
«Прикладная математика», «Информатика и кибернетика».

УДК 519.25:681.5(075.4)
ББК 22.172.6

Р е ц е н з е н т ы:
Малайчук В.П., доктор технических наук, профессор;
Даниев Ю.Ф., кандидат технических наук, старший научный сотрудник

ISBN 978-5-16-017656-7 (print)
ISBN 978-5-16-110274-9 (online)
© Сарычев А.П., 2022

ОГЛАВЛЕНИЕ  

ПРЕДИСЛОВИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
6 

ГЛАВА 1  ОДНОМЕРНАЯ РЕГРЕССИЯ В УСЛОВИЯХ  
      ПОВТОРНЫХ НАБЛЮДЕНИЙ  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
13 

1.1 Постановка задачи. Проблема разбиения данных на обучающую              
      и проверочную выборки в методе группового учета аргументов  . . . . . .  
13 

1.2 Исследование критерия регулярности МГУА в схеме повторных  
      наблюдений  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
18 

1.3 Исследование зависимости  J-функционала качества модели  
      от состава множества регрессоров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
26 

1.4 Статистический критерий для проверки редукции модели оптимальной  
      сложности в условиях повторных наблюдений . . . . . . . . . . . . . . . . . . . . . 

 
31 

1.5 Усредненный критерий регулярности МГУА  . . . . . . . . . . . . . . . . . . . . . . 
35 

1.6 Условие редукции модели оптимальной сложности для усредненного  
       критерия регулярности  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  

 
40 

      Заключение к главе 1  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
45 

ГЛАВА 2  ВЕКТОРНАЯ РЕГРЕССИЯ В УСЛОВИЯХ  
      ПОВТОРНЫХ НАБЛЮДЕНИЙ  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
46 

2.1 Априорные предположения об объекте  . . . . . . . . . . . . . . . . . . . . . . . . . . . 
47 

2.2 Вывод формул для оценивания коэффициентов  . . . . . . . . . . . . . . . . . . . . 
49 

2.3 Итерационная процедура оценивания коэффициентов . . . . . . . . . . . . . . . 
51 

2.4 Системный критерий регулярности МГУА  . . . . . . . . . . . . . . . . . . . . . . . . 
53 

2.5 Исследование системного критерия регулярности МГУА . . . . . . . . . . . . 
59 

      Заключение к  главе 2  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
68 

ГЛАВА 3  ПОИСК ОПТИМАЛЬНОГО МНОЖЕСТВА  
      РЕГРЕССОРОВ В ЗАДАЧАХ ОДНОМЕРНОЙ  
      И ВЕКТОРНОЙ РЕГРЕССИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
 
69 

3.1 Многоэтапный итерационный алгоритм структурной идентификации 
      в задаче одномерной регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
69 

3.2 Многоэтапный итерационный алгоритм структурной идентификации  
      в задаче векторной регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
75 

      Заключение к главе 3  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
. 

81 

ГЛАВА 4  ОДНОМЕРНАЯ АВТОРЕГРЕССИЯ В УСЛОВИЯХ  
      КВАЗИПОВТОРНЫХ НАБЛЮДЕНИЙ  . . . . . . . . . . . . . . . . . . . . . . . . 

 
  82 

4.1 Априорные предположения о динамическом объекте  . . . . . . . . . . . . . . . 
 83 

4.2 Оценивание коэффициентов в авторегрессионной модели  . . . . . . . . . . . 
 85 

4.3 Критерий регулярности МГУА для одномерной авторегрессии  . . . . . . . 
 90 

4.4 Исследование критерия регулярности МГУА  . . . . . . . . . . . . . . . . . . . . . . 
 93 

      Заключение к главе 4  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 

ГЛАВА 5  ВЕКТОРНАЯ АВТОРЕГРЕССИЯ В УСЛОВИЯХ  
      КВАЗИПОВТОРНЫХ НАБЛЮДЕНИЙ  . . . . . . . . . . . . . . . . . . . . . . . . 

 

102 

5.1 Априорные предположения о динамической системе . . . . . . . . . . . . . . . . 103 
5.2 Оценивание коэффициентов в системах авторегрессионных моделей . . . 107 
5.3 Системный критерий регулярности МГУА  . . . . . . . . . . . . . . . . . . . . . . . . 111 
5.4 Исследование системного критерия регулярности  . . . . . . . . . . . . . . . . . . 116 
5.5 Итерационная процедура оценивания коэффициентов в системе  
      авторегрессионных моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
134 

5.6 Исследование итерационной процедуры  . . . . . . . . . . . . . . . . . . . . . . . . . . 137 
      Заключение к главе 5  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 

Библиографический список к предисловию и главам 1–5. . . . . . . . . . . . . 145 

ГЛАВА 6  КЛАССИФИКАЦИЯ СОСТОЯНИЙ ОБЪЕКТА  
      НА ОСНОВЕ ДИСКРИМИНАНТНОГО АНАЛИЗА . . . . . . . . . . . . . . 

 

159 

6.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 
6.2 Критерий поиска оптимального множества признаков с разбиением 
      наблюдений на обучающие и проверочные подвыборки  . . . . . . . . . . . . . 

 
163 

6.3 Критерий скользящего экзамена для поиска оптимального  
      множества признаков  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
166 

6.4 Существование дискриминантной функции, оптимальной по составу  
      включенных в нее признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
168 

6.5 Условие редукции оптимальной дискриминантной функции в способе  
      с разбиением на обучающие и проверочные выборки  . . . . . . . . . . . . . . . 

 
173 

6.6 Условие редукции оптимальной дискриминантной функции  
      в способе скользящего экзамена  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
175 

6.7 Итерационный алгоритм МГУА для поиска дискриминантной функции 
      оптимальной сложности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .  
      Заключение к главе 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
177 
183 

      Библиографический список к главе 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 
184 

. 
ГЛАВА 7  КЛАССИФИКАЦИЯ СОСТОЯНИЙ ОБЪЕКТА,  
      ОПИСЫВАЕМЫХ СИСТЕМАМИ РЕГРЕССИОННЫХ  
      МОДЕЛЕЙ  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
 
189 

7.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 
7.2 Построение систем регрессионных моделей по обучающим выборкам  
      двух классов состояний  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
193 

7.3 Классификация на основе двух систем регрессионных моделей.  
      Теоретические значения вероятностей правильной и ошибочной  
      классификаций . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .  . . . . . . . . . . . . . . 

 
 
195 

7.4 Решающее правило классификации по результатам идентификации  
      двух систем регрессионных моделей  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
200 

      Заключение к главе 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 
      Библиографический список к главе 7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 

ГЛАВА 8  КЛАССИФИКАЦИЯ СОСТОЯНИЙ ДИНАМИЧЕСКОЙ  
      СИСТЕМЫ, ФУНКЦИОНИРОВАНИЕ КОТОРОЙ  

ОПИСЫВАЕТСЯ ВЕКТОРНОЙ АВТОРЕГРЕССИЕЙ . . . . . .  . . . . . 

 

 

205 

8.1 Априорные предположения о динамической системе . . . . . . . . . . . . . . . . 206 
8.2 Оценивание коэффициентов в системах авторегрессионных 
      моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
210 

8.3 Решающее правило классификации на основе двух систем  
      авторегрессионных моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 

 
214 

8.4 Теоретические значения вероятностей правильной и ошибочной  
      классификаций  . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 

 
219 

8.5 Вероятности правильной и ошибочной классификаций по результатам  
      идентификации двух систем авторегрессионных моделей . . . . . . . . . . . . 

 
221 

      Заключение к главе 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 
      Библиографический список к главе 8. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 

ЗАКЛЮЧЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 
 
 
 

Суммарно 2+2+9+ 230 +1+16 = 260 стр. (на 3

1 

 
 
 
 
 

ПРЕДИСЛОВИЕ  

Статистические 
методы 
математического 
моделирования 
являются 
эффективным инструментом познания в научных исследованиях, позволяют 
лучше описать состояние и прогнозировать поведение систем в различных 
приложениях.  
Весьма 
распространёнными 
классами 
статистических 
моделей, 
применяемых в задачах моделирования в различных областях науки и 
практики, являются регрессионные и авторегрессионные модели. Как правило, 
эти модели необходимо строить в условиях структурной неопределенности по 
составу 
входных 
переменных 
в 
отдельных 
моделях 
и 
по 
степени 
статистической зависимости между случайными составляющими в системе 
моделей.  
Проиллюстрируем смысл этих неопределенностей на некоторых примерах.  
А. Пусть поставлена задача одномерной регрессии в предположении,  
что статистическая модель объекта имеет вид  

 
ξ
θ
ξ
o

1

o
o
o

j
m

j
j x
y
y
, 
(1) 

где y  – наблюдаемая выходная переменная; 
o
y  – ненаблюдаемая составляющая 
выходной переменной; ξ  – случайная величина с нулевым математическим 

ожиданием и ограниченной дисперсией; 
j
x
o
 – j -я входная переменная объекта 

из множества 
o
X , участвующих в формировании выходной переменной 

объекта; 
o
m  – число входных переменных, принадлежащих множеству 
o
X ; 

T
o
2
o
1
o
o
)
θ
,
...
,
θ
,
θ
(
o
m
θ
 – вектор неизвестных, не равных нулю коэффициентов.  
Будем говорить, что задача одномерной регрессии поставлена в узком 
смысле, если необходимо: определить оценки коэффициентов в модели 
регрессии для выходной переменной как функции от заданного (известного) 
множества входных переменных, определить оценку ошибки предсказания по 
этой модели. Будем говорить, что задача одномерной регрессии поставлена 
в широком смысле, если необходимо установить, какие именно входные 

переменные 
X
X o
, входят в регрессионную модель (
o
X  – априорно 
неизвестно, а X  – заданное множество наблюдаемых входных переменных).  
Б. Пусть поставлена задача векторной регрессии в предположении, что 
статистическая модель объекта имеет вид  

 
,
,
...
,2
,1
),
(
ξ
)
(
)
(
θ
)
ξ(
)
(
)
(
)
(
o
o
o
o

h
k
k
k
x
k
k
k
y
k
y
k
m

1
j
j
j

(2) 

где k  – номер выходной переменной; h  – число выходных переменных; 
)
(k
y
 – 

наблюдаемая 
k -я 
выходная 
переменная; 
)
(
o
k
y
 – 
ненаблюдаемая 
(незашумленная) 
составляющая 
k -й 
выходной 
переменной; 
)
(ξ k  – 
ненаблюдаемая аддитивная случайная составляющая в 
k -й выходной 

переменной; 
)
(
o
k
x j
 – 
j -я входная переменная из множества входных 

переменных 
X
k
X
)
(
o
, участвующих в формировании 
k -ой выходной 
переменной, причем множества входных переменных для разных выходных 

переменных могут быть, вообще говоря, различными; 
)
(
o
k
m
 – число входов, 

принадлежащих множеству 
)
(
o
k
X
; 
))
(
θ
),...,
(
θ
),
(
θ
(
)
(
)
(
o
2
o
1
o
o
o
k
k
k
k
k
m
θ
 – вектор 
неизвестных, не равных нулю коэффициентов; 
)
ξ(k  – случайная величина 
с нулевым математическим ожиданием и ограниченной дисперсией.  
Если случайные величины 
)
ξ(k  для различных выходных переменных 
статистически независимы, то задача построения статистической модели (2) 
распадается на h  независимых задач одномерной регрессии (1), каждая из 
которых может решаться отдельно.  
Если случайные величины 
)
ξ(k  для различных выходных переменных 
статистически зависимы, то выбор метода построения статистической модели 
(2) зависит от того, одинаковы ли у них множества входных переменных.  
Если множества входных переменных одинаковы для всех выходных 

переменных, т. е. 
h
k
X
k
X
...,
,2
,1
,
)
(
o
o
, то задача построения статистической 
модели (2), по-прежнему, сводится к h  независимым задачам регрессионного 
анализа. Если же для каждой выходной переменной существует свой набор 
входных переменных, то традиционный подход становится неадекватным, и 
необходимо применять процедуру совместного оценивания коэффициентов 
системы регрессионных моделей, в которой учитывается факт статистической 
зависимости между случайными величинами 
h
k
k
...,
,2
,1
,)
ξ(
.  
Особенности 
задач 
регрессии, 
решаемых 
в 
условиях 
структурной 
неопределенности, приводят к необходимости осторожного применения 
существующих методов статистического моделирования и требуют разработки 
новых методов построения статистических моделей.  

Под статистической моделью будем понимать математическую модель, 
которая в своей структуре имеет хотя бы одну случайную составляющую, 
построена по наблюдаемым данным и, отображая объект исследования, 
способна описать его состояние.  
Будем считать, что состояние исследуемого объекта можно описать двумя 
способами:  
1) указать значения переменных состояния (выходных переменных),  
2) отнести состояние к известному классу состояний.  
Первый способ описания можно реализовать, например, подстановкой 
значений входных переменных в построенные регрессионные модели (1)–(2).  
Второй способ можно реализовать, например, классификацией состояния на 
основе 
решающего 
правила, 
построенного 
по 
обучающим 
выборкам 
наблюдений.  
Процесс описания состояния моделируемого объекта будем называть 
идентификацией состояния объекта.  
Основная цель построения статистических моделей, рассматриваемых в 
данной работе – идентифицировать состояния исследуемого объекта в условиях 
структурной неопределенности.  
Приведем краткое описание исследуемых классов моделей.  
1. Одномерная 
регрессионная 
модель 
с 
детерминированными 
коэффициентами. Статистическая модель объекта, имеющего m входов и 
один выход, имеет вид (1). По результатам наблюдения объекта требуется 

определить множество входов 
X
X o
 и оценить вектор коэффициентов 
o
θ .  
2. Векторная 
регрессионная 
модель 
с 
детерминированными 
коэффициентами. Статистическая модель объекта с m входами и h  выходами, 
имеет вид (2). По результатам наблюдения объекта требуется определить 

множество входов 
X
k
X
)
(
o
 и оценить вектор коэффициентов 
)
(
o
k
θ
 для 
каждого 
h
k
...,
,2
,1
.  

3. Итерационные 
алгоритмы 
поиска 
оптимального 
множества 
регрессоров в задачах одномерной и векторной регрессии. Алгоритмы 
позволяют определить структуру и оценить коэффициенты регрессионной 
модели одномерной и векторной переменной от входных переменных в 
условиях, когда априорно неизвестно, какие именно входные переменные 
участвуют 
в 
формировании 
выходной 
переменной, 
и 
неизвестна 
ковариационная матрица случайных составляющих в структуре модели.  
4. Одномерная авторегрессионная модель с детерминированными 
коэффициентами. Статистическая модель объекта с одним выходом, имеет 
вид (2), но входные переменные в ней образованы предыдущими значениями 
выходной переменной. По результатам наблюдений требуется определить 
множество предыдущих значений выходной переменной, определяющих 

текущее значение выходной переменной, и оценить вектор коэффициентов 
o
θ .  

5. Векторная 
авторегрессионная 
модель 
с 
детерминированными 
коэффициентами. Статистическая модель объекта с h  выходами, имеет вид 
(2), но входные переменные в ней образованы предыдущими значениями 
выходных переменных объекта. По результатам наблюдения объекта требуется 
определить 
множество 
предыдущих 
значений 
выходных 
переменных, 
определяющих текущие значения выходных переменных, и оценить вектор 

коэффициентов 
)
(
o
k
θ
 для каждого 
h
k
...,
,2
,1
.  

6. Классификация состояний объекта на основе дискриминантного 
анализа. 
Статистическая 
модель 
в 
виде 
дискриминантной 
функции, 
разделяющей пространство переменных состояния объекта на две области, 
каждая из которых соответствует одному из двух классов состояний объекта. 
Дискриминантная функция строится по обучающим выборкам наблюдений, 
принадлежность которых к одному из классов априорно установлена. 
Требуется не только оценить коэффициенты дискриминантной функции, но и 
отыскать оптимальное множество признаков, в котором ошибка классификации 
на новых данных будет наименьшей. Модель позволяет идентифицировать 
состояние объекта: по переменным состояния можно на основе решающего 
правила отнести состояние к первому или второму классу.  
7. Классификация состояний объекта на основе векторной регрессии. 
Статистическая модель классификации состояний статического объекта, 
который описывается моделью из пункта 2. Объект может находиться в одном 
из двух классов состояний, и каждый класс описывается своей системой 
регрессионных моделей. По обучающим выборкам двух классов состояний 
построены две системы регрессионных моделей. Требуется сформулировать 
решающее правило. Модель позволяет идентифицировать состояние объекта: 
по значениям входов и выходов можно на основе модели отнести его к первому 
или второму классу.  
8. Классификация 
состояний 
динамической 
системы 
на 
основе 
векторной авторегрессии. Статистическая модель классификации состояний 
динамической системы, которая описывается моделью из пункта 5. Система 
может находиться в одном из двух классов состояний, и каждый класс 
описывается своей системой авторегрессионных моделей. По обучающим 
выборкам двух классов состояний построены две системы авторегрессионных 
моделей. Требуется сформулировать решающее правило. Модель позволяет 
идентифицировать состояние динамической системы: по значениям входов 
и выходов можно на основе модели отнести его к первому или второму классу.  
Для построения регрессионных, авторегрессионных и дискриминантных 
моделей в условиях структурной неопределенности, необходимо:  
а) выбрать класс моделей;  
б) указать метод оценивания коэффициентов в моделях;  
в) построить алгоритм генерирования структур перебираемых моделей;  
г) принять критерий качества моделей.  

Класс моделей определяется исходными предположениями – априорными 
гипотезами, 
и 
зависит от природы 
исследуемого объекта 
и опыта 
исследователя.  
Метод оценивания коэффициентов определяется, как правило, априорными 
гипотезами, и в условиях структурной неопределенности его выбор 
в решающей степени определяет качество решения задачи моделирования 
и предопределяет выбор критерия для оценивания качества моделей.  
Алгоритм 
генерирования 
структур 
перебираемых 
моделей 
также 
определяется априорными гипотезами, и основными ограничениями в его 
выборе являются количество входных переменных и класс исследуемых 
моделей. Развитие вычислительной техники привело к тому, что во многих 
приложениях становится возможным полный перебор всех возможных 
структур моделей.  
Критерий качества модели должен отражать степень достижения цели 
моделирования. К сожалению, в процессе моделирования по разным причинам 
не всегда удается организовать проверку всех моделей-претендентов на 
практике, поэтому выбор критерия качества модели и его обоснование 
в условиях структурной неопределенности становится актуальной задачей.  
Существуют два подхода и, соответственно, два типа критериев качества 
статистических 
моделей, 
которые 
применяются 
при 
решении 
задач 
математического 
моделирования 
по 
данным 
наблюдений 
в 
условиях 
структурной неопределенности.  
Первый подход и тип критериев основаны на разбиении исходной выборки 
данных на обучающую и проверочную части: на обучающей выборке 
оцениваются коэффициенты модели, а на проверочной оценивается качество 
модели. Наибольшее развитие этот подход получил в методе группового учета 
аргументов 
(МГУА), 
который 
разработал 
академик 
НАН 
Украины 
А.Г. Ивахненко [43–55].  
Этот метод широко известен и развивается за рубежом [176, 180, 183, 205]. 
Периодически теории и применению МГУА посвящаются специальные номера 
научных журналов [87–88, 153–155, 178, 179, 210–212], проводятся международные семинары ”International Workshop on Inductive Modelling” (IWIM2007, Prague, Czech Republic; IWIM-2009, Krynica, Poland; IWIM-2011–2016, 
Zhukyn-Kyiv, Ukraine; IWIM-2017–2019, Lviv, Ukraine) и конференции 
”International Conference on Inductive Modelling” (ICIM-2002, Lviv, Ukraine; 
ICIM-2008, Kyiv, Ukraine; ICIM-2010, Yevpatoria, Ukraine; ICIM-2013, Kyiv, 
Ukraine).  
Существенный вклад в развитие этого подхода внесли D.M. Allen [169, 170], 
A.R. Barron [171], S.J. Farlow [205], R.R. Hocking [174–175], H.R. Madala [180], 
J.-A. Muller [176, 183], F. Lemke [183], R.D. Snee [206], M. Stone [209], 
H. Tamura, 
T. Kondo 
[213], 
В.И. Васильев 
[21–22], 
И.С. Енюков 
[38], 
Ю.П. Зайченко [41], Л.Г. Малиновский [75–77], В.С. Степашко [50, 139–146].  
Развитию и исследованию этого подхода посвящены предлагаемая 
монография и многие работы автора.  

Для обоснования адекватности того или иного критерия качества 
статистической модели, основанного на разбиении исходной выборки данных 
на обучающую и проверочную подвыборки, необходимо:  
а) вычислить 
математическое 
ожидание 
исследуемого 
критерия 
для 
заданной структуры модели;  
б) исследовать 
поведение 
математического 
ожидания 
критерия 
в зависимости от перебираемых структур моделей;  
в) доказать существование модели оптимальной сложности;  
г) получить условие редукции (упрощения) модели оптимальной сложности 
в зависимости от объема выборки и параметров истинной модели.  
Второй подход и тип критериев основаны на использовании всей исходной 
выборки данных. В критериях этого типа ошибка модели на исходной выборке 
данных берется с корректирующими множителями или аддитивными 
добавками, зависящими от количества оцениваемых коэффициентов. Цель 
введения 
корректирующих 
множителей 
и 
аддитивных 
добавок – 
компенсировать уменьшение ошибки модели при увеличении сложности 
структуры модели.  
Существенный вклад в развитие этого подхода внесли: H. Akaike [4, 167, 
168], D.M. Allen [169, 170], C.L. Mellows [181], J. Rissanen [184],  В.Ф. Губарев 
[27–34], П.И. Бидюк [13–15], В.Н. Вапник [6, 19, 20, 214], В.А. Каминскас [57], 
В.Н. Коваль [59, 60], В.И. Костюк [62], Г.С. Лбов [69–71], Я.Н. Матвийчук [78], 
И.И. Перельман [81], Ш.Ю. Раудис [86, 90–91], А.Н. Сильвестров [135], 
Я.З. Цыпкин [158] и др.  
В этих критериях требуется задать статистический уровень значимости или 
некоторую априорную оценку дисперсии помех, получаемую, например, на так 
называемой “полной модели”, что, по мнению сторонников первого подхода, 
приводит к субъективному характеру получаемого решения. Достаточно полно 
критерии этого типа для класса регрессионных моделей (1) описаны, например, 
в обзоре [141], в монографиях [74, 183], в статье [15].  
Проблема построения моделей оптимальной сложности и оценивания их 
качества в условиях структурной неопределенности возникает, по-видимому, 
сразу после появления того или иного статистического метода моделирования. 
Еще в 1933 г. А.Н. Колмогоров [61, с. 161–167], рассматривая проблемы 
математической статистики, отмечал необходимость осторожного применения 
регрессионной модели для целей прогноза, подчеркивая при этом, что хорошее 
согласие модели с наблюдениями выборки не может гарантировать качество 
модели на новых данных. На проблему структурной неопределенности в 1948 г 
указывал Н. Винер [24], рассматривая в качестве объекта исследования 
кибернетики идеализацию "черный ящик", т. е. систему с неизвестной 
структурой. В 1985 г. Р.Е. Калман [56] указал на возникающие проблемы при 
формальном 
применении 
математики 
в 
условиях 
структурной 
неопределенности в задачах описания систем, подверженных шумам.  
В настоящее время задачи построения моделей и оценивания их качества в 
условиях структурной неопределенности являются предметом исследований 
многих научных направлений: моделирования систем [16–18, 42, 57–59, 74, 78–

80, 130, 131, 133, 137, 149, 150, 160]; многомерного статистического анализа 
[7,  23, 26, 35–38, 40, 72, 73, 76, 77, 83, 85, 138]; теории управления и 
идентификации [27–34, 62, 66–68, 81, 135, 136, 158]; системного анализа [136, 
147, 148].  
Накопленный опыт построения статистических моделей при решении 
практических задач подсказывает автору, что оба подхода должны развиваться, 
а лучшим критерием успешности решения той или иной конкретной 
прикладной задачи была и будет практика.  
По моему глубокому убеждению, принципы моделирования, разработанные 
в методе группового учета аргументов, еще найдут своё применение в научных 
исследованиях и в интеллектуальных системах управления и принятия решений 
в практических задачах.  
Результаты главы 1, параграфа 3.1 и главы 6 получены автором во время 
учёбы в аспирантуре (1981–1984 г.) и работы в Институте кибернетики имени 
В.М. Глушкова НАН Украины (1985–1995 г.). Остальные результаты получены 
во время работы в Институте технической механики НАН и ГКА Украины 
(2000–2020 г.) в отделе системного анализа и проблем управления под 
руководством члена-корреспондента НАН Украины А.П. Алпатова. За создание 
условий для творческой и плодотворной работы выражаю Анатолию Петровичу 
искреннюю признательность и благодарность.  

ГЛАВА  1  

ОДНОМЕРНАЯ  РЕГРЕССИЯ  В  УСЛОВИЯХ  ПОВТОРНЫХ 
НАБЛЮДЕНИЙ  

Для решения задачи регрессионного анализа в условиях неопределенности 
по количеству и составу регрессоров необходимо принять какой-либо способ 
сравнения регрессионных моделей, построенных для разных наборов 
регрессоров.  
В рамках метода группового учета аргументов [49, 50, 52] проведено 
исследование двух способов сравнения. Первый способ основан на разбиении 
наблюдений на обучающую и проверочную подвыборки: наблюдения 
обучающей подвыборки используются для оценивания коэффициентов 
регрессионной модели, а наблюдения проверочной подвыборки – качества 
модели. Этот способ популярен в практических приложениях [2, 38, 58, 76, 85, 
86], но его применение ограничивает "проблема разбиения" – оптимальное 
решение может зависеть разбиения выборки данных. В данной главе 
исследование этого способа проведено в схеме повторных наблюдений.  
Второй способ – известный способ скользящего экзамена [2, 3, 19, 20, 76, 83, 
151, 152, 175], в котором в качестве проверочных наблюдений выступают 
наблюдения, поочередно исключаемые из обучающей выборки. Этот способ 
традиционно 
трактовался 
как 
эвристический прием, 
и 
аналитическое 
исследование его долгое время отсутствовало.  
Для решения задачи регрессионного анализа в условиях структурной 
неопределённости кроме способа сравнения регрессионных моделей требуется 
указать алгоритм генерации различных наборов регрессоров, включаемых в 
регрессионную модель. Предполагается, что в качестве такового принят 
полный перебор всех возможных сочетаний регрессоров.  

1.1 Постановка задачи.  
Проблема разбиения данных на обучающую и проверочную выборки 
в методе группового учета аргументов  

Сформулируем задачу структурной идентификации по экспериментальным 
данным в классе линейных статических регрессионных моделей.  
Пусть закон функционирования исследуемого объекта имеет (рис 1.1) вид  

 
ξ
θ
ξ
o

1

o
o
o

j
m

j
j x
y
y
, 
(1.1) 

где 
y  – выход объекта, измеряемый с ошибкой; 
o
y  – ненаблюдаемый 
незашумленный выход объекта; ξ  – ненаблюдаемая случайная ошибка 

измерения; 
j
x
o
 – j-й вход объекта из множества входов 
o
X , участвующих в 

формировании выхода объекта (
o
X
, где – пустое множество); 
o
m  – число