Современные проблемы прикладной математики. Часть 1. Лекционный курс

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ   

РОССИЙСКОЙ ФЕДЕРАЦИИ 

 
ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СИСТЕМ 
УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ (ТУСУР) 

 

 
Ю.Е. Воскобойников 
А.А. Мицель 

 
СОВРЕМЕННЫЕ 
ПРОБЛЕМЫ ПРИКЛАДНОЙ 
МАТЕМАТИКИ 
Часть 1. Лекционный курс 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
ТОМСК 2016 

УДК  519.2 
ББК  22.172 
В  650 
Воскобойников Ю. Е., Мицель А.А. 
Современные проблемы прикладной математики. Часть 1. 

Лекционный курс: учебное пособие/ Ю. Е. Воскобойников, А.А. 
Мицель/ Томский гос. ун-т систем управления и радиоэлектроники (ТУСУР). – Томск, 2016. – 136 с. 
   
В учебном пособии в первой части приводится системное изложение одного из разделов прикладной математики, связанного 
с устойчивыми методами и алгоритмами решения систем линейных алгебраических уравнений, возникающих при параметрической идентификации моделей. Основное внимание уделяется построению решений с минимальной ошибкой или с требуемыми 
точностными характеристиками, а также учету имеющейся априорной информации об искомом решении. Во второй части приводится описание лабораторных работ по созданию алгоритмов 
построения нормального псевдорешения и регуляризированных 
решений.  
Учебное пособие предназначено для магистрантов направления «Прикладная математика и информатика». Результаты будут 
полезны также широкому кругу студентов, магистрантов, аспирантов, исследователей, занимающихся решением задач параметрической идентификации и обработки экспериментальных 
данных. 

ОГЛАВЛЕНИЕ 
 
ВВЕДЕНИЕ  ……………………………………………………….6  
 
ГЛАВА 1. НЕКОРРЕКТНО ПОСТАВЛЕННЫЕ ЗАДАЧИ  
И  ЗАДАЧИ  ПАРАМЕТРИЧЕСКОЙ  
ИДЕНТИФИКАЦИИ …………………………………………....     8 
§ 1.1. Корректно и некорректно поставленные задачи …     8 
1.1.1. Прямые и обратные задачи……………………...8 
1.1.2. Некорректно поставленные задачи………….     9 
1.1.3. Корректность по Тихонову и множество  
корректности……………………...…………….12 
§ 1.2. Параметрические модели динамических систем …   13 
1.2.1.  Множественные регрессионные модели……13 
1.2.2.  Регрессионная модель временного ряда….…15 
   1.2.3.  Модели динамических систем в простран- 
стве состояний………….………….……..…..17 
Вопросы для самопроверки……………………………..18 
 
ГЛАВА 2. УСТОЙЧИВЫЕ  ЛИНЕЙНЫЕ  АЛГОРИТМЫ 
ПАРАМЕТРИЧЕСКОЙ  ИДЕНТИФИКАЦИИ  ………….......    20 
§ 2.1. Вырожденные,  несовместные,  плохо  
   обусловленные  СЛАУ  и их сингулярный  анализ ……  20 
2.1.1.  Вырожденные СЛАУ и нормальное решение…..20 
  
2.1.2. Несовместные СЛАУ и псевдорешение…………21 
   
2.1.3. Плохо обусловленные СЛАУ и число  
обусловленности…………………………………23 
 2.1.4. Сингулярное разложение матрицы……….……..25 
2.1.5. SVD-алгоритм построения нормального 
псевдорешения……………………………………28 
2.1.6. Построение нормального псевдорешения  
в  Mathcad………………………………………….32 
§ 2.2. Оптимальные статистические регуляризирующие  
алгоритмы решения СЛАУ ………….………………..37 
2.2.1. Байесовский регуляризирующий алгоритм……..37 
2.2.2. Минимаксный регуляризирующие алгоритм…...42 

2.2.3. Оптимальный регуляризирующий  
SVD-алгоритм……………………………………..44 
§ 2.3. Статистические регулирующие алгоритмы  решения  
СЛАУ при неполной априорной информации ………52 
2.3.1. Неполная информация и сглаживающий  
функционал………………………………………..52 
2.3.2. Гладкость решения и стабилизирующий  
функционал………………………………………56 
2.3.3. Регуляризирующий SVD-алгоритм………………61 
2.3.4. Систематическая и случайная ошибки  
решения 
α
ϕ ………………………………………..64 
§ 2.4. Алгоритмы выбора параметра регуляризации …….  67 
2.4.1. Выбор параметра регуляризации на основе 
критерия оптимальности……………………….68 
2.4.2. Алгоритм выбора параметра по критерию  
оптимальности ………………………………….70 
2.4.3. Алгоритм выбора параметра по статистичес- 
кому варианту принципа невязки…………..75 
2.4.4. Выбор параметра методом перекрестной  
значимости…………………………………….78 
2.4.5. Сравнение различных алгоритмов выбора  
параметра регуляризации…………………….81 
§ 2.5. Точностные характеристики и синтез 
   регуляризирующих алгоритмов решения СЛАУ …….. ..  87 
2.5.1. Вычисление числовых характеристик  
ошибок регуляризированного решения….87 
2.5.2. Построение доверительных интервалов  
для решения ϕ + …………………………….    91 
2.5.3. Точностные характеристики  
регуляризирующих алгоритмов…………….  92 
§ 2.6. Синтез регуляризирующих алгоритмов 
 по заданным точностным характеристикам ……………...  96 
§ 2.7. Построение  регуляризированных  решений   
   СЛАУ в  Mathcad …………………………………………  98  
Вопросы для самопроверки………………………………...103 

ГЛАВА 3. ЛОКАЛЬНЫЙ  РЕГУЛЯРИЗИРУЮЩИЙ   
АЛГОРИТМ ПАРАМЕТРИЧЕСКОЙ    
ИДЕНТИФИКАЦИИ …………………………………………..   105 
§ 3.1. Локальный  регуляризирующий  алгоритм  
    
 
с векторным параметром  регуляризации ….…...   105 
§ 3.2. Построение локального регуляризирующего 
    
 
алгоритма  ………………………………………....  107 
§ 3.3. Выбор параметра локального регуляризирующего 
   
 
алгоритма  ………………………………………...   112 
§ 3.4. Результаты вычислительного эксперимента………  113 
Вопросы для самопроверки…………………………………115 
 
ГЛАВА 4. ДЕСКРИПТИВНЫЕ РЕГУЛЯРИЗИРУЮЩИЕ  
АЛГОРИТМЫ РЕШЕНИЯ СЛАУ……………………...……..   116 
§ 4.1. Глобальный дескриптивный регуляризирующий  
алгоритм ……………. …………….…………………   116 
§ 4.2. Локальный дескриптивный регуляризирующий  
алгоритм ……………. …………….…………………   121 
 
§ 4.3. Исследования дескриптивных регуляризирующих  
алгоритмов ……………. …………….……………………   126 
Вопросы для самопроверки…………………………………128 
 
ЗАКЛЮЧЕНИЕ ………………………………………………..  129 
 
БИБЛИОГРАФИЧЕСКИЙ СПИСОК………………………  130 
 
 

ВВЕДЕНИЕ 
Многие задачи идентификации, дающие необходимую информацию при решении задач физики, экономики,  проектирования и расчетов конструкций и сооружений и др. , сводятся к решению систем линейных алгебраических уравнений и с точки 
зрения причинно-следственной связи являются обратными задачами. Эта особенность делает большинство задач идентификации 
некорректно поставленными. При этом могут быть нарушены все 
три условия корректности по Адамару (но чаще всего, условия 
существования и устойчивости решения).  
В последние три десятилетия предложены методы регуляризации решения некорректно поставленных задач. Однако в 
существенной части работ используются детерминированные методы введения априорной информации как о самом решении, так 
и о погрешностях исходных данных задачи. Необоснованно малое внимание уделяется выбору оптимальных значений параметров алгоритмов, что позволило бы получать решения с наименьшей ошибкой, а также построению алгоритмов с заданными точностными характеристиками. Отсутствуют эффективные алгоритмы, позволяющие учитывать имеющуюся априорную информацию об искомом решении (например, о диапазоне возможных 
значений коэффициента идентифицируемой модели). Отсутствие 
программного обеспечения, разработанного в среде универсального математического пакета (например, Mathcad) создает существенные затруднения у инженеров и экспериментаторов (не являющихся программистами) в использовании регуляризирующих 
алгоритмов на практике. 
В данном учебном пособии рассмотрены регуляризирующие методы и алгоритмы, позволяющие строить устойчивые решения систем линейных алгебраических уравнений (СЛАУ), 
возникающих в задачах параметрической идентификации и позволяющие достаточно полно использовать имеющуюся априорную информацию об искомом решении. Изложение результатов 
ведется в ясной, доступной для инженеров форме и, по возможности, с опусканием громоздких математических доказательств и 
выводов. Большое внимание уделяется содержательной трактов

ке и графической интерпретации излагаемых методов и алгоритмов.  
Вычислительной основой предлагаемых регуляризирующих алгоритмов является сингулярное разложение (singular value 
decomposition, SVD) матрицы решаемой СЛАУ. Использование 
сингулярного разложения (в дальнейшем именуемого SVD-разложением) позволяет существенно уменьшить вычислительные затраты на построение регуляризированных решений, выбор параметра регуляризации, а также дает возможность достаточно просто проанализировать особенности (несовместность, вырожденность, плохую обусловленность) решаемой СЛАУ. 
Для ряда алгоритмов приводится их программная реализация в виде разработанных в пакете Mathcad подпрограммфункций с решением конкретных задач. Это позволит читателю 
либо использовать эти программные разработки для решения 
собственных задач, либо на основе этих программных модулей 
создать (с минимальными затратами времени) «свое» программное обеспечение.  
Все это позволяет надеяться на востребованность изложенных в работе алгоритмов для решения практических задач параметрической идентификации.  
 
 
 
 
 
 
 
 
 

Глава 1  
 
НЕКОРРЕКТНО ПОСТАВЛЕННЫЕ ЗАДАЧИ  
И ЗАДАЧИ ПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ 
 
В этой главе рассмотрены задачи идентификации математических моделей различных систем. Сформулированы задачи вычислительной математики, к которой приводят задачи идентификации моделей. При рассмотрении задач идентификации большое вникание уделяется влиянию погрешности исходных данных 
на точность решения соответствующих задач. 
 
§ 1.1. Корректно и некорректно поставленные задачи 
 
В этом параграфе дается определение корректно поставленных математических задач и приводится пример некорректно поставленной задачи. 
 
1.1.1. Прямые и обратные задачи 
В математической физике принято деление задач на прямые 
и обратные в зависимости от их ориентации относительно причинно-следственной связи. 
В прямых задачах необходимо по причине определить следствие, в обратных задачах, наоборот, – по следствию нужно восстановить причину. 
Поясним это на примере системы линейных алгебраических 
уравнений (СЛАУ) вида: 

11
1
12
2
1
1

21
1
22
2
2
2

1
1
2
2

,

,

,

M
M

M
M

N
N
NM
M
N

k
k
k
f

k
k
k
f

k
k
k
f

ϕ
ϕ
ϕ

ϕ
ϕ
ϕ

ϕ
ϕ
ϕ

+
+
+
=

+
+
+
=

+
+
+
=

⋯

⋯

⋮
⋮
⋮
⋮

⋯

  
 
(1.1.1) 

или в матричном виде 

K
f
ϕ =
,  
 
 
 
 
 
 
(1.1.2) 

где K  – матрица размером N
M
×
 (N строк и M  столбцов),  

ϕ  – вектор размерности M  (содержит M  проекций), f  – вектор размерности N. 
Для этой системы уравнений прямая задача заключается 
в вычислении правой части f  по заданной матрице K  и вектору 
φ. Обратная задача – по заданным K, f  определить вектор φ, т.е. 
решить систему (1.1.2) относительно вектора решений φ. Из «житейского опыта» и курса линейной алгебры можно ожидать, что 
решение обратной задачи окажется более сложным, чем решение 
прямой задачи. Это действительно так. 
Более компактной записью соотношений (1.1.1) является 
операторная (матричная) форма вида: 

K
f
ϕ =
,  
 
 
 
 
 
 
(1.1.3) 

которую в дальнейшем будем называть операторным уравнением. Оператор K  отображает элемент ϕ  пространства Φ  в элемент f  пространства F. Для (1.1.1) оператор K  является матри
цей, а Ф, F  – векторными пространствами 
M
E
, 
N
E размерности 

M  и N  соответственно.  
 
 
1.1.2. Некорректно поставленные задачи 
Основная трудность решения обратных задач связана с нарушением требований корректности по Адамару. Французский 
математик Ж. Адамар в 1932 г. [84 определил задачу решения 
уравнения (1.1.3) корректно поставленной, если для каждой правой части f
F
∈
 решение φ: 
1) существует; 
2) единственно (однозначно определяется в пространстве 
Ф); 
3) устойчиво в пространстве Ф, т.е. непрерывно зависит от 
правой части f. 
Если первые два условия понятны, то третье необходимо пояснить. Для этого воспользуемся нормами соответствующих про

странств. Условие устойчивости предполагает, что для любого 

0
ε >
 можно указать такое ( )
0
δ ε >
, что из неравенства 

( )
f
f
δ ε
−
≤
ɶ
 следует ϕ
ϕ
ε
−
≤
ɶ
,  
 
 
(1.1.4) 

где ϕɶ  – решение уравнения (1.1.3), соответствующее правой час
ти fɶ . Словами это означает, что малым ошибкам задания правой 
части соответствуют малые ошибки построенного решения. 
Задачи, не удовлетворяющие всем перечисленным выше 
требованиям 1)–3) являются, по Адамару, некорректно поставленными. К таким задачам относится большинство обратных задач, в том числе и  задачи идентификации. 
В качестве такого примера рассмотрим решение плохо обусловленной СЛАУ. Дана система из двух уравнений 

1
5
5

2

1
1
0
.
0
10
10

ϕ

ϕ
−
−
×
=
  
 
 
 
(1.1.5) 

Очевидно, что решением системы является вектор 
1,1

T
ϕ =
, где 

T  – символ транспонирования. «Исказим» точную правую часть 

5
1,10

T
f
−
=
 шумом 
0.01,
0.01

T
η =
−
, среднее значение проек
ций 
которого 
равно 
0. 
Близость 
векторов 
f , 

1.01,
0.00999

T
f
f
η
=
+
=
−
ɶ
 будем определять евклидовой нор
мой 
(
)

1 2
2
2

1

0.014
i
i
i
f
f
f
f

=



−
=
−
=




∑
ɶ
ɶ
. 
Решение 

1.01,
999

T
ϕ =
−
ɶ
, найденное по вектору fɶ , существенно отлича
ется от точного решения ϕ :  
(
)

1 2
2
2

1

1000
i
i
i
ϕ
ϕ
ϕ
ϕ

=



−
=
−
=




∑
ɶ
ɶ
. 

Такая большая ошибка решения обусловлена неустойчивостью 
проекции 
5

2
2 10
f
ϕ
−
= ɶ
ɶ
 к шуму 
2
η . Низкая устойчивость вектора 
решения к погрешностям исходных данных (в том числе к погрешностям задания элементов матрицы K ) является отличи

тельным признаком так называемых плохо обусловленных СЛАУ 
(подробнее см. п. 2.1.3). 
Вопрос: можно ли повысить устойчивость решения плохо 
обусловленной СЛАУ? 
Ответ: да, если имеется априорная информация об искомом 
решении ϕ . Например, в виде ограниченности  нормы 

2
Cϕ
ϕ
≤
.  
 
 
 
 
 
(1.1.6) 

Очевидно, что Cϕ  должно быть выбрано таким, чтобы искомое 

решение ϕ  удовлетворяло условию (1.1.6). Для нашего примера 
полагаем 
2
Cϕ =
. Тогда приближенное решение 
c
ϕɶ , удовлетво
ряющее 
(1.1.6), 
имеет 
проекции 
1.01,
0.99
−
 
и 
ошибку 

1.99
c
ϕ
ϕ
−
=
ɶ
, что существенно меньше ошибки решения 

1.01,
999

T
ϕ =
−
ɶ
. Взяв 
5
Cϕ =
, получаем решение с проекциями 

1.01,
1.99
−
 и ошибкой 
3
c
ϕ
ϕ
−
=
ɶ
. Видно, что априорная досто
верность в задании Cϕ  существенно сказывается на точности по
лучаемых приближенных решений. 
Подведем неожиданный итог: несмотря на предсказываемые 
сложности решения некорректных задач, удалось получить устойчивые (правда, приближенные) решения СЛАУ (1.1.5). Однако этого удалось достигнуть только благодаря «сужению» 
множества возможных решений на основе априорной информации об искомом решении. Сознательно или интуитивно введение 
априорной информации (в той или иной форме) в алгоритм решения позволило многим практикам получить разумные результаты, не подозревая о том, что они решают некорректно поставленную задачу. Достоверность используемой априорной информации (в нашем примере – предельное значение нормы Cϕ ) су
щественно влияет на точность получаемых приближенных решений. 
 
 

1.1.3. Корректность по Тихонову и множество корректности 
Идея поиска решения ϕ  на некотором множестве, являющемся «сужением» исходного пространства Ф, легло в основу 
определения корректности по Тихонову1. 
Задача решения операторного уравнения (1.1.3) называется 
корректно поставленной по Тихонову, если выполнены следующие условия [44; 69; 70]: 
1. Априори известно, что решение задачи существует и 
принадлежит некоторому множеству 
K
Φ  пространства решений 

Φ , т.е. 
K
ϕ ∈Φ
⊂ Φ . 
2. Решение единственно на множестве 
K
Φ , т.е. для любой 
правой части 
K
f
F
∈
 существует единственный элемент 
K
ϕ ∈Φ . 
Множество 
K
F  состоит из элементов  Kϕ , где 
K
ϕ ∈Φ . В операторном виде множество 
K
F  можно определить соотношением 

K
K
F
K
=
Φ . 
3. Если вариации правой части не выводят ее за пределы 
множества 
K
F  (следовательно, соответствующие ϕ  принадлежат 

K
Φ ), то существует непрерывная зависимость решения от пра
вой части и обратный оператор 
1
K −  существует и он непрерывен, а следовательно, и ограничен. 
Множество 
K
Φ , на образе которого 
K
F  оператор 
1
K −  существует и непрерывен, называется множеством корректности. 
Сравнивая условия корректности по Адамару и Тихонову, 
видим, что корректность по Тихонову может быть достигнута за 
счет сужения исходного пространства Φ  до множества корректности 
K
Φ . Поэтому задачу корректную по Тихонову (которая, 

                                                      

1 Тихонов Андрей Николаевич – академик РАН, выдающийся советский 
математик, пионерские работы которого явились теоретической основой для разработки методов и алгоритмов решения некорректно поставленных задач. 

возможно, некорректна по Адамару) часто называют условно 
корректной задачей  [46; 69]. 
Общие принципы построения множества корректности и 
выбора из него подходящего (по определенным критериям) решения рассматриваются в так называемых методах регуляризации некорректно поставленных задач [4; 44; 54; 56; 66; 67; 69; 
71; 74; 75]. Эти методы используются в последующих главах для 
решения рассматриваемых задач идентификации. 
 
§ 1.2. Параметрические модели динамических систем 
 
В этом параграфе рассмотрены модели различных систем, в 
которых необходимо оценить несколько параметров. Такие модели называются параметрическими. Показывается, что задачи 
оценивания параметров сводятся к решению систем линейных 
алгебраических уравнений. 
 
1.2.1. Множественные регрессионные модели 
В эконометрическом моделировании в качестве модели выступает множественная регрессия, используемая в решении проблем спроса, доходности акций, при изучении функций издержек 
производства и целого ряда других вопросов эконометрики. Регрессионные модели возникают также при исследовании технологических процессов и идентификации динамических систем [39]. 
Часто в качестве регрессионной модели принимают линейную множественную регрессию  вида: 

0
1 1
2
2
...
k
k
Y
x
x
x
β
β
β
β
ε
=
+
+
+
+
+
ɶ
,  
 
(1.2.1) 

где Yɶ – зависимая переменная, где 
0
1
,
,...,
k
β
β
β  – коэффициенты 
регрессионной модели, ε  – случайное слагаемое, называемое 
возмущением. Обозначим i -е наблюдение зависимой переменной как 
iyɶ , а наблюдаемые значения объясняющих переменных – 

1
2
,
,...,
i
i
ik
x
x
x , т.е. в обозначении 
ijx  первый индекс i  определяет 

номер измерения, а второй j  – номер переменной. Тогда имеет 
место следующая модель наблюдений: