Основы теории вейвлетов. Вейвлеты в MATLAB

Основы теории

вейвлетов

Вейвлеты в MATLAB

Н. К. Смоленцев

Издание третье, дополненное и переработанное

Допущено Министерством образования и науки

Российской Федерации в качестве учебного пособия

для студентов высших учебных заведений, обучающихся

по направления подготовки и специальностям

«Математика», «Математика. Прикладная математика»

Москва

УДК
519.6

ББК
В162я73
С51

С51
Смоленцев Н. К.
Основы теории вейвлетов. Вейвлеты в MATLAB. – М.: ДМК Пресс, 2009. – 448 с.: ил.

ISBN 594074415X

Данная книга может служить учебником по теории вейвлетов и их применениям

в системе MATLAB.  В издание включены сведения по дискретному преобразованию Фурье, фильтрам и разложению сигналов, а также впервые в учебной литературе представлено построение вейвлетов с произвольным натуральным коэффициентом масштабирования N и дано изложение теории вейвлетов на однородных
пространствах. Кроме основ теории вейвлетов дается описание основных функций
вейвлетанализа в системе MATLAB. Рассмотрены примеры использования вейвлетанализа для исследования кардиосигналов и данных фондового рынка.

Книга предназначена студентам высших учебных заведений, специализирующимся  на изучении математики и инженерных наук, и будет полезна специалистампрактикам, использующим вейвлеты в своей работе.

УДК 519.6
ББК В162я73

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было

форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.

Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических

ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность
приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

Смоленцев Николай Константинович

Основы теории вейвлетов

Вейвлеты в MATLAB

Главный редактор
Мовчан Д. А.

dm@dmkpress.ru

Корректор
Синяева Г. И.

Верстка
Чаннова А. А.

Дизайн обложки
Мовчан А. Г.

Подписано в печать 06.12.200 . Формат 70×100 1/16 . Гарнитура «Петербург».

Печать офсетная. Усл. печ. л. 42. Тираж 1500 экз.

Издательство ДМК Пресс

Webсайт издательства: www.dmkpress.ru

Internetмагазин: www.abook.ru

© Смоленцев Н. К., 2008

ISBN 594074415X
© Оформление, издание, ДМК Пресс, 2009

8

Краткое содержание

Предисловие ............................................................................. 12

Часть I

ОСНОВЫ ТЕОРИИ ВЕЙВЛЕТОВ ................................ 15

Глава 1

ПРЕОБРАЗОВАНИЕ ФУРЬЕ .......................................... 17

Глава 2

ОСНОВЫ ТЕОРИИ ВЕЙВЛЕТОВ ................................ 71

Часть II

ВЕЙВЛЕТЫ В MATLAB ...................................................... 243

Глава 3

ФУНКЦИИ ВЕЙВЛЕТАНАЛИЗА В MATLAB .... 245

Глава 4

ГЛАВНОЕ МЕНЮ
ПАКЕТА WAVELET TOOLBOX ....................................... 367

Приложение

СПИСОК ФУНКЦИЙ WAVELET TOOLBOX .........  439

Предметный указатель ................................................. 443

Список литературы ........................................................... 446

Содержание

Предисловие................................................................ 12

Часть I
Основы теории вейвлетов

Глава 1
Преобразование Фурье ......................................... 17

1.1. Предварительные понятия ................................... 18

1.2. Ряды Фурье .............................................................. 19

1.3. Преобразование Фурье ......................................... 23

1.3.1. Преобразование Фурье в L1(R) ............................... 24
1.3.2. Преобразование Фурье в L2(R) ............................... 25
1.3.3. Свойства преобразования Фурье ............................ 26
1.3.4. Примеры ................................................................. 28
1.3.5. Теорема ПэлиВинера ............................................. 29
1.3.6. Преобразование Фурье экспоненциально
убывающей функции ........................................................ 30
1.3.7. Формула суммирования Пуассона .......................... 30
1.3.8. Оконное преобразование Фурье ............................. 31
1.3.9. Преобразование Фурье обобщенных функций ........ 32
1.3.10. Примеры ............................................................... 35

1.4. Преобразование Фурье дискретных сигналов ... 35

1.4.1. Дискретизация........................................................ 35
1.4.2. Дискретное преобразование Фурье длины N .......... 38
1.4.3. Преобразование Фурье числовой
последовательности......................................................... 40
 1.4.4. Zпреобразование .................................................. 42

Содержание
5

1.4.5. Примеры ................................................................. 43

1.5. Фильтры ................................................................... 45

1.5.1. Фильтрация непрерывных сигналов ........................ 46
1.5.2. Примеры фильтров ................................................. 48
1.5.3. Цифровые фильтры................................................. 50
1.5.4. Примеры цифровых фильтров ................................. 51

1.6. Разложение сигнала на низкочастотную
и  высокочастотную составляющие ............................ 54

1.6.1. Разложение идеальными фильтрами....................... 55
1.6.2. Восстановление идеальными фильтрами ................ 59
1.6.3. Общий случай ......................................................... 60
1.6.4. Примеры ................................................................. 64
1.6.5. Многоуровневый анализ сигналов........................... 68

Глава 2
Основы теории вейвлетов .................................... 71

2.1. Вейвлеты Хаара ...................................................... 72

2.1.1. Масштабирующая последовательность
подпространств................................................................ 73
2.1.2. Пространства вейвлетов ......................................... 75
2.1.3. Операторы проектирования .................................... 79

2.2. Масштабирующие функции .................................. 82

2.2.1. Примеры и общие свойства масштабирующих
функций ........................................................................... 82
2.2.2. Построение масштабирующей функции .................. 86

2.3. Ортогональный кратномасштабный анализ ...... 92

2.3.1. Ортогональное кратномасштабное разложение ...... 92
2.3.2. Вейвлеты ................................................................ 96
2.3.3. О единственности порождающих функций ............ 101
2.3.4. Неортогональный случай....................................... 102

Основы теории вейвлетов
6

2.4. Примеры кратномасштабного анализа
и вейвлетов ................................................................... 106

2.4.1. Вейвлеты Шеннона–Котельникова ........................ 106
2.4.2. Вейвлеты Мейера.................................................. 109

2.5. Вейвлеты Батла–Лемарье. Bсплайны ............. 115

2.5.1. Вейвлеты на основе Bсплайна степени 1.............. 115
2.5.2. Bсплайны ............................................................. 119
2.5.3. Сплайновые вейвлеты ........................................... 122

2.6.  Вейвлетпреобразование .................................. 125

2.6.1. Вейвлетразложение............................................. 125
2.6.2. Быстрое вейвлетпреобразование ........................ 128
2.6.3. Вопрос о начальных коэффициентах ..................... 129
2.6.4. Восстановление .................................................... 130
2.6.5. Вейвлетпакеты .................................................... 132

2.7. Регулярность и нулевые моменты ..................... 136

2.8. Построение вейвлетов Добеши
с компактным носителем............................................ 142

2.8.1. Частотная функция ................................................ 143
2.8.2. Симлеты................................................................ 149

2.9.  Койфлеты .............................................................. 151

2.10. Биортогональные вейвлеты ............................. 154

2.10.1. Мотивировка и определение ............................... 154
2.10.2. Условия на функцию ϕ(x) ..................................... 156
2.10.3. Функция ψ(x) ....................................................... 157
2.10.4. Построение функции 
.................................... 158
2.10.5. Построение функций ψ(x) и 
.......................... 160
2.10.6. Условия на коэффициенты .................................. 161
2.10.7. Симметричные биортогональные вейвлеты ......... 162

Содержание
7

2.10.8. Сплайны .............................................................. 163

2.11. Двумерные вейвлеты ......................................... 166

2.12. Непрерывное вейвлетпреобразование ........ 170

2.12.1. Непрерывное вейвлетпреобразование
в одномерном случае ..................................................... 170
2.12.2. Многомерные обобщения непрерывного
вейвлетпреобразования ............................................... 173
2.12.3. Примеры двумерных вейвлетов ........................... 180
2.12.4. Вейвлеты на многообразиях ................................ 181

2.13. Вейвлеты с коэффициентом
масштабирования N .................................................... 191

2.13.1 Масштабирующие функции .................................. 192
2.13.2. Nкратномасштабное разложение ....................... 194
2.13.3. Вейвлеты с коэффициентом
масштабирования N ......................................................195
2.13.4.  Вейвлетпреобразование ................................... 196
2.13.5. Разложение и восстановление
в неортогональном случае .............................................. 198

2.14. Примеры Nмасштабирующих функций
и вейвлетов ................................................................... 201

2.14.1. Вейвлеты Хаара с параметром сжатия N..............201
2.14.2. Вейвлеты Котельникова–Шеннона
с параметром сжатия N .................................................205
2.14.3. Вырожденные масштабирующие функции
и вейвлеты Кантора ........................................................ 207
2.14.4. Сплайновые масштабирующие функции.............. 212
2.14.5. Вейвлеты на основе Всплайнов .......................... 215
2.14.6. Кратные коэффициенты масштабирования ......... 226

2.15. Построение ортогональных вейвлетов
с компактным носителем для N > 2........................... 230

Основы теории вейвлетов
8

2.15.1. Общие конструкции............................................. 231
2.14.2. Построение ортогональных вейвлетов
с компактным носителем для N = 3 ................................. 234
2.15.3. Примеры масштабирующих
функций и вейвлетов для N = 3........................................ 237

Часть II
Вейвлеты в MATLAB

Глава 3
Функции вейвлетанализа в MATLAB ........... 245

3.1. Вейвлеты в системе MATLAB .............................. 246

3.2. Фильтры вейвлетов .............................................. 256

3.2.1. Масштабирующие фильтры................................... 257
3.2.2. Фильтры разложения и восстановления ................ 259

3.3. Одноуровневое дискретное
одномерное вейвлетпреобразование .................... 261

3.4. Многоуровневый одномерный
вейвлетанализ............................................................. 265

3.5. Непрерывное вейвлетпреобразование cwt ... 272

3.6. Вейвлетпакеты .................................................... 276

3.7. Двумерное вейвлетпреобразование............... 286

3.7.1. Изображения в MATLAB ......................................... 286
3.7.2. Вейвлетпреобразования двумерных сигналов ..... 288
3.7.3.Основные функции двумерного
вейвлетпреобразования ............................................... 289

3.8. Удаление шума, компрессия .............................. 295

3.8.1. Обработка вейвлеткоэффициентов
для удаления шума ......................................................... 295
3.8.2. Функции MATLAB для удаления шума .................... 296

Содержание
9

3.9. Тестовые сигналы в MATLAB............................... 305

3.9.1. Одномерные тестовые сигналы ............................. 305
3.9.2. Изображения ........................................................ 306
3.9.3. Генерирование сигналов ....................................... 306

3.10. Новые возможности Wavelet Toolbox
версии 4.0 ...................................................................... 309

3.10.1. Создание вейвлетов для непрерывного
вейвлетпреобразования на основе образца .................. 310
3.10.2. Слияние (наложение) изображений ..................... 312
3.10.3. Дробное броуновское движение ......................... 316
3.10.4. Методы лифтинга построения новых вейвлетов .. 319
3.10.5. Анализ многомерных сигналов ............................ 321

3.11. Вейвлетанализ кардиосигнала....................... 331

3.11.1. Многоуровневый анализ кардиосигнала.............. 332
3.11.2.Непрерывный вейвлетанализ кардиосигнала...... 338
3.11.3. Удаление шума, компрессия и сглаживание
кардиосигнала................................................................ 343
3.11.4. Использование пакетных разложений ................. 345

3.12. Многоканальный вейвлетанализ
экономических данных................................................ 347

3.12.1. Многоуровневый анализ данных.......................... 347
3.12.2. Программы вейвлетразложения
и восстановления ........................................................... 365

Глава 4
Главное меню пакета Wavelet Toolbox ......... 367

4.1. Просмотр вейвлетов (Wavelet Display) .............. 369

4.2. Одномерный дискретный вейвлетанализ
(Wavelet 1D) .................................................................. 371

Основы теории вейвлетов
10

4.2.1. Вейвлетразложение............................................. 371
4.2.2. Выбор различных видов разложения (Display
mode) ............................................................................. 372
4.2.3. Статистические характеристики коэффициентов
разложения .................................................................... 374
4.2.4. Гистограммы (Histogram) ...................................... 376
4.2.5. Сжатие сигнала ..................................................... 377
4.2.6. Удаление шума...................................................... 378

4.3. Одномерный пакетный вейвлетанализ ........... 380

4.3.1. Вейвлетразложение............................................. 381
4.3.2. Возможности раздела для обработки сигнала ....... 381

4.4. Одномерный непрерывный вейвлетанализ
(Continuous Wavelet 1D).............................................. 384

4.4.1. Начало работы ...................................................... 384
4.4.2. Анализ результатов ............................................... 386

4.5. Комплексный одномерный непрерывный
вейвлетанализ (Complex Continuous Wavelet 1D) .... 387

4.6. Удаление шума стационарного одномерного
сигнала (SWT Denoising 1D)..................................... 390

4.6.1. Основные понятия................................................. 390
4.6.2. Работа с SWT Denoising 1D .................................. 392

4.7. Оценка плотности (Density Estimation 1D)....... 396

4.7.1. Идея алгоритма..................................................... 396
4.7.2. Работа с Density Estimation 1D .............................. 398

4.8. Оценка регрессии (Regression Estimation 1D) ... 400

4.8.1. Основные понятия................................................. 400
4.8.2. Работа с Regression Estimation 1D ........................ 401

4.9. Выбор вейвлеткоэффициентов сигнала
(Wavelet Coefficients Selection 1D) ............................ 402

Содержание
11

4.10. Двумерный дискретный вейвлетанализ
(Wavelet 2D) .................................................................. 405

4.11. Двумерный пакетный вейвлетанализ............ 408

4.12. Удаление шума изображения
(SWT Denoising 2D) .................................................... 410

4.13. Выбор вейвлеткоэффициентов изображения
(Wavelet Coefficients Selection 2D) ............................ 411

4.14. Проектирование вейвлетов для непрерывного
вейвлетпреобразования (New Wavelet for CWT) .... 413

4.15. Дробное броуновское движение (Fractional
Brownian Generation 1D) ............................................. 415

4.16. Слияние двух изображений (Image Fusion).... 416

4.17. Одномерный вейвлетанализ
мультисигнала (Multisignal Analysis 1D) ................... 419

4.18. Многовариантное удаление шума
(Multivariate Denoising) ................................................ 426

4.19. Многомасштабный анализ главных компонент
(Multiscale Principal Components Analysis) ................ 431

4.20. Способы продолжения сигналов
и изображений (Signal extension, Image extension) .... 435

Приложение
Список функций Wavelet Toolbox .................... 439

Предметный указатель ........................................ 443

Список литературы ................................................ 446

Предисловие

Функции типа маленькой волны (всплески, или вейвлеты) в математике возникли достаточно давно при изучении базисов функциональных пространств. Однако только в последние десятилетия они нашли широкие применения в обработке
сигналов и изображений. Эти приложения стимулировали мощное развитие теории вейвлетов. Популярность тематики стремительно растет. С основными применениями вейвлетов можно ознакомиться по замечательным обзорным статьям
Астафьевой Н. М. [Ас] и Дремина И. М., Иванова О. В., Нечитайло В. А. [ДИН].
Кроме того, хорошая подборка популярных статей по вейвлетам опубликована
в журнале «Компьютерра» [Кт].
Теория вейвлетов является мощной альтернативой анализу Фурье и дает более гибкую технику обработки сигналов. Одно из основных преимуществ вейвлетанализа заключается в том, что он позволяет заметить хорошо локализованные изменения сигнала, тогда как анализ Фурье этого не дает – в коэффициентах
Фурье отражается поведение сигнала за все время его существования. Разработана глубокая и красивая математическая теория вейвлетов.
Из имеющихся на русском языке книг по вейвлетам отметим три фундаментальные монографии: И. Добеши [Дб], К. Чуи [Чу] и Новикова И. Я., Протасова В. Ю., Скопиной М. А. [НПС]. Издан перевод замечательной книги С. Малла
[М] – это наиболее полное учебное пособие по обработке сигналов при помощи
вейвлетов. В ней прекрасно сочетаются доступность и глубина изложения. Кроме
того, издан еще ряд пособий, среди которых нужно отметить книгу Блаттера К.
[Бл], учебные пособия Новикова Л. В. [Но], Петухова А. П. [Пе]
и Захарова В. Г. [За]. В книге Дьяконова В. П. [Д] дано описание работы с вейвлетами в системах компьютерной математики Mathcad, MATLAB и Mathematica.
Приложениям вейвлетов в компьютерной графике посвящены книги [СДС] и [У].
Данная книга предлагается как учебник по теории вейвлетов и их применениям для студентов по специальности «Прикладная математика». Она возникла на
основе курса лекций, читаемых автором в течение ряда лет. Книга содержит необходимый теоретический материал, а вторая часть книги прямо ориентирована на

Предисловие
13

практические занятия по вейвлетам. Чтобы сделать книгу более независимой, в
нее включены сведения по рядам и преобразованию Фурье, по фильтрам и разложению сигналов. Теоретический материал не должен быть самоцелью, нужно овладеть и практическими приемами работы с вейвлетами. Поэтому в книгу включено описание основных функций вейвлетанализа в системе MATLAB и их
использования для обработки сигналов. В соответствии с этим книга состоит из
двух частей: «Основы теории вейвлетов» и «Вейвлеты в MATLAB». Выбор системы компьютерной математики MATLAB объясняется тем, что она популярна среди инженеров и математиков, занимающихся прикладными разработками,
а также потому, что именно в MATLAB вейвлеты представлены наиболее полно.
Данное издание книги является переработанным и дополненным. Многие вопросы изложены более доступно. Добавлен раздел о многомерных обобщениях непрерывного вейвлетпреобразования, включая вейвлеты на однородных многообразиях, 
включено 
несколько 
параграфов, 
посвященных 
вейвлетам 
с
произвольным натуральным коэффициентом сжатия N. Приведен пример вейвлетанализа экономических данных, использующий вейвлеты с коэффициентом
масштабирования N. Добавлено описание новых возможностей пакета Wavelet
Toolbox MATLAB.
Рассмотрим кратко содержание книги. Теория вейвлетов широко использует
технику рядов Фурье и преобразования Фурье. Поэтому в первой главе излагаются основные факты из этих тем. Даже если сигнал представлен функцией, практически для его анализа берется достаточно плотная выборка значений (дискретизация). Рассмотрены вопросы, которые возникают при дискретизации сигнала,
определено дискретное преобразование Фурье, и изучаются его свойства. Вейвлетпреобразование сигнала сводится к действию на этот сигнал определенных
фильтров. Поэтому в первой главе изложены также основные факты фильтрации
сигналов. Рассмотрены вопросы разложения сигнала на сглаженную и высокочастотную компоненты и последующего восстановления сигнала. Хотя первая глава
является вспомогательной, результаты последних параграфов существенны для
понимания теории вейвлетов и их практических применений.
Вторая глава «Основы теории вейвлетов» является центральной в данной книге. Она содержит изложение основ теории вейвлетов и способов их построения.
Начинается изложение с построения известного вейвлетбазиса Хаара. На этом
примере мы рассматриваем основные конструкции, которые затем последовательно развиваются в следующих параграфах. Определяются понятия масштабирующей функции и кратномасштабного разложения пространства функций. Рассмотрены примеры масштабирующих функций и соответствующих вейвлетов:
Шеннона–Котельникова, Мейера, ортогональных вейвлетов с компактным носителем, биортогональных вейвлетов. Кратко изложены вопросы о двумерных вейвлетах. Рассмотрены непрерывное вейвлетпреобразование и его многомерные
обобщения, включая вейвлеты на многообразиях. В конце главы вводятся масштабирующие функции с произвольным натуральным коэффициентом сжатия N и
приводятся примеры построения соответствующих вейвлетов. Несмотря на то
что в книге изложены не все темы теории вейвлетов, надеюсь, что ее содержание

Предисловие
14

достаточно для первоначального изучения предмета студентами, прослушавшими курс функционального анализа.
Во второй части книги дается описание (на основе документации Wavelet
Toolbox MATLAB) основных функций системы MATLAB, связанных с вейвлетами и их использованием. Показано, как можно получить значения и построить
графики основных типов вейвлетов, как найти масштабирующие фильтры и
фильтры разложения и восстановления вейвлетов. Рассмотрены возможности
Wavelet Toolbox MATLAB для анализа сигналов, очистки от шума, сжатия. Дано
описание применения пакетных вейвлетов и двумерных вейвлетов. Приведены
примеры вейвлетанализа кардиосигнала и данных экономического происхождения. Дано описание тестовых сигналов, и приведен список всех команд Wavelet
Toolbox MATLAB. Для облегчения работы с вейвлетами в MATLAB создан комплекс графических оболочек для вейвлетанализа и визуализации исходных данных и
результатов. Этот комплекс называется главным вейвлетменю, или графическим
интерфейсом пользователя (GUI). В последней главе достаточно подробно рассматривается работа с вейвлетами с использованием графического интерфейса
пользователя MATLAB Wavelet Toolbox.
Ссылки на литературу даны, по возможности, на доступные издания.
Электронные материалы к данной книге можно найти на Webсайте кафедры
математического анализа КемГУ: http://www.math.kemsu.ru/faculty/kma/.
Надеюсь, что данная книга будет доступна и полезна студентам вузов и специалистам, начинающим использовать вейвлеты в своей работе.

Часть I

Основы
теории вейвлетов

Теория вейвлетов является
мощной альтернативой классическому анализу Фурье и
дает более гибкую технику
обработки сигналов. В то же
время она широко использует
технику рядов Фурье и преобразования Фурье. Поэтому
в первой главе излагаются основные факты из указанных
тем, включая дискретное преобразование Фурье и фильтрацию сигналов. Во второй
главе рассматриваются основы теории вейвлетов и способы их построения. Рассмотрены примеры масштабирующих
функций и соответствующих
вейвлетов: Шеннона–Котельникова, Мейера, ортогональные вейвлеты с компактным
носителем, биортогональные
вейвлеты и вейвлеты с параметром масштабирования N.

Глава 1
Преобразование Фурье.... 17

Глава 2
Основы теории
вейвлетов ........................ 71

Глава 1

Преобразование Фурье

Теория вейвлетов в большой
степени основана на преобразовании Фурье, поэтому вначале мы напомним основные
факты относительно преобразования Фурье, включая дискретное преобразование Фурье.
Поскольку в приложениях вейвлеты выступают как цифровые фильтры, в первой главе
мы рассмотрим также основные
понятия, связанные с фильтрацией сигналов, их разложением и восстановлением.

1.1. Предварительные
понятия..................................... 18
1.2. Ряды Фурье ........................ 19
1.3. Преобразование
Фурье ....................................... 23
1.4. Преобразование
Фурье дискретных
сигналов ................................... 35
1.5. Фильтры............................. 45
1.6. Разложение сигнала
на низкочастотную
и  высокочастотную
составляющие .......................... 54

Преобразование Фурье
18

1.1. Предварительные понятия

Приведем понятия, которые далее встречаются достаточно часто, и примем некоторые обозначения.
Числовые последовательности {xn}, которые мы будем рассматривать, являются «бесконечными в обе стороны», т. е. номер n может принимать любые целые
значения n ∈ Z. Числовой ряд 
 называется сходящимся, если существует

предел 
.
Степенные ряды рассматриваются как формальные, т. е. они содержат отрицательные степени и вопрос об их сходимости, как правило, не рассматривается. Такие степенные ряды будут обозначаться следующими символами:

.

Функции  f(x) являются, вообще говоря, комплекснозначными и определены
на множестве R действительных чисел.
Носителем непрерывной функции f(x) называется замыкание множества точек x, в которых f(x) ≠ 0. Носитель обозначается символом supp(f). Если supp(f)
находится на конечном промежутке [a, b], то f(x) называется функцией с компактным носителем.
Говорят, что некоторое свойство относительно функции f(x) выполняется почти всюду (п.в.), если множество точек, в которых это свойство не выполнено, имеет нулевую меру.
Векторное пространство E называется евклидовым, если в нем задано скалярное
произведение (u, ν). В этом случае для любого элемента ν ∈ E определена норма

 и сходимость: 
 , если 
. Пространство E называется гильбертовым, если оно является полным относительно определенной выше сходимости.
Система элементов 
 в гильбертовом пространстве E называется ортонормированной, если

  , для любых  n, m ∈ Z.

В последней формуле δn,mназывается символом Кронекера.
Ортонормированная система {un}n ∈ Z в гильбертовом пространстве E называется
полной, если замыкание множества всех линейных комбинаций элементов из {un}n ∈Z
совпадает с пространством Е. Другими словами, если E является наименьшим замкнутым пространством, содержащим {un}n ∈ Z . Полная ортонормированная система
{un}n ∈ Z называется ортонормированным базисом гильбертова пространства E.
Примером ортогонального базиса может служить система функций

 в гильбертовом пространстве L2[0,2π] функций на
[0,2π], интегрируемых с квадратом.
Элементарные гармоники.  Это наиболее простые сигналы вида
a sin(ω x + ϕ0)    и    a cos(ω x + ϕ0),