Интеллектуальные мультимодальные интерфейсы для обработки биомедицинских сигналов

Министерство науки и высшего образования 
Российской Федерации

Уральский федеральный университет
имени первого Президента России Б. Н. Ельцина

А. М. Сысков, В. И. Борисов

Интеллектуальные 

мультимодальные интерфейсы 
для обработки биомедицинских 

сигналов

Практикум

Рекомендовано методическим советом
Уральского федерального университета
для студентов вуза, обучающихся
по направлению подготовки
09.04.02 — Информационные системы и технологии

Екатеринбург
Издательство Уральского университета
2021

УДК 004.51:616-71(076.5)
ББК 32.973+53.6я73
          С95
Рецензенты:
д-р техн. наук А. Н. Алфимцев (кафедра «Информационные системы и телекоммуникации» 
Московского государственного технического университета 
имени Н. Э. Баумана (национального исследовательского университета)
главный конструктор медицинских изделий А. А. Чупов (АО «Производственное 
объединение “Уральский оптико-механический завод” имени 
Э. С. Яламова»)

Научный редактор — д-р техн. наук, проф. В. С. Кубланов

Рисунок на обложке выполнен С. А. Сысковым

 
Сысков, А. М.
С95    Интеллектуальные мультимодальные интерфейсы для обработки биомедицинских 
сигналов : практикум / А. М. Сысков, В. И. Борисов ; М-во науки 
и высш. образования РФ. — Екатеринбург : Изд-во Урал. ун-та, 2021. — 78 с.

ISBN 978-5-7996-3308-0

Рассматривается использование биомедицинских сигналов при реализации 
интеллектуальных мультимодальных интерфейсов. Информационные характеристики 
биомедицинских сигналов, модулирующихся функциональными процессами 
организма, могут быть использованы в приложениях, с помощью которых требуется 
получать данные о психофизическом состоянии человека и производить количественную 
оценку изменения состояния человека.
Разработка интеллектуальных мультимодальных интерфейсов рассматривается 
на примере интерфейсов мозг-компьютер. В качестве входных модальностей 
интерфейса используется сигнал ЭЭГ и данные с 3-осевого акселерометра, размещенного 
на голове человека.
В работе представлены материалы и методы, связанные с архитектурой муль-
тимодальных интерфейсов, применением методов обработки сигналов и методов 
машинного обучения для формирования метрик изменения функционального состояния 
человека, а также спецификации для работы с облачным сервисом Google 
Fit для хранения данных приложений. Отдельное внимание уделено проектированию 
интерфейсов мозг-компьютер с применением открытых программных продуктов 
BCI2000 и Open Vibe.

Рис. 50.

УДК 004.51:616-71(076.5)
ББК 32.973+53.6я73

ISBN 978-5-7996-3308-0 
© Уральский федеральный

 
     университет, 2021

Содержание

Список терминов и определений ............................................................... 4

Предисловие ............................................................................................. 5

Подходы к анализу мультимодальных данных ......................................... 6
Архитектура мультимодального интрефейса .................................... 9

ЛАБОРАТОРНАЯ РАБОТА 1. Изучение сигналов двигательной  
активности сеанса BCI для mu-ритма .................................................... 16
Краткие теоретические сведения .................................................... 16
Рекомендации для выполнения работы .......................................... 22
Задание ............................................................................................. 30

ЛАБОРАТОРНАЯ РАБОТА 2. Изучение связанных  
с событиями мозговых потенциалов (ERP P300) .................................... 31
Краткие теоретические сведения .................................................... 31
Рекомендации для выполнения работы .......................................... 33
Задание ............................................................................................. 38

ЛАБОРАТОРНАЯ РАБОТА 3. Знакомство с REST  
API GOOGLE FIT .................................................................................. 39
Краткие теоретические данные ....................................................... 39
Рекомендации для выполнения работы .......................................... 40
Задание ............................................................................................. 45

ЛАБОРАТОРНАЯ РАБОТА 4. Cопряжение электроэнцефалографа-
регистратора «Энцефалан-ЭЭГР-19/26» и OpenVibe ............................ 46
Краткие теоретические сведения .................................................... 46
Рекомендации для выполнения работы .......................................... 55
Задание ............................................................................................. 63

ЛАБОРАТОРНАЯ РАБОТА 5. Обработка данных проекта  
BCI2000 в EEGLAB ................................................................................ 64
Краткие теоретические сведения .................................................... 64
Рекомендации для выполнения работы .......................................... 65
Задание ............................................................................................. 73

Список библиографических ссылок........................................................ 75

Список терминов и определений

БОС
— биологическая обратная связь

Open Vibe
— международный проект по разработке 
программного обеспечения 
для интерфейсов мозг–компьютер (
http://openvibe.inria.fr/)

BCI2000
— международный проект по разработке 
программного обеспечения 
для интерфейсов мозг–компьютер (
https://www.bci2000.org) 

BCI (Brain Computer Interface) — интерфейс мозг–компьютер

Google Fit
— облачный сервис компании  
Google для приложений, связанных 
со здоровьем и физической 
культурой

ЭЭГ
— электроэнцефалограмма

ERP (event-related potential)
— связанный с событием мозговой 
потенциал

Emotiv Epoc+ 
— беспроводная нейрогарнитура 
c 14 каналами ЭЭГ (https://www.
emotiv.com/epoc/)

Предисловие

П

рактикум содержит результаты работ коллектива исследователей 
и студентов магистрантов Научно-исследовательского 
медико-биологического инженерного центра высоких технологий 
ИРИТ-РТФ УрФУ, а также материалы курса «Интерфейсы 
мозг–компьютер», который читался в рамках программы магистратуры «
Интеллектуальные информационные системы функциональной 
диагностики и нейрореабилитации» в 2017–2021 гг.
Работа включает следующие материалы:
• материалы и методы, связанные с построением интеллектуальных 
мультимодальных интерфейсов;
• описание лабораторной работы по проектированию компонен-
та хранения данных на примере Google Fit для сигналов ЭЭГ 
и акселерометра;
• описание лабораторной работы по построению и исследова-
нию метрики функционального состояния с использованием 
модальности акселерометра и модальности ЭЭГ;
• описание лабораторной работы по изучению сигналов двига-
тельной активности сеанса BCI для mu-ритма с использовани-
ем комплекса программ BCI2000;
• описание лабораторной работы по изучению связанных с со-
бытиями мозговых потенциалов (ERP P300);
• описание лабораторной работы по сопряжению программно-
го комплекса Open Vibe с энцефалографом «ЭНЦЕФАЛАН»;
• описание лабораторной работы по обработке данных проекта 

BCI2000 в EEGLAB;
• описание лабораторной работы по построению мультимодаль-
ной метрики.

Подходы к анализу мультимодальных данных

Ч

еловеку в традиционной среде обитания свойственно муль-
тимодальное взаимодействие с окружающим миром. Интел-
лектуальные мультимодальные интерфейсы обеспечивают 
взаимодействие человека и компьютера с использованием привыч-
ных для него способов или модальностей: речи, мимики, движения [1]. 
При этом учитываются различные условия среды, модель поведения 
человека и его индивидуальные особенности, определяются отноше-
ния на пространстве признаков различных модальностей [2], [3].
Данные биомедицинских сигналов, которые модулируются функ-
циональными процессами внутри организма человека, несут в себе 
информацию о психофизическом состоянии человека и могут быть 
использованы при реализации интеллектуальных мультимодальных 
интерфейсов [4]. Исследование и построение интеллектуального муль-
тимодального интерфейса с использованием сигналов ЭЭГ и акселе-
рометра рассматриваются в работах [5], [6].
Измерение электрической активности головного мозга позволяет 
измерять и распознавать определенные состояния центральной нерв-
ной системы. Сигнал ЭЭГ может быть использован для оценки из-
менения когнитивного, эмоционального состояния человека, опре-
деления намерений человека, например, связанных с двигательной 
активностью, диагностики заболеваний центральной нервной систе-
мы и головного мозга.
Именно с электрической активностью головного мозга, как пра-
вило, связывают интерфейсы мозг-компьютер. Один из первых интерфейсов 
мозг–компьютер с использованием сигнала ЭЭГ в 1964 г. 
реализован американским кибернетиком и нейрофизиологом Греем 
Уолтером [7].
Позднее, в 1970-х гг. Жак Видал ввел более широкое определение 
интерфейса мозг–компьютер как системы, которая позволяет получать 
детальную информацию о функциях головного мозга. Функции 

Подходы к анализу мультимодальных данных

головного мозга — специфические механизмы в головном мозге, направленные 
на перестройку и адаптацию систем организма и на достижение 
постоянных и временных целей [8].
Определение Ж. Видала позволяет дополнительно отнести к интерфейсам 
мозг–компьютер системы, которые используют самые 
различные физические способы регистрации процессов головного 
мозга: магнитно-резонансная томография; позитронно-эмиссионная 
томография; методы биоимпеданса; методы измерения скорости 
кровотока в артериях; методы радиотермометрии и радиотермо-
графии [9] и др.
Одновременная регистрация сигналов различной физической природы 
позволяет получить более полную информацию о функциях головного 
мозга, состоянии центральной нервной системы и психофизическом 
состоянии человека.
В данной работе рассматривается применение сигналов ЭЭГ и акселерометра 
для создания мультимодального интеллектуального интерфейса 
контроля состояния человека и развития функций головного 
мозга, необходимых для формирования выбранных человеком 
психофизических и эмоциональных состояний, с использованием механизма 
БОС:
• БОС с использованием модальности ЭЭГ основывается на пространственной 
и частотной фильтрации электрических потенциалов 
на поверхности головного мозга [10], [11];
• БОС с использованием сигнала акселерометра основывается 

на анализе параметров движения головы человека, которые 
определяются работой вестибулярного аппарата и его психофизическим 
состоянием [12].
Для реализации интерфейса с использованием модальности сигнала 
ЭЭГ и сигнала акселерометра использовалась нейрогарнитура 
Emotiv Epoc+ (рис. I).
Представим, что имеется некое приложение, которое предназначено 
для тренировки способностей достигать определенного уровня 
психофизических состояний, например расслабления, фокуса, стрес-
са. Приложение для своей работы использует разрабатываемый интел-
лектуальный мультимодальный интерфейс для контроля состояния 
пользователя и обратной связи. На рис. II. представлена диаграмма 
вариантов использования такого приложения.

Интеллектуальные мультИмодальные Интерфейсы для обработкИ бИомедИцИнскИх сИгналов

ЭЭГ 

Акселерометр

ЭЭГ 

Рис. I. Размещение нейрогарнитуры на голове человека

Пользователь

Профиль

Управление метриками

Калибровка метрик

Активности

Выбор тренировки

БОС

Обращение к доктору

Рис. II. Диаграмма вариантов использования приложения

Профиль пользователя содержит информацию о метриках психофи-
зического состояния человека и типах активности пользователя. Метри-
ки в нашем случае — это вычисляемые значения уровня фокуса, стресса 
и т. п. Типы активности пользователя — это то, что характеризует пове-
дение человека во внешней среде, например функциональный покой, 
обычная деятельность, напряженная работа и т. д. Для каждой метрики 
выполняется калибровка уровней: низкий, средний, высокий.
Пользователь имеет возможность выбрать тренировку из списка. 
Тренировка включает в себя набор этапов с целевыми значениями 
уровней метрик. После начала тренировки осуществляется контроль 
уровней метрик в режиме реального времени через биологическую об-
ратную связь.

Подходы к анализу мультимодальных данных

Для получения данных биологической обратной связи использу-
ются модальность ЭЭГ и модальность акселерометра. Данные посту-
пают от гарнитуры Emotiv Epoc+ с Community SDK для обработки сы-
рых данных.
Гарнитура Emotiv Epoc+ содержит 14 каналов ЭЭГ и 3-осевой ак-
селерометр. Расположение электродов ЭЭГ соответствует стандарт-
ной схеме 10–20: AF3, F7, F3, FC5, T7, P7, Pz, O2, P8, T8, FC6, F4, F8, 
AF4. Частота дискретизации 128 Гц. Число разрядов АЦП 14.

Архитектура мультимодального интрефейса

Рассмотрим типичную архитектуру мультимодального интерфей-
са в соответствии с требованиями стандарта Multimodal Architecture 
and Interfaces [13].
На рис. III представлены элементы архитектуры мультимодаль-
ного интерфейса в среде времени выполнения. Элементы рассматри-
ваются стандартом в рамках парадигмы MVC (модель–представле-
ние–контроллер).

Компонента 
модальности

Менеджер 
взаимодействия

Компонента 
данных

Среда времени исполнения

Транспортный уровень

Рис. III. Архитектура мультимодального интерфейса

Интеллектуальные мультИмодальные Интерфейсы для обработкИ бИомедИцИнскИх сИгналов

Менеджер взаимодействия объединяет и координирует различные 
модальности. Компонента данных содержит требования к модели дан-
ных и протоколам работы с ними, например, REST API. Компонента 
модальности отражает представление способа взаимодействия с поль-
зователем. Среда исполнения представляет собой весь набор инстру-
ментов для работы и взаимодействия всех компонент.
Менеджер взаимодействия является ключевым элементом архитек-
туры. Стандарт не предъявляет требований к внутренней организации 
компонент, оставляя это на усмотрение разработчиков. Особенности 
работы с компонентами данных будут рассмотрены в разделе с опи-
санием лабораторной работы по Google Fit.
Компоненту модальности рассмотрим как компоненту, обеспечи-
вающую на входе сигналы ЭЭГ и акселерометра, а графику и голосо-
вые команды — на выходе.
На рис. IV подробно представлена внутренняя структура менедже-
ра взаимодействия, при разработке которой были использованы ре-
зультаты работ [1], [2].
В случае нашего гипотетического приложения менеджер взаимо-
действия должен обеспечить измерение уровня метрик в процессе тре-
нировки на основании данных входных модальностей.
Введем понятие метрики. Допустим, у нас есть некий контекст, 
в котором находится человек. В рамках этого контекста есть граф 
(рис. V), который описывает возможные различимые функциональ-
ные состояния человека и возможные переходы от одного состояния 
к другому. Таким образом под метрикой Metric FSi–FSj мы понима-
ем некую меру, которая дает скалярную оценку «близости человека 
к одному из рассматриваемых в паре состояний в режиме реального 
времени. Метрика может строиться на основании данных одного или 
нескольких физиологических каналов (движения, ЭЭГ, ЭКГ и т. п.). 
Если метрика строится на основании данных нескольких физиологи-
ческих каналов, то она называется мультимодальной.
Для построения метрики FSi-FSj необходимо:
• сформировать признаковое пространство, включающее в себя 

параметры всех физиологических каналов;
• провести оптимизацию признакового пространства в целях вы-
деления паттернов, необходимых для классификации функ-
циональных состояний;

Подходы к анализу мультимодальных данных

Рис. IV. Внутренняя структура менеджера взаимодействия