Нейротехнологии: нейро-БОС и интерфейс «мозг - компьютер»

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное 
учреждение высшего образования
«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»

Научно-исследовательский институт нейрокибернетики 
им. А. Б. Когана 
Академии биологии и биотехнологии им. Д. И. Ивановского

НЕЙРОТЕХНОЛОГИИ: 
НЕЙРО-БОС И ИНТЕРФЕЙС 
«МОЗГ – КОМПЬЮТЕР»

Ростов-на-Дону
Издательство Южного федерального университета
2017

УДК 612.82:004.5
ББК 28.707.3
 
Н463

Печатается по решению редакционно-издательского совета 
Южного федерального университета 
(протокол № 6 от 10 ноября 2016 г.)

Авторы:
В. Н. Кирой, Д. М. Лазуренко, И. Е. Шепелев, 
Е. В. Асланян, Н. Р. Миняева, О. М. Бахтин

Рецензенты:
доктор биологических наук, профессор В. П. Омельченко;
доктор биологических наук, профессор Б. М. Владимирский

Работа выполнена при финансовой поддержке 
базовой части госзадания № 6.5961.2017/8.9, 
проектной части госзадания № 2.955.2017/4.6

Нейротехнологии: нейро-БОС и интерфейс «мозг – компьютер» : 
монография / [В. Н. Кирой, Д. М. Лазуренко, И. Е. Шепелев, Е. В. Асланян, Н. Р. Миняева, О. М. Бахтин] ; Южный федеральный университет. – Ростов-на-Дону : Издательство Южного федерального университета, 2017. – 244 с.: ил. 

ISBN 978-5-9275-2232-3

Монография посвящена проблемам, связанным с разработкой неинвазивных форм 
интерфейсов «мозг – компьютер» (ИМК или BCI – brain-computer interface), предназначенных в первую очередь для улучшения качества жизни полностью парализованных 
людей и создания дополнительных каналов связи. Содержит обзор имеющихся научных 
работ по данной проблеме и результаты собственных исследований авторов. Первый раздел посвящен анализу способности человека к произвольному управлению некоторыми 
параметрами биоэлектрической активности собственного мозга с использованием метода 
биологической обратной связи (БОС) и оценке влияния на эффективность этого управления некоторых психологических особенностей пользователей. Во втором разделе описаны 
разработка и тестирование прототипа собственного нейроинтерфейса KRINC-BCI (Kogan 
Research Institute of Neurocybernetic-BCI).
Предназначена для студентов и аспирантов биологических факультетов университетов и медицинских институтов, а также для специалистов в области нейрофизиологии.

Н463

ISBN 978-5-9275-2232-3

УДК 612.82:004.5
ББК 28.707.3

© Южный федеральный университет, 2017
©  Кирой В. Н., Лазуренко Д. М., Шепелев И. Е.,
Асланян Е. В., Миняева Н. Р., Бахтин О. М., 2017
©  Оформление. Макет. Издательство
Южного федерального университета, 2017 

Оглавление

Предисловие ............................................................................................6
Список сокращений ................................................................................9

РАЗДЕЛ I. НЕЙРОТЕХНОЛОГИИ ОБУЧЕНИЯ 
ПОЛЬЗОВАТЕЛЕЙ СИСТЕМ BCI .............................................................12

Введение ...............................................................................................12

Глава 1. Анализ данных литературы ......................................................16
1.1. ЭЭГ-частоты, используемые при проведении 
БОС-тренинга .........................................................................16
1.2. Использование нейро-БОС в клинической практике ........26
1.3. Применение нейро-БОС для развития когнитивных 
способностей ............................................................................33
1.4. Влияние индивидуальных особенностей 
и функционального состояния на эффективность 
нейро-БОС-тренинга ..............................................................36

Глава 2. Методика исследования ...........................................................40
2.1. Общие сведения ......................................................................40
2.2. Сценарии нейро-БОС-тренингов ..........................................42
2.3. Регистрация и анализ ЭЭГ ...................................................45
2.4. Статистический анализ результатов исследования ..........47

Глава 3. Результаты исследования.........................................................49
3.1. Индивидуально-типологические особенности 
обследуемых ............................................................................49
3.2. Анализ эффективности нейро-БОС-тренинга ....................56
3.3. Изменение функционального состояния мозга 
обследуемых в динамике обучения ......................................62
3.4. Изменения спектральных характеристик ЭЭГ 
в течение одного обследования .............................................63
3.5. Влияние БОС-тренинга на спектральные 
характеристики ЭЭГ  .............................................................67
3.5.1. Спектральные характеристики ЭЭГ 
в состоянии оперативного покоя  ..................................69

3.5.2. Изменение спектральных характеристик ЭЭГ 
в динамике тренингов ...................................................71
3.5.2.1. Сценарии, направленные на снижение 
в ЭЭГ мощности альфа- и бета-частот  ................72
3.5.2.2. Сценарии, направленные на усиление 
бета-2-частот в ЭЭГ лобных областей коры ........75
3.5.2.3. Сценарии, направленные на усиление 
альфа-частот в ЭЭГ центральных отведений  ....77
3.6.  Перестройка межполушарных отношений в процессе 
тренингов .................................................................................81
3.7. Влияние личностных особенностей на эффективность 
БОС-тренинга .........................................................................90
3.8. Взаимосвязь психологических особенностей личности 
с эффективностью ЭЭГ-БОС-тренинга ..............................108
Заключение ..................................................................................114

РАЗДЕЛ II. НЕЙРОТЕХНОЛОГИИ BCI-УПРАВЛЕНИЯ .............................116

Введение .............................................................................................116

Глава 1. Нейрофизиологические механизмы произвольной 
двигательной активности ....................................................................118
1.1. Нейрофизиологические механизмы произвольных 
двигательных актов .............................................................118
1.2. Нейрофизиологические механизмы произвольной 
идеомоторной деятельности ................................................122

Глава 2. Электрографические корреляты произвольной 
двигательной активности ....................................................................125
2.1. Электрографические корреляты реальной 
двигательной активности ....................................................125
2.2. Электрографические корреляты идеомоторной 
деятельности .........................................................................132

Глава 3. Коммуникация и управление на основе 
электрографических паттернов, ассоциированных 
с идеомоторной деятельностью ..........................................................138

Глава 4. ИМК на основе соотношения альфа- и бета-ритмов ЭЭГ .......146
4.1. Методика исследования ......................................................146
4.2. Результаты исследования ...................................................150
4.3. Обсуждение результатов исследования ............................159
Заключение ..................................................................................163

Глава 5. ИМК на основе электрографических паттернов, 
сопровождающих идеомоторные акты ...............................................164
5.1. Методика исследования ......................................................165
5.1.1. Обследуемые и задания ..............................................165
5.1.2. Регистрация и анализ ЭЭГ .........................................167
5.1.3. Метод главных компонент и линейный 
классификатор Фишера ..............................................170
5.1.4. Классификатор паттернов ЭЭГ ..................................171
5.2. Результаты исследования ...................................................175
5.2.1. Временные характеристики движений .....................175
5.2.2. Функциональное состояние мозга в динамике 
обследования.................................................................175
5.2.3. Преддвигательные и двигательные потенциалы 
в ЭЭГ при выполнении реальных и мысленных 
движений ......................................................................176
5.2.4. Анализ главных компонент и линейные модели 
дискриминации ............................................................186
5.2.5. Анализ эффективности работы классификатора .....191
5.3. Обсуждение результатов исследования  ...........................200
Заключение ..................................................................................207

Список литературы ..............................................................................209

Предисловие

Одно из актуальных направлений современных исследований 
и разработок связано с созданием так называемых интерфейсов 
«мозг – компьютер» (Brain-Computer-Interface – BCI), позволяющих человеку управлять внешними устройствами с помощью произвольно генерируемых паттернов активности мозга. Исходно развитие исследований в этом направлении было ориентировано на 
социально-психологическую реабилитацию частично или полностью парализованных пациентов с сохранным интеллектом. Однако, как стало понятно позднее, потенциал этой технологии существенно выше. Ее развитие не только способно привести к появлению 
принципиально нового канала коммуникации и управления, но 
позволит человеку глубже понять потенциал собственного мозга, 
а возможно, и приобрести принципиально новые возможности управления его функционированием. Пока еще рано делать далеко 
идущие прогнозы, но представляется, что эта технология в настоящее время находится лишь в самом начале чрезвычайно перспективного пути.
Среди проблем, от решения которых во многом зависит будущее 
этой технологии, – поиск произвольно и устойчиво генерируемых 
человеком паттернов электроэнцефалографии (ЭЭГ). Для организации полноценного BCI-управления человек должен быть способен произвольно генерировать не менее 5–6 таких паттернов, которые должны отвечать ряду требований, а именно: быть достаточно 
короткими (сотни миллисекунд, мс), иметь устойчивую структуру, 
поддаваться выделению из суммарной ЭЭГ в режиме реального 
времени. Поиск потенциально пригодных для управления паттернов ЭЭГ, отвечающих указанным требованиям, – одно из наиболее 
актуальных направлений исследований в этой области. Он ведется в том числе с использованием технологии биологической обратной связи (БОС, biofeedback), в частности биообратной связи на основе ЭЭГ (neurofeedback, NFB). Последняя позволяет оценить не 
только принципиальную возможность произвольного управления 
теми или иными паттернами (характеристиками) ЭЭГ, но и возможность человека совершенствовать свои навыки в этом направ

Предисловие

7

лении. Как продемонстрировано нами, использование сценариев 
ЭЭГ-БОС-тренинга, учитывающего индивидуальные особенности 
обучающегося, способно не только сформировать устойчивые навыки управления активностью собственного мозга, но и существенно 
повысить вероятность генерации специфических ЭЭГ-паттернов в 
произвольные моменты времени (Model, 2006).  
Еще одна проблема связана с разработкой алгоритмов и методов детекции, декодирования и классификации произвольно генерируемых человеком паттернов активности. Разработка новых решений, пригодных для управления в режиме реального времени, 
является актуальной прежде всего в контексте задач практического повышения надежности функционирования таких систем и 
скорости управления. Ограниченные возможности технологии не 
позволяют выводить созданные к настоящему времени нейроинтерфейсы (в том числе в связи с низкой надежностью и эффективностью) в среду конечных пользователей, в частности полностью 
обездвиженных вследствие тяжелых травм или нейродегенеративных заболеваний лиц. По существу, большинство разработанных 
на сегодня нейроинтерфейсов представлены лабораторными прототипами или только проходят первые клинические испытания.
К наиболее перспективным направлениям решения указанной 
проблемы относится разработка алгоритмов и методов адаптивной классификации многомерных сигналов мозга, реализованных 
на основе искусственных нейронных сетей.  Известно, что нейросети, как правило, оказываются наиболее эффективным способом 
классификации, потому что фактически генерируют большое число регрессионных моделей, эксплуатируемых при решении задач 
классификации статистическими методами. В реальных задачах, 
например классификации многомерных ЭЭГ-сигналов, возникают 
проблемы, связанные с тем, что заранее неизвестно, какой сложности (размера) может потребоваться сеть. Эта сложность может 
оказаться чрезмерно высокой, что потребует сложной архитектуры 
сети. Как продемонстрировано нами, в общем случае эта проблема преодолима и решается при использовании многослойных нейронных сетей с перестраиваемой архитектурой. Такие сети способны распознавать не только характеристики исходных данных, но 
и «характеристики характеристик», которые формирует сама сеть, 

Предисловие

тем самым получая информацию для модификации структуры 
или достраивания собственной архитектуры. Последнее позволяет разрабатывать классификаторы, способные осуществлять «свободный» поиск произвольно генерируемых человеком паттернов 
активности мозга с учетом как его индивидуальных особенностей, 
так и текущего функционального состояния.
Несомненно, в данной монографии рассмотрены далеко не все 
проблемы, связанные с развитием технологии BCI. Однако авторы 
и не ставили перед своим небольшим коллективом таких амбициозных целей.
Наконец, авторы выражают сердечную признательность всем 
тем, кто на разных этапах реализации работ, материалы которых 
представлены в настоящей монографии, тем или иным образом 
способствовал их проведению, в частности профессору Б. М. Владимирскому, профессору А. Я. Каплану, ведущему научному сотруднику Д. Г. Шапошникову, ведущему научному сотруднику 
А. Э. Тамбиеву и многим др. 

Список сокращений

9

СПИСОК СОКРАЩЕНИЙ

РАЗДЕЛ I

A, B, C, D, E, F – сценарии БОС-тренингов
df – число степеней свободы
F – критерий Фишера
F3, F4, F7, F8, C3, C4, T3, T4, T5, T6, P3, P4, O1, O2, Fz, Cz, Pz – отведения, 
с которых регистрировали ЭЭГ
IQ – коэффициент интеллекта
p – уровень значимости
БОС – биологическая обратная связь (biofeedback)
В, А, К – группы, выделяемые по предпочтительному типу психомоторной организации (ПМ): визуалы, аудиалы и кинестетики соответственно
В, С, Н – группы, выделяемые по степени выраженности личностного 
свойства (по результатам психологического тестирования): высокая, средняя и низкая выраженность соответственно
ГЗ – спокойное бодрствование с закрытыми глазами
ГО – спокойное бодрствование с открытыми глазами
ИМК (BCI) – интерфейс «мозг – компьютер» (Brain-Computer-Interface)
ИсФ – исходный фон перед началом единичного обследования
ИтФ – итоговый фон после окончания единичного обследования
К – конец периода эффективного обучения
Кас – коэффициент асимметрии
КП – контролируемые параметры
ЛП – левое полушарие
М, Ж – группы, выделяемые по признаку пола
МПА – межполушарная асимметрия
Н – начало периода эффективного обучения
НОС (NFB) – нейрообратная связь (neurofeedback)
Оa, Оb, Оc, Оd, Оe, Оf – периоды отдыха после соответствующего тренинга
ПП – правое полушарие
СДВГ – синдром дефицита внимания с гиперактивностью
СМР – сенсомоторный ритм
СпМ – спектральная мощность
ССП – связанный с событием потенциал
У, НВ, НТ – группы, выделяемые по степени уравновешенности нервных 
процессов: уравновешенные, неуравновешенные с преобладанием 
возбуждения и неуравновешенные с преобладанием торможения 
соответственно

Список сокращений

10

УС, НУ – группы лиц, успешно (УС) и неуспешно (НУ) справившихся с 
тренингами в рамках разных сценариев
Фa, Фb, Фc, Фd, Фe, Фf – состояния оперативного покоя (фоны) перед соответствующими тренингами
ФВЧ – фильтр высоких частот
ФНЧ – фильтр низких частот
ЦНС – центральная нервная система
ЭЭГ – электроэнцефалография 

РАЗДЕЛ II

ERD (evoked response desynchronization) – вызванная десинхронизация
ERS (evoked response synchronization) – вызванная синхронизация
M – среднее 
M (M-judgment) – субъективное ощущение начала движения
M1 – первичная моторная кора (primary motor area)
MED – медиана
MS – среднеквадратическая ошибка
PCA – метод анализа главных компонент
PMA – премоторная область коры (premotor cortex)
PSD – метод оценки распределения спектральной плотности
SS – дисперсия ошибки 
W (W-judgment) – субъективное желание (намерение) выполнить движение
ВПСП – возбудительный постсинаптический потенциал
ВР – волна реафферентации
Д – движение 
Д1, Д2 – диапазоны 1 и 2
ДМК (SMA) – дополнительная моторная кора (supplementary motor area)
К – классы  
КК – коэффициент корреляции
ЛК – левый кулак 
ЛР – левая рука 
ЛРВ – левая рука вверх 
МД – мысленное движение 
МЛР – мысленное движение левой рукой 
МП – моторный потенциал
МПР – мысленное движение правой рукой
МЭГ – магнитоэнцефалография 
Н – движение ногами 
ОП – оперативный покой
П – пробы 

Список сокращений

ПГ – потенциал готовности
ПК – правый кулак
ПМП – премоторный потенциал
ПМСД (MRCP) – потенциал мозга, связанный с движением (movementrelated cortical potentials)
ПР – правая рука
ПРВ – правая рука вверх 
ПЭТ – позитронно-эмиссионная томография
РПК – ростральная париетальная кора
С – состояние 
Т – тренинги 
ТПСП – тормозный постсинаптический потенциал
Ф – фон 
ФМРТ (fMRI) – функциональная магнитно-резонансная томография
Э – эксперимент 
ЭКоГ (ECoG) – электрокортикограмма 
ЭМГ (EMG) – электромиограмма 
ЭОГ (EOG) – электроокулограмма 
Я – движение языком

РАЗДЕЛ I. НЕЙРОТЕХНОЛОГИИ ОБУЧЕНИЯ 
ПОЛЬЗОВАТЕЛЕЙ СИСТЕМ BCI

Введение

Как известно, произвольные двигательные акты имеют сложную структуру с многоуровневой иерархической организацией, 
интегрирующей практически все уровни центральной нервной 
системы  (Бернштейн, 1966; Pockett, 2006). Такая структура формируется на основе образа потребного будущего и актуальной двигательной задачи (Бернштейн, 1966; Лурия, 1962, 2004), реализация 
которой направлена на выбор наиболее адекватной поведенческой 
стратегии для достижения запланированного результата (Анохин, 
1975). Обязательным условием формирования произвольного двигательного акта является соотнесение информации о цели движения, средствах и способах его реализации с воображаемым (идеальным) образом результата (Зинченко, 2005).
Многочисленные экспериментальные исследования показали, что реальная двигательная активность сопровождается выраженными изменениями в электрической активности мозга 
(Argyropoulos et al., 2013; Sosnik et al., 2014; Stepniewska et al., 
2014). Показано также, что пространственно-временная динамика этой активности, регистрируемая при выполнении реальных 
движений, в значительной степени эквивалентна той, которая 
имеет место при мысленном выполнении аналогичных движений 
(McFarland, Wolpaw, 2000; Pfurtscheller, Neuper, 2001; Жаворонкова, 2006; Neuper et al., 2006; Waldert et al., 2009; Pfurtscheller, 2011; 
Pfurtscheller et al., 2013). В частности, мысленное воспроизведение 
двигательного акта спортсменами сопровождается активацией 
тех же нейронных сетей двигательной (М1) и премоторной коры, 
что и при выполнении реальных движений (Decety, Jeannerod, 
1995; Jeannerod, Decety, 1995; Pfurtscheller, Neuper, 1997; Stevens, 

Введение

13

Stoykov, 2003; Berman et al., 2012; Fadiga et al., 2013; Guillot et 
al., 2013; Sharma, Baron, 2013; Blefari et al., 2015). Аналогичные 
результаты были получены при использовании метода функциональной МРТ у пациентов с гемипарезом (Confalonieri et al., 2012; 
Sun et al., 2013; Alessandro et al., 2014). 
Тем не менее в ряде работ приводятся сведения о существовании различий в электрической активности мозга, связанных с реальным и мысленным выполнением движений. Показано, в частности (Raffi n et al., 2012), что формирование идеомоторных актов 
требует вовлечения ростральной теменной коры, тогда как в реализацию реальных движений преимущественно вовлекаются 
центральная и прецентральная кора. Активация зрительной и 
соматосенсорной коры в значительной степени определяется той 
сенсорной модальностью, в рамках которой формируется представление движения (Neuper et al., 2005; Stinear et al., 2006; Jongsma et 
al., 2013; Gonzalez-Rosa et al., 2015).
Выраженный интерес к поиску в электрической активности мозга человека специфических паттернов, связанных с идеомоторной 
деятельностью, возник ввиду разработки так называемых нейроинтерфейсов (Brain-Computer Interfaces – BCIs), которые в последнее время рассматриваются в связи с созданием невербального канала коммуникации и управления (Birbaumer, 2000; Carabalona, 
2012; Liu, 2012; Brandl, 2015). Первоначально их разработка велась в целях социально-психологической реабилитации и повышения качества жизни частично или полностью парализованных 
лиц (Shenoy et al., 2006; Ramos, Halder, Birbaumer, 2009; Rea et 
al., 2014; Longo, Castillo, Bastos, 2014; Chaudhary, Fedurau et al., 
2015; Ганин, Либуркина, Каплан, 2015; Котов, Турбина, Фролов, 
2015). В настоящее время интенсивно разрабатываются подходы 
к созданию как инвазивных (Donoghue, 2002; Kennedy et al., 2004; 
Nicolelis, 2012), так и неинвазивных (Ang et al., 2014; Kaufmann, 
Herweg, Kübler, 2014; Senthilkumar, Shanmugapriya, 2014; Бабушкина и др., 2015; Люкманов и др., 2015) нейроинтерфейсов, способных управлять искусственной конечностью (нейропротезом) и 
устройствами передвижения. Ряд неинвазивных систем основаны на использовании для целей управления электрографических 
паттернов, связанных с идеомоторными актами (Pfurtscheller et