Введение в нейросетевое моделирование

Министерство образования и науки Российской Федерации
Уральский федеральный университет

имени первого Президента России Б. Н. Ельцина

А. П. Сергеев, Д. А. Тарасов

Введение 
в нейросетевое 
моделирование

Учебное пособие

Под общей редакцией 

кандидата физико-математических наук, доцента

А. П. Сергеева

2-е издание, стереотипное

Москва
      Екатеринбург

Издательство «ФЛИНТА»         
 Издательство Уральского университета

2020
     2020

УДК 004.032.26:004.81(075.8)
ББК 32.818.1в6я73
          С32

Р е ц е н з е н т ы:
д-р техн. наук, проф., директор Института химической переработки 
растительного сырья и промышленной экологии УГЛТУ А. В. Вураско;
д-р физ.-мат. наук, вед. науч. сотр. Института промышленной экологии 
УрО РАН Л. М. Мартюшев

Сергеев А. П.
С32          Введение в нейросетевое моделирование  [Электронный 
ресурс] : учеб. пособие / А. П. Сергеев, Д. А. Тарасов ; под общ. 
ред. А. П. Сергеева. — 2-е изд., стер. – М. : ФЛИНТА ; 
Екатеринбург : Изд-во Урал. ун-та, 2020. — 128 с.

ISBN 978-5-9765-4175-7 (ФЛИНТА)
ISBN 978-5-7996-2651-8 (Изд-во Урал. ун-та)

Учебное пособие содержит начальные сведения о моделировании на
базе искусственных нейронных сетей. Разобраны биологические 
принципы построения и алгоритмы создания искусственного нейрона 
(типа «перцептрон») и сетей на его основе.

Издание рекомендуется исследователям, преподавателям, аспирантам, 
студентам, а также всем, кто интересуется современным состоянием дел 
в области искусственных нейронных сетей и моделирования.

УДК 004.032.26:004.81(075.8)
ББК 32.818.1в6я73

На обложке использовано изображение с сайта 

https://pbs.twimg.com/ media/CnqTWYvVIAAXfmK.jpg

ISBN 978-5-9765-4175-7 (ФЛИНТА)
ISBN 978-5-7996-2651-8 (Изд-во Урал. ун-та)

© Уральский федеральный 
     университет, 2017
© Сергеев А. П., Тарасов Д. А.,
     2017

1. Биологические прототипы  
нейронных сетей

1.1. Нейрон
Н

ейроны (или нервные клетки) являются базовыми элементами нервной системы, основными обработчиками и передатчиками информации в человеческом организме. Нервная система человека состоит примерно из ста миллиардов нервных клеток. 
Каждый нейрон представляет собой отдельную клетку и является базовой коммуникационной единицей нервной системы (рис. 1.1). Как 
правило, нервный импульс продвигается от дендритов и тела клетки 
к аксону (нейриту) до тех пор, пока не достигнет концевых синаптических луковичек. В этом месте нервный импульс встречается с дендритами другого нейрона, и его движение продолжается.
Нейроны бывают разных типов, и каждый из них предназначен 
для выполнения специфической нейронной функции. Некоторые 
нейроны играют роль рецепторных клеток органов чувств, воспринимающих извне определенные виды энергии, например свет, давление или химическую энергию. Эти нейроны трансдуцируют, или 
преобразуют, поглощенную ими энергию в нервные импульсы, направляемые затем другим нейронам, являющимся элементами нервной системы. Трансдукция — это превращение физической энергии 
в нейронную форму стимулирования, осуществляемое специализированными органами чувств. Сенсорные нейроны передают информацию от сенсорных рецепторов мозгу, мотонейроны — от мозга 
мышцам, а интернейроны осуществляют обмен информацией между нейронами.

1. Биологические прототипы нейронных сетей 

Дендриты

Ядро
Тело клетки 
(сома)

Аксон

Миелиновая 
оболочка
Концевые 
разветвления

К дендритам 
другого нейрона

Концевые 
синаптические 
луковички

Нервный 
импульс

Вход нервного 
импульса

Рис. 1.1. Нейрон

Большинство нейронов независимо от их функции состоят из отдельной клетки, имеющей три отличные друг от друга части:
1) тело клетки, или сома, содержащее ядро клетки, которое регулирует химическую активность нейрона, а также принимает и сохраняет получаемую им информацию;
2) отходящие от тела клетки разветвленные структуры, называемые 
дендритами (от греческого слова dendron, что означает «дерево»), 
которые принимают информацию от других клеток и осуществляют связь с ними;
3) аксоны — тонкие длинные волокна, по которым информация 
поступает от сомы к другим нейронам.
Аксоны, как правило, передают информацию от нейрона. При этом 
они направляют ее либо соседним нейронам, либо мышце или железе, 
«приказывая» им совершить то или иное действие. Длина большинства аксонов не превышает 0,1 мм, однако некоторые аксоны нерв

1.2. Нейронная передача

ной системы взрослого человека достигают метровой длины. Обычно 
аксоны связаны с дендритами других нервных клеток и передают им 
импульсы, т. е. аксон — элемент коммуникационной системы нейрона, передающий за пределы клетки информацию в виде нервного импульса, а дендриты «доставляют» информацию внутрь, в тело нервной 
клетки. Аксоны многих нейронов покрыты слоем миелина — белково-жирового комплекса, образованного защитными и питательными 
клетками и создающего изолирующую оболочку вокруг аксона. Благодаря этой оболочке скорость прохождения нервного импульса по нейрону значительно увеличивается.
Разветвленный конец аксона имеет древовидную форму, и каждая 
его ветвь заканчивается концевой синаптической луковичкой. Это место соединения аксона с дендритом другой нервной клетки.

1.2. Нейронная передача

Основа всех сенсорных процессов — зрения, слуха, осязания и других — передача информации. Информация в виде нервных импульсов передается по нейронам в результате сложного взаимодействия 
электрических и химических зарядов. Нервный импульс возникает 
в результате изменения концентрации катионов — положительно заряженных ионов — натрия (Na+) и калия (К+) внутри и снаружи нейрона. Для неактивного, или нестимулированного, нейрона характерны 
разные концентрации ионов внутри и снаружи, вне клеточной мембраны, причем концентрация отрицательно заряженных ионов снаружи несколько выше, чем внутри. Результатом подобного неравенства концентраций является возникновение разности потенциалов 
на мембране клетки. Электрический заряд внутри нервной клетки человека отличается от внешнего заряда примерно на –70 милливольт. 
Этот потенциал неактивного нейрона называется потенциалом покоя 
(или мембранным потенциалом).
Когда на нейрон воздействует раздражитель или аксон другого 
нейрона и внутри нейрона возникает избыточный по сравнению 
со средой положительный заряд, потенциал покоя изменяется за доли 
секунды. Результатом этого быстротечного процесса является электрический заряд, который с большой скоростью перемещается по аксону нервной клетки, после чего потенциал возвращается в исходное 

1. Биологические прототипы нейронных сетей 

состояние. Быстрое изменение электрического заряда — первая стадия возбуждения нейрона и передачи информации с помощью аксона внутри нервной системы. Подобный механизм характерен для 
всех сенсорных систем.

1.3. Потенциал действия

Нервные клетки не обязательно воспринимают и передают импульсы соседним нейронам всякий раз, когда они генерируют электрический заряд или когда на них воздействует раздражитель. Возникновение в нейроне потенциала действия и передача импульса возможны 
лишь тогда, когда достигнут определенный пороговый уровень его стимулирования. Этот минимальный уровень стимулирования, необходимый для возбуждения нейрона, называется нейронным порогом. Если 
внутри нервной клетки накапливается электрический заряд, превышающий нейронный порог, электрическое состояние нейрона быстро 
изменяется — заряд сохраняется в течение одной миллисекунды. Это 
изменение называется потенциалом действия, а также пиковым или 
спайковым потенциалом или просто спайком (от английского spike, 
что означает «острый выступ, шип»), поскольку в определенный момент электрический заряд нейрона быстро достигает пика, а затем быстро падает.
Потенциалы действия подчиняются принципу «все или ничего». 
Когда электрический заряд достигает нейронного порога, возникает 
потенциал действия и посылается импульс. С другой стороны, если 
общий электрический заряд падает ниже критического значения нейронного порога, потенциал действия не возникает. Иными словами, 
нейрон или генерирует потенциал действия, или нет, что и означает, 
что он функционирует по принципу «все или ничего».
Величина, или интенсивность, потенциала действия не зависит 
от интенсивности раздражителя, т. е. является постоянной величиной. Однако нам известно из собственного опыта, что по своей интенсивности раздражители весьма существенно отличаются друг 
от друга — они могут быть как весьма сильными, так и едва уловимыми. Каким же образом возникновение потенциала действия, подчиняющегося принципу «все или ничего», отражает интенсивность 
физического раздражителя? Влияние интенсивности раздражите

1.4. Адаптация

ля проявляется в количестве потенциалов действия и во временном 
интервале между ними, т. е. в частоте следования импульсов потенциала действия. Чем сильнее раздражитель, тем выше частота следования импульсов потенциалов действия. Следовательно, разница 
между сенсорным воздействием ручного фонарика и фотовспышки — это разница частоты импульсов потенциалов действия, а не их 
продолжительности или величины.

1.4. Адаптация

Продолжительность ощущения зависит от времени генерирования потенциалов действия. В определенном смысле чем продолжительнее этот период, тем дольше сохраняется соответствующее ощущение. Однако при слишком продолжительном времени воздействия 
сенсорные рецепторы становятся менее чувствительными и скорость 
возникновения потенциалов действия уменьшается. В результате снижается и интенсивность ощущения. Подобное уменьшение чувствительности, наступающее вследствие продолжительного воздействия 
постоянного по интенсивности раздражителя, называется адаптацией. 
Она представляет собой явление, общее для всех сенсорных модальностей. С течением времени ощущение от постоянно воздействующего 
раздражителя может не только уменьшиться, но и совсем исчезнуть. 
Так, если долго находиться в помещении, в котором постоянно слышен какой-то шум, например шумит кондиционер или гудит старая 
лампа дневного света, звук сперва начинает казаться менее громким, 
а в конце концов его и вовсе перестаешь замечать. Наряду с продолжительностью интервалов между потенциалами действия и интенсивностью стимулов определенную роль играет также и то, что более слабые стимулы перестают восприниматься быстрее, чем сильные.
К адаптации способны все сенсорные модальности. К таким ощущениям, как тактильные и обонятельные, адаптация наступает относительно быстро. В то время как к другим ощущениям, например к боли, 
привыкнуть гораздо труднее, если вообще возможно. Например, чувствует ли наше тело прикосновение одежды, а запястье — давление, 
оказываемое ремешком от часов? Хотя адаптация, как правило, свидетельствует о снижении чувствительности, она одновременно приносит 
и немалую пользу. Снижая наше восприятие неизменного раздражи

1. Биологические прототипы нейронных сетей 

теля, который с течением времени не только может лишиться информативности, но и начать отвлекать, адаптация помогает, прежде всего, воспринимать те сигналы, которые свидетельствуют о переменах 
в окружающем мире. Как будет показано ниже, наша сенсорная система не только способна к адаптации, но и исключительно чувствительна к смене сигналов.

1.5. Рефрактерный период

Потенциалы действия ограничены во времени. После возникновения одного потенциала действия второй может возникнуть не ранее 
чем через 1 миллисекунду. Этот короткий промежуток времени, когда 
нейрон неактивен, называется рефрактерным периодом. Рефрактерный период ограничивает максимальную частоту возникновения импульсов 1000 потенциалами действия в секунду или менее. Когда речь 
идет о нервном возбуждении, это обстоятельство важно и с теоретической, и с практической точки зрения, ибо именно оно, прежде всего, определяет «пропускную способность» сенсорной системы. Другими словами, благодаря рефрактерному периоду скорость, с которой 
нервная система пропускает нейронные спайки, не может превышать 
1000 спайков в секунду.

1.6. Скорость нейронной трансмиссии

У млекопитающих нейронный импульс, или потенциал действия, 
перемещается по демиелинизированному аксону за 2–3 миллисекунды. Однако, как отмечалось выше, в аксонах с миелиновой оболочкой, 
играющей роль электроизолятора, скорость прохождения потенциалов 
действия значительно возрастает. В миелинизированных аксонах потенциал действия может перемещаться со скоростью, превышающей 
100 м/с. У человека миелинизирование аксонов завершается примерно к 12 годам. Это отчасти является причиной того, что дети не могут 
учиться или реагировать столь же быстро или действовать столь же целеустремленно, как взрослые. Их нервная система не может обрабатывать информацию со скоростью, необходимой для выполнения неко

1.7. Синаптические связи

торых задач, особенно тех, которые требуют комплексного подхода. 
Такие заболевания, как рассеянный склероз, разрушают миелиновую 
оболочку, что приводит к уменьшению скорости передачи потенциалов действия и возможной потере сенсорно-моторной координации, 
для которой требуется интеграция нервной системы.

1.7. Синаптические связи

Вся сенсорная и моторная активность человека координируется совместными действиями миллиардов нервных клеток. Как они взаимодействуют друг с другом? Как сигнал, или информация, передается от одного нейрона к другому?
Потенциал действия создает импульс, который распространяется 
вдоль нейронной мембраны и далее продвигается по аксону до концевой синаптической луковички (рис. 1.1). Передача импульса от аксона 
одной нервной клетки (передающего, или пресинаптического, нейрона) к дендриту другой нервной клетки (принимающего, или постсинаптического, нейрона) происходит химическим путем. Область контакта нейронов называется синапсом (от греческого слова synapsis, что 
означает «соединение»). На рис. 1.2 представлен схематический вид 
синапса и синаптической щели, или синаптического пространства, 
микроскопического зазора между концевыми синаптическими луковичками пресинаптического нейрона и клеточной мембраной постсинаптического нейрона.
Когда потенциал действия доходит до конца аксона, до концевых 
синаптических луковичек, из крошечных пузырьков, или камер, называемых синаптическими пузырьками, выделяется микроскопическое количество содержащихся в них нейротрансмиттеров, которые 
заполняют синаптическую щель. Нейротрансмиттеры — это особые 
химические вещества, которые диффундируют в синаптическую щель 
и стимулируют прилегающий к ней постсинаптический нейрон.
Нервный импульс, проходящий по аксону, вызывает выделение 
нейротрансмиттеров из синаптических пузырьков концевых синаптических луковичек. Эти нейротрансмиттеры заполняют пространство 
между аксоном пресинаптического нейрона и дендритом принимающего, или постсинаптического, нейрона, «замыкая» электрическую 
цепь и обеспечивая тем самым прохождение нервного импульса.

1. Биологические прототипы нейронных сетей 

К телу нейрона

Направление нервного импульса

Аксон 
пресинаптического 
нейрона

Дендрит
постсинаптического
нейрона

Синаптический

пузырек

Синаптическая
щель

Рецепторный участок

Нейротрансмиттеры

Концевая синаптическая луковичка

пресинаптического нейрона

Рис. 1.2. Схематическое изображение нейронной трансмиссии в синапсе

1.8. Нейротрансмиттеры

Нейротрансмиттеры, которые высвобождаются в синапсе, либо возбуждают, либо тормозят активность постсинаптического нейрона. Когда потенциал действия запускает механизм возбуждающего синапса, 
происходит выделение трансмиттеров, возбуждающих нейрон, лежащий по ту сторону синаптического пространства. Если потенциал действия запускает тормозной синапс, выделяется другой нейротрансмиттер, который ингибирует противолежащий нейрон, в результате чего 
передача через него потенциала действия становится менее вероятной.
Ацетилхолин (АХ) является одним из важных возбуждающих трансмиттеров, на который оказывают заметное влияние такие вещества, 
как кофеин и кокаин. Агонисты — это вещества, усиливающие эффект 
специфического нейротрасмиттера. Ацетилхолин обнаружен в синапсах мозга, и доказано его участие в таких процессах, как память, внимание и пробуждение. Ацетилхолин также вызывает скелетно-мускульную активность за счет действия на двигательные нервы, и это 
лишь некоторые из его функций. Кураре, сильнодействующий яд,