Как учится машина: революция в области нейронных сетей и глубокого обучения

КаК учится  

машина

Quand la machine 
apprend

LA REVOLUTION DES 

NEURONES ARTIFICIELS ET DE 

L”APPRENTISSAGE PROFOND

ODILE JACOB

YANN LE CUN 
avec la collaboration de Caroline Brizard

Перевод с французского

КаК учится  

машина

РЕВОЛЮЦИЯ В ОБЛАСТИ  

НЕЙРОННЫХ СЕТЕЙ  

И ГЛУБОКОГО ОБУЧЕНИЯ

ЯН ЛЕКУН
при участии Каролины Бризар

МОСКВА
2021

ISBN 978-5-907394-92-6 (рус.)
ISBN 978-2-7381-4933-6 (фр.)

УДК 004.8
ББК 32.813
Л43

Переводчик Е. Арсенова 
Редактор В. Скворцов
Научный редактор М. Плец

Лекун Я.
Как учится машина : Революция в области нейронных сетей 
и глубокого обучения / Ян Лекун. — Пер. с фр. — М. : Альпина ПРО, 
2021. — 335 с.

ISBN 978-5-907394-92-6

Мы живем во время революции, еще 50 лет назад казавшейся невероятной, — 
революции в области умных машин, которые теперь обучаются самостоятельно, 
вместо того чтобы просто выполнять запрограммированные 
команды. И возможности таких машин огромны: распознавание изображений, 
лиц и голосов, переводы на сотни языков, беспилотное управление автомобилями, 
обнаружение опухолей на медицинских снимках и многое другое.
Автор книги Ян Лекун стоит у истоков этой революции. Лауреат премии 
Тьюринга, профессор Нью-Йоркского университета и руководитель 
фундаментальными исследованиями в Facebook, он является одним из изобретателей 
глубокого обучения, применяемого к так называемым искусственным 
нейронным сетям, архитектура и функционирование которых 
вдохновлены устройством человеческого мозга. В своей книге он, не прибегая 
к метафорам, делится своим научным подходом на стыке компьютерных наук 
и нейробиологии, проливая свет на будущее искусственного интеллекта, 
связанные с ним проблемы и перспективы. 
Сегодня искусственный интеллект действительно меняет общество. Эта 
понятная и доступная книга перенесет вас в самое сердце машины, открывая 
новый увлекательный мир, который уже является нашей реальностью.

УДК 004.8
ББК 32.813

Л43

Все права защищены. Никакая часть этой книги не может 
быть воспроизведена в какой бы то ни было 
форме и какими бы то ни было средствами, включая 
размещение в сети интернет и в корпоративных сетях, 
а также запись в память ЭВМ для частного 
или пуб личного использования, без письменного разрешения 
владельца авторских прав. По вопросу организации 
доступа к электронной библиотеке издательства 
обращайтесь по адресу mylib@alpina.ru

© Odile Jacob, octobre 2019
© ООО «Альпина ПРО», 2021

Оглавление

Введение    ........................................................................................................................................................ 7

Глава 1  
Революция в искусственном интеллекте  ......................................................  11

Глава 2  
Краткая история искусственного интеллекта…  

 
и моего карьерного пути  ........................................................................................... 23

Глава 3  
Простые обучающие машины  ............................................................................... 71

Глава 4  
Обучение путем минимизации, теория обучения  ..............................  105

Глава 5  
Глубокие сети и обратное распространение  ...........................................  145

Глава 6  
Сверточные сети, столпы ИИ  ..............................................................................  173

Глава 7  
Внутренности машины, или глубокое обучение сегодня  ..............  201

Глава 8  
Моя работа в компании Facebook .....................................................................  239

Глава 9  
Что ждет нас завтра? Перспективы и проблемы  

 
искусственного интеллекта  .................................................................................  263

Глава 10  
Искусственный интеллект и человечество ...............................................  299

Послесловие  ............................................................................................................................................  329

Благодарности  ......................................................................................................................................  333

Введение

«Открой дверь модульного отсека, Хэл!» В фильме «2001 год: Космическая 
одиссея» HAL 9000, сверхразумный компьютер, управляющий работой 
космического корабля, отказывается открыть дверь модульного отсека 
астронавту Дейву Боумену. В этой драматической сцене — вся трагедия 
искусственного интеллекта. Мыслящая машина оборачивается против 
человека, который ее сам же разработал. Что это: фантазия или обоснованные 
опасения? Стоит ли тревожиться о том, что однажды нашим миром 
будут управлять терминаторы — искусственные гуманоиды с почти 
неограниченными возможностями и темными замыслами? Этот вопрос 
люди задают все чаще и чаще сейчас, когда мы переживаем неслыханную 
революцию в интеллектуальных технологиях, которую никто не мог 
вообразить себе еще полвека назад. Искусственный интеллект, изучению 
которого я посвятил много лет, меняет все наше общество.
Я решил написать эту книгу, чтобы объяснить определенный набор 
методов и приемов в этой области, не скрывая всей ее сложности. Понять 
это не так просто, как научиться играть в шашки, но я думаю, что это 
необходимо для формирования аргументированного мнения по вопросам, 
связанным с искусственным интеллектом. Наше медиапростран-
ство пестрит такими терминами как «глубокое обучение», «машинное 
обучение» или «нейронные сети»… Я хочу, шаг за шагом, пролить свет 
на научный подход, который работает на стыке вычислительной техники 
и нейробиологии, не прибегая при этом к  каким-либо метафорам.
Во время нашего погружения в основы работы вычислительных машин 
я буду использовать два способа изложения информации. Первый 
из них — традиционный: я рассказываю, описываю и анализирую. Время 

КАК УЧИТСЯ МАШИНА

от времени для тех, кому интересно, я буду приводить более сложные 
примеры из математики и компьютерных наук.
Искусственный интеллект (ИИ) позволяет машине распознавать изображения, 
транскрибировать голос с одного языка на другой, переводить 
тексты, автоматизировать управление автомобилем или контролировать 
производственные процессы. Его широкое распространение в последние 
годы связано с методом, именуемым глубоким обучением, которое 
позволяет не просто программировать машину для выполнения определенной 
задачи, а обучать ее решению более широкого круга сходных 
задач. Глубокое обучение применяется к так называемым искусственным 
нейронным сетям, архитектура и функционирование которых вдохновлены 
устройством человеческого мозга.
Наш мозг состоит из 86 млрд нейронов, нервных клеток, связанных 
друг с другом. Искусственные нейронные сети также состоят из множества 
единиц, математических функций, подобных очень упрощенным 
нейронам. В мозгу обучение изменяет связи между нейронами; то же 
самое происходит и с искусственными нейронными сетями. Поскольку 
эти единицы часто организованы в несколько слоев, мы говорим о «сетях» 
и «глубоком» обучении.
Роль искусственных нейронов состоит в том, чтобы вычислить взвешенную 
сумму входных сигналов и создать выходной сигнал, если эта 
сумма превышает определенный порог. Но искусственный нейрон — это 
не больше и не меньше, чем математическая функция, рассчитанная 
компьютерной программой. Однако мы не случайно применяем к искусственным 
сетям те же термины, что и к реальным нейронам, — ведь 
именно открытия в области нейробиологии послужили стимулом исследованиям 
в области ИИ.
В этой книге я также хочу проследить свой интеллектуальный путь 
в рамках этого необычного научного приключения. Мое имя по-прежнему 
связано с так называемыми «сверточными» нейронными сетями, 
которые подняли распознавание объектов компьютером на небывалую 
высоту. Вдохновленные структурой и функцией зрительной коры головного 
мозга млекопитающих, они могут эффективно обрабатывать изображения, 
видео, звук, голос, текст и другие типы сигналов.
В чем состоит деятельность исследователя? Откуда берутся его идеи? 
Что касается меня, то я уделяю много внимания интуитивным догадкам. 
Дальше наступает очередь математики. Я знаю, что другие ученые 

ВВЕДЕНИЕ
9

действуют диаметрально противоположным образом. Я проецирую 
в свою голову пограничные случаи, которые Эйнштейн называл «мысленными 
экспериментами», благодаря которым вы сначала представляете 
ситуацию, а затем пытаетесь рассмотреть ее следствия для лучшего 
понимания проблемы.
Моя интуиция подпитывается чтением книг. Я просто пожираю книги. 
Я исследую работы тех, кто был до меня. Вы никогда ничего не создадите 
в одиночку. Идеи живут, дремлют, и они возникают в  чьей-то 
голове, потому что пришло время. Так рождаются исследования. Они 
продвигаются неравномерно, то прыжками, то шажками, а порой — даже 
пятясь. Но деятельность эта всегда коллективна. Образ одинокого исследователя, 
делающего в своей лаборатории мировое открытия, — не более, 
чем романтическая фантастика.
Путь разработки глубокого обучения не был простым. Приходилось 
бороться со скептиками всех мастей. Сторонники «классического» искусственного 
интеллекта, основанного исключительно на логике и рукописных 
программах, пророчили нам провал. Люди, добившиеся успеха 
в традиционном машинном обучении, показывали на нас пальцами, хотя 
глубокое обучение, над которым мы работали, и было по существу набором 
определенных методов в более широкой области машинного обучения. 
Однако тот тип машинного обучения, который позволял машине 
решать задачу путем сравнения конкретных примеров внутри массива 
данных, а не прямым исполнением написанной программы, тоже имел 
свои пределы. Мы пытались их преодолеть. Средством для этого послужили 
глубокие нейронные сети. Они были очень эффективными, но при 
этом сложными в математическом анализе и в реализации. Поэтому мы 
прослыли чуть ли не алхимиками…
Сторонники традиционного машинного обучения перестали высмеивать 
нейронные сети в 2010 г., когда последние наконец продемонстрировали 
свою эффективность. Лично я никогда не сомневался в успехе. 
Я всегда был убежден, что человеческий интеллект настолько сложен, что 
для того, чтобы его скопировать, нужно стремиться построить самоорганизующуюся 
систему, способную учиться самостоятельно, через опыт.
Сегодня эта форма искусственного интеллекта так и осталась наиболее 
перспективной, благодаря доступности больших баз данных и прогрессу 
в разработке оборудования, например графических процессоров, 
намного увеличивших вычислительную мощность компьютеров.

КАК УЧИТСЯ МАШИНА

По окончании учебы я планировал провести несколько лет в Северной 
Америке. И я все еще там! После некоторых жизненных перипетий 
я попал в компанию Facebook, владеющую сайтом с 2 млрд активных 
пользователей, чтобы вести фундаментальные исследования в области 
ИИ. Это — тоже часть моей публичной биографии. Я не хочу скрывать 
ничего из того, что происходит в компании Марка Цукерберга, которой 
в 2018 г. были предъявлены серьезные обвинения, и чье безграничное расширение 
вызывает опасение. В любом случае — я сторонник открытости.
В марте 2019 г. я был удостоен премии Тьюринга за 2018 г. от Ассоциации 
вычислительной техники — своего рода Нобелевской премии в компьютерной 
области. Я разделил эту награду с двумя другими специалистами 
по глубокому обучению, Йошуа Бенджио и Джеффри Хинтоном, 
моими партнерами, с которыми мы много спорили, но всегда сходились 
в главном.
Я многим обязан всем этим встречам, месту, которое я со временем 
занял в сообществе безумных наследников кибернетики 1950-х гг., 
не устававшим задавать друг другу «детские» на вид, но глубокие по сути 
вопросы, вроде: «Как получается, что нейроны, очень простые объекты, 
соединяясь друг с другом, производят новое свой ство, которое называется 
интеллектом?»
Теперь эта научная авантюра порождает новые важные вопросы. 
Отличается ли работа машины, которая распознает автомобиль посредством 
выделения таких элементов, как колеса, лобовое стекло и т. д. 
от работы нашей зрительной коры при идентификации той же самой 
машины? Что делать с наблюдаемым сходством между работой машины 
и мозгом человека или животного? Область исследования безгранична.
Посмотрим правде в глаза: машины, какими бы мощными и сложными 
они ни были, по-прежнему очень узкоспециализированы. Они 
учатся менее эффективно, чем люди и животные. По сей день у них нет 
ни здравого смысла, ни совести. По крайней мере, пока! Несомненно, 
они превосходят людей в определенных задачах: например, побеждают 
их в го и в шахматах; они переводят сотни языков, они узнают растения 
или насекомых, они обнаруживают опухоли на медицинских изображениях. 
Но человеческий мозг сохраняет значительное преимущество 
перед машинами в том, что он более универсален и гибок.
Смогут ли машины догнать нас, и если да — то как скоро?

ГЛАВА 1

Революция 
в искусственном 
интеллекте

Искусственный интеллект проникает во все секторы экономики, связи, 
здравоохранения и даже транспорта — благодаря созданию беспилотных 
автомобилей… Многие наблюдатели говорят уже не о технологической 
эволюции, а о революции.

Вездесущий искусственный интеллект

«Алекса, какая погода в Буэнос- Айресе?» Менее чем за секунду «умная» 
акустическая система записывает вопрос, передает его через домашний 
Wi- Fi на серверы Amazon, которые транскрибируют и интерпретируют 
его. Затем они получают информацию от метеорологической службы 
и возвращают ответ, который Алекса озвучивает приятным голосом: 
«В настоящее время в Буэнос- Айресе, Аргентина, температура воздуха 
22 °С. Пасмурно».
В офисе ИИ — прилежный помощник. Он работает быстро, и его не пугают 
повторяющиеся задачи. Он может просмотреть миллионы записей 
в базе денных в поисках цитаты и найти нужную за долю секунды благодаря 
возможностям современных компьютеров, скорость вычислений 
у которых сделалась почти невероятной.