ПОСЛЕДНЕЕ 
ИЗОБРЕТЕНИЕ 
ЧЕЛОВЕЧЕСТВА

Искусственный интеллект 
и конец эры Homo sapiens

OUR 
FINAL
INVENTION

Artifi cial Intelligence and the End 
of the Human Era

James Barrat

Thomas Dunne Books
St. Martin’s Press
New York

ПОСЛЕДНЕЕ 
ИЗОБРЕТЕНИЕ 
ЧЕЛОВЕЧЕСТВА

Искусственный интеллект 
и конец эры Homo sapiens

Москва

2016

Джеймс Баррат

ISBN 978-5-91671-448-7
(Серия «Искусственный интеллект»)
ISBN 978-5-91671-436-4 (рус.)
ISBN 978-0-312-62237-4 (англ.)

© James Barrat, 2013
This edition published by arrangement 
with William Clark Associates and 
Synopsis Literary Agency. 
© Издание на русском языке, перевод, 
оформление. ООО «Альпина нон-
фикшн», 2016

УДК 004.8
ББК 32.813
 
Б25

Переводчик Наталья Лисова
Редактор Антон Никольский

Баррат Дж.
Последнее изобретение человечества: Искусственный интеллект 
и конец эры Homo sapiens  / Джеймс Баррат ; Пер. с англ. — М. : 
Альпина нон-фикшн, 2016. — 304 с.

ISBN 978-5-91671-436-4

За каких-то десять лет искусственный интеллект сравняется с 
человеческим, а затем и превзойдет его. Корпорации и государствен-
ные структуры по всему миру, конкурируя между собой, вкладыва-
ют миллиарды в развитие искусственного разума. Но что ждет нас 
дальше? Ученые задаются вопросом: не окажется ли это изобретение 
последним — гибельным для нас самих? Достигнув определенного 
уровня развития, искусственный интеллект сможет сам себя совер-
шенствовать, без участия человека. У нас появится соперник хитрее, 
сильнее и враждебнее, чем мы можем себе представить.

УДК 004.8
ББК 32.813

Б25

Все права защищены. Никакая часть этой книги не мо-
жет быть воспроизведена в какой бы то ни было форме 
и какими бы то ни было средствами, включая размеще-
ние в сети Интернет и в корпоративных сетях, а также 
запись в память ЭВМ для частного или публичного ис-
пользования, без письменного разрешения владельца ав-
торских прав. По вопросу организации доступа к элек-
тронной библиотеке издательства обращайтесь 
по адресу mylib@alpina.ru

Содержание

  
 Введение ............................................................... 7

  
Глава 1. Сценарий Busy Child .......................................... 13

  Глава 2. Проблема двух минут ......................................... 29

  Глава 3. Взгляд в будущее ................................................ 43

  Глава 4. По сложному пути .............................................. 59

  Глава 5. Программы, которые создают программы ....... 81

  Глава 6. Четыре фундаментальные потребности............ 90

  
Глава 7. Интеллектуальный взрыв ................................ 113

  Глава 8. Точка невозврата .............................................. 133

  Глава 9. Закон прогрессирующей отдачи ..................... 148

  Глава 10. Сингуляритарий ............................................... 166

  Глава 11. Жесткий старт .................................................. 180

  Глава 12. Последнее затруднение .................................... 208

Последнее изобретение человечества
6

  Глава 13. Непознаваемы по природе............................... 238

  Глава 14. Конец эры человечества? ................................. 257

  Глава 15. Кибернетическая экосистема .......................... 273

  Глава 16. УЧИ 2.0 ............................................................. 295

  
 Предметный указатель ..................................... 299

Введение

Несколько лет назад я с удивлением обнаружил, что у меня есть 
нечто общее с совершенно незнакомыми людьми. Это мужчины 
и женщины, с которыми я никогда не встречался, — ученые 
и университетские профессора, предприниматели из Кремни-
евой долины, инженеры, программисты, блогеры и т. д. Они 
рассеяны по Северной Америке, Европе, Индии, и я никогда бы 
о них не узнал, если бы не Интернет. Объединяет же меня 
с этими незнакомцами скепсис по поводу безопасного развития 
искусственного интеллекта (ИИ). Самостоятельно и неболь-
шими группами по два-три человека мы изучали литературу 
и выстраивали свои аргументы. И вот пришло время, когда 
я занялся поисками единомышленников и, к своему удивле-
нию, обнаружил в сети продвинутых и искушенных в этом во-
просе людей и даже небольшие сообщества исследователей. 
Я и не думал, что этой темой озабочено столько серьезных спе-
циалистов. Оказалось, однако, что объединяют нас не только 
опасения относительно будущего ИИ; все мы также полагали, 
что времени на какие-то действия, которые позволили бы из-
бежать катастрофы, почти не осталось.
Более двадцати лет я посвятил документальному кино. 
В 2000 г. я брал интервью у великого фантаста Артура Кларка , 

Последнее изобретение человечества
8

изобретателя Рэя Курцвейла и пионера робототехники Родни 
Брукса . Курцвейл и Брукс рисовали умилительную, востор-
женную картину будущего сосуществования человечества 
с разум ными машинами. А вот Кларк намекнул, что нас обго-
нят и оставят позади. До этого разговора перспективы ИИ при-
водили меня в восторг. Теперь же мою душу начал отравлять 
скепсис по поводу радужного будущего.
Моя профессия поощряет критическое мышление — ре-
жиссеру-документалисту всегда приходится быть настороже: 
каждый раз необходимо думать, не слишком ли увлекательной 
выглядит история, чтобы быть правдивой. Можно потратить 
несколько месяцев, а то и лет, снимая или монтируя фильм 
о подделке. Мне доводилось исследовать достоверность еванге-
лия от Иуды Искариота (подлинное), гробницы Иисуса Христа 
(мистификация), гробницы Ирода Великого возле Иерусалима 
(бесспорно) и гробницы царицы Клеопатры в храме Осириса 
в Египте (очень сомнительно). Однажды телекомпания попро-
сила меня сделать фильм, используя кадры с НЛО. Я обнару-
жил, что видеоряд представляет собой давно разоблаченный 
набор фальшивок — от подброшенных в воздух фарфоровых 
блюдец до двойной экспозиции и других оптических эффектов. 
Я предложил сделать фильм не про НЛО, а про тех, кто делает 
эти фальшивки. Меня уволили.
Относиться с подозрением к искусственному интеллекту 
было сложно по двум причинам. С одной стороны, знакомство 
с потенциальными возможностями ИИ заронило в мой разум 
зерно, которое мне хотелось бы взрастить, а не сомневаться 
в его пользе. А с другой, у меня не было сомнений ни в су-
ществовании ИИ, ни в его возможностях. Мой скепсис отно-
сился, прежде всего, к угрозе развитого ИИ для человечества 
и к безрассудству, с которым современная цивилизация совер-
шенствует опасные технологии. Я был убежден, что ученые, 
не сомневающиеся в безопасности ИИ, попросту заблужда-
ются. Я продолжал общаться со специалистами в области ИИ, 
и то, что я от них слышал, вызывало еще большую тревогу, 

Введение
9

чем прежние мои догадки. Я решил написать книгу о том, 
что беспокоит этих специалистов, и постараться донести эти 
мысли до как можно большего числа людей.

• • •

В процессе написания этой книги я разговаривал с учеными, 
занятыми созданием искусственного интеллекта для робото-
техники, поисковых систем для Интернета, разработкой ал-
горитмов баз данных, систем распознавания голосов и лиц, 
других приложений. Я говорил с учеными, которые пытаются 
создать ИИ, сравнимый с интеллектом человека. Понятно, 
что такой ИИ будет иметь неограниченную сферу примене-
ния и кардинально изменит наше существование (если, ко-
нечно, не положит ему конец). Я говорил с главными инжене-
рами компаний — разработчиков ИИ и техническими совет-
никами секретных проектов министерства обороны. Все они 
убеждены, что в будущем важнейшие решения, определяющие 
жизнь людей, будут принимать машины — или люди, чей ин-
теллект подкреплен и усилен машинным интеллектом. Когда 
это произойдет? Многие считают, что уже при нашей жизни.
Это неожиданное утверждение, но с ним сложно спорить. 
Компьютеры уже поддерживают нашу финансовую систему, 
транспортную инфраструктуру, системы электро- и водоснаб-
жения. Компьютеры давно заняли место в больницах, автомо-
билях и бытовых приборах, превратились в ноутбуки, планшеты 
и смартфоны. Многие из этих компьютеров — например те, ко-
торые выполняют биржевые алгоритмы купли-продажи, — ра-
ботают автономно, без участия человека. Цена же, которую мы 
платим за сэкономленное время и рабочие ресурсы, — наша 
независимость. Мы с каждым днем все сильнее и сильнее за-
висим от компьютеров. Пока безболезненно.
Искусственный интеллект, по существу, оживляет компью-
теры и превращает их в нечто иное. Если передача компьюте-
рам права принимать за нас решения неизбежна, возникает 
вопрос: когда машины получат такую власть над нами и про-

Последнее изобретение человечества
10

изойдет ли это с нашего согласия? Каким образом они получат 
эту власть и как быстро это произойдет? Именно эти вопросы 
я рассматриваю в данной книге.
По мнению некоторых ученых, смена власти будет добро-
вольной и по взаимному согласию — это будет скорее передача, 
чем захват. Процесс будет проходить постепенно, и упираться 
будут только записные скандалисты; остальные не станут возра-
жать против улучшения жизни — а она непременно улучшится, 
когда решать, что для нас полезнее, будет нечто гораздо умнее 
нас. Кроме того, сверхразумным представителем (или предста-
вителями) ИИ, который, в конце концов, получит власть, может 
стать «улучшенный» человек (или несколько людей) или загру-
женный в компьютер человеческий разум, подкрепленный ком-
пьютерными возможностями, а не холодные, бесчеловечные ро-
боты. Такую власть над собой признать будет намного проще. 
Передача власти машинам, как ее описывают некоторые ученые, 
практически неотличима от того, что мы с вами наблюдаем сей-
час, — она будет постепенной, безболезненной и даже веселой.

Плавный переход к гегемонии компьютеров проходил бы спо-
койно и безопасно, если бы не одна деталь: интеллект. Ин-
теллект может быть непредсказуем лишь некоторое время 
или в особых случаях. По причинам, о которых мы поговорим 
далее, компьютерные системы, способные действовать с чело-
веческой разумностью, скорее всего, будут вести себя непред-
сказуемо и непостижимо все время. Мы не будем знать, какое 
решение, в какой момент и как примет система, обладающая 
самосознанием . При этом непредсказуемость будет сочетаться 
со случайностями того рода, которые проистекают из сложного 
устройства и изменчивости, что характерно только для разум-
ных существ (взять хотя бы так называемый «интеллектуаль-
ный взрыв », о котором мы позже поговорим подробнее).

Как именно машины будут брать власть? Существует ли наибо-
лее вероятный, реалистичный сценарий, который нам угрожает?

Введение
11

Когда я задавал этот вопрос известным ученым, они, 
как правило, цитировали «Три закона робототехники» писа-
теля-фантаста Айзека Азимова . Эти правила, беззаботно от-
вечали они, будут встроены в любой ИИ, так что бояться не-
чего. Они говорили так, будто это научно доказанный факт. 
Законы робототехники мы обсудим в главе 1, а пока доста-
точно сказать, что если кто-то считает законы Азимова реше-
нием проблемы сверхразумных машин, то это всего-навсего 
означает, что они недостаточно размышляли над этим вопро-
сом и его обсуждением. Вопросы о том, как сделать разум-
ные машины по-настоящему дружественными и чего следует 
опасаться со стороны сверхразумных машин, выходят далеко 
за рамки азимовских идей, давно ставших клише. Выдающиеся 
способности и широкие познания в области искусственного ин-
теллекта не спасают от наивного восприятия его опасностей.
Я не первый предупреждаю о том, что мы движемся схо-
дящимися курсами. Нашему биологическому виду предстоит 
смертельная схватка. В этой книге рассматривается возмож-
ность того, что человечество потеряет контроль над собствен-
ным будущим. Машины не обязательно нас возненавидят, 
но, достигнув уровня самой непредсказуемой и могуществен-
ной силы во Вселенной, — уровня, которого сами мы достичь 
не способны, — начнут вести себя непредсказуемо, и их по-
ведение, вероятно, окажется несовместимо с нашим выжива-
нием. Эта сила настолько изменчива и загадочна, что природе 
удалось создать ее лишь однажды, и называется она интеллект.