Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens

ПОСЛЕДНЕЕ 
ИЗОБРЕТЕНИЕ 
ЧЕЛОВЕЧЕСТВА

Искусственный интеллект 
и конец эры Homo sapiens

OUR 
FINAL
INVENTION

Artifi cial Intelligence and the End 
of the Human Era

James Barrat

Thomas Dunne Books
St. Martin’s Press
New York

ПОСЛЕДНЕЕ 
ИЗОБРЕТЕНИЕ 
ЧЕЛОВЕЧЕСТВА

Искусственный интеллект 
и конец эры Homo sapiens

Москва

2016

Джеймс Баррат

ISBN 978-5-91671-448-7
(Серия «Искусственный интеллект»)
ISBN 978-5-91671-436-4 (рус.)
ISBN 978-0-312-62237-4 (англ.)

© James Barrat, 2013
This edition published by arrangement 
with William Clark Associates and 
Synopsis Literary Agency. 
© Издание на русском языке, перевод, 
оформление. ООО «Альпина нонфикшн», 2016

УДК 004.8
ББК 32.813
 
Б25

Переводчик Наталья Лисова
Редактор Антон Никольский

Баррат Дж.
Последнее изобретение человечества: Искусственный интеллект 
и конец эры Homo sapiens  / Джеймс Баррат ; Пер. с англ. — М. : 
Альпина нон-фикшн, 2016. — 304 с.

ISBN 978-5-91671-436-4

За каких-то десять лет искусственный интеллект сравняется с 
человеческим, а затем и превзойдет его. Корпорации и государственные структуры по всему миру, конкурируя между собой, вкладывают миллиарды в развитие искусственного разума. Но что ждет нас 
дальше? Ученые задаются вопросом: не окажется ли это изобретение 
последним — гибельным для нас самих? Достигнув определенного 
уровня развития, искусственный интеллект сможет сам себя совершенствовать, без участия человека. У нас появится соперник хитрее, 
сильнее и враждебнее, чем мы можем себе представить.

УДК 004.8
ББК 32.813

Б25

Все права защищены. Никакая часть этой книги не может быть воспроизведена в какой бы то ни было форме 
и какими бы то ни было средствами, включая размещение в сети Интернет и в корпоративных сетях, а также 
запись в память ЭВМ для частного или публичного использования, без письменного разрешения владельца авторских прав. По вопросу организации доступа к электронной библиотеке издательства обращайтесь 
по адресу mylib@alpina.ru

Содержание

  
 Введение ............................................................... 7

  
Глава 1. Сценарий Busy Child .......................................... 13

  Глава 2. Проблема двух минут ......................................... 29

  Глава 3. Взгляд в будущее ................................................ 43

  Глава 4. По сложному пути .............................................. 59

  Глава 5. Программы, которые создают программы ....... 81

  Глава 6. Четыре фундаментальные потребности............ 90

  
Глава 7. Интеллектуальный взрыв ................................ 113

  Глава 8. Точка невозврата .............................................. 133

  Глава 9. Закон прогрессирующей отдачи ..................... 148

  Глава 10. Сингуляритарий ............................................... 166

  Глава 11. Жесткий старт .................................................. 180

  Глава 12. Последнее затруднение .................................... 208

Последнее изобретение человечества
6

  Глава 13. Непознаваемы по природе............................... 238

  Глава 14. Конец эры человечества? ................................. 257

  Глава 15. Кибернетическая экосистема .......................... 273

  Глава 16. УЧИ 2.0 ............................................................. 295

  
 Предметный указатель ..................................... 299

Введение

Несколько лет назад я с удивлением обнаружил, что у меня есть 
нечто общее с совершенно незнакомыми людьми. Это мужчины 
и женщины, с которыми я никогда не встречался, — ученые 
и университетские профессора, предприниматели из Кремниевой долины, инженеры, программисты, блогеры и т. д. Они 
рассеяны по Северной Америке, Европе, Индии, и я никогда бы 
о них не узнал, если бы не Интернет. Объединяет же меня 
с этими незнакомцами скепсис по поводу безопасного развития 
искусственного интеллекта (ИИ). Самостоятельно и небольшими группами по два-три человека мы изучали литературу 
и выстраивали свои аргументы. И вот пришло время, когда 
я занялся поисками единомышленников и, к своему удивлению, обнаружил в сети продвинутых и искушенных в этом вопросе людей и даже небольшие сообщества исследователей. 
Я и не думал, что этой темой озабочено столько серьезных специалистов. Оказалось, однако, что объединяют нас не только 
опасения относительно будущего ИИ; все мы также полагали, 
что времени на какие-то действия, которые позволили бы избежать катастрофы, почти не осталось.
Более двадцати лет я посвятил документальному кино. 
В 2000 г. я брал интервью у великого фантаста Артура Кларка , 

Последнее изобретение человечества
8

изобретателя Рэя Курцвейла и пионера робототехники Родни 
Брукса . Курцвейл и Брукс рисовали умилительную, восторженную картину будущего сосуществования человечества 
с разум ными машинами. А вот Кларк намекнул, что нас обгонят и оставят позади. До этого разговора перспективы ИИ приводили меня в восторг. Теперь же мою душу начал отравлять 
скепсис по поводу радужного будущего.
Моя профессия поощряет критическое мышление — режиссеру-документалисту всегда приходится быть настороже: 
каждый раз необходимо думать, не слишком ли увлекательной 
выглядит история, чтобы быть правдивой. Можно потратить 
несколько месяцев, а то и лет, снимая или монтируя фильм 
о подделке. Мне доводилось исследовать достоверность евангелия от Иуды Искариота (подлинное), гробницы Иисуса Христа 
(мистификация), гробницы Ирода Великого возле Иерусалима 
(бесспорно) и гробницы царицы Клеопатры в храме Осириса 
в Египте (очень сомнительно). Однажды телекомпания попросила меня сделать фильм, используя кадры с НЛО. Я обнаружил, что видеоряд представляет собой давно разоблаченный 
набор фальшивок — от подброшенных в воздух фарфоровых 
блюдец до двойной экспозиции и других оптических эффектов. 
Я предложил сделать фильм не про НЛО, а про тех, кто делает 
эти фальшивки. Меня уволили.
Относиться с подозрением к искусственному интеллекту 
было сложно по двум причинам. С одной стороны, знакомство 
с потенциальными возможностями ИИ заронило в мой разум 
зерно, которое мне хотелось бы взрастить, а не сомневаться 
в его пользе. А с другой, у меня не было сомнений ни в существовании ИИ, ни в его возможностях. Мой скепсис относился, прежде всего, к угрозе развитого ИИ для человечества 
и к безрассудству, с которым современная цивилизация совершенствует опасные технологии. Я был убежден, что ученые, 
не сомневающиеся в безопасности ИИ, попросту заблуждаются. Я продолжал общаться со специалистами в области ИИ, 
и то, что я от них слышал, вызывало еще большую тревогу, 

Введение
9

чем прежние мои догадки. Я решил написать книгу о том, 
что беспокоит этих специалистов, и постараться донести эти 
мысли до как можно большего числа людей.

• • •

В процессе написания этой книги я разговаривал с учеными, 
занятыми созданием искусственного интеллекта для робототехники, поисковых систем для Интернета, разработкой алгоритмов баз данных, систем распознавания голосов и лиц, 
других приложений. Я говорил с учеными, которые пытаются 
создать ИИ, сравнимый с интеллектом человека. Понятно, 
что такой ИИ будет иметь неограниченную сферу применения и кардинально изменит наше существование (если, конечно, не положит ему конец). Я говорил с главными инженерами компаний — разработчиков ИИ и техническими советниками секретных проектов министерства обороны. Все они 
убеждены, что в будущем важнейшие решения, определяющие 
жизнь людей, будут принимать машины — или люди, чей интеллект подкреплен и усилен машинным интеллектом. Когда 
это произойдет? Многие считают, что уже при нашей жизни.
Это неожиданное утверждение, но с ним сложно спорить. 
Компьютеры уже поддерживают нашу финансовую систему, 
транспортную инфраструктуру, системы электро- и водоснабжения. Компьютеры давно заняли место в больницах, автомобилях и бытовых приборах, превратились в ноутбуки, планшеты 
и смартфоны. Многие из этих компьютеров — например те, которые выполняют биржевые алгоритмы купли-продажи, — работают автономно, без участия человека. Цена же, которую мы 
платим за сэкономленное время и рабочие ресурсы, — наша 
независимость. Мы с каждым днем все сильнее и сильнее зависим от компьютеров. Пока безболезненно.
Искусственный интеллект, по существу, оживляет компьютеры и превращает их в нечто иное. Если передача компьютерам права принимать за нас решения неизбежна, возникает 
вопрос: когда машины получат такую власть над нами и про

Последнее изобретение человечества
10

изойдет ли это с нашего согласия? Каким образом они получат 
эту власть и как быстро это произойдет? Именно эти вопросы 
я рассматриваю в данной книге.
По мнению некоторых ученых, смена власти будет добровольной и по взаимному согласию — это будет скорее передача, 
чем захват. Процесс будет проходить постепенно, и упираться 
будут только записные скандалисты; остальные не станут возражать против улучшения жизни — а она непременно улучшится, 
когда решать, что для нас полезнее, будет нечто гораздо умнее 
нас. Кроме того, сверхразумным представителем (или представителями) ИИ, который, в конце концов, получит власть, может 
стать «улучшенный» человек (или несколько людей) или загруженный в компьютер человеческий разум, подкрепленный компьютерными возможностями, а не холодные, бесчеловечные роботы. Такую власть над собой признать будет намного проще. 
Передача власти машинам, как ее описывают некоторые ученые, 
практически неотличима от того, что мы с вами наблюдаем сейчас, — она будет постепенной, безболезненной и даже веселой.

Плавный переход к гегемонии компьютеров проходил бы спокойно и безопасно, если бы не одна деталь: интеллект. Интеллект может быть непредсказуем лишь некоторое время 
или в особых случаях. По причинам, о которых мы поговорим 
далее, компьютерные системы, способные действовать с человеческой разумностью, скорее всего, будут вести себя непредсказуемо и непостижимо все время. Мы не будем знать, какое 
решение, в какой момент и как примет система, обладающая 
самосознанием . При этом непредсказуемость будет сочетаться 
со случайностями того рода, которые проистекают из сложного 
устройства и изменчивости, что характерно только для разумных существ (взять хотя бы так называемый «интеллектуальный взрыв », о котором мы позже поговорим подробнее).

Как именно машины будут брать власть? Существует ли наиболее вероятный, реалистичный сценарий, который нам угрожает?

Введение
11

Когда я задавал этот вопрос известным ученым, они, 
как правило, цитировали «Три закона робототехники» писателя-фантаста Айзека Азимова . Эти правила, беззаботно отвечали они, будут встроены в любой ИИ, так что бояться нечего. Они говорили так, будто это научно доказанный факт. 
Законы робототехники мы обсудим в главе 1, а пока достаточно сказать, что если кто-то считает законы Азимова решением проблемы сверхразумных машин, то это всего-навсего 
означает, что они недостаточно размышляли над этим вопросом и его обсуждением. Вопросы о том, как сделать разумные машины по-настоящему дружественными и чего следует 
опасаться со стороны сверхразумных машин, выходят далеко 
за рамки азимовских идей, давно ставших клише. Выдающиеся 
способности и широкие познания в области искусственного интеллекта не спасают от наивного восприятия его опасностей.
Я не первый предупреждаю о том, что мы движемся сходящимися курсами. Нашему биологическому виду предстоит 
смертельная схватка. В этой книге рассматривается возможность того, что человечество потеряет контроль над собственным будущим. Машины не обязательно нас возненавидят, 
но, достигнув уровня самой непредсказуемой и могущественной силы во Вселенной, — уровня, которого сами мы достичь 
не способны, — начнут вести себя непредсказуемо, и их поведение, вероятно, окажется несовместимо с нашим выживанием. Эта сила настолько изменчива и загадочна, что природе 
удалось создать ее лишь однажды, и называется она интеллект.