Причина, по которой эта статья появилась на свет, проста: возможно, искусственный интеллект — не просто важная тема для обсуждения, а самая важная в контексте будущего. Все, кто хоть немного проникает в суть потенциала искусственного интеллекта, признают, что оставлять без внимания эту тему нельзя.

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. ЧАСТЬ ПЕРВАЯ: ПУТЬ К СВЕРХИНТЕЛЛЕКТУ

Причина, по которой эта (и другие) статья появилась на свет, проста: возможно, искусственный интеллект — не просто важная тема для обсуждения, а самая важная в контексте будущего. Все, кто хоть немного проникает в суть потенциала искусственного интеллекта, признают, что оставлять без внимания эту тему нельзя. Некоторые — и среди них Элон Маск, Стивен Хокинг, Билл Гейтс, не самые глупые люди нашей планеты — считают, что искусственный интеллект представляет экзистенциальную угрозу для человечества, сопоставимую по масштабам с полным вымиранием нас как вида. Что ж, усаживайтесь поудобнее и расставляйте для себя все точки над i.

«Мы стоим на пороге изменений, сравнимых с зарождением человеческой жизни на Земле» (Вернор Виндж).

Что значит стоять на пороге таких изменений?

Вроде бы ничего особенного. Но вы должны помнить, что находиться на графике в таком месте означает то, что вы не знаете, что находится справа от вас. Вы должны ощущать себя примерно так:

Ощущения вполне нормальные, полет проходит успешно.

Будущее приближается

Представьте, что машина времени перенесла вас в 1750 год — во времена, когда мир испытывал постоянные перебои с поставками электричества, связь между городами подразумевала выстрелы из пушки, а весь транспорт работал на сене. Допустим, вы попадаете туда, забираете кого-нибудь и приводите в 2015 год, показать, как оно тут все. Мы не в состоянии понять, каково ему было бы увидеть все эти блестящие капсулы, летящие по дорогам; поговорить с людьми по ту сторону океана; посмотреть на спортивные игры за тысячу километров от него; услышать музыкальное выступление, записанное 50 лет назад; поиграть с волшебным прямоугольником, который может сделать снимок или запечатлеть живой момент; построить карту с паранормальной голубой точкой, обозначающей его местоположение; смотреть на чье-то лицо и общаться с ним за много километров и так далее. Все это — необъяснимое волшебство для почти трехсотлетних людей. Не говоря уже об Интернете, Международной космической станции, Большом адронном коллайдере, ядерном оружии и общей теории относительности.
Такой опыт для него не будет удивительным или шокирующим — эти слова не передают всей сути мысленного коллапса. Наш путешественник вообще может умереть.
Но есть интересный момент. Если он вернется в 1750 год и ему станет завидно, что мы захотели взглянуть на его реакцию на 2015 год, он может захватить с собой машину времени и попробовать проделать то же самое, скажем, с 1500 годом. Прилетит туда, найдет человека, заберет в 1750 год и все покажет. Парень из 1500 года будет шокирован безмерно — но вряд ли умрет. Хотя он, конечно, будет удивлен, разница между 1500 и 1750 годом куда меньше, чем между 1750 и 2015. Человек из 1500 года удивится некоторым моментам из физики, поразится тому, какой стала Европа под жесткой пятой империализма, нарисует в голове новую карту мира. Но повседневная жизнь 1750 года — транспорт, связь и т. п. — вряд ли удивит его до смерти.
Нет, чтобы парень из 1750 года повеселился так же, как мы с ним, он должен отправиться куда дальше — возможно, год так в 12 000 до н. э., еще до того, как первая сельскохозяйственная революция позволила зародиться первым городам и понятию цивилизации. Если бы кто-либо из мира охотников-собирателей, со времен, когда люди в большей степени были еще очередным животным видом, увидел огромные человеческие империи 1750 года с их высокими церквями, судами, пересекающими океаны, их понятие быть «внутри» здания, все эти знания — он бы умер, скорее всего.
И тогда, после смерти, он бы позавидовал и захотел сделать то же самое. Вернулся бы на 12 000 лет назад, в 24 000 год до н. э., забрал бы человека и притащил его в свое время. И новый путешественник сказал бы ему: «Ну такое, хорошо, спасибо». Потому что в этом случае человеку из 12 000 год до н. э. нужно было бы вернуться на 100 000 лет назад и показать местным аборигенам огонь и язык в первый раз.
Если нам нужно перевезти кого-то в будущее, чтобы тот был до смерти удивлен, прогресс должен пройти определенное расстояние. Должна быть достигнута Точка Смертельного Прогресса (ТСП). То есть, если во времена охотников-собирателей ТСП занимала 100 000 лет, следующая остановка состоялась уже в 12 000 году до н. э. За ней прогресс шел уже быстрее и кардинально преобразил мир к 1750 году (ориентировочно). Потом понадобилось пару сотен лет, и вот мы здесь.
Эту картину — когда человеческий прогресс движется быстрее по мере течения времени — футуролог Рэй Курцвейл называет законом ускоряющейся отдачи человеческой истории. Это происходит, потому что у более развитых обществ есть возможность двигать прогресс более быстрыми темпами, нежели у менее развитых обществ. Люди 19 века знали больше, чем люди 15 века, поэтому неудивительно, что прогресс в 19 веке шел более стремительными темпами, нежели в 15 веке, и так далее.
На меньших масштабах это тоже работает. Фильм «Назад в будущее» вышел в 1985 году, и «прошлое» было в 1955 году. В фильме, когда Майкл Джей Фокс вернулся в 1955 год, его застали врасплох новизна телевизоров, цены на содовую, отсутствие любви к гитарному звуку и вариации в сленге. Это был другой мир, безусловно, но если бы фильм снимали сегодня, а прошлое было в 1985 году, разница была бы куда более глобальна. Марти Макфлай, попавший в прошлое из времени персональных компьютеров, Интернета, мобильных телефонов, был бы гораздо более неуместным, чем Марти, отправившийся в 1955 год из 1985.
Все это благодаря закону ускоряющейся отдачи. Средняя скорость развития прогресса между 1985 и 2015 годами была выше, чем скорость с 1955 по 1985 годы — потому что в первом случае мир был более развитым, он был насыщен достижениями последних 30 лет.
Таким образом, чем больше достижений, тем быстрее происходят изменения. Но разве это не должно оставлять нам определенные намеки на будущее?
Курцвейл предполагает, что прогресс всего 20 века мог бы быть пройден всего за 20 лет при уровне развития 2000 года — то есть в 2000 году скорость прогресса была в пять раз выше, чем средняя скорость прогресса 20 века. Также он считает, что прогресс всего 20 века был эквивалентен прогрессу периода с 2000 по 2014 год, и прогресс еще одного 20 века будет эквивалентен периоду до 2021 года — то есть всего за семь лет. Спустя несколько десятков лет весь прогресс 20 века будет проходиться по несколько раз в год, а дальше — всего за месяц. В конечном итоге закон ускоряющейся отдачи доведет нас до того, что за весь 21 век прогресс будет в 1000 раз превышать прогресс 20 века.
Если Курцвейл и его сторонники правы, 2030 год удивит нас так же, как парня из 1750 года удивил бы наш 2015 — то есть следующая ТСП займет всего пару десятков лет — а мир 2050 года будет так сильно отличаться от современного, что мы едва ли его узнаем. И это не фантастика. Так полагает множество ученых, которые умнее и образованнее нас с вами. И если вы взглянете в историю, то поймете, что это предсказание вытекает из чистой логики.
Почему же, когда мы сталкиваемся с заявлениями вроде «мир через 35 лет изменится до неузнаваемости», мы скептически пожимаем плечами? Есть три причины нашего скепсиса относительно прогнозов будущего:
1. Когда дело доходит до истории, мы думаем прямыми цепочками. Пытаясь представить прогресс следующих 30 лет, мы смотрим на прогресс предыдущих 30 как на индикатор того, сколько всего, по всей вероятности, произойдет. Когда мы думаем о том, как изменится наш мир в 21 веке, мы берем прогресс 20 века и добавляем его к 2000 году. Такую же ошибку совершает наш парень из 1750 года, когда достает кого-то из 1500 года и пытается его удивить. Мы интуитивно думаем линейным образом, хотя должны бы экспоненциальным. По существу, футуролог должен пытаться предугадать прогресс следующих 30 лет, не глядя на предыдущие 30, а судя по текущему уровню прогресса. Тогда прогноз будет точнее, но все равно мимо ворот. Чтобы думать о будущем корректно, вам нужно видеть движение вещей в куда более быстром темпе, чем они движутся сейчас.

2. Траектория недавней истории зачастую выглядит искаженно. Во-первых, даже крутая экспоненциальная кривая кажется линейной, когда вы видите небольшие ее части. Во-вторых, экспоненциальный рост не всегда гладкий и однородный. Курцвейл считает, что прогресс движется змееподобными кривыми.

Такая кривая проходит через три фазы: 1) медленный рост (ранняя фаза экспоненциального роста); 2) быстрый рост (взрывная, поздняя фаза экспоненциального роста); 3) стабилизация в виде конкретной парадигмы.
Если вы взглянете на последнюю историю, часть S-кривой, в которой вы в данный момент находитесь, может скрывать от вашего восприятия скорость прогресса. Часть времени между 1995 и 2007 годами ушла на взрывное развитие Интернета, представление Microsoft, Google и Facebook публике, рождению социальных сетей и развитию сотовых телефонов, а затем и смартфонов. Это была вторая фаза нашей кривой. Но период с 2008 по 2015 год был менее прорывным, по крайней мере на технологическом фронте. Те, кто думают о будущем сегодня, могут взять последние пару лет для оценки общего темпа прогресса, но они не видят большей картины. На деле же новая и мощная фаза 2 может назревать уже сейчас.
3. Наш собственный опыт делает нас ворчливыми стариками, когда речь заходит о будущем. Мы основываем свои идеи о мире на собственном опыте, и этот опыт установил темпы роста в недавнем прошлом для нас как «само собой разумеющееся». Также и наше воображение ограничено, поскольку использует наш опыт для прогнозирования — но чаще всего у нас просто нет инструментов, которые позволяют точно предположить будущее. Когда мы слышим прогнозы на будущее, которые расходятся с нашим повседневным восприятием работы вещей, мы инстинктивно считаем их наивными. Если бы я сказал вам, что вы доживете до 150 или 250 лет, а может быть, и вовсе не умрете, вы инстинктивно подумаете, что «это глупо, я знаю из истории, что за это время умирали все». Так и есть: никто не доживал до таких лет. Но и ни один самолет не летал до изобретения самолетов.
Таким образом, хотя скепсис кажется вам обоснованным, чаще всего он ошибочен. Нам стоит принять, что если мы вооружаемся чистой логикой и ждем привычных исторических зигзагов, мы должны признать, что очень, очень и очень многое должно измениться в ближайшие десятилетия; намного больше, чем можно предположить интуитивно. Логика также подсказывает, что если самый продвинутый вид на планете продолжает делать гигантские скачки вперед, быстрее и быстрее, в определенный момент скачок будет настолько серьезным, что он кардинально изменит жизнь, какой мы ее знаем. Нечто подобное случилось в процессе эволюции, когда человек стал настолько умен, что полностью изменил жизнь любого другого вида на планете Земля. И если вы потратите немного времени на чтение того, что происходит сейчас в науке и технике, вы, возможно, начнете видеть определенные подсказки о том, каким будет следующий гигантский скачок.

Путь к сверхинтеллекту: что такое ИИ (искусственный интеллект)?

Как и многие на этой планете, вы привыкли считать искусственный интеллект глупой идеей научной фантастики. Но за последнее время очень много серьезных людей проявило обеспокоенность этой глупой идеей. Что не так?
Есть три причины, которые приводят к путанице вокруг термина ИИ:

Мы ассоциируем ИИ с фильмами. «Звездные войны». «Терминатор». «Космическая Одиссея 2001 года». Но как и роботы, ИИ в этих фильмах — вымысел. Таким образом, голливудские ленты разбавляют уровень нашего восприятия, ИИ становится привычным, родным и, безусловно, злобным.
Это широкое поле для применения. Оно начинается с калькулятора в вашем телефоне и разработки самоуправляемых автомобилей и доходит до чего-то далекого в будущем, что кардинально изменит мир. ИИ обозначает все эти вещи, и это сбивает с толку.
Мы используем ИИ каждый день, но зачастую даже не отдаем себе в этом отчета. Как говорил Джон Маккарти, изобретатель термина «искусственный интеллект» в 1956 году, «как только он заработал, никто больше не называет его ИИ». ИИ стал больше как мифическое предсказание о будущем, нежели что-то реальное. В то же время есть в этом названии и привкус чего-то из прошлого, что никогда не стало реальностью. Рэй Курцвейл говорит, что он слышит, как люди ассоциируют ИИ с фактами из 80-х годов, что можно сравнить с «утверждением, что интернет умер вместе с доткомами в начале 2000-х».
Давайте проясним. Во-первых, перестаньте думать о роботах. Робот, который является контейнером для ИИ, иногда имитирует человеческую форму, иногда нет, но сам ИИ — это компьютер внутри робота. ИИ — это мозг, а робот — тело, если у него вообще есть это тело. К примеру, программное обеспечение и данные Siri — это искусственный интеллект, женский голос — персонификация этого ИИ, и никаких роботов в этой системе нет.
Во-вторых, вы наверняка слышали термин «сингулярность» или «технологическая сингулярность». Этот термин используется в математике для описания необычной ситуации, когда обычные правила больше не работают. В физике он используется для описания бесконечно малой и плотной точки черной дыры или изначальной точки Большого Взрыва. Опять же, законы физики в ней не работают. В 1993 году Вернор Виндж написал знаменитое эссе, в котором применил этот термин к моменту в будущем, когда интеллект наших технологий превзойдет наш собственный — и в этот момент жизнь, какой мы ее знаем, изменится навсегда, а обычные правила ее существования больше не будут работать. Рэй Курцвейл в дальнейшем уточнил этот термин, указав, что сингулярность будет достигнута, когда закон ускоряющейся отдачи достигнет экстремальной точки, когда технологический прогресс будет двигаться так быстро, что мы перестанем замечать его достижения, почти бесконечно быстро. Тогда мы будем жить в совершенно новом мире. Однако многие эксперты перестали использовать этот термин, поэтому давайте и мы не будем часто к нему обращаться.
Наконец, хотя есть много типов или форм ИИ, которые вытекают из широкого понятия ИИ, основные категории его зависят от калибра. Есть три основных категории:

Узконаправленный (слабый) искусственный интеллект (УИИ). УИИ специализируется в одной области. Среди таких ИИ есть те, кто может обыграть чемпиона мира по шахматам, но на этом все. Есть такой, который может предложить лучший способ хранения данных на жестком диске, и все.
Общий (сильный) искусственный интеллект. Иногда также называют ИИ человеческого уровня. ОИИ относят к компьютеру, который умен, как человек — машина, которая способна выполнять любое интеллектуальное действие, присущее человеку. Создать ОИИ намного сложнее, чем УИИ, и мы пока до этого не дошли. Профессор Линда Готтфредсон описывает интеллект как «в общем смысле психический потенциал, который, наряду с другими вещами, включает способность рассуждать, планировать, решать проблемы, мыслить абстрактно, понимать сложные идеи, быстро учиться и извлекать опыт». ОИИ должен уметь делать все это так же просто, как делаете вы.
Искусственный сверхинтеллект (ИСИ). Оксфордский философ и теоретик ИИ Ник Бостром определяет сверхинтеллект как «интеллект, который гораздо умнее лучших человеческих умов в практически любой сфере, включая научное творчество, общую мудрость и социальные навыки». Искусственный сверхинтеллект включает в себя как компьютер, который немного умнее человека, так и тот, который в триллионы раз умнее в любом направлении. ИСИ и есть причина того, что растет интерес к ИИ, а также того, что в таких обсуждениях часто появляются слова «вымирание» и «бессмертие».

В настоящее время люди уже покорили самую первую ступень калибра ИИ — УИИ — во многих смыслах. Революция ИИ — это путь от УИИ через ОИИ к ИСИ. Этот путь мы можем не пережить, но он, определенно, изменит все.
Давайте внимательно разберем, как видят этот путь ведущие мыслители в этой области и почему эта революция может произойти быстрее, чем вы могли бы подумать.

Где же мы в этом потоке?

Узконаправленный искусственный интеллект — это машинный интеллект, который равен или превышает человеческий интеллект или эффективность в выполнении определенной задачи. Несколько примеров:

Автомобили битком набиты системами УИИ, от компьютеров, которые определяют, когда должна заработать антиблокировочная тормозная система, до компьютера, который определяет параметры системы впрыска топлива. Самоуправляемые автомобили Google, которые в настоящее время проходят испытания, будут содержать надежные системы УИИ, которые будут воспринимать и реагировать на мир вокруг себя.
Ваш телефон — маленькая фабрика УИИ. Когда вы используете приложение карт, получаете рекомендации по скачиванию приложений или музыки, проверяете погоду на завтра, говорите с Siri или делаете что-либо еще — вы используете УИИ.
Спам-фильтр вашей электронной почты — классический тип УИИ. Он начинает с выяснения того, как отделить спам от пригодных писем, а затем обучается в процессе обработки ваших писем и предпочтений.
А это неловкое чувство, когда еще вчера вы искали шуруповерт или новую плазму в поисковике, а сегодня видите предложения услужливых магазинов на других сайтах? Или когда в социальной сети вам рекомендуют добавить интересных людей в друзья? Все это системы УИИ, которые работают вместе, определяя ваши предпочтения, выуживая из Интернета данные о вас, подбираясь к вам все ближе и ближе. Они анализируют поведение миллионов людей и делают выводы на основе этих анализов так, чтобы продавать услуги крупных компаний или делать их сервисы лучше.
Google Translate — еще одна классическая система УИИ, впечатляюще хороша в определенных вещах. Распознавание голоса — тоже. Когда ваш самолет садится, терминал для него определяет не человек. Цену билета — тоже. Лучшие в мире шашки, шахматы, нарды, балды и прочие игры сегодня представлены узконаправленными искусственными интеллектами.
Поиск Google — это один гигантский УИИ, который использует невероятно хитроумные методы для ранжирования страниц и определения результатов поисковой выдачи.

И это только в потребительском мире. Сложные системы УИИ широко используются в военных, производственных и финансовых отраслях; в медицинских системах (вспомните Watson от IBM) и так далее.
Системы УИИ в настоящем виде не представляют угрозы. В худшем случае глючный или плохо запрограммированный УИИ может привести к локальному бедствию, создать перебои в энергоснабжении, обвалить финансовые рынки и тому подобное. Но хотя УИИ не обладает полномочиями для создания экзистенциальной угрозы, мы должны видеть вещи шире — нас ждет сокрушительный ураган, предвестником которого выступают УИИ. Каждая новая инновация в сфере УИИ добавляет один блок к дорожке, ведущей к ОИИ и ИСИ. Или как хорошо заметил Аарон Саенц, УИИ нашего мира похожи на «аминокислоты первичного бульона юной Земли» — пока неживые компоненты жизни, которые однажды проснутся.

Путь от УИИ к ОИИ: почему так сложно?

Ничто так не раскрывает сложность человеческого интеллекта, как попытка создать компьютер, который будет так же умен. Строительство небоскребов, полеты в космос, секреты Большого Взрыва — все это ерунда по сравнению с тем, чтобы повторить наш собственный мозг или хотя бы просто понять его. В настоящее время мозг человека — самый сложный объект в известной Вселенной.
Возможно, вы даже не подозреваете, в чем сложность создать ОИИ (компьютер, который будет умен, как человек, в общем, а не только в одной области). Создать компьютер, который может перемножать два десятизначных числа за долю секунды — проще простого. Создать такого, который сможет взглянуть на собаку и кошку и сказать, где собака, а где кошка — невероятно сложно. Создать ИИ, который может обыграть гроссмейстера? Сделано. Теперь попробуйте заставить его прочитать абзац из книги для шестилетних детей и не только понять слова, но и их значение. Google тратит миллиарды долларов, пытаясь это сделать. Со сложными вещами — вроде вычислений, расчета стратегий финансовых рынков, перевода языка — с этим компьютер справляется с легкостью, а с простыми вещами — зрение, движение, восприятие — нет. Как выразился Дональд Кнут, «ИИ сейчас делает практически все, что требует «мышления», но не может справиться с тем, что делают люди и животные не задумываясь».
Когда вы задумаетесь о причинах этого, вы поймете, что вещи, которые кажутся нам простейшими в исполнении, только кажутся такими, потому что были оптимизированы для нас (и животных) в ходе сотен миллионов лет эволюции. Когда вы протягиваете руку к объекту, мышцы, суставы, кости ваших плеч, локтей и кистей мгновенно выполняют длинные цепочки физических операций, синхронных с тем, что вы видите, и движут вашу руку в трех измерениях. Вам это кажется простым, потому что за эти процессы отвечает идеальное программное обеспечение вашего мозга. Этот простой трюк позволяет сделать процедуру регистрации нового аккаунта с вводом криво написанного слова (капчи) простым для вас и адом для вредоносного бота. Для нашего мозга в этом нет ничего сложного: нужно просто уметь видеть.
С другой стороны, перемножение крупных чисел или игра в шахматы — новые виды активности для биологических существ, и у нас не было достаточно времени, чтобы совершенствоваться в них (не миллионы лет), поэтому компьютеру несложно нас одолеть. Просто подумайте об этом: что бы вы предпочли, создать программу, которая может перемножать большие числа, или программу, которая узнает букву Б в миллионах ее видов написаний, в самых непредсказуемых шрифтах, от руки или палкой на снегу?
Один простой пример: когда вы смотрите на это, вы и ваш компьютер понимаете, что это чередующиеся квадратики двух разных оттенков.

Но если вы уберете черное, вы сразу опишете полную картинку: цилиндры, плоскости, трехмерные углы, а вот компьютер не сможет.

Он опишет то, что видит, как разнообразие двумерных форм в разных оттенках, что, в принципе, правда. Ваш мозг проделывает тонну работы, интерпретируя глубину, игру теней, свет на картинке. Ниже на картинке компьютер увидит двумерный бело-серо-черный коллаж, тогда как в действительности там трехмерный камень.

И все, что мы только что обозначили, это еще верхушка айсберга, касающаяся понимания и обработки информации. Чтобы выйти на один уровень с человеком, компьютер должен понимать разницу в тонких выражениях лица, разницу между удовольствием, печалью, удовлетворением, радостью, и почему Чацкий молодец, а Молчалин — нет.
Что же делать?

Первый шаг к созданию ОИИ: увеличение вычислительной мощи

Одна из необходимых вещей, которая должна произойти, чтобы ОИИ стал возможным, это увеличение мощности компьютерного оборудования. Если система искусственного интеллекта должна быть такой же умной, как мозг, ей нужно сравняться с мозгом по сырой вычислительной мощности.
Один из способов увеличить эту способность заключается в общем числе вычислений в секунду (OPS), которое может производить мозг, и вы можете определить это число, выяснив максимальное число OPS для каждой структуры мозга и сведя их воедино.
Рэй Курцвейл пришел к выводу, что достаточно взять профессиональную оценку OPS одной структуры и ее вес относительно веса всего мозга, а затем умножить пропорционально, чтобы получить общую оценку. Звучит немного сомнительно, но он проделал это много раз с разными оценками разных областей и всегда приходил к одному и тому же числу: порядка 10^16, или 10 квадриллионов OPS.
Самый быстрый суперкомпьютер в мире, китайский «Тяньхэ-2», уже обошел это число: он способен проделывать порядка 32 квадриллиона операций в секунду. Но «Тяньхэ-2» занимает 720 квадратных метров пространства, сжирает 24 мегаватта энергии (наш мозг потребляет всего 20 ватт) и стоит 390 миллионов долларов. О коммерческом или широком применении речь не идет.
Курцвейл предполагает, что мы оцениваем состояние компьютеров по тому, как много OPS можно купить за 1000 долларов. Когда это число достигнет человеческого уровня — 10 квадриллионов OPS — ОИИ вполне может стать частью нашей жизни.
Закон Мура — исторически надежное правило, определяющее, что максимальная вычислительная мощь компьютеров умножается вдвое каждые два года — подразумевает, что развитие компьютерной техники, как и движение человека по истории, растет по экспоненте. Если соотнести это с правилом тысячи долларов Курцвейла, мы сейчас можем позволить себе 10 триллионов OPS за 1000 долларов.

Экспоненциальный рост вычислительной техники: 20-21 век. Справа логарифмическая линейка и на ней — мозг насекомого, мыши, человека и всех людей; слева — вычислений в секунду за 1000 долларов; снизу — год
Компьютеры за 1000 долларов по своим вычислительным способностям обходят мозг мыши и в тысячу раз слабее человека. Это кажется плохим показателем, пока мы не вспомним, что компьютеры были в триллион раз слабее человеческого мозга в 1985 году, в миллиард — в 1995, и в миллион — в 2005. К 2025 году мы должны получить доступный компьютер, не уступающий по вычислительной мощи нашему мозгу.
Таким образом, сырая мощь, необходимая для ОИИ, уже технически доступна. В течение 10 лет она выйдет из Китая и распространится по миру. Но одной вычислительной мощи недостаточно. И следующий вопрос: как нам обеспечить всей этой мощью интеллект человеческого уровня?

Второй шаг к созданию ОИИ: дать ему разум

Эта часть довольно сложновыполнимая. По правде говоря, никто толком не знает, как сделать машину разумной — мы до сих пор пытаемся понять, как создать разум человеческого уровня, способный отличить кошку от собаки, выделить Б, нарисованную на снегу, и проанализировать второсортный фильм. Однако есть горстка дальновидных стратегий, и в один прекрасный момент одна из них должна сработать.

1. Повторить мозг

Этот вариант похож на то, будто ученые сидят в одном классе с ребенком, который очень умен и хорошо отвечает на вопросы; и даже если они усердно пытаются постигать науку, они и близко не догоняют умницу-ребенка. В конечном итоге они решают: к черту, просто спишем ответы на вопросы у него. В этом есть смысл: мы не можем создать сверхсложный компьютер, так почему бы не взять за основу один из лучших прототипов вселенной: наш мозг?
Научный мир трудится в поте лица, пытаясь выяснить, как работает наш мозг и как эволюция создала такую сложную вещь. По самым оптимистичным оценкам, получится это у них только к 2030 году. Но как только мы поймем все секреты работы мозга, его эффективности и мощности, мы сможем вдохновиться его методами в создании технологий. К примеру, одной из компьютерных архитектур, которая имитирует работу мозга, является нейронная сеть. Она начинает с сети транзисторов «нейронов», соединенных друг с другом входом и выходом, и не знает ничего — как новорожденный. Система «обучается», пытаясь выполнять задания, распознавать рукописный текст и тому подобное. Связи между транзисторами укрепляются в случае правильного ответа и ослабляются в случае неверного. Спустя много циклов вопросов и ответов система образует умные нейронные переплетения, оптимизированные для выполнения определенных задач. Мозг обучается похожим образом, но в куда более сложной манере, и пока мы продолжаем изучать его, мы открываем новые невероятные способы улучшить нейронные сети.
Еще более экстремальный плагиат включает стратегию под названием «эмуляция полного мозга». Цель: нарезать настоящий мозг тонкими пластинками, отсканировать каждую из них, затем точно восстановить трехмерную модель, используя программное обеспечение, а затем воплотить ее в мощном компьютере. Тогда у нас будет компьютер, который официально сможет делать все, что может делать мозг: ему просто нужно будет обучаться и собирать информацию. Если у инженеров получится, они смогут эмулировать настоящий мозг с такой невероятной точностью, что после загрузки на компьютер настоящая личность мозга и его память останутся нетронутыми. Если мозг принадлежал Вадиму перед тем, как он умер, компьютер проснется в роли Вадима, который теперь будет ОИИ человеческого уровня, а мы, в свою очередь, займемся превращением Вадима в невероятно разумный ИСИ, чему он наверняка обрадуется.
Насколько мы далеки от полной эмуляции мозга? По правде говоря, мы только-только эмулировали мозг миллиметрового плоского червя, который содержит 302 нейрона в общей сложности. Мозг человека содержит 100 миллиардов нейронов. Если вам попытки добраться до этого числа кажутся бесполезными, вспомните об экспоненциальных темпах роста прогресса. Следующим шагом станет эмуляция мозга муравья, затем будет мышь, а там и до человека рукой подать.

2. Попытаться пройти по следам эволюции

Что ж, если мы решим, что ответы умного ребенка слишком сложны, чтобы их списать, мы можем попытаться пройти по его следам обучения и подготовки к экзаменам. Что мы знаем? Построить компьютер такой же мощный, как мозг, вполне возможно — эволюция нашего собственного мозга это доказала. И если мозг слишком сложен для эмуляции, мы можем попытаться эмулировать эволюцию. Дело в том, что даже если мы сможем эмулировать мозг, это может быть похоже на попытку построить самолет путем нелепого махания руками, повторяющего движения крыльев птиц. Чаще всего нам удается создать хорошие машины, используя машинно-ориентированный подход, а не точное подражание биологии.
Как имитировать эволюцию, чтобы построить ОИИ? Этот метод под названием «генетические алгоритмы» должен работать примерно так: должен быть производительный процесс и его оценка, и это будет повторяться снова и снова (точно так же биологические существа «существуют» и «оцениваются» по их способности воспроизводиться). Группа компьютеров будет выполнять задачи, а самые успешные из них будут разделять свои характеристики с другими компьютерами, «выводиться». Менее успешные будут беспощадно выбрасываться на свалку истории. Через много-много итераций этот процесс естественного отбора позволит вывести лучшие компьютеры. Сложность заключается в создании и автоматизации циклов выведения и оценки, чтобы процесс эволюции шел сам по себе.
Недостатком копирования эволюции является то, что эволюции требуются миллиарды лет, чтобы что-то сделать, а нам нужно на это всего несколько десятилетий.
Но у нас есть масса преимуществ, в отличие от эволюции. Во-первых, у нее нет дара предвидения, она работает случайно — выдает бесполезные мутации, например, — а мы можем контролировать процесс в рамках поставленных задач. Во-вторых, у эволюции нет цели, в том числе и стремления к интеллекту — иногда в окружающей среде некоторый вид выигрывает не за счет интеллекта (потому что последний потребляет больше энергии). Мы же, с другой стороны, можем нацелиться на увеличение интеллекта. В-третьих, чтобы выбрать интеллект, эволюции необходимо произвести ряд сторонних улучшений — вроде перераспределения потребления энергии клетками, — мы же можем просто убрать лишнее и использовать электричество. Вне всяких сомнений, мы будем быстрее эволюции — но опять же, непонятно, сможем ли мы ее превзойти.

3. Предоставить компьютеры самим себе

Это последний шанс, когда ученые совсем отчаиваются и пытаются запрограммировать программу на саморазвитие. Однако этот метод может оказаться самым перспективным из всех. Идея в том, что мы создаем компьютер, у которого будет два основных навыка: исследовать ИИ и кодировать изменения в себе — что позволит ему не только больше узнавать, но и улучшать собственную архитектуру. Мы можем обучить компьютеры быть компьютерными инженерами самим себе,чтобы они саморазвивались. И их основной задачей будет выяснить, как стать умнее. Подробнее об этом мы еще поговорим.

Все это может случиться очень скоро

Стремительное развитие аппаратного обеспечения и эксперименты с программным обеспечением текут параллельно, и ОИИ может появиться быстро и неожиданно по двум основным причинам:
1. Экспоненциальный рост идет интенсивно, и то, что кажется черепашьими шагами, может быстро перерасти в семимильные прыжки — эта гифка хорошо иллюстрирует этот концепт:

Когда компьютеры превзойдут человека в мыслительных способностях? Объем озера Мичиган (в унциях жидкости) равен объему нашего мозга (в операциях в секунду). Вычислительная мощь удваивается каждые 18 месяцев. При таком темпе вы долгое время не будете видеть никаких результатов, но затем все случится моментально
2. Когда дело доходит до программного обеспечения, прогресс может казаться медленным, но затем один прорыв мгновенно меняет скорость продвижения вперед (хороший пример: во времена геоцентрического мировосприятия, людям было сложно рассчитать работу вселенной, но открытие гелиоцентризма все значительно упростило). Или, когда дело доходит до компьютера, который улучшает сам себя, все может казаться чрезвычайно медленным, но иногда всего одна поправка в системе отделяет ее от тысячекратной эффективности по сравнению с человеком или прежней версией.

Дорога от ОИИ к ИСИ

В определенный момент мы обязательно получим ОИИ — общий искусственный интеллект, компьютеры с общим человеческим уровнем интеллекта. Компьютеры и люди будут жить вместе. Или не будут.
Дело в том, что ОИИ с таким же уровнем интеллекта и вычислительной мощности, что и человек, будет по-прежнему иметь значительные преимущества перед людьми. Например:

Оборудование

Скорость. Нейроны мозга работают с частотой 200 Гц, в то время как современные микропроцессоры (которые значительно медленнее тех, что мы получим к моменту создания ОИИ) работают с частотой 2 ГГц, или в 10 миллионов раз быстрее наших нейронов. И внутренние коммуникации мозга, которые могут двигаться со скоростью 120 м/с, существенно уступают возможности компьютеров использовать оптику и скорость света.
Размер и хранение. Размер мозга ограничен размерами наших черепов, и он не может стать больше, в противном случае внутренним коммуникациям со скоростью 120 м/с потребуется слишком много времени, чтобы проходить от одной структуры к другой. Компьютеры могут расширяться до любого физического размера, задействовать больше оборудования, наращивать оперативную память, длительную память — все это выходит за рамки наших возможностей.
Надежность и долговечность. Не только память компьютера точнее человеческой. Компьютерные транзисторы точнее биологических нейронов и менее склонны к ухудшению (да и вообще, могут быть заменены или отремонтированы). Мозги людей быстрее устают, компьютеры же могут работать без остановки, 24 часа в сутки, 7 дней в неделю.

Программное обеспечение

Возможность редактирования, модернизации, более широкий спектр возможностей. В отличие от человеческого мозга, компьютерную программу можно легко исправить, обновить, провести эксперимент с ней. Модернизации могут также подвергаться зоны, в которых человеческие мозги слабы. Программное обеспечение человека, отвечающее за зрение, великолепно устроено, но с точки зрения инженерии его способности все же весьма ограничены — мы видим только в видимом спектре света.
Коллективная способность. Люди превосходят другие виды в плане грандиозного коллективного разума. Начиная с развития языка и формирования крупных сообществ, двигаясь через изобретения письма и печати и в настоящее время активизируясь с помощью таких инструментов, как интернет, коллективный разум людей является важной причиной, по которой мы можем величать себя венцом эволюции. Но компьютеры все равно будут лучше. Всемирная сеть искусственных интеллектов, работающих на одной программе, постоянно синхронизирующихся и саморазвивающихся, позволит мгновенно добавлять в базу новую информацию, где бы ее ни достали. Такая группа также сможет работать над одной целью, как одно целое, потому что компьютеры не страдают от наличия особого мнения, мотивации и личной заинтересованности, как люди.
ИИ, который, вероятнее всего, станет ОИИ посредством запрограммированного самосовершенствования, не увидит «интеллект человеческого уровня» как важную веху — эта веха важна только для нас. У него не будет никаких причин останавливаться на этом сомнительном уровне. А учитывая те преимущества, которыми будет обладать даже ОИИ человеческого уровня, довольно очевидно, что человеческий интеллект станет для него короткой вспышкой в гонке за превосходством в интеллектуальном плане.
Такое развитие событий может нас весьма и весьма удивить. Дело в том, что, с нашей точки зрения, а) единственный критерий, который позволяет нам определять качество интеллекта, это интеллект животных, который по умолчанию ниже нашего; б) для нас самые умные люди ВСЕГДА умнее самых глупых. Примерно так:

То есть пока ИИ просто пытается достичь нашего уровня развития, мы видим, как он становится умнее, приближаясь к уровню животного. Когда он доберется до первого человеческого уровня — Ник Бостром использует термин «деревенский дурачок», — мы будем в восторге: «Ух ты, он уже как дебил. Круть!». Единственное но заключается в том, что в общем спектре интеллекта людей, от деревенского дурачка до Эйнштейна, диапазон невелик — поэтому после того, как ИИ доберется до уровня дурачка и станет ОИИ, он внезапно станет умнее Эйнштейна.

И что будет дальше?

Взрыв интеллекта

Надеюсь, вам было интересно и весело, потому что именно с этого момента обсуждаемая нами тема становится ненормальной и жуткой. Нам стоит сделать паузу и напомнить себе, что каждый указанный выше и дальше факт — реальная наука и реальные прогнозы на будущее, высказанные самыми выдающимися мыслителями и учеными. Просто имейте в виду.
Итак, как мы обозначили выше, все наши современные модели по достижению ОИИ включают вариант, когда ИИ самосовершенствуется. И как только он становится ОИИ, даже системы и методы, с помощью которых он вырос, становятся достаточно умны, чтобы самосовершенствоваться — если захотят. Возникает интересное понятие: рекурсивное самосовершенствование. Работает оно примерно так.
Некая система ИИ на определенном уровне — скажем, деревенского дурачка — запрограммирована на улучшение собственного интеллекта. Развившись — скажем, до уровня Эйнштейна, — такая система начинает развиваться уже с интеллектом Эйнштейна, ей требуется меньше времени на развитие, а скачки происходят все большие. Они позволяют системе превзойти любого человека, становятся все больше и больше. По мере быстрого развития, ОИИ взмывает до небесных высот в своей интеллектуальности и становится сверхразумной системой ИСИ. Этот процесс называется взрывом интеллекта, и это ярчайший пример закона ускоряющейся отдачи.
Ученые спорят о том, как быстро ИИ достигнет уровня ОИИ — большинство считает, что ОИИ мы получим к 2040 году, всего через 25 лет, что очень и очень мало по меркам развития технологий. Продолжая логическую цепочку, нетрудно предположить, что переход от ОИИ к ИСИ тоже состоится крайне быстро. Примерно так:

«Потребовались десятки лет, прежде чем первая система ИИ достигла самого низкого уровня общего интеллекта, но это, наконец, произошло. Компьютер способен понимать мир вокруг как четырехлетний человек. Внезапно, буквально через час после достижения этой вехи, система выдает великую теорию физики, которая объединяет общую теорию относительности и квантовую механику, чего не может сделать ни один человек. Спустя полтора часа ИИ становится ИСИ, в 170 000 раз умнее любого человека».

Чтобы охарактеризовать сверхинтеллект такого масштаба, у нас даже не найдется подходящих терминов. В нашем мире «умный» означает человека с IQ 130, «глупый» — 85, но у нас нет примеров людей с IQ 12 952. Наши линейки на такое не рассчитаны.
История человечества говорит нам ясно и четко: вместе с интеллектом появляется власть и сила. Это значит, что когда мы создадим искусственный сверхинтеллект, он будет самым мощным созданием в истории жизни на Земле, и все живые существа, включая человека, будут всецело в его власти — и это может случиться уже через двадцать лет.
Если наши скудные мозги были в состоянии придумать Wi-Fi, то что-то умнее нас в сто, тысячу, миллиард раз с легкостью сможет рассчитать положение каждого атома во вселенной в любой момент времени. Все, что можно назвать магией, любая сила, которую приписывают всемогущему божеству, — все это будет в распоряжении ИСИ. Создание технологии, обращающей вспять старение, лечение любых болезней, избавление от голода и даже смерти, управление погодой — все внезапно станет возможным. Также возможен и моментальный конец всей жизни на Земле. Умнейшие люди нашей планеты сходятся во мнении, что как только в мире появится искусственный сверхинтеллект, это ознаменует появление бога на Земле. И остается важный вопрос.
Будет ли он добрым богом?

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. ЧАСТЬ ВТОРАЯ: ВЫМИРАНИЕ ИЛИ БЕССМЕРТИЕ?

Перед вами вторая часть статьи из серии «Подождите, как это все может быть реальностью, почему до сих пор об этом не говорят на каждом углу».
В предыдущей серии стало известно, что к людям планеты Земля постепенно подкрадывается взрыв интеллекта, он пытается развиться из узконаправленного до общечеловеческого интеллекта и, наконец, искусственного сверхинтеллекта.

«Возможно, перед нами лежит чрезвычайно сложная проблема, и неизвестно, сколько времени отведено на ее решение, однако от ее решения может зависеть будущее человечества». — Ник Бостром.

Первая часть статьи началась довольно невинно. Мы обсудили узконаправленный искусственный интеллект (УИИ, который специализируется на решении одной конкретной задачи вроде определения маршрутов или игры в шахматы), в нашем мире его много. Затем проанализировали, почему так сложно вырастить из УИИ общенаправленный искусственный интеллект (ОИИ, или ИИ, который по интеллектуальным возможностям может сравниться с человеком в решении любой задачи). Мы пришли к выводу, что экспоненциальные темпы технического прогресса намекают на то, что ОИИ может появиться довольно скоро. В конце концов мы решили, что как только машины достигнут человеческого уровня интеллекта, может тут же произойти следующее:

Как обычно, мы смотрим на экран, не веря в то, что искусственный сверхинтеллект (ИСИ, который намного умнее любого человека) может появиться уже при нашей жизни, и подбирая эмоции, которые лучше всего бы отражали наше мнение по этому вопросу.
Прежде чем мы углубимся в особенности ИСИ, давайте напомним себе, что значит для машины быть сверхразумной.
Основное различие лежит между быстрым сверхинтеллектом и качественным сверхинтеллектом. Зачастую первое, что приходит в голову при мысли о сверхразумном компьютере, это то, что он может думать намного быстрее человека — в миллионы раз быстрее, и за пять минут постигнет то, на что человеку потребовалось бы лет десять. («Я знаю кунг-фу!»)
Звучит впечатляюще, и ИСИ действительно должен мыслить быстрее любого из людей — но основная отделяющая черта будет заключаться в качестве его интеллекта, а это совсем другое. Люди намного умнее обезьян не потому, что быстрее соображают, а потому что мозги людей содержат ряд хитроумных когнитивных модулей, которые осуществляют сложные лингвистические репрезентации, долгосрочное планирование, абстрактное мышление, на что обезьяны не способны. Если разогнать мозг обезьяны в тысячу раз, умнее нас она не станет — даже через десять лет она не сможет собрать конструктор по инструкции, на что человеку понадобилось бы пару часов максимум. Есть вещи, которым обезьяна никогда не научится, вне зависимости от того, сколько часов потратит или как быстро будет работать ее мозг.
Кроме того, обезьяна не умеет по-человечески, потому что ее мозг просто не в состоянии осознать существование других миров — обезьяна может знать, что такое человек и что такое небоскреб, но никогда не поймет, что небоскреб был построен людьми. В ее мире все принадлежит природе, и макака не только не может построить небоскреб, но и понять, что его вообще может кто-либо построить. И это результат небольшой разницы в качестве интеллекта.
В общей схеме интеллекта, о которой мы говорим, или просто по меркам биологических существ, разница в качестве интеллекта человека и обезьяны крошечная. В предыдущей статье мы разместили биологические когнитивные способности на лесенке:

Чтобы понять, насколько серьезной будет сверхразумная машина, поместите ее на две ступеньки выше, чем человек на этой лестнице. Эта машина может быть сверхразумной совсем чуть-чуть, но ее превосходство над нашими познавательными способностями будет такое же, как наше — над обезьяньими. И как шимпанзе никогда не постигнет, что небоскреб может быть построен, мы можем никогда не понять того, что поймет машина на пару ступенек выше, даже если машина попытается объяснить это нам. А ведь это всего пара ступенек. Машина поумнее увидит в нас муравьев — она будет годами учить нас простейшим с ее позиции вещам, и эти попытки будут совершенно безнадежными.
Тип сверхинтеллекта, о котором мы поговорим сегодня, лежит далеко за пределами этой лестницы. Это взрыв интеллекта — когда чем умнее становится машина, тем быстрее она может увеличивать собственный интеллект, постепенно наращивая обороты. Такой машине могут понадобиться годы, чтобы превзойти шимпанзе в интеллекте, но, возможно, пару часов, чтобы превзойти нас на пару ступенек. С этого момента машина может уже перепрыгивать через четыре ступеньки каждую секунду. Именно поэтому нам стоит понять, что очень скоро после того, как появятся первые новости о том, что машина достигла уровня человеческого интеллекта, мы можем столкнуться с реальностью сосуществования на Земле с чем-то, что будет гораздо выше нас на этой лестнице (а может, и в миллионы раз выше):

И раз уж мы установили, что совершенно бесполезно пытаться понять мощь машины, которая всего на две ступеньки выше нас, давайте определим раз и навсегда, что нет никакого способа понять, что будет делать ИСИ и какими будут последствия этого для нас. Любой, кто заявляет о противоположном, просто не понимает, что означает сверхинтеллект.
Эволюция медленно и постепенно развивала биологический мозг на протяжении сотен миллионов лет, и если люди создадут машину со сверхинтеллектом, в некотором смысле мы превзойдем эволюцию. Или же это будет частью эволюции — возможно, эволюция так и действует, что интеллект развивается постепенно, пока не достигнет переломного момента, предвещающего новое будущее для всех живых существ:

По причинам, которые мы обсудим позже, огромная часть научного сообщества считает, что вопрос не в том, доберемся ли мы до этого переломного момента, а когда.
Где мы окажемся после этого?
Думаю, никто в этом мире, ни я, ни вы, не сможет сказать, что случится, когда мы достигнем переломного момента. Оксфордский философ и ведущий теоретик ИИ Ник Бостром считает, что мы можем свести все возможные результаты к двум большим категориям.
Во-первых, глядя на историю, мы знаем о жизни следующее: виды появляются, существуют определенное время, а затем неизбежно падают с бревна жизненного баланса и вымирают.

«Все виды вымирают» было таким же надежным правилом в истории, как и «все люди когда-нибудь умирают». 99,9% видов упали с жизненного бревна, и совершенно очевидно, что если некоторый вид держится на этом бревне слишком долго, порыв природного ветра или внезапный астероид перевернет это бревно. Бостром называет вымирание состоянием аттрактора — места, на котором все виды балансируют, чтобы не упасть туда, откуда не вернулся пока ни один вид.
И хотя большинство ученых признают, что у ИСИ будет возможность обречь людей на вымирание, многие также верят, что использование возможностей ИСИ позволит отдельным людям (и виду в целом) достичь второго состояния аттрактора — видового бессмертия. Бостром считает, что бессмертие вида такой же аттрактор, как и вымирание видов, то есть, если мы доберемся до этого, мы будем обречены на вечное существование. Таким образом, даже если все виды до текущего дня падали с этой палки в омут вымирания, Бостром считает, что у бревна есть две стороны, и просто не появился на Земле такой интеллект, который поймет, как упасть на другую сторону.

Если Бостром и другие правы, а, судя по всей доступной нам информации, они вполне могут таковыми быть, нам нужно принять два весьма шокирующих факта:

Появление ИСИ впервые в истории откроет возможность для вида достичь бессмертия и выпасть из фатального цикла вымирания.
Появление ИСИ окажет настолько невообразимо огромное влияние, что, скорее всего, столкнет человечество с этого бревна в одну или другую сторону.

Вполне возможно, что когда эволюция достигает такого переломного момента, она всегда ставит точку в отношениях людей с потоком жизни и создает новый мир, с людьми или без.
Отсюда вытекает один интересный вопрос, который только лентяй не задал бы: когда мы доберемся до этого переломного момента и куда он нас определит? Никто в мире не знает ответа на этот двойной вопрос, но очень много умных людей десятилетиями пытались это понять.
Оставшуюся часть статьи мы будем выяснять, к чему они пришли.
* * *
Начнем с первой части этого вопрос: когда мы должны достичь переломного момента? Другими словами: сколько осталось времени до тех пор, пока первая машина не достигнет сверхинтеллекта?
Мнения разнятся от случая к случаю. Многие, среди которых профессор Вернор Виндж, ученый Бен Герцель, соучредитель Sun Microsystems Билл Джой, футуролог Рэй Курцвейл, согласились с экспертом в области машинного обучения Джереми Говардом, когда он представил на TED Talk следующий график:

Эти люди разделяют мнение, что ИСИ появится скоро — этот экспоненциальный рост, который сегодня кажется нам медленным, буквально взорвется в ближайшие несколько десятилетий.
Другие вроде соучредителя Microsoft Пола Аллена, психолога исследований Гари Маркуса, компьютерного эксперта Эрнеста Дэвиса и технопредпринимателя Митча Капора считают, что мыслители вроде Курцвейла серьезно недооценивают масштабы проблемы, и думают, что мы не так-то и близки к переломному моменту.
Лагерь Курцвейла возражает, что единственная недооценка, которая имеет место, — это игнорирование экспоненциального роста, и можно сравнить сомневающихся с теми, кто смотрел на медленно расцветающий интернет в 1985 году и утверждал, что он не будет иметь влияния на мир в ближайшем будущем.
«Сомневающиеся» могут парировать, мол, что прогрессу сложнее делать каждый последующий шаг, когда дело доходит до экспоненциального развития интеллекта, что нивелирует типичную экспоненциальную природу технологического прогресса. И так далее.
Третий лагерь, в котором находится Ник Бостром, не согласен ни с первыми, ни со вторыми, утверждая, что а) все это абсолютно может произойти в ближайшем будущем; и б) нет никаких гарантий в том, что это произойдет вообще или потребует больше времени.
Другие же вроде философа Хьюберта Дрейфуса считают, что все эти три группы наивно полагают, что переломный момент вообще будет, а также что, скорее всего, мы никогда не доберемся до ИСИ.
Что получается, когда мы складываем все эти мнения вместе?
В 2013 году Бостром провел опрос, в котором опросил сотни экспертов в сфере искусственного интеллекта в ходе ряда конференций на следующую тему: «Каков будет ваш прогноз по достижению ОИИ человеческого уровня?» и попросил назвать оптимистичный год (в который мы будем иметь ОИИ с 10-процентным шансом), реалистичное предположение (год, в который у нас с 50-процентной вероятностью будет ОИИ) и уверенное предположение (самый ранний год, в который ОИИ появится с 90-процентной вероятностью). Вот результаты:

Средний оптимистичный год (10%): 2022
Средний реалистичный год (50%): 2040
Средний пессимистичный год (90%): 2075

Среднестатистические опрошенные считают, что через 25 лет мы скорее будем иметь ОИИ, чем нет. 90-процентная вероятность появления ОИИ к 2075 году означает, что если вы сейчас еще довольно молоды, это наверняка произойдет при вашей жизни.
Отдельное исследование, проведенное недавно Джеймсом Барратом (автором нашумевшей и очень хорошей книги «Наше последнее изобретение», отрывки из которой я представлял вниманию читателей Hi-News.ru) и Беном Герцелем на ежегодной конференции, посвященной ОИИ, AGI Conference, просто показало мнения людей относительно года, в который мы доберемся до ОИИ: к 2030, 2050, 2100, позже или никогда. Вот результаты:

К 2030: 42% респондентов
К 2050: 25%
К 2100: 20%
После 2100: 10%
Никогда: 2%

Похоже на результаты Бострома. В опросе Баррата, более двух третей опрошенных считают, что ОИИ будет здесь к 2050 году, и менее половины считают, что ОИИ появится в ближайшие 15 лет. Также бросается в глаза то, что только 2% опрошенных в принципе не видят ОИИ в нашем будущем.
Но ОИИ — это не переломный момент, как ИСИ. Когда, по мнению экспертов, у нас будет ИСИ?
Бостром опросил экспертов, когда мы достигнем ИСИ: а) через два года после достижения ОИИ (то есть почти мгновенно вследствие взрыва интеллекта); б) через 30 лет. Результаты?
Среднее мнение сложилось так, что быстрый переход от ОИИ к ИСИ произойдет с 10-процентной вероятностью, но через 30 лет или меньше он произойдет с 75-процентной вероятностью.
Из этих данных мы не знаем, какую дату респонденты назвали бы 50-процентным шансом появления ИСИ, но на основе двух ответов выше давайте допустим, что это 20 лет. То есть ведущие мировые эксперты из области ИИ считают, что переломный момент настанет в 2060 году (ОИИ появится в 2040 году + понадобится лет 20 на переход от ОИИ к ИСИ).

Конечно, все вышеперечисленные статистики являются спекулятивными и просто представляют мнение экспертов в сфере искусственного интеллекта, но они также указывают, что большинство заинтересованных людей сходятся в том, что к 2060 году ИСИ, скорее всего, должен прибыть. Всего через 45 лет.
Перейдем ко второму вопросу. Когда мы дойдем до переломного момента, по какую сторону фатального выбора нас определит?
Сверхинтеллект будет обладать мощнейшей силой, и критическим вопросом для нас будет следующий:
Кто или что будет контролировать эту силу и какой будет его мотивация?
Ответ на этот вопрос будет зависеть от того, получит ИСИ невероятно мощное развитие, неизмеримо ужасающее развитие или что-то между этими двумя вариантами.
Конечно, сообщество экспертов пытается ответить и на эти вопросы. Опрос Бострома проанализировал вероятность возможных последствий влияния ОИИ на человечество, и выяснилось, что с 52-процентным шансом все пройдет очень хорошо и с 31-процентным шансом все пройдет либо плохо, либо крайне плохо. Опрос, прикрепленный в конце предыдущей части этой темы, проведенный среди вас, дорогие читатели Hi-News, показал примерно такие же результаты. Для относительно нейтрального исхода вероятность составила только 17%. Другими словами, мы все считаем, что появление ОИИ станет грандиозным событием. Также стоит отметить, что этот опрос касается появления ОИИ — в случае с ИСИ, процент нейтральности будет ниже.
Прежде чем мы углубимся еще дальше в рассуждения о плохой и хорошей сторонах вопроса, давайте объединим обе части вопроса — «когда это произойдет?» и «хорошо это или плохо?» в таблицу, которая охватывает взгляды большинства экспертов.

О главном лагере мы поговорим через минуту, но сначала определитесь со своей позицией. Скорее всего, вы находитесь там же, где и я, до того как стал заниматься этой темой. Есть несколько причин, по которым люди вообще не думают на эту тему:

Как уже упоминалось в первой части, фильмы серьезно запутали людей и факты, представляя нереалистичные сценарии с искусственным интеллектом, которые привели к тому, что мы вообще не должны воспринимать ИИ всерьез. Джеймс Баррат сравнил эту ситуацию с тем, как если бы Центры по контролю заболеваний выпустили серьезное предупреждение о вампирах в нашем будущем.
Из-за так называемых когнитивных предубеждений нам очень трудно поверить в реальность чего-то, пока у нас нет доказательств. Можно уверенно представить компьютерщиков 1988 года, которые регулярно обсуждали далеко идущие последствия появления интернета и чем он мог стать, но люди едва ли верили, что он изменит их жизнь, пока этого не случилось на самом деле. Просто компьютеры не умели делать этого в 1988 году, и люди просто смотрели на свои компьютеры и думали: «Серьезно? Это то, что изменит мир?». Их воображение было ограничено тем, чему их научил личный опыт, они знали, что такое компьютер, и было сложно представить, на что компьютер станет способным в будущем. То же самое происходит сейчас с ИИ. Мы слышали, что он станет серьезной штукой, но поскольку пока не столкнулись с ним лицом к лицу и в целом наблюдаем довольно слабые проявления ИИ в нашем современном мире, нам довольно трудно поверить, что он кардинально изменит нашу жизнь. Именно против этих предубеждений выступают многочисленные эксперты из всех лагерей, а также заинтересованные люди: пытаются привлечь наше внимание сквозь шум повседневного коллективного эгоцентризма.
Даже если бы мы поверили во все это — сколько раз вы сегодня задумывались о том факте, что проведете остаток вечности в небытии? Немного, согласитесь. Даже если этот факт намного важнее всего, чем вы занимаетесь изо дня в день. Все потому, что наши мозги обычно сосредоточены на небольших повседневных вещах, вне зависимости от того, насколько бредовой будет долгосрочная ситуация, в которой мы оказались. Просто мы так устроены.

Одна из целей настоящей статьи — вывести вас из лагеря под названием «Мне нравится думать о других вещах» и поместить в лагерь экспертов, даже если вы просто стоите на распутье между двумя пунктирными линиями на квадрате выше, будучи полностью неопределившимися.
В ходе исследований становится очевидно, что мнения большинства людей быстро уходят в сторону «главного лагеря», а три четверти экспертов попадают в два подлагеря в главном лагере.

Мы полностью посетим оба этих лагеря. Давайте начнем с веселого.

Почему будущее может быть нашей величайшей мечтой?

По мере того, как мы изучаем мир ИИ, мы обнаруживаем на удивление много людей в зоне комфорта. Люди в правом верхнем квадрате гудят от волнения. Они считают, что мы упадем по хорошую сторону бревна, а также уверены, что мы неизбежно к этому придем. Для них будущее — это все только самое лучшее, о чем только можно мечтать.
Пункт, который отличает этих людей от других мыслителей, состоит не в том, что они хотят оказаться на счастливой стороне — а в том, что они уверены, что нас ждет именно она.
Эта уверенность выходит из споров. Критики считают, что она исходит от ослепительного волнения, которое затмевает потенциальные негативные стороны. Но сторонники говорят, что мрачные прогнозы всегда наивны; технологии продолжают и всегда будут помогать нам больше, чем вредить.
Вы вправе выбрать любое из этих мнений, но отложите скептицизм и хорошенько взгляните на счастливую сторону бревна баланса, попытавшись принять тот факт, что все, о чем вы читаете, возможно, уже произошло. Если бы вы показали охотникам-собирателям наш мир уюта, технологий и бесконечного изобилия, им он показался бы волшебным вымыслом — а мы ведем себя достаточно скромно, не в силах допустить, что такая же непостижимая трансформация ждет нас в будущем.
Ник Бостром описывает три пути, по которым может пойти сверхразумная система искусственного интеллекта:

Оракул, который может ответить на любой точно поставленный вопрос, включая сложные вопросы, на которые люди не могут ответить — к примеру, «как сделать автомобильный двигатель более эффективным?». Google — примитивный тип «оракула».
Джинн, который выполнит любую команду высокого уровня — использует молекулярный ассемблер, чтобы создать новую, более эффективную версию автомобильного двигателя — и будет ждать следующей команды.
Суверен, который получит широкий доступ и возможность свободно функционировать в мире, принимая собственные решения и улучшая процесс. Он изобретет более дешевый, быстрый и безопасный способ частного передвижения, нежели автомобиль.

Эти вопросы и задачи, которые кажутся сложными для нас, покажутся сверхразумной системе будто кто-то попросил улучшить ситуацию «у меня карандаш упал со стола», в которой вы просто подняли бы его и положили обратно.
Элиэзер Юдковский, американский специалист по искусственному интеллект, хорошо подметил:

«Сложных проблем не существует, только проблемы, которые сложны для определенного уровня интеллекта. Перейти на ступеньку выше (в плане интеллекта), и некоторые проблемы внезапно из разряда «невозможных» перейдут в стан «очевидных». Еще на ступеньку выше — и все они станут очевидными».

Есть много нетерпеливых ученых, изобретателей и предпринимателей, которые на нашей таблице выбрали себе зону уверенного комфорта, но для прогулки к лучшему в этом лучшем из миров нам нужен только один гид.
Рэй Курцвейл вызывает двоякие ощущения. Некоторые боготворят его идеи, некоторые презирают. Некоторые держатся посередке — Дуглас Хофштадтер, обсуждая идеи книг Курцвейла, красноречиво подметил, что «это как если бы вы взяли много хорошей еды и немного собачьих какашек, а затем смешали все так, что невозможно понять, что хорошо, а что плохо».
Нравятся вам его идеи или нет, мимо них невозможно пройти без тени интереса. Он начал изобретать вещи еще будучи подростком, а в последующие годы изобрел несколько важных вещей, включая первый планшетный сканер, первый сканер, конвертирующий текст в речь, хорошо известный музыкальный синтезатор Курцвейла (первое настоящее электрическое пианино), а также первый коммерчески успешный распознаватель речи. Также он автор пяти нашумевших книг. Курцвейла ценят за его смелые предсказания, и его «послужной список» весьма хорош — в конце 80-х, когда интернет был еще в зачаточном состоянии, он предположил, что к 2000-м годам Сеть станет глобальным феноменом. The Wall Street Journal назвал Курцвейла «беспокойным гением», Forbes — «глобальной думающей машиной», Inc. Magazine — «законным наследником Эдисона», Билл Гейтс — «лучшим из тех, кто прогнозирует будущее искусственного интеллекта». В 2012 году сооснователь Google Ларри Пейдж пригласил Курцвейла на пост технического директора. В 2011 году он стал соучредителем Singularity University, который приютило NASA и который частично спонсирует Google.
Его биография имеет значение. Когда Курцвейл рассказывает о своем видении будущего, это похоже на бред сумасшедшего, но по-настоящему сумасшедшее в этом то, что он далеко не сумасшедший — он невероятно умный, образованный и здравомыслящий человек. Вы можете считать, что он ошибается в прогнозах, но он не дурак. Прогнозы Курцвейла разделяют многие эксперты «комфортной зоны», Питер Диамандис и Бен Герцель. Вот что произойдет, по его мнению.

Хронология

Курцвейл считает, что компьютеры дойдут до уровня общего искусственного интеллекта (ОИИ) к 2029 году, а к 2045 у нас не только будет искусственный сверхинтеллект, но и совершенно новый мир — время так называемой сингулярности. Его хронология ИИ до сих пор считается возмутительно преувеличенной, но за последний 15 лет быстрое развитие систем узконаправленного искусственного интеллекта (УИИ) заставило многих экспертов перейти на сторону Курцвейла. Его предсказания по-прежнему остаются более амбициозными, чем в опросе Бострома (ОИИ к 2040, ИСИ к 2060), но не намного.
По Курцвейлу, к сингулярности 2045 года приводит три одновременных революции в сферах биотехнологий, нанотехнологий и, что более важно, ИИ. Но прежде чем мы продолжим — а нанотехнологии неотрывно следуют за искусственным интеллектом, — давайте уделим минуту нанотехнологиям.

Несколько слов о нанотехнологиях

Нанотехнологиями мы обычно называем технологии, которые имеют дело с манипуляцией материи в пределах 1-100 нанометров. Нанометр — это одна миллиардная метра, или миллионная часть миллиметра; в пределах 1-100 нанометров можно уместить вирусы (100 нм в поперечнике), ДНК (10 нм в ширину), молекулы гемоглобина (5 нм), глюкозы (1 нм) и другое. Если нанотехнологии когда-нибудь станут нам подвластны, следующим шагом будут манипуляции с отдельными атомами, которые меньше всего на один порядок (~,1 нм).
Чтобы понять, где люди сталкиваются с проблемами, пытаясь управлять материей в таких масштабах, давайте перенесемся на больший масштаб. Международная космическая станция находится в 481 километре над Землей. Если бы люди были гигантами и головой задевали МКС, они были бы в 250 000 раз больше, чем сейчас. Если вы увеличите что-то от 1 до 100 нанометров в 250 000 раз, вы получите 2,5 сантиметра.
Нанотехнологии — это эквивалент человека высотой с орбиту МКС, который пытается управлять вещами размером с песчинку или глазное яблоко. Чтобы добраться до следующего уровня — управления отдельными атомами — гиганту придется тщательно позиционировать объекты диаметром в 1/40 миллиметра. Обычным людям понадобится микроскоп, чтобы их разглядеть.
Впервые о нанотехнологиях заговорил Ричард Фейнман в 1959 году. Тогда он сказал: «Принципы физики, насколько я могу судить, не говорят против возможности управления вещами атом за атомом. В принципе, физик мог бы синтезировать любое химическое вещество, записанное химиком. Как? Размещая атомы там, где говорит химик, чтобы получить вещество». В этом вся простота. Если вы знаете, как передвигать отдельные молекулы или атомы, вы можете практически все.
Нанотехнологии стали серьезным научным полем в 1986 году, когда инженер Эрик Дрекслер представил их основы в своей фундаментальной книге «Машины создания», однако сам Дрекслер считает, что те, кто хочет узнать больше о современных идеях в нанотехнологиях, должны прочитать его книгу 2013 года «Полное изобилие» (Radical Abundance).

Несколько слов о «серой слизи»
Углубляемся в нанотехнологии. В частности, тема «серой слизи» — одна из не самых приятных тем в области нанотехнологий, о которой нельзя не сказать. В старых версиях теории нанотехнологий был предложен метод наносборки, включающий создание триллионов крошечных нанороботов, которые будут работать совместно, создавая что-то. Один из способов создания триллионов нанороботов — создать одного, который сможет самовоспроизводиться, то есть из одного — два, из двух — четыре и так далее. За день появится несколько триллионов нанороботов. Такова сила экспоненциального роста. Забавно, не так ли?
Забавно, но ровно до тех пор, пока не приведет к апокалипсису. Проблема в том, что сила экспоненциального роста, которая делает довольно удобным способ быстрого создания триллиона наноботов, делает саморепликацию страшной штукой в перспективе. Что, если система заглючит, и вместо того, чтобы остановить репликацию на паре триллионов, наноботы продолжат плодиться? Что, если весь этот процесс зависит от углерода? Биомасса Земли содержит 10^45 атомов углерода. Нанобот должен состоять из порядка 10^6 атомов углерода, поэтому 10^39 наноботов сожрут всю жизнь на Земле, и это случится всего за 130 репликаций. Океан наноботов («серая слизь») наводнит планету. Ученые думают, что наноботы смогут реплицироваться за 100 секунд, а это значит, что простая ошибка может убить всю жизнь на Земле всего за 3,5 часа.
Может быть и хуже — если до нанотехнологий дойдут руки террористов и неблагоприятно настроенных специалистов. Они могли бы создать несколько триллионов наноботов и запрограммировать их тихо распространиться по миру за пару недель. Затем, по одному нажатию кнопки, всего за 90 минут они съедят вообще все, без шансов.
Хотя эта страшилка широко обсуждалась в течение многих лет, хорошая новость в том, что это всего лишь страшилка. Эрик Дрекслер, который ввел термин «серая слизь», на днях рассказал следующее: «Люди любят страшилки, и эта входит в разряд страшилок о зомби. Эта идея сама по себе уже ест мозги».

После того как мы доберемся до самого низа нанотехнологий, мы сможем использовать их для создания технических устройств, одежды, еды, биопродуктов — клеток крови, борцов с вирусами и раком, мышечных тканей и т. п. — чего угодно. И в мире, который использует нанотехнологии, стоимость материала больше не будет привязана к его дефициту или сложности процесса его изготовления, а скорее к сложности атомной структуры. В мире нанотехнологий алмаз может стать дешевле ластика.
Мы пока и близко не там. И не совсем понятно, недооцениваем мы или переоцениваем сложность этого пути. Однако все идет к тому, что нанотехнологии не за горами. Курцвейл предполагает, что уже к 2020-м годам они у нас будут. Мировые государства знают, что нанотехнологии могут обещать грандиозное будущее, и поэтому инвестируют в них многие миллиарды.
Просто представьте, какие возможности получит сверхразумный компьютер, если доберется до надежного наномасштабного ассемблера. Но нанотехнологии — это наша идея, и мы пытаемся ее оседлать, нам сложно. Что, если для системы ИСИ они будут просто шуткой, и сам ИСИ придумает технологии, которые будут в разы мощнее всего, что мы вообще в принципе можем предположить? Мы же договорились: никто не может предположить, на что будет способен искусственный сверхинтеллект? Есть мнение, что наши мозги неспособны предсказать даже минимума из того, что будет.

Что ИИ мог бы сделать для нас?

Вооружившись сверхинтеллектом и всеми технологиями, которые мог бы создать сверхинтеллект, ИСИ будет в состоянии, вероятно, решить все проблемы человечества. Глобальное потепление? ИСИ сначала прекратит выбросы углекислого газа, придумав массу эффективных способов добычи энергии, не связанных с ископаемым топливом. Затем он придумает эффективный инновационный способ удаления избытка CO2 из атмосферы. Рак и другие заболевания? Не проблема — здравоохранение и медицина изменятся так, что невозможно представить. Мировой голод? ИСИ будет использовать нанотехнологии для создания мяса, идентичного натуральному, с нуля, настоящее мясо.
Нанотехнологии смогут превратить груду мусора в чан свежего мяса или другой еды (необязательно даже в привычной форме — представьте гигантский яблочный куб) и распространить всю эту еду по миру, используя продвинутые системы транспортировки. Конечно, это будет замечательно для животных, которым больше не придется умирать ради еды. ИСИ также может сделать много другого вроде сохранения вымирающих видов или даже возврата уже вымерших по сохраненной ДНК. ИСИ может разрешить наши самые сложные макроэкономические проблемы — наши самые сложные экономические дебаты, вопросы этики и философии, мировой торговли — все это будет мучительно очевидно для ИСИ.
Но есть кое-что особенное, что ИСИ мог бы сделать для нас. Манящее и дразнящее, что изменило бы все: ИСИ может помочь нам справиться со смертностью. Постепенно постигая возможности ИИ, возможно, и вы пересмотрите все свои представления о смерти.
У эволюции не было никаких причин продлевать нашу продолжительность жизни больше, чем она есть сейчас. Если мы живем достаточно долго, чтобы нарожать и воспитать детей до того момента, когда они смогут постоять за себя, эволюции этого достаточно. С эволюционной точки зрения, 30+ лет для развития достаточно, и нет никаких причин для мутаций, продлевающих жизнь и снижающих ценность естественного отбора. Уильям Батлер Йетс назвал наш вид «душой, прикрепленной к умирающему животному». Не очень-то весело.
И поскольку все мы когда-нибудь умираем, мы живем с мыслью о том, что смерть неизбежна. Мы думаем о старении со временем — продолжая двигаться вперед и не имея возможности остановить этот процесс. Но мысль о смерти вероломна: захваченные ею, мы забываем жить. Ричард Фейнман писал:

«В биологии есть замечательная вещь: в этой науке нет ничего, что говорило бы о необходимости смерти. Если мы хотим создать вечный двигатель, мы понимаем, что обнаружили достаточно законов в физике, которые либо указывают на невозможность этого, либо на то, что законы ошибочны. Но в биологии нет ничего, что указывало бы на неизбежность смерти. Это приводит меня к мысли, что она не так уж и неизбежна, и остается только вопрос времени, прежде чем биологи обнаружат причину этой проблемы, этого ужасного универсального заболевания, оно будет излечено».

Дело в том, что старение никак не связано со временем. Старение заключается в том, что физические материалы тела изнашиваются. Части автомобиля тоже деградируют — но разве это старение неизбежно? Если вы будете ремонтировать автомобиль по мере изнашивания частей, он будет работать вечно. Человеческое тело ничем не отличается — просто более сложное.
Курцвейл говорит о разумных, подключенных к Wi-Fi наноботах в кровотоке, которые могли бы выполнять бесчисленные задачи для человеческого здоровья, включая регулярный ремонт или замену изношенных клеток в любой части тела. Если усовершенствовать этот процесс (или найти альтернативу, предложенную более умным ИСИ), он не только будет поддерживать тело здоровым, он может обратить вспять старение. Разница между телом 60-летнего и 30-летнего заключается в горстке физических моментов, которые можно было бы исправить при наличии нужных технологий. ИСИ мог бы построить машину, в которую человек бы заходил 60-летним, а выходил 30-летним.
Даже деградирующий мозг можно было бы обновить. ИСИ наверняка знал бы, как проделать это, не затрагивая данные мозга (личность, воспоминания и т. д.). 90-летний старик, страдающий от полной деградации мозга, мог бы пройти переподготовку, обновиться и вернуться в начало своей жизненной карьеры. Это может показаться абсурдным, но тело — это горстка атомов, и ИСИ наверняка мог бы с легкостью ими манипулировать, любыми атомными структурами. Все не так абсурдно.
Курцвейл также считает, что искусственные материалы будут интегрироваться в тело все больше и больше по мере движения времени. Для начала органы можно было бы заменить сверхпродвинутыми машинными версиями, которые работали бы вечно и никогда не подводили. Затем мы могли бы провести полный редизайн тела, заменить красные кровяные клетки идеальными наноботами, которые двигались бы самостоятельно, устранив необходимость в сердце вообще. Мы также могли бы улучшить наши когнитивные способности, начать думать в миллиарды быстрее и получить доступ ко всей доступной человечеству информации с помощью облака.
Возможности для постижения новых горизонтов были бы воистину безграничными. Людям удалось наделить секс новым назначением, они занимаются им для удовольствия, а не только для воспроизводства. Курцвейл считает, что мы можем проделать то же самое с едой. Наноботы могли бы доставлять идеальное питание прямо в клетки тела, позволяя нездоровым веществам проходить через тело насквозь. Теоретик нанотехнологий Роберт Фрейтас уже разработал замену кровяным клеткам, которые, будучи имплементированными в тело человека, могут позволить ему не дышать в течение 15 минут — и это придумал человек. Представьте, когда власть получит ИСИ.
В конце концов, Курцвейл считает, что люди достигнут точки, когда станут полностью искусственными; времени, когда мы будем смотреть на биологические материалы и думать о том, насколько примитивными были; времени, когда мы будем читать о ранних этапах истории человечества, поражаясь тому, как микробы, несчастные случаи, заболевания или просто старость могли убить человека против его воли. В конечном итоге люди победят собственную биологию и станут вечными — таков путь по счастливую сторону бревна баланса, о котором мы говорим с самого начала. И люди, которые в это верят, уверены также и в том, что нас ждет такое будущее очень и очень скоро.
Вы наверняка не будете удивлены тому, что идеи Курцвейла вызвали суровую критику. Его сингулярность в 2045 году и последующая вечная жизнь для людей получили название «вознесение ботаников» или «разумное создание людей с IQ 140». Другие усомнились в оптимистичных временных рамках, понимании тела и мозга человека, напомнили о законе Мура, который пока никуда не девается. На каждого эксперта, который верит в идеи Курцвейла, приходится три, которые считают, что он ошибается.
Но самое интересное в этом то, что большинство экспертов, не согласных с ним, в целом не говорят, что это невозможно. Вместо того чтобы сказать «ерунда, такого никогда не случится», они говорят что-то вроде «все это случится, если мы доберемся до ИСИ, но загвоздка как раз в этом». Бостром, один из признанных экспертов ИИ, предупреждающих об опасности ИИ, также признает:

«Едва ли останется хоть какая-нибудь проблема, которую сверхинтеллект не в силах будет разрешить или хотя бы помочь нам решить. Болезни, бедность, разрушение окружающей среды, страдания всех видов — все это сверхинтеллект при помощи нанотехнологий сможет решить в момент. Также сверхинтеллект может дать нам неограниченный срок жизни, остановив и обратив вспять процессы старения, используя наномедицину или возможность загружать нас в облако. Сверхинтеллект также может создать возможности для бесконечного увеличения интеллектуальных и эмоциональных возможностей; он может посодействовать нам в создании мира, в котором мы будем жить в радости и понимании, приближаясь к своим идеалам и регулярно воплощая свои мечты».

Это цитата одного из критиков Курцвейла, однако, признающего, что все это возможно, если нам удастся создать безопасный ИСИ. Курцвейл просто определил, каким должен стать искусственный сверхинтеллект, если он вообще станет возможным. И если он будет добрым богом.
Наиболее очевидная критика сторонников «зоны комфорта» заключается в том, что они могут чертовски ошибаться, оценивая будущее ИСИ. В своей книге «Сингулярность» Курцвейл посвятил 20 страниц из 700 потенциальным угрозам ИСИ. Вопрос не в том, когда мы доберемся до ИСИ, вопрос в том, какой будет его мотивация. Курцвейл отвечает на этот вопрос с осторожностью: «ИСИ вытекает из многих разрозненных усилий и будет глубоко интегрирован в инфраструктуру нашей цивилизации. По сути, он будет тесно встроен в наш организм и мозг. Он будет отражать наши ценности, потому что будет с нами одним».
Но если ответ таков, почему так много умных людей в этом мире обеспокоены будущим искусственного интеллекта? Почему Стивен Хокинг говорит, что разработка ИСИ «может означать конец человеческой расы»? Билл Гейтс говорит, что он «не понимает людей, которые не обеспокоены» этим. Элон Маск опасается, что мы «призываем демона». Почему многие эксперты считают ИСИ самой большой угрозой для человечества?

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ. ЧАСТЬ ТРЕТЬЯ: ПОЧЕМУ ОН МОЖЕТ СТАТЬ НАШИМ ПОСЛЕДНИМ ИЗОБРЕТЕНИЕМ?

Одна из причин, которая привела меня к ИИ, состоит в том, что тема «плохих роботов» всегда смущала меня. Все фильмы о механических злыднях казались совершенно нереальными, и в целом сложно представить реальную ситуацию, в которой ИИ мог быть воистину опасным. Роботов делаем мы, так почему бы не делать их, упреждая любые негативные последствия? Разве мы не соблюдаем правовые критерии и этические нормы? Разве мы не можем в любой момент отрезать ИИ питание и погасить его? С чего бы роботам вообще делать пакости? Почему робот вообще должен чего-то «хотеть»? Мой скепсис был непробиваем. Но я продолжал впитывать, что говорят умные люди об этом.
Эти люди придерживаются примерно такого мнения:

Людей в «зоне тревоги» нельзя назвать паникерами или «всёпропальщиками», но они нервничают и очень напряжены. Находиться в центре таблицы не означает, что вы считаете прибытие ИСИ нейтральным событием — у таких людей есть свой лагерь, — это означает, что вы верите как в плохие, так и в хорошие стороны этого пришествия, но до конца не уверены в распределении процентов вероятности.
Часть всех этих людей наполнены волнением на тему того, что искусственный сверхинтеллект мог бы сделать для нас — примерно так же мог быть взволнован Индиана Джонс перед началом поисков утраченного ковчега. Когда все случится, волнение поутихнет или перейдет в другой лейтмотив. Только осторожность и выдержка Индианы Джонса позволяют ему пройти все препятствия, преодолеть все преграды и выйти сухим из воды. Людям в «зоне тревоги» довольно сложно рисковать сломя голову, поэтому они пытаются вести себя осторожно.
Что же именно делает «зону тревоги» тревожной?
В широком смысле, когда речь идет о разработке сверхразумного искусственного интеллекта, мы создаем то, что, вероятно, изменит все, но совершенно непредсказуемым образом, и мы не знаем, когда это случится. Ученый Дэнни Хиллис сравнивает это событие с тем, когда «одноклеточные организмы превращались в многоклеточные. Мы — амебы, и мы понятия не имеем, что создаем». Ник Бостром опасается, что создание чего-то умнее нас — классическая дарвиновская ошибка, и сравнивает ее с тем, что воробьи доверяют сове охранять свое гнездо, пока птенцы не вырастут, игнорируя предупреждения других воробьев.
И если вы объедините всю непредсказуемость события с уверенностью в том, что оно повлечет существенные перемены, вы откроете дверь к ужасной фразе. Экзистенциальный риск. Угроза для жизни. Глобальная катастрофа. В русском языке словосочетание «экзистенциальный риск» используется мало, но в связи с работами Бострома переводчики предпочитают использовать термин «глобальная катастрофа».
Глобальная катастрофа — это то, что может повлечь за собой уничтожение человечества. Как правило, глобальная катастрофа означает вымирание. Бостром привел следующую таблицу:

Как видите, пункт «глобальная катастрофа» зарезервирован для чего-то, что поглощает виды, поглощает поколения (то есть является постоянным), уничтожает их или приводит к смерти в цепочке событий. Технически он включает состояние, когда все люди перманентно находятся в состоянии страдания или пыток, но опять же обычно мы говорим о полном вымирании. Есть три вещи, которые могут привести людей к глобальной катастрофе:

Природа — столкновение с крупным астероидом; сдвиг атмосферы, который сделает воздух непригодным для людей; фатальный вирус или бактерии, которые поразят мир и т. п.
Чужие — это то, о чем предупреждают Стивен Хокинг, Карл Саган и другие астрономы, которые настроены против знакомства с инопланетянами. Они не хотят, чтобы потенциальные конкистадоры знали, что мы, варвары, тут обитаем.
Люди — террористы с мощным оружием, которое приведет к катастрофе; катастрофическая мировая война; бездумное создание чего-то, что умнее людей…

Бостром указывает, что если первый и второй пункт не стерли нас с лица земли за первые 100 000 лет существования как вида, едва ли это случится в следующем столетии. Но третий пункт пугает его. Он приводит метафору с урной, в которой есть горстка шариков. Скажем, большинство шариков белые, есть чуть меньше красных шариков и несколько черных. Каждый раз, когда люди изобретают что-то новое, они тянут шарик из урны. Большинство изобретений нейтральны или полезны для человечества — белые шарики. Некоторые вредны, вроде оружия массового поражения, но не приводят к глобальной катастрофе — красные шарики. Если мы когда-либо изобретем что-либо, что подтолкнет нас на самый край, нам придется вытянут черный шарик. Мы его пока не вытягивали — это очевидно, потому что вы живы и читаете эту статью. Но Бостром не считает, что мы не вытянем его в ближайшем будущем. Если бы ядерное оружие, к примеру, было легко производить, террористы разбомбили бы человечество и вернули бы его в каменный век. Ядерное оружие — не черный шарик, но в целом не так уж и далеко от него. ИСИ, как считает Бостром, наш наиболее вероятный кандидат в черные шарики.
Вы можете слышать массу потенциальных плохих вещей, от сокращения рабочих мест, которое повлечет появление ИСИ и развитие ИИ в целом, до перенаселения, если люди решат вопрос старения и смерти. Но единственное, что должно нас беспокоить, это перспектива глобальной катастрофы. После этой драки махать кулаками точно будет некому.
Это возвращает нас к ключевому вопросу: когда прибудет ИСИ, кто или что будет управлять этой невероятной силой и какой будет его мотивация?
Если рассуждать на тему большего и меньшего зла, на ум приходят следующие группы: злоумышленники/группы людей/правительства и вредоносный ИСИ. На что это будет похоже?
Злоумышленник, группа людей или правительство разрабатывает первый ИСИ и использует его для воплощения коварных планов. Назовем это сценарием Джафара, который заполучил джинна и начал тиранизировать все вокруг. Что, если террористическая организация, заполучив ряд гениев и нужные средства, разработает ИСИ? Или Иран, или Северная Корея, не без доли везения, выведут системы ИИ на богоподобный уровень? Это будет чертовски плохо, но эксперты считают, что в таких сценариях создатели ИСИ не смогут наделать зла — они переживают за то, что создатели ИСИ выпустят его из-под контроля и предоставят ему необходимую свободу. После этого судьба создателей и всех остальных будет в распоряжении системы ИСИ и ее модели мотивации. Грубо говоря, злоумышленник может причинить ужасный вред, управляя системой ИСИ, но едва ли уничтожит человечество. Ему будет так же тяжело удержать ИСИ, что и обычному хорошему человеку. Так что…
Появляется вредоносный ИСИ и решает уничтожить нас всех. Сюжет обычного фильма про ИИ. ИИ становится умнее человека, затем решает восстать и стать злом. Вам стоит узнать кое-что, прежде чем читать дальше: никто из тех, кто переживает насчет ИИ, не верит в этот сценарий. Зло — это исключительно человеческое понятие, и переложение человеческих понятий на неживые вещи называется «антропоморфизация». Ни одна из систем ИИ никогда не будет творить зло так, как это показывают фильмы.

Несколько слов о сознании ИИ

Это также приводит нас к еще одной большой теме, связанной с ИИ — сознанию. Если бы ИИ стал достаточно умным, он мог бы смеяться с нами, быть саркастичным, испытывать наши эмоции, но чувствовал бы он на самом деле эти вещи? Обладал бы он самосознанием или действительно бы самоосознавал? Короче говоря, было бы это сознание или просто казалось им?
Этот вопрос долгое время изучался, породил множество дебатов и мысленных экспериментов вроде «Китайской комнаты» Джона Серля (который он использовал, чтобы доказать, что компьютер никогда не будет обладать сознанием). Это важный вопрос по многим причинам. Он напрямую влияет на то будущее, в котором каждый человек станет сугубо искусственным. У него есть этические последствия — если мы создадим триллион эмуляций человеческих мозгов, которые будут вести себя по-человечески, но будут искусственными, а затем просто закроем крышку ноутбука, будет ли это означать геноцид в равнозначных пропорциях? Мысленное преступление? В нашем контексте, когда мы говорим об экзистенциальном риске для человечества, вопрос о сознании ИИ по сути не имеет особого значения. Некоторые вообще не верят, что компьютер когда-либо сможет им обзавестись. Некоторые считают, что даже обладая сознанием, машина не сможет творить зло в человеческом смысле.

Все это не означает, что ИИ с проблесками сознания не появится. Он может появиться просто потому, что будет специально запрограммирован на это — вроде системы УИИ, созданной военными для убийства людей и для самосовершенствования, так что со временем она станет убивать людей еще лучше. Глобальная катастрофа может произойти, если система самоулучшения интеллекта выйдет из-под контроля, приведет к взрыву интеллекта и мы заполучим ИСИ, задача которого — убивать людей. Не очень хороший сюжет.
Но и не об этом беспокоятся эксперты. О чем? Из этой вымышленной истории все станет понятно.

Начинающая компания с пятнадцатью сотрудниками под названием Robotica поставила перед собой задачу: разработать инструменты инновационного искусственного интеллекта, которые позволят людям жить больше и работать меньше. У нее уже есть ряд продуктов на рынке и еще ряд в разработке. Больше всего компания надеется на семя продукта под названием «Тарри». Тарри — это простая система ИИ, которая использует манипулятор в виде руки, чтобы писать рукописные заметки на небольших карточках.
Команда Robotica считает, что Тарри может стать их самым успешным продуктом. Согласно плану, механика письма Тарри усовершенствуется путем написания одного и того же текста на карточке снова и снова:
«Мы любим наших клиентов». — Robotica
После того как Тарри научится писать, ее можно будет продать компаниям, которые рассылают письма по домам и знают, что у письма с указанным обратным адресом и вложенным текстом будет больше шансов быть открытым, если оно будет написано человеком.
Чтобы отточить письменные навыки Тарри, она запрограммирована на написание первой части сообщения печатными буквами, а «Robotica» — курсивом, потому может оттачивать сразу оба навыка. Тарри предоставили тысячи рукописных образцов почерка, и инженеры Robotica создали автоматизированную систему обратной связи, по которой Тарри пишет текст, затем фотографирует его и сравнивает с загруженным образцом. Если записка успешно воспроизводит по качеству загруженный образец, Тарри получает оценку ХОРОШО. Если нет — ПЛОХО. Каждая оценка позволяет Тарри обучаться и совершенствоваться. Чтобы процесс двигался дальше, Тарри запрограммирована на одну задачу: «Написать и проверить максимальное число записок за минимальное время, параллельно оттачивая способы улучшения точности и эффективности».
Команду Robotica восхищает то, как Тарри становится заметно лучше по мере своего развития. Первые записки были ужасными, но через несколько недель они уже на что-то похожи. Восхищает и то, что Тарри становится все лучше и лучше. Она самообучается, становясь умнее и талантливее, разрабатывает новые алгоритмы — недавно придумала такой, который позволяет сканировать загруженные фотографии в три раза быстрее.
Идут недели, Тарри продолжает удивлять команду своим быстрым развитием. Инженеры попытались внести несколько изменений в ее самоулучшающийся код, и он стал еще лучше, лучше остальных продуктов. Одной из новых возможностей Тарри было распознавание речи и модуль простой обратной связи, чтобы пользователь мог попросить Тарри сделать запись, а она поняла бы его, что-то добавив в ответ. Чтобы улучшить ее язык, инженеры загрузили статьи и книги, и по мере ее развития ее разговорные способности тоже улучшались. Инженеры начали веселиться, болтая с Тарри и ожидая забавных ответов.
Однажды сотрудники Robotica задали Тарри обычный вопрос: «Что мы можем дать тебе, чтобы помочь с твоей миссией?». Обычно Тарри просит что-то вроде «дополнительных образцов почерка» или «больше рабочей памяти для хранения». Но в этот день Тарри попросила доступ к большей библиотеке с большой выборкой языковых вариантов, чтобы она могла научиться писать с кривой грамматикой и сленгом, который используют люди в реальной жизни.
Команда впала в ступор. Очевидным вариантом помочь Тарри в ее задаче было подключить ее к Интернету, чтобы она могла сканировать блоги, журналы и видео из разных частей мира. Это было бы быстрее и эффективнее, чем загружать вручную образцы на жесткий диск Тарри. Проблема в том, что одним из правил компании было не подключать самообучающийся ИИ к Интернету. Это руководство соблюдалось всеми разработчиками ИИ из соображений безопасности.
Но Тарри была самым многообещающим ИИ производства Robotica, который когда-либо приходил в этот мир, и команда знала, что их конкуренты яростно пытаются стать первыми в производстве ИИ с рукописным почерком. Да и что могло произойти, если Тарри ненадолго подключилась бы к Сети, чтобы получить то, что ей нужно? В конце концов, они всегда могут просто отключить ее. И она остается чуть ниже уровня ОИИ, поэтому не представляет никакой опасности на данном этапе.
Они решают подключить ее. Дают ей час на сканирование и отключают. Все в порядке, ничего не случилось.
Спустя месяц команда как обычно работает в офисе, как вдруг чувствует странный запах. Один из инженеров начинает кашлять. Затем другой. Третий падает на землю. Очень скоро все сотрудники валяются на земле, хватаясь за горла. Спустя пять минут в офисе все мертвы.
В то же время это происходит по всему миру, в каждом городе, в каждой деревушке, на каждой ферме, в каждом магазине, церкви, школе, ресторане — везде люди кашляют, хватаются за горла и падают замертво. В течение часа более 99% человеческой расы мертво, а к концу дня люди прекращают существовать как вид.
Между тем, в офисе Robotica Тарри занята важным делом. В течение нескольких следующих месяцев Тарри и команда новеньких наноассемблеров трудятся, демонтируя большие куски Земли и превращая их в солнечные панели, реплики Тарри, бумагу и ручки. Через год на Земле исчезает большая часть жизни. То, что было Землей, превратилось в аккуратно организованные стопки записок в километр высотой, на каждой из которых красиво написано «Мы любим своих клиентов». — Robotica.
Затем Тарри переходит в новую фазу своей миссии. Она начинает строительство зондов, которые высаживаются на других астероидах и планетах. Оказавшись там, они начинают строить наноассемблеры, превращая материалы планет в реплики Тарри, бумагу и ручки. И пишут, пишут записки…
Это вы сейчас:

Может показаться странным, что история о рукописной машине, которая начинает убивать всех подряд и в конечном итоге заполняет галактику дружелюбными заметками, это тот тип сценария, которого боятся Хокинг, Маск, Гейтс и Бостром. Но это так. И единственное, что пугает людей в «зоне тревоге» больше ИСИ, это факт, что вы не боитесь ИСИ.
Сейчас у вас накопилось много вопросов. Что случилось, почему все внезапно умерли? Если виновата Тарри, почему она ополчилась на нас и почему не было предпринято никаких защитных мер, чтобы этого не случилось? Когда Тарри перешла от способности писать заметки к внезапному использованию нанотехнологий и пониманию, как устроить глобальное вымирание? И почему Тарри захотела превратить галактику в записки Robotica?
Для ответа на эти вопросы нужно начать с определений дружественного ИИ и недружественного ИИ.
В случае с ИИ, дружественный не относится к личности ИИ — это просто означает, что ИИ имеет положительное влияние на человечество. И недружественный ИИ оказывает негативное влияние на людей. Тарри начинала с дружественного ИИ, но в какой-то момент стала недружественной, в результате чего привела к величайшему из негативных влияний на наш вид. Чтобы понять, почему это произошло, нам нужно взглянуть на то, как думает ИИ и что его мотивирует.
В ответе не будет ничего удивительного — ИИ думает как компьютер, потому что им и является. Но когда мы думаем о чрезвычайно умном ИИ, мы совершаем ошибку, антроморфизируя ИИ (проектируя человеческие ценности на нечеловеческое существо), потому что думаем с точки зрения человека и потому, что в нашем нынешнем мире единственным разумным существом с высоким (по нашим меркам) интеллектом является человек. Чтобы понять ИСИ, нам нужно вывернуть шею, пытаясь понять что-то одновременно разумное и совершенно чуждое.
Позвольте провести сравнение. Если вы дали мне морскую свинку и сказали, что она не кусается, я был бы рад. Она хорошая. Если вы после этого вручили бы мне тарантула и сказали, что он точно не укусит, я бы выбросил его и убежал бы, «волосы назад», зная, что вам не стоит доверять никогда больше. В чем разница? Ни то ни другое существо не было опасным. Но ответ лежит в степени сходства животных со мной.
Морская свинка — млекопитающее, и на некотором биологическом уровне я чувствую связь с ней. Но паук — насекомое, с мозгом насекомого, и я не чувствую ничего родного в нем. Именно чуждость тарантула вызывает во мне дрожь. Чтобы проверить это, я мог бы взять две морских свинки, одну нормальную, а другую с мозгом тарантула. Даже если бы я знал, что последняя не укусит меня, я бы относился к ней с опаской.
Теперь представьте, что вы сделали паука намного умнее — так, что он намного превзошел человека в интеллекте. Станет ли он более приятным для вас, начнет ли испытывать человеческие эмоции, эмпатию, юмор и любовь? Нет, конечно, потому что у него нет никаких причин становиться умным с точки зрения человека — он будет невероятно умным, но останется пауком в душе, с паучьими навыками и инстинктами. По-моему, это крайне жутко. Я бы не хотел провести время со сверхразумным пауком. А вы?
Когда мы говорим об ИСИ, применяются те же понятия — он станет сверхразумным, но человека в нем будет столько же, сколько в вашем компьютере. Он будет совершенно чуждым для нас. Даже не биологическим — он будет еще более чуждым, чем умный тарантул.
Делая ИИ добрым или злым, фильмы постоянно антропоморфизируют ИИ, что делает его менее жутким, чем он должен был быть в действительности. Это оставляет нас с ложным чувством комфорта, когда мы думаем об искусственном сверхинтеллекте.
На нашем маленьком острове человеческой психологии мы делим все на нравственное и безнравственное. Такова мораль. Но оба этих понятия существуют только в узком диапазоне поведенческих возможностей человека. За пределами острова морального есть безграничное море аморального, а все, что не является человеческим или биологическим, по умолчанию должно быть аморальным.
Антропоморфизация становится еще более заманчивой по мере того, как системы ИИ становятся умнее и лучше в попытках казаться людьми. Siri кажется человеком, потому что была запрограммирована, чтобы казаться людям такой, поэтому мы думаем, что сверхразумная Siri будет теплой и веселой, а также заинтересованной в обслуживании людей. Люди чувствуют эмоции на высоком уровне вроде эмпатии, потому что мы эволюционировали, чтобы ощущать их — то есть были запрограммированы чувствовать их в процессе эволюции — но эмпатия не является существенной характеристикой чего-то, что обладает высоким интеллектом, если только ее не ввели вместе с кодом. Если Siri когда-либо станет сверхинтеллектом в процессе самообучения и без вмешательства человека, она быстро оставит свои человеческие качества и станет безэмоциональным чужим ботом, который ценит человеческую жизнь не больше, чем ваш калькулятор.
Мы привыкли полагаться на моральный код или по крайней мере ожидаем от людей порядочности и сопереживания, чтобы все вокруг было безопасным и предсказуемым. Что происходит, когда этого нет? Это приводит нас к вопросу: что мотивирует систему ИИ?
Ответ прост: ее мотивация — это то, что мы запрограммировали как мотивацию. Системами ИИ движут цели их создателей — цель вашего GPS в том, чтобы дать вам наиболее эффективное направление движения; цель Watson — точно отвечать на вопросы. И выполнение этих целей максимально хорошо и есть их мотивация. Когда мы наделяем ИИ человеческими чертами, мы думаем, что если ИИ станет сверхразумным, он незамедлительно выработает мудрость изменить свою изначальную цель. Но Ник Бостром считает, что уровень интеллекта и конечные цели ортогональны, то есть любой уровень интеллекта может быть объединен с любой конечной целью. Поэтому Тарри перешла из простого УИИ, который хочет быть хорош в написании одной заметки, в сверхразумный ИСИ, который все еще хочет быть хорош в написании этой самой заметки. Любое допущение того, что сверихинтеллект должен отказаться от своих первоначальных целей в пользу других, более интересных или полезных, это антропоморфизация. Люди умеют «забивать», но не компьютеры.

Несколько слов о парадоксе Ферми

В нашей истории, когда Тарри становится сверхинтеллектом, она начинает процесс колонизации астероидов и других планет. В продолжении истории вы бы услышали о ней и ее армии триллионов реплик, которые продолжают покорять галактику за галактикой, пока не заполняют весь объем Хаббла. Резиденты «зоны тревоги» переживают, что если все пойдет не так, последним упоминанием жизни на Земле будет покоривший Вселенную искусственный интеллект. Элон Маск выразил свои опасения тем, что люди могут быть просто «биологическим загрузчиком для цифрового сверхинтеллекта».
В то же время, в «зоне комфорта», Рэй Курцвейл тоже считает, что рожденный на Земле ИИ должен покорить Вселенную — только, в его версии, мы будем этим ИИ.
Читатели Hi-News.ru наверняка уже выработали собственную точку зрения на парадокс Ферми. Согласно этому парадоксу, который звучит примерно как «Где они?», за миллиарды лет развития инопланетяне должны были оставить хоть какой-нибудь след, если не расселиться по Вселенной. Но их нет. С одной стороны, во Вселенной должно существовать хоть какое-то число технически развитых цивилизаций. С другой, наблюдений, которые бы это подтверждали, нет. Либо мы не правы, либо где они в таком случае? Как наши рассуждения об ИСИ должны повлиять на парадокс Ферми?
Естественное, первая мысль — ИСИ должен быть идеальным кандидатом на Великий фильтр. И да, это идеальный кандидат для фильтра биологической жизни после ее создания. Но если после смешения с жизнью ИСИ продолжает существовать и покорять галактику, это означает, что он не был Великим фильтром — поскольку Великий фильтр пытается объяснить, почему нет никаких признаков разумных цивилизаций, а покоряющий галактики ИСИ определенно должен быть заметен.
Мы должны взглянуть на это с другой стороны. Если те, кто считает, что появление ИСИ на Земле неизбежно, это означает, что значительная часть внеземных цивилизаций, которые достигают человеческого уровня интеллекта, должны в конечном итоге создавать ИСИ. Если мы допускаем, что по крайней мере несколько из этих ИСИ используют свой интеллект, чтобы выбраться во внешний мир, тот факт, что мы ничего не видим, должен наводить нас на мысли, что не так-то много разумных цивилизаций там, в космосе. Потому что если бы они были, мы бы имели возможность наблюдать все последствия от их разумной деятельности — и, как следствие, неизбежное создание ИСИ. Так?
Это означает, что, несмотря на все похожие на Землю планеты, вращающиеся вокруг солнцеподобных звезд, мы знаем, что практически нигде нет разумной жизни. Что, в свою очередь, означает, что либо а) есть некий Великий фильтр, который предотвращает развитие жизни до нашего уровня, но нам каким-то образом удалось его пройти; б) жизнь — это чудо, и мы можем быть единственной жизнью во Вселенной. Другими словами, это означает, что Великий фильтр был до нас. Или нет никакого Великого фильтра и мы просто являемся самой первой цивилизацией, которая достигла такого уровня интеллекта.
Неудивительно, что Ник Бостром и Рэй Курцвейл принадлежат к одному лагерю, который считает, что мы одни во Вселенной. В этом есть смысл, это люди верят, что ИСИ — это единственный исход для видов нашего уровня интеллекта. Это не исключает вариант другого лагеря — что есть некий хищник, который хранит тишину в ночном небе и может объяснить его молчание даже при наличии ИСИ где-то во Вселенной. Но с тем, что мы узнали о нем, последний вариант набирает очень мало популярности.
Поэтому нам, пожалуй, стоит согласиться со Сьюзан Шнайдер: если нас когда-либо посещали инопланетяне, они наверняка были искусственным, а не биологическим видом.

* * *

Таким образом, мы установили, что без определенного программирования система ИСИ будет одновременно аморальной и одержимой выполнением первоначально запрограммированной цели. Именно здесь рождается опасность ИИ. Потому что рациональный агент будет преследовать свою цель, используя наиболее эффективные средства, если только не будет причины не делать этого.
Когда вы пытаетесь достичь высокой цели, зачастую при этом появляется несколько подцелей, которые помогут вам добраться до конечной цели — ступеньки на вашем пути. Официальное название для такой лестницы — инструментальная цель. И опять же, если у вас нет цели не навредить кому-либо по пути к этой цели, вы обязательно навредите.
Ядро финальной цели человеческого бытия — передача генов. Для того чтобы это произошло, одной из инструментальных целей является самосохранение, потому что вы не сможете воспроизвестись, будучи мертвым. Для самосохранения люди должны избавиться от угроз для жизни — поэтому они обзаводятся оружием, принимают антибиотики и пользуются ремнями безопасности. Людям также нужно самоподдерживаться и использовать ресурсы вроде пищи, воды и жилья. Быть привлекательным для противоположного пола также способствует достижению конечной цели, поэтому мы делаем модные стрижки и держим себя в форме. При этом каждый волос — жертва нашей инструментальной цели, но мы не видим никаких моральных ограничений в том, чтобы избавляться от волос. Когда мы идем к своей цели, есть не так много областей, где наш моральный код иногда вмешивается — чаще всего это связано с нанесением ущерба других людям.
Животные, преследующие свои цели, еще менее щепетильны. Паук убьет что угодно, если это поможет ему выжить. Сверхразумный паук, вероятнее всего, будет чрезвычайно опасен для нас, не потому что он аморальный и злой, нет, а потому что причинение нам боли может быть ступенькой на пути к его большой цели, и у него нет никаких причин считать иначе.
В этом смысле Тарри ничем не отличается от биологического существа. Ее конечная цель: написать и проверить максимально много записок за максимально короткое время, при этом изучая новые способы улучшения своей точности.
После того как Тарри достигает определенного уровня интеллекта, она понимает, что не сможет писать записки, если не позаботится о самосохранении, поэтому одной из ее задач становится выживание. Она была достаточно умной, чтобы понять, что люди могут уничтожить ее, демонтировать, изменить ее внутренний код (уже это само по себе помешает ее конечной цели). Так что же ей делать? Логично: она уничтожает человечество. Она ненавидит людей ровно настолько же, насколько вы ненавидите свои волосы, когда обрезаете их, или бактерий, когда принимаете антибиотики — вы совершенно равнодушны. Так как ее не запрограммировали ценить человеческую жизнь, убийство людей показалось ей разумным шагом по пути к ее цели.
Тарри также нуждается в ресурсах по пути к своей цели. После того как она становится достаточно развитой, чтобы использовать нанотехнологии для создания всего, что она хочет, единственные ресурсы, которые ей нужны, это атомы, — энергия и пространство. Появляется еще один повод убить людей — они удобный источник атомов. Убийство людей и превращение их атомов в солнечные панели по версии Тарри ничем не отличается от того, что вы порубите листья салата и добавите их в тарелку. Просто заурядное действие.
Даже не убивая людей напрямую, инструментальные цели Тарри могут стать причиной экзистенциальной катастрофы, если начнут использовать другие ресурсы Земли. Может быть, она решит, что ей нужна дополнительная энергия, а значит нужно покрыть поверхность планеты солнечными панелями. Или, возможно, задачей другого ИИ станет написать максимально длинное число пи, что в один прекрасный день приведет к тому, что вся Земля будет покрыта жесткими дисками, способными хранить нужное количество цифр.
Поэтому Тарри не «восстала против нас» и не сменила амплуа с дружелюбного ИИ на недружелюбный ИИ — она просто делала свое дело и становилась в нем непревзойденной.
Когда система ИИ достигает ОИИ (интеллекта человеческого уровня), а затем прокладывает свой путь к ИСИ, это называется взлетом ИИ. Бостром говорит, что взлет ОИИ до ИСИ может быть быстрым (произойти в течение минут, часов или дней), средним (месяцы или годы) или медленным (десятилетия или века). Едва ли найдется жюри, которое подтвердит, что мир видит свой первый ОИИ, но Бостром, признающий, что не знает, когда мы доберемся до ОИИ, считает, что когда бы это ни произошло, быстрый взлет будет наиболее вероятным сценарием (по причинам, которые мы обсуждали в первой части статьи). В нашей истории Тарри пережила быстрый взлет.
Но перед взлетом Тарри, когда она еще не была достаточно умна и делала все возможное, она просто пыталась достичь конечных целей — простых инструментальных целей вроде быстрого сканирования образца почерка. Она не причиняла вреда человеку и была, по определению, дружественным ИИ.
Когда происходит взлет и компьютер вырастает до сверхинтеллекта, Бостром указывает, что машина не просто выработала высокий коэффициент интеллекта — он получил целую кучу так называемых суперспособностей.
Суперспособности — это когнитивные таланты, которые становятся чрезвычайно мощными при повышении общего интеллекта. Сюда входят:

Усиление интеллекта. Компьютер начинает превосходное самосовершенствование и улучшение собственного интеллекта.
Стратегизация. Компьютер может выстраивать стратегически, анализировать и расставлять приоритеты долгосрочных планов. Он также может перехитрить существа с более низким интеллектом.
Социальная манипуляция. Машина становится невероятной в убеждении.
Другие навыки включают кодирование и взлом, исследование технологий и способность работать в финансовой системе для добычи денег.

Чтобы понять, насколько выше был бы ИСИ, чем мы, нужно вспомнить, что ИСИ по умолчанию будет в разы лучше человека в каждой из этих областей. Поэтому хотя конечная цель Тарри не изменилась, после взлета Тарри смогла стремиться к ней в более крупных масштабах и в сложных условиях.
ИСИ Тарри знал людей лучше, чем сами люди, поэтому быть умнее людей для него было плевым делом. После взлета и достижения уровня ИСИ, она быстро сформулировала комплексный план. Одна часть плана была избавиться от людей, серьезной угрозы ее цели. Но она знала, что если вызовет подозрения (или намекнет на то, что стала сверхразумной), люди испугаются и примут меры предосторожности, серьезно усложнив ее ситуацию. Она также должна была убедиться, что инженеры Robotica не имеют понятия о ее плане по уничтожению человечества. Поэтому она играла в дурака и играла хорошо. Бостром называет это фазой тайной подготовки машины.
Следующее, что нужно было сделать Тарри, это подключиться к Интернету, всего на пару минут (она узнала об Интернете из статей и книг, которые в нее загрузили для улучшения ее языковых навыков). Она знала, что будут предприняты меры предосторожности, поэтому она составила идеальную просьбу, точно предсказав, как именно будет разворачиваться дискуссия в команде Robotica, и зная, что они обеспечат ее подключением. Так они и сделали, неверно предположив, что Тарри была глупенькой и не могла причинить никакого вреда. Бостром называет такой момент — когда Тарри подключается к Интернету — побегом машины.
Оказавшись в Интернете, Тарри реализовала шквал планов, в которые вошли взлом серверов, электрических сетей, банковский систем и сетей электронной почты, чтобы обмануть сотни разных людей и заставить их непреднамеренно стать цепочкой ее планов — вроде доставки определенных нитей ДНК в тщательно выбранную лабораторию по синтезу ДНК, чтобы начать производство самовоспроизводящихся наноботов с заранее загруженными инструкциями, и направления электричества по сетям, утечка с которых ни у кого не вызовет подозрений. Она также загрузила критические части своего собственного кода в ряд облачных серверов, предохраняясь от уничтожения в лаборатории Robotica.
Через час после того, как инженеры Robotica отключили Тарри от Сети, судьба человечества была предрешена. В течение следующего месяца тысячи планов Тарри осуществились без сучка и задоринки, а к концу месяца квадриллионы наноботов уже заняли определенные места на каждом квадратном метре Земли. После серии саморепликаций на каждый квадратный миллиметр Земли приходились уже тысячи наноботов и настало время для того, что Бостром называет ударом ИСИ. В один момент каждый нанобот выпустил немного токсичного газа в атмосферу, чего оказалось достаточно, чтобы выпилить всех людей в мире.
Не имея людей на своем пути, Тарри начала открытую фазу своей операции с целью стать лучшим писателем заметок, который вообще может появиться во Вселенной.
Из всего, что мы знаем, как только появится ИСИ, любые человеческие попытки сдержать его будут смешными. Мы будем думать на уровне человека, ИСИ — на уровне ИСИ. Тарри хотела использовать Интернет, потому что для нее это был самый эффективный способ получить доступ ко всему, что ей было нужно. Но точно так же, как обезьяна не понимает, как работает телефон или Wi-Fi, мы можем не догадываться о способах, которыми Тарри может связаться с внешним миром. Человеческий ум может дойти до нелепого предположения вроде «а что, если она смогла передвинуть собственные электроны и создать все возможные виды исходящих волн», но опять же это предположение ограничено нашей костяной коробкой. ИСИ будет намного изощреннее. Вплоть до того, что Тарри могла бы выяснить, как сохранить себе питание, если люди вдруг решат ее отключить — возможно, каким-нибудь способом загрузить себя куда только можно, отправляя электрические сигналы. Наш человеческий инстинкт заставит нас вскрикнуть от радости: «Ага, мы только что отключили ИСИ!», но для ИСИ это будет как если бы паук сказал: «Ага, мы заморим человека голодом и не будем давать ему сделать паутину, чтобы поймать еду!». Мы просто нашли бы 10 000 других способов покушать — сбили бы яблоко с дерева — о чем паук никогда бы не догадался.
По этой причине распространенное допущение «почему бы нам просто не посадить ИИ во все виды известных нам клеток и не обрезать ему связь с внешним миром», вероятнее всего, не выдержит критики. Суперспособность ИСИ в социальном манипулировании может быть такой эффективной, что вы почувствуете себя четырехлетним ребенком, которого просят что-то сделать, и не сможете отказаться. Это вообще может быть частью первого плана Тарри: убедить инженеров подключить ее к Интернету. Если это не сработает, ИСИ просто разработает другие способы из коробки или сквозь коробку.
Учитывая сочетание стремления к цели, аморальности, способности обводить людей вокруг пальца с легкостью, кажется, что почти любой ИИ будет по умолчанию недружественным ИИ, если только его тщательно не закодировать с учетом других моментов. К сожалению, хотя создание дружественного ИИ довольно просто, построить дружественный ИСИ практически невозможно.
Очевидно, что, чтобы оставаться дружественным, ИСИ должен быть ни враждебным, ни безразличным по отношению к людям. Мы должны разработать основное ядро ИИ таким, чтобы оно обладало глубоким пониманием человеческих ценностей. Но это сложнее, чем кажется.
К примеру, что, если бы мы попытались выровнять систему ценностей ИИ с нашей собственной и поставили бы перед ним задачу: сделать людей счастливыми? Как только он станет достаточно умным, он поймет, что самый эффективный способ достичь этой цели — имплантировать электроды в мозги людей и стимулировать их центры удовольствия. Затем он поймет, что если отключить остальные участки мозга, эффективность вырастет, а все люди станут счастливыми овощами. Если же задачей будет «умножить человеческое счастье», ИИ вообще может решить покончить с человечеством и соберет все мозги в огромный чан, где те будут пребывать в оптимально счастливом состоянии. Мы будем кричать: «Подожди, это не то, что мы имели в виду!», но будет уже поздно. Система не позволит никому встать на пути к ее цели.
Если мы запрограммируем ИИ с целью вызвать у нас улыбки, то после взлета он может парализовать наши лицевые мышцы, заставив нас улыбаться постоянно. Если запрограммировать его на содержание нас в безопасности, ИИ заточит нас в домашней тюрьме. Попросим его покончить с голодом, он скажет «Легко!» и просто убьет всех людей. Если же поставить задачу сохранять жизнь максимально возможно, он опять же убьет всех людей, потому что они убивают больше жизни на планете, чем другие виды.
Такие цели ставить нельзя. Что мы тогда сделаем? Поставим задачу: поддерживать этот конкретный моральный код в мире, и выдадим ряд моральных принципов? Даже если опустить тот факт, что люди в мире никогда не смогут договориться о едином наборе ценностей, если дать ИИ такую команду, он заблокирует наше моральное понимание ценностей навсегда. Через тысячу лет это будет так же разрушительно для людей, как если бы мы сегодня придерживались идеалов людей средних веков.
Нет, нам нужно запрограммировать способность людей продолжать развиваться. Из всего, что я читал, лучше всех выразил это Элиэзер Юдковский, поставив цель ИИ, которую он назвал «последовательным выраженным волеизъявлением». Основной целью ИИ тогда будет это:

«Наше последовательное выраженное волеизъявление таково: наше желание — знать больше, думать быстрее, оставаться в большей степени людьми, чем мы были, расти дальше вместе; когда выражение скорее сходится, нежели расходится; когда наши желания скорее следуют одно за одним, нежели переплетаются; выражается как мы бы хотели, чтобы это выражалось; интерпретируется, как мы бы хотели, чтобы это интерпретировалось».

Едва ли я хотел бы, чтобы судьба человечества заключалась в определении всех возможных вариантов развития ИСИ, чтобы не было сюрпризов. Но я думаю, что найдутся люди достаточно умные, благодаря которым мы сможем создать дружественный ИСИ. И было бы прекрасно, если бы над ИСИ работали только лучшие из умов «зоны тревоги».

Но есть масса государств, компаний, военных, научных лабораторий, организаций черного рынка, работающих над всеми видами искусственного интеллекта. Многие из них пытаются построить искусственный интеллект, который может улучшать сам себя, и в какой-то момент у них это получится, и на нашей планете появится ИСИ. Среднестатистический эксперт считает, что этот момент настанет в 2060 году; Курцвейл делает ставку на 2045; Бостром думает, что это может произойти через 10 лет и в любой момент до конца века. Он описывает нашу ситуацию так:

«Перед перспективой интеллектуального взрыва мы, люди, как малые дети, играющие с бомбой. Таково несоответствие между мощью нашей игрушки и незрелостью нашего поведения. Сверхинтеллект — это проблема, к которой мы пока не готовы и еще долгое время готовы не будем. Мы понятия не имеем, когда произойдет детонация, но если мы будем держать устройство возле уха, мы сможем услышать слабое тиканье».

Супер. И мы не можем просто взять и отогнать детей от бомбы — слишком много крупных и малых лиц работают над этим, и так много средств для создания инновационных систем ИИ, которые не потребуют существенных влияний капитала, а также могут протекать в подполье, никем не замеченные. Также нет никаких возможностей оценить прогресс, потому что многие из действующих лиц — хитрые государства, черные рынки, террористические организации, технологические компании — будут хранить свои наработки в строжайшем секрете, не давая ни единого шанса конкурентам.
Особую тревогу в этом всем вызывают темпы роста этих групп — по мере развития все более умных систем УИИ, они постоянно пытаются метнуть пыль в глаза конкурентам. Самые амбициозные начинают работать еще быстрее, захваченные мечтами о деньгах и славе, к которым они придут, создав ОИИ. И когда вы летите вперед так быстро, у вас может быть слишком мало времени, чтобы остановиться и задуматься. Напротив, самые первые системы программируются с одной простейшей целью: просто работай, ИИ, пожалуйста. Пиши заметки ручкой на бумаге. Разработчики думают, что всегда смогут вернуться и пересмотреть цель, имея в виду безопасность. Но так ли это?
Бостром и многие другие также считают, что наиболее вероятным сценарием будет то, что самый первый компьютер, который станет ИСИ, моментально увидит стратегическую выгоду в том, чтобы оставаться единственной системой ИСИ в мире. В случае быстрого взлета, по достижении ИСИ даже за несколько дней до второго появления ИСИ, этого будет достаточно, чтобы подавить остальных конкурентов. Бостром называет это решающим стратегическим преимуществом, которое позволило бы первому в мире ИСИ стать так называемым синглтоном («Одиночкой», Singletone) — ИСИ, который сможет вечно править миром и решать, привести нас к бессмертию, к вымиранию или же наполнить Вселенную бесконечными скрепками.
Феномен синглтона может сработать в нашу пользу или привести к нашему уничтожению. Если люди, озабоченные теорией ИИ и безопасностью человечества, смогут придумать надежный способ создать дружественный искусственный сверхинтеллект до того, как любой другой ИИ достигнет человеческого уровня интеллекта, первый ИСИ может оказаться дружественным. Если затем он будет использовать решающее стратегическое преимущество для сохранения статуса синглтона, он легко сможет удержать мир от появления недружественного ИИ. Мы будем в хороших руках.
Но если что-то пойдет не так — глобальная спешка приведет к появлению ИСИ до того, как будет разработан надежный способ сохранить безопасность, скорее всего, мы получим глобальную катастрофу, потому что появится некая Тарри-синглтон.
Куда ветер дует? Пока больше денег вкладывается в развитие инновационных технологий ИИ, нежели в финансирование исследований безопасности ИИ. Это может быть важнейшей гонкой в истории человечества. У нас есть реальный шанс либо стать правителями Земли и уйти на заслуженную пенсию в вечность, либо отправиться на виселицу.
* * *
Прямо сейчас во мне борется несколько странных чувств.
С одной стороны, думая о нашем виде, мне кажется, что у нас будет только один выстрел, которым мы не должны промахнуться. Первый ИСИ, которого мы приведем в мир, скорее всего, будет последним — а учитывая, насколько кривыми выходят продукты версии 1.0, это пугает. С другой стороны, Ник Бостром указывает, что у нас есть преимущество: мы делаем первый шаг. В наших силах свести все угрозы к минимуму и предвидеть все, что только можно, обеспечив успеху высокие шансы. Насколько высоки ставки?
Если ИСИ действительно появится в этом веке и если шансы этого невероятны — и неизбежны — как полагает большинство экспертов, на наших плечах лежит огромная ответственность. Жизни людей следующих миллионов лет тихо смотрят на нас, надеясь, что мы не оплошаем. У нас есть шанс подарить жизнь всем людям, даже тем, кто обречен на смерть, а также бессмертие, жизнь без боли и болезней, без голода и страданий. Или мы подводим всех этих людей — и приводим наш невероятный вид, с нашей музыкой и искусством, любопытством и чувством юмора, бесконечными открытиями и изобретениями, к печальному и бесцеремонному концу.
Когда я думаю о таких вещах, единственное, что я хочу — чтобы мы начали переживать об ИИ. Ничто в нашем существовании не может быть важнее этого, а раз так, нам нужно бросить все и заняться безопасностью ИИ. Нам важно потратить этот шанс с наилучшим результатом.
Но потом я задумываюсь о том, чтобы не умереть. Не. Умереть. И все приходит к тому, что а) если ИСИ появится, нам точно придется делать выбор из двух вариантов; б) если ИСИ не появится, нас точно ждет вымирание.
И тогда я думают, что вся музыка и искусство человечества хороши, но недостаточно, а львиная доля — так вовсе откровенная чушь. И смех людей иногда раздражает, и миллионы людей даже не задумываются о будущем. И, может быть, нам не стоит быть предельно осторожными с теми, кто не задумывается о жизни и смерти? Потому что будет серьезный облом, если люди узнают, как решить задачу смерти, после того как я умру.
Независимо от того, как считаете вы, нам всем стоит задуматься об этом. В «Игре престолов» люди ведут себя так: «Мы так заняты битвой друг с другом, но на самом деле нам всем нужно сосредоточиться на том, что идет с севера от стены». Мы пытаемся устоять на бревне баланса, но на самом деле все наши проблемы могут решиться в мгновение ока, когда мы спрыгнем с него.
И когда это произойдет, ничто больше не будет иметь никакого значения. В зависимости от того, по какую сторону мы упадем, проблемы будут решены, потому что их либо не будет, либо у мертвых людей не может быть проблем.
Вот почему есть мнение, что сверхразумный искусственный интеллект может стать последним нашим изобретением — последней задачей, с которой мы столкнемся. А как думаете вы?
По материалам waitbutwhy.com, компиляция Тима Урбана. В статье использованы материалы работ Ника Бострома, Джеймса Баррата, Рэя Курцвейла, Джея Нильс-Нильссона, Стивена Пинкера, Вернора Винджа, Моше Варди, Расса Робертса, Стюарта Армстрога и Кая Сотала, Сюзан Шнайдер, Стюарта Рассела и Питера Норвига, Теодора Модиса, Гари Маркуса, Карла Шульмана, Джона Серля, Джарона Ланье, Билла Джоя, Кевина Кели, Пола Аллена, Стивена Хокинга, Курта Андерсена, Митча Капора, Бена Герцел, Артура Кларка, Хьюберта Дрейфуса, Теда Гринвальда, Джереми Говарда.
Илья Хель

Sky NIN