Читаем Футурология полностью

Юдковски полагает, что ИИ может быть опасен даже при использовании текстового терминала — он может уговорить человека-оператора выпустить его в Интернет. Это может быть сделано с помощью обещаний, угроз, нейролингвистического программирования или предложения некой сделки. Чтобы доказать это, Юдковски провел «эксперимент с ИИ в черном ящике» (AI-Box Experiment).

В этом эксперименте Юдковски изображал ИИ, а другой человек, который заранее честно заявил, что ни при каких обстоятельствах не разрешит ИИ покинуть ящик, общался с ним по терминалу. Юдковски старался убедить оператора от имени ИИ выпустить его из ящика. В трех случаях из пяти люди изменили свое мнение и их удалось уговорить на освобождение ИИ. Реальный ИИ, вероятно, мог бы вести переговоры еще эффективнее.

Юдковски полагает, что, выйдя в Интернет, ИИ мог бы подчинить его себе за несколько часов. Кроме того, он мог бы создать собственную нанотехнологическую инфраструктуру, заказав в лабораториях с доставкой необходимые ДНК-ингридиенты и создав простейшую биологическую искусственную жизнь с возможностью радиоуправления. Это заняло бы от нескольких дней до недель. И после этого он установил бы полную власть над миром.

Важные приложения ИИ

Вполне разумно ожидать к концу XXI века существование всемирного распределенного ИИ, который будет сверхчеловеческим как по объему своего внимания (он сможет одновременно контролировать все доступное пространство), так и по качественному превосходству человеческого интеллекта.

Возможные стадии возникновения всемирного распределенного ИИ

1

Продолжение нынешнего развития

Развивается Интернет и Веб 2.0, растет интеграция людей в социальных сетях, ускоряется доступ к данным, и возрастает их надежность

Сценарий более или менее однозначен, если не происходит чего-то чрезвычайного

2

Возникновение нескольких новых мощных продуктов с элементами ИИ, по масштабу воздействия сравнимых с

Google, Wikipedia

или

Wolfram Alpha

Возникает предсингулярный ажиотаж: обостряется конкуренция за создание первого ИИ. ИИ сможет отчасти понимать речь человека в большинстве практических ситуаций, автомобили смогут ездить на автопилоте, но под контролем человека и по специально адаптированным дорогам. Домашние роботы смогут выполнять команды голосом и совершать простую уборку. Возникает такой феномен, как псевдоинтеллект, то есть программа, в принципе способная подражать человеку, но при ближайшем рассмотрении оказывающаяся все же программои

Несколько разных вариантов сценария, связанных с тем, какие именно новые проекты появятся

3

Эпоха фазового перехода

ИИ достигает человеческого уровня, затем его доводят до фазы самоусиления. После чего он усилит себя до сверхчеловеческого уровня и так или иначе будет использован для контроля всей Земли

Бесконечное количество разных сценариев

4

Эпоха результатов

Или сама идея создания ИИ провалилась. Или некий единый ИИ контролирует мир и сотрудничает с людьми. Или ИИ уничтожил людей по тем или иным причинам

Всего три сценария

Возможные последствия создания сильного дружественного ИИ

Сильный ИИ будет достаточно универсальным и способным использовать любые алгоритмы оптимизации, то есть он в каком-то смысле будет независим от способов его создания.

Способность моделировать людей будет иметь много важных следствий.

ИИ сможет заменить людей почти во всех видах деятельности. С момента появления сильного ИИ все люди на Земле могут считать себя безработными. Огромное количество работ уже сейчас стоят в очереди на автоматизацию, в частности кассир, грузчик, водитель автотранспорта — тут даже сильного ИИ не требуется. Но сильный ИИ сможет заменить человека и в творческих профессиях.

ИИ сможет создавать модели людей для общения с людьми. Это могут быть виртуальные, но идеальные друзья и возлюбленные. Это могут быть реконструкции умерших любимых родственников (которые вовсе могут не быть точными — достаточно, чтобы человек узнавал в реконструкции своего родственника, чтобы это удовлетворило большинство людей; при этом речь не идет о бессмертии и воскрешении, а только о психологической компенсации).

После создания ИИ будут ускорены разработка и выпуск любых других новых технологий, что значительно упростит космические полеты, решит энергетические проблемы и т. д.

ИИ изменит ситуацию в военном деле, превратив его в интеллектуальную игру непостижимой сложности. В каком-то смысле холодная война тоже была такой позиционной игрой возможностей. Ситуация конфликта нескольких глобальных ИИ на Земле может быть очень опасной. В то же время ИИ сможет обеспечить невиданный ранее уровень безопасности, контролируя любые возможные опасные последствия.

Усиление интеллекта и ИИ