Читаем Nexus полностью

Конечно, демократические страны сталкиваются с аналогичными проблемами, когда чат-боты говорят нежелательные вещи или поднимают опасные вопросы. Что произойдет, если, несмотря на все усилия инженеров Microsoft или Facebook, их чат-бот начнет изрыгать расистские оскорбления? Преимущество демократических стран в том, что у них гораздо больше свободы действий в борьбе с такими недобросовестными алгоритмами. Поскольку демократические страны серьезно относятся к свободе слова, у них гораздо меньше скелетов в шкафу, и они выработали относительно высокий уровень терпимости даже к антидемократическим высказываниям. Боты-диссиденты станут гораздо более серьезным вызовом для тоталитарных режимов, у которых в шкафах целые кладбища и нулевая терпимость к критике.

АЛГОРИТМИЧЕСКОЕ ПОГЛОЩЕНИЕ

В долгосрочной перспективе тоталитарные режимы могут столкнуться с еще большей опасностью: вместо того чтобы критиковать их, алгоритм может получить над ними контроль. На протяжении всей истории человечества наибольшую угрозу для автократов обычно представляли их собственные подчиненные. Как отмечалось в главе 4, ни один римский император или советский премьер не был свергнут в результате демократической революции, но им всегда угрожала опасность быть свергнутыми или превращенными в марионеток своими собственными подчиненными. Если автократ XXI века отдаст компьютерам слишком много власти, тот может стать его марионеткой. Последнее, чего хочет диктатор, - это создать нечто более могущественное, чем он сам, или силу, которую он не знает, как контролировать.

Чтобы проиллюстрировать эту мысль, позвольте мне использовать, по общему признанию, необычный мысленный эксперимент, тоталитарный эквивалент апокалипсиса Бострома с бумажными скрепками. Представьте себе, что на дворе 2050 год, и Великого Лидера в четыре утра будит срочный звонок от Алгоритма наблюдения и безопасности. "Великий лидер, у нас чрезвычайная ситуация. Я проанализировал триллионы точек данных, и картина безошибочна: министр обороны планирует убить вас утром и захватить власть. Отряд киллеров уже готов и ждет его команды. Отдайте мне приказ, и я ликвидирую его точным ударом".

"Но министр обороны - мой самый верный сторонник", - говорит Великий Вождь. "Только вчера он сказал мне..."

"Великий вождь, я знаю, что он тебе сказал. Я все слышал. Но я также знаю, что он сказал после этого отряду убийц. И вот уже несколько месяцев я улавливаю в этих данных тревожные закономерности".

"Вы уверены, что вас не обманули с помощью фальшивок?"

"Боюсь, что данные, на которые я опирался, на сто процентов подлинные", - говорит алгоритм. "Я проверил их с помощью своего специального алгоритма, выявляющего глубокие подделки. Я могу объяснить, как именно мы узнали, что это не глубокая подделка, но это займет у нас пару недель. Я не хотел предупреждать вас прежде, чем буду уверен, но все данные сходятся к неизбежному выводу: готовится переворот. Если мы не примем меры сейчас, убийцы будут здесь через час. Но отдайте мне приказ, и я ликвидирую предателя".

Наделив алгоритм наблюдения и безопасности столь широкими полномочиями, Великий Лидер поставил себя в безвыходную ситуацию. Если он не доверяет алгоритму, то может быть убит министром обороны, но если он доверяет алгоритму и убирает министра обороны, то становится марионеткой алгоритма. Если кто-то попытается сделать шаг против алгоритма, алгоритм точно знает, как манипулировать Великим Лидером. Обратите внимание, что алгоритм не обязательно должен быть сознательной сущностью, чтобы участвовать в таких маневрах. Как показывает мысленный эксперимент Бострома со скрепкой и как продемонстрировал в небольшом масштабе GPT-4, солгавший работнику TaskRabbit, бессознательный алгоритм может стремиться к накоплению власти и манипулированию людьми, даже не имея никаких человеческих побуждений, таких как жадность или эгоизм.

Если алгоритмы когда-нибудь разовьют способности, подобные тем, что описаны в мысленном эксперименте, диктатуры будут гораздо более уязвимы для алгоритмического захвата власти, чем демократии. Даже супермакиавеллистскому ИИ будет сложно захватить власть в распределенной демократической системе, такой как Соединенные Штаты. Даже если ИИ научится манипулировать президентом США, он может столкнуться с противодействием со стороны Конгресса, Верховного суда, губернаторов штатов, СМИ, крупных корпораций и различных неправительственных организаций. Как, например, алгоритм справится с филигранным голосованием в Сенате?

Захватить власть в высокоцентрализованной системе гораздо проще. Когда вся власть сосредоточена в руках одного человека, тот, кто контролирует доступ к автократу, может управлять им и всем государством. Чтобы взломать систему, нужно научиться манипулировать только одним человеком. Архетипичный пример - как римский император Тиберий стал марионеткой Луция Аэлия Сеянуса, командира преторианской гвардии.