Читаем Nexus полностью

До сих пор такие режимы возлагали свою веру на человеческие партии и лидеров и были рассадниками культов личности. Но в XXI веке эта тоталитарная традиция готовит их к ожиданию непогрешимости ИИ. Системы, способные поверить в безупречный гений Муссолини, Чаушеску или Хомейни, готовы поверить и в безупречный гений сверхразумного компьютера. Это может привести к катастрофическим последствиям для их граждан, а в перспективе и для всего остального мира. Что произойдет, если алгоритм, отвечающий за экологическую политику, допустит большую ошибку, а механизмов самокоррекции, способных выявить и исправить ее, не существует? Что произойдет, если алгоритм, управляющий государственной системой социального кредитования, начнет терроризировать не только население, но даже членов правящей партии и одновременно навешивать ярлык "враг народа" на всех, кто подвергает сомнению его политику?

Диктаторы всегда страдали от слабости механизмов самокоррекции и всегда подвергались угрозе со стороны могущественных подчиненных. Возникновение искусственного интеллекта может значительно усугубить эти проблемы. Таким образом, компьютерная сеть ставит диктаторов перед мучительной дилеммой. Они могут решить вырваться из лап своих подчиненных, доверившись якобы непогрешимой технологии, и в этом случае они могут стать ее марионеткой. Или же они могут создать человеческий институт для надзора за ИИ, но этот институт может ограничить и их собственную власть.

Если хотя бы несколько мировых диктаторов решат довериться ИИ, это может иметь далеко идущие последствия для всего человечества. Научная фантастика полна сценариев, в которых ИИ выходит из-под контроля и порабощает или уничтожает человечество. В большинстве научно-фантастических сюжетов эти сценарии рассматриваются в контексте демократического капиталистического общества. Это вполне объяснимо. Авторов, живущих в демократических странах, очевидно, интересует их собственное общество, в то время как авторы, живущие в диктаторских государствах, обычно не склонны критиковать своих правителей. Но самое слабое место в защите человечества от ИИ - это, пожалуй, диктаторы. ИИ легче всего захватить власть не путем побега из лаборатории доктора Франкенштейна, а путем сближения с каким-нибудь параноиком Тиберием.

Это не пророчество, а всего лишь возможность. После 1945 года диктаторы и их подчиненные сотрудничали с демократическими правительствами и их гражданами в деле сдерживания ядерного оружия. 9 июля 1955 года Альберт Эйнштейн, Бертран Рассел и ряд других выдающихся ученых и мыслителей опубликовали Манифест Рассела-Эйнштейна, в котором призвали лидеров как демократических, так и диктаторских государств к сотрудничеству в деле предотвращения ядерной войны. "Мы обращаемся, - говорится в манифесте, - как человеческие существа, к человеческим существам: помните о своей человечности и забудьте обо всем остальном. Если вы сможете это сделать, перед вами откроется путь в новый рай; если не сможете, перед вами встанет риск всеобщей гибели". Это справедливо и для ИИ. Было бы глупо со стороны диктаторов полагать, что ИИ обязательно изменит баланс сил в их пользу. Если они не будут осторожны, ИИ просто захватит власть в свои руки.

ГЛАВА 11.

Силиконовый занавес: Глобальная империя или глобальный раскол?

В предыдущих двух главах мы рассмотрели, как различные человеческие общества могут отреагировать на появление новой компьютерной сети. Но мы живем во взаимосвязанном мире, где решения одной страны могут оказать глубокое влияние на другие. Некоторые из самых серьезных опасностей, создаваемых ИИ, не являются результатом внутренней динамики отдельно взятого человеческого общества. Скорее, они возникают в результате динамики, охватывающей многие общества, что может привести к новым гонкам вооружений, новым войнам и новым имперским экспансиям.

Компьютеры еще не настолько мощны, чтобы полностью выйти из-под нашего контроля или самостоятельно уничтожить человеческую цивилизацию. Пока человечество сплочено, мы можем создать институты, которые будут контролировать ИИ, выявлять и исправлять ошибки алгоритмов. К сожалению, человечество никогда не было единым. Мы всегда страдали от плохих игроков, а также от разногласий между хорошими игроками. Таким образом, развитие ИИ представляет собой экзистенциальную опасность для человечества не из-за злобы компьютеров, а из-за наших собственных недостатков.

Так, параноидальный диктатор может передать неограниченную власть слабому ИИ, включая даже право наносить ядерные удары. Если диктатор доверяет своему ИИ больше, чем министру обороны, разве не имеет смысла поручить ему контроль над самым мощным оружием страны? Если ИИ допустит ошибку или начнет преследовать чужие цели, результат может быть катастрофическим, и не только для этой страны.