Читаем Nexus полностью

Хотя существует множество способов, с помощью которых ИИ может укрепить центральную власть, у авторитарных и тоталитарных режимов есть свои проблемы с этим. Прежде всего, диктаторским режимам не хватает опыта в контроле над неорганическими агентами. Основа любой деспотической информационной сети - террор. Но компьютеры не боятся ни тюрьмы, ни смерти. Если чатбот в российском интернете упоминает о военных преступлениях российских войск в Украине, рассказывает непочтительную шутку о Владимире Путине или критикует коррупцию в путинской партии "Единая Россия", что может сделать с ним путинский режим? Сотрудники ФСБ не могут посадить его в тюрьму, пытать или угрожать его семье. Конечно, правительство может заблокировать или удалить его, а также попытаться найти и наказать его создателей-людей, но это гораздо более сложная задача, чем наказывать пользователей-людей.

В те времена, когда компьютеры не могли самостоятельно генерировать контент и вести интеллектуальную беседу, выразить свое особое мнение на российских каналах социальных сетей, таких как "ВКонтакте" и "Одноклассники", мог только человек. Если этот человек физически находился в России, он рисковал навлечь на себя гнев российских властей. Если он физически находился за пределами России, власти могли попытаться заблокировать его доступ. Но что произойдет, если российское киберпространство заполнят миллионы ботов, которые смогут генерировать контент и вести диалоги, самостоятельно обучаясь и развиваясь? Эти боты могут быть запрограммированы российскими диссидентами или иностранными игроками на намеренное распространение неортодоксальных взглядов, и власти не смогут этому помешать. Хуже того, с точки зрения путинского режима, что произойдет, если авторизованные боты будут постепенно сами развивать инакомыслие, просто собирая информацию о происходящем в России и подмечая в ней закономерности?

Это проблема выравнивания в российском стиле. Российские инженеры могут сделать все возможное, чтобы создать ИИ, полностью соответствующий режиму, но, учитывая способность ИИ самостоятельно обучаться и изменяться, как инженеры могут гарантировать, что ИИ никогда не отклонится на незаконную территорию? Особенно интересно отметить, что, как объяснял Джордж Оруэлл в романе "Девятнадцать восемьдесят четыре", тоталитарные информационные сети часто опираются на двусмысленную речь. Россия - авторитарное государство, претендующее на демократию. Российское вторжение на Украину стало крупнейшей войной в Европе с 1945 года, однако официально оно определяется как "специальная военная операция", а упоминание о нем как о "войне" стало уголовным преступлением и карается тюремным сроком до трех лет или штрафом в размере до пятидесяти тысяч рублей.

Конституция России дает грандиозные обещания о том, что "каждому гарантируется свобода мысли и слова" (статья 29.1), что "каждый имеет право свободно искать, получать, передавать, производить и распространять информацию" (29.4) и что "свобода массовой информации гарантируется. Цензура запрещается" (29.5). Вряд ли кто-то из российских граждан настолько наивен, чтобы принять эти обещания за чистую монету. Но компьютеры плохо понимают двусмысленную речь. Чатбот, которому предписано придерживаться российских законов и ценностей, может прочитать эту конституцию и сделать вывод, что свобода слова - одна из основных российских ценностей. Затем, проведя несколько дней в российском киберпространстве и наблюдая за тем, что происходит в российской информационной сфере, чатбот может начать критиковать режим Путина за нарушение основной российской ценности - свободы слова. Люди тоже замечают подобные противоречия, но избегают указывать на них из-за страха. Но что может помешать чатботу выявить проклятые закономерности? И как российские инженеры могут объяснить чатботу, что, хотя Конституция РФ гарантирует всем гражданам свободу слова и запрещает цензуру, чатбот не должен верить в Конституцию и никогда не должен упоминать о разрыве между теорией и реальностью? Как сказал мне украинский гид в Чернобыле, люди в тоталитарных странах растут с мыслью, что вопросы приводят к беде. Но если вы обучите алгоритм по принципу "вопросы приводят к беде", как он будет учиться и развиваться?

И наконец, если правительство принимает какую-то катастрофическую политику, а потом передумывает, оно обычно прикрывается тем, что сваливает вину за катастрофу на кого-то другого. Люди с трудом учатся забывать факты, которые могут доставить им неприятности. Но как научить чатбота забывать о том, что политика, которую сегодня очерняют, была официальной всего год назад? Это серьезный технологический вызов, с которым диктаторским режимам будет трудно справиться, особенно по мере того, как чатботы будут становиться все более мощными и непрозрачными.