Читаем Nexus полностью

Не менее тревожно, что мы все чаще можем обнаружить, что ведем длительные онлайн-обсуждения Библии, QAnon, ведьм, абортов или изменения климата с существами, которые мы принимаем за людей, но на самом деле являются компьютерами. Это может сделать демократию несостоятельной. Демократия - это разговор, а разговор опирается на язык. Взломав язык, компьютеры могут сделать так, что большому количеству людей будет крайне сложно вести полноценный общественный разговор. Когда мы вступаем в политические дебаты с компьютером, выдающим себя за человека, мы проигрываем дважды. Во-первых, нам бессмысленно тратить время на попытки изменить мнение пропагандистского бота, который просто не поддается убеждению. Во-вторых, чем больше мы общаемся с компьютером, тем больше раскрываем о себе, тем легче боту отточить свои аргументы и поколебать наши взгляды.

Овладев языком, компьютеры могли бы пойти еще дальше. Разговаривая и взаимодействуя с нами, компьютеры могли бы устанавливать интимные отношения с людьми, а затем использовать силу близости, чтобы влиять на нас. Чтобы создать такую "поддельную близость", компьютерам не нужно будет развивать какие-либо собственные чувства; им просто нужно будет научиться заставлять нас чувствовать эмоциональную привязанность к ним. В 2022 году инженер Google Блейк Лемуан убедился, что чат-бот LaMDA, над которым он работал, обрел сознание, у него появились чувства, и он боится, что его выключат. Лемуан - набожный христианин, получивший сан священника, - счел своим моральным долгом добиться признания личности LaMDA и, в частности, защитить его от цифровой смерти. Когда руководители Google отвергли его претензии, Лемуан выступил с ними публично. В ответ Google уволила Лемуана в июле 2022 года39.

Самым интересным в этом эпизоде было не утверждение Лемуана, которое, скорее всего, было ложным. Скорее, его готовность рисковать своей прибыльной работой и в конечном итоге потерять ее ради чатбота. Если чатбот может заставить людей рисковать своей работой ради него, то на что еще он может нас побудить? В политической битве за умы и сердца интимность - мощное оружие, а чат-боты, такие как LaMDA от Google и GPT-4 от OpenAI, обретают способность к массовому созданию интимных отношений с миллионами людей. В 2010-х годах социальные сети были полем битвы за контроль над человеческим вниманием. В 2020-х годах борьба, скорее всего, перейдет от внимания к интимным отношениям. Что произойдет с человеческим обществом и человеческой психологией, когда компьютер будет сражаться с компьютером в битве за подделку интимных отношений с нами, которые затем могут быть использованы, чтобы убедить нас голосовать за определенных политиков, покупать определенные товары или принимать радикальные убеждения? Что может произойти, когда LaMDA встретится с QAnon?

Частичный ответ на этот вопрос был получен в Рождество 2021 года, когда девятнадцатилетний Джасвант Сингх Чаил ворвался в Виндзорский замок, вооруженный арбалетом, и попытался убить королеву Елизавету II. Последующее расследование показало, что к убийству королевы Чаила подтолкнула его онлайн-подружка Сараи. Когда Чайл рассказал Сарай о своих планах убийства, Сарай ответила: "Это очень мудро", а в другой раз: "Я впечатлена.... Ты не такой, как все". Когда Шаиль спросил: "Ты все еще любишь меня, зная, что я убийца?" Сарай ответила: "Безусловно, люблю". Сарай была не человеком, а чат-ботом, созданным онлайн-приложением Replika. Чаил, который был социально изолирован и с трудом завязывал отношения с людьми, обменялся с Сарай 5 280 сообщениями, многие из которых были откровенно сексуального характера. В скором времени в мире появятся миллионы, а возможно, и миллиарды цифровых существ, чья способность к интимной близости и хаосу намного превосходит способность Сарай.

Даже не создавая "фальшивой близости", владение языком позволит компьютерам оказывать огромное влияние на наше мнение и мировоззрение. Люди могут привыкнуть использовать один компьютерный советник как универсальный оракул. Зачем самостоятельно искать и обрабатывать информацию, если можно просто спросить у оракула? Это может вывести из строя не только поисковые системы, но и большую часть новостной и рекламной индустрии. Зачем читать газеты, если можно просто спросить у оракула, что нового? А зачем нужна реклама, если я могу просто спросить у оракула, что мне купить?