Читаем Nexus полностью

То, как человеческие информационные сети справлялись с проблемой ошибок, станет главной темой следующих двух глав. Для начала мы рассмотрим изобретение другой информационной технологии - священной книги. Священные книги, такие как Библия и Коран, представляют собой информационную технологию, которая призвана одновременно содержать всю жизненно важную информацию, необходимую обществу, и быть свободной от любой возможности ошибки. Что происходит, когда информационная сеть считает себя абсолютно неспособной на ошибку? История якобы непогрешимых священных книг подчеркивает некоторые ограничения всех информационных сетей и содержит важные уроки для попыток создания непогрешимых ИИ в XXI веке.

ГЛАВА 4.

Ошибки: Фантазия о непогрешимости

Святой Августин знаменито сказал: "Ошибаться - это человеческое, а упорствовать в ошибках - дьявольское". Заблуждения людей и необходимость исправления человеческих ошибок играют ключевую роль в любой мифологии. Согласно христианской мифологии, вся история - это попытка исправить первородный грех Адама и Евы. Согласно марксистско-ленинскому мышлению, даже рабочий класс может быть одурачен своими угнетателями и неверно определить свои собственные интересы, поэтому он нуждается в руководстве мудрого партийного авангарда. Бюрократия тоже постоянно находится в поиске ошибок - от неправильно оформленных документов до неэффективных процедур. Сложные бюрократические системы обычно содержат органы самодисциплины, и когда происходит крупная катастрофа - военное поражение или финансовый крах, - создаются комиссии по расследованию, чтобы понять, что пошло не так, и убедиться, что подобная ошибка не повторится.

Для того чтобы функционировать, механизмы самокоррекции нуждаются в легитимности. Если люди склонны к ошибкам, как мы можем доверять самокорректирующимся механизмам, что они свободны от ошибок? Чтобы избежать этого кажущегося бесконечным цикла, люди часто фантазировали о каком-то сверхчеловеческом механизме, свободном от всех ошибок, на который они могли бы положиться, чтобы выявить и исправить свои собственные ошибки. Сегодня можно надеяться, что ИИ сможет обеспечить такой механизм, как в апреле 2023 года, когда Элон Маск объявил: "Я собираюсь запустить нечто, что я называю TruthGPT или максимально правдоподобный ИИ, который попытается понять природу Вселенной". В последующих главах мы увидим, почему это опасная фантазия. В предыдущие эпохи подобные фантазии принимали другую форму - религии.

В нашей личной жизни религия может выполнять множество различных функций, например, давать утешение или объяснять тайны жизни. Но исторически наиболее важной функцией религии было обеспечение сверхчеловеческой легитимности социального порядка. Такие религии, как иудаизм, христианство, ислам и индуизм, утверждают, что их идеи и правила были установлены непогрешимым сверхчеловеческим авторитетом, поэтому они свободны от любой возможности ошибки и никогда не должны подвергаться сомнению или изменению со стороны непогрешимых людей.

ИСКЛЮЧИТЬ ЛЮДЕЙ ИЗ ПРОЦЕССА

В основе каждой религии лежит фантазия о связи со сверхчеловеческим и непогрешимым интеллектом. Именно поэтому, как мы рассмотрим в главе 8, изучение истории религии имеет огромное значение для современных дебатов об ИИ. В истории религии постоянно возникает проблема, как убедить людей в том, что определенная догма действительно произошла из непогрешимого сверхчеловеческого источника. Даже если в принципе я готов подчиниться воле богов, откуда мне знать, чего на самом деле хотят боги?

На протяжении всей истории человечества многие люди утверждали, что им переданы послания от богов, но эти послания часто противоречили друг другу. Один человек говорил, что бог явился к ней во сне; другой - что ее посетил ангел; третий рассказывал, как встретил в лесу духа, и каждый из них проповедовал свое послание. Антрополог Харви Уайтхаус рассказывает, как в конце 1980-х годов, когда он проводил полевые исследования среди народа бейнинг в Новой Британии, молодой человек по имени Танотка заболел и в лихорадочном бреду начал делать загадочные заявления вроде "Я - Вутка" и "Я - пост". Большинство из этих заявлений слышал только старший брат Танотки, Банинге, который начал рассказывать о них другим людям и интерпретировать их в творческом ключе. Банинге говорил, что в его брата вселился дух предков по имени Вутка и что он был избран Богом, чтобы стать главной опорой общины, подобно тому как местные дома поддерживаются центральным столбом.