Читаем Nexus полностью

Как компьютерной сети не нужны миллионы человеческих агентов, чтобы следить за нами, так и ей не нужны миллионы человеческих аналитиков, чтобы разобраться в наших данных. Океан бумаг в штаб-квартире Securitate никогда не анализировал сам себя. Но благодаря волшебству машинного обучения и искусственного интеллекта компьютеры могут сами анализировать большую часть информации, которую они накапливают. В среднем человек может прочитать около 250 слов в минуту. Аналитик Securitate, работающий по двенадцать часов без выходных, за сорок лет своей карьеры может прочитать около 2,6 миллиарда слов. В 2024 году такие языковые алгоритмы, как ChatGPT и Meta's Llama, смогут обрабатывать миллионы слов в минуту и "читать" 2,6 миллиарда слов за пару часов. Способность таких алгоритмов обрабатывать изображения, аудиозаписи и видеоматериалы столь же сверхчеловечна.

Еще важнее то, что алгоритмы значительно превосходят человека в способности выявлять закономерности в этом океане данных. Выявление закономерностей требует как способности создавать идеи, так и способности принимать решения. Например, как люди-аналитики определяют человека как "подозреваемого террориста", который заслуживает более пристального внимания? Сначала они создают набор общих критериев, таких как "чтение экстремистской литературы", "дружба с известными террористами" и "наличие технических знаний, необходимых для производства опасного оружия". Затем они должны решить, соответствует ли конкретный человек достаточным критериям, чтобы его можно было назвать подозреваемым террористом. Предположим, кто-то просмотрел сотню экстремистских видео на YouTube в прошлом месяце, дружит с осужденным террористом и в настоящее время получает докторскую степень по эпидемиологии в лаборатории, где хранятся образцы вируса Эбола. Должен ли этот человек быть внесен в список "подозреваемых в терроризме"? А как насчет того, кто посмотрел пятьдесят экстремистских видеороликов в прошлом месяце и является студентом биологического факультета?

В Румынии 1970-х годов такие решения могли принимать только люди. К 2010-м годам люди все чаще оставляли решение за алгоритмами. Примерно в 2014-15 годах Агентство национальной безопасности США развернуло инструмент искусственного интеллекта под названием Skynet, который помещал людей в список "подозреваемых террористов" на основе электронных моделей их коммуникаций, записей, путешествий и публикаций в социальных сетях. Согласно одному из отчетов, этот инструмент ИИ "ведет массовое наблюдение за пакистанской сетью мобильных телефонов, а затем использует алгоритм машинного обучения на метаданных сотовой сети 55 миллионов человек, чтобы попытаться оценить вероятность того, что каждый из них является террористом". Бывший директор ЦРУ и АНБ заявил, что "мы убиваем людей на основе метаданных". Надежность "Скайнета" подверглась серьезной критике, но к 2020-м годам подобные технологии стали гораздо более совершенными и были развернуты гораздо большим числом правительств. Просматривая огромные массивы данных, алгоритмы могут обнаружить совершенно новые критерии для определения человека как "подозреваемого", которые раньше ускользали от внимания человеческих аналитиков. В будущем алгоритмы могут даже создать совершенно новую модель того, как люди становятся радикалами, просто выявив закономерности в жизни известных террористов. Конечно, компьютеры по-прежнему ошибаются, о чем мы подробно поговорим в главе 8. Они вполне могут классифицировать невинных людей как террористов или создать ложную модель радикализации. На еще более фундаментальном уровне вызывает сомнение объективность определения системами таких вещей, как терроризм. Существует долгая история режимов, использующих ярлык "террорист" для обозначения любой и всякой оппозиции. В Советском Союзе любой, кто выступал против режима, считался террористом. Следовательно, когда ИИ навешивает на кого-то ярлык "террорист", это может отражать идеологические предубеждения, а не объективные факты. Способность принимать решения и придумывать идеи неотделима от способности совершать ошибки. Даже если ошибок не будет, сверхчеловеческая способность алгоритмов распознавать закономерности в океане данных может усилить мощь многочисленных злонамеренных субъектов - от репрессивных диктатур, стремящихся выявить инакомыслящих, до мошенников, пытающихся определить уязвимые цели.