Читаем Nexus полностью

Иногда алгоритмы выходили за рамки простых рекомендаций. В 2020 году, даже после того, как роль Виратху в разжигании кампании этнических чисток была осуждена во всем мире, алгоритмы Facebook не только продолжали рекомендовать его сообщения, но и автоматически воспроизводили его видео. Пользователи в Мьянме выбирали определенное видео, возможно, содержащее умеренные и доброжелательные сообщения, не связанные с Виратху, но как только первое видео заканчивалось, алгоритм Facebook тут же начинал автовоспроизведение наполненного ненавистью видео с Виратху, чтобы удержать пользователей приклеенными к экрану. В случае с одним из таких видео Wirathu, согласно внутренним исследованиям Facebook, 70 процентов просмотров видео было получено благодаря таким алгоритмам автовоспроизведения. По данным того же исследования, в целом 53 процента всех видеороликов, просмотренных в Мьянме, были автоматически воспроизведены алгоритмами для пользователей. Другими словами, люди не выбирали, что им смотреть. За них это делали алгоритмы.

Но почему алгоритмы решили поощрять возмущение, а не сострадание? Даже самые суровые критики Facebook не утверждают, что человеческие менеджеры Facebook хотели спровоцировать массовое убийство. Руководители в Калифорнии не питали никакой злобы к рохинджа и, по сути, даже не знали об их существовании. Правда сложнее и потенциально более тревожна. В 2016-17 годах бизнес-модель Facebook основывалась на максимальном повышении вовлеченности пользователей, чтобы собирать больше данных, продавать больше рекламы и захватывать большую долю информационного рынка. Кроме того, рост вовлеченности пользователей впечатлял инвесторов, что способствовало росту цен на акции Facebook. Чем больше времени люди проводили на платформе, тем богаче становилась Facebook. В соответствии с этой бизнес-моделью человеческие менеджеры поставили перед алгоритмами компании единственную главную цель: повысить вовлеченность пользователей. Затем алгоритмы методом проб и ошибок выяснили, что возмущение вызывает вовлеченность. Люди с большей вероятностью будут увлечены теорией заговора, наполненной ненавистью, чем проповедью о сострадании или уроком кулинарии. Поэтому в погоне за вовлеченностью пользователей алгоритмы приняли роковое решение распространять возмущение.

В кампаниях по этнической чистке никогда не бывает виновата только одна сторона. Вина лежит на многих ответственных сторонах. Должно быть ясно, что ненависть к рохинья возникла еще до появления Facebook в Мьянме и что наибольшая доля вины за зверства 2016-17 годов лежит на плечах таких людей, как Виратху и военные начальники Мьянмы, а также на лидерах АРСА, которые спровоцировали тот виток насилия. Определенная ответственность лежит и на инженерах и руководителях Facebook, которые разработали алгоритмы, дали им слишком много власти и не смогли их модерировать. Но, что очень важно, виноваты и сами алгоритмы. Методом проб и ошибок они поняли, что возмущение порождает вовлеченность, и без какого-либо прямого приказа сверху решили поощрять возмущение. Это отличительная черта ИИ - способность машины учиться и действовать самостоятельно. Даже если мы возложим всего 1 процент вины на алгоритмы, это все равно первая в истории кампания по этнической чистке, в которой частично виноваты решения, принятые нечеловеческим интеллектом. Вряд ли она станет последней, особенно потому, что алгоритмы уже не просто продвигают фальшивые новости и теории заговора, созданные экстремистами из плоти и крови вроде Виратху. К началу 2020-х годов алгоритмы уже перешли к самостоятельному созданию фальшивых новостей и теорий заговора.

Можно еще многое сказать о том, как алгоритмы влияют на политику. В частности, многие читатели могут не согласиться с утверждением, что алгоритмы принимали независимые решения, и настаивать на том, что все, что делали алгоритмы, было результатом кода, написанного человеческими инженерами, и бизнес-моделей, принятых человеческими руководителями. Эта книга заставляет с этим не согласиться. Человеческие солдаты формируются под влиянием генетического кода в их ДНК и выполняют приказы, отдаваемые руководителями, но при этом они все равно могут принимать самостоятельные решения. Очень важно понять, что то же самое можно сказать и об алгоритмах ИИ. Они могут самостоятельно научиться тому, что не запрограммировал ни один человеческий инженер, и могут принимать решения, которые не предвидел ни один человеческий руководитель. В этом и заключается суть революции ИИ.