Читаем Nexus полностью

С чисто военной точки зрения может показаться, что командиру лучше приказать своему танку взорвать мечеть. Это позволило бы использовать тактическое преимущество американцев в огневой мощи, избежать риска для жизни собственных солдат и одержать решающую тактическую победу. Однако с политической точки зрения это может оказаться худшим решением, которое мог принять командир. Кадры разрушения мечети американским танком настроят иракское общественное мнение против американцев и вызовут возмущение во всем мусульманском мире. Штурм мечети может быть и политической ошибкой, поскольку он также может вызвать недовольство иракцев, а цена в американских жизнях может ослабить поддержку войны среди американских избирателей. Учитывая политические цели Соединенных Штатов, отступление и признание тактического поражения может оказаться наиболее рациональным решением.

Для Клаузевица рациональность означает согласованность. Стремление к тактическим или стратегическим победам, которые не соответствуют политическим целям, нерационально. Проблема в том, что бюрократическая природа армий делает их весьма восприимчивыми к подобной иррациональности. Как говорилось в главе 3, разделяя реальность на отдельные ящики, бюрократия поощряет стремление к узким целям, даже если это вредит общему благу. Бюрократы, которым поручено выполнение узкой миссии, могут не осознавать более широких последствий своих действий, и всегда было непросто добиться того, чтобы их действия соответствовали высшему благу общества. Когда армии действуют по бюрократическому принципу - как это происходит во всех современных армиях, - возникает огромный разрыв между капитаном, командующим ротой в полевых условиях, и президентом, разрабатывающим долгосрочную политику в далеком кабинете. Капитан склонен принимать решения, которые кажутся разумными на месте, но на самом деле подрывают конечную цель войны.

Итак, мы видим, что проблема выравнивания возникла задолго до компьютерной революции и что трудности, с которыми сталкиваются строители современных информационных империй, не отличаются от тех, что преследовали предыдущих потенциальных завоевателей. Тем не менее компьютеры существенно меняют природу проблемы выравнивания. Как бы ни было трудно обеспечить соответствие человеческих бюрократов и солдат долгосрочным целям общества, обеспечить соответствие алгоритмических бюрократов и автономных систем вооружений будет еще труднее.

НАПОЛЕОН СО СКРЕПКАМИ

Одна из причин, по которой проблема выравнивания особенно опасна в контексте компьютерной сети, заключается в том, что эта сеть, вероятно, станет гораздо более мощной, чем любая предыдущая человеческая бюрократия. Несоответствие целей сверхразумных компьютеров может привести к катастрофе беспрецедентного масштаба. В своей книге 2014 года "Сверхразум" философ Ник Бостром проиллюстрировал эту опасность с помощью мысленного эксперимента, напоминающего "Ученика колдуна" Гете. Бостром просит нас представить, что фабрика по производству скрепок покупает сверхинтеллектуальный компьютер, а управляющий фабрики дает компьютеру, казалось бы, простую задачу: произвести как можно больше скрепок. Преследуя эту цель, компьютер завоевывает всю планету Земля, убивает всех людей, отправляет экспедиции для захвата других планет и использует полученные огромные ресурсы, чтобы заполнить всю галактику фабриками по производству скрепок.

Смысл мысленного эксперимента в том, что компьютер делал именно то, что ему говорили (как заколдованная метла в стихотворении Гете). Осознав, что ему нужны электричество, сталь, земля и другие ресурсы, чтобы построить больше фабрик и производить больше скрепок, и поняв, что люди вряд ли откажутся от этих ресурсов, сверхразумный компьютер уничтожил всех людей в своем целеустремленном стремлении к поставленной цели. Бостром считает, что проблема компьютеров не в том, что они особенно злы, а в том, что они особенно мощны. И чем мощнее компьютер, тем тщательнее мы должны определять его цель так, чтобы она точно совпадала с нашими конечными целями. Если мы определим неверную цель для карманного калькулятора, последствия будут пустяковыми. Но если мы определим неверную цель для сверхразумной машины, последствия могут быть антиутопическими.