Читаем Футурология полностью

Каждый из глобальных рисков может охватить всю поверхность Земли настолько быстро, что люди не успеют подготовить средства защиты от него, и при этом он обладает такой силой, что может уничтожить каждого человека. Именно способность проникать повсюду делает какой-либо опасный фактор потенциальным источником глобального риска.

Глобальные риски — по определению, крайне редкие или новые явления, к которым у человека нет адаптации ни на уровне организма, ни на уровне систем предвидения. Непредсказуемость большинства глобальных рисков значительно усложняет задачу по их предотвращению.

Большинство глобальных рисков возникло за счет работы интеллекта человека (например, атомная бомба). Интеллект же нужен и для их предвидения, и для их предотвращения. Существует опасность, что в какой-то момент суммарный интеллект человечества уже сможет создавать глобальные риски, но еще не будет способен их предотвращать.

Глобальным рискам уделяется крайне мало внимания. Многие оценки, которые есть, либо устарели, либо односторонни и политизированы. Люди игнорируют мысли о глобальной катастрофе, поскольку они слишком страшны и депрессивны почти для любой системы ценностей.

Глобальные риски требуют для своего предотвращения глобальных инструментов, которые сами могут стать источником глобального риска. Например, всемирная власть может принять ошибочное глобальное решение, а система отклонения астероидов может стать космическим оружием, которое будет использовано против Земли.

Риски новых технологий

Наиболее очевидным источником глобальных рисков являются качественно новые объекты, создаваемые с помощью новых технологий, которые обладают одним общим свойством — способностью к неограниченной саморепликации:

цепная реакция; усиление интеллекта;

размножение нанороботов;

распространение искусственного вируса;

рост гипотетической черной дыры в коллайдере.

Качественная новизна этих событий может обусловливать отсутствие у них естественных ограничителей.

Главные технологические риски

Если контроль над развитием и использованием этих технологий будет утерян, именно они могут внести наибольший вклад в вероятность глобальной катастрофы.

Риски, связанные с развитием биотехнологий

Основной риск состоит в одновременном попадании в окружающую среду нескольких десятков генетически модифицированных патогенов, способных поражать как людей, так и всю биосферу. Это может произойти в ходе войны или стать следствием деятельности нескольких независимых друг от друга биохакеров.

Сейчас в Интернет ежегодно выпускается до 2 миллионов компьютерных вирусов, и это число постоянно растет. Аналогичная активность возможна и у биохакеров. Уже сейчас стоимость оборудования, необходимого для создания вируса, упала до нескольких сот долларов, время сократилось до недель, а необходимый уровень знаний снизился до школьного. Кроме того, генетические коды многих опасных вирусов были опубликованы в Интернете, например, гриппа «испанка».

Таким образом, риск биотехнологий является наиболее «зрелым» и наиболее серьезным.

Отметим, что один-единственный вирус вряд ли сможет истребить все человечество, как это показывают в кинофильмах, поскольку всегда найдутся люди с эффективной иммунной системой против него.

Риски, связанные с развитием искусственного интеллекта

Опасность того, что однажды созданный ИИ будет способен к быстрому, все более ускоряющемуся саморазвитию, в ходе которого, как полагает Стив Омохундро, «инстинкт самосохранения» может вытеснить в нем другие заложенные заранее системы цели, и он начнет воспринимать людей как угрозу для себя. Такой ИИ Юдковски назвал «недружественным».

Опасность появления ошибочной системы команд для сверхИИ, которая побудит его захватить Землю и уничтожить людей. Превосходящий интеллект может придумать множество способов уничтожения человека, если перед ним встанет такая задача: с помощью управляемых роботов, токсинов, нанотеха.

Дополнительные риски связаны с войной между двумя сильными ИИ, а также состоят в утрате «необходимости в человеке» по мере замены всех его функций ИИ. Именно об этом предупреждал Билл Джой в статье «Почему мы не нужны будущему» (2000).

В апреле 2000 года журнал Wired опубликовал эссе Билла Джоя «Почему мы не нужны будущему», которое вызвало оживленную дискуссию во всем мире. «Мы влетаем в новый век без плана, без контроля, без торомозов», — пишет Джой. «Момент, когда мы уже не сможем контролировать ситуацию, быстро приближается». По его мнению, три направления, в которых человечество ожидают наиболее опасные катаклизмы, — это интеллектуальные роботы, генная инженерия и нанотехнология.

Риски, связанные с развитием нанотехнологий