Что такое экзистенциальный риск?

Экзистенциальный риск - это катастрофа настолько великая, что она либо уничтожает все человечество, либо навсегда калечит нас. Это могут быть стихийные бедствия или техногенные катастрофы преднамеренного или случайного характера. Экзистенциальный риск может существовать долгое время, или только несколько десятилетий, или, возможно, он лежит в нашем будущем. Примеры экзистенциального риска включают крупные удары астероидов, ядерную войну и мошеннический искусственный интеллект.

Концепция экзистенциального риска была впервые сформулирована в ее нынешнем виде доктором Ником Бостром, оксфордским философом. Он использует диаграмму риска, подобную следующей, чтобы объяснить экзистенциальные риски:

Сфера риска
Глобальный	Эль-Ниньо	вырубка леса	экзистенциальный риск
Местный	гроза	экономический спад	ураган
личный	Papercut	вывихнул лодыжку	ты застрелен
Интенсивность риска	незначительный	управляемый	Терминал

Экзистенциальные риски являются глобальными и терминальными, или, возможно, почти терминальными. Чрезвычайно заразный вирус с летальностью 99,9%, от которого никто не застрахован, является примером экзистенциального риска.

Бостром отмечает, что наши умы и институты плохо подготовлены к тому, чтобы думать о экзистенциальном риске, потому что мы никогда не испытывали его раньше - если бы мы имели, мы не были бы здесь, чтобы думать о них. Как ребенок, который не знает, что плита горячая, пока он не дотронется до нее, у нас мало опыта с катастрофами на этом уровне. Бубонная чума средневековой Европы и испанский грипп Первой мировой войны дают нам представление о том, на что будет похожа экзистенциальная катастрофа. Десятки миллионов здоровых людей были убиты в считанные часы от обеих болезней.

В своем каноническом документе по этой теме Бостром перечисляет около десятка экзистенциальных рисков и классифицирует их в зависимости от их серьезности и возможности восстановления. Некоторые из наиболее вероятных из них перечислены здесь:

• генно-инженерные вирусы
• гонки нанотехнологических вооружений
• катастрофическая ядерная война
• самореплицирующаяся робототехника из-под контроля
• сверхразумный ИИ безразличен к людям
• физическая катастрофа в ускорителе частиц
• Взрыв супервулкана блокирует солнце

Из-за крайней серьезности и необратимости экзистенциального риска, возможные контрмеры заслуживают мозгового штурма и осуществления. Даже если вероятность того, что данная экзистенциальная угроза станет реальностью, мала, связанные с этим огромные ставки требуют серьезной программы предотвращения. В отношении угроз, исходящих от человека, контрмеры включают сложные системы наблюдения и предупреждения и регулирование определенных технологий, чтобы гарантировать, что они не используются для массового уничтожения. Страны, подозреваемые в обладании оружием массового уничтожения, иногда подвергаются вторжению со стороны других стран, обеспокоенных долгосрочными последствиями, что ярко демонстрирует война в Ираке.