Qu'est-ce que le risque existentiel?
Un risque existentiel est un désastre si grand qu'il supprime l'humanité entière ou nous blesse de manière permanente. Celles-ci peuvent être des catastrophes naturelles, ou des catastrophes provoquées par l'homme, de nature intentionnelle ou accidentelle. Un risque existentiel existe peut-être depuis longtemps, ou seulement depuis quelques décennies, ou peut-être dans l'avenir. Les grands impacts d’astéroïdes, la guerre nucléaire et l’intelligence artificielle non autorisée sont des exemples de risques existentiels.
Le concept de risque existentiel a été défini pour la première fois dans sa forme actuelle par le Dr. Nick Bostrom, philosophe à Oxford. Il utilise un tableau de risque semblable au suivant pour expliquer les risques existentiels:
| Portée du risque | |||
| Global | El Niño | la déforestation | risque existentiel |
| Local | orage | ralentissement économique | ouragan |
| Personnel | papercut | entorse à la cheville | tu es abattu |
| Intensité du risque | Négligeable | Maniable | Terminal |
Les risques existentiels sont globaux et terminaux, voire proches du terminal. Un virus extrêmement contagieux avec un taux de mortalité de 99,9% auquel personne n'est immunisé est un exemple de risque existentiel.
Bostrom souligne que nos esprits et nos institutions ne sont pas en mesure de penser aux risques existentiels, car nous n'en avons jamais fait l'expérience auparavant. Si nous l'avions fait, nous ne serions pas là pour y penser. Comme un enfant qui ne sait pas qu’un poêle est chaud jusqu’à ce qu’il le touche, nous n’avons que peu d’expérience des catastrophes de ce niveau. La peste bubonique de l'Europe médiévale et la grippe espagnole de la Première Guerre mondiale nous donnent un aperçu de ce à quoi ressemblerait un désastre existentiel. Des dizaines de millions de personnes en bonne santé ont été frappées mortes en quelques heures par les deux maladies.
Dans son article canonique sur le sujet, Bostrom énumère environ une douzaine de risques existentiels et les catégorise en fonction de leur gravité et de leur caractère recouvrable. Certains des plus plausibles sont énumérés ici:
- virus génétiquement modifiés
- courses aux armements nanotechnologiques
- guerre nucléaire catastrophique
- robotique auto-répliquée hors de contrôle
- IA superintelligent indifférent aux humains
- désastre physique dans un accélérateur de particules
- Une explosion de supervolcan bloque le soleil
En raison de l'extrême gravité et de l'irréversibilité des risques existentiels, les contre-mesures possibles méritent d'être examinées et mises en œuvre. Même si les chances pour une menace existentielle donnée de devenir une réalité sont minimes, les enjeux considérables impliquent un programme d'évitement sérieux. Parmi les menaces d'origine humaine, les contre-mesures comprennent des systèmes sophistiqués d'observation et d'alerte et la réglementation de certaines technologies afin de garantir qu'elles ne soient pas utilisées pour la destruction massive. Les pays soupçonnés de posséder des armes de destruction massive sont parfois envahis par d'autres pays inquiets des conséquences à long terme, comme le montre clairement la guerre en Irak.