À quel point le monde est-il vulnérable ?

Tôt ou tard, une technologie capable d’anéantir la civilisation humaine pourrait être inventée. Jusqu’où irions-nous pour l’arrêter ?

J’aime beaucoup les articles de Aeon, et je me suis arrêtée sur celui-ci de Nick Bostrom, qui répond à certains points de questionnements récurrents :

Une façon d’envisager la créativité humaine est de la considérer comme un processus consistant à tirer des boules d’une urne géante. Les boules représentent des idées, des découvertes et des inventions. Au cours de l’histoire, nous avons extrait de nombreuses boules. La plupart ont été bénéfiques pour l’humanité. Les autres ont été de diverses nuances de gris : un mélange de bon et de mauvais, dont l’effet net est difficile à estimer.

Ce que nous n’avons pas encore extrait, c’est une boule noire : une technologie qui détruit invariablement la civilisation qui l’a inventée. Ce n’est pas parce que nous avons été particulièrement prudents ou sages en matière d’innovation. Nous avons simplement eu de la chance. Mais que faire si une boule noire se trouve quelque part dans l’urne ? Si la science et la recherche technologique se poursuivent, nous finirons par la retirer, et nous ne pourrons pas la remettre dedans. Nous pouvons inventer, mais nous ne pouvons pas désinventer. Notre stratégie semble être d’espérer qu’il n’y ait pas de boule noire.

Heureusement pour nous, la technologie la plus destructrice pour l’homme à ce jour – les armes nucléaires – est extrêmement difficile à maîtriser. Mais une façon de réfléchir aux effets possibles d’une boule noire est de considérer ce qui se passerait si les réactions nucléaires étaient plus faciles. En 1933, le physicien Leo Szilard a eu l’idée d’une réaction nucléaire en chaîne. Des recherches ultérieures ont montré que la fabrication d’une arme atomique nécessiterait plusieurs kilos de plutonium ou d’uranium hautement enrichi, deux produits très coûteux à produire. Cependant, imaginez une histoire contrefactuelle dans laquelle Szilard a réalisé qu’une bombe nucléaire pouvait être fabriquée de manière simple – par exemple, au-dessus de l’évier de la cuisine, en utilisant un morceau de verre, un objet métallique et une batterie.

Szilard aurait été confronté à un dilemme. S’il n’avait parlé à personne de sa découverte, il n’aurait pas pu empêcher d’autres scientifiques de la découvrir par hasard. Mais s’il révélait sa découverte, il garantirait la poursuite de la diffusion de connaissances dangereuses. Imaginez que Szilard se soit confié à son ami Albert Einstein, et qu’ils aient décidé d’écrire une lettre au président des États-Unis, Franklin D Roosevelt, dont l’administration a alors interdit toute recherche en physique nucléaire en dehors des installations gouvernementales de haute sécurité. Les spéculations allaient bon train sur la raison de ces mesures musclées. Des groupes de scientifiques s’interrogeraient sur le danger secret ; certains d’entre eux le découvriraient. Les employés négligents ou mécontents des laboratoires gouvernementaux laisseraient échapper des informations, et les espions porteraient le secret aux capitaux étrangers. Même si, par miracle, le secret n’était jamais divulgué, les scientifiques d’autres pays le découvriraient par eux-mêmes.

Ou peut-être que le gouvernement américain s’efforcerait d’éliminer tout le verre, le métal et les sources de courant électrique en dehors de quelques dépôts militaires hautement gardés ? De telles mesures extrêmes se heurteraient à une opposition farouche. Cependant, après que des nuages en forme de champignon se soient élevés au-dessus de quelques villes, l’opinion publique changerait. Le verre, les piles et les aimants pourraient être saisis et leur production interdite ; mais les pièces resteraient éparpillées dans le paysage et finiraient par se retrouver entre les mains de nihilistes, d’extorqueurs ou de personnes qui veulent juste « voir ce qui se passerait » si elles déclenchaient un engin nucléaire. Au final, de nombreux endroits seraient détruits ou abandonnés. La possession des matériaux interdits devrait être sévèrement punie. Les communautés seraient soumises à une surveillance stricte : réseaux d’informateurs, raids de sécurité, détentions indéfinies. Il nous resterait à essayer de reconstituer d’une manière ou d’une autre la civilisation sans électricité et autres éléments essentiels jugés trop risqués.

C’est le scénario optimiste. Dans un scénario plus pessimiste, la loi et l’ordre s’effondreraient complètement, et les sociétés se diviseraient en factions qui mèneraient des guerres nucléaires. La désintégration ne s’arrêterait que lorsque le monde serait ruiné au point qu’il serait impossible de fabriquer d’autres bombes. Même à ce moment-là, cette dangereuse intuition serait mémorisée et transmise. Si la civilisation renaissait de ses cendres, le savoir serait à l’affût, prêt à bondir lorsque les gens recommenceraient à produire du verre, des courants électriques et du métal. Et, même si le savoir était oublié, il serait redécouvert lorsque la recherche en physique nucléaire reprendrait.

En bref : nous avons de la chance que la fabrication d’armes nucléaires se soit avérée difficile. Cette fois-là, nous avons sorti une boule grise. Pourtant, à chaque acte d’invention, l’humanité met à nouveau la main dans l’urne.

Supposons que l’urne de la créativité contienne au moins une boule noire. C’est ce que nous appelons « l’hypothèse du monde vulnérable ». L’idée intuitive est qu’il existe un certain niveau de technologie à partir duquel la civilisation est presque certainement détruite, à moins que des degrés assez extraordinaires et historiquement sans précédent de police préventive et/ou de gouvernance mondiale ne soient mis en œuvre. Notre objectif premier n’est pas de soutenir que l’hypothèse est vraie – nous considérons que c’est une question ouverte, bien qu’il semble déraisonnable, compte tenu des preuves disponibles, de croire qu’elle est fausse. Au contraire, l’idée est que l’hypothèse est utile pour nous aider à mettre en évidence d’importantes considérations sur la situation macrostratégique de l’humanité.

Le scénario ci-dessus – appelé « armes nucléaires faciles » – représente une sorte de boule noire potentielle, où il devient facile pour des individus ou des petits groupes de causer une destruction massive. Compte tenu de la diversité du caractère humain et des circonstances, pour toute action imprudente, immorale ou autodestructrice, il y aura toujours une fraction d’humains (« le résidu apocalyptique ») qui choisira d’entreprendre cette action – qu’elle soit motivée par la haine idéologique, la destruction nihiliste ou la vengeance pour des injustices perçues, dans le cadre d’un complot d’extorsion ou à cause d’illusions. L’existence de ce résidu apocalyptique signifie que tout outil de destruction massive suffisamment facile est pratiquement certain de mener à la dévastation de la civilisation.

C’est l’un des nombreux types de boules noires possibles. Un deuxième type serait une technologie qui incite fortement les acteurs puissants à provoquer des destructions massives. Là encore, nous pouvons nous tourner vers l’histoire du nucléaire : après l’invention de la bombe atomique, une course aux armements s’est engagée entre les États-Unis et l’Union soviétique. Les deux pays ont accumulé des arsenaux stupéfiants ; en 1986, ils possédaient ensemble plus de 60 000 ogives nucléaires – plus qu’assez pour dévaster la civilisation.

S’il existait une option « safe first strike », la peur mutuelle pourrait facilement déclencher une guerre totale

Heureusement, pendant la guerre froide, les superpuissances nucléaires du monde n’ont pas été fortement incitées à déclencher l’Armageddon nucléaire. Elles ont cependant été incitées à le faire. Notamment, il y avait des incitations à s’engager dans la politique de la corde raide ; et, dans une situation de crise, il y avait une certaine incitation à frapper en premier pour prévenir une frappe potentiellement désarmante de l’adversaire. De nombreux politologues estiment qu’un facteur important pour expliquer pourquoi la guerre froide n’a pas conduit à un holocauste nucléaire a été le développement, au milieu des années 60, de capacités de « seconde frappe » plus sûres par les deux superpuissances. La capacité des arsenaux des deux pays à survivre à une frappe nucléaire de l’autre et à lancer ensuite un assaut de représailles a réduit l’incitation à lancer une attaque en premier lieu.

Mais considérons maintenant un scénario contrefactuel – une « première frappe sûre » – dans lequel certaines technologies ont permis de détruire complètement un adversaire avant qu’il ne puisse réagir, le rendant ainsi incapable de riposter. Si une telle option existait, la peur mutuelle pourrait facilement déclencher une guerre totale. Même si aucune des deux puissances ne souhaitait la destruction de l’autre partie, l’une d’entre elles pourrait néanmoins se sentir obligée de frapper la première pour éviter le risque que la peur de l’autre partie ne la conduise à effectuer une telle première frappe. Nous pouvons rendre le contrefactuel encore pire en supposant que les armes concernées sont faciles à cacher ; cela rendrait impossible pour les parties de concevoir un programme de vérification fiable pour la réduction des armes qui pourrait résoudre leur dilemme de sécurité.

Le changement climatique peut illustrer un troisième type de boule noire ; appelons ce scénario « réchauffement climatique pire ». Dans le monde réel, les émissions de gaz à effet de serre causées par l’homme sont susceptibles d’entraîner une augmentation moyenne de la température de 3 à 4,5 degrés Celsius d’ici 2100. Mais imaginez que le paramètre de sensibilité du climat de la Terre ait été différent de ce qu’il est, de sorte que les mêmes émissions de carbone provoqueraient un réchauffement bien plus important que ce que les scientifiques prévoient actuellement – une augmentation de 20 degrés, par exemple. Pour aggraver le scénario, imaginez que les combustibles fossiles soient encore plus abondants et que les alternatives d’énergie propre soient plus coûteuses et technologiquement plus difficiles qu’elles ne le sont en réalité.

Contrairement au scénario de la « première frappe sûre », dans lequel un acteur puissant est fortement incité à prendre des mesures difficiles et extrêmement destructrices, le scénario du « pire réchauffement climatique » ne nécessite pas un tel acteur. Tout ce qu’il faut, c’est un grand nombre d’acteurs individuels insignificant – utilisateurs d’électricité, conducteurs – qui sont tous incités à faire des choses qui contribuent très légèrement à ce qui, cumulativement, devient un problème dévastateur pour la civilisation. Le point commun entre les deux scénarios est qu’il existe des incitations qui encourageraient un large éventail d’acteurs normalement motivés à mener des actions qui dévastent la civilisation.

Ce serait une mauvaise nouvelle si l’hypothèse d’un monde vulnérable était correcte. En principe, cependant, il existe plusieurs réponses qui pourraient sauver la civilisation d’une boule noire technologique. L’une d’entre elles serait d’arrêter complètement de tirer des boules de l’urne, cessant ainsi tout développement technologique. Mais ce n’est guère réaliste ; et, même si cela pouvait être fait, ce serait extrêmement coûteux, au point de constituer une catastrophe à part entière.

Une autre réponse théoriquement possible consisterait à remodeler fondamentalement la nature humaine pour éliminer le résidu apocalyptique ; nous pourrions également supprimer toute tendance des acteurs puissants à risquer la dévastation de la civilisation même lorsque des intérêts vitaux de sécurité nationale sont servis par ce biais, ainsi que toute tendance des masses à privilégier la commodité personnelle lorsque cela contribue à nuire de manière imperceptible à un bien mondial important. Une telle réingénierie des préférences mondiales semble très difficile à mettre en œuvre, et elle comporterait ses propres risques. Il convient également de noter qu’un succès partiel de cette réingénierie des préférences n’entraînerait pas nécessairement une réduction proportionnelle de la vulnérabilité civilisationnelle. Par exemple, la réduction de 50 % du résidu apocalyptique ne réduirait pas de moitié les risques des scénarios « easy nukes », car dans de nombreux cas, un seul individu pourrait à lui seul dévaster la civilisation. Nous ne pourrions donc réduire le risque de manière significative que si le résidu apocalyptique était pratiquement entièrement éliminé dans le monde entier.

Il reste donc deux options pour sécuriser le monde contre la possibilité que l’urne contienne une boule noire : une police extrêmement fiable qui pourrait empêcher tout individu ou petit groupe de mener des actions illégales très dangereuses ; et deuxièmement, une gouvernance mondiale forte qui pourrait résoudre les problèmes d’action collective les plus graves et assurer une coopération solide entre les États – même lorsqu’ils sont fortement incités à ne pas respecter les accords ou à refuser de signer sur le site first. Les lacunes en matière de gouvernance auxquelles ces mesures remédient sont les deux talons d’Achille de l’ordre mondial contemporain. Tant qu’ils ne sont pas protégés, la civilisation reste vulnérable à une boule noire technologique. Cependant, tant qu’une telle découverte n’est pas faite, il est facile de ne pas voir à quel point nous sommes exposés.

Examinons ce qu’il faudrait faire pour nous protéger contre ces vulnérabilités.

Imaginons que le monde se retrouve dans un scénario semblable à celui des « bombes faciles ». Supposons que quelqu’un découvre un moyen très simple de provoquer une destruction massive, que l’information sur cette découverte se répande et que les matériaux sont omniprésents et ne peuvent être rapidement retirés de la circulation. Pour prévenir la dévastation, les États devraient surveiller leurs citoyens d’assez près pour leur permettre d’intercepter toute personne qui commence à préparer un acte de destruction massive. Si la technologie de la « boule noire » est suffisamment destructrice et facile à utiliser, même une seule personne échappant au réseau de surveillance serait totalement inacceptable.

La résistance au « marquage de la liberté » pourrait s’atténuer une fois que quelques grandes villes auront été détruites

Pour avoir une idée de ce à quoi pourrait ressembler un niveau de surveillance vraiment intensif, regardez le croquis d’un « panopticon de haute technologie ». Chaque citoyen serait muni d’une « étiquette de liberté » (les connotations orwelliennes étant bien sûr intentionnelles, pour nous rappeler toute la gamme des possibilités d’application d’un tel système). Ce badge pourrait être porté autour du cou et équipé de caméras et de microphones multidirectionnels qui téléchargeraient en continu des images vidéo et audio cryptées vers des ordinateurs qui interpréteraient les flux en temps réel. Si des signes d’activité suspecte étaient détectés, le flux serait relayé à l’une des nombreuses « stations de surveillance des patriotes », où un « freedom officer » examinerait le flux et déterminerait une action appropriée, telle que contacter le porteur du tag via un haut-parleur sur le tag freedom – pour demander une explication ou une meilleure vue. Le « freedom officer » pourrait envoyer une unité de réponse rapide, ou peut-être un drone de police, pour enquêter. Si un porteur refuse de renoncer à l’activité interdite après des avertissements répétés, les autorités pourraient l’arrêter. Les citoyens ne seraient pas autorisés à retirer l’étiquette, sauf dans les endroits qui ont été équipés de capteurs externes adéquats.

En principe, un tel système pourrait être doté de protections sophistiquées de la vie privée et pourrait supprimer les données révélant l’identité telles que les visages et les noms, sauf si cela s’avère nécessaire pour une enquête. Les outils d’intelligence artificielle et la surveillance humaine pourraient surveiller de près la liberté officers pour les empêcher d’abuser de leur autorité. La mise en place d’un tel panopticon nécessiterait des investissements substantiels. Mais grâce à la baisse du prix des technologies concernées, il pourrait bientôt devenir techniquement réalisable.

(…)

Étant donné la complexité de ces solutions générales potentielles au risque d’une boule noire technologique, il pourrait être judicieux que les dirigeants et les décideurs politiques se concentrent d’abord sur des solutions partielles et sur les fruits à portée de main – en rafistolant des domaines particuliers où des risques majeurs semblent le plus susceptibles d’apparaître, tels que la recherche biotechnologique. Les gouvernements pourraient renforcer la Convention sur les armes biologiques en augmentant son financement et en lui accordant des pouvoirs de vérification. Les autorités pourraient renforcer leur surveillance des activités biotechnologiques en développant de meilleurs moyens de contrôler les scientifiques et de suivre les matériaux et équipements potentiellement dangereux. Pour empêcher le génie génétique de bricoler, par exemple, les gouvernements pourraient imposer des conditions de licence et limiter l’accès à certains instruments et informations de pointe. Plutôt que de permettre à quiconque d’acheter sa propre machine de synthèse d’ADN, ces équipements pourraient être limités à un petit nombre de fournisseurs étroitement surveillés. Les autorités pourraient également améliorer les systèmes de dénonciation, afin d’encourager le signalement des abus potentiels. Elles pourraient exhorter les organisations qui financent la recherche biologique à adopter une vision plus large des conséquences potentielles de ces travaux.

Néanmoins, tout en poursuivant des objectifs aussi limités, il faut garder à l’esprit que la protection qu’elles offrent ne couvre que des sous-ensembles particuliers de scénarios, et peut être temporaire. Si vous find êtes vous-même en mesure de influence les macroparamètres de la police préventive ou de la gouvernance mondiale, vous devriez considérer que des changements fondamentaux dans ces domaines pourraient être la seule façon de stabiliser notre civilisation face aux vulnérabilités technologiques émergentes.

Cet article s’inspire de l’article « The Vulnerable World Hypothesis » (2019) publié dans la revue « Global Policy ».

Via Aeon

1 commentaire sur “À quel point le monde est-il vulnérable ?”

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.