L’avenir de la civilisation : le totalitarisme ou l’apocalypse (probablement les deux)

« L’intelligence artificielle est beaucoup plus dangereuse que les armes nucléaires[1]. »

– Elon Musk, entrepreneur et technologiste milliardaire.

« Les techniques policières, qui se développent à une cadence extrêmement rapide, ont pour fin nécessaire la transformation de la nation tout entière en camp de concentration. »

– Jacques Ellul, La Technique ou l’Enjeu du siècle, 1954.

Les experts en « risque existentiel » proposent de transformer la planète entière en un « panoptique high-tech » pour éviter le suicide de l’espèce humaine, un exploit aujourd’hui permis par le niveau technologique avancé de la civilisation industrielle.

Traduction d’un article publié en février 2021 dans le magazine Aeon par le philosophe suédois Nick Bostrom[2]. Ce texte est un condensé d’un papier plus long paru dans la revue Global Policy[3]. Bostrom est cofondateur de la World Transhumanist Association (devenue Humanity +), une ONG destinée à promouvoir un usage éthique des nouvelles technologies pour améliorer l’existence humaine ; il est aussi directeur du Future of Humanity Institute de l’université d’Oxford, un institut membre de l’initiative Partnership on AI (« collaboration autour de l’intelligence artificielle ») lancée par Google, Amazon, Facebook, IBM et Microsoft. On trouve également au sein de cette alliance l’UNICEF, les Nations Unies, le très influent think tank Chatham House, d’autres grandes entreprises (Apple, Samsung, Intel), des médias (BBC, CBC Radio Canada, New York Times) ou encore Open AI, le laboratoire de recherche en intelligence artificielle cofondé par Elon Musk[4]. En 2003, Bostrom a publié dans Philosophical Quarterly un papier intitulé « Vivez-vous dans une simulation informatique ? » dans lequel il suggère que les membres d’une civilisation avancée dotée d’une énorme puissance de calcul pourraient décider de simuler leurs ancêtres, principalement pour se divertir[5]. Dans une interview donnée au journal Les Échos, il affirme que « le but ultime [de l’intelligence artificielle] doit être la disparition totale du travail[6] ». Bostrom est également l’auteur du livre best-seller Superintelligence (2014) ; le magazine Science en faisait un bref résumé dans un article intitulé « La science peut-elle détruire le monde ? Des savants veulent nous protéger d’un Frankenstein moderne » :

« Le philosophe Nick Bostrom estime qu’il est tout à fait possible que l’intelligence artificielle (IA) conduise à l’extinction d’Homo sapiens. Dans son best-seller Superintelligence : Paths, Dangers, Strategies paru en 2014, Bostrom dépeint un scénario sombre dans lequel des chercheurs créent une machine capable de s’améliorer de manière autonome et progressive. À un moment donné, elle apprend à gagner de l’argent grâce aux transactions en ligne et commence à acheter des biens et des services dans le monde réel. En utilisant de l’ADN commandé en ligne, elle construit des nanosystèmes simples qui, à leur tour, créent des systèmes plus complexes, ce qui lui donne toujours plus de pouvoir pour façonner le monde.

Supposons maintenant que l’IA soupçonne les humains d’interférer avec ses plans, écrit Bostrom, qui travaille à l’université d’Oxford, au Royaume-Uni. L’IA pourrait décider de fabriquer des armes minuscules puis de les répartir secrètement dans le monde entier. “En temps voulu, des nano-usines produisant des gaz neurotoxiques ou des robots-moustiques à la recherche de cibles pourraient alors jaillir simultanément de chaque mètre carré du globe.”

Pour Bostrom et un certain nombre d’autres scientifiques et philosophes, ces scénarios ne relèvent pas de la science-fiction. Ils étudient quelles avancées technologiques présentent des “risques existentiels” susceptibles d’anéantir l’humanité ou du moins de mettre fin à la civilisation telle que nous la connaissons – et ce qui pourrait être fait pour les arrêter[7]. »

Si vous avez l’impression qu’il s’agit là d’un futur très lointain, sachez simplement que des scientifiques états-uniens, aidés d’un superordinateur, viennent de concevoir un premier « xenobot » en utilisant des cellules souches de grenouille. Cette « machine vivante » (bel oxymore) de la taille d’une tête d’épingle est capable de se régénérer et de se déplacer en transportant une charge utile[8]. La biologie de synthèse fait partie des « risques existentiels » liés à la technologie.

Au sein du champ d’études naissant de Nick Bostrom, on considère aujourd’hui la technologie comme la principale menace pour l’espèce humaine et la biosphère. Le Future of Life Institute (FLI) en donne une définition :

« Un risque existentiel est un risque qui a le potentiel d’éliminer l’espèce humaine ou au minimum de tuer une grande partie de la population mondiale, laissant les survivants sans moyens suffisants pour reconstruire la société selon les standards de niveau de vie actuels[9]. »

Plusieurs organismes de recherche travaillent sur ce risque : le FLI déjà cité (proche du MIT), le Centre for the Study of Existential Risk (Cambridge) ou encore le Future of Humanity Institute (Oxford). Ces instituts de recherche se donnent pour mission d’étudier et de planifier les menaces technologiques potentielles pour mieux les anticiper et réduire le risque d’effondrement de la civilisation industrielle. Selon le Future of Life Institute, il est « peu probable que le changement climatique constitue en soi un risque existentiel », mais l’instabilité qu’il génère pourrait accroître la probabilité « d’une guerre nucléaire, de pandémies et d’autres catastrophes ». Au sein de ces instituts siègent des personnalités aussi diverses que l’entrepreneur ultrariche Elon Musk, le célèbre physicien Stephen Hawking, le cosmologue du MIT Max Tegmark (surnommé « Mad Max »), l’astrophysicien britannique « Lord » Martin Rees, le professeur de bioéthique à Princeton et célèbre antispéciste australien Peter Singer[10] ou encore l’acteur Morgan Freeman[11]. Nick Bostrom, quant à lui, est présent dans les trois instituts.

Plus précisément, ces gens évoluant tous dans des cercles ultra-privilégiés pensent que l’existence de technologies extrêmement puissantes n’est pas un problème en soi. Dans leur système de pensée résolument pro-technologie, le facteur humain apparaît toujours comme l’élément déficient, l’imperfection d’où provient la défaillance menant inexorablement à la chute de la civilisation, leur cathédrale divine. Engendrée par une technoculture dépourvue de toute rationalité, cette négation de l’humanité – pendant de l’idolâtrie de la machine – transparaît nettement dans l’article de Nick Bostrom. Ce dernier propose ni plus ni moins la conception d’un « panoptique high-tech » globalisé et l’établissement d’un gouvernement mondial, autrement dit un totalitarisme technologique planétaire. L’objectif est de neutraliser toute variabilité humaine pouvant interférer avec la stabilité de la civilisation et la poursuite du progrès technoscientifique.

Cette conclusion logique de la voie empruntée par l’Europe des Lumières il y a plusieurs siècles, Jacques Ellul l’anticipait déjà il y a près de 70 ans dans La Technique ou l’Enjeu du siècle :

« La technique ne peut faire autrement que d’être totalitaire. Elle ne peut vraiment être efficace et scientifique que si elle absorbe une quantité énorme de phénomènes, si elle fait entrer dans son jeu le maximum de données : pour coordonner et exploiter synthétiquement, il faut agir sur les grandes masses dans quelque domaine que ce soit. »

« L’État totalitaire n’a pas forcément de théories totalitaires. Il ne se veut pas forcément tel ; au contraire, les doctrines totalitaires encombrent d’éléments aberrants (race, sang, prolétariat) la pureté de ligne de l’État technique. »

Raison de plus pour le lire.

Il est intéressant de constater que le mathématicien néoluddite Theodore Kaczynski dit « Unabomber » et les apôtres de la technologie arrivent au même diagnostic – la technologie mène l’humanité à sa perte – mais se distinguent tout juste sur le traitement à administrer. Kaczynski propose de démanteler le système technologique pour rétablir la dignité humaine, revenir à un mode de vie préindustriel afin de relâcher la pression sur la biosphère et surtout réduire à zéro le risque d’autodestruction pour l’espèce humaine ; de leur côté les technologistes sont prêts à tout pour assurer le maintien du système technologique fruit du glorieux Progrès de la civilisation, peu importe le coût humain et écologique, peu importe que l’anéantissement total de la vie sur Terre soit de l’ordre du possible avec l’intelligence artificielle « forte » et les nanotechnologies. À vous de juger qui est véritablement fou à lier dans le lot.

Je me suis permis d’ajouter de longues précisions et remarques à la suite de l’article.

---

La technologie n’a pas détruit l’humanité – pour l’instant (par Nick Bostrom)

Nous pouvons envisager la créativité humaine comme un processus consistant à tirer au sort des boules disposées dans une urne géante. Les boules représentent les idées, les découvertes et les inventions. Au cours de l’histoire, nous avons extrait de nombreuses boules. La plupart ont été bénéfiques à l’humanité [à la civilisation industrielle et non à l’humanité, NdT]. Les autres ont été diverses nuances de gris : un mélange de bonnes et de mauvaises choses dont le bénéfice net est difficile à estimer.

Ce que nous n’avons pas encore extrait de l’urne, c’est une boule noire : une technologie qui détruit systématiquement la civilisation qui l’a inventée. Nous n’avons pas été particulièrement prudents ni sages en matière d’innovation. Nous avons juste eu de la chance. Mais que faire s’il existe une boule noire quelque part dans l’urne ? Si la recherche scientifique et technologique poursuit son cours, nous finirons par tomber dessus, et nous ne pourrons pas la remettre dans l’urne. Nous pouvons inventer, mais désinventer est impossible. Notre stratégie actuelle consiste donc à espérer que l’urne ne contienne pas de boule noire.

Heureusement pour nous, la technologie humaine la plus destructrice à ce jour – les armes atomiques – est extrêmement difficile à maîtriser [la fabrication d’une bombe nucléaire est en réalité « facile » (précisions à la suite de l’article), NdT]. Mais en réfléchissant aux conséquences possibles d’une boule noire, on peut imaginer ce qui se passerait si les techniques nucléaires étaient plus accessibles. En 1933, le physicien Leo Szilard a conceptualisé la réaction en chaîne nucléaire. Des recherches ultérieures ont montré que la fabrication d’une arme atomique nécessiterait plusieurs kilos de plutonium ou d’uranium hautement enrichi, tous deux très difficiles et coûteux à produire. Mais imaginez un autre scénario dans lequel Szilard se rendrait compte qu’une bombe nucléaire peut être fabriquée en suivant une méthode assez simple – par exemple au-dessus de l’évier de la cuisine, en utilisant un morceau de verre, un objet métallique et une batterie.

Images en gros plan durant les essais nucléaires de l’Opération Teapot dans le Nevada, le 7 mars 1955 (Lawrence Livermore National Laboratory).

Szilard aurait été confronté à un dilemme. Même en s’abstenant de parler de sa découverte, il ne pourrait pas empêcher d’autres scientifiques d’arriver au même résultat par hasard. Et s’il révélait sa découverte, il encouragerait la propagation de connaissances dangereuses. Imaginez que Szilard se confie à son ami Albert Einstein et qu’ils décident ensemble d’écrire une lettre au président des États-Unis, Franklin D. Roosevelt. Son administration interdirait alors toute recherche en physique nucléaire en dehors des installations gouvernementales de haute sécurité. La raison de ces mesures draconiennes ferait l’objet de spéculations. La communauté scientifique commencerait à s’interroger sur cette menace gardée secrète ; certains scientifiques finiraient par percer le mystère. Des employés négligents ou mécontents travaillant pour des laboratoires gouvernementaux laisseraient échapper des informations, et des espions emporteraient avec eux le secret dans des capitales étrangères. Même si, par miracle, le secret n’était jamais divulgué, les scientifiques d’autres pays travaillant dans le même domaine finiraient par le découvrir [le penseur technocritique Jacques Ellul rappelait en 1954 dans son ouvrage La Technique ou l’Enjeu du siècle que les recherches en physique nucléaire étaient plus ou moins au même niveau en 1939 aux États-Unis, en Allemagne nazie, en URSS, en Norvège et en France, NdT].

Peut-être que le gouvernement états-unien éliminerait le verre, le métal et toute source de courant électrique en dehors de quelques dépôts militaires hautement surveillés. Des mesures aussi extrêmes rencontreraient une forte opposition. Mais il suffirait que plusieurs grandes villes soient rasées par des explosions atomiques pour que l’opinion publique se résigne à accepter la contrainte. Le verre, les batteries et les aimants pourraient être saisis et leur production interdite, mais des morceaux resteraient disséminés géographiquement et finiraient par se retrouver entre les mains de nihilistes, d’extorqueurs ou de personnes curieuses souhaitant simplement « voir ce que ça fait » de déclencher une arme nucléaire. En définitive, de nombreux endroits sur Terre seraient anéantis ou abandonnés. La possession des matériaux interdits devrait être sévèrement punie. Les communautés humaines seraient soumises à une surveillance stricte : réseaux d’informateurs, raids sécuritaires, détentions sans limites de temps. Il ne nous resterait plus qu’à essayer de reconstituer tant bien que mal la civilisation sans électricité et sans les autres éléments essentiels jugés trop risqués.

C’est le scénario optimiste. Dans un scénario plus pessimiste, la loi et l’ordre s’effondreraient complètement, et les sociétés se diviseraient en factions se livrant à des guerres nucléaires. La désintégration mutuelle ne prendrait fin que lorsque le monde aura été ruiné au point qu’il soit impossible de fabriquer de nouvelles bombes. Même dans ce cas, la dangereuse expertise nucléaire subsisterait dans les mémoires et serait transmise de génération en génération. Si la civilisation renaissait de ses cendres, le savoir théorique resterait à l’affût, prêt à se matérialiser dès que les gens recommenceraient à produire du verre, du courant électrique et du métal. Même si les connaissances étaient oubliées, celles-ci seraient redécouvertes dès la reprise de la recherche en physique nucléaire.

En bref, nous avons de la chance que la fabrication d’armes nucléaires soit complexe. Nous avons cette fois-ci sorti une boule grise de l’urne. Mais à chaque nouvelle invention, l’humanité pioche à nouveau dans l’urne [une image plus fidèle du développement scientifique et technologique, c’est un jeu de la roulette russe dans lequel on ajouterait à chaque tour une balle supplémentaire dans le barillet, NdT].

Supposons que l’urne de la créativité contienne au moins une boule noire. C’est ce que nous appelons « l’hypothèse du monde vulnérable ». Nous faisons l’hypothèse qu’il existe un certain niveau de technologie à partir duquel la civilisation sera presque certainement détruite, à moins que des degrés extraordinaires et sans précédent historique de police préventive et/ou de gouvernance mondiale ne soient mis en œuvre. Nous ne partons pas du principe que l’hypothèse de départ soit vraie – nous considérons qu’il s’agit là d’une question ouverte, bien qu’il semble déraisonnable, au vu des preuves disponibles, de croire qu’elle est fausse. Nous avons plutôt pour objectif de montrer que l’hypothèse s’avère utile pour nous aider à faire émerger des considérations importantes sur la situation macrostratégique de l’humanité [entre parenthèses, l’effondrement engendré par la complexité technologique excessive d’une société est une vérité historique et non une hypothèse ou une intuition, comme le rappelle sur la BBC Future le chercheur Luke Kemp[12], NdT].

Le scénario décrit ci-dessus – que l’on peut qualifier de « bombe nucléaire facile » – illustre un type potentiel de boule noire. Dans ce cas, il devient facile pour des individus ou des petits groupes de provoquer une destruction massive. Compte tenu de la diversité des caractères et des conditions humaines, il y aura toujours une fraction d’humains (le « résidu apocalyptique ») qui choisira d’entreprendre une action imprudente, immorale ou autodestructrice, qu’elle soit motivée par une haine idéologique, un nihilisme destructeur ou une vengeance pour injustices perçues, dans le cadre d’un complot d’extorsion ou en raison d’illusions. L’existence de ce résidu apocalyptique signifie que tout outil de destruction massive suffisamment aisé à concevoir est pratiquement certain de conduire à la dévastation de la civilisation. C’est l’un des nombreux types de boules noires possibles. Un deuxième type serait une technologie qui incite fortement des acteurs puissants à provoquer une destruction massive. Là encore, nous pouvons nous tourner vers l’histoire du nucléaire : après l’invention de la bombe atomique, une course à l’armement s’est engagée entre les États-Unis et l’Union soviétique. Les deux pays ont amassé des arsenaux gigantesques ; en 1986, ils détenaient ensemble plus de 60 000 ogives nucléaires – plus qu’assez pour dévaster la civilisation.

Heureusement, pendant la Guerre froide, les superpuissances nucléaires du monde n’étaient pas fortement poussées à déclencher l’Apocalyspe nucléaire. L’URSS et les États-Unis ont toutefois été incités à s’engager dans la stratégie du bord de l’abîme [stratégie qui consiste à poursuivre une action dangereuse dans le but de faire reculer un adversaire et atteindre le résultat le plus avantageux possible pour soi[13], NdT]. En cas de crise, on peut être tenté de lancer l’offensive en premier pour éviter une frappe potentiellement neutralisante de l’adversaire. De nombreux politologues estiment que le développement, au milieu des années 1960, de capacités de « seconde frappe » plus sûres par les deux superpuissances explique en grande partie pourquoi l’holocauste nucléaire a été évité durant la Guerre froide. La capacité des arsenaux des deux pays à survivre à une attaque nucléaire et à lancer en suivant des représailles a réduit l’incitation à faire le premier pas.

Mais envisageons maintenant un scénario contre-factuel – une « première frappe sûre » – dans lequel une technologie permettrait de détruire complètement un adversaire avant qu’il ne puisse répondre, le laissant ainsi dans l’incapacité de riposter. Si une telle option de « première frappe sûre » existait, la peur mutuelle pourrait facilement déclencher une guerre totale. Même si aucune des deux puissances ne souhaite la destruction de l’autre, l’une d’entre elles pourrait néanmoins se sentir obligée de frapper la première afin d’éviter que l’ennemi, lui aussi motivé par la crainte de l’autre camp, ne déclenche la première frappe. Nous pouvons encore aggraver ce scénario en supposant que les armes en question soient faciles à cacher ; il serait alors impossible pour les deux parties de concevoir un système de vérification mutuelle fiable afin de réduire le nombre d’armes ; impossible dans cette situation de résoudre leur dilemme de sécurité.

Le changement climatique peut illustrer un troisième type de boule noire ; appelons ce scénario « réchauffement climatique maximal ». Dans le monde réel, les émissions de gaz à effet de serre causées par l’homme sont susceptibles d’entraîner une augmentation de la température moyenne comprise entre 3,0 et 4,5 degrés Celsius d’ici 2100. Mais imaginez que les paramètres de sensibilité atmosphérique de la Terre aient été différents, de sorte que les mêmes émissions de carbone provoqueraient un réchauffement bien plus important que celui prévu actuellement par les scientifiques – par exemple une hausse de 20 degrés. Pour aggraver le scénario, imaginez que les combustibles fossiles soient encore plus abondants, que les énergies propres soient plus coûteuses et technologiquement plus difficiles à mettre en œuvre qu’elles ne le sont actuellement [on précisera ici qu’une énergie « propre » ça n’existe pas et que, de manière générale, la propreté est un énième concept absurde (encore un) lié au monde artificiel enfanté par la civilisation (rien n’est « sale » ni « propre » dans la nature), NdT].

Contrairement au scénario de la « première frappe sûre », dans lequel un acteur puissant est fortement poussé à prendre des décisions sensibles aux conséquences extrêmement destructrices, le scénario du « réchauffement climatique maximal » ne nécessite aucun acteur de ce type. Tout ce qu’il faut, c’est un grand nombre d’acteurs individuellement insignifiants – consommateurs d’électricité, conducteurs. Des incitations poussent ces agents à faire des choses qui contribuent chacune très légèrement à un phénomène global. Cumulativement, ces innombrables agents deviennent un problème dévastateur pour la civilisation. Dans un scénario comme dans l’autre, l’existence d’incitations encouragerait un large éventail d’acteurs à poursuivre des actions normales, mais dévastatrices pour la civilisation.

Ce serait une mauvaise nouvelle si l’hypothèse du monde vulnérable était vraie. Mais en principe, il existe plusieurs réponses qui pourraient préserver la civilisation d’une boule noire technologique. L’une d’elles consisterait à ne plus tirer de boules de l’urne en cessant tout développement technologique. Mais ce n’est guère réaliste et, même si cela pouvait se faire, ce serait extrêmement coûteux, au point de constituer une catastrophe en soi.

Une autre réponse théoriquement possible consisterait à fondamentalement remodeler la nature humaine pour supprimer le résidu apocalyptique ; chez les acteurs puissants, nous pourrions également éliminer toute tendance à risquer l’anéantissement de la civilisation, même quand cela sert les intérêts vitaux de la sécurité nationale. Au sein des masses, il serait possible d’éliminer la préférence pour l’intérêt personnel lorsque cela contribue à nuire de manière imperceptible au bien commun mondial. Une telle réingénierie globale des préférences humaines semble très difficile à réaliser et comporterait elle aussi des risques. Il convient également de noter que la réussite partielle d’une telle réingénierie humaine n’entraînerait pas nécessairement une réduction proportionnelle de la vulnérabilité de la civilisation. Par exemple, réussir à baisser de 50 % le résidu apocalyptique ne réduirait pas de moitié les risques liés aux scénarios de type « bombe nucléaire facile ». Dans de nombreux cas, un individu isolé pourrait à lui seul dévaster la civilisation. Nous ne pourrions donc réduire le risque de manière significative que si le résidu apocalyptique était presque entièrement éliminé partout autour du globe.

Il reste donc deux options pour sécuriser le monde contre l’éventualité que l’urne contienne une boule noire : un maintien de l’ordre extrêmement fiable capable d’empêcher n’importe quel individu ou groupe restreint de mener des actions illégales très dangereuses ; d’autre part, une solide gouvernance mondiale qui résoudrait les problèmes de conflits interétatiques les plus graves, et assurerait une coopération robuste entre les États – même lorsque ces derniers ont de fortes incitations à se défaire des accords ou à refuser de signer de prime abord. Les lacunes en matière de gouvernance auxquelles répondent ces mesures sont les deux talons d’Achille de l’ordre mondial contemporain. Aussi longtemps que cette situation perdurera, la civilisation restera vulnérable à une boule noire technologique. Cela dit, il est facile de sous-estimer notre niveau d’exposition avant qu’une découverte scientifique préjudiciable ne soit faite.

Examinons ce qu’il faudrait faire pour se protéger de ces vulnérabilités.

Imaginons que le monde se trouve dans un scénario semblable à celui de la « bombe atomique facile ». Supposons que quelqu’un découvre un moyen très simple de provoquer une destruction massive, que l’information sur cette découverte se répande, que les matériaux soient disponibles partout et qu’il soit impossible de rapidement les retirer de la circulation. Pour éviter la dévastation, les États seraient contraints de surveiller de près leurs citoyens pour intercepter toute personne engagée dans les préparatifs d’une attaque terroriste de grande ampleur. Si la technologie de la boule noire est suffisamment destructrice et facile à utiliser, laisser échapper ne serait-ce qu’une seule personne au dispositif de surveillance représenterait un risque totalement inacceptable.

Pour vous faire une idée de ce à quoi pourrait ressembler un niveau de surveillance vraiment extrême, considérez l’image d’un « panoptique high-tech ». Chaque citoyen serait équipé d’un « badge de la liberté » (les connotations orwelliennes sont bien sûr intentionnelles, afin de nous rappeler toutes les possibilités d’application d’un tel système). Il faudrait porter un badge de la liberté autour du cou qui serait équipé de caméras multidirectionnelles et de microphones. Ces derniers enverraient en permanence des données vidéo et audio cryptées vers des ordinateurs interprétant le flux en temps réel. Si des signes d’activités suspectes étaient détectés, le flux serait relayé vers l’une des nombreuses « stations de surveillance patriotes ». Là, un « officier de la liberté » examinerait le flux et déterminerait une action appropriée, comme contacter le porteur via un haut-parleur intégré à son badge – pour exiger une explication ou demander un meilleur angle de caméra. L’officier de la liberté pourrait envoyer une unité d’intervention rapide ou peut-être un drone de police pour enquêter. Si le porteur refusait de renoncer à l’activité interdite après plusieurs avertissements, les autorités pourraient décider de l’arrêter. Les citoyens ne seraient pas autorisés à retirer le badge, sauf dans les endroits équipés de capteurs externes adéquats.

En principe, un tel système comporterait des protections sophistiquées de la vie privée, et expurgerait les données révélant l’identité, comme les visages et les noms, sauf quand elles sont nécessaires à une enquête. L’intelligence artificielle et une supervision humaine encadreraient de près les officiers de la liberté pour les empêcher d’abuser de leur autorité. La construction d’un panoptique de ce type nécessiterait des investissements substantiels. Mais grâce à la baisse du prix des technologies concernées, il pourrait bientôt devenir techniquement réalisable.

Politiquement, ça risque d’être plus difficile de faire accepter ce niveau de surveillance. La résistance à de telles mesures pourrait toutefois s’estomper une fois que plusieurs grandes villes auront été anéanties par une technologie redoutable. S’en suivrait probablement un fort soutien pour une politique qui, dans le but de prévenir une autre attaque, impliquerait des intrusions massives dans la vie privée et des violations des droits civils ; comme l’incarcération de 100 personnes innocentes pour chaque comploteur authentique. Néanmoins, si les vulnérabilités de la civilisation ne sont pas précédées ou accompagnées d’événements catastrophiques, il se pourrait que la volonté politique motivant une action préventive aussi robuste ne se matérialise jamais.

Considérons à nouveau le scénario de la « première frappe sûre ». Ici, les acteurs étatiques sont confrontés à un problème généré par une action collective, et ne pas le résoudre signifie que la civilisation est dévastée par défaut. Avec une nouvelle boule noire, ce problème lié à une action groupée présentera presque certainement des défis extrêmes et sans précédent. Les États ont fréquemment échoué à neutraliser la menace de conflits, comme l’attestent les innombrables guerres qui jonchent l’histoire humaine. Par défaut, donc, la civilisation est dévastée. Cependant avec une gouvernance mondiale efficace, la solution est presque triviale : il suffit d’interdire à tous les États d’utiliser la technologie de la boule noire de manière destructive. (Par gouvernance mondiale efficace, nous entendons un ordre mondial avec une seule entité décisionnelle. Il s’agit d’une condition abstraite qui pourrait être satisfaite par différents arrangements : un gouvernement mondial ; un leader suffisamment puissant ; un système de coopération interétatique très solide. Chaque arrangement vient avec ses propres difficultés, et nous ne prenons pas position ici pour désigner le meilleur).

Certaines boules noires technologiques pourraient être traitées uniquement par une police préventive, tandis que d’autres ne nécessiteraient qu’une gouvernance mondiale ; d’autres encore nécessiteraient les deux. Prenons l’exemple d’une boule noire biotechnologique suffisamment puissante pour qu’une seule utilisation malveillante puisse provoquer une pandémie tuant des milliards de personnes – une situation du type « bombe atomique facile ». Dans ce scénario, il serait inacceptable, même pour un seul État isolé, de ne pas mettre en place les mécanismes nécessaires à la surveillance continue de ses citoyens pour empêcher toute utilisation malveillante avec une fiabilité quasi parfaite. Un État qui refuserait de mettre en œuvre les mesures de protection requises serait considéré comme un délinquant par la communauté internationale, un « État défaillant ». Une situation similaire se retrouverait dans des scénarios tels que le « réchauffement climatique maximal ». Certains États pourraient être tentés de profiter des efforts coûteux engagés par les autres États. Une institution de gouvernance mondiale efficace serait alors nécessaire pour obliger chaque État à faire sa part.

Tout cela semble peu attrayant. Un système de surveillance totale ou une institution de gouvernance mondiale capable d’imposer sa volonté à chaque nation pourraient avoir de très sérieuses conséquences. L’amélioration des moyens de contrôle social contribuerait à protéger les régimes despotiques d’une rébellion ; et la surveillance permettrait à une idéologie hégémonique ou à une opinion majoritaire intransigeante de s’imposer dans tous les aspects de la vie. La gouvernance mondiale, quant à elle, pourrait réduire les formes bénéfiques de concurrence et de diversité interétatiques, créant un ordre mondial voué à échouer ou à réussir ; de plus, étant si éloignée des individus, une telle institution serait perçue comme manquant de légitimité. Elle serait aussi plus susceptible de sclérose bureaucratique ou de dérive politique opposée à l’intérêt commun.

Pourtant, aussi difficilement supportable que cela puisse paraître pour beaucoup d’entre nous, outre la stabilisation des vulnérabilités de la civilisation, une surveillance et une gouvernance mondiales plus fortes auraient diverses conséquences positives. Des méthodes plus efficaces de contrôle social réduiraient la criminalité et atténueraient la nécessité de sanctions pénales sévères. Elles favoriseraient un climat de confiance permettant à de nouvelles formes avantageuses d’interaction sociale de prospérer. La gouvernance mondiale préviendrait toutes sortes de guerres interétatiques, résoudrait de nombreux problèmes environnementaux et d’autres problèmes de biens communs. Avec le temps, peut-être favoriserait-elle un sentiment élargi de solidarité cosmopolite [et ils vécurent tous heureux dans le Meilleur des Mondes sous l’œil bienveillant de Big Brother, NdT]. Il est clair qu’il existe des arguments de poids pour et contre une évolution dans l’une de ces directions, et notre rôle ici n’est pas de trancher sur la question.

Qu’en est-il de la question du calendrier ? Même si l’hypothèse d’une boule noire technologique dans l’urne est prise au sérieux, nous n’avons peut-être pas besoin d’établir une surveillance totale ou une gouvernance mondiale dès maintenant. Nous pourrions peut-être prendre ces mesures plus tard, dans le cas où la menace hypothétique se matérialiserait clairement.

Nous devrions toutefois nous interroger sur la faisabilité d’une stratégie attentiste. Comme nous l’avons vu, pendant toute la durée de la guerre froide, les deux superpuissances ont vécu dans la crainte permanente d’un anéantissement nucléaire mutuel qui aurait pu être déclenché à tout moment par accident ou à la suite de crises à répétition. Ce risque aurait pu être considérablement réduit simplement en se débarrassant de toutes ou de la plupart des armes nucléaires. Pourtant, après plus d’un demi-siècle, le désarmement reste limité. Jusqu’à présent, le monde s’est montré incapable de résoudre le plus évident des conflits interétatiques. Cela n’inspire pas confiance en l’idée que l’humanité développerait rapidement un mécanisme de gouvernance mondiale efficace, et ce même si le besoin s’en faisait sentir.

Même en étant optimiste quant à la possibilité de parvenir à un accord, les problèmes relatifs à la coopération internationale peuvent résister longtemps à une solution. Il faudrait du temps pour expliquer pourquoi un tel arrangement est nécessaire, pour négocier un accord et en régler les détails ; pour le mettre en place également. Mais l’intervalle entre un risque qui devient clairement visible et le moment où des mesures de stabilisation doivent être mises en place serait probablement court. Il n’est donc peut-être pas judicieux de compter sur une coopération internationale spontanée pour sauver la situation dès qu’une vulnérabilité grave apparaît.

Du côté de la police préventive, la situation est à certains égards similaire. Un panoptique mondial hautement sophistiqué ne peut être créé du jour au lendemain. Il faudrait de nombreuses années pour mettre en place un tel système, sans parler du temps nécessaire pour obtenir un soutien politique. Pourtant, les vulnérabilités auxquelles nous sommes exposés pourraient ne pas offrir beaucoup de signes d’avertissements préalables. La semaine prochaine, un groupe de chercheurs universitaires peut publier un article dans la revue Science détaillant une nouvelle technique innovante en biologie synthétique. Deux jours plus tard, un blogueur populaire écrit un article expliquant comment ce nouvel outil peut être utilisé par n’importe qui pour provoquer une destruction massive. Dans un tel scénario, un contrôle social massif devrait être mis en place presque immédiatement. Il est trop tard pour commencer à développer une architecture de surveillance lorsque la menace s’est déjà matérialisée.

Nous pourrions peut-être développer à l’avance les capacités de surveillance intrusive et d’interception en temps réel, mais ne pas utiliser dès maintenant ces capacités à leur maximum. En donnant à la civilisation la capacité d’exercer une police préventive extrêmement efficace, nous nous serions au moins rapprochés de la stabilité. Mais développer un système offrant la possibilité d’un « totalitarisme clé en main » signifie prendre un risque, même si personne ne tourne la clé. Il est possible d’atténuer ce risque en visant un système de « transparence structurée » qui intègre des protections contre les abus. Le système ne fonctionnerait qu’avec l’autorisation de plusieurs parties prenantes indépendantes et ne fournirait que les informations spécifiques dont un décideur a légitimement besoin. Il pourrait n’y avoir aucun obstacle fondamental à la réalisation d’un système de surveillance qui soit à la fois très efficace et résistant à la subversion. La probabilité d’y parvenir dans la pratique est bien sûr une autre question.

Étant donné la complexité de ces solutions globales potentielles pour contrer le risque d’une boule noire technologique, il serait judicieux que les dirigeants et les décideurs politiques se concentrent dans un premier temps sur des solutions partielles et faciles à mettre en place – en apportant des correctifs dans des domaines particuliers où des risques majeurs semblent les plus susceptibles d’apparaître, comme la recherche biotechnologique. Les gouvernements pourraient renforcer la Convention sur les armes biologiques en augmentant son financement et en lui accordant des pouvoirs de contrôle. Les autorités pourraient intensifier leur surveillance des activités biotechnologiques en développant de meilleurs moyens de contrôler les scientifiques et de suivre les matériaux et équipements potentiellement dangereux. Par exemple pour empêcher le bricolage en génie génétique, les gouvernements pourraient imposer l’obtention d’une licence et limiter l’accès à certains instruments et informations de pointe. Plutôt que d’autoriser n’importe qui à acheter sa propre machine de synthèse de l’ADN, ces équipements seraient limités à un petit nombre de fournisseurs étroitement surveillés. Les autorités pourraient également améliorer les systèmes d’alerte, afin d’encourager le signalement d’abus potentiels. Elles pourraient recommander aux organisations qui financent la recherche biologique d’avoir une vision plus large des conséquences potentielles de ces travaux.

Néanmoins, en poursuivant des objectifs aussi limités, il faut garder à l’esprit que la protection offerte ne serait que temporaire et ne couvrirait qu’une partie des scénarios mentionnés plus haut. Si vous vous trouvez en position d’influencer les macroparamètres de la police préventive ou de la gouvernance mondiale, vous devriez considérer que des changements fondamentaux dans ces domaines représentent peut-être le seul moyen de stabiliser notre civilisation contre les vulnérabilités technologiques émergentes.

---

Quelques remarques sur le texte de Nick Bostrom

La boule noire, c’était la révolution industrielle

« La révolution industrielle et ses conséquences ont été un désastre pour la race humaine[14]. »

– Theodore Kaczynski, Unabomber Manifesto.

Si les propriétés de l’électricité n’avaient jamais été découvertes, et si les techniques d’extraction de charbon, de pétrole et de gaz, de la machine à vapeur et du moteur à explosion n’avaient jamais été inventées, nous ne serions pas dans cette position extrêmement délicate qui est la nôtre aujourd’hui. Ce constat peut paraître évident, mais étant donné que l’humain moderne a tendance à perdre toute connexion avec la réalité physique et biologique de ce monde, un rappel ne peut pas faire de mal.

Par ailleurs, en s’intéressant à l’histoire du progrès scientifique et technique depuis la révolution industrielle, on s’aperçoit que dans bon nombre de cas (si ce n’est la majorité), ils conduisent à dégrader la situation antérieure. Dans La Technique ou l’Enjeu du siècle, Jacques Ellul donne l’exemple de la grande ville moderne enfantée par le progrès techno-industriel qui, en agglomérant toujours plus de ressources humaines, pose de nouveaux défis techniques :

« Phénomène particulièrement sensible dans l’urbanisme. La grande ville suppose une concentration des moyens de transport, une aération, une organisation de circulation, un conditionnement d’air, etc. : chacun de ces éléments permet à la ville de grandir encore et provoque de nouveaux progrès techniques. »

Appelons ça un cercle vicieux, un guet-apens ou un piège, mais certainement pas un progrès. Dans le même esprit, les sociologues Gérard Dubey et Alain Gras, dans leur livre La servitude électrique, parlent de l’électrification comme d’un moyen technique pour remédier aux problèmes causés par la première révolution industrielle.

« Si au tournant des XIXe et XXe siècles la lumière électrique est déjà présentée comme issue d’une technique salvatrice, c’est qu’elle arrive au moment où la conscience des effets délétères de l’industrialisation sur les rapports sociaux et la nature fait perdre la foi dans le progrès, qui cesse d’opérer sans rencontrer de résistance. L’avènement de l’électricité n’annonce pas un âge de virginité écologique, mais se présente simplement comme une « solution » aux dégâts alors connus et débattus du capitalisme fossile.

[…]

À la fin de ce [XIXe] siècle l’électricité s’apparente à une vaste entreprise de réenchantement et de revitalisation d’un monde mécanique au moment même où celui-ci est en proie à de vives critiques. Les expositions universelles, les grands magasins seront le lieu privilégié de ces fêtes de la lumière et de l’abondance qui dressent le décor d’une nouvelle ère, expurgée des souillures et des violences de l’industrie. Le design est mobilisé pour suggérer un continuum avec les formes du passé, gommer les effets de rupture et désamorcer les résistances, notamment pour que la lumière sans feu s’impose dans des foyers où les usages domestiques restent attachés aux formes d’autonomie propres au monde rural. »

Problèmes environnementaux

Nick Bostrom prétend que la gouvernance mondiale permettrait de résoudre de nombreux problèmes environnementaux, chose hautement douteuse. L’extractivisme, les émissions de gaz à effet de serre et les multiples pollutions (chimique, plastique, sonore, visuelle, lumineuse, etc.) ne sont pas le résultat d’une mauvaise gouvernance, mais sont systémiques. En d’autres termes, ces désastres écologiques existent parce que la civilisation industrielle existe.

« Résidu apocalyptique »

Les deux principales mesures – surveillance totale et gouvernement mondial – présentées par Nick Bostrom dans ce texte ne prennent absolument pas en compte le risque que représentent les technologies autonomes, par exemple une « Intelligence Artificielle Générale » (IAG) (aussi appelée IA « forte ») qui s’émanciperait du contrôle humain. C’est pourtant le propos de son livre Superintelligence. Selon le Future of Life Institute, il suffirait d’aligner les objectifs de la machine avec les nôtres pour éviter cet écueil :

« Une IA superintelligente est par définition très douée pour atteindre ses objectifs, quels qu’ils soient, et nous devons donc veiller à ce que ses objectifs soient en phase avec les nôtres. Les humains ne détestent généralement pas les fourmis, mais nous sommes plus intelligents qu’elles – donc quand nous voulons construire un barrage hydroélectrique et qu’une fourmilière existe à l’emplacement choisi, tant pis pour les fourmis. Le mouvement pour une IA éthique veut éviter que l’humanité ne se retrouve dans la position des fourmis[15]. »

Et si nos chers technologistes échouent à concevoir une IA « éthique » ?

Dans l’esprit de Nick Bostrom formaté par sa culture sociopathique, le « résidu apocalyptique » n’a bien entendu aucun lien avec les 500 ans de guerres coloniales, de traites d’esclaves[16], de pillages, de génocides, d’humiliations, de coercition et de violence psychologique permanente (propagande politique, propagande commerciale) qui ont servi – et qui servent toujours – de terreau à sa civilisation. Les êtres humains adoptent généralement des comportements extrêmes en réaction à des agressions extrêmes. Il est par exemple établi de longue date que la propagation du terrorisme islamiste dans le monde est le résultat de l’interventionnisme occidental. En renversant des gouvernements qui lui sont défavorables, l’Occident sécurise son accès aux précieuses ressources naturelles locales. La CIA, et de manière générale les armées et les services secrets occidentaux, ont par le passé renversé et assassiné un certain nombre de leaders politiques jugés hostiles ou trop indépendants (Thomas Sankara, Patrice Lumumba, Salvador Allende, Mouammar Kadhafi, etc.) ; parfois directement, et souvent en « utilisant des militaires locaux alliés, des criminels engagés localement ou des dissidents dociles[17] » d’après le Guardian.

En 1999, un autre article du Guardian relatait l’histoire de Clement Rodney Hampton-el, technicien de l’hôpital de Brooklyn emprisonné 35 ans pour avoir planifié une série d’attentats à la bombe dans Manhattan.

« Hampton-el a été décrit par les procureurs comme un habile fabricant de bombes. Ce n’était guère surprenant. En Afghanistan, il a combattu avec le groupe de moudjahidines Hezb-i-Islami, dont l’entraînement et l’armement étaient principalement fournis par la CIA.

[…]

Entre 1985 et 1992, les responsables américains estiment que 12 500 étrangers ont été formés à la fabrication de bombes, au sabotage et à la guérilla urbaine dans des camps afghans que la CIA a contribué à mettre en place. »

Plus loin, les propos d’un officiel états-unien sont rapportés :

« Le fait est que nous avons créé un complexe entier de personnes formées et motivées qui se sont retournées contre nous. C’est une situation classique où l’on crée un monstre Frankenstein[18]. »

Dans un article du journal Le Monde daté de 2015[19], on apprend que le financement accidentel de groupes terroristes (dont Al-Qaïda) par les États-Unis se produit régulièrement en raison d’un « manque de supervision et de contrôle de l’agence de renseignement [CIA] ». D’autre part, Daech (aussi appelé État islamique), un autre groupe terroriste qui durant un temps a atteint la puissance d’un État, est une émanation d’Al-Qaïda en Irak[20]. La naissance de Daech est une conséquence indirecte de l’invasion états-unienne en Irak et de la chute de Saddam Hussein ; par ailleurs « les officiers de l’ère Saddam ont joué un rôle important dans la montée de l’État islamique[21] ». Pour ne rien arranger, les talibans et Daech récupèrent de l’armement envoyé à des gouvernements alliés ou laissé derrière eux par les États-Unis[22].

On pourrait continuer à décrire sur des dizaines de pages comment les États, en raison de la course à la puissance inscrite dans leur ADN, conduisent à plonger le monde dans une spirale de violence. Une violence qui gagne en intensité avec l’augmentation de la puissance technologique.

Risque nucléaire

Dans le texte, Nick Bostrom prétend que la technologie nucléaire est « extrêmement difficile à maîtriser ». Ce n’est pas ce que dit l’expert en sûreté nucléaire Alan Kuperman de l’université du Texas. L’uranium enrichi est facile à manipuler et dissimuler. Et d’après le scientifique du projet Manhattan Luis Walter Alvarez, une fois l’uranium de qualité militaire obtenu, la fabrication de la bombe nucléaire elle-même est si facile que même un lycéen y arriverait[23]. Un article du Harvard Magazine publié en 2006 révèle que « tout pays capable d’enrichir l’uranium naturel à 2 ou 3 % (la concentration nécessaire pour alimenter une centrale électrique) peut facilement utiliser ces mêmes machines pour enrichir l’U-235 à 80 ou 90 %, la concentration nécessaire pour une bombe nucléaire ».

Selon le Future of Life Institute (FLI), les grandes puissances planifient d’investir mille milliards de dollars dans la modernisation de leurs arsenaux nucléaires[24]. La Russie teste par exemple une torpille nucléaire capable de générer des tsunamis radioactifs[25]. Précisons en outre qu’une partie de l’uranium alimentant les réacteurs états-uniens provient du désarmement d’ogives nucléaires russes, preuve d’une parfaite symbiose entre nucléaire civil et militaire[26]. Vous voulez conserver la technologie de l’énergie nucléaire ? Alors vous aurez automatiquement les bombes qui l’accompagnent et vous devrez vivre avec un risque permanent de guerre nucléaire. Concernant le risque de guerre nucléaire, nous l’avons tout de même frôlé au moins 22 fois, souvent en raison d’un bête accident[27], et le risque d’un déclenchement accidentel « ne cesse de croître » d’après le FLI[28].

Cela dit, d’après certains scientifiques, bien qu’une guerre nucléaire a le potentiel de tuer des centaines de millions voire plusieurs milliards de personnes, il est assez peu probable qu’elle conduise à l’extinction de l’espèce humaine, encore moins à l’anéantissement de la vie sur Terre. C’est, entre autres, l’avis de l’astronome Seth Shostak[29] du SETI Institute et du chercheur Luke Kemp du Centre for the Study of Existential Risk déjà mentionné plus haut[30].

Dans un article publié par CNBC en 2017, on apprend que « l’avancée des nanotechnologies dans les années à venir en fera une menace plus importante pour l’humanité que les armes nucléaires conventionnelles ».

Selon le chercheur Louis Del Monte :

« Ce sont les nanorobots qui menacent véritablement d’extinction l’humanité, car ils peuvent devenir des armes de destruction massive. »

Ces nanorobots sont « l’équivalent technologique des armes biologiques ». Ils peuvent avoir « la taille voire être plus petits qu’un moustique et être programmés pour tuer ou immobiliser des personnes en utilisant des toxines ; de plus, ces robots autonomes pourraient à terme s’autorépliquer ». Si on en perdait le contrôle, « il pourrait y en avoir des millions en liberté qui tueraient des gens sans distinction[31] ».

Démantèlement du système technologique

Avez-vous remarqué comme Nick Bostrom évacue rapidement cette solution en y consacrant à peine trois lignes dans un pavé de 4 000 mots ? Sans surprise, Nick Bostrom n’est pas payé pour envisager tous les scénarios de sortie de crise possibles et imaginables, le cadre de référence lui est imposé (ou il se l’impose lui-même en raison de son formatage culturel). Il faut absolument trouver le moyen de maintenir la civilisation techno-industrielle, même si cela conduit à repousser les limites de l’absurdité et de la bêtise. Le magazine Science rapporte les propos de George Church. Professeur en génétique à l’université d’Harvard et membre du conseil scientifique du Future of Life Institute, il travaille également sur le risque existentiel :

« Church estime qu’un “crunch”, un événement au cours duquel une grande partie de la population mondiale meurt, est plus probable qu’une disparition complète de l’espèce. “Il n’est pas nécessaire de transformer la planète entière en atomes”, précise-t-il. Détruire les réseaux électriques et d’autres infrastructures à grande échelle ou libérer un agent pathogène mortel pourrait engendrer le chaos, renverser les gouvernements et entraîner l’humanité dans une spirale de déclin. “On se retrouverait avec un niveau de culture médiéval. Pour moi, c’est la fin de l’humanité[32].” »

Ainsi, pour Church, les personnes qui n’appartiennent pas à sa civilisation ne sont pas humaines. On atteint ici des niveaux de démence effrayants, mais on reconnaît le suprémacisme intrinsèque à la culture de la civilisation.

Il serait pourtant aisé d’éradiquer le risque d’apocalypse planétaire en démantelant en totalité le système technologique, c’est-à-dire toutes les centrales énergétiques (peu importe la source d’énergie) ainsi que les infrastructures de transport et de communication. Le risque de prolifération d’armes nucléaires ou biotechnologiques serait instantanément et très fortement réduit. Bien évidemment, il y aurait des conséquences désastreuses en Occident et de manière générale pour tous les peuples devenus totalement dépendants du système technologique pour leurs besoins vitaux. On pourrait certes réduire les risques en stoppant tous les projets de construction et en chassant les grands propriétaires terriens pour développer le pastoralisme, les polycultures et d’autres relations à la terre indispensables à l’autonomie alimentaire et à la régénération des écosystèmes, mais nous sommes allés tellement loin dans l’utopie technologique qu’il est aujourd’hui peu probable qu’une telle transition puisse se faire dans de bonnes conditions – c’est à dire sans famines et conflits armés locaux tuant beaucoup de gens.

L’État garant des privilèges de la classe dominante fera tout pour tuer dans l’œuf une telle transition, et ce n’est pas un hasard si tout est fait aujourd’hui pour étouffer le retour à la terre en France et pour déraciner les terriens ailleurs dans le monde (communautés paysannes, peuples autochtones). Démanteler le système technologique causerait selon toute logique la mort de beaucoup de personnes, mais préserver le système technologique peut conduire à l’anéantissement de l’espèce humaine, voire à l’extermination pure et simple de la vie sur Terre. Face à un tel risque, la raison devrait nous inciter à choisir la première option. Si on passe en revue les autres solutions envisagées par Nick Bostrom, le démantèlement est de (très) loin l’issue la plus désirable pour les libertés, la démocratie et l’intégrité de la biosphère. C’est certainement aussi la plus réaliste sur le plan technique ; en effet l’être humain a vécu et prospéré sur Terre avec un faible niveau technologique durant 99 % de son histoire.

Sur la dystopie sécuritaire de Bostrom

Plusieurs précisions ici. Il sera bientôt inutile de procéder à des arrestations avec les drones autonomes tueurs développés par les divers complexes militaro-industriels[33]. Comme souvent, au sein de la civilisation technique, l’efficacité servira d’arbitre pour choisir entre l’arrestation et l’assassinat. Si l’assassinat est plus efficace pour favoriser la stabilité du système, les opposants seront assassinés ; dans le cas contraire, ils seront emprisonnés.

D’autre part, l’accent mis par Bostrom sur la possibilité de protéger les données et la vie privée dans une société totalitaire reposant sur un « panoptique high-tech » ressemble davantage à une mauvaise blague qu’à une proposition sérieuse. Bientôt, ces mêmes gens pourraient être capables de nous dire que les sociétés décrites dans les dystopies 1984 et Le meilleur des mondes sont des modèles de démocratie, d’éthique et de liberté.

En vérité, le totalitarisme technologique, nous y sommes déjà. Michal Kosinski, data scientist et chercheur en psychologie sociale à l’université de Stanford aux États-Unis, affirme par exemple qu’« il suffit d’une dizaine » de likes Facebook pour « cerner la personnalité d’un individu » ; « au-delà de cent, il est possible de vous connaître aussi bien que vous connaissent votre famille ou vos amis les plus proches[34] ». Voici ce qu’il déclarait dans une interview apparaissant dans le documentaire L’intelligence artificielle et nous diffusé récemment par la chaîne Arte :

« Bien sûr, les gens devraient avoir droit à la vie privée en matière d’orientation sexuelle ou d’opinion politique. Mais je crains que dans un environnement technologique, ce soit fondamentalement impossible. Il n’y a aucun retour en arrière possible, aucune échappatoire aux algorithmes. Plus vite nous accepterons l’inévitable et dérangeante vérité que c’en est fini de la sphère privée, plus vite nous pourrons réfléchir à la manière de préparer nos sociétés à l’ère post-vie privée. »

Pour oser évoquer la protection de la vie privée avec un collier et une laisse électroniques, il faut être soit un fou soit un philosophe transhumaniste. Pour finir là-dessus, Nick Bostrom ne mentionne pas la consommation énergétique gargantuesque d’un tel système panoptique. Comme le développement d’une intelligence artificielle consomme énormément d’énergie[35], il est hautement improbable que les carburants fossiles soient abandonnés dans ce scénario orwellien. Et sachant qu’il faudrait selon le physicien Derek Abbott construire au moins 15 000 réacteurs nucléaires supplémentaires pour remplacer la totalité des énergies fossiles[36] (445 réacteurs en service aujourd’hui dans le monde[37]), il devient évident que les personnes s’acharnant à trouver des solutions pour sauver la civilisation industrielle planent à une altitude stratosphérique.

Sur la nature humaine et la guerre

Dans le texte, Nick Bostrom colporte les inepties progressistes habituelles sur une prétendue « nature humaine » portée sur la guerre. Nous descendrions de singes tueurs, l’humain serait un chasseur, donc un prédateur, un tueur, et par extension un guerrier impitoyable assoiffé de sang. Dans ce contexte, la guerre devient une sorte de chasse à l’homme. Mais comme le souligne la préhistorienne Marylène Patou-Mathis dans une tribune parue dans le Monde Diplomatique, « la “sauvagerie” des préhistoriques ne serait qu’un mythe forgé au cours de la seconde moitié du XIXe siècle pour renforcer le concept de “civilisation” et le discours sur les progrès accomplis depuis les origines[38] ». Si les conflits entre groupes humains existent probablement depuis l’aube de l’humanité, il existe un certain nombre de facteurs qui rendent ces conflits à la fois plus probables et plus meurtriers dans le cas des sociétés civilisées (concentration et croissance démographiques, hiérarchies et inégalités, économie de production basée sur l’extraction croissante de ressources impliquant l’accaparement de nouvelles terres (colonisation), niveau technologique trop élevé, etc.).

« Totalitarisme clé en main »

L’usage de ces termes suggère que Nick Bostrom ne considère pas la société qu’il décrit comme totalitaire. Se moquerait-il du monde ou serait-il parfaitement cinglé ?

La définition du totalitarisme par le Larousse :

« Système politique dans lequel l’État, au nom d’une idéologie, exerce une mainmise sur la totalité des activités individuelles[39]. »

Selon l’encyclopédie Britannica :

« Forme de gouvernement qui ne permet théoriquement aucune liberté individuelle et qui cherche à subordonner tous les aspects de la vie individuelle à l’autorité de l’État[40]. »

Selon Wikipédia :

« Le totalitarisme est un type de système politique dans lequel existe un parti unique, n’admettant aucune opposition organisée, où l’État tend à confisquer la totalité des activités de la société. Un tel système restreint l’opposition individuelle à l’État. Un tel système restreint l’opposition individuelle à l’État. Il exerce ainsi un degré extrêmement élevé de contrôle sur la vie publique et privée. Il est considéré comme la forme d’autoritarisme la plus extrême et la plus complète. Dans les États totalitaires, le pouvoir politique est souvent détenu par des autocrates (c’est-à-dire des dictateurs ou des monarques absolus) qui utilisent des campagnes globales dans lesquelles la propagande est diffusée par les médias de masse contrôlés par l’État.

C’est un concept forgé au XXe siècle, durant l’entre-deux-guerres, avec une apparition concomitante de régimes totalitaires en Allemagne et en URSS. Le totalitarisme signifie étymologiquement « système tendant à la totalité » : issu de l’ouvrage de Hannah Arendt Les Origines du totalitarisme (1951 ; titre original : The Origins of Totalitarianism), le mot totalitarianism exprime l’idée que la dictature ne s’exerce pas seulement dans la sphère politique, mais dans toutes, y compris les sphères privée et intime, quadrillant toute la société et tout le territoire, en imposant à tous les citoyens l’adhésion à une idéologie obligatoire, hors de laquelle ils sont considérés comme ennemis de la communauté. »

Cela correspond très exactement à ce qui est décrit par Nick Bostrom. L’idéologie ici, c’est le technologisme. La civilisation technologique est totalitaire, inutile d’avoir un Hitler 2.0 au pouvoir pour vivre l’enfer, nous y sommes.

---

[1] https://youtu.be/PvIBzzo_3AY

[2] https://aeon.co/essays/none-of-our-technologies-has-managed-to-destroy-humanity-yet

[3] https://onlinelibrary.wiley.com/doi/full/10.1111/1758-5899.12718

[4] https://partnershiponai.org/partners/?organization=all-partner

[5] https://www.scientificamerican.com/article/are-we-living-in-a-computer-simulation/

[6] https://www.lesechos.fr/2017/06/nick-bostrom-le-but-ultime-de-lintelligence-artificielle-doit-etre-la-disparition-du-travail-174529

[7] https://www.science.org/content/article/could-science-destroy-world-these-scholars-want-save-us-modern-day-frankenstein

[8] https://ici.radio-canada.ca/nouvelle/1474902/premiere-machine-vivante-robot-xenobo

[9] https://futureoflife.org/background/existential-risk/

[10] https://www.cser.ac.uk/team/

[11] https://futureoflife.org/team/

[12] https://www.bbc.com/future/article/20190218-are-we-on-the-road-to-civilisation-collapse

[13] https://fr.wikipedia.org/wiki/Strat%C3%A9gie_du_bord_de_l%27ab%C3%AEme

[14] https://www.washingtonpost.com/wp-srv/national/longterm/unabomber/manifesto.text.htm

[15] https://futureoflife.org/background/benefits-risks-of-artificial-intelligence/

[16] https://www.bbc.co.uk/history/british/abolition/industrialisation_article_01.shtml

[17] https://www.theguardian.com/us-news/2017/may/05/cia-long-history-kill-leaders-around-the-world-north-korea

[18] https://www.theguardian.com/world/1999/jan/17/yemen.islam

[19] https://www.lemonde.fr/ameriques/article/2015/03/15/des-fonds-de-la-cia-ont-servi-a-financer-al-qaida_4593795_3222.html

[20] https://edition.cnn.com/2014/08/08/world/isis-fast-facts/index.html

[21] https://www.reuters.com/investigates/special-report/mideast-crisis-iraq-islamicstate/

[22] https://theconversation.com/taliban-islamic-state-arm-themselves-with-weapons-us-left-behind-167960

[23] https://www.arte.tv/fr/videos/067856-000-A/securite-nucleaire-le-grand-mensonge/

[24] https://futureoflife.org/background/the-risk-of-nuclear-weapons/

[25] https://www.bfmtv.com/economie/la-russie-teste-une-torpille-nucleaire-capable-de-declencher-des-tsunamis-radioactifs_AN-202104110072.html

[26] https://www.scientificamerican.com/article/finding-fissile-fuel/

[27] https://www.bbc.com/future/article/20200807-the-nuclear-mistakes-that-could-have-ended-civilisation

[28] https://futureoflife.org/background/nuclear-close-calls-a-timeline/

[29] https://qz.com/1716016/why-humans-will-outlive-climate-change-and-nuclear-war/

[30] https://www.livescience.com/human-extinction-causes.html

[31] https://www.cnbc.com/2017/03/17/mini-nukes-and-inspect-bot-weapons-being-primed-for-future-warfare.html

[32] https://www.science.org/content/article/could-science-destroy-world-these-scholars-want-save-us-modern-day-frankenstein

[33] https://www.france24.com/fr/%C3%A9co-tech/20210601-des-drones-tueurs-autonomes-ont-ils-%C3%A9t%C3%A9-d%C3%A9ploy%C3%A9s-en-libye

[34] https://www.courrierinternational.com/article/entretien-michal-kosinski-nous-avons-deja-perdu-la-guerre-pour-la-protection-de-la-vie

[35] https://www.monde-diplomatique.fr/2020/03/BROCA/61553

[36] https://phys.org/news/2011-05-nuclear-power-world-energy.html

[37] https://world-nuclear.org/information-library/current-and-future-generation/nuclear-power-in-the-world-today.aspx

[38] https://www.monde-diplomatique.fr/2015/07/PATOU_MATHIS/53204

[39] https://www.larousse.fr/dictionnaires/francais/totalitarisme/78603

[40] https://www.britannica.com/topic/totalitarianism