Yuval Noah Harari : « L’intelligence artificielle menace la survie de la civilisation humaine »
Pour l’historien, auteur de « Sapiens », les IA changeront le cours de l’Histoire du fait de leurs capacités narratives. Il appelle à une régulation immédiate de ces « nouvelles armes de destruction massive ».
« Grâce à sa maîtrise du langage, l’IA pourrait nouer des relations intimes avec des personnes et utiliser le pouvoir de l’intimité pour changer leurs opinions et leur vision du monde », alerte l’historien israélien Yuval Noah Harari.
Les craintes liées à l’intelligence artificielle hantent l’humanité depuis le début de l’ère informatique. Jusqu’à présent, ces craintes se concentraient sur des machines utilisant des moyens physiques pour tuer, asservir ou remplacer les gens. Mais, depuis quelques années, de nouveaux outils informatiques sont apparus, et ils menacent la survie de la civilisation humaine d’une manière inattendue. L’IA a acquis des capacités remarquables pour manipuler et générer du langage, qu’il s’agisse de mots, de sons ou d’images. L’intelligence artificielle a ainsi piraté le système d’exploitation de notre civilisation.
Le langage est la matière première de la quasi-totalité de la culture humaine. Les droits de l’homme, par exemple, ne sont pas inscrits dans notre ADN. Ce sont plutôt des artefacts culturels que nous avons créés en racontant des histoires et en écrivant des lois. Les dieux n’ont aucune réalité physique. Là encore, il s’agit d’artefacts culturels que nous avons créés en inventant des mythes et en écrivant des textes sacrés. L’argent, lui aussi, est un artefact culturel. Les billets de banque ne sont que des morceaux de papier colorés et, à l’heure actuelle, plus de 90 % de l’argent n’est même plus constitué de billets, mais d’informations numériques stockées dans des ordinateurs. Ce qui donne de la valeur à l’argent, ce sont les histoires que les banquiers, ministres des finances ou gourous de la cryptomonnaie nous racontent à son sujet. Sam Bankman-Fried, Elizabeth Holmes et Bernie Madoff n’étaient pas particulièrement doués pour créer de la valeur réelle, mais ils étaient tous d’excellents conteurs.
Que se passera-t-il lorsqu’une intelligence non humaine deviendra meilleure que l’humain moyen pour raconter des histoires, composer des mélodies, dessiner des images et rédiger des lois ou des textes sacrés ? Lorsque les gens pensent à ChatGPT et à d’autres nouvelles IA, ils sont souvent attirés par des exemples tels que les écoliers utilisant ces outils pour rédiger leurs rédactions. Qu’arrivera-t-il au système scolaire lorsque les enfants feront cela ? Mais ce genre de questions passe à côté de l’essentiel. Oubliez les devoirs scolaires. Pensez à la campagne de la prochaine présidentielle américaine, en 2024, et essayez d’imaginer l’impact des IA qui peuvent être utilisées pour produire en masse du contenu politique, des fake news et des textes sacrés pour de nouveaux cultes.
Une bataille pour notre intimité
Ces dernières années, la secte QAnon s’est regroupée autour de messages anonymes publiés en ligne, des posts signés de la lettre « Q ». Les adeptes ont recueilli, vénéré et interprété ces messages comme s’il s’agissait d’un texte sacré. Si, de ce que nous savons, tous les messages de Q ont été rédigés par des humains et que les bots n’ont fait que contribuer à leur diffusion, il se pourrait qu’à l’avenir nous assistions à la naissance des premiers cultes dont les textes sacrés seront rédigés par une intelligence non humaine. Tout au long de l’Histoire, les religions ont revendiqué une source non humaine pour leurs livres saints. Cela pourrait bientôt devenir une réalité.
Plus prosaïquement, nous pourrions bientôt nous retrouver à mener de longues discussions en ligne sur l’avortement, le réchauffement climatique ou l’invasion russe de l’Ukraine avec des entités que nous pensons être des humains, mais qui sont en réalité des IA. Le piège, c’est qu’il est totalement vain pour nous de passer du temps à essayer de changer les opinions déclarées d’une IA conversationnelle. En revanche, l’IA pourrait affiner ses messages avec une telle précision qu’elle aurait de bonnes chances de nous influencer.
Grâce à sa maîtrise du langage, l’IA pourrait même nouer des relations intimes avec des personnes et utiliser le pouvoir de l’intimité pour changer leurs opinions et leur vision du monde. Bien que rien n’indique que l’IA ait une conscience ou des sentiments qui lui soient propres, pour encourager une fausse intimité avec les humains, il suffit que l’utilisateur se sente émotionnellement attaché à elle. En juin 2022, Blake Lemoine, ingénieur de Google, a publiquement affirmé que le chatbot Lamda, sur lequel il travaillait, était devenu sensible. Cette déclaration controversée lui a coûté son emploi. Le plus intéressant dans cet épisode n’est pas l’affirmation de M. Lemoine, probablement fausse. C’est plutôt sa volonté de risquer un poste lucratif au nom d’un chatbot. Si l’IA peut inciter les gens à risquer leur emploi pour elle, que pourrait-elle les pousser à faire d’autre ?
Dans la bataille politique pour les esprits et les cœurs, l’intimité est l’arme la plus efficace, et l’IA vient d’acquérir la capacité de produire en masse des relations intimes avec des millions de personnes. Nous savons tous qu’au cours de cette dernière décennie les réseaux sociaux sont devenus un champ de bataille pour le contrôle de l’attention humaine. Avec la nouvelle génération d’IA, le front passe de l’attention à l’intimité. Qu’adviendra-t-il de la société humaine et de notre psychologie lorsque les IA se battront entre elles pour créer de fausses relations intimes avec nous, relations qui pourront ensuite être utilisées pour nous convaincre de voter pour tel candidat, ou d’acheter tel produit ?
Même sans créer de « fausse intimité », les nouveaux outils de l’IA auront une influence considérable sur nos opinions et sur nos visions du monde. Les gens pourraient en venir à ne suivre les conseils que d’une seule IA, tel un oracle unique et omniscient. Rien d’étonnant à ce que Google soit terrifié. Pourquoi encore s’embêter à utiliser un moteur de recherche, alors qu’il suffit de demander à l’oracle ? Les secteurs des médias et de la publicité devraient eux aussi être épouvantés. Pourquoi lire un journal quand je peux demander à l’oracle de me donner les dernières actualités ? Et à quoi servent les publicités, alors que je peux simplement demander à l’oracle de me dire quoi acheter ?
Intelligence extraterrestre
Et même ces scénarios ne rendent pas compte de tout ce qui est en jeu avec cette technologie. Ce dont nous parlons, c’est potentiellement de la fin de l’histoire de l’humanité. Non pas la fin de l’Histoire, mais la fin de sa partie dominée par les hommes. L’Histoire est l’interaction entre la biologie et la culture, entre nos besoins physiques et nos désirs pour des choses comme la nourriture et le sexe, et nos créations culturelles comme les religions et les lois. L’Histoire, c’est le processus par lequel les lois et les religions façonnent la nourriture et le sexe.
Qu’adviendra-t-il du cours de l’Histoire lorsque l’IA s’emparera de la culture, et commencera à produire des histoires, des mélodies, des lois et des religions ? Les outils précédents, tels que l’imprimerie et la radio, ont permis de diffuser les idées culturelles des humains, mais ils n’ont jamais créé des nouvelles idées culturelles qui leur soient propres.
Dans un premier temps, l’IA imitera probablement les prototypes humains sur lesquels elle a été entraînée à ses débuts. Mais, au fil des années, la culture de l’IA ira audacieusement là où aucun humain n’était allé auparavant. Pendant des millénaires, les êtres humains ont vécu dans les rêves d’autres humains. Dans les décennies à venir, nous pourrions nous retrouver à vivre dans les rêves d’une intelligence extraterrestre.
La crainte de l’IA n’a hanté l’humanité que depuis quelques décennies. Mais, depuis des milliers d’années, les humains sont hantés par une peur bien plus profonde. Nous avons pris conscience du pouvoir qu’ont les histoires et les images pour manipuler notre esprit et créer des illusions. Par conséquent, depuis les temps anciens, les humains craignent d’être piégés dans un monde d’illusions.
Au XVIIᵉ siècle, René Descartes était angoissé par l’idée qu’un démon malveillant ne l’enferme dans un monde d’illusions, créant tout ce qu’il voyait et entendait. Dans la Grèce antique, Platon a raconté la célèbre allégorie de la caverne, dans laquelle un groupe de personnes est enchaîné toute sa vie dans une grotte, face à un mur vide. Un écran. Sur cet écran, les prisonniers voient diverses ombres projetées. Ils prennent ces illusions pour la réalité.
Dans l’Inde ancienne, les sages bouddhistes et hindous soulignaient que tous les humains vivaient piégés dans la Maya, le monde des illusions. Ce que nous prenons normalement pour la réalité n’est souvent que des fictions dans notre propre esprit. Des personnes peuvent mener des guerres, tuer d’autres personnes et accepter d’être elles-mêmes tuées, parce qu’elles croient en telle ou telle illusion.
La révolution de l’IA nous confronte au démon de Descartes, à la caverne de Platon, à la Maya. Si nous ne sommes pas prudents, nous risquons d’être piégés derrière un rideau d’illusions que nous ne pourrons pas arracher – ou dont nous ne pourrons même plus soupçonner l’existence.
Bien sûr, le nouveau pouvoir de l’IA pourrait également être utilisé à des fins positives. Je ne m’attarderai pas sur ce point, car les personnes qui développent ces technologies en parlent suffisamment. Le travail des historiens et des philosophes, comme moi, est de souligner les dangers. Mais il est certain que l’IA peut nous aider d’innombrables façons, en trouvant de nouveaux traitements contre le cancer ou des solutions à la crise écologique. La question, c’est comme s’assurer que ces nouveaux outils soient utilisés pour le bien plutôt que pour le mal. Pour ce faire, nous devons d’abord être conscients des véritables capacités de ces innovations.
Comme pour le nucléaire
Depuis 1945, nous savons que la technologie nucléaire peut produire de l’énergie bon marché au profit des êtres humains, mais qu’elle peut aussi détruire physiquement la civilisation humaine. Nous avons donc refaçonné l’ensemble de l’ordre international afin de protéger l’humanité et de veiller à ce que la technologie nucléaire soit principalement utilisée pour le bien. Aujourd’hui, nous devons faire face à une nouvelle arme de destruction massive qui peut anéantir notre monde mental et social.
Nous pouvons encore réguler ces nouveaux outils de l’IA, mais nous devons agir rapidement. Alors que les armes nucléaires ne peuvent pas inventer des armes nucléaires plus puissantes, l’IA peut créer une IA exponentiellement plus puissante. La première étape cruciale consiste à exiger des contrôles de sécurité rigoureux avant que ces outils ne soient diffusés dans le domaine public. De même qu’une entreprise pharmaceutique ne peut commercialiser de nouveaux médicaments avant d’en avoir testé les effets secondaires à court et à long termes, les entreprises technologiques ne devraient pas commercialiser de nouvelles IA avant qu’elles ne soient sûres. Nous avons immédiatement besoin d’un équivalent de la Food and Drug Administration [NDLR : l’organisme de contrôle des médicaments et des denrées alimentaires aux Etats-Unis] pour ces nouvelles technologies.
Le ralentissement du déploiement public de ces IA ne risque-t-il pas d’entraîner un retard des démocraties face aux régimes autoritaires autrement plus répressifs ? Bien au contraire. Des déploiements non réglementés d’IA créeraient un chaos social, qui ne pourrait que profiter aux autocrates et ruiner les démocraties. La démocratie est une discussion, et les discussions reposent sur le langage. Si une IA pirate le langage, elle pourrait détruire notre capacité à avoir des discussions significatives, et donc détruire la démocratie.
Nous venons de rencontrer une intelligence extraterrestre, ici, sur Terre. Nous ne savons pas grand-chose à son sujet, si ce n’est qu’elle pourrait détruire notre civilisation. Nous devrions mettre un terme au déploiement irresponsable de l’IA dans la sphère publique et la réglementer avant qu’elle ne nous réglemente. La première réglementation que je suggère serait d’obliger l’IA à révéler qu’elle est une IA. Si je suis en train de discuter avec quelqu’un et que je ne peux pas savoir s’il s’agit d’un humain ou d’une IA, c’est la fin de la démocratie.
Ce texte a été généré par un humain.
Ou l’a-t-il été ?
Yuval Noah Harari est historien, philosophe et l’auteur, notamment, de Sapiens, de Homo Deus et de la série pour enfants Nous, les indomptables, tous traduits chez Albin Michel. Il est professeur à l’Université hébraïque de Jérusalem et le cofondateur de l’organisation Sapienship. Copyright The Economist Newspaper Limited, London, 2023.