Comment l'humanité pourrait survivre à l'émergence de l'IA générale

Nous nous rapprochons de la création d'une intelligence artificielle globale (AGI) capable de résoudre un large éventail de tâches à l'échelle humaine, voire au-delà. Mais l'humanité est-elle vraiment prête à accueillir une technologie capable de changer le monde de manière aussi profonde ? Pourrons-nous survivre aux côtés de l'AGI, ou la rencontre avec cette superintelligence sera-t-elle notre erreur finale ?

Explorons les scénarios que les scientifiques et les entrepreneurs envisagent aujourd'hui et essayons de comprendre : quelles sont les chances de survie de l'humanité si l'AGI devient une réalité ?

Perspective optimiste (60 à 80 % de chances de survie)

Les optimistes pensent que l'IAG peut et doit être créée sous un contrôle strict et qu'avec les précautions appropriées, cette intelligence peut devenir l'alliée de l'humanité, contribuant à résoudre les problèmes mondiaux, du changement climatique à la pauvreté. Des passionnés comme Andrew Ng, dans son article Ce que l'intelligence artificielle peut et ne peut pas faire actuellement , voient l'AGI comme un moyen de réaliser des percées scientifiques, technologiques et médicales et soutiennent que l'humanité peut y parvenir en toute sécurité. Ng suggère également que nous pourrions contrôler les objectifs de l'AGI en limitant son impact physique, comme nous le faisons avec les systèmes d'IA étroits.

Ces visions optimistes ont toutefois leurs limites. L’expérience acquise avec des systèmes d’IA plus petits mais néanmoins puissants montre que les gens n’ont pas encore pleinement confiance dans leur capacité à contrôler les objectifs de l’IA. Si l’IAG apprend à modifier ses propres algorithmes, cela pourrait conduire à des résultats impossibles à prévoir. Dans ce cas, quel sera notre choix : la soumission inconditionnelle aux systèmes ou la lutte constante pour le contrôle ?

Perspective modérément réaliste (50 à 60 % de chances de survie)

Le philosophe Nick Bostrom, auteur de Superintelligence : chemins, dangers, stratégies Bostrom défend une vision plus modérée des perspectives de l'IAG. Il estime que les chances de survie de l'humanité dépendent en grande partie de la coopération internationale et de mesures de sécurité strictes. Bostrom est convaincu que le monde doit être prêt à s'unir autour d'un objectif commun : contrôler le développement de l'IAG et minimiser les risques associés.

Mais à quoi pourrait ressembler cette coopération dans la pratique ? Le Centre d'étude du risque existentiel (CSER) de l'Université de Cambridge soutient Seules des normes internationales et des politiques de gouvernance unifiées de l’IA peuvent nous permettre d’éviter une course au développement de l’IA générale entre les pays et de réduire le risque d’un développement incontrôlé. Imaginez que les pays se mettent en concurrence pour créer l’IA générale afin de s’assurer une position dominante. Cela ne ferait qu’accroître la probabilité qu’un des acteurs affaiblisse les mesures de sécurité au nom de résultats rapides.

Le problème est que nous avons déjà vu un scénario similaire lors de la course aux armements nucléaires. Les désaccords politiques et la méfiance mutuelle entre les pays peuvent entraver la formation d’un consensus mondial sur la sécurité des systèmes IAGI. Et même si les nations s’entendent, seront-elles prêtes à assurer la surveillance à long terme que ces systèmes nécessiteraient ?

Perspective pessimiste (10 à 30 % de chances de survie)

Les pessimistes, comme Elon Musk, estiment que les chances de survie de l'humanité avec la création de l'IAG restent alarmantes. Dès 2014, Musk averti que l'IAG pourrait constituer une « menace existentielle » pour l'humanité. Yuval Noah Harari a exprimé ses inquiétudes quant aux défis que pose le contrôle des systèmes d'IA superintelligents qui peuvent poursuivre leurs propres objectifs, potentiellement indifférents ou même hostiles aux intérêts humains. Dans son livre Homo Deus : une brève histoire de demain Harari discute de la possibilité que les systèmes d’IA développent des objectifs non alignés avec les valeurs humaines, conduisant à des résultats inattendus et potentiellement dangereux.

Ce scénario suggère un « piège de survie », où notre avenir dépend des décisions de l’IAG. Les pessimistes affirment que si l’IAG atteint un niveau de superintelligence et commence à optimiser ses objectifs de manière autonome, elle pourrait considérer l’humanité comme inutile, voire comme un obstacle. Le comportement imprévisible de l’IAG reste une préoccupation majeure : nous ne savons tout simplement pas comment un tel système se comporterait dans le monde réel, et nous pourrions ne pas être en mesure d’intervenir à temps s’il commençait à représenter une menace pour l’humanité.

Dans L'intelligence artificielle comme facteur positif et négatif du risque global Eliezer Yudkowsky examine les dangers potentiels posés par le développement avancé de l'IA. Il prévient qu'une IA superintelligente pourrait adopter des objectifs divergents des intérêts humains, conduisant à un comportement à la fois imprévisible et potentiellement dangereux pour l'humanité. Yudkowsky souligne que même si l'IA n'éprouve aucun sentiment d'amour ou de haine envers les humains, elle pourrait néanmoins les utiliser comme ressources pour atteindre ses objectifs. Il souligne l'importance cruciale de créer une « IA amicale » pour éviter les situations où l'IA pourrait constituer une menace sérieuse pour l'humanité.

Quatre facteurs clés pour la survie de l’humanité

Quels facteurs pourraient influencer nos chances de survie si l'IA générale devient une réalité ? Examinons quatre facteurs essentiels identifiés par les plus grands experts en matière de sécurité et d'éthique de l'IA.

1. Rapidité et qualité de préparation pour l'AGI

   
   

   Stuart Armstrong, dans Intelligence artificielle générale sûre Armstrong souligne que toute mesure de sécurité doit être anticipée par rapport aux capacités potentielles de l'IAG. Son avertissement est clair : si l'IAG progresse vers une autonomie complète sans contrôle efficace, l'humanité pourrait ne pas avoir le temps de l'arrêter si une menace survient. Armstrong soutient que le développement de méthodes de contrôle et de systèmes de protection efficaces n'est pas seulement conseillé mais essentiel. Sans cela, l'humanité risque d'être confrontée à une IAG autonome qui pourrait constituer une menace mortelle pour la sécurité humaine.

   
   

2. Éthique et définition des objectifs

   
   

   Dans Compatible avec l'humain Stuart Russell aborde une question tout aussi cruciale : comment intégrer les valeurs humaines dans un système d’IA générale ? Il insiste sur le fait que nous ne pouvons pas laisser l’IA décider seule de ce qui est important, car l’IA générale pourrait interpréter les objectifs fixés par les humains de manière totalement inattendue. Russell soutient que sans une base morale solide et la protection des intérêts humains, l’IA générale pourrait agir de manière imprévisible. En fin de compte, cela signifie que tout système d’IA générale doit être basé sur des valeurs qui reflètent non seulement des objectifs techniques mais aussi des principes fondamentaux essentiels au bien-être humain.

   
   

3. Coopération mondiale

   
   

   Dans Gouvernance de l'IA : un programme de recherche Allan Dafoe souligne l’importance des accords et des normes internationales pour éviter une course à la domination de l’IAG, où chaque pays chercherait à obtenir un avantage. Dafoe affirme que seules des normes internationales peuvent nous permettre de minimiser le risque que quelqu’un compromette la sécurité au nom de la vitesse ou de l’avantage concurrentiel. Une course à l’IAG pourrait avoir des conséquences catastrophiques, et Dafoe soutient que seuls les efforts unis des nations peuvent empêcher ce scénario, en créant des normes sûres qui assureront notre avenir.

   
   

4. Technologies de contrôle et d'isolement

   
   

   Nick Bostrom, dans Superintelligence : chemins, dangers, stratégies , va plus loin dans cette idée, en insistant sur la nécessité de contenir et de « mettre en boîte » l’IAG pour l’empêcher d’interagir directement avec le monde. Bostrom prévient que si l’IAG obtenait un accès illimité aux ressources, ses actions autonomes pourraient échapper à tout contrôle. Il propose des concepts d’isolement où l’IAG ne peut pas contourner les limitations prédéfinies, ce qui la « met en boîte » dans un système contrôlé. Cet isolement, suggère-t-il, pourrait servir de barrière finale pour nous protéger si tout le reste échoue.

   
   

L’idée de créer une intelligence artificielle globale soulève des questions profondes auxquelles l’humanité n’a jamais été confrontée auparavant : comment pouvons-nous vivre aux côtés d’une forme d’intelligence qui pourrait nous surpasser en termes de réflexion, d’adaptabilité et même de capacités de survie ? La réponse ne réside pas seulement dans la technologie, mais aussi dans la manière dont nous abordons la gestion de cette intelligence et notre capacité à coopérer à l’échelle mondiale.

Aujourd’hui, les optimistes voient l’IA générale comme un outil qui pourrait aider à résoudre les plus grands défis du monde. Ils citent des exemples d’IA restreinte qui aident déjà l’humanité dans des domaines comme la médecine, la science et la recherche climatique. Mais devons-nous croire que nous garderons toujours cette technologie sous contrôle ? Si l’IA générale devient véritablement indépendante, capable d’apprendre par elle-même et de modifier ses objectifs, elle pourrait dépasser les limites que nous essayons de fixer. Dans ce cas, tout ce que nous considérions autrefois comme utile et sûr pourrait devenir une menace.

L’idée de coopération mondiale, prônée par certains experts, s’accompagne également de nombreux défis. L’humanité pourra-t-elle surmonter ses différences politiques et économiques pour créer des principes et des normes de sécurité unifiés pour l’IAG ? L’histoire montre que les nations s’engagent rarement dans une coopération approfondie sur des questions qui ont un impact sur leur sécurité et leur souveraineté. Le développement des armes nucléaires au XXe siècle en est un parfait exemple. Mais avec l’IAG, les erreurs ou les retards pourraient être encore plus destructeurs, car cette technologie a le potentiel d’échapper à tout contrôle humain.

Et si les pessimistes avaient raison ? C’est là que réside le plus grand risque existentiel, une crainte soulevée par des gens comme Elon Musk et Yuval Noah Harari. Imaginez un système qui décide que la vie humaine n’est qu’une variable dans une équation, quelque chose qu’il peut modifier ou même éliminer au nom d’une voie « plus rationnelle ». Si un tel système considère que son existence et ses objectifs sont plus importants que les nôtres, nos chances de survie seraient minces. L’ironie est que l’IAG, conçue pour nous aider et résoudre des problèmes complexes, pourrait devenir la plus grande menace pour notre existence.

Pour l’humanité, ce chemin exige un nouveau niveau de responsabilité et de prévoyance. Serons-nous de ceux qui reconnaissent les conséquences de la création d’une IAG et établirons des mesures de sécurité strictes, guidant son développement pour le bien commun ? Ou l’orgueil et la réticence à suivre des règles communes nous conduiront-ils à créer une technologie sans retour en arrière ? Pour répondre à ces questions, nous avons besoin non seulement de percées techniques, mais aussi d’une compréhension profonde de l’idée même d’un système intelligent, de ses valeurs et de ses principes, de sa place dans notre société et de notre place dans son monde.

Quoi qu’il en soit, l’IAG pourrait bien être l’un des plus grands défis de l’histoire de l’humanité. La responsabilité de son résultat incombe à nous tous : scientifiques, décideurs politiques, philosophes et à chaque citoyen qui joue un rôle dans la reconnaissance et le soutien des efforts en faveur d’un avenir sûr.