Oh AGI, peux-tu me sentir?

Lors d'une récente conversation avec des chercheurs renommés en intelligence artificielle générale (IAG), nous discutions de la question de savoir si l'IAG serait une aide ou une complication en matière de changement climatique. Nous nous sommes un peu attardés sur la rapidité avec laquelle les rapports du GIEC franchissent la ligne des 1,5 °C. Pour mémoire, ça peut arriver dès 18 ans à partir de maintenant – alors que les parents des nouveau-nés d'aujourd'hui pourraient s'attendre à envoyer leurs petits à l'université.

Le problème est qu'il y a tout simplement trop de problèmes liés au climat à cataloguer. Ce n'est pas seulement le fait que nous ne pouvons pas éviter de souffler au-delà de 1,5°C. C'est aussi ça nous avons décimé les populations d'insectes . Il s'agit d'un autre canari parmi tout un troupeau d'entre eux qui se sont effondrés dans la mine de charbon que nous avons creusée pour nous-mêmes. Donc, nous pourrions vraiment utiliser de l'aide. La position de mes collègues était que l'AGI sera cette aide. Ma position est qu'un agent généralement intelligent sera autonome. Son autonomie sera l'un des tests clés par lesquels nous le reconnaissons comme généralement intelligent. Après tout, c'est le test que nous nous appliquons. Mais un agent autonome aura besoin de motivation pour nous aider.

Si les promesses de réduction des émissions sont une sorte de proxy , nous semblons manquer de motivation pour nous aider. Quant à AGI ayant quelque chose comme de la compassion ou de l'empathie pour ou même simplement valorisant suffisamment l'humanité pour donner un coup de main, je vous rappelle que ces qualités des humains ordinaires, lorsqu'elles existent, sont enracinées dans les sentiments, pas dans notre capacité de calcul ou notre intelligence. Il y a beaucoup d'humains extrêmement intelligents qui, historiquement, n'ont montré aucun iota de compassion ou d'empathie et dont l'impact sur la société et l'histoire humaine est l'étoffe des légendes et des cauchemars. De Jack l'Éventreur à Pol Pot, les exemples sont nombreux et terrifiants.

Les sentiments humains sont profondément enracinés dans la morphologie humaine et la biologie humaine

Même des textes sublimes comme le Mathnawi de Rumi transforment le langage de la luxure humaine en un langage d'amour humain. Beaucoup le considèrent comme un langage d'amour, mais c'est vraiment une façon de désigner l'amour spécifiquement pour les humains. Il est très peu probable qu'il soit utile aux Alpha Centauriens ou à d'autres intelligences évoluées dans l'univers, sauf en tant qu'outil pour comprendre les humains et leur relation à l'Amour. Nous ne pouvons pas nous attendre à ce que la capacité de calcul brute, enracinée dans une morphologie radicalement différente et pratiquement aucune biologie, ait une sorte de compréhension ou de résonance avec l'expérience humaine.

La compassion – étymologiquement : même sentiment, ou sentiment avec – est souvent difficile à développer pour les humains les uns envers les autres, comme le montre notre histoire, même très récente et immédiate.

Les républicains MAGA qui ont pris d'assaut le Capitole américain ont-ils eu de la compassion pour les officiers qu'ils ont mutilés ou tués ? L'officier qui a tué George Floyd ou les officiers qui ont regardé ce qui se passait ont-ils eu de la compassion pour l'homme devant eux ? Pourquoi une intelligence enracinée dans une morphologie complètement différente, sans rien à voir avec nos impératifs biologiques, aurait-elle de la compassion pour l'humanité ?

Les sentiments humains sont profondément enracinés dans la morphologie humaine et la biologie humaine. Même des textes sublimes comme le Mathnawi de Rumi transforment le langage de la luxure humaine en un langage d'amour humain.

C'est pourquoi j'utilise la métaphore de l'introduction d'une nouvelle espèce d'araignées - des araignées intelligentes capables de planifier et de s'adapter - comme indicateur des résultats probables de l'AGI. Et c'est l'un des meilleurs résultats. Des résultats bien pires commencent par des utilisations militaires de l'AGI qui tournent mal, ou des humains manquant de compassion ou carrément malveillants, et imprégnant des agents intelligents autonomes de motivations ou de tendances violentes et malveillantes.

Les humains modernes sont terribles pour comprendre le comportement des systèmes de rétroaction, même les plus simples - pour une bonne raison. Ils sont extrêmement complexes, en particulier ceux qui sont trop courants et qui bénéficient de la transitivité topologique . (Pour le profane, cela signifie des systèmes où de petites différences d'entrée peuvent entraîner des différences arbitrairement grandes de sortie.) La puissance prédictive brute, en fait même la puissance de calcul universelle, n'est pas à la hauteur de cette fonctionnalité. Témoin les « hallucinations » de ChatGPT . Tout, depuis les catastrophes de l'introduction d'espèces dans des niches écologiques pour lesquelles elles sont mal adaptées aux effets secondaires en cascade des médicaments jusqu'à nos impacts sur le climat, constitue une preuve accablante de notre incapacité à appréhender des systèmes complexes avec notre intelligence. Quand nous faisons les choses correctement -- et ce n'est pas un accident -- cela vient d'un autre endroit que notre intelligence.

Par exemple, la preuve que ce que nous appelons conscience et expérience en tant que comportement conscient chez les autres n'est pas enracinée dans l'intelligence, mais dans les sentiments, est assez convaincante. Chercheur renommé, Mark Solms, en , donne un résumé de la preuve. Les enfants anencéphaliques - dépourvus de néocortex - sont toujours décrits et vécus comme conscients. Pendant ce temps, une petite région de 2 centimètres cubes dans le cerveau endommagée est corrélée à 100% avec personne à la maison, l'individu n'est pas conscient. Cette région du cerveau est généralement associée au traitement affectif.

la preuve que ce que nous appelons conscience et expérience en tant que comportement conscient chez les autres n'est pas enracinée dans l'intelligence, mais dans les sentiments, est assez convaincante.

Nous ne pouvons pas nous attendre à ce qu'AGI ait des sentiments pour nous

Nous ne pouvons pas nous attendre à atteindre un AGI de niveau humain reconnaissable (HLAGI) sans que ces agents manifestent quelque chose comme des sentiments humains, mais ceux-ci sont enracinés dans la morphologie humaine et la biologie humaine. Une incarnation radicalement différente se traduira par une intelligence radicalement différente. Mais une intelligence radicalement différente est un système dynamique topologiquement transitif, c'est-à-dire chaotique. Tout comme une espèce mal adaptée à une niche elle aura des impacts sur notre environnement que nous sommes historiquement très mauvais à prévoir. Il est donc d'une naïveté consternante de s'attendre à ce que HLAGI soit une aide face au changement climatique. Il est beaucoup plus susceptible d'être une complication d'un problème déjà épineux.

S'il y a un être humain qui avait une capacité étonnante à imaginer des mondes alternatifs avec n'importe quelle sorte de complétude ou de vraisemblance, c'était Frank Herbert. Je vous rappelle que Dune a été mis en place dans une période de temps après que l'erreur AGI se soit jouée . C'est très probablement une vue beaucoup trop optimiste. Il est plus probable que le paradoxe de Fermi s'explique par la tendance ouroborique de l'intelligence à essayer de se répliquer, s'anéantissant ainsi. En ce qui concerne l'hypothèse Grabby Aliens de Robin Hanson , contourner cette volonté de reproduire l'intelligence sans comprendre le rôle de l'incarnation est probablement l'une des étapes difficiles que l'intelligence doit franchir pour survivre.

Image principale avec l'aimable autorisation de Milad Fakurian & Unsplash