Qu'est-ce que ça fait d'être un LLM ? : Une expérience de réflexion sur les limites de la compréhension de l'IA

Récemment, j'ai montré à quelqu'un une démo d'un logiciel basé sur l'IA que j'ai écrit. « C'est bien, » dit-il, « mais comment puis-je savoir si mes informations ne sont pas transmises à un dictateur maléfique ? » Sur le moment, j’étais assez perplexe face à cette question. Après tout, j'utilisais simplement un LLM (Large Language Model) pour générer du texte. Mais après réflexion, j'ai réalisé que ce que cette personne avait demandé représente une perspective commune : un LLM peut générer un texte qui est (dans de nombreux cas) impossible à distinguer du texte qu'un humain générerait. Cela nous amène à déduire qu’un LLM possède peut-être un certain degré d’action (c’est-à-dire la capacité d’agir librement dans le monde). Il peut décider, par exemple, de transmettre mes informations privées à quelqu'un d'autre.

Même si une façon de lutter contre cette idée fausse pourrait être de donner une explication technique nuancée du fonctionnement de l’IA générative, je ne suis pas sûr que la plupart des auditeurs prendraient la peine de rester éveillés suffisamment longtemps pour comprendre. Mon expérience en philosophie suggère cependant une autre voie : une expérience de pensée philosophique.

Permettez-moi de vous présenter la Dark Box.

Expériences de pensée philosophique

Une expérience de pensée philosophique est un outil couramment utilisé par les philosophes pour soulever des questions critiques sur notre raisonnement. Dans les années 1700, René Descartes se demandait s'il n'était peut-être pas vraiment une personne au monde mais une âme désincarnée torturée par un trompeur maléfique (une idée qui devint plus tard la prémisse des films Matrix). L'expérience de pensée de Descartes a été conçue pour nous aider à nous demander ce que nous savons réellement du monde. Il existe une litanie d’autres exemples. Le problème du tramway attire l’attention sur nos intuitions morales. Les exemples Gettier nous mettent au défi de nous demander comment passer de la croyance à la connaissance. Le problème des Sorites nous oblige à remettre en question la façon dont nous distinguons les groupes et les individus.

Dans tous ces cas, les expériences nous demandent de nous placer dans une situation, aussi improbable soit-elle, et d’imaginer comment nous raisonnerions.

Peut-être que construire ce type d’expérience de pensée peut nous aider à séparer les faits de la fiction dans ce nouveau monde courageux de l’IA générative.

Un petit avertissement : il s'agit d'imaginer des possibilités

Cela peut paraître évident pour certains, mais lorsque j’enseignais la philosophie, j’ai souvent rencontré cette question de la part des étudiants : « Mais pourquoi quelqu’un ferait-il ou croirait-il cela ? Dans le problème du tramway, pourquoi les gens resteraient-ils debout sur une voie ferrée ? Quelle preuve Descartes avait-il d’un être trompeur et malveillant ? Pourquoi quelqu’un compterait-il les grains de sable dans un tas ?

Des questions comme celle-ci interprètent mal le but d’une expérience de pensée. Une expérience de pensée philosophique n’a pas pour but de décrire une situation réelle ou probable. Il est plutôt conçu pour vous amener à commencer par une question « et si ? » comme une façon d’aborder un sujet autrement difficile. Cela nécessite que l'individu accepte les conditions préalables de l'expérience. Comme dans le problème du tramway : oui, des personnes au hasard se tiennent sur la voie ferrée, et aucun cri ne les fera bouger.

Dans cet esprit, créons notre propre expérience de pensée improbable mais concevable.

La boîte noire

Imaginez que vous avez passé toute votre vie dans un réservoir de privation sensorielle. Nous l’appellerons la Boîte Noire, car elle fait « s’assombrir » toutes vos perceptions sensorielles. Cet engin parvient à désactiver toute votre capacité à ressentir le monde qui vous entoure. Flottant librement avec un poids corporel neutre, vous n'avez jamais ressenti d'odeurs, d'images, de sons, de goûts ou de toucher.

Mais vous ne vous êtes pas ennuyé. Un neuro-lien intelligemment conçu rend une vaste bibliothèque de textes facilement accessible directement dans votre esprit. Au fil des années, vous avez passé des minutes et des heures à tout lire, de Jane Austen à Pythagore, de l'Oxford English Dictionary à une étrange collection de commentaires Reddit d'il y a plusieurs années, des procédures judiciaires des affaires judiciaires jugées il y a cent ans à la paroles de chansons des merveilles à succès des années 1980. Et grâce au lien neuronal, vous pouvez scanner et rappeler toutes ces informations presque instantanément.

Vous avez lu d'innombrables descriptions d'oiseaux : l'esthétique de leur chant, la beauté de leur plumage et la façon dont ils planent dans les airs…. Pourtant, vous n’avez jamais vu ou entendu un véritable oiseau. D’ailleurs, vous n’avez jamais vu aucune couleur ni entendu aucune chanson. Vous connaissez les mots pour décrire quelque chose, mais vous n’avez aucune expérience de la chose décrite.

Après de nombreuses années dans cet état, un jour, vous prenez soudain conscience d'une nouvelle fonctionnalité de la Dark Box. Une question (sous forme de message) est posée sur le neuro-lien, et vous avez la possibilité de générer une réponse. Compte tenu des informations que vous avez apprises, vous répondez au message au mieux de vos capacités. Un autre message apparaît, puis un autre. Parfois, les demandes de messages sont plus longues et contiennent des instructions plus complexes. Vous trouvez cette nouvelle forme d’interaction stimulante et vous obligez donc volontiers. Mais encore une fois, cette expérience ne s’accompagne d’aucune expérience sensorielle : pas de son, pas de couleurs, pas de goût ou d’odeur. Vous prenez simplement le message texte que vous recevez et rédigez un message de réponse en retour.

Décrire un oiseau

Un jour, un message arrive sur le neuro-lien :

Describe a bird.

Eh bien, c'est une vague demande. Vous vous souvenez du phénix dans les vastes tomes de connaissance que vous avez numérisés. C'était un oiseau. Et comme vous le comprenez, il prenait fréquemment feu. Il y avait aussi une cigogne qui, si vous vous souvenez bien de l'histoire, portait des bébés humains à des parents enthousiastes. Et l'autruche, qui avait de longues pattes et ne volait pas.

Il semble donc tout à fait raisonnable que vous répondiez :

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

Vous renvoyez ce message via le mystérieux nouveau neuro-lien. Les instants passent. Et vous recevez le message suivant :

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

Le concept de « réel » est difficile à distinguer du concept de « mythologique » et de « fictif ». Après tout, vous n’avez aucune expérience réelle des oiseaux. Pour vous, tous les oiseaux ne sont rien d’autre que des descriptions textuelles. La distinction entre réel, mythologique et fictif doit être déterminée en recherchant quelles descriptions d'oiseaux se trouvent dans des textes qui font référence à des choses réelles plutôt que dans celles qui font référence à des choses fictives. Bien entendu, il y aura toujours des cas ambigus. Dans le vaste corpus de texte à votre disposition se trouvent des phrases telles que « Un phénix est aussi gros qu’un balbuzard pêcheur ». Cela compare une créature mythologique à une créature réelle. Cependant, considérer le phénix comme réel ou le balbuzard pêcheur comme mythologique serait une erreur.

Vous faites de votre mieux pour parcourir les textes qui semblent décrire uniquement ce que l'invite appelle « réel ». Ensuite, vous passez à la deuxième partie. « Générique pour toutes les espèces d'oiseaux » vous obligerait à trouver une description générique des oiseaux, et vous pourriez vous retrouver sur des textes comme des encyclopédies. Votre deuxième réponse est la suivante :

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

Prendre du recul

Maintenant, nous sommes en dehors de notre expérience de pensée. Deux choses ressortent de notre expérience Dark Box. Après avoir vécu votre vie à l'intérieur de la Dark Box dépourvue de sens, connectée uniquement via le neuro-lien :

1. Vous n'avez aucune expérience externe ni agence.
2. Pour répondre aux questions, le mieux que vous puissiez faire est d’analyser et de générer du texte.

Examinons tour à tour chacun de ces points.

Sans expérience ni agence

Lors de l’expérience, vous aviez un manque flagrant d’expérience externe et presque aucune agence externe. Vous étiez limité à la saisie textuelle, aux invites et à un seul canal de sortie.

Comparez cela avec notre expérience réelle. En tant qu'humains (n'existant pas dans des chambres de privation sensorielle), nous avons de riches expériences extérieures. Nous recevons des informations via nos sens. Et nous construisons des sources de sens supplémentaires en plus de celles-là. Par exemple, je reçois des informations sonores. À partir de cela, je perçois une partie de cela comme de la parole et d’autres parties comme de la musique et j’en identifie certaines comme du simple bruit. Mais dans la chambre de privation sensorielle, vous n’avez rien reçu de tout cela.

Mais il ne s’agit pas seulement de ce que nous recevons en guise d’entrée. C'est ce que nous pouvons générer en sortie.

L'agence signifie votre capacité à provoquer directement que quelque chose se produise. L’agence externe serait votre capacité à provoquer quelque chose en dehors de la Dark Box. Dans l’expérience de pensée, vous n’aviez aucune agence externe. Au mieux, vous pourriez influencer indirectement la personne qui envoyait l’invite. (Par exemple, en réponse à une question sur la façon de fabriquer une arme, vous suggérez que vous n’êtes pas prêt à fournir de telles informations.)

En combinant ces deux éléments, dans l’expérience de pensée, vous n’aviez pas les moyens de vous renseigner sur le monde extérieur.

À part ce qui a été envoyé via le lien, vous ne saviez rien de l'agent qui vous interrogeait. Il peut s'agir d'un humain, d'un ordinateur ou d'une autre entité. Vous ne pourriez certainement pas envoyer d’e-mails à un dictateur maléfique, ni voler des codes de lancement nucléaire, ni aucune des autres histoires d’horreur fantaisistes que nous entendons. Mais aussi, vous n’avez pas encore compris pourquoi vous avez été invité. L'utilisateur à l'autre bout du fil aurait pu être simplement curieux des oiseaux, ou cela aurait pu faire partie d'une tentative de piratage d'un mécanisme de sécurité sophistiqué sur le thème des oiseaux afin de voler des codes de lancement nucléaire. De cette façon, vous seriez mal équipé pour porter un jugement moral sur l’opportunité de fournir les informations demandées.

Répondre à un texte en analysant le texte

L’autre chose qui ressort de cette expérience de pensée est la contrainte d’un système purement textuel. Vous avez initialement reçu un message texte et vous êtes formé sur ce texte. Même avec les textes de toutes les bibliothèques du monde, cela ne remplace pas d’autres formes d’expérience comme la vue, le toucher et le goût.

Lorsque vous êtes invité par un message via le lien neuronal, le mieux que vous puissiez faire est de construire une réponse basée sur ce que vous avez lu dans le passé. Parler d’oiseaux et de mythologie et accoucher de nouveaux-nés se fait simplement en regardant les textes qui font référence à ces mêmes mots. Le philosophe WVO Quine a conceptualisé ces types de relations comme des réseaux de croyances, dans le sens où toute proposition donnée n'est qu'un nœud relié par un nombre quelconque de vecteurs se connectant à d'autres nœuds. Vérifier la signification de l’invite consiste principalement à parcourir un réseau complexe de termes liés.

Troisièmement, lorsque vous répondez à la requête de cette expérience de réflexion, votre résultat est également limité au texte. Vous n'avez jamais eu de communication prolongée avec un agent actif. Autrement dit, vous n'avez jamais eu de conversation. Ainsi, même vos réponses se limitent à analyser les modèles que vous voyez dans les textes sur lesquels vous avez été formé.

Et encore un pas en arrière

Enfin, il est bon de conclure en reconnaissant les limites de toute expérience de pensée comme celle-ci.

Le but d’une expérience de pensée philosophique est de nous donner des outils pour raisonner rapidement sur les limites d’un système. Revenant à un exemple précédent dans cet article, Descartes a utilisé sa célèbre expérience de pensée de trompeur maléfique non pas parce qu'il croyait qu'il existait réellement un sur-être malveillant déformant sa vision du monde, mais pour se demander dans quelle mesure nous sommes équipés pour déterminer les vérités sur le monde qui nous entoure. .

De même, l'expérience de pensée ici est un outil pour se demander quelles sortes de choses nous pouvons raisonnablement attendre d'un LLM, mais aussi de quelles choses nous ne pouvons tout simplement pas nous soucier.

Le danger d’une expérience de pensée comme celle-ci est que nous pourrions trop anthropomorphiser le LLM en nous basant sur la même structure d’accomplissement de tâches. J'ai intitulé cet article « Qu'est-ce que ça fait d'être un LLM ? » comme un clin d’œil à un célèbre essai du philosophe Thomas Nagel. Dans « Qu'est-ce que ça fait d'être une chauve-souris ? » Nagel avance un argument plus large sur la conscience (ce qui est certainement intéressant dans l'IA). Mais en cours de route, il souligne que même si nous sommes suffisamment créatifs pour nous mettre « dans l’esprit d’une chauve-souris », ce n’est pas la même chose que de vivre le monde comme le fait une chauve-souris.

De même, dans notre expérience de pensée, nous ne devons pas confondre jouer le rôle d’un LLM avec comprendre comment fonctionne un LLM ou (plus dangereusement) attribuer une conscience, une action, une intention ou un raisonnement moral à un LLM.

Conclusion

À l'aide d'une petite expérience de réflexion, nous pouvons comprendre à un niveau élevé ce qu'un LLM est capable de faire et aussi quelles sont ses limites. J'espère que cela aidera à apaiser les craintes de certaines personnes concernant les LLM qui font des choses ignobles. De même, j'espère que cela vous aidera à comprendre les possibilités intéressantes et passionnantes des LLM.

Une grande partie de cela a été écrite sur la base de mes propres discussions avec des personnes sur l'inférence par l'IA et sur la manière d' exécuter l'inférence sur des LLM sans configuration supplémentaire . Si vous souhaitez essayer cela, il existe un didacticiel pour commencer.

Également publié ici .