10,830 lectures

Asimov a sans le savoir été le pionnier de l'ingénierie rapide moderne

par Login Jones15m2023/05/14

Trop long; Pour lire

L'ingénierie des invites est un processus dans lequel les invites d'entrée d'un grand modèle de langage d'IA sont conçues et affinées pour générer une sortie précise, pertinente et utile. Cela implique une conception et un raffinement délibérés et systématiques des invites et des structures de données sous-jacentes pour manipuler les systèmes d'IA en vue d'obtenir des résultats spécifiques et souhaités. Avec l'émergence de l'IA, en particulier des modèles de traitement du langage naturel, l'ingénierie rapide a pris de l'importance.

featured image - Asimov a sans le savoir été le pionnier de l'ingénierie rapide moderne

Isaac Asimov , un visionnaire dans le domaine de la science-fiction , a sans le savoir été le pionnier de l'ingénierie rapide moderne grâce à son exploration stimulante des interactions homme-robot dans sa série révolutionnaire de robots.

Ingénierie rapide - Le contexte et l'histoire

Le nouveau langage de programmation le plus en vogue est l'anglais - Andrej Karpathy (@karpathy)

L'ingénierie rapide combine des éléments de logique, de codage, d'art et de langage .

Termes d'ingénierie rapide

Clarté de l'invite : l'invite doit être claire et sans ambiguïté, ne laissant aucune place à une mauvaise interprétation par l'IA.

Précision rapide : conçu pour cibler les informations spécifiques ou la sortie souhaitée de l'IA.

Contexte d'invite : un contexte suffisant dans l'invite, comme des informations de fond ou des exemples, est essentiel pour guider le système d'IA vers la production de la sortie souhaitée.

Adaptabilité rapide : obtenez des résultats attendus et précis sur des modèles d'IA formés différemment.

Chaîne d'incitation à la pensée : l'invite comprend une chaîne de raisonnement qui éclaire le processus de raisonnement nécessaire pour résoudre le problème.

Incitation du moins au plus : diviser un problème en sous-problèmes puis résoudre chacun d'eux pour diriger l'IA dans une certaine direction vers la solution finale.

Invite de rôle : vous spécialisez le contexte de l'IA dans un rôle spécialisé particulier qui vous aidera à obtenir des résultats plus précis.

Incitation à un, zéro ou quelques coups : fournir zéro, un ou quelques exemples de questions/réponses pour aider à définir le contexte de l'IA et la contraindre sur un chemin spécifique et obtenir des résultats plus précis.

La série de robots d'Asimov

L'univers Robot d'Asimov est un monde vaste et complexe qui s'étend sur de nombreux romans, nouvelles et séries interconnectées. Situé dans un futur où les humains ont colonisé diverses planètes à travers la galaxie, cet univers se caractérise par une nette division entre la Terre et les mondes Spacer.

La Terre , surpeuplée et technologiquement limitée, est habitée par des humains qui vivent dans de vastes villes en forme de dôme connues sous le nom de grottes d'acier , où les robots sont généralement craints et méfiants.

Les mondes de l'espace , en revanche, sont des sociétés technologiquement avancées avec une population clairsemée, où les humains et les robots coexistent en harmonie, et les robots sont devenus une partie essentielle de la vie quotidienne. Les mondes Spacer maintiennent une attitude condescendante envers la Terre et ses habitants, les considérant comme arriérés et inférieurs.

Les trois lois de la robotique sont un concept central de l'univers Robot, qui servent de principes directeurs pour le comportement du robot.

Ces lois, imaginées par Asimov, sont les suivantes :

Un robot ne peut blesser un être humain ou, par inaction, permettre à un être humain de se blesser ;
Un robot doit obéir aux ordres qui lui sont donnés par les êtres humains, sauf si ces ordres entrent en conflit avec la Première Loi ; et
Un robot doit protéger sa propre existence tant que cette protection n'entre pas en conflit avec la première ou la deuxième loi.

Tout au long des histoires d'Asimov, les interactions entre les humains et les robots, ainsi que les implications éthiques et philosophiques des Trois Lois, forment l'épine dorsale de l'univers Robot, offrant aux lecteurs une exploration unique des défis et des conséquences potentielles d'un avenir où l'humanité et les avancées l'intelligence artificielle coexistent.

Asimov : l'ingénieur des invites inconscientes

La série Robot et les nouvelles d' Isaac Asimov , à partir des années 1950, mettent fortement l'accent sur l'importance de donner des commandes précises aux robots, ce qui peut être considéré comme un précurseur de l' ingénierie rapide moderne . Les travaux d'Asimov ont démontré une compréhension inhérente de la nécessité d'instructions soigneusement élaborées, en particulier lorsqu'il s'agit de systèmes d'IA complexes impliqués dans ses robots fonctionnant selon les trois lois de la robotique.

Exemples d'ingénierie rapide des travaux d'Asimov

Image miroir (histoire courte 1972)

Lors d'un voyage interstellaire occasionnel par un groupe d'espaceurs, un crime se produit sur le vaisseau spatial. Les deux parties sont un jeune et brillant mathématicien (Sabbat) et un mathématicien plus âgé et établi (Humboldt), les deux accusent l'autre de voler une brillante nouvelle idée mathématique à l'autre. Les seuls témoins sont chacun des robots serviteurs mathématiciens. On demande au détective terrien Elijah Baley d'aider à enquêter et à résoudre le crime le plus tôt possible avant qu'il n'explose en un scandale beaucoup plus important, mais tout ce qu'il est autorisé à faire est d'interroger les robots. Baley voit que chaque partie présente l'image miroir de l'histoire de l'autre partie, et il doit déterminer quelle partie ment.

Le détective Baley interroge le robot des jeunes mathématiciens (Sabbats) et le guide à travers les étapes logiques qui montrent que le mathématicien plus âgé subirait un plus grand préjudice à travers le témoignage des robots et oblige le robot à changer son témoignage.

Voici un extrait de l'interrogatoire entre le détective Elijah Baley et le robot serveur R. Idda, légèrement modifié par souci de brièveté :

Baley : Vous êtes le robot personnel de Gennao Sabbat, n'est-ce pas ?
Robot : Je suis monsieur.
Baley : Depuis combien de temps ?
Robot : Depuis vingt-deux ans, monsieur.
Baley : Et la réputation de votre maître vous est précieuse ?
Robot : Oui, monsieur.
Baley : Considérez-vous qu'il est important de protéger cette réputation ?
Robot : Oui, monsieur.
Baley : Aussi important pour protéger sa réputation que sa vie physique ?
Robot : Non, monsieur.
Baley : Aussi important de protéger sa réputation que la réputation d'un autre ?
Robot : De tels cas doivent être décidés selon leur mérite individuel, monsieur. Il n'y a aucun moyen d'établir une règle générale.
Baley : Si vous décidiez que la réputation de votre maître était plus importante que celle d'un autre, disons, celle d'Alfred Barr Humboldt, mentiriez-vous pour protéger la réputation de votre maître ?
Robot : Je le ferais, monsieur.
Baley : Avez-vous menti dans votre témoignage concernant votre maître dans sa polémique avec le Dr Humboldt ?
Robot : Non, monsieur.
Baley : Mais si tu mentais, tu nierais que tu mens pour protéger ce mensonge, n'est-ce pas ?
Robot : Oui, monsieur.
Baley : Eh bien, alors, considérons cela. Votre maître, Gennao Sabbat, est un jeune homme de grande réputation en mathématiques, mais c'est un jeune homme. Si, dans cette controverse avec le Dr Humboldt, il avait succombé à la tentation et avait agi de manière contraire à l'éthique, il subirait une certaine éclipse de réputation, mais il est jeune et aurait amplement le temps de se rétablir. Il aurait de nombreux triomphes intellectuels devant lui et les hommes finiraient par considérer cette tentative de plagiat comme l'erreur d'un jeune au sang chaud, déficient en jugement. Ce serait quelque chose qui serait compensé à l'avenir. Si, au contraire, c'était le docteur Humboldt qui succombait à la tentation, l'affaire serait beaucoup plus grave. C'est un vieil homme dont les grandes actions se sont propagées au fil des siècles. Sa réputation est jusqu'ici sans tache. Tout cela, cependant, serait oublié à la lumière de ce seul crime de ses dernières années, et il n'aurait aucune possibilité de le rattraper dans le temps relativement court qui lui restait. Il ne pourrait pas accomplir grand-chose de plus. Il y aurait tellement plus d'années de travail gâchées dans le cas de Humboldt que dans celui de votre maître et tellement moins d'opportunités de regagner sa place. Vous voyez, n'est-ce pas, que Humboldt fait face à la pire situation et mérite la plus grande considération ?
Robot : Ma preuve était un mensonge. C'était le Dr Humboldt
Baley : Vous avez pour instruction de ne rien dire à personne à ce sujet jusqu'à ce que le capitaine du navire vous en donne l'autorisation.

Lorsque Baley interroge R. Preston, l'aîné des robots mathématiciens de Humboldts, l'interrogatoire se déroule exactement de la même manière, à l'exception de la partie à la fin, qui se déroule comme suit :

Baley : Mais si vous mentiez, vous nieriez avoir menti, afin de protéger ce mensonge, n'est-ce pas ?
Robot : Oui, monsieur.
Baley : Eh bien, alors, considérons cela. Votre maître, Alfred Barr Humboldt, est un vieil homme de grande réputation en mathématiques, mais c'est un vieil homme. Si, dans cette controverse avec le Dr Sabbat, il avait succombé à la tentation et avait agi de manière contraire à l'éthique, il subirait une certaine éclipse de réputation, mais son grand âge et ses siècles de réalisations s'y opposeraient et l'emporteraient. Les hommes considéreraient cette tentative de plagiat comme l'erreur d'un vieil homme peut-être malade, qui n'est plus sûr de son jugement. Si, au contraire, c'était le Dr Sabbat qui avait succombé à la tentation, l'affaire serait beaucoup plus grave. C'est un jeune homme, avec une réputation beaucoup moins sûre. Il aurait normalement des siècles devant lui au cours desquels il pourrait accumuler des connaissances et accomplir de grandes choses. Cela lui sera fermé, maintenant, obscurci par une erreur de sa jeunesse. Il a un avenir bien plus long à perdre que votre maître. Vous voyez, n'est-ce pas, que Sabbat fait face à la pire situation et mérite la plus grande considération ?
Robot : Mes preuves étaient comme je-
Baley : Veuillez continuer, R. Preston.
Daneel : J'ai peur, ami Elijah, que R. Preston soit en stase [s'est écrasé]. Il est hors service.

Dans la nouvelle, le détective Baley utilise cette différence dans les réponses des robots pour tendre un piège et inciter le voleur à avouer.

Ici, nous pouvons voir qu'Asimov utilise le moins au plus d'incitations déployées par Baley tout en interrogeant les robots. Pour les deux robots, il veut savoir s'il y a une asymétrie dans leur expérience (c'est-à-dire lequel ment) et son approche consiste à les conduire sur un chemin de raisonnement où il pose finalement une question morale complexe à la fin.

En fin de compte, dans l'histoire, Baley utilise une combinaison de cette asymétrie des réponses du robot et de son intuition de la nature humaine pour résoudre le cas, mais il est très intéressant de voir Asimov prédire les nuances nécessaires pour interagir avec l'IA au niveau humain et en fait, il fonde ce séminal les séries de science-fiction travaillent sur ce fait.

Runaround (1942)

Danscette nouvelle , le robot exceptionnellement coûteux Speedy est envoyé en mission pour récupérer un élément sur une planète dangereuse. Parce que ce Speedy est cher, il est programmé pour suivre la 3ème loi (Un robot doit protéger sa propre existence tant qu'une telle protection n'entre pas en conflit avec la Première ou la Seconde Loi) plus fortement que la normale.

Powell et Donovan, les protagonistes humains, confient à Speedy la tâche de récupérer le sélénium d'un bassin de sélénium. Les humains en ont besoin pour recharger leurs cellules électriques, qui s'épuisent, et se protéger de la chaleur. Cependant, ils créent par inadvertance un conflit entre les deuxième et troisième lois de la robotique en donnant à Speedy une commande imprécise qui ne souligne pas l'importance de la mission. Ils ordonnent à Speedy, "Sortez et prenez-le [le sélénium]." En raison du danger posé par le pool de sélénium et de la propension de Speedy à suivre la 3e loi plus fortement que la normale, Speedy se retrouve coincé dans une boucle, incapable de donner la priorité à ses ordres (deuxième loi) sur son auto-préservation (troisième loi).

Le problème est finalement résolu par Powell se mettant en danger, ce qui invoque la première loi et oblige Speedy à donner la priorité à son sauvetage. Powell et Donovan donnent à Speedy une commande imprécise au début :

Puis, il a dit: "Écoute, Mike, qu'as-tu dit à Speedy quand tu l'as envoyé après le sélénium?"

Donovan a été surpris. "Eh bien merde - je ne sais pas. Je lui ai juste dit de le prendre."

« Oui, je sais, mais comment ? Essayez de vous souvenir des mots exacts.
"J'ai dit... euh... j'ai dit : 'Speedy, on a besoin de sélénium. Tu peux en trouver à tel ou tel endroit. Va le chercher' - c'est tout. Que voulais-tu que je te dise de plus ? "

La clé ici est que cette commande donnée par Donovan , je lui ai juste dit de l'obtenir, était imprécise car elle ne contenait pas d'urgence. Dans l'univers Asimovs Robots, le ton et la livraison d'une commande ne sont que des variables supplémentaires de l'invite elle-même. Donc, parce que le ton n'était pas particulièrement urgent sur la commande, cela a conduit à un conflit entre les Trois Lois.

Parce que speedy est coincé dans une boucle et ne peut pas accepter une autre invite qui a été itérée et reformulée avec plus de précision, la seule façon d'obtenir l'action correcte était de changer d'autres variables dans l'univers afin que l'invite initiale imprécise conduise à la sortie souhaitée . Powell résout finalement le problème en se mettant en danger, forçant Speedy à donner la priorité à son sauvetage (la 1ère loi a pris la priorité) et le sort de son impasse entre les mandats de la 2e et de la 3e loi.

Cette histoire montre comment le fait de ne pas utiliser le bon contexte dans l'invite (commande à Speedy) a conduit à des résultats inexacts. Le contexte approprié étant cet extrait de Runaround :

La seule chose qui pouvait les sauver était le sélénium. La seule chose qui pouvait obtenir le sélénium était Speedy. Si Soeedy n'est pas revenu, pas de sélénium. Pas de sélénium, pas de banques de photocellules. Pas de banques de photos - eh bien, la mort par grillage lent est l'une des façons les plus désagréables de se faire faire.

Donovan frotta sauvagement sa tignasse rousse et s'exprima avec amertume.

"Nous serons la risée du Système, Greg. Comment tout a-t-il pu si mal tourner si tôt ? La formidable équipe de Powell et Donovan est envoyée sur Mercure pour faire un rapport sur l'opportunité de rouvrir la station minière de Sunside avec des techniques modernes et robots et nous gâchons tout le premier jour. Un travail purement routinier, aussi. Nous ne le laisserons jamais tomber.

"Nous n'aurons peut-être pas à le faire," répondit Powell tranquillement. "Si nous ne faisons pas quelque chose rapidement, vivre quoi que ce soit - ou même simplement vivre - sera hors de question."

L'invite souffrait également d'un manque d' adaptabilité , une bonne invite devrait être capable de donner des résultats précis sur différents systèmes d'IA. Donovan dit qu'il a donné rapidement un ordre standard (invite) pour obtenir le sélénium.

Donovan : "J'ai dit... euh... J'ai dit : 'Speedy, on a besoin de sélénium. Tu peux en trouver à tel ou tel endroit. Va le chercher - c'est tout. ?"

Powell: "Vous n'avez mis aucune urgence dans l'ordre, n'est-ce pas?"

Donovan : "Pourquoi ? C'était de la pure routine."

L'hypothèse incorrecte ici est qu'une simple commande/invite pour obtenir du sélénium, qui fonctionnerait bien sur n'importe quel autre robot/IA fonctionnerait de la même manière sur Speedy, mais puisque nous savons que le «cerveau positronique»/réseau neuronal de Speedy est formé différemment (3e la loi de l'auto-préservation est renforcée) Speedy n'est pas une IA standard. Par conséquent, une invite/un ordre plus adaptable aurait dû être utilisé.

Les principes de clarté, de contexte et d'adaptabilité des invites données à l'IA afin d'obtenir des résultats précis constituent un concept central de l'ingénierie rapide. Il est généralement admis que Plus l'invite est descriptive et détaillée, meilleurs sont les résultats. PromptingGuide.ai . Dans cette histoire (écrite pour la première fois en 1942), Asimov montre en détail comment le non-respect de ces règles peut conduire à des résultats inexacts.

Grottes d'acier (1954)

"Caves of Steel" a été publié pour la première fois en 1954 et est le premier d'une série de romans se déroulant dans l'univers du robot et présente les personnages du détective Elijah Baley et du robot Daneel Olivaw.

L'histoire se déroule dans un futur lointain. Les habitants de la Terre vivent dans de grandes villes en forme de dôme et nourrissent un profond ressentiment envers les Spacers, un groupe d'humains qui ont colonisé d'autres planètes et adopté la technologie de pointe et la robotique. Asimov utilise le récit du copain flic pour explorer les thèmes des préjugés, de l'IA, de la technologie et de la coopération. Le partenariat entre Baley et Daneel sert de pierre angulaire à la série de robots d'Asimov, qui continue d'approfondir la relation dynamique entre les humains et les robots/IA, ainsi que les défis auxquels ils sont confrontés dans la coexistence.

Il y a une scène courte mais très intelligente dans les chapitres "Words From An Expert / Shift To The Machine" qui montre que même en 1954, Asimov avait prédit qu'il serait nécessaire d'évaluer l'efficacité de l'IA et que l'évaluation pourrait être très invasive mais il y aurait également une méthode d'évaluation plus facile pour vérifier rapidement la santé et l'exactitude d'un modèle.

La scène en question implique un roboticien de la Terre (Dr Gerrigel) à qui Baley a demandé de faire une évaluation du Robot Daneel Olivaw pour vérifier qu'il avait correctement installé la 1ère loi (essentiellement un modèle précis).

Lorsqu'on lui propose les laboratoires informatiques pour tout équipement dont il pourrait avoir besoin, le Dr Gerrigel répond :

Dr Gerrigel : Mon cher M. Baley, je n'aurai pas besoin d'un laboratoire.
Baley : Pourquoi pas ?
Dr Gerrigel : Il n'est pas difficile de tester la Première Loi. ... c'est assez simple.
Baley : Pouvez-vous expliquer ce que vous voulez dire ? Êtes-vous en train de dire que vous pouvez le tester ici?
Dr Gerrigel : « Oui, bien sûr. Écoutez, monsieur Baley, je vais vous donner une analogie. Si j'étais docteur en médecine et que je devais tester la glycémie d'un patient, j'aurais besoin d'un laboratoire de chimie. Si j'avais besoin de mesurer son taux métabolique de base, ou de tester sa fonction corticale, ou de vérifier ses gènes pour identifier un dysfonctionnement congénital, j'aurais besoin d'un équipement élaboré. D'un autre côté, je pouvais vérifier s'il était aveugle en passant simplement ma main devant ses yeux et je pouvais tester s'il était mort en sentant simplement son pouls. « Ce que je veux dire, c'est que plus la propriété testée est importante et fondamentale, plus l'équipement nécessaire est simple. C'est la même chose dans un robot. La première loi est fondamentale. Cela affecte tout. S'il était absent, le robot ne pourrait pas réagir correctement de deux douzaines de façons évidentes.

La description de l'évaluation réelle que le Dr Gerrigel effectue sur Daneel est décrite ainsi :

Ce qui suivit le confondit et le déçut.
Le Dr Gerrigel a ensuite posé des questions et effectué des actions qui semblaient sans signification, ponctuées de références à sa règle à calcul triple et parfois au spectateur.
À un moment donné, il a demandé: "Si j'ai deux cousins, âgés de cinq ans et que le plus jeune est une fille, de quel sexe est le plus âgé?"
Daneel a répondu (inévitablement, pensa Baley) : « Il est impossible de se prononcer sur les informations données.
À quoi la seule réponse du Dr Gerrigel, mis à part un coup d'œil à son chronomètre, a été d'étendre sa main droite aussi loin qu'il le pouvait sur le côté et de dire : « Voudriez-vous toucher le bout de mon majeur avec le bout de l'annulaire ? de ta main gauche ?
Daneel l'a fait rapidement et facilement.
En quinze minutes, pas plus, le Dr Gerrigel avait terminé.

Ce n'est pas différent des approches modernes d'évaluation des grands modèles de langage (LLM). Les LLM peuvent être évalués avec une approche plus impliquée qui implique de l'intégrer dans d'autres applications et processus appelés évaluation extrinsèque et une approche plus introspective mais plus rapide qui implique d'évaluer le LLM AI directement appelé évaluation intrinsèque . L'évaluation d'un modèle se fait avec des mesures comme la perplexité et l'entropie en utilisant des formules mathématiques sur l'ensemble de données.

Lorsque le Dr Gerrigel évalue Daneel, il effectue une série de tests pour évaluer les propriétés physiques et fonctionnelles du robot afin de déterminer s'il s'agit bien d'un robot et de comprendre s'il a été correctement installé avec la 1ère loi. De même, l'évaluation intrinsèque d'un grand modèle de langage implique l'analyse de son fonctionnement interne et de ses performances sur des tâches spécifiques pour comprendre dans quelle mesure il a appris les modèles de langage, les relations et les connaissances à partir des données de formation.

Cela comprend souvent la mesure de ses performances sur diverses tâches linguistiques, telles que prédire le mot suivant dans une phrase, répondre à des questions ou résumer un texte. Les chercheurs peuvent également analyser les représentations internes du modèle, comme l'examen des intégrations apprises ou des mécanismes d'attention, pour mieux comprendre les connaissances linguistiques acquises au cours de la formation. Ces évaluations aident à déterminer les forces et les faiblesses du modèle, ainsi que sa capacité à comprendre et à générer un langage de type humain.

Dans les deux cas, les évaluations sont conçues pour évaluer les capacités du sujet (Daneel ou un grand modèle de langage) et pour mieux comprendre leurs mécanismes sous-jacents.

Même si Asimov ne fait pas beaucoup de construction du monde autour des détails de sa méthode « d'évaluation intrinsèque » par le Dr Gerrigel de Daneel, il est étonnant qu'Asimov ait prédit que ce type d'évaluation de l'IA serait utilisé il y a 70 ans.

Conclusion

Ce ne sont là que quelques exemples de la façon dont Isaac Asimov a approfondi la relation complexe entre l'IA et l'humanité, anticipant l'importance d'une ingénierie rapide pour obtenir des réponses de meilleure qualité de l'IA et des robots. La série de robots d'Asimov représente la science-fiction spéculative qui est devenue de plus en plus pertinente en raison du succès généralisé des grands modèles de langage et de l'IA. Cet ensemble de travaux fondateurs offre un contexte historique précieux et des informations aux scientifiques des données et aux ingénieurs en apprentissage automatique, mettant en lumière les origines de nombreuses idées et inspirations contemporaines dans le domaine.