Peut-on arrêter les hallucinations de l’IA ? Un aperçu de 3 façons de le faire

Les grands modèles de langage sont devenus extrêmement puissants aujourd’hui ; ils peuvent nous aider à apporter des réponses à certaines de nos questions les plus difficiles. Mais ils peuvent aussi nous induire en erreur : ils ont tendance à halluciner, ce qui signifie qu'ils donnent des réponses qui semblent bonnes, mais qui ne le sont pas.

LLM halluciner lorsqu'ils rencontrent des requêtes qui ne font pas partie de leur ensemble de données de formation – ou lorsque leur ensemble de données de formation contient des informations erronées (cela peut se produire lorsque les LLM sont formés sur des données Internet, qui, comme nous le savons tous, ne sont pas toujours fiables ). Les LLM n'ont pas non plus de mémoire. Enfin, le « réglage fin » est souvent considéré comme un moyen de réduire les hallucinations en recyclant un modèle sur de nouvelles données, mais il a ses inconvénients.

Ici, nous examinerons trois méthodes pour empêcher les LLM d'halluciner : la génération augmentée par récupération (RAG), le raisonnement et les requêtes itératives.

Génération augmentée par récupération

Avec CHIFFON , une requête arrive dans la base de connaissances (qui, dans ce cas, est une base de données de vecteurs ) comme vecteur sémantique – une chaîne de nombres. Le modèle récupère ensuite les documents similaires de la base de données en utilisant recherche de vecteurs , recherchant les documents dont les vecteurs sont proches du vecteur de la requête.

Une fois les documents pertinents récupérés, la requête, ainsi que ces documents, est utilisée par le LLM pour résumer une réponse à l'intention de l'utilisateur. De cette façon, le modèle ne doit pas s'appuyer uniquement sur ses connaissances internes mais peut accéder aux données que vous lui fournissez au bon moment. Dans un certain sens, il fournit au LLM une « mémoire à long terme » qu'il ne possède pas à lui seul. Le modèle peut fournir des réponses plus précises et contextuellement appropriées en incluant des données exclusives stockées dans la base de données vectorielles.

Une autre approche RAG intègre la vérification des faits. Le LLM est invité à fournir une réponse, qui est ensuite vérifiée et examinée par rapport aux données de la base de données vectorielles. Une réponse à la requête est produite à partir de la base de données vectorielles, puis le LLM utilise à son tour cette réponse comme une invite pour discerner si elle est liée à un fait.

Raisonnement

Les LLM sont très bons dans beaucoup de choses. Ils peuvent prédire le mot suivant dans une phrase, grâce aux progrès des « transformateurs », qui transforment la façon dont les machines comprennent le langage humain en accordant différents degrés d’attention aux différentes parties des données d’entrée. Les LLM sont également efficaces pour résumer de nombreuses informations en une réponse très concise, ainsi que pour trouver et extraire quelque chose que vous recherchez à partir d'une grande quantité de texte. Étonnamment, LLMS peut également planifier : il peut littéralement recueillir des données et planifier un voyage pour vous.

Et ce qui est peut-être encore plus surprenant, c'est que les LLM peuvent utiliser le raisonnement pour produire une réponse, d'une manière presque humaine. Parce que les gens peuvent raisonner, ils n’ont pas besoin de tonnes de données pour faire une prédiction ou prendre une décision. Le raisonnement aide également les LLM à éviter les hallucinations. Un exemple de ceci est " incitation à la chaîne de pensée .»

Cette méthode aide les modèles à diviser les problèmes à plusieurs étapes en étapes intermédiaires. Grâce à l'incitation à la chaîne de pensée, les LLM peuvent résoudre des problèmes de raisonnement complexes que les méthodes d'invite standard ne peuvent pas résoudre (pour un examen approfondi, consultez l'article de blog Les modèles de langage effectuent un raisonnement via une chaîne de pensée de Google).

Si vous posez à un LLM un problème mathématique compliqué, il risque de se tromper. Mais si vous fournissez au LLM le problème ainsi que la méthode pour le résoudre, il peut produire une réponse précise – et partager la raison derrière la réponse. Une base de données vectorielles est un élément clé de cette méthode, car elle fournit des exemples de questions similaires à celle-ci et remplit l'invite avec l'exemple.

Mieux encore, une fois que vous avez la question et la réponse, vous pouvez les stocker dans la base de données vectorielles pour améliorer encore la précision et l'utilité de vos applications d'IA générative.

Il existe de nombreuses autres avancées en matière de raisonnement que vous pouvez découvrir, notamment arbre de la pensée , du moins au plus , cohérence personnelle , et réglage des instructions .

Requête itérative

La troisième méthode pour aider à réduire les hallucinations LLM est l’interrogation interactive. Dans ce cas, un agent IA assure la médiation des appels qui vont et viennent entre un LLM et une base de données vectorielle. Cela peut se produire plusieurs fois de manière itérative, afin d’arriver à la meilleure réponse. Un exemple de cette génération de récupération active tournée vers l’avenir, également connue sous le nom de FLARE.

Vous répondez à une question, interrogez votre base de connaissances pour des questions plus similaires. Vous auriez une série de questions similaires. Ensuite, vous interrogez la base de données vectorielles avec toutes les questions, résumez la réponse et vérifiez si la réponse semble bonne et raisonnable. Si ce n'est pas le cas, répétez les étapes jusqu'à ce que ce soit le cas.

D'autres méthodes d'interrogation interactives avancées incluent GPT automatique , MicrosoftJarvis , et Invite de performances en solo .

Il existe de nombreux outils qui peuvent vous aider dans l’orchestration des agents. LangChaîne est un excellent exemple qui vous aide à orchestrer les appels entre un LLM et une base de données vectorielle. Il automatise essentiellement la majorité des tâches de gestion et des interactions avec les LLM, et prend en charge la mémoire, la recherche de similarité basée sur des vecteurs, l'abstraction avancée de modèles d'invites et une multitude d'autres fonctionnalités. Il aide et prend également en charge les techniques d'incitation avancées telles que la chaîne de pensée et FLARE.

Un autre outil de ce type est CassIO , qui a été développé par DataStax en tant qu'abstraction au-dessus de notre base de données vectorielles Astra DB, avec l'idée de faire des données et de la mémoire des citoyens de première classe dans IA générative . CassIO est une bibliothèque Python qui facilite l'intégration de Cassandra avec l'intelligence artificielle générative et d'autres charges de travail d'apprentissage automatique en faisant abstraction du processus d'accès à la base de données, y compris son recherche de vecteurs capacités et offrant un ensemble d'outils prêts à l'emploi qui minimisent le besoin de code supplémentaire.

Rassembler tout cela : SkyPoint AI

IA SkyPoint est un fournisseur SaaS spécialisé dans les services de données, d'analyses et d'IA pour le secteur des soins et de l'hébergement pour personnes âgées. L'entreprise exploite l'IA générative pour permettre des interactions naturelles et intuitives entre les personnes âgées, les soignants et les systèmes logiciels. En simplifiant les applications complexes et en rationalisant l'expérience utilisateur, SkyPoint AI donne du pouvoir aux personnes âgées et aux soignants d'accéder facilement aux informations et aux connaissances, ce qui contribue à améliorer les soins.

L'entreprise s'appuie sur une grande variété de données à la fois structurées et non structurées pour fournir des réponses générées par l'IA à des questions telles que « Combien de résidents bénéficient actuellement de Medicare ? » Le PDG de SkyPoint, Tisson Mathew, me l'a dit récemment. Cela aide les prestataires de soins à prendre rapidement des décisions éclairées, basées sur des données précises, a-t-il déclaré.

Arriver à ce point, cependant, a été un processus, a déclaré Mathew. Son équipe a commencé par suivre un LLM standard et l'affiner avec les données SkyPoint. « Cela a donné des résultats désastreux – même des mots aléatoires », a-t-il déclaré. Comprendre et créer des invites était quelque chose que SkyPoint pouvait gérer, mais il lui fallait une pile technologique d'IA pour gérer la génération de réponses précises à grande échelle.

SkyPoint a fini par créer un système qui ingère les données structurées des opérateurs et des prestataires, notamment les dossiers de santé électroniques et les données de paie, par exemple. Ceci est stocké dans une base de données en colonnes ; RAG est utilisé pour l'interroger. Les données non structurées, telles que les politiques et procédures et les réglementations nationales, sont stockées dans une base de données vectorielle : Base de données DataStax Astra .

Tisson a posé une question à titre d'exemple : que se passe-t-il si un résident devient violent ? Astra DB fournit une réponse assemblée en fonction des réglementations nationales et du contexte des utilisateurs, ainsi que d'une variété de documents et de documents différents. intégrations vectorielles , dans un langage naturel facile à comprendre pour un employé d'un établissement de soins pour personnes âgées,

"Ce sont des réponses spécifiques qui doivent être justes", a déclaré Tisson. « Il s’agit d’informations sur lesquelles une organisation s’appuie pour prendre des décisions éclairées pour sa communauté et son entreprise. »

Conclusion

SkyPoint AI illustre l’importance d’atténuer le risque d’hallucinations de l’IA ; les conséquences pourraient être potentiellement désastreuses sans les méthodes et les outils disponibles pour garantir des réponses précises.

Avec les approches RAG, de raisonnement et d'interrogation itérative telles que FLARE, l'IA générative – en particulier lorsqu'elle est alimentée par des données propriétaires – devient un outil de plus en plus puissant pour aider les entreprises à servir leurs clients de manière efficace et efficiente.

Par Alan Ho, DataStax

En savoir plus sur la façon dont DataStax vous aide créer des applications d'IA génératives en temps réel .