Los grandes modelos de lenguaje se han vuelto extremadamente poderosos en la actualidad; pueden ayudar a proporcionar respuestas a algunas de nuestras preguntas más difíciles. Pero también pueden desviarnos: tienden a alucinar, lo que significa que dan respuestas que parecen correctas, pero no lo son.  alucinan cuando encuentran consultas que no forman parte de su conjunto de datos de capacitación, o cuando su conjunto de datos de capacitación contiene información errónea (esto puede suceder cuando los LLM están capacitados con datos de Internet, en los que, como todos sabemos, no siempre se puede confiar). ). Los LLM tampoco tienen memoria. Por último, a menudo se considera que el “ajuste fino” es una manera de reducir las alucinaciones reentrenando un modelo con datos nuevos, pero tiene sus inconvenientes.   LLM  Aquí, veremos tres métodos para evitar que los LLM tengan alucinaciones: generación de recuperación aumentada (RAG), razonamiento y consultas iterativas.  Generación de recuperación aumentada  Con  , llega una consulta a la base de conocimientos (que, en este caso, es una  ) como vector semántico: una cadena de números. Luego, el modelo recupera documentos similares de la base de datos usando  , buscando documentos cuyos vectores estén cerca del vector de la consulta.   TRAPO   base de datos vectorial   búsqueda vectorial  Una vez que se han recuperado los documentos relevantes, el LLM utiliza la consulta, junto con estos documentos, para resumir una respuesta para el usuario. De esta manera, el modelo no tiene que depender únicamente de su conocimiento interno, sino que puede acceder a cualquier dato que usted le proporcione en el momento adecuado. En cierto sentido, proporciona al LLM una “memoria a largo plazo” que no posee por sí solo. El modelo puede proporcionar respuestas más precisas y contextualmente apropiadas al incluir datos patentados almacenados en la base de datos de vectores.   Un enfoque alternativo de RAG incorpora la verificación de hechos. Se solicita al LLM una respuesta, que luego se verifica y se compara con los datos de la base de datos de vectores. Se produce una respuesta a la consulta a partir de la base de datos vectorial y luego el LLM, a su vez, utiliza esa respuesta como indicador para discernir si está relacionada con un hecho.   Razonamiento  Los LLM son muy buenos en muchas cosas. Pueden predecir la siguiente palabra de una oración, gracias a los avances en los “transformadores”, que transforman la forma en que las máquinas entienden el lenguaje humano al prestar distintos grados de atención a diferentes partes de los datos de entrada. Los LLM también son buenos para resumir una gran cantidad de información en una respuesta muy concisa y para encontrar y extraer algo que estás buscando de una gran cantidad de texto. Sorprendentemente, los LLMS también pueden planificar: literalmente pueden recopilar datos y planificar un viaje por usted.  Y quizás lo más sorprendente sea que los LLM puedan utilizar el razonamiento para producir una respuesta, de una manera casi humana. Como las personas pueden razonar, no necesitan toneladas de datos para hacer una predicción o una decisión. El razonamiento también ayuda a los LLM a evitar alucinaciones. Un ejemplo de esto es “  .”   cadena de pensamientos  Este método ayuda a los modelos a dividir los problemas de varios pasos en pasos intermedios. Con indicaciones de cadena de pensamiento, los LLM pueden resolver problemas de razonamiento complejos que los métodos de indicaciones estándar no pueden (para una visión más profunda, consulte la publicación del blog  de Google).   Los modelos de lenguaje realizan el razonamiento a través de una cadena de pensamiento  Si le plantea a un LLM un problema matemático complicado, es posible que se equivoque. Pero si le proporciona al LLM el problema y el método para resolverlo, puede producir una respuesta precisa y compartir la razón detrás de la respuesta. Una base de datos vectorial es una parte clave de este método, ya que proporciona ejemplos de preguntas similares a esta y completa el mensaje con el ejemplo.  Aún mejor, una vez que tenga la pregunta y la respuesta, puede volver a almacenarla en la base de datos vectorial para mejorar aún más la precisión y utilidad de sus aplicaciones de IA generativa.   Hay una serie de otros avances de razonamiento que puede conocer, incluidos  ,  ,  , y  .   árbol del pensamiento   de menos a más   autoconsistencia   ajuste de instrucciones  consulta iterativa  El tercer método para ayudar a reducir las alucinaciones LLM es la consulta interactiva. En este caso, un agente de IA media en las llamadas que van y vienen entre un LLM y una base de datos vectorial. Esto puede suceder varias veces de forma iterativa para llegar a la mejor respuesta. Un ejemplo de esta generación de recuperación activa con visión de futuro, también conocida como FLARE.  Usted responde una pregunta, consulta su base de conocimientos para obtener más preguntas similares. Recibirías una serie de preguntas similares. Luego consulta la base de datos vectorial con todas las preguntas, resume la respuesta y comprueba si la respuesta parece buena y razonable. Si no es así, repita los pasos hasta que lo haga.   Otros métodos de consulta interactivos avanzados incluyen  ,  , y  .   AutoGPT   MicrosoftJarvis   Indicaciones para la interpretación en solitario  Existen muchas herramientas que pueden ayudarle con la orquestación de agentes.  es un gran ejemplo que le ayuda a organizar llamadas entre un LLM y una base de datos vectorial. Básicamente, automatiza la mayoría de las tareas de gestión y las interacciones con los LLM y proporciona soporte para la memoria, búsqueda de similitudes basada en vectores, abstracción avanzada de plantillas de mensajes y una gran cantidad de otras características. También ayuda y respalda técnicas avanzadas de indicaciones como cadena de pensamiento y FLARE.   LangChain  Otra herramienta de este tipo es  , que fue desarrollado por DataStax como una abstracción sobre nuestra base de datos vectorial Astra DB, con la idea de hacer que los datos y la memoria sean ciudadanos de primera clase en  . CassIO es una biblioteca de Python que facilita la integración de Cassandra con inteligencia artificial generativa y otras cargas de trabajo de aprendizaje automático al abstraer el proceso de acceso a la base de datos, incluido su  capacidades y ofrece un conjunto de herramientas listas para usar que minimizan la necesidad de código adicional.   Cassio   IA generativa   búsqueda vectorial  Poniéndolo todo junto: SkyPoint AI  es un proveedor de SaaS que se especializa en datos, análisis y servicios de inteligencia artificial para la industria de atención y vivienda para personas mayores. La empresa aprovecha la IA generativa para permitir interacciones naturales e intuitivas entre personas mayores, cuidadores y sistemas de software. Al simplificar aplicaciones complejas y optimizar la experiencia del usuario,  acceder a información y conocimientos sin esfuerzo, lo que ayuda a mejorar la atención.   SkyPoint AI   SkyPoint AI empodera a las personas mayores y a los cuidadores  La empresa utiliza una amplia variedad de datos estructurados y no estructurados para proporcionar respuestas generadas por IA a preguntas como "¿Cuántos residentes tienen actualmente Medicare?" Tisson Mathew, director ejecutivo de SkyPoint, me dijo recientemente. Esto ayuda a los proveedores de atención a tomar decisiones informadas rápidamente, basadas en datos precisos, dijo.  Sin embargo, llegar a ese punto fue un proceso, dijo Mathew. Su equipo comenzó tomando un LLM estándar y ajustándolo con datos de SkyPoint. “Se obtuvieron resultados desastrosos, incluso palabras al azar”, dijo. Comprender y crear indicaciones era algo que SkyPoint podía manejar, pero necesitaba una pila de tecnología de inteligencia artificial para generar respuestas precisas a escala.  SkyPoint terminó construyendo un sistema que absorbía datos estructurados de operadores y proveedores, incluidos registros médicos electrónicos y datos de nómina, por ejemplo. Esto se almacena en una base de datos en columnas; RAG se utiliza para consultarlo. Los datos no estructurados, como políticas, procedimientos y regulaciones estatales, se almacenan en una base de datos vectorial:  .   DataStax Astra DB  Tisson planteó una pregunta a modo de ejemplo: ¿Qué pasa si un residente se vuelve abusivo? Astra DB proporciona una respuesta que se basa en las regulaciones estatales y el contexto de los usuarios y una variedad de diferentes documentos y    en un lenguaje natural que sea fácil de entender para un trabajador de un centro de atención para personas mayores,   incrustaciones de vectores ,  "Éstas son respuestas específicas que tienen que ser correctas", dijo Tisson. "Esta es información en la que confía una organización para tomar decisiones informadas para su comunidad y su negocio".  Conclusión  SkyPoint AI ilustra la importancia de mitigar el riesgo de alucinaciones por IA; las consecuencias podrían ser potencialmente nefastas sin los métodos y herramientas disponibles para garantizar respuestas precisas.  Con enfoques RAG, razonamiento y consultas iterativas como FLARE, la IA generativa (particularmente cuando se alimenta de datos propietarios) se está convirtiendo en una herramienta cada vez más poderosa para ayudar a las empresas a atender a sus clientes de manera eficiente y efectiva.  Por Alan Ho, DataStax     Obtenga más información sobre cómo le ayuda DataStax   crear aplicaciones de IA generativas en tiempo real .  También publicado   . aquí

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Este audio es producido en el idioma original de la historia!

¿Se pueden detener las alucinaciones de la IA? Una mirada a tres formas de hacerlo

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps