Si eres un usuario frecuente de ChatGPT, conoces la tendencia que tiene a perderse en lo que se conoce como alucinaciones. Una gran colección de palabras estadísticamente correctas que no tienen ninguna base en la realidad. Hace unos meses, un aviso sobre el uso de Apache Cassandra para modelos de lenguaje grandes (LLM) y LangChain resultó en una respuesta curiosa. ChatGPT informó que Cassandra no solo era una buena opción de herramienta al crear LLM, sino que OpenAI usó Cassandra con una biblioteca de Python con licencia de MIT que llamaron CassIO.  Entramos en la madriguera del conejo y, a través de más indicaciones, ChatGPT describió muchos detalles sobre cómo se usaba CassIO. Incluso incluía un código de muestra y un sitio web. La investigación posterior no encontró evidencia de CassIO fuera de las respuestas de ChatGPT, pero se sembró la semilla. Si esta biblioteca no existía, tenía que existir y comenzamos a trabajar en ella poco después.  La mejor alucinación de la historia.  ¿Se pondrá de pie el verdadero CassIO?  ¿Cuál fue esta gran idea que inspiró ChatGPT (y, por asociación, OpenAI)? Una gran biblioteca de Python permite a los desarrolladores hacer más con menos.   y   combinaron fuerzas para desarrollar  para hacer que la integración de Cassandra con inteligencia artificial generativa y otras cargas de trabajo de aprendizaje automático sea perfecta. Su propósito principal es abstraer el proceso de acceso a la base de datos de Cassandra, incluyendo su  capacidades, ofreciendo un conjunto de herramientas listas para usar que minimizan la necesidad de código adicional. Como resultado, los desarrolladores pueden concentrarse en diseñar e implementar sus sistemas de IA, sabiendo que CassIO se ha ocupado de las complejidades de la base de datos subyacente. El resultado es el acceso a una base de datos comprobada para una escala asequible y baja latencia. La esencia de CassIO consiste en facilitar y simplificar el proceso de implementación.  DataStax Anant   CassIO   búsqueda de vectores  La fuerza de CassIO radica en su agnosticismo hacia marcos de trabajo de IA específicos. No se preocupa por los detalles de implementación específicos de interfaces como  ,  ,  , o varios otros kits de herramientas de IA generativa. En cambio, proporciona un conjunto de "adaptadores delgados" que se ajustan a las interfaces del marco mientras usa las capacidades de CassIO. Esto permite que CassIO cierre la brecha entre su aplicación de IA y la base de datos, lo que permite que la aplicación aproveche el poder de Cassandra sin enredarse en sus detalles.   LangChain   LlamaIndex   Núcleo semántico de Microsoft  Integración con LangChain  automatiza la mayoría de las tareas de gestión y las interacciones con los LLM. Proporciona soporte para memoria, búsqueda de similitud basada en vectores, abstracción avanzada de plantillas de solicitud y una gran cantidad de otras características. CassIO se integra a la perfección con LangChain y amplía las herramientas específicas de Cassandra para optimizar tareas como:   LangChain  Un módulo de memoria para LLM que usa Cassandra para el almacenamiento, que puede recordar intercambios recientes en una interacción de chat, o incluso mantener un resumen de toda la conversación pasada.  Una función para almacenar en caché las respuestas de LLM en Cassandra, ahorrando así latencia y tokens cuando sea posible. Inyección automática de datos de Cassandra en un aviso o dentro de una conversación de LLM más larga.  Compatibilidad con la "parcialización" de las indicaciones, dejando algunas entradas sin especificar para el suministro futuro.  Inyección automática de datos desde un  tienda de características (potencialmente  ) en un aviso.   Banquete   respaldado por Casandra  Estos componentes trabajan juntos para agilizar el proceso de incorporación de datos en indicaciones y garantizar una interacción fluida entre el LLM y la base de datos.  Integración con búsqueda de vectores  la inclusión de  Capacidades en Cassandra y DataStax Astra DB recientemente integró una característica clave en una base de datos ya popular para datos transaccionales. La reputación de Cassandra de alta escala significa que usted tiene un solo lugar para almacenar y procesar datos sin mover los datos en operaciones costosas. La adición de la búsqueda vectorial ha abierto las puertas a un conjunto de herramientas "semánticamente conscientes" disponibles en CassIO, como:   búsqueda de vectores  Un caché de respuestas LLM que no dependen de la redacción exacta de una consulta.  Un "índice semántico" que puede almacenar una base de conocimiento y recuperar partes relevantes para construir la mejor respuesta a una pregunta determinada. Esta herramienta se puede adaptar para satisfacer muchas necesidades específicas y se puede configurar para recuperar información diversa para maximizar la información real que fluye hacia la respuesta.  Un elemento de "memoria semántica" para las interacciones de chat de LLM, que puede recuperar intercambios pasados relevantes incluso si ocurrieron en un pasado lejano.  La combinación de CassIO y LangChain continúa expandiendo y refinando estas capacidades con el tiempo para satisfacer las necesidades en constante evolución de la gestión de LLM. El estado actual del arte está en el encadenamiento de avisos para obtener respuestas más precisas de los LLM. En un artículo reciente que describe una técnica llamada  , el papel de la búsqueda de vectores juega un papel fundamental en la persistencia de un aviso al siguiente. A medida que estas ideas pasen de la academia a la producción, Cassandra será una parte importante de la implementación.   árbol del pensamiento  Próximo mensaje: ¿Qué le espera a CassIO?  Como herramienta en evolución, CassIO está creciendo rápidamente, con nuevos desarrollos y actualizaciones que se agregan con frecuencia. En el momento de escribir este artículo, CassIO es compatible con LangChain, y LlamaIndex estará disponible próximamente. El objetivo a largo plazo de este proyecto es admitir memoria a gran escala para agentes de IA autónomos como el  proyecto. Los agentes con LLM son un desarrollo emocionante que tendrá un impacto increíble en muchas industrias con manejo de tareas complejas. Estos agentes deberán realizar un seguimiento de muchos aspectos de los datos y las interacciones, y Cassandra es la base de datos adecuada para el trabajo. Confiable y eficaz.   JARVIS  Un próximo campo de entrenamiento, “  ”, ofrecerá a los desarrolladores la oportunidad de trabajar directamente con la biblioteca para crear un bot de chat. ¡Busca más actividades como esta en una ciudad cerca de ti! Animamos a los usuarios a explorar  a  , participar en el  y ayúdanos a mejorar esta alucinación que se materializa rápidamente.   NoCode, Data & AI: LLM Bootcamp con Cassandra   CassIO   problemas de archivos   foros  ¿Quién sabe cómo juzgará la historia este momento? ¿Fue una fuga de información interna de OpenAI? O, pensando un poco más oscuro, ¿es este el primer paso de la IA para lograr que los humanos cumplan sus órdenes? De cualquier manera, los desarrolladores ahora tienen una biblioteca fácil de usar para aprovechar la escala casi infinita de Cassandra cuando se lanzan al mundo de la IA generativa.  ChatGPT nos ha dado un regalo, entonces, ¿qué vas a construir con esto? Voy a sumergirme en la búsqueda de vectores en un próximo seminario web (regístrese  !), y si solo quiere entrar y empezar a trabajar hoy mismo,  tiene algunos tutoriales geniales.   aquí   DataStax Astra  Por Patrick McFadin, DataStax    Patrick McFadin es coautor del libro de O'Reilly 'Managing Cloud Native Data on Kubernetes'. Actualmente trabaja en DataStax en relaciones con desarrolladores y como colaborador del proyecto Apache Cassandra. Patrick ha trabajado como evangelista jefe de Apache Cassandra (¡también es un committer recién nombrado de Cassandra!) y como consultor de DataStax, donde se divirtió mucho creando algunas de las implementaciones más grandes en producción.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

This writer has a vested interested be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Este audio es producido en el idioma original de la historia!

CassIO: la mejor biblioteca para IA generativa, inspirada en OpenAI

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps