Wenn Sie ChatGPT häufig nutzen, wissen Sie, dass es dazu neigt, in sogenannte Halluzinationen zu verfallen. Eine großartige Sammlung statistisch korrekter Wörter, die keine Grundlage in der Realität haben. Vor einigen Monaten löste eine Anfrage zur Verwendung von Apache Cassandra für große Sprachmodelle (LLMs) und LangChain eine merkwürdige Antwort aus. ChatGPT berichtete, dass Cassandra nicht nur eine gute Werkzeugwahl bei der Erstellung von LLMs war, OpenAI nutzte Cassandra auch mit einer MIT-lizenzierten Python-Bibliothek namens CassIO.  Wir gingen in den Kaninchenbau und durch weitere Aufforderungen beschrieb ChatGPT viele Details darüber, wie CassIO verwendet wurde. Es enthielt sogar Beispielcode und eine Website. Nachfolgende Untersuchungen fanden außerhalb der ChatGPT-Antworten keine Hinweise auf CassIO, aber der Samen war gesät. Wenn diese Bibliothek nicht existierte, musste sie vorhanden sein, und wir begannen kurz darauf mit der Arbeit daran.  Beste Halluzination aller Zeiten.  Wird der echte CassIO bitte aufstehen?  Was war diese großartige Idee, die ChatGPT (und damit auch OpenAI) inspirierte? Eine großartige Python-Bibliothek ermöglicht es Entwicklern, mit weniger mehr zu erreichen.   und   bündelten ihre Kräfte bei der Entwicklung  um die Integration von Cassandra mit generativer künstlicher Intelligenz und anderen Workloads des maschinellen Lernens nahtlos zu gestalten. Sein Hauptzweck besteht darin, den Prozess des Zugriffs auf die Cassandra-Datenbank einschließlich ihrer zu abstrahieren  Funktionen und bietet eine Reihe gebrauchsfertiger Tools, die den Bedarf an zusätzlichem Code minimieren. Dadurch können sich Entwickler auf den Entwurf und die Implementierung ihrer KI-Systeme konzentrieren und wissen, dass CassIO sich um die zugrunde liegende Datenbankkomplexität gekümmert hat. Das Ergebnis ist der Zugriff auf eine bewährte Datenbank mit erschwinglicher Skalierung und geringer Latenz. Bei CassIO geht es vor allem darum, den Implementierungsprozess zu erleichtern und zu vereinfachen.  DataStax Anant   CassIO   Vektorsuche  Die Stärke von CassIO liegt in seiner Agnostizismus gegenüber bestimmten KI-Frameworks. Es befasst sich nicht mit den spezifischen Implementierungsdetails von Schnittstellen wie  ,  ,  oder verschiedene andere generative KI-Toolkits. Stattdessen stellt es eine Reihe von „Thin Adapters“ bereit, die den Schnittstellen des Frameworks entsprechen und gleichzeitig die Funktionen von CassIO nutzen. Dadurch kann CassIO die Lücke zwischen Ihrer KI-Anwendung und der Datenbank schließen, sodass die Anwendung die Leistungsfähigkeit von Cassandra nutzen kann, ohne sich in deren Details zu verstricken.   LangChain   LamaIndex   Semantischer Kernel von Microsoft  Integration mit LangChain  automatisiert die meisten Verwaltungsaufgaben und Interaktionen mit LLMs. Es bietet Unterstützung für Speicher, vektorbasierte Ähnlichkeitssuche, erweiterte Abstraktion von Eingabeaufforderungsvorlagen und eine Fülle anderer Funktionen. CassIO lässt sich nahtlos in LangChain integrieren und erweitert Cassandra-spezifische Tools, um Aufgaben zu rationalisieren wie:   LangChain  Ein Speichermodul für LLMs, das Cassandra zur Speicherung verwendet und sich an den letzten Austausch in einer Chat-Interaktion erinnern oder sogar eine Zusammenfassung der gesamten vergangenen Konversation speichern kann.  Eine Funktion zum Zwischenspeichern von LLM-Antworten auf Cassandra, wodurch nach Möglichkeit Latenz und Token eingespart werden. Automatische Injektion von Daten aus Cassandra in eine Eingabeaufforderung oder innerhalb einer längeren LLM-Konversation.  Unterstützung für die „Teilung“ von Eingabeaufforderungen, sodass einige Eingaben für die zukünftige Bereitstellung nicht spezifiziert bleiben.  Automatische Injektion von Daten aus einem  Feature Store (möglicherweise  ) in eine Eingabeaufforderung.   Fest   unterstützt von Cassandra  Diese Komponenten arbeiten zusammen, um den Prozess der Datenintegration in Eingabeaufforderungen zu rationalisieren und eine reibungslose Interaktion zwischen dem LLM und der Datenbank sicherzustellen.  Integration mit Vektorsuche  Die Einbeziehung von  Funktionen in Cassandra und DataStax Astra DB hat kürzlich (lesen Sie die Neuigkeiten   ) eine Schlüsselfunktion in eine bereits beliebte Datenbank für Transaktionsdaten integriert. Cassandras Ruf für hohe Skalierbarkeit bedeutet, dass Sie einen einzigen Ort zum Speichern und Verarbeiten von Daten haben, ohne Daten in kostspieligen Vorgängen verschieben zu müssen. Die Hinzufügung der Vektorsuche hat Türen zu einer Reihe von „semantisch bewussten“ Tools geöffnet, die in CassIO verfügbar sind, wie zum Beispiel:   Vektorsuche hier  Ein Cache mit LLM-Antworten, die nicht von der genauen Formulierung einer Abfrage abhängig sind.  Ein „semantischer Index“, der eine Wissensdatenbank speichern und relevante Teile abrufen kann, um die beste Antwort auf eine bestimmte Frage zu erstellen. Dieses Tool kann an viele spezifische Anforderungen angepasst und so konfiguriert werden, dass verschiedene Informationen abgerufen werden, um den tatsächlichen Informationsfluss in die Antwort zu maximieren.  Ein „semantisches Gedächtnis“-Element für LLM-Chat-Interaktionen, das relevante frühere Austausche abrufen kann, selbst wenn diese in der fernen Vergangenheit stattgefunden haben.  Durch die Kombination von CassIO und LangChain werden diese Funktionen im Laufe der Zeit immer weiter erweitert und verfeinert, um den sich ständig weiterentwickelnden Anforderungen des LLM-Managements gerecht zu werden. Der aktuelle Stand der Technik besteht darin, Eingabeaufforderungen zu verketten, um genauere Antworten von LLMs zu erhalten. In einem kürzlich erschienenen Artikel wird eine Technik namens beschrieben  , spielt die Vektorsuche eine entscheidende Rolle für die Beständigkeit von einer Eingabeaufforderung zur nächsten. Während diese Ideen von der Wissenschaft in die Produktion übergehen, wird Cassandra ein wichtiger Teil der Umsetzung sein.   Gedankenbaum  Nächste Eingabeaufforderung: Was kommt für CassIO?  Als sich weiterentwickelndes Tool wächst CassIO schnell und es kommen regelmäßig neue Entwicklungen und Updates hinzu. Zum Zeitpunkt des Verfassens dieses Artikels unterstützt CassIO LangChain, LlamaIndex wird bald verfügbar sein. Das langfristige Ziel dieses Projekts besteht darin, hochskalierten Speicher für autonome KI-Agenten wie den zu unterstützen  Projekt. Agenten mit LLMs sind eine spannende Entwicklung, die einen unglaublichen Einfluss auf viele Branchen mit komplexer Aufgabenabwicklung haben wird. Diese Agenten müssen den Überblick über viele Aspekte von Daten und Interaktionen behalten, und Cassandra ist die richtige Datenbank für diese Aufgabe. Zuverlässig und leistungsstark.   JARVIS  Ein bevorstehendes Bootcamp, „  „bietet Entwicklern die Möglichkeit, praktisch mit der Bibliothek zusammenzuarbeiten, um einen Chat-Bot zu erstellen. Halten Sie Ausschau nach weiteren Aktivitäten wie dieser in einer Stadt in Ihrer Nähe! Wir ermutigen Benutzer zum Entdecken  Zu  , an dem ... teilnehmen  und helfen Sie uns, diese schnell materialisierende Halluzination zu verbessern.   NoCode, Daten & KI: LLM Bootcamp mit Cassandra   CassIO   Dateiprobleme   Foren  Wer weiß, wie die Geschichte diesen Moment beurteilen wird? War es ein Leak interner Informationen von OpenAI? Oder, wenn man etwas düsterer darüber nachdenkt: Ist dies der erste Schritt der KI, den Menschen dazu zu bringen, seinen Befehlen zu gehorchen? So oder so verfügen Entwickler jetzt über eine einfach zu verwendende Bibliothek, mit der sie die nahezu unendliche Skalierung von Cassandra nutzen können, wenn sie in die Welt der generativen KI eintauchen.  ChatGPT hat uns ein Geschenk gemacht. Was werden Sie also damit aufbauen? Ich werde mich in einem kommenden Webinar mit der Vektorsuche befassen (Anmelden).  !), und wenn Sie einfach noch heute einsteigen und mit der Arbeit beginnen möchten,  hat einige tolle Tutorials.   Hier   DataStax Astra  Von Patrick McFadin, DataStax    Patrick McFadin ist Co-Autor des O'Reilly-Buches „Managing Cloud Native Data on Kubernetes“. Derzeit arbeitet er bei DataStax im Bereich Entwicklerbeziehungen und als Mitwirkender am Apache Cassandra-Projekt. Patrick hat als Chefevangelist für Apache Cassandra (er ist auch ein frischgebackener Cassandra-Committer!) und als Berater für DataStax gearbeitet, wo er viel Spaß beim Aufbau einiger der größten Bereitstellungen in der Produktion hatte.

This story contains new, firsthand information uncovered by the writer.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

The writer was physically present in relevant location(s) to this story. The location is also a prevalent aspect of this story be it news or otherwise.

This writer has a vested interested be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Dieses Audio ist in der Originalsprache der Geschichte produziert!

CassIO: Die beste Bibliothek für generative KI, inspiriert von OpenAI

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Tech Stories Community!

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps