Große Sprachmodelle sind heute äußerst leistungsfähig; Sie können dabei helfen, Antworten auf einige unserer schwierigsten Fragen zu finden. Sie können uns aber auch in die Irre führen: Sie neigen zu Halluzinationen, was bedeutet, dass sie Antworten geben, die richtig erscheinen, es aber nicht sind.  halluzinieren, wenn sie auf Abfragen stoßen, die nicht Teil ihres Trainingsdatensatzes sind – oder wenn ihr Trainingsdatensatz fehlerhafte Informationen enthält (dies kann passieren, wenn LLMs auf Internetdaten trainiert werden, denen man, wie wir alle wissen, nicht immer vertrauen kann ). LLMs haben auch kein Gedächtnis. Schließlich wird „Feinabstimmung“ oft als eine Möglichkeit angesehen, Halluzinationen zu reduzieren, indem ein Modell auf neue Daten umtrainiert wird – aber es hat seine Nachteile.   LLMs  Hier sehen wir uns drei Methoden an, um die Halluzination von LLMs zu verhindern: Retrieval-Augmented Generation (RAG), Reasoning und iteratives Abfragen.  Abruf-erweiterte Generation  Mit  , kommt eine Abfrage in die Wissensdatenbank (in diesem Fall eine  ) als semantischer Vektor – eine Folge von Zahlen. Das Modell ruft dann mithilfe von ähnliche Dokumente aus der Datenbank ab  , sucht nach Dokumenten, deren Vektoren nahe am Vektor der Abfrage liegen.   LAPPEN   Vektordatenbank   Vektorsuche  Sobald die relevanten Dokumente abgerufen wurden, wird die Abfrage zusammen mit diesen Dokumenten vom LLM verwendet, um eine Antwort für den Benutzer zusammenzufassen. Auf diese Weise muss sich das Modell nicht ausschließlich auf sein internes Wissen verlassen, sondern kann zum richtigen Zeitpunkt auf alle Daten zugreifen, die Sie ihm zur Verfügung stellen. In gewisser Weise stellt es dem LLM ein „Langzeitgedächtnis“ zur Verfügung, das es allein nicht besitzt. Das Modell kann genauere und kontextbezogenere Antworten liefern, indem es proprietäre Daten einbezieht, die in der Vektordatenbank gespeichert sind.   Ein alternativer RAG-Ansatz beinhaltet die Überprüfung von Fakten. Der LLM wird zur Eingabe einer Antwort aufgefordert, die dann einer Faktenprüfung unterzogen und mit den Daten in der Vektordatenbank abgeglichen wird. Aus der Vektordatenbank wird eine Antwort auf die Anfrage erstellt, und das LLM wiederum verwendet diese Antwort als Eingabeaufforderung, um zu erkennen, ob sie mit einer Tatsache zusammenhängt.   Argumentation  LLMs sind in vielen Dingen sehr gut. Sie können das nächste Wort in einem Satz vorhersagen, dank Fortschritten bei „Transformern“, die die Art und Weise verändern, wie Maschinen menschliche Sprache verstehen, indem sie verschiedenen Teilen der Eingabedaten unterschiedlich viel Aufmerksamkeit schenken. LLMs sind auch gut darin, viele Informationen in einer sehr prägnanten Antwort zusammenzufassen und aus einer großen Textmenge etwas zu finden und zu extrahieren. Überraschenderweise kann LLMS auch planen – es kann buchstäblich Daten sammeln und eine Reise für Sie planen.  Und was vielleicht noch überraschender ist: LLM-Studenten können logisches Denken nutzen, um auf fast menschenähnliche Weise eine Antwort zu finden. Da Menschen vernünftig denken können, benötigen sie keine Unmengen an Daten, um eine Vorhersage oder Entscheidung zu treffen. Das logische Denken hilft LLMs auch dabei, Halluzinationen zu vermeiden. Ein Beispiel hierfür ist „  .“   Aufforderung zur Gedankenkette  Diese Methode hilft Modellen, mehrstufige Probleme in Zwischenschritte zu unterteilen. Mit Chain-of-Thought-Prompting können LLMs komplexe Argumentationsprobleme lösen, die mit Standard-Promptmethoden nicht möglich sind (einen ausführlichen Einblick finden Sie im Blogbeitrag).  von Google).   Sprachmodelle führen Überlegungen über eine Gedankenkette durch  Wenn Sie einem LLM eine komplizierte mathematische Aufgabe stellen, kann es sein, dass er es falsch macht. Wenn Sie dem LLM jedoch das Problem und die Methode zu dessen Lösung mitteilen, kann es eine genaue Antwort liefern – und den Grund für die Antwort mitteilen. Eine Vektordatenbank ist ein wichtiger Bestandteil dieser Methode, da sie Beispiele für ähnliche Fragen bereitstellt und die Eingabeaufforderung mit dem Beispiel füllt.  Noch besser: Sobald Sie die Frage und Antwort haben, können Sie sie wieder in der Vektordatenbank speichern, um die Genauigkeit und Nützlichkeit Ihrer generativen KI-Anwendungen weiter zu verbessern.   Es gibt eine Vielzahl weiterer Fortschritte beim Denken, die Sie kennenlernen können, darunter  ,  ,  , Und  .   Baum der Gedanken   am wenigsten bis zu den meisten   Selbstkonsistenz   Anleitung zum Tuning  Iterative Abfrage  Die dritte Methode zur Reduzierung von LLM-Halluzinationen ist die interaktive Abfrage. In diesem Fall vermittelt ein KI-Agent Anrufe, die zwischen einem LLM und einer Vektordatenbank hin und her wechseln. Dies kann mehrmals iterativ geschehen, um zur besten Antwort zu gelangen. Ein Beispiel für diese zukunftsweisende aktive Retrieval-Generation, auch bekannt als FLARE.  Sie beantworten eine Frage und fragen Ihre Wissensdatenbank nach weiteren, ähnlichen Fragen ab. Sie würden eine Reihe ähnlicher Fragen erhalten. Anschließend fragen Sie die Vektordatenbank mit allen Fragen ab, fassen die Antwort zusammen und prüfen, ob die Antwort gut und sinnvoll aussieht. Wenn dies nicht der Fall ist, wiederholen Sie die Schritte, bis dies der Fall ist.   Zu den weiteren erweiterten interaktiven Abfragemethoden gehören:  ,  , Und  .   AutoGPT   Microsoft Jarvis   Aufforderung zur Soloaufführung  Es gibt viele Tools, die Sie bei der Agenten-Orchestrierung unterstützen können.  ist ein großartiges Beispiel, das Ihnen hilft, Aufrufe zwischen einem LLM und einer Vektordatenbank zu orchestrieren. Es automatisiert im Wesentlichen die meisten Verwaltungsaufgaben und Interaktionen mit LLMs und bietet Unterstützung für Speicher, vektorbasierte Ähnlichkeitssuche, erweiterte Abstraktion von Eingabeaufforderungsvorlagen und eine Fülle anderer Funktionen. Es hilft und unterstützt auch fortgeschrittene Aufforderungstechniken wie Gedankenkette und FLARE.   LangChain  Ein weiteres solches Tool ist  , das von DataStax als Abstraktion auf unserer Astra DB-Vektordatenbank entwickelt wurde, mit der Idee, Daten und Speicher zu erstklassigen Bürgern zu machen  . CassIO ist eine Python-Bibliothek, die die Integration von Cassandra mit generativer künstlicher Intelligenz und anderen Workloads des maschinellen Lernens nahtlos ermöglicht, indem sie den Prozess des Zugriffs auf die Datenbank, einschließlich ihrer, abstrahiert  Funktionen und bietet eine Reihe gebrauchsfertiger Tools, die den Bedarf an zusätzlichem Code minimieren.   CassIO   generative KI   Vektorsuche  Alles in allem: SkyPoint AI  ist ein SaaS-Anbieter, der sich auf Daten-, Analyse- und KI-Dienste für die Seniorenpflege- und Wohnbranche spezialisiert hat. Das Unternehmen nutzt generative KI, um natürliche und intuitive Interaktionen zwischen Senioren, Betreuern und Softwaresystemen zu ermöglichen. Durch die Vereinfachung komplexer Anwendungen und die Optimierung des Benutzererlebnisses  Sie können mühelos auf Informationen und Erkenntnisse zugreifen, was zur Verbesserung der Pflege beiträgt.   SkyPoint-KI   SkyPoint AI unterstützt Senioren und Pflegekräfte  Das Unternehmen greift auf eine Vielzahl strukturierter und unstrukturierter Daten zurück, um KI-generierte Antworten auf Fragen wie „Wie viele Bewohner beziehen derzeit Medicare?“ zu liefern. Tisson Mathew, CEO von SkyPoint, hat es mir kürzlich erzählt. Dies hilft Pflegedienstleistern, schnell fundierte Entscheidungen auf der Grundlage genauer Daten zu treffen, sagte er.  An diesen Punkt zu gelangen, sei jedoch ein Prozess, sagte Mathew. Sein Team begann damit, ein Standard-LLM zu nehmen und es mit SkyPoint-Daten zu verfeinern. „Es kam zu katastrophalen Ergebnissen – sogar zu zufälligen Worten“, sagte er. Das Verstehen und Erstellen von Eingabeaufforderungen war etwas, was SkyPoint bewältigen konnte, aber es brauchte einen KI-Technologie-Stack, um genaue Antworten in großem Maßstab zu generieren.  SkyPoint baute schließlich ein System auf, das strukturierte Daten von Betreibern und Anbietern aufnahm, darunter beispielsweise elektronische Gesundheitsakten und Gehaltsabrechnungsdaten. Dies wird in einer spaltenorientierten Datenbank gespeichert; Zur Abfrage wird RAG verwendet. Unstrukturierte Daten wie Richtlinien und Verfahren sowie staatliche Vorschriften werden in einer Vektordatenbank gespeichert:  .   DataStax Astra DB  Tisson stellte als Beispiel eine Frage: Was passiert, wenn ein Bewohner missbräuchlich wird? Astra DB bietet eine Antwort, die auf der Grundlage staatlicher Vorschriften und des Benutzerkontexts sowie einer Vielzahl unterschiedlicher Dokumente und Dokumente zusammengestellt wird    in natürlicher Sprache, die für einen Mitarbeiter einer Seniorenpflegeeinrichtung leicht zu verstehen ist,   Vektoreinbettungen ,  „Das sind konkrete Antworten, die richtig sein müssen“, sagte Tisson. „Das sind Informationen, auf die sich eine Organisation verlässt, um fundierte Entscheidungen für ihre Gemeinde und ihr Unternehmen zu treffen.“  Abschluss  SkyPoint AI verdeutlicht, wie wichtig es ist, das Risiko von KI-Halluzinationen zu mindern; Ohne die verfügbaren Methoden und Werkzeuge, um genaue Antworten zu gewährleisten, könnten die Folgen möglicherweise verheerend sein.  Mit RAG, Reasoning und iterativen Abfrageansätzen wie FLARE wird generative KI – insbesondere wenn sie auf proprietären Daten basiert – zu einem immer leistungsfähigeren Werkzeug, um Unternehmen dabei zu helfen, ihre Kunden effizient und effektiv zu bedienen.  Von Alan Ho, DataStax     Erfahren Sie mehr darüber, wie DataStax Ihnen hilft   Erstellen Sie generative KI-Anwendungen in Echtzeit .  Auch   veröffentlicht. hier

DataStax Astra DB is the vector database for getting GenAI apps into production, fast. Try it for free today!

DataStax

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Können KI-Halluzinationen gestoppt werden? Ein Blick auf 3 Möglichkeiten, dies zu tun

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Celebrating Our AI Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our AI Community!

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Cybersecurity Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps