Entwicklung generativer KI-Anwendungen mit (RAG) und Vektordatenbanken können eine Herausforderung sein. Sie müssen häufig Fehler bei RAG-Implementierungen beheben, die auf Vektordatenbanken basieren, um sicherzustellen, dass relevanter Kontext abgerufen wird. Dies ist von entscheidender Bedeutung, da dieser Kontext dann in eine Eingabeaufforderung für ein großes Sprachmodell einbezogen wird, um genauere Ergebnisse zu liefern. Abruf erweiterte Generation Im haben wir uns mit der Einbettungspipeline befasst, die die bevölkert mit Einbettungen und berücksichtigte drei Bereiche, die zu schlechten Ergebnissen führen können: suboptimale Einbettungsmodelle, ineffiziente Chunking-Strategien und mangelnde Metadatenfilterung. vorherigen Artikel dieser Reihe Vektordatenbank Hier werfen wir einen Blick auf die tatsächliche Interaktion mit dem LLM und untersuchen einige häufige Probleme, die zu schlechten Ergebnissen führen können: ungenaue Eingabeaufforderungen und unzureichende Generierungsansätze. Prompte Verfeinerung Selbst die besten Einbettungs- und Chunking-Strategien können das Bedürfnis nach Qualität nicht ersetzen . Dazu gehört, dass die Eingabeaufforderungen expliziter, spezifischer und auf die beabsichtigte Ausgabe abgestimmt werden. Zur Feinabstimmung des RAG-Prozesses sollten verschiedene Eingabeaufforderungsformate, Längen und lexikalische Auswahlmöglichkeiten getestet werden. schnelles Engineering Insbesondere sollten Sie beim Erstellen Ihrer Eingabeaufforderungen für RAG-Anwendungen mehrere Dinge berücksichtigen. Diese beinhalten: Bei der Interaktion mit LLM-Agenten wie ChatGPT verhalten sich diese standardmäßig wie ein hilfreicher Chatbot. Sie können jedoch die Art der generierten Antworten ändern, indem Sie den LLM anweisen, auf eine bestimmte Weise zu handeln. Beispiele könnten Dinge sein wie „Sie sind ein Anwalt, der prüft, ob eine der Parteien gegen eine Vereinbarung verstößt“ oder „Sie sind ein Kundendienstmitarbeiter für einen Internetdienstanbieter; Ihre Aufgabe ist es, Menschen bei der Behebung ihrer Internetprobleme zu helfen“ oder was auch immer für Ihre spezielle Situation sinnvoll ist. Teilen Sie dem LLM seine Rolle mit: : Machen Sie dem LLM klar, dass Sie Kontext bereitstellen und dass die generierte Antwort diesen Kontext widerspiegeln soll. Sie können dies tun, indem Sie etwas sagen wie „Ihre Antwort sollte den folgenden Kontext berücksichtigen“, gefolgt vom Kontext. Anwendungsbeispiele: In dem gerade erwähnten Szenario, in dem der LLM gebeten wird, als Anwalt bei der Bewertung von Verträgen zu fungieren, möchten Sie möglicherweise mehrere Beispiele in die Aufforderung aufnehmen. Sie könnten beispielsweise ein Beispiel für einen Vertrag angeben, der besagt, dass die Zahlung innerhalb von 30 Tagen fällig ist, der Käufer seine Zahlung jedoch erst 40 Tage nach Vertragsunterzeichnung geleistet hat und somit gegen die Vereinbarung verstoßen hat. Sie könnten zusätzliche Beispiele für Rechtsbehelfe und mögliche Wege zur Lösung von Vertragsverletzungen nennen. Weisen Sie den LLM ausdrücklich an, den bereitgestellten Kontext zu verwenden Wenn Ihr Anwendungsfall eine bestimmte Ausgabe erfordert, können Sie das Format angeben, dem die generierte Ausgabe entsprechen soll. Sie können diese Technik mit dem obigen Tipp kombinieren, um dem LLM anhand von Beispielen deutlich zu machen, wie er reagieren soll und welche Kerninformationen Sie in der generierten Antwort erwarten. Geben Sie das Ausgabeformat an: : Für Anwendungsfälle, bei denen es auf Argumentation ankommt, um die geeignete Antwort zu bestimmen, können Sie die Verwendung einer Technik namens in Betracht ziehen, um die Schritte zu erklären, die das LLM befolgen soll, um zu einer generierten Antwort zu gelangen. Im Fall von Rechtsverträgen möchten Sie beispielsweise das LLM durch die logischen Schritte führen, die eine Person befolgen würde, um festzustellen, ob eine Vertragsbedingung verletzt wurde. Wenn Sie sich beispielsweise mit rechtlichen Verträgen befassen, können Sie das LLM anweisen, zunächst nach Klauseln zu suchen, die Zahlungsbedingungen festlegen, dann die Zeitspanne zu ermitteln, die der Käufer für die Zahlung hatte, und dann die Anzahl der Tage zwischen dem Zeitpunkt des Zahlungseingangs und dem Zeitpunkt zu berechnen Datum der Vertragsunterzeichnung. Wenn die Zahlung dann länger als die vereinbarte Frist dauerte, verstieß der Käufer gegen die Vereinbarung. Verwenden Sie die Gedankenkette Gedankenkette Der Einsatz dieser Techniken zur Verbesserung Ihres Prompt-Engineerings kann erhebliche Auswirkungen auf die Qualität der generierten Ergebnisse haben, die Sie in Ihren RAG-Anwendungen erzielen können. Manchmal müssen Sie jedoch Techniken verwenden, die mehrere Austausche mit dem LLM erfordern, um eine akzeptable Antwort zu erzielen. Erweiterte Muster FLARE Vorausschauendes aktives Abrufen, bzw ist ein Beispiel für eine RAG-Technik mit mehreren Abfragen, bei der das LLM iterativ mit benutzerdefinierten Anweisungen in Ihrer Eingabeaufforderung aufgerufen wird, die das LLM auffordern, zusätzliche Fragen zu Schlüsselphrasen bereitzustellen, die ihm helfen würden, eine bessere Antwort zu generieren. Sobald der LLM einen lückenlosen Kontext hat, endet er mit der endgültigen Antwort. Der Prozess fügt eine Schleife zwischen dem LLM und dem KI-Agenten (dem KI-Chatbot im Diagramm) hinzu, um diese Iterationen zu erleichtern: FLARE Ein Beispiel für die Funktionsweise von FLARE finden Sie im . LangChain-Kochbuchbeispiel von FLARE RAG-Fusion Indem wir ähnliche Abfragen wie die Abfrage des Benutzers generieren und relevanten Kontext sowohl für die ursprüngliche Abfrage als auch für die generierten ähnlichen Abfragen abrufen, können wir die Wahrscheinlichkeit erhöhen, dass wir den nützlichsten Kontext ausgewählt haben, um genaue Ergebnisse zu generieren. Der als „RAG-Fusion“ bezeichnete Prozess sieht folgendermaßen aus: Der entscheidende Schritt besteht darin, eine zu verwenden, um die ANN-Ergebnisse weiter zu verfeinern und den relevantesten Kontext für die Generierung einer Antwort zu identifizieren. reziproke Rangfunktion Abschluss RAG ist ein Ansatz, mit dem man leicht anfangen kann, der Entwickler jedoch aus unklaren Gründen oft mit unbefriedigenden Ergebnissen frustriert. Die Relevanz der Ergebnisse in RAG-fähigen generativen KI-Anwendungen kann durch mehrere Faktoren beeinflusst werden. Durch die sorgfältige Auswahl von Einbettungsmodellen, die Formulierung von Chunking-Strategien und die Gestaltung von Eingabeaufforderungen können Sie die Qualität und Präzision der generierten Antworten in Systemen, die auf LLMs wie ChatGPT basieren, erheblich steigern. Hoffentlich helfen Ihnen diese Tipps dabei, nützlichere RAG-Anwendungen zu erstellen, die das Erlebnis und den Wert bieten, den Sie anstreben. Probieren Sie DataStax Astra DB aus . , die einzige Vektordatenbank zum Erstellen von KI-Anwendungen auf Produktionsebene auf der Grundlage von Echtzeitdaten Von Chris Latimer, DataStax Erscheint auch . hier

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Erreichen relevanter LLM-Antworten durch Bewältigung häufiger Herausforderungen im Bereich Retrieval Augmented Generation

Zu lang; Lesen

DataStax

STORY’S CREDIBILITY

Opinion piece / Thought Leadership

Guide

About Author

Hängeetiketten

Languages

DIESER ARTIKEL WURDE VORGESTELLT IN...