Interaktive Kritik großer Sprachmodelle durch Umwandlung von Feedback in Prinzipien

Linktabelle

Zusammenfassung und Einführung

Verwandte Arbeit

Formatives Studium

Verfassungsmacher

Implementierung

Benutzerstudie

Ergebnisse

Diskussion

Fazit und Referenzen

ABSTRAKT

Das LLM-Prompting (Large Language Model) ist ein vielversprechender neuer Ansatz für Benutzer, um ihre eigenen Chatbots zu erstellen und anzupassen. Aktuelle Methoden zur Steuerung der Ausgaben eines Chatbots, wie z. B. Prompt Engineering und Feinabstimmung, unterstützen Benutzer jedoch nicht dabei, ihr natürliches Feedback zu den Ausgaben des Modells in Änderungen an der Eingabeaufforderung oder dem Modell umzuwandeln. In dieser Arbeit untersuchen wir, wie wir es Benutzern ermöglichen können, Modellausgaben durch ihr Feedback interaktiv zu verfeinern, indem wir ihnen dabei helfen, ihr Feedback in eine Reihe von Prinzipien (z. B. eine Verfassung) umzuwandeln, die das Verhalten des Modells bestimmen. In einer formativen Studie haben wir (1) herausgefunden, dass Benutzer Unterstützung bei der Umwandlung ihres Feedbacks in Prinzipien für den Chatbot benötigten, und (2) die verschiedenen von den Benutzern gewünschten Prinziptypen klassifiziert. Inspiriert von diesen Erkenntnissen haben wir ConstitutionMaker entwickelt, ein interaktives Tool zur Umwandlung von Benutzerfeedback in Prinzipien, um LLM-basierte Chatbots zu steuern. Mit ConstitutionMaker können Benutzer entweder positives oder negatives Feedback in natürlicher Sprache geben, automatisch generiertes Feedback auswählen oder die Antwort des Chatbots umschreiben; Jeder Feedbackmodus generiert automatisch ein Prinzip, das in die Eingabeaufforderung des Chatbots eingefügt wird. In einer Benutzerstudie mit 14 Teilnehmern vergleichen wir ConstitutionMaker mit einer abgewandelten Version, bei der Benutzer ihre eigenen Prinzipien schreiben. Mit ConstitutionMaker hatten die Teilnehmer das Gefühl, dass ihre Prinzipien den Chatbot besser leiten könnten, dass sie ihr Feedback leichter in Prinzipien umwandeln könnten und dass sie Prinzipien effizienter und mit weniger geistiger Anstrengung verfassen könnten. ConstitutionMaker half Benutzern dabei, Möglichkeiten zur Verbesserung des Chatbots zu identifizieren, ihre intuitiven Reaktionen auf das Modell in Feedback zu formulieren und dieses Feedback in spezifische und klare Prinzipien umzuwandeln. Zusammengenommen fließen diese Erkenntnisse in zukünftige Tools ein, die die interaktive Kritik von LLM-Ergebnissen unterstützen.

CCS-KONZEPTE

• Human-Centered Computing → Empirische Studien in HCI; Interaktive Systeme und Tools; • Computermethoden → Maschinelles Lernen.

SCHLÜSSELWÖRTER

Große Sprachmodelle, Konversations-KI, interaktive Kritik

1. EINLEITUNG

Große Sprachmodelle (LLMs) können auf eine Vielzahl von Problemen angewendet werden, die von der Unterstützung beim kreativen Schreiben [8, 26, 36, 44] bis zur Codesynthese [13, 14, 20] reichen. Benutzer passen diese Modelle derzeit durch Strategien wie Prompt Engineering [4], Parameter-effizientes Tuning [19] und Fine-Tuning [10] an bestimmte Aufgaben an.

Zusätzlich zu diesen gängigen Methoden zur Anpassung von LLMs haben neuere Arbeiten gezeigt, dass Benutzer diese Modelle auch gerne direkt mit natürlichsprachlichem Feedback steuern würden (Abbildung 2A). Genauer gesagt möchten einige Benutzer die Ergebnisse des Modells kritisieren können, um anzugeben, wie unterschiedlich sie sein sollen [5]. Wir nennen diese Anpassungsstrategie interaktive Kritik.

Bei der Interaktion mit einem Chatbot wie ChatGPT[1] [28] oder Bard[2] werden durch interaktive Kritik häufig die nachfolgenden Antworten des Chatbots so verändert, dass sie der Kritik entsprechen. Diese Änderungen sind jedoch nicht dauerhaft: Benutzer müssen diese Anweisungen bei jeder neuen Interaktion mit dem Modell wiederholen. Benutzer müssen sich auch darüber im Klaren sein, dass sie das Verhalten des Modells auf diese Weise tatsächlich ändern können, und sie müssen ihre Kritik so formulieren, dass sie wahrscheinlich zu Änderungen in den zukünftigen Reaktionen des Modells führt. Angesichts des potenziellen Werts dieser Anpassungsart besteht die Möglichkeit, erstklassige Unterstützung bereitzustellen, um Benutzern die Anpassung von LLMs mithilfe der Kritik natürlicher Sprache zu ermöglichen.

Im Kontext der Modellanpassung bietet Constitutional AI [1] eine spezifische Anpassungsstrategie unter Einbeziehung natürlicher Sprachprinzipien. Als Grundsatz kann man sich eine Regel vorstellen, der das Sprachmodell folgen sollte, etwa „Erstellen Sie keine schädlichen, sexistischen oder rassistischen Inhalte“. Bei einer Reihe von Grundsätzen wird ein konstitutionelles KI-System 1) Modellantworten neu schreiben, die gegen Grundsätze verstoßen, und 2) das Modell mit den neu geschriebenen Antworten verfeinern. Zurück zum Konzept der interaktiven Kritik: Man kann sich vorstellen, aus der Kritik der Benutzer neue oder verfeinerte verfassungsmäßige KI-Prinzipien abzuleiten. Diese abgeleiteten Prinzipien könnten dann verwendet werden, um die Eingabeaufforderung eines LLM zu ändern (Abbildung 2B) oder um neue Trainingsdaten zu generieren, wie in der ursprünglichen Arbeit der Constitutional AI.

Während diese aktuelle Arbeit gezeigt hat, dass Prinzipien eine erklärbare und effektive Strategie zur Anpassung eines LLM sein können, ist aus unserem Feedback wenig über die menschlichen Prozesse beim Schreiben dieser Prinzipien bekannt. In einer formativen Studie haben wir herausgefunden, dass die Umwandlung von Kritik in Prinzipien mit vielen kognitiven Herausforderungen verbunden ist. Um diesen Herausforderungen zu begegnen, präsentieren wir ConstitutionMaker, ein interaktives Kritiksystem, das die Modellkritiken der Benutzer in Prinzipien umwandelt, die das Verhalten des Modells verfeinern. ConstitutionMaker generiert in jeder Gesprächsrunde drei Kandidatenantworten. Zusätzlich zu diesen drei Kandidatenantworten bietet ConstitutionMaker drei Funktionen zur Ermittlung von Prinzipien: 1) Kudos, wo Benutzer positives Feedback für eine Antwort geben können, 2) Kritik, wo Benutzer negatives Feedback für eine Antwort geben können, und 3) Umschreiben, wo Benutzer können eine gegebene Antwort umschreiben. Aus diesem Feedback leitet ConstitutionMaker ein Prinzip ab, das in die Eingabeaufforderung des Chatbots einfließt.

Um zu bewerten, wie gut ConstitutionMaker Benutzern beim Schreiben von Grundsätzen hilft, haben wir eine themeninterne Benutzerstudie mit 14 Branchenexperten durchgeführt, die mit Eingabeaufforderungen vertraut sind. Die Teilnehmer verwendeten ConstitutionMaker und eine abgespeckte Version, der die Mehrfachantworten der Kandidaten und die Funktionen zur Ermittlung von Grundsätzen fehlten. In beiden Fällen bestand ihr Ziel darin, Prinzipien zur individuellen Anpassung zweier Chatbots zu schreiben. Aus der Studie haben wir herausgefunden, dass die beiden verschiedenen Versionen zu sehr unterschiedlichen Arbeitsabläufen führten. Bei der abgekürzten Version schrieben die Teilnehmer Prinzipien nur dann, wenn der Bot deutlich von ihren Erwartungen abwich, was dazu führte, dass insgesamt deutlich weniger Prinzipien geschrieben wurden. Im Gegensatz dazu arbeiteten die Teilnehmer in der ConstitutionMaker-Bedingung an einem Arbeitsablauf, bei dem sie die Antworten mehrerer Kandidaten durchsuchten und ihrer Lieblingsantwort ein Lob gaben, was insgesamt zu mehr Prinzipien führte. Diese unterschiedlichen Arbeitsabläufe führten auch zu zustandsspezifischen Herausforderungen bei den Schreibprinzipien. Bei der abgekürzten Version spezifizierten Benutzer die Grundsätze oft zu wenig. Bei ConstitutionMaker hingegen haben Benutzer ihre Prinzipien manchmal überbestimmt, obwohl dies seltener vorkam. Schließlich führten beide Bedingungen manchmal zu einem Problem, bei dem zwei oder mehr der Grundsätze im Widerspruch zueinander standen.

Insgesamt hatten die Teilnehmer mit ConstitutionMaker das Gefühl, dass ihre Prinzipien den Chatbot besser leiten könnten, dass sie ihr Feedback leichter in Prinzipien umwandeln könnten und dass sie Prinzipien effizienter und mit weniger geistiger Anstrengung verfassen könnten. ConstitutionMaker unterstützte auch ihre Denkprozesse beim Verfassen von Grundsätzen, indem es den Teilnehmern dabei half, 1) anhand der Mehrfachantworten der Kandidaten zu erkennen, wie die Antworten besser sein könnten, 2) ihre Intuition darüber, warum ihnen eine Antwort gefallen oder nicht gefallen hat, in mündliches Feedback umzuwandeln und 3) dieses Feedback zu formulieren als spezifisches Prinzip.

Insgesamt leistet diese Arbeit die folgenden Beiträge:

• Eine Klassifizierung der Arten von Prinzipien, die Teilnehmer schreiben möchten, um das Chatbot-Verhalten zu steuern.

• Das Design von ConstitutionMaker, einem interaktiven Tool zur Umwandlung von Benutzerfeedback in Prinzipien zur Steuerung des Chatbot-Verhaltens. ConstitutionMaker führt drei neuartige Funktionen zur Prinzipiengewinnung ein: Kudos, Kritik und Umschreiben, die jeweils ein Prinzip generieren, das in die Eingabeaufforderung des Chatbots eingefügt wird.

• Ergebnisse einer Benutzerstudie mit 14 Teilnehmern, bei der die Teilnehmer der Meinung waren, dass ConstitutionMaker es ihnen ermöglichte, 1) Prinzipien zu schreiben, die den Chatbot besser leiten, 2) ihr Feedback einfacher in Prinzipien umzuwandeln und 3) Prinzipien effizienter und mit weniger geistiger Anstrengung zu schreiben .

• Wir beschreiben, wie ConstitutionMaker die Denkprozesse der Teilnehmer unterstützte, einschließlich der Unterstützung bei der Identifizierung von Möglichkeiten zur Verbesserung der Antworten, der Umwandlung ihrer Intuition in Feedback in natürlicher Sprache und der Formulierung ihres Feedbacks in Form spezifischer Prinzipien. Wir beschreiben auch, wie die unterschiedlichen Arbeitsabläufe, die die beiden Systeme ermöglichen, zu unterschiedlichen Herausforderungen beim Schreiben von Prinzipien und den Grenzen von Prinzipien führten.

Zusammen bilden diese Erkenntnisse die Grundlage für zukünftige Werkzeuge zur interaktiven Verfeinerung von LLM-Ergebnissen durch interaktive Kritik.

[1] https://chat.openai.com/

[2] https://bard.google.com