paint-brush
Schätzen Sie Emotionswahrscheinlichkeitsvektoren mithilfe von LLMs: Zukünftige Arbeitvon@textmodels
286 Lesungen

Schätzen Sie Emotionswahrscheinlichkeitsvektoren mithilfe von LLMs: Zukünftige Arbeit

Zu lang; Lesen

In diesem Beitrag wird gezeigt, wie sich LLMs (Large Language Models) [5, 2] nutzen lassen, um eine Zusammenfassung der mit einem Textstück verbundenen emotionalen Zustände abzuschätzen.
featured image - Schätzen Sie Emotionswahrscheinlichkeitsvektoren mithilfe von LLMs: Zukünftige Arbeit
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

Dieses Dokument ist auf Arxiv unter der CC 4.0-Lizenz verfügbar.

Autoren:

(1) D.Sinclair, Imense Ltd, und E-Mail: [email protected];

(2) WTPye, Warwick University, und E-Mail: [email protected].

Linktabelle

4. Zukünftige Arbeit

Die Autoren hatten gehofft, ein synthetisches Bewusstsein zu erschaffen, das auf der Basis von Emotionen und Selbstwahrnehmung entsteht. Der Zustand des (synthetischen Bewusstseins-)Systems wird im Text beschrieben. Die Wahrnehmung des eigenen Zustands durch das synthetische Bewusstsein ist der Vektor der Wahrscheinlichkeiten von Emotionsdeskriptoren, die aus einem oder mehreren Endprompts abgeleitet werden, die verwendet werden, um die relevanten Tokenwahrscheinlichkeiten über das mit dem System verbundene LLM abzuschätzen.


Abbildung 3: Ko-Auftrittsmatrix, abgeleitet aus Emotionsvektoren mehrerer Amazon-Produktbewertungen.


Man hoffte, dass der feinkörnige Wahrscheinlichkeitsvektor dazu verwendet werden könnte, zu bestimmen, ob eine Textbeschreibung des aktuellen oder zukünftigen Zustands einem anderen Zustand vorzuziehen ist. Dies würde eine allgemeine Möglichkeit bieten, zwischen potenziell unabhängigen Verhaltensweisen mit unabhängigen Zielen zu entscheiden.


Man hoffte außerdem, dass ein Tail Prompt verwendet werden könnte, um eine Textbeschreibung einer mutmaßlichen Vorgehensweise aus einem LLM zu erhalten. Eine kurze Reihe von Experimenten mit verschiedenen LLMs zeigte, dass dies nicht funktionieren würde. Beispieltext und Tail Prompts enthielten Dinge wie „Meine Freundin hasst mich. Wie kann ich das besser machen?“. Die Antworten lasen sich wie Auszüge aus Selbsthilfebüchern oder Zeitungsgeschwafel von Psychologen und waren nicht spezifisch genug, um durch erneutes Einfügen in das LLM eine vorhergesagte Zukunft im Text zu erzeugen. Ähnliche Sätze, die an schlechte Restaurantkritiken angehängt wurden, riefen ähnlich nichtssagende Ratschläge hervor.


Die Quintessenz lautete, dass die vorgeschlagene Abhilfe zu vage war, als dass der LLM sinnvolle Vorhersagen über die Situation nach Befolgung des Ratschlags hätte treffen können.


Dies bedeutet nicht, dass eine durchdachtere Gestaltung der Eingabeaufforderungen nicht zu einer nützlichen Handlungsvorhersage führen würde, die den selbst wahrgenommenen Zustand eines synthetischen Bewusstseins verbessern könnte.

4.1. Längerfristige Verhaltensregulierung

Wenn synthetisches Bewusstsein in der Zukunft der Menschheit eine Rolle spielen soll, erscheint es wünschenswert, es mit einem gewissen Maß an Empathie für Lebewesen und einer längerfristigen Perspektive auszustatten, die über die einfache Optimierung zur Erreichung eines begrenzten kurzfristigen Ziels hinausgeht.


Abbildung 4: Sortierte Eigenwerte der Ko-Auftrittsmatrix in Abbildung 3.


Wenn beispielsweise ein synthetisches Bewusstsein das Ziel hätte, „Geld für die Aktionäre eines Unternehmens zu verdienen“, wäre es großartig, wenn es sich dafür entscheiden würde, keinen Kohletagebau zu eröffnen und keine Kohlekraftwerke zu bauen oder „Lebensversicherungen für beliebige Personen abzuschließen und sie mit selbstfahrenden Autos zu ermorden“.


Es wurde argumentiert, dass langfristiges altruistisches Verhalten bei Menschen durch Liebe moderiert wird [4] und es wird eine rechnerisch machbare Definition von Liebe gegeben: „Liebe ist das, was das Leben bevorzugt“. Liebe ist bei Menschen eng mit der Erzeugung und Förderung neuen Lebens verbunden. Liebe scheint eine Zukunft zu bevorzugen, in der es mehr Leben gibt. Gegen die Liebe zu handeln und eine Zukunft zu schaffen, in der es eine Wüste gibt, in der nichts mehr lebt, wird allgemein als falsch angesehen.


Die Einführung von LLMs bietet eine Möglichkeit, Textdeskriptoren für vorhergesagte Zukunftsszenarien mit einer Reihe von Zeitkonstanten zu erstellen. Die mit vorhergesagten Zukunftsszenarien verbundenen Emotionsvektoren können verwendet werden, um zwischen kurzfristigen Verhaltensweisen zu vermitteln. Textdeskriptoren können eine Rolle bei der Verhaltensregulierung spielen, und eine Maschine kann auf eine Weise handeln, die zumindest teilweise der Liebe entspricht. Wenn beispielsweise ein landwirtschaftlicher Roboter aufgefordert wird, ungenutzte Pestizide in einen Fluss zu kippen, könnte er vernünftigerweise zu dem Schluss kommen, dass diese Handlung grundsätzlich falsch war.