Qualitätsvielfalt durch KI-Feedback (QDAIF): Ein Schritt in Richtung autonomer KI-Kreativität

Linktabelle

Zusammenfassung und Einführung

Hintergrund und verwandte Arbeiten

Ansatz

Experimente zum Bereich des kreativen Schreibens

Diskussion und Schlussfolgerung

Ein Anhang

ABSTRAKT

Bei vielen Textgenerierungsproblemen bevorzugen Benutzer möglicherweise nicht nur eine einzige Antwort, sondern eine vielfältige Auswahl an qualitativ hochwertigen Ausgaben. Qualitätsdiversitäts-Suchalgorithmen (QD) zielen auf solche Ergebnisse ab, indem sie eine Kandidatenpopulation kontinuierlich verbessern und diversifizieren. Die Anwendbarkeit von QD auf qualitative Bereiche wie kreatives Schreiben wurde jedoch durch die Schwierigkeit eingeschränkt, Maßstäbe für Qualität und Vielfalt algorithmisch zu spezifizieren. Interessanterweise haben jüngste Entwicklungen bei Sprachmodellen (LMs) die Steuerung der Suche durch KI-Feedback ermöglicht, wobei LMs in natürlicher Sprache aufgefordert werden, qualitative Aspekte von Texten zu bewerten. Wir nutzen diese Entwicklung und führen Quality-Diversity through AI Feedback (QDAIF) ein, bei dem ein evolutionärer Algorithmus LMs anwendet, um sowohl Variationen zu erzeugen als auch die Qualität und Diversität des Kandidatentextes zu bewerten. Bei der Bewertung in Bereichen des kreativen Schreibens deckt QDAIF einen größeren Teil eines bestimmten Suchraums mit hochwertigen Beispielen ab als Nicht-QD-Kontrollen. Darüber hinaus validiert die menschliche Bewertung von QDAIF-generierten kreativen Texten eine angemessene Übereinstimmung zwischen KI und menschlicher Bewertung. Unsere Ergebnisse unterstreichen somit das Potenzial von KI-Feedback als Leitfaden für die offene Suche nach kreativen und originellen Lösungen und liefern ein Rezept, das scheinbar auf viele Bereiche und Modalitäten verallgemeinert werden kann. Auf diese Weise ist QDAIF ein Schritt hin zu KI-Systemen, die unabhängig suchen, diversifizieren, bewerten und verbessern können, was zu den Kernkompetenzen gehört, die der Innovationsfähigkeit der menschlichen Gesellschaft zugrunde liegen.[1]

1. EINLEITUNG

Menschliche Innovation ist nicht nur eine generative Fähigkeit zur Kreativität, sondern umfasst auch die Fähigkeit, die subjektive Qualität neuer Ideen und Artefakte zu bewerten. Großartige Ideen entstehen selten auf einmal aus einem Guss, sondern entstehen nach und nach durch unterschiedliche Ausarbeitungs- und Überarbeitungsketten (Stanley & Lehman, 2015). Um sich erfolgreich in einem solchen Ideenbaum zurechtzufinden, muss der Schöpfer beurteilen, welche Schritte in einer Kette es wert sind, weiter verfolgt zu werden. Diese Frage kann sehr subjektiv sein, insbesondere in Bereichen mit künstlerischen oder literarischen Dimensionen.

Selbst wenn KI Kandidaten liefern könnte, lag die Hoffnung auf eine solche subjektiv gefärbte Bewertung bisher fest beim Menschen. Allerdings bedeutet die in den letzten Jahren aufkommende Stiftungsmodelltechnologie (Bommasani et al., 2021), dass das Modell nun auch die Rolle eines Bewerters übernehmen kann, selbst wenn die Bewertung teilweise subjektiv ist (Madaan et al., 2023). Auf diese Weise kann erstmals ein gesamter Ideenfindungsprozess, der eine Vielzahl interessanter Artefakte liefert, prinzipiell automatisiert werden. Dieser Prozess kann von LMs nicht vollständig alleine ausgeführt werden, sondern erfordert die differenzierte Verkettung eines Suchalgorithmus mit Modellaufrufen. Dieses Papier beleuchtet einen Weg, dieses Potenzial zu erreichen: die Kombination von LMs mit dem Bereich der Qualitätsvielfalt (Quality-Diversity, QD) (Mouret & Clune, 2015), der sich auf die Gestaltung von Suchprozessen konzentriert, die qualitativ hochwertige Lösungen hervorbringen, die einen Designraum umfassen .

Die wichtigste Erkenntnis bei QD-Algorithmen besteht darin, qualitativ hochwertige, unterschiedliche Antworten explizit aufrechtzuerhalten und zu suchen. Typischerweise erfordern solche Suchalgorithmen von Hand entworfene Maße für Diversität und Qualität sowie eine Möglichkeit, sinnvolle Variationen zu erzeugen. Doch die interessantesten und komplexesten Bereiche beinhalten fast immer Vorstellungen von Leistung, Diversität und Variation, die subjektiv oder algorithmisch schwer zu spezifizieren sind. Indem wir Arbeiten erweitern, die durch LMs Variationen erzeugen (Lehman et al., 2022; Meyerson et al., 2023) und die Qualität potenzieller Lösungen durch LMs bewerten (Ahn et al., 2022), zeigen wir, dass LMs auch zur Bewertung verwendet werden können qualitative Aspekte der Vielfalt. Auf diese Weise können LMs die drei Hauptbestandteile der QD-Suche instanziieren und so leistungsstarke neue QD-Algorithmen ermöglichen, die den kontinuierlichen LM-Fortschritten folgen können, die wir Quality-Diversity through AI Feedback (QDAIF) nennen. Ein solches QDAIF kann durch intuitivere Diversitätsmessungen verschiedene, qualitativ hochwertige Antworten auf eine LM-Eingabeaufforderung untersuchen und zurückgeben, ohne dass eine Feinabstimmung des Modells erforderlich ist (obwohl es auch für LMs verwendet werden könnte, um sich durch Generierung einer Feinabstimmung selbst zu verbessern). Daten (Lehman et al., 2022; Chen et al., 2023)), eine interessante Richtung für selbst kuratierte effektive Lernumgebungen über generierte Daten, hin zu KI-generierenden Algorithmen (Clune, 2019)).

Wir bewerten QDAIF in drei Bereichen des kreativen Schreibens: Meinungsschreiben, Kurzgeschichten und Poesie. Die Idee dahinter ist, dass es den Nutzern in solchen kreativen Bereichen oft Spaß macht, eine breite Palette möglicher Geschichten oder Gedichte zu sehen, aus denen sie auswählen oder sich von ihnen inspirieren lassen können. Quantitative Ergebnisse zeigen, dass QDAIF die bestehenden Basiswerte deutlich übertrifft. Darüber hinaus beobachten wir durch die menschliche Bewertung eine starke Übereinstimmung zwischen menschlichem und KI-generiertem Feedback und liefern empirische Beweise dafür, dass KI-Feedback fundiert ist und dass die Methode in der Praxis funktionieren kann (d. h. sie führt zu einer verbesserten Qualität und Vielfalt, gemessen durch Menschen). Insgesamt bringt uns QDAIF einen Schritt näher an KI-Modelle heran, die unabhängig suchen und innovieren können, eine der Schlüsselfähigkeiten des Menschen, die es ihm ermöglicht, Kultur und Wissenschaft zu schaffen (Stanley et al., 2017).

[1] Projektseite: https://qdaif.github.io/