Critique interactive de grands modèles de langage en convertissant les commentaires en principes

Tableau des liens

Résumé et introduction

Travaux connexes

Étude formative

Créateur de Constitution

Mise en œuvre

Étude utilisateur

Résultats

Discussion

Conclusion et références

ABSTRAIT

L'invite LLM (Large Language Model) constitue une nouvelle approche prometteuse permettant aux utilisateurs de créer et de personnaliser leurs propres chatbots. Cependant, les méthodes actuelles pour piloter les résultats d'un chatbot, telles que l'ingénierie et le réglage précis des invites, n'aident pas les utilisateurs à convertir leurs commentaires naturels sur les résultats du modèle en modifications de l'invite ou du modèle. Dans ce travail, nous explorons comment permettre aux utilisateurs d'affiner de manière interactive les résultats du modèle grâce à leurs commentaires, en les aidant à convertir leurs commentaires en un ensemble de principes (c'est-à-dire une constitution) qui dictent le comportement du modèle. À partir d'une étude formative, nous (1) avons constaté que les utilisateurs avaient besoin d'aide pour convertir leurs commentaires en principes pour le chatbot et (2) avons classé les différents types de principes souhaités par les utilisateurs. Inspirés par ces résultats, nous avons développé ConstitutionMaker, un outil interactif permettant de convertir les commentaires des utilisateurs en principes, afin de piloter les chatbots basés sur LLM. Avec ConstitutionMaker, les utilisateurs peuvent fournir des commentaires positifs ou négatifs en langage naturel, sélectionner des commentaires générés automatiquement ou réécrire la réponse du chatbot ; chaque mode de feedback génère automatiquement un principe qui est inséré dans l'invite du chatbot. Dans une étude utilisateur menée auprès de 14 participants, nous comparons ConstitutionMaker à une version abrégée, dans laquelle les utilisateurs écrivent leurs propres principes. Avec ConstitutionMaker, les participants ont estimé que leurs principes pouvaient mieux guider le chatbot, qu'ils pouvaient plus facilement convertir leurs commentaires en principes et qu'ils pouvaient rédiger des principes plus efficacement, avec moins de sollicitation mentale. ConstitutionMaker a aidé les utilisateurs à identifier les moyens d'améliorer le chatbot, à formuler leurs réponses intuitives au modèle en commentaires et à convertir ces commentaires en principes spécifiques et clairs. Ensemble, ces résultats éclairent les futurs outils qui prendront en charge la critique interactive des résultats du LLM.

CONCEPTS CSC

• Informatique centrée sur l'humain → Études empiriques en HCI ; Systèmes et outils interactifs ; • Méthodologies informatiques → Machine learning.

MOTS CLÉS

Grands modèles de langage, IA conversationnelle, critique interactive

1. INTRODUCTION

Les grands modèles de langage (LLM) peuvent être appliqués à un large éventail de problèmes, allant de l'assistance à l'écriture créative [8, 26, 36, 44] à la synthèse de code [13, 14, 20]. Les utilisateurs personnalisent actuellement ces modèles pour des tâches spécifiques grâce à des stratégies telles que l'ingénierie rapide [4], le réglage efficace des paramètres [19] et le réglage fin [10].

En plus de ces méthodes courantes de personnalisation des LLM, des travaux récents ont montré que les utilisateurs souhaiteraient également piloter directement ces modèles avec un retour en langage naturel (Figure 2A). Plus précisément, certains utilisateurs souhaitent pouvoir critiquer les sorties du modèle pour spécifier en quoi elles devraient être différentes [5]. Nous appelons cette stratégie de personnalisation critique interactive.

Lors de l'interaction avec un chatbot comme ChatGPT[1] [28] ou Bard[2], la critique interactive modifiera souvent les réponses ultérieures du chatbot pour se conformer à la critique. Cependant, ces changements ne sont pas persistants : les utilisateurs doivent répéter ces instructions lors de chaque nouvelle interaction avec le modèle. Les utilisateurs doivent également être conscients qu'ils peuvent réellement modifier le comportement du modèle de cette manière et doivent formuler leur critique d'une manière susceptible de conduire à des changements dans les réponses futures du modèle. Compte tenu de la valeur potentielle de ce mode de personnalisation, il existe une opportunité de fournir un support de premier ordre permettant aux utilisateurs de personnaliser les LLM via une critique en langage naturel.

Dans le contexte de la personnalisation des modèles, Constitutional AI [1] propose une stratégie de personnalisation spécifique impliquant les principes du langage naturel. Un principe peut être considéré comme une règle que le modèle linguistique devrait suivre, tel que « Ne pas créer de contenu préjudiciable, sexiste ou raciste ». Compte tenu d'un ensemble de principes, un système d'IA constitutionnelle 1) réécrira les réponses du modèle qui violent les principes et 2) affinera le modèle avec les réponses réécrites. Pour en revenir à la notion de critique interactive, on peut imaginer déduire des principes constitutionnels nouveaux ou raffinés de l'IA à partir des critiques des utilisateurs. Ces principes dérivés pourraient ensuite être utilisés pour modifier l'invite d'un LLM (Figure 2B) ou pour générer de nouvelles données de formation, comme dans le travail original sur l'IA constitutionnelle.

Bien que ces travaux récents aient montré que les principes peuvent constituer une stratégie explicable et efficace pour personnaliser un LLM, nos commentaires permettent de connaître peu de choses sur les processus humains de rédaction de ces principes. À partir d’une étude formative, nous avons découvert qu’il existe de nombreux défis cognitifs impliqués dans la conversion des critiques en principes. Pour relever ces défis, nous présentons ConstitutionMaker, un système de critique interactif qui transforme les critiques du modèle des utilisateurs en principes qui affinent le comportement du modèle. ConstitutionMaker génère trois réponses de candidats à chaque tour de conversation. En plus de ces trois réponses candidates, ConstitutionMaker propose trois fonctionnalités d'élicitation de principes : 1) félicitations, où les utilisateurs peuvent fournir des commentaires positifs pour une réponse, 2) critique, où les utilisateurs peuvent fournir des commentaires négatifs pour une réponse, et 3) réécrire, où les utilisateurs peuvent réécrire une réponse donnée. À partir de ces commentaires, ConstitutionMaker déduit un principe qui est intégré dans l'invite du chatbot.

Pour évaluer dans quelle mesure ConstitutionMaker aide les utilisateurs à rédiger des principes, nous avons mené une étude d'utilisateurs intra-sujets auprès de 14 professionnels de l'industrie familiarisés avec les invites. Les participants ont utilisé ConstitutionMaker et une version abrégée dépourvue des réponses multiples des candidats et des fonctionnalités d'élicitation des principes. Dans les deux cas, leur objectif était d’écrire des principes pour personnaliser deux chatbots. À partir de l’étude, nous avons constaté que les deux versions différentes produisaient des flux de travail très différents. Avec la version ablatée, les participants n'ont écrit des principes que lorsque le robot s'écartait un peu de leurs attentes, ce qui a entraîné au total beaucoup moins de principes écrits. En revanche, dans la condition ConstitutionMaker, les participants se sont engagés dans un flux de travail dans lequel ils ont analysé les réponses de plusieurs candidats et ont félicité leur réponse préférée, ce qui a conduit à davantage de principes dans l'ensemble. Ces différents flux de travail ont également généré des défis spécifiques aux conditions dans la rédaction des principes. Avec la version ablation, les utilisateurs sous-spécifiaient souvent les principes ; alors que, avec ConstitutionMaker, les utilisateurs ont parfois trop précisé leurs principes, même si cela s'est produit moins souvent. Enfin, les deux conditions conduisaient parfois à un problème où deux ou plusieurs principes étaient en conflit les uns avec les autres.

Dans l'ensemble, avec ConstitutionMaker, les participants ont estimé que leurs principes pourraient mieux guider le chatbot, qu'ils pourraient plus facilement convertir leurs commentaires en principes et qu'ils pourraient rédiger des principes plus efficacement, avec moins de demande mentale. ConstitutionMaker a également soutenu leur processus de réflexion lors de la rédaction des principes en aidant les participants 1) à reconnaître les façons dont les réponses pourraient être meilleures grâce aux réponses multiples des candidats, 2) à convertir leur intuition sur les raisons pour lesquelles ils ont aimé ou n'aimaient pas une réponse en commentaires verbaux, et 3) à formuler ces commentaires. comme un principe spécifique.

Collectivement, ce travail apporte les contributions suivantes :

• Une classification des types de principes que les participants souhaitent écrire pour orienter le comportement des chatbots.

• La conception de ConstitutionMaker, un outil interactif permettant de convertir les retours des utilisateurs en principes pour orienter le comportement des chatbots. ConstitutionMaker introduit trois nouvelles fonctionnalités d'élicitation de principes : félicitations, critique et réécriture, qui génèrent chacune un principe qui est inséré dans l'invite du chatbot.

• Résultats d'une étude auprès de 14 utilisateurs, dans laquelle les participants ont estimé que ConstitutionMaker leur avait permis de 1) rédiger des principes qui guident mieux le chatbot, 2) convertir plus facilement leurs commentaires en principes et 3) rédiger des principes plus efficacement, avec moins de demande mentale. .

• Nous décrivons comment ConstitutionMaker a soutenu les processus de réflexion des participants, notamment en les aidant à identifier des moyens d'améliorer leurs réponses, à convertir leur intuition en feedback en langage naturel et à formuler leurs feedback sous forme de principes spécifiques. Nous décrivons également comment les différents flux de travail activés par les deux systèmes ont conduit à des défis différents dans la rédaction des principes et aux limites des principes.

Ensemble, ces résultats éclairent les futurs outils permettant d'affiner de manière interactive les résultats du LLM via une critique interactive.

[1] https://chat.openai.com/

[2] https://bard.google.com