Criticar interactivamente grandes modelos de lenguaje convirtiendo la retroalimentación en principios

Tabla de enlaces

Resumen e introducción

Trabajo relacionado

Estudio Formativo

Creador de constituciones

Implementación

Estudio de usuario

Recomendaciones

Discusión

Conclusión y referencias

ABSTRACTO

Las indicaciones del modelo de lenguaje grande (LLM) son un nuevo enfoque prometedor para que los usuarios creen y personalicen sus propios chatbots. Sin embargo, los métodos actuales para dirigir los resultados de un chatbot, como la ingeniería de mensajes y el ajuste fino, no ayudan a los usuarios a convertir su retroalimentación natural sobre los resultados del modelo en cambios en el mensaje o modelo. En este trabajo, exploramos cómo permitir a los usuarios refinar interactivamente los resultados del modelo a través de sus comentarios, ayudándolos a convertir sus comentarios en un conjunto de principios (es decir, una constitución) que dictan el comportamiento del modelo. A partir de un estudio formativo, (1) descubrimos que los usuarios necesitaban ayuda para convertir sus comentarios en principios para el chatbot y (2) clasificamos los diferentes tipos de principios deseados por los usuarios. Inspirándonos en estos hallazgos, desarrollamos ConstitutionMaker, una herramienta interactiva para convertir los comentarios de los usuarios en principios, para dirigir los chatbots basados en LLM. Con ConstitutionMaker, los usuarios pueden proporcionar comentarios positivos o negativos en lenguaje natural, seleccionar comentarios generados automáticamente o reescribir la respuesta del chatbot; Cada modo de retroalimentación genera automáticamente un principio que se inserta en el mensaje del chatbot. En un estudio de usuarios con 14 participantes, comparamos ConstitutionMaker con una versión eliminada, donde los usuarios escriben sus propios principios. Con ConstitutionMaker, los participantes sintieron que sus principios podían guiar mejor el chatbot, que podían convertir más fácilmente sus comentarios en principios y que podían escribir principios de manera más eficiente, con menos exigencia mental. ConstitutionMaker ayudó a los usuarios a identificar formas de mejorar el chatbot, formular sus respuestas intuitivas al modelo en comentarios y convertir estos comentarios en principios específicos y claros. En conjunto, estos hallazgos sirven de base para futuras herramientas que respalden la crítica interactiva de los resultados del LLM.

CONCEPTOS DE CCS

• Computación centrada en el ser humano → Estudios empíricos en HCI; Sistemas y herramientas interactivos; • Metodologías informáticas → Aprendizaje automático.

PALABRAS CLAVE

Grandes modelos de lenguaje, IA conversacional, crítica interactiva

1. INTRODUCCIÓN

Los modelos de lenguaje grande (LLM) se pueden aplicar a una amplia gama de problemas, desde asistencia en escritura creativa [8, 26, 36, 44] hasta síntesis de código [13, 14, 20]. Actualmente, los usuarios personalizan estos modelos para tareas específicas a través de estrategias como ingeniería rápida [4], ajuste eficiente de parámetros [19] y ajuste fino [10].

Además de estos métodos comunes para personalizar los LLM, trabajos recientes han demostrado que a los usuarios también les gustaría dirigir directamente estos modelos con retroalimentación en lenguaje natural (Figura 2A). Más específicamente, algunos usuarios quieren poder criticar los resultados del modelo para especificar en qué deberían ser diferentes [5]. A esta estrategia de personalización la llamamos crítica interactiva.

Al interactuar con un chatbot como ChatGPT[1] [28] o Bard[2], la crítica interactiva a menudo alterará las respuestas posteriores del chatbot para ajustarse a la crítica. Sin embargo, estos cambios no son persistentes: los usuarios deben repetir estas instrucciones durante cada nueva interacción con el modelo. Los usuarios también deben ser conscientes de que en realidad pueden alterar el comportamiento del modelo de esta manera y deben formular su crítica de una manera que probablemente conduzca a cambios en las respuestas futuras del modelo. Dado el valor potencial de este modo de personalización, existe la oportunidad de brindar soporte de primera clase para capacitar a los usuarios para personalizar los LLM a través de la crítica del lenguaje natural.

En el contexto de la personalización de modelos, la IA constitucional [1] ofrece una estrategia de personalización específica que involucra principios del lenguaje natural. Se puede considerar un principio como una regla que debe seguir el modelo de lenguaje, como por ejemplo: "No crear contenido dañino, sexista o racista". Dado un conjunto de principios, un sistema de IA constitucional 1) reescribirá las respuestas del modelo que violan los principios y 2) afinará el modelo con las respuestas reescritas. Volviendo a la noción de crítica interactiva, uno puede imaginar derivar principios constitucionales de IA nuevos o refinados a partir de las críticas de los usuarios. Estos principios derivados podrían luego usarse para alterar el mensaje de un LLM (Figura 2B) o para generar nuevos datos de entrenamiento, como en el trabajo original de IA constitucional.

Si bien este trabajo reciente ha demostrado que los principios pueden ser una estrategia explicable y eficaz para personalizar un LLM, se sabe poco sobre los procesos humanos de redacción de estos principios a partir de nuestros comentarios. A partir de un estudio formativo, descubrimos que existen muchos desafíos cognitivos involucrados en convertir las críticas en principios. Para abordar estos desafíos, presentamos ConstitutionMaker, un sistema de crítica interactivo que transforma las críticas del modelo de los usuarios en principios que refinan el comportamiento del modelo. ConstitutionMaker genera tres respuestas de candidatos en cada turno de conversación. Además de estas tres respuestas candidatas, ConstitutionMaker proporciona tres funciones de obtención de principios: 1) felicitaciones, donde los usuarios pueden proporcionar comentarios positivos por una respuesta, 2) crítica, donde los usuarios pueden proporcionar comentarios negativos por una respuesta, y 3) reescritura, donde los usuarios pueden reescribir una respuesta determinada. A partir de estos comentarios, ConstitutionMaker infiere un principio, que se incorpora en el mensaje del chatbot.

Para evaluar qué tan bien ConstitutionMaker ayuda a los usuarios a escribir principios, realizamos un estudio de usuarios entre sujetos con 14 profesionales de la industria familiarizados con las indicaciones. Los participantes utilizaron ConstitutionMaker y una versión eliminada que carecía de las respuestas de múltiples candidatos y de las características de obtención de principios. En ambos casos, su objetivo era escribir principios para personalizar dos chatbots. Del estudio descubrimos que las dos versiones diferentes producían flujos de trabajo muy diferentes. Con la versión eliminada, los participantes solo escribieron principios cuando el robot se desvió bastante de sus expectativas, lo que resultó en que se escribieran significativamente menos principios en total. Por el contrario, en la condición ConstitutionMaker, los participantes participaron en un flujo de trabajo en el que escanearon las múltiples respuestas de los candidatos y felicitaron su respuesta favorita, lo que condujo a más principios en general. Estos diferentes flujos de trabajo también generaron desafíos específicos de cada condición al escribir los principios. Con la versión eliminada, los usuarios a menudo no especificaban los principios; mientras que, con ConstitutionMaker, los usuarios a veces especificaban demasiado sus principios, aunque esto ocurría con menos frecuencia. Por último, ambas condiciones a veces conducían a una cuestión en la que dos o más principios estaban en conflicto entre sí.

En general, con ConstitutionMaker, los participantes sintieron que sus principios podían guiar mejor el chatbot, que podían convertir más fácilmente sus comentarios en principios y que podían escribir principios de manera más eficiente, con menos exigencia mental. ConstitutionMaker también apoyó sus procesos de pensamiento mientras escribían principios ayudando a los participantes a 1) reconocer formas en que las respuestas podrían ser mejores a través de las múltiples respuestas de los candidatos, 2) convertir su intuición sobre por qué les gustó o no una respuesta en retroalimentación verbal, y 3) expresar esta retroalimentación como principio específico.

En conjunto, este trabajo hace las siguientes contribuciones:

• Una clasificación de los tipos de principios que los participantes quieren escribir para dirigir el comportamiento del chatbot.

• El diseño de ConstitutionMaker, una herramienta interactiva para convertir los comentarios de los usuarios en principios para orientar el comportamiento del chatbot. ConstitutionMaker presenta tres características novedosas de obtención de principios: felicitaciones, críticas y reescritura, cada una de las cuales genera un principio que se inserta en el mensaje del chatbot.

• Hallazgos de un estudio de usuarios con 14 participantes, donde los participantes sintieron que ConstitutionMaker les permitió 1) escribir principios que guían mejor el chatbot, 2) convertir sus comentarios en principios más fácilmente y 3) escribir principios de manera más eficiente, con menos exigencia mental. .

• Describimos cómo ConstitutionMaker apoyó los procesos de pensamiento de los participantes, incluso ayudándolos a identificar formas de mejorar las respuestas, convertir su intuición en comentarios en lenguaje natural y expresar sus comentarios como principios específicos. También describimos cómo los diferentes flujos de trabajo habilitados por los dos sistemas condujeron a diferentes desafíos al escribir principios y los límites de los principios.

En conjunto, estos hallazgos informan herramientas futuras para perfeccionar interactivamente los resultados del LLM a través de una crítica interactiva.

[1] https://chat.openai.com/

[2] https://bard.google.com