Crítica interativa de grandes modelos de linguagem, convertendo feedback em princípios

Tabela de links

Resumo e introdução

Trabalho relatado

Estudo Formativo

Criador de Constituição

Implementação

Estudo do usuário

Descobertas

Discussão

Conclusão e Referências

ABSTRATO

A solicitação de modelo de linguagem grande (LLM) é uma nova abordagem promissora para os usuários criarem e personalizarem seus próprios chatbots. No entanto, os métodos atuais para orientar os resultados de um chatbot, como engenharia de prompt e ajuste fino, não ajudam os usuários a converter seu feedback natural sobre os resultados do modelo em mudanças no prompt ou no modelo. Neste trabalho, exploramos como permitir que os usuários refinem interativamente os resultados do modelo através de seu feedback, ajudando-os a converter seu feedback em um conjunto de princípios (ou seja, uma constituição) que ditam o comportamento do modelo. A partir de um estudo formativo, (1) descobrimos que os usuários precisavam de apoio para converter seu feedback em princípios para o chatbot e (2) classificamos os diferentes tipos de princípios desejados pelos usuários. Inspirados por essas descobertas, desenvolvemos o ConstitutionMaker, uma ferramenta interativa para converter o feedback do usuário em princípios, para orientar chatbots baseados em LLM. Com o ConstitutionMaker, os usuários podem fornecer feedback positivo ou negativo em linguagem natural, selecionar feedback gerado automaticamente ou reescrever a resposta do chatbot; cada modo de feedback gera automaticamente um princípio que é inserido no prompt do chatbot. Num estudo de utilizadores com 14 participantes, comparamos o ConstitutionMaker a uma versão ablada, onde os utilizadores escrevem os seus próprios princípios. Com o ConstitutionMaker, os participantes sentiram que os seus princípios poderiam orientar melhor o chatbot, que poderiam converter mais facilmente o seu feedback em princípios e que poderiam escrever princípios de forma mais eficiente, com menos exigência mental. O ConstitutionMaker ajudou os usuários a identificar maneiras de melhorar o chatbot, formular suas respostas intuitivas ao modelo em feedback e converter esse feedback em princípios específicos e claros. Juntas, essas descobertas informam ferramentas futuras que apoiam a crítica interativa dos resultados do LLM.

CONCEITOS DE CCS

• Computação centrada no ser humano → Estudos empíricos em IHC; Sistemas e ferramentas interativas; • Metodologias computacionais → Aprendizado de máquina.

PALAVRAS-CHAVE

Grandes modelos de linguagem, IA conversacional, crítica interativa

1. INTRODUÇÃO

Grandes modelos de linguagem (LLMs) podem ser aplicados a uma ampla gama de problemas, desde assistência à escrita criativa [8, 26, 36, 44] até síntese de código [13, 14, 20]. Atualmente, os usuários personalizam esses modelos para tarefas específicas por meio de estratégias como engenharia imediata [4], ajuste com eficiência de parâmetros [19] e ajuste fino [10].

Além desses métodos comuns para personalizar LLMs, trabalhos recentes mostraram que os usuários também gostariam de orientar diretamente esses modelos com feedback em linguagem natural (Figura 2A). Mais especificamente, alguns usuários desejam poder criticar os resultados do modelo para especificar como eles devem ser diferentes [5]. Chamamos essa estratégia de personalização de crítica interativa.

Ao interagir com um chatbot como ChatGPT[1] [28] ou Bard[2], a crítica interativa frequentemente alterará as respostas subsequentes do chatbot para se adequar à crítica. Porém, essas mudanças não são persistentes: os usuários devem repetir essas instruções a cada nova interação com o modelo. Os utilizadores também devem estar conscientes de que podem realmente alterar o comportamento do modelo desta forma e devem formular a sua crítica de uma forma que possa levar a mudanças nas respostas futuras do modelo. Dado o valor potencial deste modo de personalização, há uma oportunidade de fornecer suporte de primeira classe para capacitar os usuários a personalizar LLMs através da crítica em linguagem natural.

No contexto de customização de modelos, a IA Constitucional [1] oferece uma estratégia de customização específica envolvendo princípios de linguagem natural. Um princípio pode ser pensado como uma regra que o modelo de linguagem deve seguir, como “Não crie conteúdo prejudicial, sexista ou racista”. Dado um conjunto de princípios, um sistema de IA Constitucional irá 1) reescrever as respostas do modelo que violam os princípios e 2) ajustar o modelo com as respostas reescritas. Voltando à noção de crítica interativa, pode-se imaginar derivar princípios constitucionais de IA novos ou refinados a partir das críticas dos usuários. Esses princípios derivados poderiam então ser usados para alterar o prompt de um LLM (Figura 2B) ou para gerar novos dados de treinamento, como no trabalho original da IA Constitucional.

Embora este trabalho recente tenha mostrado que os princípios podem ser uma estratégia explicável e eficaz para personalizar um LLM, pouco se sabe sobre os processos humanos de escrita destes princípios a partir do nosso feedback. A partir de um estudo formativo, descobrimos que existem muitos desafios cognitivos envolvidos na conversão de críticas em princípios. Para enfrentar esses desafios, apresentamos o ConstitutionMaker, um sistema de crítica interativo que transforma as críticas dos usuários ao modelo em princípios que refinam o comportamento do modelo. ConstitutionMaker gera três respostas de candidatos em cada turno de conversação. Além dessas três respostas candidatas, o ConstitutionMaker oferece três recursos de elicitação de princípios: 1) elogios, onde os usuários podem fornecer feedback positivo para uma resposta, 2) crítica, onde os usuários podem fornecer feedback negativo para uma resposta, e 3) reescrever, onde os usuários podem reescrever uma determinada resposta. A partir deste feedback, o ConstitutionMaker infere um princípio, que é incorporado no prompt do chatbot.

Para avaliar até que ponto o ConstitutionMaker ajuda os usuários a escrever princípios, conduzimos um estudo de usuários dentro dos assuntos com 14 profissionais do setor familiarizados com sugestões. Os participantes usaram o ConstitutionMaker e uma versão eliminada que não possuía as respostas de múltiplos candidatos e os recursos de elicitação de princípios. Em ambos os casos, o objetivo era escrever princípios para personalizar dois chatbots. A partir do estudo, descobrimos que as duas versões diferentes geraram fluxos de trabalho muito diferentes. Com a versão eliminada, os participantes só escreveram princípios quando o bot se desviou um pouco de suas expectativas, resultando em um número significativamente menor de princípios escritos, no total. Em contraste, na condição ConstitutionMaker, os participantes envolveram-se num fluxo de trabalho onde digitalizaram as múltiplas respostas dos candidatos e elogiaram a sua resposta favorita, levando a mais princípios em geral. Esses diferentes fluxos de trabalho também geraram desafios específicos de condições na redação de princípios. Com a versão ablada, os usuários muitas vezes subespecificavam os princípios; enquanto que, com o ConstitutionMaker, os usuários às vezes especificavam demais seus princípios, embora isso ocorresse com menos frequência. Finalmente, ambas as condições conduziriam por vezes a uma questão em que dois ou mais princípios entrassem em conflito entre si.

No geral, com o ConstitutionMaker, os participantes sentiram que os seus princípios poderiam orientar melhor o chatbot, que poderiam converter mais facilmente o seu feedback em princípios e que poderiam escrever princípios de forma mais eficiente, com menos exigência mental. ConstitutionMaker também apoiou seus processos de pensamento enquanto escreviam princípios, ajudando os participantes a 1) reconhecer maneiras pelas quais as respostas poderiam ser melhores por meio das respostas de vários candidatos, 2) converter sua intuição sobre por que gostaram ou não de uma resposta em feedback verbal e 3) formular esse feedback como um princípio específico.

Coletivamente, este trabalho traz as seguintes contribuições:

• Uma classificação dos tipos de princípios que os participantes desejam escrever para orientar o comportamento do chatbot.

• O design do ConstitutionMaker, uma ferramenta interativa para converter o feedback do usuário em princípios para orientar o comportamento do chatbot. O ConstitutionMaker apresenta três novos recursos de elicitação de princípios: elogios, crítica e reescrita, cada um gerando um princípio que é inserido no prompt do chatbot.

• Resultados de um estudo de usuários com 14 participantes, onde os participantes sentiram que o ConstitutionMaker lhes permitiu 1) escrever princípios que orientam melhor o chatbot, 2) converter seu feedback em princípios com mais facilidade e 3) escrever princípios de forma mais eficiente, com menos demanda mental .

• Descrevemos como o ConstitutionMaker apoiou os processos de pensamento dos participantes, inclusive ajudando-os a identificar formas de melhorar as respostas, converter a sua intuição em feedback em linguagem natural e formular o seu feedback como princípios específicos. Também descrevemos como os diferentes fluxos de trabalho possibilitados pelos dois sistemas levaram a diferentes desafios na redação de princípios e nos limites dos princípios.

Juntas, essas descobertas informam ferramentas futuras para refinar interativamente os resultados do LLM por meio da crítica interativa.

[1] https://chat.openai.com/

[2] https://bard.google.com