Autores:  (1) Xiaofei Sun, Universidade de Zhejiang;  (2) Xiaoya Li, Shannon.AI e Bytedance;  (3) Shengyu Zhang, Universidade de Zhejiang;  (4) Shuhe Wang, Universidade de Pequim;  (5) Fei Wu, Universidade de Zhejiang;  (6) Jiwei Li, Universidade de Zhejiang;  (7) Tianwei Zhang, Universidade Tecnológica de Nanyang;  (8) Guoyin Wang, Shannon.AI e Bytedance.  Tabela de links   Resumo e introdução   Trabalho relatado   Negociação LLM para Análise de Sentimento   Experimentos   Estudos de Ablação   Conclusão e Referências  3 Negociação LLM para Análise de Sentimento  3.1 Visão geral  Nesta seção, detalhamos a estrutura de negociação multi-LLM para análise de sentimento: Dois LLMs atuam como gerador e discriminador de respostas. Referimo-nos à interação entre o gerador e o discriminador como uma negociação. A negociação será repetida até que um consenso seja alcançado ou o número máximo de turnos de negociação seja excedido. As ilustrações são mostradas nas Figuras 1 e 2.  3.2 Gerador infundido de raciocínio  O gerador é sustentado por um grande modelo de linguagem. Perguntamos ao gerador de respostas baseado no paradigma ICL por meio de prompts, visando gerar uma cadeia de raciocínio passo a passo e uma decisão em relação à polaridade de sentimento da entrada do teste.  Os prompts são compostos de três elementos: uma descrição da tarefa, demonstrações e uma entrada de teste. A descrição da tarefa é uma descrição da tarefa em linguagem natural (por exemplo, "Por favor, determine o sentimento geral da entrada do teste."); a entrada de teste é a entrada textual no conjunto de teste (por exemplo, “O céu está azul.”); as demonstrações são do conjunto de trens da tarefa. Cada um consiste em três elementos: entrada, cadeias de raciocínio e decisão sentimental.  Para cada entrada de teste, primeiro recuperamos K vizinhos mais próximos (entrada, decisão de sentimento) do conjunto de trens como demonstrações. Em seguida, transformamos as demonstrações em trigêmeos (entrada, processo de raciocínio, decisão de sentimento), solicitando ao gerador que produza uma cadeia de raciocínio. Após concatenar a descrição da tarefa, as demonstrações e a entrada do teste, encaminhamos o prompt ao gerador, que responderá com uma cadeia de raciocínio passo a passo e uma decisão sentimental.  3.3 Discriminador derivado de explicação  O discriminador é apoiado por outro LLM. Após finalizar o processo de geração de respostas, o discriminador de respostas é utilizado para julgar se a decisão tomada pelo gerador está correta e fornecer uma explicação razoável.  Para atingir esse objetivo, primeiro construímos prompts para o discriminador de respostas. O prompt é composto de quatro elementos: uma descrição da tarefa, demonstrações, uma entrada de teste e a resposta do gerador de respostas. A descrição da tarefa é um trecho de texto que descreve a tarefa em linguagem natural (por exemplo, "Por favor, determine se a decisão está correta."). Cada demonstração é composta por seis elementos: (texto de entrada, cadeia de raciocínio, decisão de sentimento, atitude do discriminador, explicações do discriminador, decisão do discriminador) e construída solicitando ao discriminador de resposta que forneça explicações de por que a decisão de sentimento é correta para o texto de entrada.  Em seguida, perguntamos ao discriminador com o prompt de construção. O discriminador de resposta responderá com uma sequência de texto contendo uma atitude (ou seja, sim, não) que indica se o discriminador concorda com o gerador, explicações que explicam por que o discriminador concorda/discorda com o gerador e uma decisão do discriminador que determina a sentimento da entrada do teste.    Existem duas razões para usar dois LLMs diferentes separadamente para o gerador e o discriminador, em vez de usar um único LLM para atuar como duas funções: (1) Se um LLM cometer um erro como gerador devido ao raciocínio incorreto, é mais provável que também cometerá o mesmo erro que o discriminador, uma vez que o gerador e o discriminador do mesmo modelo provavelmente apresentarão raciocínios semelhantes; (2) ao utilizar dois modelos separados, podemos tirar vantagem das capacidades complementares dos dois modelos. Por que dois LLMs, mas não um?  3.4 Negociação com inversão de papéis  Depois que dois LLMs terminam com uma negociação, pedimos-lhes que invertam os papéis e iniciem uma nova negociação, onde o segundo LLM atua como gerador e o primeiro LLM atua como discriminador. Referimo-nos à interação de dois LLMs com papéis invertidos como negociação com inversão de papéis. Da mesma forma, a negociação invertida é encerrada até que um consenso seja alcançado ou o número máximo de turnos de negociação seja excedido.  Quando ambas as negociações resultam num acordo e as suas decisões são as mesmas, podemos escolher qualquer uma das decisões como a final, uma vez que são as mesmas. Se uma das negociações não conseguir chegar a um consenso enquanto a outra chega a uma decisão, escolhemos a decisão da negociação que alcançou o consenso como decisão final. No entanto, se ambas as negociações chegarem a um consenso, mas as suas decisões não estiverem alinhadas, necessitaremos da assistência de um Modelo de Linguagem (LLM) adicional, como será explicado mais detalhadamente abaixo."    Se a decisão das duas negociações não estiver alinhada, introduzimos um terceiro LLM e conduzimos a negociação e a negociação invertida com cada um dos dois LLMs mencionados acima. Posteriormente, obteremos 6 resultados de negociação e votaremos nestes resultados: a decisão que aparece com mais frequência é tomada como a polaridade de sentimento do teste de entrada. Apresentando um terceiro LLM  Este artigo está   sob licença CC 4.0. disponível no arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este áudio é produzido no idioma original da história!

Aproveitando dois LLMs para melhores decisões de análise de sentimento

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Modelo Bitcoin UTXO, alimentando um ecossistema único

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Modelo Bitcoin UTXO, alimentando um ecossistema único

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

Digital Nomads Ouçam: O que você precisa saber sobre o novo visto DTV da Tailândia

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps