paint-brush
O poder das estruturas Multi-LLM na superação dos desafios da análise de sentimentopor@textmodels
288 leituras

O poder das estruturas Multi-LLM na superação dos desafios da análise de sentimento

Muito longo; Para ler

Avanços recentes na análise de sentimento utilizam colaboração multi-LLM, onde um modelo gerador-discriminador refina iterativamente as decisões. Esta abordagem aumenta a precisão ao abordar desafios linguísticos complexos, superando os métodos tradicionais de ICL e as linhas de base supervisionadas.
featured image - O poder das estruturas Multi-LLM na superação dos desafios da análise de sentimento
Writings, Papers and Blogs on Text Models HackerNoon profile picture
0-item

Autores:

(1) Xiaofei Sun, Universidade de Zhejiang;

(2) Xiaoya Li, Shannon.AI e Bytedance;

(3) Shengyu Zhang, Universidade de Zhejiang;

(4) Shuhe Wang, Universidade de Pequim;

(5) Fei Wu, Universidade de Zhejiang;

(6) Jiwei Li, Universidade de Zhejiang;

(7) Tianwei Zhang, Universidade Tecnológica de Nanyang;

(8) Guoyin Wang, Shannon.AI e Bytedance.

Tabela de links

Resumo e introdução

Trabalho relatado

Negociação LLM para Análise de Sentimento

Experimentos

Estudos de Ablação

Conclusão e Referências

2. Trabalho relacionado

2.1 Análise de Sentimento

Análise de sentimento (Pang e Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang e Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Zhang et al., 2018) é uma tarefa que visa determinar a polaridade geral do sentimento (por exemplo, positivo, negativo, neutro) de um determinado texto. Trabalhos anteriores muitas vezes formalizaram a tarefa como um problema de duas etapas: (1) extrair recursos usando RNNs (Socher et al., 2013; Qian et al., 2016; Peled e Reichart, 2017; Wang et al., 2016b; Guggilla et al., 2016b; Guggilla et al., 2016b; Guggilla et al., 2016b; al., 2016; Vo e Zhang, 2015), CNNs (Kalchbrenner et al., 2014; Wang et al., 2016a; Guan et al., 2016; Yu e Jiang, 2016; Mishra et al., 2017), pré-treinados. modelos de linguagem (Lin et al., 2021; Sun et al., 2021; Phan e Ogunbona, 2020; Dai et al., 2021), etc; e (2) alimentar os recursos extraídos em um classificador para obter um rótulo sentimental pré-definido.


Nos últimos anos, a aprendizagem in-context (ICL) alcançou grande sucesso e mudou o paradigma das tarefas de PNL. Muitos trabalhos adaptam a ICL à tarefa de análise de sentimento: Qin et al. (2023b); Sun et al. (2023a) propõem uma série de estratégias para melhorar o desempenho do ChatGPT na tarefa de análise de sentimento; Fei et al. (2023) propõem uma estrutura de raciocínio de três saltos, que induz o aspecto implícito, a opinião e, finalmente, a polaridade do sentimento para a tarefa de análise de sentimento implícita;ƒ Zhang et al. (2023d) descobrem que os LLMs podem alcançar um desempenho satisfatório na tarefa de classificação de sentimento binário, mas apresentam desempenho inferior à linha de base supervisionada em tarefas mais complexas (por exemplo, análise de sentimento refinada) que requerem compreensão mais profunda ou informações de sentimento estruturadas.

2.2 Grandes Modelos de Linguagem e Aprendizagem In-Contextual

Grandes modelos de linguagem (LLMs) (Wang et al., 2022a; Zhang et al., 2023b) são modelos treinados em massivos corpora de texto não rotulados com técnicas de aprendizagem auto-supervisionadas. Com base na arquitetura do modelo, os LLMs podem ser categorizados em três tipos: (1) modelos somente codificador, que contêm um codificador de texto e geram as representações de entrada, como BERT (Devlin et al., 2018) e suas variantes (Lan et al., 2018) e suas variantes (Lan et al., 2018) e suas variantes (Lan et al., 2018). Liu et al., 2020; Sun et al., 2020; (2) modelos somente decodificador, que possuem um decodificador e geram texto condicionado ao texto de entrada, como modelos da série GPT (Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al., 2019; Radford et al., 2020; ., 2019; , 2023; e (3) modelos codificador-decodificador, que possuem um par codificador-decodificador e geram texto condicionado à representação de entrada, como T5 (Raffel et al., 2020) e suas variantes (Lewis et al., 2019; Xue et al., 2019; Xue et al., 2020). al., 2020).


Figura 2: Ilustração do procedimento de negociação. A demonstração da esquerda mostra um caso em que um acordo sobre o sentimento positivo é alcançado após turnos, enquanto a demonstração da direita mostra um caso em que dois LLMs não conseguem chegar a um acordo em três turnos. Especificamente, um prompt do usuário inclui quatro elementos: uma descrição da tarefa, demonstrações de poucos disparos (abreviadamente), uma entrada e uma resposta do último turno (se aplicável). As respostas do gerador ou discriminador começam com declarações de que a entrada contém sentimentos positivos ou negativos, seguidas de justificativas.

Começando com GPT-3 (Brown et al., 2020), os LLMs mostraram capacidades emergentes (Wei et al., 2022a) e completaram tarefas de PNL por meio de aprendizagem incontexto (ICL), onde os LLMs geram texto intensivo de rótulos condicionado a alguns exemplos anotados sem atualizações de gradiente. Muitos estudos na literatura propõem estratégias para melhorar o desempenho da ICL em tarefas de PNL. Li e Liang (2021); Chevalier et al. (2023); Mu et al. (2023) otimizam prompts no espaço contínuo. Liu et al. (2021a); Wan et al. (2023); Zhang et al. (2023a) pesquisam no conjunto de trens para recuperar k vizinhos mais próximos de uma entrada de teste como demonstrações. Zhang et al. (2022b); Sun et al. (2023b); Yao et al. (2023) decompõem uma tarefa em algumas subtarefas e resolvem-nas passo a passo até a resposta final condicionada às cadeias de raciocínio geradas pelo LLM. Sun et al. (2023a); Wang et al. (2023) propõem verificar os resultados dos LLMs conduzindo uma nova rodada de estímulos; Liu et al. (2021b); Feng et al. (2023) usam LLMs para gerar declarações de conhecimento em linguagem natural e integrar declarações de conhecimento externo em prompts.

2.3 A colaboração LLM

A colaboração LLM envolve vários LLMs trabalhando juntos para resolver uma determinada tarefa. Especificamente, a tarefa é decomposta em várias tarefas intermediárias, e cada LLM é atribuído para completar uma tarefa intermediária de forma independente. A tarefa dada é resolvida após integrar ou resumir esses resultados intermediários. A abordagem de colaboração LLM pode explorar as capacidades dos LLMs, melhorar o desempenho em tarefas complexas e permitir a construção de sistemas complicados. Shinn et al. (2023); Sun et al. (2023a); Gero et al. (2023); Wang e Li (2023); Chen et al. (2023b) constroem tarefas auxiliares (por exemplo, tarefas de reflexão, verificação) e revisam a resposta à tarefa original referindo-se ao resultado da tarefa auxiliar. Talebirad e Nadiri (2023); Hong et al. (2023); Qian et al. (2023) atribuem perfis de caracterização (por exemplo, gerente de projeto, engenheiro de software) aos LLMs e obtêm aumentos de desempenho em tarefas específicas de personagens por meio de animações de comportamento. Li et al. (2022); Zeng et al. (2022a); Chen et al. (2023a); Du et al. (2023); Liang et al. (2023) utilizam uma estratégia de debate em que vários LLMs diferentes propõem as suas próprias respostas para a tarefa dada e debatem durante vários turnos até obter uma resposta final comum. Além disso, Shen et al. (2023); Gao et al. (2023); Ge et al. (2023); Zhang et al. (2023c); Hao et al. (2023) empregam um LLM como controlador de tarefa, que elabora um plano para a tarefa dada, seleciona modelos especialistas para implementação e resume as respostas das tarefas intermediárias planejadas. Outros LLMs atuam como executores de tarefas, completando tarefas intermediárias em suas áreas de especialização.


Este artigo está disponível no arxiv sob licença CC 4.0.