O poder das estruturas Multi-LLM na superação dos desafios da análise de sentimento

Tabela de links

Resumo e introdução

Trabalho relatado

Negociação LLM para Análise de Sentimento

Experimentos

Estudos de Ablação

Conclusão e Referências

2. Trabalho relacionado

2.1 Análise de Sentimento

Análise de sentimento (Pang e Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang e Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Zhang et al., 2018) é uma tarefa que visa determinar a polaridade geral do sentimento (por exemplo, positivo, negativo, neutro) de um determinado texto. Trabalhos anteriores muitas vezes formalizaram a tarefa como um problema de duas etapas: (1) extrair recursos usando RNNs (Socher et al., 2013; Qian et al., 2016; Peled e Reichart, 2017; Wang et al., 2016b; Guggilla et al., 2016b; Guggilla et al., 2016b; Guggilla et al., 2016b; al., 2016; Vo e Zhang, 2015), CNNs (Kalchbrenner et al., 2014; Wang et al., 2016a; Guan et al., 2016; Yu e Jiang, 2016; Mishra et al., 2017), pré-treinados. modelos de linguagem (Lin et al., 2021; Sun et al., 2021; Phan e Ogunbona, 2020; Dai et al., 2021), etc; e (2) alimentar os recursos extraídos em um classificador para obter um rótulo sentimental pré-definido.

Nos últimos anos, a aprendizagem in-context (ICL) alcançou grande sucesso e mudou o paradigma das tarefas de PNL. Muitos trabalhos adaptam a ICL à tarefa de análise de sentimento: Qin et al. (2023b); Sun et al. (2023a) propõem uma série de estratégias para melhorar o desempenho do ChatGPT na tarefa de análise de sentimento; Fei et al. (2023) propõem uma estrutura de raciocínio de três saltos, que induz o aspecto implícito, a opinião e, finalmente, a polaridade do sentimento para a tarefa de análise de sentimento implícita;ƒ Zhang et al. (2023d) descobrem que os LLMs podem alcançar um desempenho satisfatório na tarefa de classificação de sentimento binário, mas apresentam desempenho inferior à linha de base supervisionada em tarefas mais complexas (por exemplo, análise de sentimento refinada) que requerem compreensão mais profunda ou informações de sentimento estruturadas.

2.2 Grandes Modelos de Linguagem e Aprendizagem In-Contextual

Grandes modelos de linguagem (LLMs) (Wang et al., 2022a; Zhang et al., 2023b) são modelos treinados em massivos corpora de texto não rotulados com técnicas de aprendizagem auto-supervisionadas. Com base na arquitetura do modelo, os LLMs podem ser categorizados em três tipos: (1) modelos somente codificador, que contêm um codificador de texto e geram as representações de entrada, como BERT (Devlin et al., 2018) e suas variantes (Lan et al., 2018) e suas variantes (Lan et al., 2018) e suas variantes (Lan et al., 2018). Liu et al., 2020; Sun et al., 2020; (2) modelos somente decodificador, que possuem um decodificador e geram texto condicionado ao texto de entrada, como modelos da série GPT (Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al., 2019; Radford et al., 2020; ., 2019; , 2023; e (3) modelos codificador-decodificador, que possuem um par codificador-decodificador e geram texto condicionado à representação de entrada, como T5 (Raffel et al., 2020) e suas variantes (Lewis et al., 2019; Xue et al., 2019; Xue et al., 2020). al., 2020).

Começando com GPT-3 (Brown et al., 2020), os LLMs mostraram capacidades emergentes (Wei et al., 2022a) e completaram tarefas de PNL por meio de aprendizagem incontexto (ICL), onde os LLMs geram texto intensivo de rótulos condicionado a alguns exemplos anotados sem atualizações de gradiente. Muitos estudos na literatura propõem estratégias para melhorar o desempenho da ICL em tarefas de PNL. Li e Liang (2021); Chevalier et al. (2023); Mu et al. (2023) otimizam prompts no espaço contínuo. Liu et al. (2021a); Wan et al. (2023); Zhang et al. (2023a) pesquisam no conjunto de trens para recuperar k vizinhos mais próximos de uma entrada de teste como demonstrações. Zhang et al. (2022b); Sun et al. (2023b); Yao et al. (2023) decompõem uma tarefa em algumas subtarefas e resolvem-nas passo a passo até a resposta final condicionada às cadeias de raciocínio geradas pelo LLM. Sun et al. (2023a); Wang et al. (2023) propõem verificar os resultados dos LLMs conduzindo uma nova rodada de estímulos; Liu et al. (2021b); Feng et al. (2023) usam LLMs para gerar declarações de conhecimento em linguagem natural e integrar declarações de conhecimento externo em prompts.

2.3 A colaboração LLM

A colaboração LLM envolve vários LLMs trabalhando juntos para resolver uma determinada tarefa. Especificamente, a tarefa é decomposta em várias tarefas intermediárias, e cada LLM é atribuído para completar uma tarefa intermediária de forma independente. A tarefa dada é resolvida após integrar ou resumir esses resultados intermediários. A abordagem de colaboração LLM pode explorar as capacidades dos LLMs, melhorar o desempenho em tarefas complexas e permitir a construção de sistemas complicados. Shinn et al. (2023); Sun et al. (2023a); Gero et al. (2023); Wang e Li (2023); Chen et al. (2023b) constroem tarefas auxiliares (por exemplo, tarefas de reflexão, verificação) e revisam a resposta à tarefa original referindo-se ao resultado da tarefa auxiliar. Talebirad e Nadiri (2023); Hong et al. (2023); Qian et al. (2023) atribuem perfis de caracterização (por exemplo, gerente de projeto, engenheiro de software) aos LLMs e obtêm aumentos de desempenho em tarefas específicas de personagens por meio de animações de comportamento. Li et al. (2022); Zeng et al. (2022a); Chen et al. (2023a); Du et al. (2023); Liang et al. (2023) utilizam uma estratégia de debate em que vários LLMs diferentes propõem as suas próprias respostas para a tarefa dada e debatem durante vários turnos até obter uma resposta final comum. Além disso, Shen et al. (2023); Gao et al. (2023); Ge et al. (2023); Zhang et al. (2023c); Hao et al. (2023) empregam um LLM como controlador de tarefa, que elabora um plano para a tarefa dada, seleciona modelos especialistas para implementação e resume as respostas das tarefas intermediárias planejadas. Outros LLMs atuam como executores de tarefas, completando tarefas intermediárias em suas áreas de especialização.