Autores:  (1) Xiaofei Sun, Universidade de Zhejiang;  (2) Xiaoya Li, Shannon.AI e Bytedance;  (3) Shengyu Zhang, Universidade de Zhejiang;  (4) Shuhe Wang, Universidade de Pequim;  (5) Fei Wu, Universidade de Zhejiang;  (6) Jiwei Li, Universidade de Zhejiang;  (7) Tianwei Zhang, Universidade Tecnológica de Nanyang;  (8) Guoyin Wang, Shannon.AI e Bytedance.  Tabela de links   Resumo e introdução   Trabalho relatado   Negociação LLM para Análise de Sentimento   Experimentos   Estudos de Ablação   Conclusão e Referências  2. Trabalho relacionado  2.1 Análise de Sentimento  Análise de sentimento (Pang e Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang e Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Zhang et al., 2018) é uma tarefa que visa determinar a polaridade geral do sentimento (por exemplo, positivo, negativo, neutro) de um determinado texto. Trabalhos anteriores muitas vezes formalizaram a tarefa como um problema de duas etapas: (1) extrair recursos usando RNNs (Socher et al., 2013; Qian et al., 2016; Peled e Reichart, 2017; Wang et al., 2016b; Guggilla et al., 2016b; Guggilla et al., 2016b; Guggilla et al., 2016b; al., 2016; Vo e Zhang, 2015), CNNs (Kalchbrenner et al., 2014; Wang et al., 2016a; Guan et al., 2016; Yu e Jiang, 2016; Mishra et al., 2017), pré-treinados. modelos de linguagem (Lin et al., 2021; Sun et al., 2021; Phan e Ogunbona, 2020; Dai et al., 2021), etc; e (2) alimentar os recursos extraídos em um classificador para obter um rótulo sentimental pré-definido.  Nos últimos anos, a aprendizagem in-context (ICL) alcançou grande sucesso e mudou o paradigma das tarefas de PNL. Muitos trabalhos adaptam a ICL à tarefa de análise de sentimento: Qin et al. (2023b); Sun et al. (2023a) propõem uma série de estratégias para melhorar o desempenho do ChatGPT na tarefa de análise de sentimento; Fei et al. (2023) propõem uma estrutura de raciocínio de três saltos, que induz o aspecto implícito, a opinião e, finalmente, a polaridade do sentimento para a tarefa de análise de sentimento implícita;ƒ Zhang et al. (2023d) descobrem que os LLMs podem alcançar um desempenho satisfatório na tarefa de classificação de sentimento binário, mas apresentam desempenho inferior à linha de base supervisionada em tarefas mais complexas (por exemplo, análise de sentimento refinada) que requerem compreensão mais profunda ou informações de sentimento estruturadas.  2.2 Grandes Modelos de Linguagem e Aprendizagem In-Contextual  Grandes modelos de linguagem (LLMs) (Wang et al., 2022a; Zhang et al., 2023b) são modelos treinados em massivos corpora de texto não rotulados com técnicas de aprendizagem auto-supervisionadas. Com base na arquitetura do modelo, os LLMs podem ser categorizados em três tipos: (1) modelos somente codificador, que contêm um codificador de texto e geram as representações de entrada, como BERT (Devlin et al., 2018) e suas variantes (Lan et al., 2018) e suas variantes (Lan et al., 2018) e suas variantes (Lan et al., 2018). Liu et al., 2020; Sun et al., 2020; (2) modelos somente decodificador, que possuem um decodificador e geram texto condicionado ao texto de entrada, como modelos da série GPT (Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al., 2019; Radford et al., 2020; ., 2019; , 2023; e (3) modelos codificador-decodificador, que possuem um par codificador-decodificador e geram texto condicionado à representação de entrada, como T5 (Raffel et al., 2020) e suas variantes (Lewis et al., 2019; Xue et al., 2019; Xue et al., 2020). al., 2020).   Começando com GPT-3 (Brown et al., 2020), os LLMs mostraram capacidades emergentes (Wei et al., 2022a) e completaram tarefas de PNL por meio de aprendizagem incontexto (ICL), onde os LLMs geram texto intensivo de rótulos condicionado a alguns exemplos anotados sem atualizações de gradiente. Muitos estudos na literatura propõem estratégias para melhorar o desempenho da ICL em tarefas de PNL. Li e Liang (2021); Chevalier et al. (2023); Mu et al. (2023) otimizam prompts no espaço contínuo. Liu et al. (2021a); Wan et al. (2023); Zhang et al. (2023a) pesquisam no conjunto de trens para recuperar k vizinhos mais próximos de uma entrada de teste como demonstrações. Zhang et al. (2022b); Sun et al. (2023b); Yao et al. (2023) decompõem uma tarefa em algumas subtarefas e resolvem-nas passo a passo até a resposta final condicionada às cadeias de raciocínio geradas pelo LLM. Sun et al. (2023a); Wang et al. (2023) propõem verificar os resultados dos LLMs conduzindo uma nova rodada de estímulos; Liu et al. (2021b); Feng et al. (2023) usam LLMs para gerar declarações de conhecimento em linguagem natural e integrar declarações de conhecimento externo em prompts.  2.3 A colaboração LLM  A colaboração LLM envolve vários LLMs trabalhando juntos para resolver uma determinada tarefa. Especificamente, a tarefa é decomposta em várias tarefas intermediárias, e cada LLM é atribuído para completar uma tarefa intermediária de forma independente. A tarefa dada é resolvida após integrar ou resumir esses resultados intermediários. A abordagem de colaboração LLM pode explorar as capacidades dos LLMs, melhorar o desempenho em tarefas complexas e permitir a construção de sistemas complicados. Shinn et al. (2023); Sun et al. (2023a); Gero et al. (2023); Wang e Li (2023); Chen et al. (2023b) constroem tarefas auxiliares (por exemplo, tarefas de reflexão, verificação) e revisam a resposta à tarefa original referindo-se ao resultado da tarefa auxiliar. Talebirad e Nadiri (2023); Hong et al. (2023); Qian et al. (2023) atribuem perfis de caracterização (por exemplo, gerente de projeto, engenheiro de software) aos LLMs e obtêm aumentos de desempenho em tarefas específicas de personagens por meio de animações de comportamento. Li et al. (2022); Zeng et al. (2022a); Chen et al. (2023a); Du et al. (2023); Liang et al. (2023) utilizam uma estratégia de debate em que vários LLMs diferentes propõem as suas próprias respostas para a tarefa dada e debatem durante vários turnos até obter uma resposta final comum. Além disso, Shen et al. (2023); Gao et al. (2023); Ge et al. (2023); Zhang et al. (2023c); Hao et al. (2023) empregam um LLM como controlador de tarefa, que elabora um plano para a tarefa dada, seleciona modelos especialistas para implementação e resume as respostas das tarefas intermediárias planejadas. Outros LLMs atuam como executores de tarefas, completando tarefas intermediárias em suas áreas de especialização.  Este artigo está   sob licença CC 4.0. disponível no arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

Este áudio é produzido no idioma original da história!

O poder das estruturas Multi-LLM na superação dos desafios da análise de sentimento

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

Como melhorar seu fluxo de trabalho em 10 vezes: 17 aplicativos essenciais

Navegando pelas águas: desenvolvendo aplicações RAG de nível de produção com data lakes

Vazamento do prompt do sistema Claude Sonnet 3.5: uma análise forense

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps