La puissance des cadres multi-LLM pour surmonter les défis de l'analyse des sentiments

Tableau des liens

Résumé et introduction

Travaux connexes

Négociation LLM pour l'analyse des sentiments

Expériences

Études sur l'ablation

Conclusion et références

2 Travaux connexes

2.1 Analyse des sentiments

Analyse des sentiments (Pang et Lee, 2008 ; Go et al., 2009 ; Maas et al., 2011a ; Zhang et Liu, 2012 ; Baccianella et al., 2010 ; Medhat et al., 2014 ; Bakshi et al., 2016 ; Zhang et al., 2018) est une tâche qui vise à déterminer la polarité globale des sentiments (par exemple, positif, négatif, neutre) d'un texte donné. Des travaux antérieurs formalisaient souvent la tâche comme un problème en deux étapes : (1) extraire des caractéristiques à l'aide de RNN (Socher et al., 2013 ; Qian et al., 2016 ; Peled et Reichart, 2017 ; Wang et al., 2016b ; Guggilla et al., 2016 ; Vo et Zhang, 2015), CNN (Kalchbrenner et al., 2014 ; Wang et al., 2016a ; Guan et al., 2016 ; Yu et Jiang, 2016 ; Mishra et al., 2017), pré-entraînés modèles de langage (Lin et al., 2021 ; Sun et al., 2021 ; Phan et Ogunbona, 2020 ; Dai et al., 2021), etc. et (2) introduire les caractéristiques extraites dans un classificateur pour obtenir une étiquette sentimentale prédéfinie.

Ces dernières années, l’apprentissage en contexte (ICL) a connu un grand succès et a changé le paradigme des tâches de PNL. De nombreux travaux adaptent ICL à la tâche d’analyse des sentiments : Qin et al. (2023b) ; Sun et coll. (2023a) proposent une série de stratégies pour améliorer les performances de ChatGPT sur la tâche d'analyse des sentiments ; Fei et coll. (2023) proposent un cadre de raisonnement à trois sauts, qui induit l'aspect implicite, l'opinion et enfin la polarité des sentiments pour la tâche d'analyse des sentiments implicites ;ƒ Zhang et al. (2023d) constatent que les LLM peuvent obtenir des performances satisfaisantes sur la tâche de classification binaire des sentiments, mais qu'ils sont sous-performants par rapport à la référence supervisée sur des tâches plus complexes (par exemple, une analyse fine des sentiments) qui nécessitent une compréhension plus approfondie ou des informations structurées sur les sentiments.

2.2 Grands modèles linguistiques et apprentissage en contexte

Les grands modèles linguistiques (LLM) (Wang et al., 2022a ; Zhang et al., 2023b) sont des modèles formés sur des corpus de textes massifs non étiquetés avec des techniques d'apprentissage auto-supervisées. Sur la base de l'architecture du modèle, les LLM peuvent être classés en trois types : (1) les modèles à encodeur uniquement, qui contiennent un encodeur de texte et génèrent les représentations d'entrée, telles que BERT (Devlin et al., 2018) et ses variantes (Lan et al., 2019 ; Liu et al., 2019 ; Sun et al., 2020 ; Feng et al., 2020 ; (2) les modèles avec décodeur uniquement, qui disposent d'un décodeur et génèrent du texte conditionné en fonction du texte d'entrée, comme les modèles de la série GPT (Radford et al., 2019 ; Brown et al., 2020 ; Keskar et al., 2019 ; Radford et al. ., 2019 ; Chowdhery et al., 2022 ; Ouyang et al., 2022a ; , 2023 ; OpenAI, 2023 ); et (3) les modèles codeur-décodeur, qui possèdent une paire de codeur-décodeur et génèrent du texte conditionné par la représentation d'entrée, comme T5 (Raffel et al., 2020) et ses variantes (Lewis et al., 2019 ; Xue et al., 2020).

À partir de GPT-3 (Brown et al., 2020), les LLM ont montré des capacités émergentes (Wei et al., 2022a) et ont accompli des tâches de PNL grâce à l'apprentissage incontextuel (ICL), où les LLM génèrent un texte intensif en étiquettes conditionné par quelques exemples annotés sans mises à jour du dégradé. De nombreuses études dans la littérature proposent des stratégies pour améliorer les performances de l’ICL sur les tâches de PNL. Li et Liang (2021) ; Chevalier et coll. (2023) ; Mu et coll. (2023) optimisent les invites dans l’espace continu. Liu et coll. (2021a) ; Wan et coll. (2023) ; Zhang et coll. (2023a) effectuent une recherche dans la rame pour récupérer les k voisins les plus proches d'une entrée de test à titre de démonstration. Zhang et coll. (2022b) ; Sun et coll. (2023b) ; Yao et coll. (2023) décomposent une tâche en quelques sous-tâches et les résolvent étape par étape jusqu'à la réponse finale conditionnée par les chaînes de raisonnement générées par LLM. Sun et coll. (2023a) ; Wang et coll. (2023) proposent de vérifier les résultats des LLM en effectuant une nouvelle série d'incitations ; Liu et coll. (2021b) ; Feng et coll. (2023) utilisent des LLM pour générer des énoncés de connaissances en langage naturel et intégrer des énoncés de connaissances externes dans des invites.

2.3 La collaboration LLM

La collaboration LLM implique plusieurs LLM travaillant ensemble pour résoudre une tâche donnée. Plus précisément, la tâche est décomposée en plusieurs tâches intermédiaires, et chaque LLM est chargé d'accomplir une tâche intermédiaire de manière indépendante. La tâche donnée est résolue après avoir intégré ou résumé ces résultats intermédiaires. L'approche collaborative LLM peut exploiter les capacités des LLM, améliorer les performances sur des tâches complexes et permettre de construire des systèmes complexes. Shinn et coll. (2023) ; Sun et coll. (2023a) ; Gero et coll. (2023) ; Wang et Li (2023) ; Chen et coll. (2023b) construisent des tâches auxiliaires (par exemple, des tâches de réflexion, de vérification) et révisent la réponse à la tâche originale en se référant au résultat de la tâche auxiliaire. Talebirad et Nadiri (2023) ; Hong et coll. (2023) ; Qian et coll. (2023) attribuent des profils de caractérisation (par exemple, chef de projet, ingénieur logiciel) aux LLM et obtiennent des améliorations de performances sur les tâches spécifiques aux personnages grâce à des animations comportementales. Li et coll. (2022) ; Zeng et coll. (2022a) ; Chen et coll. (2023a) ; Du et coll. (2023) ; Liang et coll. (2023) utilisent une stratégie de débat dans laquelle plusieurs LLM différents proposent leurs propres réponses à la tâche donnée et débattent sur plusieurs tours jusqu'à obtenir une réponse finale commune. Par ailleurs, Shen et al. (2023) ; Gao et coll. (2023) ; Ge et coll. (2023) ; Zhang et coll. (2023c) ; Hao et coll. (2023) emploient un LLM en tant que contrôleur de tâches, qui élabore un plan pour la tâche donnée, sélectionne des modèles experts à mettre en œuvre et résume les réponses des tâches intermédiaires planifiées. D'autres LLM servent d'exécuteurs de tâches, accomplissant des tâches intermédiaires dans leurs domaines d'expertise.