感情分析の課題を克服するマルチ LLM フレームワークの力

リンク一覧

概要と序文

関連作業

感情分析のためのLLM交渉

実験

アブレーション研究

結論と参考文献

2 関連研究

2.1 感情分析

感情分析 (Pang and Lee, 2008; Go et al., 2009; Maas et al., 2011a; Zhang and Liu, 2012; Baccianella et al., 2010; Medhat et al., 2014; Bakshi et al., 2016; Zhang et al., 2018) は、特定のテキストの全体的な感情の極性 (例: 肯定的、否定的、中立的) を決定することを目的としたタスクです。以前の研究では、このタスクは 2 段階の問題として形式化されることが多かった: (1) RNN (Socher et al., 2013; Qian et al., 2016; Peled and Reichart, 2017; Wang et al., 2016b; Guggilla et al., 2016; Vo and Zhang, 2015)、CNN (Kalchbrenner et al., 2014; Wang et al., 2016a; Guan et al., 2016; Yu and Jiang, 2016; Mishra et al., 2017)、事前学習済み言語モデル (Lin et al., 2021; Sun et al., 2021; Phan and Ogunbona, 2020; Dai et al., 2021) などを使用して特徴を抽出する。 （２）抽出した特徴を分類器に入力し、事前に定義された感情ラベルを取得する。

近年、文脈内学習（ICL）は大きな成功を収め、NLPタスクのパラダイムを変えました。多くの研究がICLを感情分析タスクに適応させています。Qin et al. (2023b)、Sun et al. (2023a)は、感情分析タスクでのChatGPTのパフォーマンスを向上させる一連の戦略を提案しています。Fei et al. (2023)は、暗黙的な感情分析タスクのために暗黙的な側面、意見、そして最後に感情の極性を誘導する3ホップ推論フレームワークを提案しています。ƒ Zhang et al. (2023d)は、LLMがバイナリ感情分類タスクで満足のいくパフォーマンスを達成できることを発見しましたが、より深い理解や構造化された感情情報を必要とするより複雑なタスク（たとえば、きめ細かい感情分析）では、教師ありベースラインよりもパフォーマンスが低くなります。

2.2 大規模言語モデルと文脈内学習

大規模言語モデル（LLM）（Wang et al., 2022a; Zhang et al., 2023b）は、自己教師学習手法を用いて大規模なラベルなしテキストコーパスでトレーニングされたモデルです。モデルアーキテクチャに基づいて、LLMは次の3つのタイプに分類できます。（1）エンコーダーのみのモデル、テキストエンコーダーを含み、入力表現を生成するモデル、BERT（Devlin et al., 2018）とそのバリエーション（Lan et al., 2019; Liu et al., 2019; Sun et al., 2020; Clark et al., 2020; Feng et al., 2020; Joshi et al., 2020; Sun et al., 2020, 2021）など。 （２）デコーダーのみのモデル、これはデコーダーを持ち、GPTシリーズのモデルのように入力テキストに応じてテキストを生成する（Radford et al., 2019; Brown et al., 2020; Keskar et al., 2019; Radford et al., 2019; Chowdhery et al., 2022; Ouyang et al., 2022; Zhang et al., 2022a; Scao et al., 2022; Zeng et al., 2022b; Touvron et al., 2023a; Peng et al., 2023; OpenAI, 2023）。 （３）エンコーダー・デコーダーモデルは、エンコーダーとデコーダーのペアを持ち、入力表現に応じてテキストを生成するもので、T5（Raffel et al., 2020）やその派生モデル（Lewis et al., 2019; Xue et al., 2020）などが挙げられます。

GPT-3 (Brown et al., 2020) を皮切りに、LLM は新たな機能 (Wei et al., 2022a) を示し、コンテキスト内学習 (ICL) を通じて NLP タスクを完了しました。コンテキスト内学習では、LLM は勾配更新なしで、いくつかの注釈付き例を条件としたラベル集約型テキストを生成します。文献の多くの研究では、NLP タスクでの ICL パフォーマンスを向上させる戦略が提案されています。Li and Liang (2021); Chevalier et al. (2023); Mu et al. (2023) は、連続空間でプロンプトを最適化します。Liu et al. (2021a); Wan et al. (2023); Zhang et al. (2023a) は、トレーニング セットを検索して、デモンストレーションとしてテスト入力の k 近傍を取得します。Zhang et al. (2022b); Sun et al. (2023b); Yao et al. (2023) は、タスクをいくつかのサブタスクに分解し、LLM によって生成された推論チェーンに基づいて、最終回答に向けて段階的に解決します。Sun ら (2023a)、Wang ら (2023) は、新しいプロンプト ラウンドを実施することで LLM の結果を検証することを提案しています。Liu ら (2021b)、Feng ら (2023) は、LLM を使用して自然言語の知識ステートメントを生成し、外部の知識ステートメントをプロンプトに統合します。

2.3 LLMコラボレーション

LLM コラボレーションでは、複数の LLM が連携して特定のタスクを解決します。具体的には、タスクは複数の中間タスクに分解され、各 LLM は 1 つの中間タスクを独立して完了するように割り当てられます。特定のタスクは、これらの中間結果を統合または要約した後に解決されます。LLM コラボレーション アプローチは、LLM の機能を活用し、複雑なタスクのパフォーマンスを向上させ、複雑なシステムの構築を可能にします。Shinn ら (2023)、Sun ら (2023a)、Gero ら (2023)、Wang と Li (2023)、Chen ら (2023b) は、補助タスク (リフレクション、検証タスクなど) を構築し、補助タスクの結果を参照して元のタスクへの応答を修正します。Talebirad と Nadiri (2023)、Hong ら (2023)、Qian ら (2023) は、特性プロファイル (プロジェクト マネージャー、ソフトウェア エンジニアなど) を LLM に割り当て、動作アニメーションを通じて特性固有のタスクのパフォーマンスを向上させます。 Li et al. (2022); Zeng et al. (2022a); Chen et al. (2023a); Du et al. (2023); Liang et al. (2023) は、複数の異なる LLM が与えられたタスクに対する独自の応答を提案し、共通の最終回答が得られるまで複数ターンにわたって議論するというディベート戦略を採用しています。また、Shen et al. (2023); Gao et al. (2023); Ge et al. (2023); Zhang et al. (2023c); Hao et al. (2023) は、1 つの LLM をタスク コントローラーとして使用し、与えられたタスクの計画を立案し、実装用のエキスパート モデルを選択し、計画された中間タスクの応答を要約します。他の LLM はタスク実行者として機能し、専門分野で中間タスクを完了します。