感情確率ベクトルの推定: 感情を喚起するテールプロンプトによる LLM の調査

リンク一覧

• 概要と序論
• 感情を引き出すテールプロンプトで LLM を尋問する
• Amazonレビューの感情のPCA分析
• 今後の仕事
• 結論
• 謝辞と参考文献

2. 感情を喚起するテールプロンプトでLLMを尋問する

この研究では、FacebookのオープンソースLlaMa2 70億重みLLMをコアエンジンとして使用しました[2]。プロンプトの後に生のトークン確率にアクセスできるLLMを使用する必要がありました。モデルは32ギガバイトのRAMを搭載したMac Studioで実行されました。このハードウェアとモデルの組み合わせにより、以下に示す感情辞書の感情記述子の確率を計算するのに2分かかりました。

2.1. 感情辞書

英語には多くの単語があり、適切な文脈でこれらの単語の使用例を提供する広範な文献があります。LLM の目的において、単語の意味を伝えるのは単語の文脈です。読者は、文脈を理解していれば、その単語が使用されている文脈から、なじみのない単語の意味を推測します。例として、「ショットガンがウサギを混乱させた」は、意味が文脈によって調整される方法を示しています。テール プロンプトによって作成されたコンテキストは、関連する単語のクラスを優先します。この論文で詳述されている実験では、感情記述子を引き出すために次のテール プロンプトが使用されました。「これを読むと、私は感じます」。特定の感情を引き出すテール プロンプトは、特定のサブクラスの記述子を優先する可能性がありますが、これを研究することはこの論文の範囲を超えています。

以下の単語は、感情を表す幅広いサンプルを提供するために選択されました。

受け入れ、賞賛、崇拝、愛情、恐れ、動揺、苦悩、攻撃的、警戒、警戒、疎外、驚き、相反する感情、面白がり、怒り、苦悩、いらいら、期待、不安、無関心、懸念、傲慢、断定的、仰天、注意深さ、魅力、嫌悪、畏敬、当惑、当惑、苦々しい、ほろ苦さ、至福、退屈、厚かましい、考え込む、穏やか、屈託のない、不注意、思いやり、慈善、生意気、陽気さ、閉所恐怖症、強制的、快適、自信、混乱、軽蔑、満足、勇気、臆病、残酷さ、好奇心、皮肉、呆然とする、落胆する、喜ぶ、士気が低下する、落ち込む、欲望、絶望、決意、失望、不信、当惑、不快感、不満、不満、嫌悪、落胆、嫌い、落胆、混乱、意気消沈、不快感、気晴らし、苦悩、動揺、支配的、疑い、恐怖、駆り立てられる、唖然とする、熱意、恍惚、高揚感、当惑、共感、魅了される、楽しみ、啓発される、倦怠感、熱意、羨望、顕現、多幸感、憤慨、興奮、期待、魅了、恐怖、気まぐれ、集中、愛情、友好、恐怖、欲求不満、激怒、歓喜、暗い、陰気さ、感謝、貪欲、悲しみ、不機嫌、気難しい、罪悪感、幸福、憎悪、憎悪、無力、ホームシック、希望、絶望、恐怖、親切、屈辱、謙虚、傷ついた、ヒステリー、怠惰、せっかち、無関心、憤慨、夢中、激怒、不安、洞察力、侮辱、関心、興味をそそられる、苛立つ、孤立、嫉妬、陽気さ、喜び、歓喜、親切、怠惰、好意、嫌悪、孤独、憧れ、狂気、愛、欲望、狂気、憂鬱、惨め、けち、混乱、謙虚、不機嫌、屈辱、当惑、意地悪、吐き気、否定的、無視、神経質、郷愁、麻痺、頑固、気分を害する、楽観的、憤慨、圧倒される、パニック、被害妄想、情熱、忍耐、物思いにふける、当惑する、粘り強い、悲観主義、同情、満足、喜び、礼儀正しさ、肯定的、所有欲、無力、自尊心、困惑、激怒、無謀、動揺、後悔、拒絶、リラックス、安心、消極的、後悔、恨み、恨み、諦め、落ち着きのなさ、嫌悪感、無慈悲、悲しみ、満足、恐怖、他人の不幸に対する喜び、軽蔑、自己配慮、自己同情、自信、自意識、自己批判、自己嫌悪、自発的、自己憐憫、自尊心、自己理解、感傷、平静、恥、恥知らず、ショック、自己満足、悲しみ、悪意、ストレス、強さ、頑固、行き詰まり、従順、苦しみ、不機嫌、驚き、サスペンス、疑念、同情、優しさ、緊張、恐怖、感謝、興奮、疲労、寛容、苦痛、勝ち誇った、問題、信頼、不確実性、弱体化、不安、不幸、動揺、落ち着かない、不確か、動揺、復讐心、悪意、警戒心、無防備、弱い、悲嘆、心配、価値のある、怒り。

この一連の単語は、決して完全または決定的なものではありません。感情記述子への返答を制限せずに末尾プロンプトを使用すると、感情形式を簡単に抽出できない、一般的な曖昧な応答が引き出されます。

2.1.1. 感情確率ベクトルの推定

LlaMa2 [2] は、開発者がプロンプトに応答して返される推定トークン重みにアクセスできるような方法でリリースされました。LlaMa2 の内部語彙サイズは約 30,000 トークンです。つまり、LlaMa 2 がシーケンス内の次のトークンの確率を推定する場合、確率ベクトルは 30,000 要素になります。感情記述子リスト内の単語の中には、複数のトークンで構成されるものがあり、その場合は前向き条件付き確率が使用されます。

図 2.1.1 は、Amazon レビュー テキストの末尾プロンプトによって引き出された感情辞書の単語のスケール確率分布を示しています。「Fitbit inspire 2 について多くの否定的なレビューを読み、思い切って注文したものがうまく機能する素晴らしいものの 1 つであることを期待しました。残念ながらそうではありませんでした。開梱して充電し、アプリをダウンロードしました。日が沈む前に装着したまま散歩しました。携帯電話には歩数も記録する Google Fit アプリがインストールされています。携帯電話はジーンズのポケットに入っていました。家に帰って 2 つを比べると、Google Fit は 4,458 歩、Fitbit は 1,168 歩と表示されていました。どうやら Fitbit は手首の動きで動作するようですが、近所で歩行器を押すときには手首の動きはしません。マニュアルをダウンロードして、クリップに取り付けることができることに気付きました (クリップは付属していませんでした)。それなら私にも使えそうです。そこでさまざまな機能をスクロールし始めましたが、すべてをスクロールすることはできませんでした。スクロール中にストップウォッチをオンにしてしまったに違いありません。オフにできませんでした。その後、防水ロック機能以外は何もスクロールできなくなりました。ストップウォッチに戻るには、防水ロックをオンにする必要がありました。その後、サイドボタンが機能しなくなりました。合計 5 時間使用しました。梱包して、Amazon 返品手続きを開始しました。全額返金してもらいました。非常に残念です。」

ある本の 50 件の Amazon レビューのテキストは、https://www.amazon.com/dp/B000WM9UK2 から借用しました。レビューのほとんどは好意的なものでした。レビューのテキストの例には、次のものがあります。 「フーリンの子らは、大きな悲劇と優しさが混ざり合った作品です。冒頭の系図の記録は読みづらいかもしれませんが、物語はすぐにスピードを上げていきます。最初の数章の難しさのため、私はこの物語に 4 つ星しかつけませんでした。これは、マタイによる福音書の冒頭にあるキリストの系図によく似ています。このような記録はどちらにおいても重要ですが、それでも読みづらいです。それでも、この本は間違いなくお勧めです。この本は、善良な男女に対する悪の力の恐ろしい影響を描いていますが、悲劇的な結末がどうであれ、私たちは悪に抵抗し続けなければなりません。トールキンの世界では、終末の日にモルゴスが戻ってきたとき、彼を永遠に終わらせるのは男のトゥーリンだということは、非常に示唆的です。この世でサタンが最も破壊する人々は、最終的にサタンの致命的な打撃を与える人々であり、黙示録には「彼らは小羊の血と彼らの『殉教』[証人、証言]の言葉によって彼に打ち勝った」とあるように、トゥーリンのような人々、または聖書ではヨブのような人々です。

図 2.1.2 は、処理された 50 件のレビューすべての感情ベクトルを示しています。製品を購入したときに経験される可能性が最も高い 10 の感情は、落ち込んでいる、親切、懐かしい、疲れている、絶望している、孤独、希望、穏やか、怠惰、自信です。