フィードバックを原則に変換することで大規模な言語モデルを対話的に批判する

リンク表

要約と紹介

関連作業

基礎研究

憲法制定者

実装

ユーザー調査

調査結果

議論

結論と参考文献

抽象的な

大規模言語モデル (LLM) プロンプトは、ユーザーが独自のチャットボットを作成およびカスタマイズするための有望な新しいアプローチです。ただし、プロンプト エンジニアリングや微調整など、チャットボットの出力を操作する現在の方法では、ユーザーがモデルの出力に対する自然なフィードバックをプロンプトやモデルの変更に変換することはサポートされていません。この研究では、ユーザーがフィードバックをモデルの動作を決定する一連の原則 (つまり構成) に変換できるようにすることで、ユーザーがフィードバックを通じてモデルの出力を対話的に調整できるようにする方法を検討します。形成的な調査から、(1) ユーザーはフィードバックをチャットボットの原則に変換するサポートを必要としている、(2) ユーザーが望むさまざまな原則のタイプを分類していることがわかりました。これらの発見に触発されて、私たちは LLM ベースのチャットボットを操作するために、ユーザーのフィードバックを原則に変換する対話型ツールであるConstitutionMaker を開発しました。 ConstitutionMaker を使用すると、ユーザーは自然言語で肯定的または否定的なフィードバックを提供したり、自動生成されたフィードバックを選択したり、チャットボットの応答を書き換えたりすることができます。フィードバックの各モードでは、チャットボットのプロンプトに挿入される原則が自動的に生成されます。 14 人の参加者によるユーザー調査では、ConstitutionMaker を、ユーザーが独自の原則を記述するアブレートされたバージョンと比較しました。参加者は、ConstitutionMaker を使用することで、自分たちの原則がチャットボットをより適切にガイドできること、フィードバックをより簡単に原則に変換できること、精神的な負担が少なく、より効率的に原則を作成できることを感じました。 ConstitutionMaker は、ユーザーがチャットボットを改善する方法を特定し、モデルに対する直感的な応答をフィードバックに定式化し、このフィードバックを具体的で明確な原則に変換するのに役立ちました。これらの発見は、LLM 出力のインタラクティブな批評をサポートする将来のツールに情報を提供します。

CCS の概念

• 人間中心コンピューティング → HCI における実証研究。インタラクティブなシステムとツール。 •コンピューティング方法論→機械学習。

キーワード

大規模言語モデル、会話型 AI、インタラクティブな批評

1 はじめに

大規模言語モデル (LLM) は、創造的な執筆支援 [8、26、36、44] からコード合成 [13、14、20] に至るまで、幅広い問題に適用できます。ユーザーは現在、プロンプト エンジニアリング [4]、パラメーター効率の高いチューニング [19]、微調整 [10] などの戦略を通じて、特定のタスクに合わせてこれらのモデルをカスタマイズしています。

LLM をカスタマイズするためのこれらの一般的な方法に加えて、最近の研究では、ユーザーが自然言語フィードバックを使用してこれらのモデルを直接操作したいことも示しています (図 2A)。より具体的には、一部のユーザーは、モデルの出力を批判して、どのように異なるべきかを指定できるようにしたいと考えています [5]。私たちはこのカスタマイズ戦略をインタラクティブな批評と呼んでいます。

ChatGPT[1] [28] や Bard[2] などのチャットボットと対話する場合、対話型の批評により、チャットボットのその後の応答が批評に準拠するように変更されることがよくあります。ただし、これらの変更は永続的ではないため、ユーザーはモデルとの新しい対話のたびにこれらの指示を繰り返す必要があります。また、ユーザーは、この方法で実際にモデルの動作を変更できることを認識し、モデルの将来の応答の変更につながる可能性が高い方法で批評を定式化する必要があります。このカスタマイズ モードの潜在的な価値を考慮すると、ユーザーが自然言語の批評を通じて LLM をカスタマイズできるようにするための最上級のサポートを提供する機会があります。

モデルのカスタマイズのコンテキストでは、Constitutional AI [1] は、自然言語の原則を含む特定のカスタマイズ戦略を提供します。原則とは、「有害なコンテンツ、性差別的なコンテンツ、人種差別的なコンテンツを作成しない」など、言語モデルが従うべきルールと考えることができます。一連の原則が与えられると、Constitutional AI システムは 1) 原則に違反するモデルの応答を書き換え、2) 書き換えられた応答でモデルを微調整します。インタラクティブな批評の概念に戻ると、ユーザーの批評から新しい、または洗練された憲法 AI 原則を導き出すことが想像できます。これらの派生原理は、元の憲法 AI の研究と同様に、LLM のプロンプト (図 2B) を変更したり、新しいトレーニング データを生成したりするために使用できます。

この最近の研究では、原則が LLM をカスタマイズするための説明可能で効果的な戦略となり得ることが示されていますが、フィードバックからこれらの原則を作成する人間のプロセスについてはほとんど知られていません。形成的な研究から、批評を原則に変換する際には多くの認知的課題が伴うことがわかりました。これらの課題に対処するために、ユーザーのモデル批評をモデルの動作を洗練する原則に変換する対話型批評システムであるConstitutionMakerを紹介します。 ConstitutionMaker は、会話のターンごとに 3 つの応答候補を生成します。これら 3 つの回答候補に加えて、ConstitutionMaker は 3 つの原則を引き出す機能を提供します。1) 称賛 (ユーザーが回答に対して肯定的なフィードバックを提供できる)、2) 批評 (ユーザーが回答に対して否定的なフィードバックを提供できる)、3) リライト (回答に対して否定的なフィードバックを提供できる)ユーザーは特定の応答を書き換えることができます。このフィードバックから、ConstitutionMaker はチャットボットのプロンプトに組み込まれる原則を推測します。

ConstitutionMaker がユーザーによる原則の作成にどの程度効果があるかを評価するために、プロンプトに精通した 14 人の業界専門家を対象に、被験者内でのユーザー調査を実施しました。参加者は、ConstitutionMaker と、複数の候補者の回答と原則を引き出す機能を欠いた削除バージョンを使用しました。どちらの場合も、彼らの目標は 2 つのチャットボットをカスタマイズするための原則を記述することでした。調査の結果、2 つの異なるバージョンでは非常に異なるワークフローが生成されることがわかりました。除去されたバージョンでは、ボットが期待から大きく逸脱した場合にのみ参加者が原則を作成するため、合計で作成される原則の数が大幅に減りました。対照的に、ConstitutionMaker 条件では、参加者は複数の候補の回答に目を通し、お気に入りの回答に賞賛を与えるというワークフローに取り組み、全体としてより多くの原則を導き出しました。これらのさまざまなワークフローにより、原則を記述する際に条件固有の課題も生じました。アブレートされたバージョンでは、ユーザーが原則を過少に指定することがよくあります。一方、ConstitutionMaker では、頻繁ではありませんが、ユーザーが原則を過剰に指定することがありました。最後に、両方の条件により、2 つ以上の原則が互いに矛盾する問題が発生することがあります。

全体として、ConstitutionMaker を使用することで、参加者は自分たちの原則がチャットボットをより適切にガイドできること、フィードバックをより簡単に原則に変換できること、精神的な負担が少なく、より効率的に原則を作成できることを感じました。また、ConstitutionMaker は、参加者が 1) 複数の回答候補から回答をより良くする方法を認識すること、2) 回答が好きか嫌いかについての直感を口頭フィードバックに変換すること、3) このフィードバックを言葉で表現することを支援することで、原則を作成する際の思考プロセスをサポートしました。具体的な原則として。

まとめると、この作業は次のような貢献をします。

• 参加者がチャットボットの動作を制御するために作成したい原則の種類の分類。

• ユーザーのフィードバックを原則に変換してチャットボットの動作を制御するための対話型ツールである、ConstitutionMaker の設計。 ConstitutionMaker は、称賛、批評、書き換えという 3 つの新しい原則引き出し機能を導入しており、それぞれチャットボットのプロンプトに挿入される原則を生成します。

• 参加者 14 名によるユーザー調査の結果。参加者は、ConstitutionMaker を使用することで、1) チャットボットをより適切にガイドする原則を作成でき、2) フィードバックをより簡単に原則に変換でき、3) 精神的な負担が少なく、より効率的に原則を作成できると感じました。 。

• 参加者が反応を改善する方法を特定し、直感を自然言語フィードバックに変換し、フィードバックを特定の原則として表現するのを支援するなど、ConstitutionMaker が参加者の思考プロセスをどのようにサポートしたかについて説明します。また、2 つのシステムによって可能になる異なるワークフローが、原則と原則の限界を記述する際にどのように異なる課題を引き起こしたかについても説明します。

これらの発見は、インタラクティブな批評を通じて LLM 出力をインタラクティブに洗練するための将来のツールに情報を提供します。

[1] https://chat.openai.com/

[2] https://bard.google.com