著者:  （１）ケクサン・チャン、カリフォルニア大学サンタバーバラ校および平等な貢献 （２）ホンチャオ・チェン、ノースウッド高校と平等な貢献。  （３）カーネギーメロン大学のレイ・リー氏 （4）ウィリアム・ヤン・ワン、カリフォルニア大学サンタバーバラ校 リンク一覧 概要と序文 関連作業 ToolDec: 有限状態デコードによる LLM ツールの使用 実験: ToolDec が構文エラーを排除 実験: ToolDec は汎用的なツール選択を可能にします 結論と参考文献 付録 2. 関連研究 言語モデルは、テキストとツールの使用が交互に含まれるデータでツールを使用するように微調整できます。以前の研究では、微調整によって、言語モデルが検索モジュール (Borgeaud et al., 2022; Guu et al., 2020) や検索エンジン (Nakano et al., 2021) などの単一のツールを使用するようにしています。複数のツールを使用するツール拡張言語モデルの最近の進歩 (Schick et al., 2023; Parisi et al., 2022) も、QA モデル、翻訳モデル、計算機、検索エンジンなどのツールを使用するように言語モデルを微調整しています。ToolkenGPT (Hao et al., 2023) は、ツールを表すためにいくつかの特別なトークンを使用することを提案し、トークンの埋め込みのみを調整して、新しいツールの採用をより効率的にします。ただし、ツールの使用に関する微調整アプローチでは、モデルを新しいツールに適応させるために、新しいデータと追加の微調整が必要です。有限状態デコードと前の 2 つのパラダイムの違いを表 1 に示します。 ツールを使用するための言語モデルの微調整。 言語モデルは、コンテキスト内の例から学習し (Brown et al., 2020)、指示に従うことができます (Ouyang et al., 2022)。これにより、ツールの説明をプロンプトに入れて、言語モデルにそれらを使用するように要求するだけで済みます。最近の研究では、この可能性を利用して、ニューラル モデル (Shen et al., 2023)、RESTful API (Qin et al., 2023; Song et al., 2023)、プログラム インタープリター (Chen et al., 2022; Gao et al., 2023)、および他の多くのツールを使用して問題を解決しています。コンテキスト内学習では、新しいツールを使用するために追加のモデル調整は必要ありません。ただし、新しいツールの説明とドキュメントは依然としてプロンプトに含める必要があるため、計算コストが増加し、モデルが実際にタスクについて推論するためのコンテキスト バジェットが制限されます。 ツールの使用のためのコンテキスト内学習。 これまでの制約付きデコード方法は、主に語彙制約に焦点を当てています (Anderson et al., 2017)。それらは、有限状態マシン (Anderson et al., 2017)、類似候補のグループ化 (Hokamp & Liu, 2017)、およびより優れた検索アルゴリズム (Miao et al., 2019; Lu et al., 2021; 2022) により、語彙制約付きデコードの大規模な検索空間を削減します。ただし、語彙制約はツール呼び出しを規制するのに十分な表現力がありません。有限状態マシンは、自然言語のソフト制約に対処するために重み付けされ、確率的である必要がありますが (Eisner, 2002; Rastogi et al., 2016)、構文ツール呼び出しの制約は、FSM にとってはるかに簡単なハード制約です。したがって、有効なツール呼び出しの構文制約を満たすために TOOLDEC を提案します。 制約付きデコードと有限状態マシン。 この論文は、CC 4.0 DEED ライセンスの下で 。 arxiv で公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

このオーディオは、ストーリーの元の言語で制作されています。

LLM における構文エラーのない一般化可能なツールの使用: 関連研究

About Author

コメント

ラベル

この記事は

Related Stories

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps