著者：  （１）ブランドン・T・ウィラード『ノーマルコンピューティング』  （２）レミ・ルーフ、「Normal Computing」 リンク一覧 概要と序文 LLM サンプリングとガイド付き生成 反復的な FSM 処理とインデックス作成 反復解析の拡張 議論、参考文献および謝辞 2. LLMサンプリングとガイド付き生成 St = (s1 . . . st) が t 個のトークンのシーケンスを表し、st ∈ V、V が語彙、|V| = N であるとします。語彙 V は固定アルファベットの文字列で構成されており [Sennrich et al., 2015]、N は 104 以上のオーダーになることがよくあります。 次のトークン st+1 を次のランダム変数として定義します。   2.1 サンプリングシーケンス F ⊂ P (V)（P はべき集合演算子）を、特別なトークン EOS ∈ V で終わる複数トークン文字列のサブセットとします。テキスト生成タスクは、F からサンプルを抽出することです。  F の要素を生成するために、いくつかの手順が検討されてきました。貪欲復号法は、各ステップで最も高い確率のトークンを選択し、トークンを再帰的に生成します。ビーム探索法も、分布のモードを見つけるためにヒューリスティックを使用して、トークンを再帰的に生成します。最近では、SMC サンプリングもシーケンスを生成するために使用されています [Lew et al., 2023]。  サンプリング手順は、一般的にアルゴリズム 1 で説明されます。多項式サンプリングと呼ばれることが多いこの手順では、EOS トークンが見つかるまで、上記で定義されたカテゴリ分布からサンプリングして、新しいトークンを再帰的に生成します。  2.2 ガイド世代  • 数字サンプル、  • 正規表現[a-zA-Z]に一致する文字列、  • 指定された文法に従って解析される文字列（Python、SQL など） マスキングを使用したサンプリング手順は、アルゴリズム 1 の単純な拡張であり、アルゴリズム 2 で提供されます。  2.5 行目の m の計算は、V のすべての要素に対して暗黙的に実行されます。α の計算を除けば、このステップは最もコストがかかります。正規表現ガイド付きマスキングの場合 (およびそれよりも複雑な場合)、サポート、つまり m は、以前にサンプリングされたトークンに必然的に依存します。この種のガイド付き生成は、最終的には反復的なマッチングまたは解析の問題であり、事前に完全な文字列にアクセスする必要がある標準的なアプローチには直接対応できません。場合によっては、各反復でサンプリングされたシーケンスの先頭から部分的なマッチングまたは解析を実行できますが、これには、語彙全体にわたる適用の O(N) コストと並行して少なくとも線形に増加するコストがあります。 これにより、この研究の主な疑問が浮かび上がります。つまり、正規表現または CFG に従って不完全な文字列を効率的に一致または解析し、アルゴリズム 2 の各反復でマスク m を決定するにはどうすればよいのでしょうか。  この論文はCC 4.0ライセンスの下で 。 arxivで公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

AI Models on HackerNoon

このオーディオは、ストーリーの元の言語で制作されています。

大規模言語モデルの効率的なガイド付き生成: LLM サンプリングとガイド付き生成

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

ワークフローを10倍に向上させる方法: 必須アプリ17選

ユーザー中心の暗号通貨製品の作成: 顧客からのフィードバックの重要性

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps