左のテーブル 抽象と1 導入 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 4.2 モデル分析 私たちは、商業的な文脈におけるLLMの使用のために、不確実性は主にG、L、Pにあり、Pの正常な確率分布とGおよびLの正常またはパワー確率分布を期待することは合理的である。 一方、T、すなわちトークンでの取引のサイズは、プロジェクトチームのコントロール下にあるので、それは、入力と出力で使用され、望まれるデータのサイズ、およびプロンプトのサイズに依存するので、Tの通常またはパワーの確率分布も期待すべきです。 方程式18を見ると、GとLが大きく、Tが小さい場合、因子CTが小さく、Eは主にGP −L(1−P)の機能であり、GとPが単一のビジネスタスクに同じ分布を有すると予想されるので、Pはより大きな影響を及ぼすことがわかります。これはLLMLinguaJiang et al. [2023a,b], Pan et al. [2024]などの迅速な圧縮技術の評価に大きな影響を及ぼす可能性があります。例えば、1000トークンの取引を使用した分類タスクがUS$10の利益またはUS$1の損失につながると仮定します。そのコストはGPT 4oでUS$0.005になります。したがって、20×を圧縮するとCTでUS$0.00475が節約されます。同時に、P これらすべてを考慮して、私たちは、E(E)およびE(R)のパラメータの影響を理解するために、ローカルおよびグローバル感度分析を実行することにしました。 4.2.1 Local Sensitivity Analysis この最初の感受性分析は、局所的で質的なものであり、それぞれの範囲でそれぞれの変数に関連してE(E)の部分的由来を評価することによって実施されます。 方程式18を考慮すると、変数G、C、T、P、Lのすべての部分的衍生物を見つけることができます。 E(E)の部分的由来は以下の通りです。 E(E)のヘシア語は、ほとんどがゼロで構成されており、地元の分析では非常に受け入れやすいかなり線形的な行動を示しています。 同様に、E(R)の部分的由来は以下のとおりです。 したがって、変数G、C、T、L、およびPに関してE[R]のヘシアンマトリックスHは次のとおりである。 E(R)のヘシア式マトリックスにはゼロが少なく、ほとんどの部分的衍生品の代名器に含まれるCの小さい値は、より大きな値をもたらします。 4.2.2 Global Sensitivity analysis of earnings by Sobol technique 地元の感度分析は、点の周辺のそれぞれの時点で1つの変数を考察し、したがって、もしそうであれば、線形的およびほとんどの線形的関数にのみ十分であるが、グローバル分析は、非線形性の場合でさえ、特定の分布に対して、すべての変数の効果を同時に研究することができる(Saltelli et al., 2004, 2008)。 Sobol(2001)は、特定の前提条件下で生成されたサンプルを用いてモデルを実行することに基づくグローバル感度分析の方法を提案し、一連の感度指数の計算を可能にする差異分解を行う。 最初のSobol指数は、モデル出力における変数に対する各入力変数の個々の貢献を測定し、他の変数との相互作用を無視する。より単純な言葉で言えば、モデル出力における不確実性のどれだけが特定の入力における変化に直接関連付けられるかを定量化し、他のすべての入力は固定されている。 ソボル指数は、その個々の効果と他の変数との相互作用の両方を考慮し、出力変数が出力変数に貢献する全体的な貢献を定量化する。本質的には、この指数は、他の変数との結合効果を含む結果に影響を与える可能性のあるあらゆる方法を考慮することによって、出力変数の影響を測定する。 最後に、第2順位、およびより高い順位のソボル指数は、第1順位の指数の延長であり、モデル出力の変数に基づいて入力変数のカップルまたはトップル間の組み合わせ効果または相互作用を測定するために使用されます。第1順位の指数は各変数の個々の貢献に焦点を当てていますが、第2順位の指数は、両変数間の相互作用が出力の不確実性にどのように貢献するかを調べています。 商業運用モデルの収益のグローバル感度分析から、Pの値が第1オーダーの分析において明らかに最も重要な要因であることがわかります 図2a. 総オーダー指数の場合、図2bはCとTの重要性を示し、これは図3に示す第2オーダーの値にも反映されており、これはカップルとしてCとTの明確な支配性を示しています 製品CTは取引の総コストです。 商業運用モデルのためのRoI敏感性分析は、特定の範囲内の合計順序のC、T、Pの変化に特に敏感であることを示しています。 特に、CとTの組み合わせは、第2の順序のRoIの変動に大きな影響を与えます。 CとTは既に収益分析における最も重要な要因であったため、RoIにおいて、彼らがRoI方程式の最終値においてより大きな役割を果たすことが期待されます。 収益は基本的にCとTに敏感であり、Pは重要な役割を果たします。このシナリオに基づき、Cが特定のLLMに固定されるので、TとPの良い予測に注意を払うべきです。 4.3 RoI vs. Earning Dillemaの議論 潜在的な収益とRoIが異なるプロジェクトの選択は、プロジェクトマネジメント研究所(Project Management Institute, 2021)が直面する共通の困難です。 より小さい収益を有するプロジェクトと、より大きな収益を有するプロジェクトと、より低いRoIを有するプロジェクトの選択は、さまざまな財政的および非財務的要因を考慮する戦略的意思決定プロセスを伴います。 RoIは重要なメトリックですが、プロジェクトの絶対的な収益潜在力は見逃すべきではありません。低いRoIですが、より高い合計収益を持つプロジェクトは、追加の収益が会社の財政的健康や成長見通しに大きな影響を与える場合により有益である可能性があります。しかし、予算の制約下では、コストが低く、RoIがより高いプロジェクトは、合計収益が低い場合でもより実行可能である可能性があります。実際には、LLMを交換することは通常容易であるため、これはブートストラップアプローチです。現在および将来のキャッシュフローの分析は決定を助けることができます。 
 
 
 
 
 
 著者: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro (リオデジャネイロ連邦農村大学) (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação - COPPE, Universidade Federal do Rio de Janeiro, Brasil and Coordenadoria de Engenharia de Produção - COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro (リオデジャネイロ連邦農村大学) (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação - COPPE, Universidade Federal do Rio de Janeiro, Brasil and Coordenadoria de Engenharia de Produção - COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル 
 
 この論文は CC BY-NC-ND 4.0 DEED ライセンスの下で archiv で利用できます。 この紙は CC BY-NC-ND 4.0 DEED ライセンス available on arxiv ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

このオーディオは、ストーリーの元の言語で制作されています。

The Delicate Math behind Prompt Compression and Profit Margins in LLMs(LLMsにおけるプロンプトの圧縮と利益の限界の裏側の繊細な数学)

About Author

コメント

ラベル

この記事は

Related Stories

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps