
 
 
 
 
 
 著者: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro (リオデジャネイロ連邦農村大学) (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação - COPPE, Universidade Federal do Rio de Janeiro, Brasil and Coordenadoria de Engenharia de Produção - COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro (リオデジャネイロ連邦農村大学) (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação - COPPE, Universidade Federal do Rio de Janeiro, Brasil and Coordenadoria de Engenharia de Produção - COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, ブラジル 左のテーブル 抽象と1 導入 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 抽象 ビジネスコンテキストにおける言語モデルの選択は、投資の最終的な財政的利益を慎重に分析する必要があります。しかし、学術界と業界の分析の重視は単にパフォーマンスに基づいています。この作業は、LLMを評価するための枠組みを導入し、ビジネス意思決定において考慮すべき投資側面に収益と回収を焦点とします。私たちは、さまざまなLLMの財政的影響を比較するための決定理論的なアプローチを使用し、トークンごとのコスト、特定のタスクでの成功確率、およびLLMの使用に関連する利益と損失などの変数を考慮します。この研究は、より高価なモデルの優れた正確性が、特定の条件下で、より大きな利益を通じてより大きな投資を 1 導入 この記事では、これらのテクノロジーの採用がビジネス運営に与える経済的影響を分析することによって、大規模言語モデル(LLM)の評価に異なるアプローチを提案します。この記事の大部分は、課題のセットでのLLMのパフォーマンスについてのみ議論しますが、ここでは、ビジネスコンテキスト内の特定のタスクのための言語モデル(LLM)を選択のプロセスは、パフォーマンス評価を超えて、運用的な側面も考慮し、予想される収益と投資回収(RoI)を考慮に入れなければなりません。 私たちの動機は、適切なLLMの選択が、運営を改善し、最適化し、RoIを最大化しようとしている企業にとって戦略的な決定となっているという事実です [Gupta、2024] 人工知能技術の継続的な進化とともに、LLMは、仮想アシスタントから複雑なデータ分析システムまで、さまざまなビジネスアプリケーションのための革新的なソリューションを提供しています。しかし、利用可能なさまざまなモデルの中から選択することは、変動的なコストとビジネスタスクのパフォーマンスへの影響を考慮して挑戦的です。さらに、さまざまなパフォーマンスとコストレベルのための最先端の継続的な進化は、常に特定の時点で使用されるLLMの選択を疑問視する必要性を示 この論文は、さまざまなLLMの導入の影響を、収益と投資収益への影響に基づいて分析するためのさまざまなモデルを提示します。各モデルは、LLMの課題の実行に基づいてビジネスタスクを含むビジネス操作のシナリオを仮定します。例えば、LLMは、オンライン販売に関連する勧告システム(Zhao et al., 2024)で使用することができ、そこで顧客が購入する製品を提案します。ビジネスタスクは、勧告されたシステムを実際に販売することです。LLMタクシーは正しい勧告を見つけることです。通常、両方のタスクは、既存のデータセットを使用して訓練、細かい調整、またはテストすることができます。しかし、実際のビジネス結果は、運用中にのみ測定することができます。 さらに、各ビジネスシナリオでは、トークン当たりのコストなどのいくつかの情報が簡単に取得できるが、他の情報は推定、平均、あるいは見つけるのが困難である。また、異なるシナリオはまた異なる結果をもたらす可能性がある。 この論文では、収益と利益が1つのビジネス操作の直接的な結果であるシナリオをモデル化します。これは、例えば、オンライン販売中に動作する勧告システムの場合であり、これは非常に測定可能な短期的な利益をもたらす可能性があります。他のシナリオでは、将来の仕事としてリストされ、操作は間接的な影響を与えることができます。これは、ユーザーに対する信頼感を高め、長期的な利益をもたらすソーシャルネットワークにおける偽ニュースの検出の場合です。 次のセクションでは、モデルについていくつかの考慮と仮定をします。第3セクションでは、成功するか失敗する可能性のある単一の操作のRoIに基づいてシナリオのモデルを示します。第4セクションでは、バイナリ分類タスクに基づいてシナリオのモデルを示します。第5セクションでは、単一の操作で働くことができないが、実際にはビジネスにおけるLLMを使用するという一般的な結果と働くことができないときに使用するモデルを説明します。第6セクションでは、いくつかの次のステップを議論し、最後のセクションでは、結論を示します。 
 
 この論文は CC BY-NC-ND 4.0 DEED ライセンスの下で archiv で利用できます。 この論文は CC BY-NC-ND 4.0 DEED ライセンスの下で archiv で利用できます。 ARCHIV で利用可能

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

このオーディオは、ストーリーの元の言語で制作されています。

新しい研究は、ビジネス使用事例を通じてLLM ROIを破壊します

About Author

コメント

ラベル

この記事は

Related Stories

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

ワークフローを10倍に向上させる方法: 必須アプリ17選

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

ワークフローを10倍に向上させる方法: 必須アプリ17選

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps