Table de gauche Abstraction et 1ère introduction 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 3 Modèle théorique de décision Pendant la planification d’un projet, les bénéfices et le ROI ne peuvent être estimés que parce qu’il existe des incertitudes et des risques dans les projets [Project Management Institute, 2021]. Par conséquent, toute décision devrait tenir compte de ces estimations. De plus, pour permettre une meilleure décision dans des perspectives théoriques et pratiques, il faut établir un modèle qui inclut les coûts, les gains et les pertes résultant de l'utilisation d'un LLM ainsi qu'une vision probabilistique du succès. Selon la théorie de Savage, la valeur attendue pour l'utilité d'un état s est: Nous commençons par considérer l'action d'utiliser un LLM pour résoudre un problème d'affaires ou améliorer une situation d'affaires, avec seulement deux résultats possibles, ou états: succès de l'échec d'une transaction d'affaires. Pour chaque modèle proposé, nous allons discuter de la façon dont les variables G, L, P et Cp, sous forme de coût par jeton C, affectent E et R. 3.1 Comment créer un modèle de réussite Dans ce travail, nous commençons par utiliser la probabilité de succès d'un LLM dans une tâche d'entreprise comme P. Cependant, l'analyse d'une telle probabilité n'est pas simple, en raison du fait qu'il existe en fait deux probabilités impliquées: la probabilité qu'un LLM remplisse sa tâche et la probabilité que la tâche ait un effet sur l'entreprise. Par exemple, même si un LLM détecte que les utilisateurs sont enclins à inclure un produit dans leur panier, et un système de vente sur Internet fournit cette suggestion aux utilisateurs, ils peuvent décider de ne pas ou ils sont distraits par l'offre et ne ferment pas l'opération, entraînant une perte. Dans ce document, nous considérons les deux probabilités comme des probabilités agrégées. Cependant, nous attirons l'attention sur le fait que la seconde probabilité est conditionnelle à la première. Par conséquent, étant Pb la probabilité de succès commercial et Pt la probabilité de succès de la tâche LLM spécifique, on pourrait avoir l'hypothèse de base que: De plus, un modèle plus réaliste devrait inclure la probabilité de succès commercial lorsque la tâche LLM échoue. Par exemple, il est possible que la LLM suggère un mauvais produit et, par hasard, le client l'accepte. Enfin, on peut également modéliser la probabilité d'une prédiction correcte du LLM pour conduire l'utilisateur sur un chemin où il ne complète pas la transaction. 
 
 
 
 
 
 Les auteurs : (1) Geraldo Xexéo, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil; (2) Filipe Braida, Département des sciences de l'informatique, Université fédérale rurale de Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil et Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil. Authors: (1) Geraldo Xexéo, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil; (2) Filipe Braida, Département des sciences de l'informatique, Université fédérale rurale de Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil et Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil. 
 
 Ce document est disponible sous la licence CC BY-NC-ND 4.0 DEED. Ce papier est sous licence CC BY-NC-ND 4.0 DEED. Disponible dans les archives Disponible dans les archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Cet audio est produit dans la langue originale de l'histoire !

Comment mesurer l'impact commercial des LLM

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Télégramme : le pont de Crypto Island vers le continent

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Télégramme : le pont de Crypto Island vers le continent

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps