Table de gauche Abstraction et 1ère introduction 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 4.2 Analyse des modèles Nous devons souligner que, en raison de l'utilisation de LLM dans un contexte commercial, les incertitudes seront principalement dans G, L et P. Il serait raisonnable d'attendre une répartition de probabilité normale pour P et une répartition de probabilité normale ou même de puissance pour G et L. Puisque G et L sont des valeurs d'affaires, et P est le résultat d'affaires qui provient de l'exécution correcte des tâches d'IA, ces valeurs ne sont pas sous le contrôle direct de l'équipe de projet. D'autre part, T, c'est-à-dire la taille de la transaction en jetons, il est plus sous le contrôle de l'équipe du projet, car cela dépend de la taille des données utilisées et souhaitées à l'entrée et à la sortie, ainsi que de la taille de la prompt. On devrait également s'attendre à une distribution de probabilité normale ou de puissance pour T. Enfin, pour un LLM unique choisi, C est en fait une constante, et nous n'avons besoin de comprendre son impact sur la décision que lorsque plus d'un LLM est envisagé. En regardant l'équation 18, nous pouvons également voir que si G et L sont grands et T sont petits, le facteur CT sera petit et E[E] sera principalement une fonction de GP −L(1−P), et puisque G et P sont censés avoir la même distribution pour une seule tâche d'affaires, P aurait le plus grand impact. Cela pourrait avoir un impact considérable sur l'évaluation des techniques de compression rapide, telles que LLMLinguaJiang et al. [2023a,b], Pan et al. [2024] pour les petites prompts. Par exemple, supposons qu'une tâche de classification utilisant une transaction de 1000 jetons pourrait entraîner un gain US$10 ou une perte US$1. Son coût serait US$0.005 dans GPT 4o. Par conséquent, la Compte tenu de tout cela, nous avons décidé d'effectuer à la fois une analyse de sensibilité locale et globale pour comprendre l'impact des paramètres dans E[E] et E[R]. Nous comprenons que la sensibilité locale est plus facile à comprendre et raisonnable dans ce cas, tandis que la sensibilité globale est théoriquement plus forte; par conséquent, nous analysons également la linéarité des fonctions pour comprendre la validité de l'analyse locale. 4.2.1 Local Sensitivity Analysis Cette première analyse de sensibilité est locale et qualitative. Elle est réalisée en évaluant les dérivés partiels d'E[E] par rapport à chaque variable dans leurs intervalles respectifs. En tenant compte de l'équation 18, il est possible de trouver toutes les dérivées partielles pour les variables G, C, T, P et L. Les dérivés partiels pour E[E] sont : Le hésien de E[E] est principalement composé de zéros, ce qui indique un comportement assez linéaire qui serait très acceptable pour une analyse locale. De même, les dérivés partiels pour E[R] sont : Ainsi, la matrice hésienne H de E[R] par rapport aux variables G, C, T, L et P est : La matrice hésienne d'E[R] a moins de zéros, et la petite valeur de C, trouvée dans le dénominateur de la plupart des dérivés partiels, apportera de plus grandes valeurs. 4.2.2 Global Sensitivity analysis of earnings by Sobol technique Bien que l'analyse de sensibilité locale regarde une variable à chaque fois dans le voisinage d'un point, et donc est seulement suffisante, si oui, pour les fonctions linéaires et majoritairement linéaires, l'analyse globale peut étudier l'effet de toutes les variables en même temps, pour des distributions spécifiques, même dans le cas de la non-linéarité [Saltelli et al., 2004, 2008]. Sobol [2001] a proposé une méthode pour l'analyse de la sensibilité globale basée sur l'exécution d'un modèle avec un échantillon généré sous certaines conditions, et de faire une décomposition de variance qui permettent le calcul d'un ensemble d'indices de sensibilité. L'indice Sobol de premier ordre mesure la contribution individuelle de chaque variable d'entrée à la variance dans la sortie du modèle, en ignorant les interactions avec d'autres variables. En termes plus simples, il quantifie combien de l'incertitude dans la sortie du modèle peut être directement attribuée aux changements dans une entrée spécifique, tandis que toutes les autres entrées sont maintenues fixes. L'indice Sobol de l'ordre total quantifie la contribution globale d'une variable d'entrée à la variance de sortie, en tenant compte à la fois de son effet individuel et de ses interactions avec d'autres variables. Essentiellement, il mesure l'impact d'une variable sur la sortie en comptabilisant toutes les façons possibles dont elle peut influencer le résultat, y compris ses effets combinés avec d'autres variables. Cet indice varie également entre les valeurs 0 et 1, indiquant la proportion de variabilité de sortie attribuée à l'influence totale de la variable d'entrée donnée [Sobol, 2001]. Enfin, l'indice Sobol est une extension de l'indice du premier ordre et est utilisé pour mesurer l'effet combiné ou l'interaction entre les paires, ou tuples, de variables d'entrée sur la variance de la sortie du modèle. Alors que l'indice du premier ordre se concentre sur la contribution individuelle de chaque variable, l'indice du second ordre examine comment l'interaction entre deux variables contribue à l'incertitude de la sortie, au-delà de ce qui serait attendu en fonction des effets individuels de chaque variable [Sobol, 2001]. Cela permet une bonne représentation visuelle de l'effet combiné de la paire de variables dans une matrice. De l'analyse de sensibilité globale des bénéfices pour le modèle d'exploitation commerciale, on peut voir que la valeur de P est clairement le facteur le plus important dans l'analyse du premier ordre Figure 2a. Pour l'indice de l'ordre total, la Figure 2b montre l'importance de C et T, ce qui se reflète également dans les valeurs du second ordre, montrées à la Figure 3, ce qui montre la prédominance claire de la paire C et T en tant que paire. L’analyse de la sensibilité RoI pour le modèle d’exploitation commerciale montre que le RoI est particulièrement sensible aux changements de C, T et P pour l’ordre total, dans les rangs donnés. En particulier, la combinaison de C et T a le plus grand impact sur la variation du RoI du second ordre. Puisque C et T étaient déjà les facteurs les plus importants dans l’analyse des bénéfices, on s’attend à voir leur importance dans le RoI, où ils jouent un rôle plus important dans la valeur finale de l’équation du RoI. Sur la base de ce scénario, il convient de prêter attention à une bonne prédiction de T et P, car C serait fixé pour un LLM spécifique. 4.3 Discussion du RoI vs. Dillema du gain Choisir entre des projets qui diffèrent en termes de revenus potentiels et de ROI est un dilemme commun auxquels sont confrontés les gestionnaires de projets [Project Management Institute, 2021]. Le choix entre un projet avec des revenus plus petits mais un ROI plus élevé et un autre avec des revenus plus importants mais un ROI plus faible implique un processus de prise de décision stratégique qui tient compte de divers facteurs financiers et non financiers. Bien que le ROI soit une mesure cruciale, le potentiel de gain absolu d'un projet ne doit pas être négligé. Un projet avec un ROI inférieur mais un bénéfice total plus élevé pourrait être plus bénéfique si les revenus supplémentaires ont un impact significatif sur la santé financière ou les perspectives de croissance de l'entreprise. Cependant, sous contraintes budgétaires, des projets avec des coûts plus bas et un ROI plus élevé pourraient être plus faisables, même si leur bénéfice total est inférieur. En fait, puisqu'il est généralement facile d'échanger des LLM, cela peut être une approche de démarrage. 
 
 
 
 
 
 Les auteurs : (1) Geraldo Xexéo, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil; (2) Filipe Braida, Département des sciences de l'informatique, Université fédérale rurale de Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil et Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil. Authors: (1) Geraldo Xexéo, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil; (2) Filipe Braida, Département des sciences de l'informatique, Université fédérale rurale de Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil et Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programme d’ingénierie des systèmes et de l’informatique – COPPE, Université fédérale de Rio de Janeiro, Brésil. 
 
 Ce document est disponible sous la licence CC BY-NC-ND 4.0 DEED. Ce document est disponible sous la licence CC BY-NC-ND 4.0 DEED. Disponible dans les archives

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Cet audio est produit dans la langue originale de l'histoire !

Les mathématiques délicates derrière la compression prompt et les marges de profit dans les LLM

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Les couches invisibles : pourquoi les entretiens avec les utilisateurs sont un atout irremplaçable

Des forums aux flux : comment les algorithmes des réseaux sociaux façonnent l'interaction numérique

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps