Mesa de la izquierda Abstracto y 1a Introducción 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 4.2 Análisis del modelo Debemos señalar que debido al uso de LLM en un contexto comercial, las incertidumbres estarán principalmente en G, L y P. Sería razonable esperar una distribución de probabilidad normal para P y una distribución de probabilidad normal o incluso de energía para G y L. Dado que G y L son valores de negocio, y P es el resultado de negocio que viene de realizar las tareas de IA correctamente, estos valores no están bajo el control directo del equipo del proyecto. Por otro lado, T, es decir, el tamaño de la transacción en tokens, está más bajo el control del equipo del proyecto, ya que depende del tamaño de los datos utilizados, y deseado, en la entrada y la salida, y también el tamaño del prompt. Uno también debe esperar una distribución de probabilidad normal o de potencia para T. Finalmente, para un único LLM elegido, C es realmente una constante, y solo necesitamos comprender su impacto en la decisión cuando se considera más de un LLM. Mirando la ecuación 18, también podemos ver que si G y L son grandes y T son pequeños, el factor CT será pequeño y E[E] será principalmente una función de GP −L(1−P), y ya que se espera que G y P tengan la misma distribución para una sola tarea de negocio, P tendría el mayor impacto. Esto podría afectar enormemente la evaluación de las técnicas de compresión instantánea, como LLMLinguaJiang et al. [2023a,b], Pan et al. [2024] para las pequeñas prompts. Por ejemplo, supongamos que una tarea de clasificación usando una transacción de 1.000 tokens podría resultar en US$10 ganancia o US$1 pérdida. Su coste sería US$0.005 en GPT 4o. Por lo tanto, comprimir la prompt 20× ahorraría US$0.00 Teniendo en cuenta todo esto, decidimos realizar tanto un análisis de sensibilidad local como global para comprender el impacto de los parámetros en E[E] y E[R]. Entendemos que la sensibilidad local es más fácil de entender y razonable en este caso, mientras que la sensibilidad global es teóricamente más fuerte; por lo tanto, también analizamos la linealidad de las funciones para comprender cuán válida es el análisis local. 4.2.1 Local Sensitivity Analysis Este primer análisis de sensibilidad es local y cualitativo. Se realiza evaluando los derivados parciales de E[E] en relación con cada variable en sus respectivos intervalos. Teniendo en cuenta la ecuación 18, es posible encontrar todas las derivadas parciales para las variables G, C, T, P y L. Los derivados parciales para E[E] son: El hesiano de E[E] está compuesto principalmente de zeros, indicando un comportamiento bastante lineal que sería muy aceptable para un análisis local. Asimismo, los derivados parciales para E[R] son: Así, la matriz hesiana H de E[R] con respecto a las variables G, C, T, L y P es: La matriz hesiana de E[R] tiene menos zeros, y el pequeño valor de C, que se encuentra en el denominador de la mayoría de los derivados parciales, traerá mayores valores.Esta reflexión es un desafío para el análisis de sensibilidad local; sin embargo, mirar a los derivados parciales todavía permite algunas ventajas sobre la interpretabilidad. 4.2.2 Global Sensitivity analysis of earnings by Sobol technique Aunque el análisis de sensibilidad local mira a una variable en cada momento en la vecindad de un punto, y por lo tanto sólo es suficiente, si es así, para funciones lineales y en su mayoría lineales, el análisis global puede estudiar el efecto de todas las variables al mismo tiempo, para distribuciones específicas, incluso en el caso de la no linealidad [Saltelli et al., 2004, 2008]. Sobol [2001] propuso un método para el análisis de sensibilidad global basado en ejecutar un modelo con una muestra generada bajo ciertas premisas, y hacer una descomposición de varianza que permita el cálculo de un conjunto de índices de sensibilidad. El índice Sobol de primer orden mide la contribución individual de cada variable de entrada a la varianza en la salida del modelo, ignorando las interacciones con otras variables. En términos más simples, cuantifica cuánta de la incertidumbre en la salida del modelo puede atribuirse directamente a cambios en una entrada específica, mientras que todas las otras entradas se mantienen fijas. El índice Sobol cuantifica la contribución global de una variable de entrada a la varianza de salida, teniendo en cuenta tanto su efecto individual como sus interacciones con otras variables. En esencia, mide el impacto de una variable en la salida contabilizando todas las maneras posibles en que puede influir en el resultado, incluyendo sus efectos combinados con otras variables. Este índice también varía entre los valores 0 y 1, indicando la proporción de variabilidad de salida atribuida a la influencia total de la variable de entrada dada [Sobol, 2001]. Por último, el índice Sobol es una extensión del índice de primer orden y se utiliza para medir el efecto combinado o interacción entre pares, o tuples, de variables de entrada sobre la variabilidad de la salida del modelo. Mientras que el índice de primer orden se centra en la contribución individual de cada variable, el índice de segundo orden examina cómo la interacción entre dos variables contribuye a la incertidumbre en la salida, más allá de lo que se esperaría basándose en los efectos individuales de cada variable [Sobol, 2001]. Esto permite una buena representación visual del efecto combinado de la pareja de variables en una matriz. A partir del análisis global de sensibilidad de los ingresos para el modelo de operación comercial, se puede ver que el valor de P es claramente el factor más importante en el análisis del primer orden Figura 2a. Para el índice de orden total, la Figura 2b muestra la importancia de C y T, que también se refleja en los valores del segundo orden, mostrado en la Figura 3, que muestra la clara predominancia del par C y T como pareja. El análisis de la sensibilidad de RoI para el modelo de operación comercial muestra que RoI es particularmente sensible a los cambios de C, T y P para el orden total, dentro de los intervalos dados. En particular, la combinación de C y T tiene el mayor impacto en la variación de RoI del segundo orden. Dado que C y T ya eran los factores más importantes en el análisis de ganancias, se espera que vean su importancia en RoI, donde juegan un mayor papel en el valor final de la ecuación de RoI. Los ingresos son básicamente sensibles a C y T, con P desempeñando un papel importante.Baseado en este escenario, uno debe prestar atención a una buena predicción de T y P, ya que C sería fijado para un LLM específico. 4.3 Discusión del RoI vs. Dillema de ganancias Seleccionar entre proyectos que difieren en sus ganancias potenciales y el ROI es un dilema común que enfrentan los gerentes de proyectos [Project Management Institute, 2021]. La elección entre un proyecto con ganancias más pequeñas pero un ROI más alto y otro con ganancias más grandes pero un ROI más bajo implica un proceso de toma de decisiones estratégica que tiene en cuenta varios factores financieros y no financieros. Aunque el ROI es una métrica crucial, el potencial de ganancias absoluto de un proyecto no debe ser ignorado. Un proyecto con un ROI más bajo pero ganancias totales más altas podría ser más beneficioso si los ingresos adicionales afectan significativamente la salud financiera o las perspectivas de crecimiento de la empresa. Sin embargo, bajo restricciones presupuestarias, los proyectos con costes más bajos y un ROI más alto podrían ser más viables, incluso si sus ganancias totales son más bajas. De hecho, ya que generalmente es fácil intercambiar LLMs, esto puede ser un enfoque bootstrap. El análisis del flujo de efectivo actual y futuro podría ayudar con la decisión. 
 
 
 
 
 
 Los autores: Geraldo Xexéo, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Filipe Braida, Departamento de Ciencia de la Computación, Universidad Federal Rural de Río de Janeiro. (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil y Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Authors: Geraldo Xexéo, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Filipe Braida, Departamento de Ciencia de la Computación, Universidad Federal Rural de Río de Janeiro. (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil y Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. 
 
 Este artículo está disponible en archiv bajo la licencia CC BY-NC-ND 4.0 DEED. Este artículo está disponible en archiv bajo la licencia CC BY-NC-ND 4.0 DEED. Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Este audio es producido en el idioma original de la historia!

Las matemáticas delicadas detrás de la compresión prompt y los márgenes de beneficio en los LLM

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

La fuga rápida del sistema Claude Sonnet 3.5: un análisis forense

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

De los foros a los feeds: cómo los algoritmos de las redes sociales influyen en la interacción digital

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps