
 
 
 
 
 
 Los autores: Geraldo Xexéo, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Filipe Braida, Departamento de Ciencia de la Computación, Universidad Federal Rural de Río de Janeiro. (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil y Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Authors: Geraldo Xexéo, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Filipe Braida, Departamento de Ciencia de la Computación, Universidad Federal Rural de Río de Janeiro. (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasil y Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Ingeniería de Sistemas y Computación – COPPE, Universidad Federal de Río de Janeiro, Brasil. Mesa de la izquierda Abstracto y 1a Introducción 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements Abstracción Seleccionar modelos de lenguaje en contextos de negocios requiere un análisis cuidadoso de los beneficios financieros finales de la inversión. Sin embargo, el énfasis del análisis académico y de la industria de LLM está únicamente en el rendimiento. Este trabajo introduce un marco para evaluar los LLM, enfocándose en los beneficios y retornos en los aspectos de inversión que deben tenerse en cuenta en la toma de decisiones de negocios. Utilizamos un enfoque de decisión-teoría para comparar el impacto financiero de diferentes LLM, considerando variables como el coste por token, la probabilidad de éxito en la tarea específica, y los beneficios y pérdidas asociados con el uso de LLM. El estudio revela cómo la precisión superior de los modelos más caros puede, bajo ciertas condiciones, justificar una mayor inversión a través de ganancias más significativas pero 1 Introducción Este artículo propone diferentes enfoques para la evaluación del modelo de lenguaje grande (LLM) analizando el impacto financiero que la adopción de estas tecnologías puede tener en una operación empresarial.Aunque la gran mayoría del trabajo sólo discute el rendimiento de los LLM en un conjunto de tareas [Chang et al., 2023], aquí se asume que el proceso de selección de un modelo de lenguaje (LLM) para tareas específicas dentro de un contexto empresarial debe ir más allá de la evaluación del rendimiento, mirando también a aspectos operativos y teniendo en cuenta los beneficios esperados y el retorno de la inversión (RoI). Nuestra motivación es el hecho de que la selección de un LLM adecuado se ha convertido en una decisión estratégica para las empresas que buscan mejorar y optimizar las operaciones y maximizar el ROI [Gupta, 2024]. Con la evolución continua de las tecnologías de inteligencia artificial, los LLMs ofrecen soluciones innovadoras para una variedad de aplicaciones empresariales, desde asistentes virtuales a sistemas complejos de análisis de datos. Sin embargo, elegir entre los diferentes modelos disponibles puede ser desafiante teniendo en cuenta los costes variables e impactos en el desempeño de las tareas de negocio. Además, la evolución constante del estado de la arte, para diferentes niveles de rendimiento y costes, muestra la necesidad de cuestionar siempre la elección del LLM para ser utilizado en un momento determinado, lo que requiere una evaluación constante de nuevos modelos [Shhar El documento presenta diferentes modelos para analizar los impactos de adoptar diferentes LLM en función de su impacto en los ingresos y el retorno de la inversión. Cada modelo supone un escenario de operaciones comerciales que incluye una tarea de negocio basada en la ejecución de una tarea de LLM. Por ejemplo, los LLM pueden ser utilizados en un sistema de recomendación asociado a una venta en línea [Zhao et al., 2024], donde propondrá un producto para ser adquirido por el cliente. La tarea de negocio es realmente vender el sistema recomendado, mientras que el tax de LLM es encontrar una recomendación correcta. Por lo general, ambas tareas pueden ser entrenadas, ajustadas o probadas usando un conjunto de datos existente. Sin embargo, los resultados empresariales reales sólo se pueden medir mientras están en funcionamiento. Además, en cada escenario de negocio algunas informaciones son fáciles de recuperar, como el coste por token, otras pueden ser estimaciones, medias o difíciles de encontrar. Además, diferentes escenarios también pueden tener resultados diferentes. Cada escenario puede conducir a la creación de un nuevo modelo para explicar el RoI esperado y un análisis de sensibilidad que evalúa cómo los cambios en los parámetros de entrada afectan al RoI. En este artículo, modelamos escenarios en los que las ganancias y beneficios son el resultado directo de una operación empresarial. Esto es, por ejemplo, el caso de un sistema de recomendación que actúa durante una venta en línea, lo que podría traer ganancias a corto plazo que son muy cuantificables. En otros escenarios, listados como trabajo futuro, una operación puede tener solo un impacto indirecto. Este sería el caso para la detección de noticias falsas en una red social que podría mejorar la percepción de confianza en sus usuarios, resultando en beneficios a largo plazo. La siguiente sección hace algunas consideraciones y suposiciones para los modelos. La tercera sección muestra el modelo para el escenario basado en el ROI de una sola operación que puede tener éxito o no. La cuarta sección muestra el modelo para el escenario basado en una tarea de clasificación binaria. La quinta sección describe el modelo a utilizar cuando no es posible trabajar con una sola operación pero realmente con el resultado general de usar un LLM en el negocio. La sexta sección discute algunos pasos siguientes, mientras que la última sección muestra las conclusiones. 
 
 Este artículo está disponible en archiv bajo la licencia CC BY-NC-ND 4.0 DEED. Este documento es bajo licencia CC BY-NC-ND 4.0 DEED. Disponible en Archivo Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Este audio es producido en el idioma original de la historia!

Nueva investigación rompe el ROI de LLM en todos los casos de uso empresarial

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Aumente su productividad con estas 18 herramientas para desarrolladores 🚀🔥

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps