
 
 
 
 
 
 Os autores: Geraldo Xexéo, Programa de Enxeñaría de Sistemas e Computación – COPPE, Universidade Federal do Río de Xaneiro, Brasil (2) Filipe Braida, Departamento de Ciencia da Computación, Universidade Federal Rural do Río de Janeiro; (3) Marcus Parreiras, Programa de Enxeñaría de Sistemas e Computación - COPPE, Universidade Federal do Río de Xaneiro, Brasil e Coordenadoria de Enxeñaría de Produción - COENP, CEFET/RJ, Unidade Nova Iguaçu; Paulo Xavier, Programa de Enxeñaría de Sistemas e Computación - COPPE, Universidade Federal do Río de Xaneiro, Brasil. Authors: Geraldo Xexéo, Programa de Enxeñaría de Sistemas e Computación – COPPE, Universidade Federal do Río de Xaneiro, Brasil (2) Filipe Braida, Departamento de Ciencia da Computación, Universidade Federal Rural do Río de Janeiro; (3) Marcus Parreiras, Programa de Enxeñaría de Sistemas e Computación - COPPE, Universidade Federal do Río de Xaneiro, Brasil e Coordenadoria de Enxeñaría de Produción - COENP, CEFET/RJ, Unidade Nova Iguaçu; Paulo Xavier, Programa de Enxeñaría de Sistemas e Computación - COPPE, Universidade Federal do Río de Xaneiro, Brasil. Mesa da esquerda Abstracto e 1a introdución 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements Abstraccións Seleccionar modelos de linguaxe en contextos de negocios require unha análise coidadosa dos beneficios financeiros finais do investimento. Con todo, a énfase da análise académica e da industria do LLM é unicamente sobre o rendemento. Este traballo introduce un marco para avaliar os LLMs, enfocándose nos beneficios e retornos sobre os aspectos de investimento que deben ser tidos en conta na toma de decisións de negocio. Usamos un enfoque de decisión teórica para comparar o impacto financeiro de diferentes LLMs, considerando variables como o custo por token, a probabilidade de éxito na tarefa específica e os beneficios e perdas asociados co uso de LLMs. O estudo revela como a precisión superior de modelos máis caros pode, baixo certas condicións, xustificar un maior investimento a través de ganancias máis significativas pero non necesariamente un ROI 1 Introdución Este artigo propón diferentes enfoques para a avaliación do modelo de linguaxe grande (LLM) analizando o impacto financeiro que a adopción destas tecnoloxías pode ter nunha operación empresarial.Aínda que a gran maioría do traballo só discute o desempeño dos LLM nun conxunto de tarefas [Chang et al., 2023], aquí presúmese que o proceso de seleccionar un modelo de linguaxe (LLM) para tarefas específicas dentro dun contexto empresarial debe ir máis aló da avaliación do rendemento, mirando tamén os aspectos operativos e tendo en conta os beneficios esperados e o retorno sobre o investimento (RoI). A nosa motivación é o feito de que a selección dun LLM axeitado converteuse nunha decisión estratéxica para as empresas que buscan mellorar e optimizar as operacións e maximizar o ROI [Gupta, 2024]. Coa continua evolución das tecnoloxías de intelixencia artificial, os LLMs ofrecen solucións innovadoras para unha variedade de aplicacións empresariais, desde asistentes virtuais a sistemas de análise de datos complexos. Con todo, a elección entre os diferentes modelos dispoñibles pode ser desafiante tendo en conta os custos variables e os impactos no desempeño das tarefas de negocio. Ademais, a evolución constante do estado da arte, para diferentes niveis de rendemento e custo, mostra a necesidade de cuestionar sempre a elección do LLM para ser usado nun determinado momento, o que require unha avaliación constante de novos modelos [Sh O documento presenta diferentes modelos para analizar os impactos de adoptar diferentes LLM en base ao seu impacto sobre os ingresos e o retorno sobre o investimento. Cada modelo supón un escenario de operacións empresariais que inclúe unha tarefa de negocio baseada na execución dunha tarefa de LLM. Por exemplo, os LLM poden ser usados nun sistema de recomendación asociado a unha venda en liña [Zhao et al., 2024], onde proporá un produto a ser adquirido polo cliente. A tarefa de negocio é realmente vender o sistema recomendado, mentres que o tax LLM é atopar unha recomendación correcta. Normalmente, ambas as tarefas poden ser adestradas, axustadas finamente ou probadas usando un conxunto de datos existente. Con todo, os resultados empresariais reais só se poden medir durante a operación. Ademais, en cada escenario de negocio, algunha información é fácil de recuperar, como o custo por token, outros poden ser estimacións, medias ou difíciles de atopar.Ademais, diferentes escenarios tamén poden ter resultados diferentes. Neste artigo, modelamos escenarios nos que os beneficios e beneficios son o resultado directo dunha operación empresarial. Isto é, por exemplo, o caso dun sistema de recomendación que actúa durante unha venda en liña, o que podería traer beneficios a curto prazo que son moi cuantificables. noutros escenarios, listados como traballo futuro, unha operación só pode ter un impacto indirecto. Este sería o caso para a detección de noticias falsas nunha rede social que podería aumentar a percepción de confianza nos seus usuarios, resultando en beneficios a longo prazo. A seguinte sección fai algunhas consideracións e suposicións para os modelos. A terceira sección mostra o modelo para o escenario baseado no ROI dunha única operación que pode ter éxito ou non. A cuarta sección mostra o modelo para o escenario baseado nunha tarefa de clasificación binaria. A quinta sección describe o modelo a utilizar cando non é posible traballar cunha única operación pero realmente co resultado xeral de usar un LLM no negocio. A sexta sección discute algúns pasos seguintes, mentres que a última sección mostra as conclusións. 
 
 Este artigo está dispoñible en arquivo baixo a licenza CC BY-NC-ND 4.0 DEED. Este documento é baixo a licenza CC BY-NC-ND 4.0 DEED. Dispoñible en arquivo Dispoñible en arquivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Este audio está producido na lingua orixinal da historia!

Demasiado longo; Ler

Make resilience your competitive advantage

Nova investigación rompe o ROI do LLM en casos de uso empresarial

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

R Systems Blogbook—Chapter 1 is Now Open for Submissions🎉

HackerNoon Decoded 2024: Celebrating Our Programming Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

R Systems Blogbook—Chapter 1 is Now Open for Submissions🎉

HackerNoon Decoded 2024: Celebrating Our Programming Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps