
 
 
 
 
 
 Gli autori : (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasile; Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasile e Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programma di Ingegneria dei Sistemi e della Informatica – COPPE, Universidade Federal do Rio de Janeiro, Brasile. Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasile; Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasile e Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programma di Ingegneria dei Sistemi e della Informatica – COPPE, Universidade Federal do Rio de Janeiro, Brasile. tavolo di sinistra Abstract e 1 Introduzione 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements astratto La selezione di modelli linguistici nei contesti aziendali richiede un'attenta analisi dei benefici finanziari finali dell'investimento. Tuttavia, l'enfasi dell'analisi accademica e industriale del LLM è esclusivamente sulla performance. Questo lavoro introduce un quadro per valutare i modelli LLM, concentrandosi sui guadagni e sui ritorni sugli aspetti di investimento che dovrebbero essere presi in considerazione nella decisione aziendale. Utilizziamo un approccio decisionale-theoretico per confrontare l'impatto finanziario dei diversi LLM, considerando variabili come il costo per token, la probabilità di successo nel compito specifico e i guadagni e le perdite associati all'uso di LLM. Lo studio rivela come la precisione superiore dei modelli più costosi possa, in determinate 1 Introduzione Questo articolo propone diversi approcci alla valutazione del grande modello linguistico (LLM) analizzando l'impatto finanziario che l'adozione di queste tecnologie può avere su un'operazione aziendale. Anche se la stragrande maggioranza del lavoro discute solo la performance dei LLM in un insieme di compiti [Chang et al., 2023], qui si presume che il processo di selezione di un Modello di Lingua (LLM) per compiti specifici all'interno di un contesto aziendale deve andare oltre la valutazione delle prestazioni, guardando anche agli aspetti operativi e tenendo conto dei profitti attesi e del ritorno sull'investimento (RoI). La nostra motivazione è il fatto che la scelta di un LLM appropriato è diventata una decisione strategica per le aziende che cercano di migliorare e ottimizzare le operazioni e massimizzare il ROI [Gupta, 2024]. Con la continua evoluzione delle tecnologie di intelligenza artificiale, i LLM offrono soluzioni innovative per una varietà di applicazioni aziendali, dai assistenti virtuali ai sistemi di analisi dei dati complessi. Tuttavia, la scelta tra i diversi modelli disponibili può essere impegnativa considerando i costi variabili e gli impatti sulla performance delle attività aziendali. Inoltre, la costante evoluzione dello stato dell'arte, per diversi livelli di prestazioni e costi, mostra la necessità di mettere sempre in discussione la scelta del LLM da utilizzare in un certo momento, che richiede una valutazione costante di nuovi modelli [ Il documento presenta diversi modelli per analizzare gli impatti dell'adozione di diversi LLM in base al loro impatto sui guadagni e sul ritorno sugli investimenti. Ogni modello presuppone uno scenario di operazioni aziendali che include un compito aziendale basato sull'esecuzione di un compito LLM. Ad esempio, i LLM possono essere utilizzati in un sistema di raccomandazione associato a una vendita online [Zhao et al., 2024], dove proporrà un prodotto da acquistare dal cliente. Il compito aziendale è vendere effettivamente il sistema raccomandato, mentre il tasso LLM è trovare una raccomandazione corretta. Di solito, entrambi i compiti possono essere addestrati, adattati o testati utilizzando un set di dati esistente. Inoltre, in ogni scenario di business alcune informazioni sono facili da recuperare, come il costo per token, altre possono essere stime, medie o difficili da trovare. Inoltre, diversi scenari possono anche avere risultati diversi. Ogni scenario può portare alla creazione di un nuovo modello per spiegare il RoI atteso e un'analisi della sensibilità che valuta come i cambiamenti nei parametri di input influenzano il RoI. In questo articolo, modelliamo scenari in cui i guadagni e i benefici sono il risultato diretto di una singola operazione aziendale. Questo è, ad esempio, il caso di un sistema di raccomandazione che agisce durante una vendita online, che potrebbe portare guadagni a breve termine che sono molto quantificabili. In altri scenari, elencati come lavoro futuro, un'operazione può avere un impatto solo indiretto. Questo sarebbe il caso per la rilevazione di notizie false in un social network che potrebbe migliorare la percezione della fiducia nei suoi utenti, con conseguenti benefici a lungo termine. La sezione successiva fornisce alcune considerazioni e ipotesi per i modelli. La terza sezione mostra il modello per lo scenario basato sul ROI di una singola operazione che può avere successo o no. La quarta sezione mostra il modello per lo scenario basato su un compito di classificazione binaria. La quinta sezione descrive il modello da utilizzare quando non è possibile lavorare con una singola operazione ma in realtà con il risultato generale di utilizzare un LLM nel business. La sesta sezione discute alcuni passi successivi, mentre l'ultima sezione mostra le conclusioni. 
 
 Questo documento è disponibile su archiv sotto la licenza CC BY-NC-ND 4.0 DEED. Questo documento è disponibile su archiv sotto la licenza CC BY-NC-ND 4.0 DEED. Disponibile in archivio

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Questo audio è prodotto nella lingua originale della storia!

Troppo lungo; Leggere

Make resilience your competitive advantage

Nuova ricerca rompe il ROI LLM su casi di uso aziendale

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

How to Mint Your Name.HackerNoon Web3 Identity Namespace

Streamlining Network Policy Management - Interview with Startups of the Year Nominee, Otterize

HackerNoon - A User Experience Analysis: Part 2

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

How to Mint Your Name.HackerNoon Web3 Identity Namespace

Streamlining Network Policy Management - Interview with Startups of the Year Nominee, Otterize

HackerNoon - A User Experience Analysis: Part 2

I Tried Perplexity For a Week, And I Don't Think AI Search Engines Can Replace Google.. Yet

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps