
 
 
 
 
 
 Forfattere af: (1) Geraldo Xexéo, Program de Engenharia de Sistemas e Computação – COPPE, Universidad Federal do Rio de Janeiro, Brasilien (2) Filipe Braida, Departamento de Ciencia da Computação, Universidad Federal Rural do Rio de Janeiro (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasilien og Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Program for Systemteknologi og Computation - COPPE, Universidad Federal do Rio de Janeiro, Brasilien. Authors: (1) Geraldo Xexéo, Program de Engenharia de Sistemas e Computação – COPPE, Universidad Federal do Rio de Janeiro, Brasilien (2) Filipe Braida, Departamento de Ciencia da Computação, Universidad Federal Rural do Rio de Janeiro (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brasilien og Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Program for Systemteknologi og Computation - COPPE, Universidad Federal do Rio de Janeiro, Brasilien. Bord til venstre Abstract og 1. introduktion 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements Abstrakte Valg af sprogmodeller i forretningssammenhænge kræver en omhyggelig analyse af de endelige finansielle fordele ved investeringen. Derimod lægger den akademiske og industrielle analyse af LLM kun vægt på ydeevne. Dette arbejde introducerer en ramme for at evaluere LLM'er, der fokuserer på indtjening og afkast på investeringsaspekter, der skal tages i betragtning i forretningsbeslutningerne. Vi bruger en beslutningsteoretisk tilgang til at sammenligne de finansielle virkninger af forskellige LLM'er, under hensyntagen til variabler som omkostningerne pr. token, sandsynligheden for succes i den specifikke opgave og gevinsten og tabet forbundet med LLM'ernes brug. Undersøgelsen afslører, hvordan den overlegne nøjagtighed af dyrere 1 Introduktion Denne artikel foreslår forskellige tilgange til storsprogsmodel (LLM) evaluering ved at analysere den økonomiske indvirkning, som vedtagelsen af disse teknologier kan have på en forretningsdrift.Selvom det store flertal af arbejdet kun diskuterer ydeevnen af LLM'er i et sæt opgaver [Chang et al., 2023], her er det antaget, at processen med at vælge en sprogmodel (LLM) til specifikke opgaver inden for en forretningskontekst skal gå ud over præstationsvurdering, ser også på operationelle aspekter og under hensyntagen til den forventede indtjening og afkast på investering (RoI). Vores motivation er det faktum, at valget af en passende LLM er blevet en strategisk beslutning for virksomheder, der søger at forbedre og optimere operationer og maksimere RoI [Gupta, 2024]. Med den fortsatte udvikling af kunstig intelligensteknologier tilbyder LLM'er innovative løsninger til en bred vifte af forretningsapplikationer, fra virtuelle assistenter til komplekse dataanalysesystemer. Men valget mellem de forskellige modeller til rådighed kan være udfordrende under hensyntagen til variable omkostninger og virkninger på udførelsen af forretningsopgaver. Desuden viser den konstante udvikling af state-of-the-art, for forskellige ydeevne og omkostningsniveauer, behovet for altid at sætte spørgsmålstegn ved valget af LLM at blive brugt på et bestemt tidspunkt, hvilket kræver konstant evaluering af nye modeller [Shharek Artiklen præsenterer forskellige modeller til at analysere virkningen af at vedtage forskellige LLMs baseret på deres indvirkning på indtjening og afkast på investering. Hver model antager et scenario for forretningsoperationer, der omfatter en forretningsopgave baseret på udførelsen af en LLM-opgave. For eksempel kan LLM'er anvendes i et anbefalingssystem forbundet med et online salg [Zhao et al., 2024], hvor det vil foreslå et produkt, der skal erhverves af kunden. Forretningsopgaven er faktisk at sælge det anbefalede system, mens LLM-taksen er at finde en korrekt anbefaling. Normalt kan begge opgaver trænes, finjusteres eller testes ved hjælp af et eksisterende datasæt. Men faktiske forretningsresultater kan kun måles under drift. Desuden er der i hvert forretningsscenario nogle oplysninger, der er nemme at hente, såsom omkostninger pr. token, andre kan være estimater, gennemsnit eller vanskelige at finde. Desuden kan forskellige scenarier også have forskellige resultater. I dette papir modellerer vi scenarier, hvor gevinster og fordele er det direkte resultat af en forretningsoperation. Dette er for eksempel tilfældet for et anbefalingssystem, der handler under et online salg, hvilket kunne bringe kortsigtede gevinster, der er meget kvantificerbare. I andre scenarier, der er opført som fremtidigt arbejde, kan en operation kun have en indirekte indvirkning. Dette ville være tilfældet for påvisning af falske nyheder i et socialt netværk, der kunne øge opfattelsen af tillid i sine brugere, hvilket resulterede i langsigtede fordele. Følgende afsnit gør nogle overvejelser og antagelser for modellerne. Det tredje afsnit viser modellen for scenariet baseret på RoI af en enkelt operation, der kan lykkes eller ikke. Det fjerde afsnit viser modellen for scenariet baseret på en binær klassificeringsopgave. Det femte afsnit beskriver modellen, der skal anvendes, når det ikke er muligt at arbejde med en enkelt operation, men faktisk med det generelle resultat af at bruge en LLM i erhvervslivet. Det sjette afsnit diskuterer nogle næste trin, mens det sidste afsnit viser konklusionerne. 
 
 Denne artikel er tilgængelig på arkiv under CC BY-NC-ND 4.0 DEED licens. Denne artikel er tilgængelig på arkiv under CC BY-NC-ND 4.0 DEED licens. Tilgængelig i arkivet

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Denne lyd er produceret på historiens originalsprog!

For langt; At læse

Make resilience your competitive advantage

Ny forskning nedbryder LLM ROI på tværs af erhvervsmæssige brugssager

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet HubSpot: HackerNoon Company of the Week

Meet Timescale: HackerNoon Company of the Week

Meet inDrive: The HackerNoon Company of the Week

Yale Media Relations for Entrepreneurs with Journalist Walter Thompson & HackerNoon CEO David Smooke

Meet HubSpot: HackerNoon Company of the Week

Meet Timescale: HackerNoon Company of the Week

Meet inDrive: The HackerNoon Company of the Week

Yale Media Relations for Entrepreneurs with Journalist Walter Thompson & HackerNoon CEO David Smooke

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps