
 
 
 
 
 
 Autorii : (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia și Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia. Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia și Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia. Tabelul din stânga Abstract și 1. introducere 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements abstractă Selectarea modelelor de limbă în contexte de afaceri necesită o analiză atentă a beneficiilor financiare finale ale investiției. Cu toate acestea, accentul analizei academice și industriale a LLM este exclusiv pe performanță. Această lucrare introduce un cadru pentru evaluarea LLM-urilor, concentrându-se pe profiturile și randamentul pe aspectele de investiții care ar trebui luate în considerare în luarea deciziilor de afaceri. Folosim o abordare decizional-teoretică pentru a compara impactul financiar al diferitelor LLM-uri, luând în considerare variabile precum costul pe token, probabilitatea de succes în sarcina specifică și câștigurile și pierderile asociate cu utilizarea LLM-urilor. Studiul dezvăluie modul în care precizia superioară a modelelor mai scumpe poate, în anumite condi 1 Introducere Deși marea majoritate a lucrărilor discută doar despre performanța LLM într-un set de sarcini [Chang et al., 2023], aici se presupune că procesul de selectare a unui Model de Limbă (LLM) pentru sarcini specifice într-un context de afaceri trebuie să meargă dincolo de evaluarea performanței, luând în considerare și aspectele operaționale și luând în considerare câștigurile așteptate și randamentul investiției (RoI). Motivația noastră este faptul că alegerea unui LLM adecvat a devenit o decizie strategică pentru companiile care doresc să îmbunătățească și să optimizeze operațiunile și să maximizeze ROI [Gupta, 2024]. Cu evoluția continuă a tehnologiilor de inteligență artificială, LLM-urile oferă soluții inovatoare pentru o varietate de aplicații de afaceri, de la asistenți virtuali la sisteme complexe de analiză a datelor. Cu toate acestea, alegerea între diferitele modele disponibile poate fi provocatoare având în vedere costurile variabile și impactul asupra performanței sarcinilor de afaceri. În plus, evoluția constantă a state-of-the-art, pentru diferite niveluri de performanță și costuri, arată necesitatea de a pune întotdeauna sub semnul întrebării alegerea LLM-ului care urmează să fie utilizat într-un Documentul prezintă modele diferite pentru a analiza impactul adoptării diferitelor LLM-uri pe baza impactului lor asupra câștigurilor și a rentabilității investițiilor. Fiecare model presupune un scenariu al operațiunilor de afaceri care include o sarcină de afaceri bazată pe executarea unei sarcini LLM. De exemplu, LLM-urile pot fi utilizate într-un sistem de recomandare asociat unei vânzări online [Zhao et al., 2024], unde va propune un produs care să fie achiziționat de client. Sarcina de afaceri este de a vinde de fapt sistemul recomandat, în timp ce taxa LLM este de a găsi o recomandare corectă. De obicei, ambele sarcini pot fi instruite, ajustate fin sau testate folosind un set de date existent. Cu toate acestea, rezultatele reale ale afacerii pot fi măsurate În plus, în fiecare scenariu de afaceri, unele informații sunt ușor de recuperat, cum ar fi costul pe token, altele pot fi estimări, medii sau dificil de găsit.În plus, diferite scenarii pot avea, de asemenea, rezultate diferite. În acest articol, modelăm scenarii în care câștigurile și beneficiile sunt rezultatul direct al unei operațiuni de afaceri. Acesta este, de exemplu, cazul unui sistem de recomandare care acționează în timpul unei vânzări online, ceea ce ar putea aduce câștiguri pe termen scurt care sunt foarte cuantificabile. În alte scenarii, enumerate ca lucrări viitoare, o operațiune poate avea doar un impact indirect. Acest lucru ar fi cazul detectării știrilor false într-o rețea socială care ar putea spori percepția încrederii în utilizatorii săi, rezultând beneficii pe termen lung. Următoarea secțiune face unele considerații și ipoteze pentru modele. A treia secțiune prezintă modelul pentru scenariu bazat pe ROI-ul unei singure operațiuni care poate reuși sau nu. A patra secțiune prezintă modelul pentru scenariu bazat pe o sarcină de clasificare binară. A cincea secțiune descrie modelul care trebuie utilizat atunci când nu este posibil să se lucreze cu o singură operațiune, ci de fapt cu rezultatul general al utilizării unui LLM în afaceri. A șasea secțiune discută câteva etape ulterioare, în timp ce ultima secțiune prezintă concluziile. 
 
 Acest document este disponibil în arhivă sub licența CC BY-NC-ND 4.0 DEED. Acest document este sub licența CC BY-NC-ND 4.0 DEED. Disponibil în arhivă Disponibil în arhivă

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Acest audio este produs în limba originală a poveștii!

Noua cercetare rupe ROI LLM peste cazurile de utilizare a afacerilor

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

The Robots Are Taking Over

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 1 Results 🎉

Design Shifts at HackerNoon: Streamlined Top Nav, Quick Search and Settings Dashboard 🚀

Intel Stuns Employees By Cutting Free Office Fruit (And Staff)

The Robots Are Taking Over

The #bitcoin Writing Contest by Rootstock and HackerNoon: Round 1 Results 🎉

Design Shifts at HackerNoon: Streamlined Top Nav, Quick Search and Settings Dashboard 🚀

Intel Stuns Employees By Cutting Free Office Fruit (And Staff)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps