Tabelul din stânga Abstract și 1. introducere 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 4.2 Analiza modelului Trebuie să subliniem că, datorită utilizării LLM într-un context comercial, incertitudinile vor fi în principal în G, L și P. Ar fi rezonabil să se aștepte o distribuție normală de probabilitate pentru P și o distribuție normală sau chiar de probabilitate de putere pentru G și L. Deoarece G și L sunt valori de afaceri, iar P este rezultatul de afaceri care provine din îndeplinirea corectă a sarcinilor AI, aceste valori nu se află sub controlul direct al echipei de proiect. Pe de altă parte, T, adică mărimea tranzacției în jetoane, este mai mult sub controlul echipei de proiect, deoarece depinde de mărimea datelor utilizate și dorită la intrare și ieșire, precum și de mărimea promptului. Privind la ecuația 18, putem vedea, de asemenea, că dacă G și L sunt mari și T sunt mici, factorul CT va fi mic și E[E] va fi în principal o funcție a GP −L(1−P), și deoarece G și P sunt de așteptat să aibă aceeași distribuție pentru o singură sarcină de afaceri, P ar avea un impact mai mare. Acest lucru ar putea afecta foarte mult evaluarea tehnicilor de compresie promptă, cum ar fi LLMLinguaJiang et al. [2023a,b], Pan et al. [2024] pentru prompturi mici. De exemplu, presupunem că o sarcină de clasificare folosind o tranzacție cu 1.000 de jetoane ar putea duce la un câștig de 10 USD sau o pierdere de 1 USD. Costul acesteia ar fi de 0,005 USD în Având în vedere toate acestea, am decis să efectuăm atât o analiză locală, cât și o analiză globală a sensibilității pentru a înțelege impactul parametrilor din E[E] și E[R]. Înțelegem că sensibilitatea locală este mai ușor de înțeles și rezonabilă în acest caz, în timp ce sensibilitatea globală este teoretic mai puternică; prin urmare, analizăm și liniaritatea funcțiilor pentru a înțelege cât de valabilă este analiza locală. 4.2.1 Local Sensitivity Analysis Această primă analiză a sensibilității este locală și calitativă. se realizează prin evaluarea derivatelor parțiale ale E[E] în raport cu fiecare variabilă în intervalele respective. Luând în considerare ecuația 18, este posibil să se găsească toate derivatele parțiale pentru variabile G, C, T, P și L. Derivatele parțiale pentru E[E] sunt: Hesianul E[E] este compus în cea mai mare parte din zerouri, indicând un comportament destul de liniar care ar fi foarte acceptabil pentru o analiză locală. În mod similar, derivatele parțiale pentru E[R] sunt: Astfel, matricea hesiană H a E[R] în raport cu variabilele G, C, T, L și P este: Matricea hesiană a E[R] are mai puține zerouri, iar valoarea mică a C, găsită în numitorul celor mai multe derivate parțiale, va aduce valori mai mari. 4.2.2 Global Sensitivity analysis of earnings by Sobol technique Deși analiza sensibilității locale se uită la o variabilă la un moment dat în vecinătatea unui punct și, prin urmare, este suficientă numai pentru funcții liniare și în cea mai mare parte liniare, analiza globală poate studia efectul tuturor variabilelor în același timp, pentru distribuții specifice, chiar și în cazul non-linearității [Saltelli et al., 2004, 2008]. Sobol [2001] a propus o metodă pentru analiza sensibilității globale bazată pe rularea unui model cu un eșantion generat în anumite premise, și de a face o descompunere varianță care să permită calcularea unui set de indici de sensibilitate. Indicele Sobol de primă ordine măsoară contribuția individuală a fiecărei variabile de intrare la varianța din ieșirea modelului, ignorând interacțiunile cu alte variabile. În termeni mai simpli, cuantifică cât de multă incertitudine din ieșirea modelului poate fi atribuită direct modificărilor într-o anumită intrare, în timp ce toate celelalte intrări sunt păstrate fixe. Indicele Sobol cuantifică contribuția globală a unei variabile de intrare la varianța de ieșire, luând în considerare atât efectul său individual, cât și interacțiunile sale cu alte variabile. În esență, măsoară impactul unei variabile asupra ieșirii prin contabilizarea tuturor modurilor posibile în care poate influența rezultatul, inclusiv efectele sale combinate cu alte variabile. Acest indice variază, de asemenea, între valorile 0 și 1, indicând proporția variabilității de ieșire atribuită influenței totale a variabilei de intrare date [Sobol, 2001]. În cele din urmă, indicele Sobol este o extensie a indicelui de primă ordine și este folosit pentru a măsura efectul combinat sau interacțiunea între perechi, sau tuple, de variabile de intrare pe varianța de ieșire a modelului.În timp ce indicele de primă ordine se concentrează pe contribuția individuală a fiecărei variabile, indicele de a doua ordine examinează modul în care interacțiunea dintre două variabile contribuie la incertitudine în ieșire, dincolo de ceea ce ar fi de așteptat pe baza efectelor individuale ale fiecărei variabile [Sobol, 2001]. Din analiza de sensibilitate globală a câștigurilor pentru modelul de operațiuni comerciale, se poate vedea că valoarea P este în mod clar factorul cel mai important în analiza primului ordin Figura 2a. Pentru indicele ordinului total, Figura 2b arată importanța C și T, care se reflectă și în valorile de ordin al doilea, prezentate în Figura 3, care arată predominanța clară a perechei C și T ca pereche. Analiza sensibilității RoI pentru modelul de operare comercială arată că RoI este deosebit de sensibil la modificările C, T și P pentru ordinea totală, în intervalele date. În special, combinația C și T are un impact mai mare asupra variației RoI a celui de-al doilea ordin. Deoarece C și T au fost deja cei mai importanți factori în analiza câștigurilor, se așteaptă să vadă importanța lor în RoI, unde joacă un rol mai mare în valoarea finală a ecuației RoI. Veniturile sunt, în esență, sensibile la C și T, cu P jucând un rol important. Pe baza acestui scenariu, ar trebui să se acorde atenție unei bune predicții a T și P, deoarece C ar fi fixat pentru un anumit LLM. 4.3 Discuția despre RoI vs. Dillema de câștig Alegerea între proiecte care diferă în ceea ce privește câștigurile potențiale și ROI este o dilemă comună cu care se confruntă managerii de proiecte [Project Management Institute, 2021]. Alegerea între un proiect cu câștiguri mai mici, dar ROI mai mare și altul cu câștiguri mai mari, dar ROI mai mic implică un proces de luare a deciziilor strategice care ia în considerare diferiți factori financiari și nefinanciari. Deși ROI este o metrică crucială, potențialul absolut de câștig al unui proiect nu trebuie neglijat. Un proiect cu un ROI mai mic, dar câștiguri totale mai mari ar putea fi mai benefic dacă veniturile suplimentare afectează în mod semnificativ sănătatea financiară a companiei sau perspectivele de creștere. Cu toate acestea, sub constrângeri bugetare, proiectele cu costuri mai mici și un ROI mai mare ar putea fi mai fezabile, chiar dacă câștigurile lor totale sunt mai mici. De fapt, deoarece este de obicei ușor să schimbați LLM-urile, aceasta poate fi o abordare bootstrap. 
 
 
 
 
 
 Autorii : (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia și Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia. Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia și Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazilia. 
 
 Acest document este disponibil în arhivă sub licența CC BY-NC-ND 4.0 DEED. Acest document este sub licența CC BY-NC-ND 4.0 DEED. Disponibil în arhivă Disponibil în arhivă

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Acest audio este produs în limba originală a poveștii!

Matematica delicată din spatele compresiei prompt și a marjelor de profit în LLM

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

The World is Finally Ready for a New Internet

Intel Stuns Employees By Cutting Free Office Fruit (And Staff)

Round the year with the stars by Garrett Putman Serviss - Table of Links

Holy 🎅 HackerNoon's Web 2.5 Documentary is Out! 😮

The World is Finally Ready for a New Internet

Intel Stuns Employees By Cutting Free Office Fruit (And Staff)

Round the year with the stars by Garrett Putman Serviss - Table of Links

Holy 🎅 HackerNoon's Web 2.5 Documentary is Out! 😮

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps