Kreisā galda Abstrakts un 1. ievads 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 4.2 Modelēšanas analīze Mums jānorāda, ka sakarā ar LLM izmantošanu komerciālā kontekstā nenoteiktības galvenokārt būs G, L un P. Būtu saprātīgi sagaidīt normālu P varbūtības sadalījumu un normālu vai pat jaudas varbūtības sadalījumu G un L. Tā kā G un L ir biznesa vērtības, un P ir biznesa rezultāts, kas nāk no AI uzdevumu pareizas veikšanas, šīs vērtības nav tieši projekta komandas kontrolē. No otras puses, T, tas ir, darījuma lielums žetonos, tas ir vairāk projekta komandas kontrolē, jo tas ir atkarīgs no izmantoto un vēlamo datu lieluma ieejas un izejas laikā, kā arī pieprasījuma lieluma.Jums vajadzētu arī sagaidīt normālu vai jaudas varbūtības sadalījumu T. Visbeidzot, vienam izvēlētajam LLM, C faktiski ir konstants, un mums ir jāsaprot tikai tā ietekme uz lēmumu, kad tiek ņemts vērā vairāk nekā viens LLM. Skatoties uz vienādojumu 18, mēs varam arī redzēt, ka, ja G un L ir lieli un T ir mazs, faktors CT būs mazs un E[E] galvenokārt būs GP −L(1−P) funkcija, un, tā kā G un P tiek sagaidīts, ka vienam uzņēmējdarbības uzdevumam būs tāds pats sadalījums, P varētu radīt lielāku ietekmi. Tas varētu ievērojami ietekmēt ātrās saspiešanas paņēmienu novērtējumu, piemēram, LLMLinguaJiang et al. [2023a,b], Pan et al. [2024] maziem paņēmieniem. Piemēram, pieņemt, ka klasifikācijas uzdevums, izmantojot 1000 tokenu darījumu, varētu izraisīt 10 ASV dolāru peļņu vai 1 ASV dolāru zaudējumus. Tāpēc, saspiežot 20× pa Ņemot to vērā, mēs nolēmām veikt gan vietējo, gan globālo jutīguma analīzi, lai saprastu E[E] un E[R] parametru ietekmi.Mēs saprotam, ka šajā gadījumā vietējā jutība ir vieglāk saprotama un saprātīga, bet globālā jutība ir teorētiski spēcīgāka; tāpēc mēs arī analizējam funkciju linearitāti, lai saprastu, cik derīga ir vietējā analīze. 4.2.1 Local Sensitivity Analysis Šī pirmā jutīguma analīze ir lokāla un kvalitatīva. tā tiek veikta, novērtējot E[E] daļējos atvasinājumus attiecībā pret katru mainīgo to attiecīgajos intervālos. Ņemot vērā 18. vienādojumu, ir iespējams atrast visus daļējos atvasinājumus mainīgajiem G, C, T, P un L. Daļējie atvasinājumi E[E] ir: Hēsijas E[E] lielākoties sastāv no nulliem, kas norāda uz diezgan lineāru uzvedību, kas būtu ļoti pieņemama vietējai analīzei. Līdzīgi E[R] daļējie atvasinājumi ir: Tādējādi Hēsijas matrica H no E[R] attiecībā uz mainīgajiem G, C, T, L un P ir: E[R] Hēsijas matricai ir mazāk nulles, un mazā C vērtība, kas atrodama lielāko daļu daļējo atvasinājumu nosaukumā, radīs lielākas vērtības.Šī atspoguļošana ir izaicinājums vietējai jutīguma analīzei; tomēr, aplūkojot daļējos atvasinājumus, joprojām ir dažas priekšrocības interpretējamībā. 4.2.2 Global Sensitivity analysis of earnings by Sobol technique Lai gan vietējā jutīguma analīze katru reizi skatās uz vienu mainīgo punkta tuvumā un tādējādi ir pietiekama tikai lineārām un galvenokārt lineārām funkcijām, globālā analīze var vienlaikus izpētīt visu mainīgo ietekmi uz konkrētiem sadalījumiem, pat nelinearitātes gadījumā [Saltelli et al., 2004, 2008]. Sobol [2001] ierosināja globālās jutības analīzes metodi, pamatojoties uz modeļa darbību ar paraugu ņemšanu, kas izveidota noteiktos apstākļos, un variance sadalījumu, kas ļauj aprēķināt sensitivitātes indeksu kopumu. Pirmās kārtas Sobol indekss mēra katra ieejas mainīgā individuālo ieguldījumu variancē modeļa iznākumā, ignorējot mijiedarbību ar citām mainīgajām. Vienkāršāk sakot, tas kvantificē, cik daudz nenoteiktības modeļa iznākumā var tieši attiecināt uz izmaiņām noteiktā ieejā, bet visi pārējie ieejas tiek turēti fiksēti. Sobol indekss kvantificē ievades mainīgās vērtības kopējo ieguldījumu iznākuma variancē, ņemot vērā gan tās individuālo efektu, gan tās mijiedarbību ar citām mainīgajām vērtībām. Būtībā tas mēra mainīgās vērtības ietekmi uz iznākumu, ņemot vērā visus iespējamos veidus, kā tā var ietekmēt rezultātu, tostarp tās kombinētās ietekmes ar citām mainīgajām vērtībām. Visbeidzot, otrās kārtas un augstākie pasūtījumi, Sobol indekss ir pirmās kārtas indeksa paplašinājums un tiek izmantots, lai izmērītu ieejas mainīgo pāru vai tuplu kombināciju vai mijiedarbību uz modeļa iznākuma variantiem. Kamēr pirmās kārtas indekss koncentrējas uz katras mainīgās vienības individuālo ieguldījumu, otrās kārtas indekss pārbauda, kā divu mainīgo mijiedarbība veicina nenoteiktību iznākumā, kas pārsniedz to, ko varētu sagaidīt, pamatojoties uz katras mainīgās vienības individuālajiem efektiem [Sobol, 2001]. No komercdarbības modeļa peļņas globālās jutības analīzes var redzēt, ka P vērtība ir skaidri vissvarīgākais faktors pirmā pasūtījuma analīzē 2.a. Par kopējo pasūtījuma indeksu 2.b attēls parāda C un T nozīmi, kas atspoguļojas arī otrā pasūtījuma vērtībās, kas parādītas 3. attēlā, kas parāda C un T pāru kā pāru skaidru pārsvaru. Komercdarbības modeļa RoI jutīguma analīze parāda, ka RoI ir īpaši jutīgs pret izmaiņām C, T un P kopējā secībā, norādītajos diapazonos. jo īpaši C un T kombinācijai ir lielāka ietekme uz otrās kārtas RoI izmaiņām. Pamatojoties uz šo scenāriju, jāpievērš uzmanība labai T un P prognozei, jo C būtu fiksēts konkrētam LLM. 4.3 Diskusija par RoI vs. nopelnīt dilema Izvēle starp projektiem, kas atšķiras potenciālajos ienākumos un RoI, ir kopīga dilemma, ar kuru saskaras projektu vadītāji [Project Management Institute, 2021]. Izvēle starp projektu ar mazākiem ienākumiem, bet augstāku RoI un citu ar lielākiem ienākumiem, bet zemāku RoI ietver stratēģisku lēmumu pieņemšanas procesu, kas ņem vērā dažādus finanšu un nefinanšu faktorus. Lai gan ROI ir svarīgs rādītājs, nevajadzētu aizmirst par projekta absolūto peļņas potenciālu. Projekts ar zemāku ROI, bet augstāku kopējo peļņu var būt izdevīgāks, ja papildu ieņēmumi būtiski ietekmē uzņēmuma finansiālo veselību vai izaugsmes perspektīvas. Tomēr, ievērojot budžeta ierobežojumus, projekti ar zemākām izmaksām un augstāku ROI var būt dzīvotspējīgāki, pat ja to kopējie ieņēmumi ir zemāki. Patiesībā, tā kā parasti ir viegli apmainīties ar LLM, tas var būt bootstrap pieeja. Pašreizējās un nākotnes naudas plūsmas analīze varētu palīdzēt ar lēmumu. 
 
 
 
 
 
 Autori : (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazīlija; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazīlija un Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programma sistēmu un datoru inženierijai – COPPE, Rio de Janeiro Federālā universitāte, Brazīlija. Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazīlija; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazīlija un Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programma sistēmu un datoru inženierijai – COPPE, Rio de Janeiro Federālā universitāte, Brazīlija. 
 
 Šis dokuments ir pieejams ar CC BY-NC-ND 4.0 DEED licenci. Šis dokuments ir pieejams ar CC BY-NC-ND 4.0 DEED licenci. Pieejams arhīvā

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Šis audio ir izveidots stāsta oriģinālvalodā!

Delikātā matemātika aiz prompt kompresijas un peļņas robežām LLM

About Author

KOMENTĀRI

PAKARINĀT TAGUS

ŠIS RAKSTS TIKS PĀRSTRĀDĀTS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps