Levo od stola Abstrakcija i 1. uvod 
 
 
 
 
 
 
 
 
 
 
 
 
 
 Basic premises for our models 2.1. How LLMs are charged 2.2 An anedotal model from industry 2.3 Choice of Costs in the Model 2.4 Why multiple scenarios 
 
 
 A Decision Theoretic Model 3.1 How to model success 
 
 
 
 
 A Model for Commercial Operations Based on a Single Transaction 4.1 Example of Using the Model 4.2 Model Analysis 4.3 Discussion of the RoI vs. Earning dillema 
 
 
 
 Modelling of a Binary Classification Problem 5.1 Local Sensitivity Analysis 5.2 Global Sensitivity Analysis by Sobol Method 
 
 Related Work 
 
 Future work 
 
 Conclusion, References, and Acknowledgements 4.2 Analiza modela Treba napomenuti da će zbog upotrebe LLM-a u komercijalnom kontekstu nesigurnosti biti uglavnom u G, L i P. Bilo bi razumno očekivati normalnu raspodjelu vjerojatnosti za P i normalnu ili čak raspodjelu vjerojatnosti energije za G i L. Budući da su G i L poslovne vrednosti, a P je poslovni rezultat koji dolazi od ispravnog obavljanja AI zadataka, ove vrednosti nisu pod izravnom kontrolom projektnog tima. S druge strane, T, to jest, veličina transakcije u tokenima, to je više pod kontrolom projektnog tima, jer zavisi od veličine podataka koji se koriste, i poželjno, na ulazu i izlazu, kao i veličine prompt. Treba očekivati i normalnu ili distribuciju vjerojatnosti snage za T. Konačno, za jedan LLM izabran, C je zapravo konstanta, a mi samo trebamo razumeti njegov uticaj na odluku kada se uzme u obzir više od jednog LLM. Gledajući na jednadžbu 18, možemo takođe vidjeti da ako su G i L veliki, a T mali, faktor CT će biti mali, a E[E] će biti uglavnom funkcija GP −L(1−P), a budući da se očekuje da će G i P imati istu distribuciju za jedan poslovni zadatak, P bi imao veći uticaj. To bi moglo uvelike uticati na procjenu tehnika kompresije prompt, kao što su LLMLinguaJiang et al. [2023a,b], Pan et al. [2024] za male promptove. Na primjer, pretpostavimo da bi zadatak klasifikacije pomoću transakcije od 1.000 tokena mogao rezultirati dobitkom od 10 dolara ili gubitkom od 1 dolara. Njegov trošak bi bio 0,005 dolara u GPT 4o. Stoga bi kompresija prom Uzimajući sve to u obzir, odlučili smo da obavimo i lokalnu i globalnu analizu osjetljivosti kako bismo razumeli uticaj parametara u E[E] i E[R]. Razumijemo da je lokalna osjetljivost lakše razumljiva i razumna u ovom slučaju, dok je globalna osjetljivost teorijski jača; stoga, takođe analiziramo linearnost funkcija kako bismo razumjeli koliko je važna lokalna analiza. 4.2.1 Local Sensitivity Analysis Ova prva analiza osetljivosti je lokalna i kvalitativna. Provodi se procjenom parcijalnih derivata E[E] u odnosu na svaku varijabilnu u njihovim odgovarajućim intervalima. Uzimajući u obzir jednadžbu 18, moguće je pronaći sve parcijalne derivate za varijable G, C, T, P i L. Djelomični derivati za E[E] su: Hesijanski E[E] se uglavnom sastoji od nula, što ukazuje na prilično linearno ponašanje koje bi bilo vrlo prihvatljivo za lokalnu analizu. Slično tome, djelomični derivati za E[R] su: Tako je Hesijska matrica H E[R] u odnosu na varijable G, C, T, L i P: Hesijska matrica E[R] ima manje nula, a mala vrijednost C, koja se nalazi u denominatoru većine parcijalnih derivata, donosi veće vrijednosti. 4.2.2 Global Sensitivity analysis of earnings by Sobol technique Iako lokalna analiza osetljivosti gleda na jednu promjenjivu u svakom trenutku u susjedstvu tačke, i stoga je samo adekvatna, ako je tako, za linearne i uglavnom linearne funkcije, globalna analiza može proučavati učinak svih promjenjivih istovremeno, za specifične distribucije, čak i u slučaju nelinearnosti [Saltelli et al., 2004, 2008]. Sobol [2001] predložio je metodu za globalnu analizu osjetljivosti zasnovanu na vođenju modela sa uzorkovanjem generisanim pod određenim pretpostavkama, i napraviti razliku razgradnje koje omogućuju izračun skup indeksa osjetljivosti. Indeks Sobol prvog reda mjeri individualni doprinos svake ulazne varijable varijanci u izlazu modela, ignorirajući interakcije s drugim varijabilima. U jednostavnijim izrazima, on kvantificira koliko neizvjesnosti u izlazu modela može biti direktno pripisano promjenama u određenom ulazu, dok su svi ostali ulazi fiksni. Sobol indeks kvantificira ukupni doprinos ulazne varijable na varijantu izlaza, uzimajući u obzir i njegov pojedinačni efekat i njegove interakcije s drugim varijabilima. U suštini, on mjeri uticaj varijable na izlazu računajući na sve moguće načine na koje može uticati na rezultat, uključujući njegove kombinirane efekte s drugim varijabilima. Ovaj indeks takođe varira između vrijednosti 0 i 1, pokazujući udio varijabilnosti izlaza pripisan ukupnom uticaju date ulazne varijable [Sobol, 2001]. Konačno, drugi red i viši redovi, Sobol indeks je proširenje indeksa prvog reda i koristi se za mjerenje kombiniranog učinka ili interakcije između parova, ili tupla, ulaznih varijabilnih na varijanci izlaza modela. Dok se indeks prvog reda fokusira na pojedinačni doprinos svake varijable, drugi red indeks ispituje kako interakcija između dviju varijabilnih doprinosi neizvjesnosti u izlazu, izvan onoga što bi se očekivalo na osnovu pojedinačnih efekata svake varijable [Sobol, 2001]. Iz globalne analize osjetljivosti dobiti za komercijalni model poslovanja, može se vidjeti da je vrijednost P jasno najvažniji faktor u analizi prvog reda Slika 2a. Za indeks ukupnog reda Slika 2b pokazuje važnost C i T, što se odražava i u vrednostima drugog reda, prikazanim na Slika 3, koji pokazuje jasnu prevlast para C i T kao para. Analiza osetljivosti RoI za komercijalni model poslovanja pokazuje da je RoI posebno osetljiv na promene C, T i P za ukupni redoslijed, unutar datih raspona. Konkretno, kombinacija C i T ima veći uticaj na varijaciju RoI drugog reda. Budući da su C i T već bili najvažniji čimbenici u analizi dobiti, očekuje se da će videti njihovu važnost u RoI, gdje igraju veću ulogu u konačnoj vrijednosti RoI jednadžbe. Na osnovu ovog scenarija, treba obratiti pažnju na dobru prognozu T i P, jer bi C bio fiksiran za određeni LLM. 4.3 Diskusija o RoI vs. zarada dilema Izbor između projekata koji se razlikuju u njihovim potencijalnim zaradima i RoI je uobičajena dilema s kojom se suočavaju menadžeri projekata [Project Management Institute, 2021]. Iako je ROI ključna metrika, apsolutni potencijal zarade projekta ne treba zanemariti. Projekat s nižim ROI-jem, ali višim ukupnim prihodima mogao bi biti korisniji ako dodatni prihodi značajno utiču na financijsko zdravlje ili izglede rasta kompanije. Međutim, pod budžetskim ograničenjima, projekti s nižim troškovima i višim ROI-jem mogu biti izvediviji, čak i ako su njihovi ukupni prihodi niži. Zapravo, budući da je obično lako zamijeniti LLM-ove, to može biti pristup bootstrap. Analiza trenutnih i budućih novčanih tokova mogla bi pomoći u odluci. 
 
 
 
 
 
 Autori : (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazil; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazil i Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa za inženjerstvo sistema i računara – COPPE, Federalni univerzitet u Rio de Janeiru, Brazil. Authors: (1) Geraldo Xexéo, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazil; (2) Filipe Braida, Departamento de Ciencia da Computação, Universidade Federal Rural do Rio de Janeiro; (3) Marcus Parreiras, Programa de Engenharia de Sistemas e Computação – COPPE, Universidade Federal do Rio de Janeiro, Brazil i Coordenadoria de Engenharia de Produção – COENP, CEFET/RJ, Unidade Nova Iguaçu; (4) Paulo Xavier, Programa za inženjerstvo sistema i računara – COPPE, Federalni univerzitet u Rio de Janeiru, Brazil. 
 
 Ovaj dokument je dostupan na archiv pod licencom CC BY-NC-ND 4.0 DEED. Ovaj dokument je dostupan na archiv pod licencom CC BY-NC-ND 4.0 DEED. Dostupno u Arhivu

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

How the Most Important Models Actually Work

undefined's blog

Ovaj audio je proizveden na originalnom jeziku priče!

Delikatna matematika iza prompt kompresije i marginama profita u LLM-ovima

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps