"Pirmą kartą sukūriau agentinį darbo eigą, tai buvo tarsi stebuklas, t. Y. kol užtruko 38 sekundes atsakyti į paprastą kliento užklausą ir man kainavo 1,12 dolerio už užklausą." Kai pradedate kurti agentinius darbo srautus, kuriuose autonominiai agentai planuoja ir veikia daugiapakopiais procesais, lengva atsikratyti. Lankstumas yra neįtikėtinas! Agentinių darbo srautų viduryje paprastai atsiranda našumo problemų ir geriausių optimizavimo galimybių. Per pastaruosius metus išmokau, kaip šias sistemas padaryti dramatiškai greitesnes ir ekonomiškesnes, neprarandant jų lankstumo, ir nusprendžiau sukurti šią žaidimų knygą. 
 
 
 Prieš kalbėdamas apie optimizavimą, norėjau įsitikinti, kad visi žinote, ką aš turiu omenyje, kai naudoju šiuos žodžius: 
 
 
 
 Darbo srautai: iš anksto nustatytos sekos, kurios gali arba negali naudoti LLM. : Self-directing, and they can decide which steps to take and the order in which they choose to execute. Agents : This is a hybrid where you set a general path but give the agents in your workflow the freedom to move within certain steps. Agentic Workflows Prieš kalbėdamas apie optimizavimą, norėjau įsitikinti, kad visi žinote, ką aš turiu omenyje, kai naudoju šiuos žodžius: 
 
 
 
 Darbo srautai: iš anksto nustatytos sekos, kurios gali arba negali naudoti LLM. Agentai: Savarankiškai nukreipti, ir jie gali nuspręsti, kokius veiksmus imtis ir tvarką, kurioje jie pasirenka vykdyti. Agentiniai darbo srautai: Tai yra hibridas, kuriame nustatote bendrą kelią, bet suteikiate savo darbo srauto agentams laisvę judėti tam tikrais etapais. Apžiūrėkite – Step Count Kažkas, ką kiekvienas turi turėti omenyje projektuojant agentinius darbo srautus, yra tai, kad kiekvienas modelio skambutis prideda vėlavimą. Kiekvienas papildomas šuolis yra dar viena galimybė užtrukti laiką. Ir nepamirškime, kaip tai taip pat padidina mūsų haliucinacijų tikimybę, todėl priimami sprendimai, kurie nukrypsta nuo pagrindinio tikslo. Čia pateiktos gairės yra paprastos: 
 
 
 
 Sujunkite susijusius veiksmus į vieną skubėjimą Venkite nereikalingų mikro sprendimų, kuriuos vienas modelis galėtų išspręsti vienu metu Dizainas, skirtas sumažinti apskrities keliones Šiame projektavimo etape visada yra puiki pusiausvyra, o procesas visada turėtų prasidėti mažiausiu žingsnių skaičiumi.Kai projektuoju darbo eigą, aš visada pradedu nuo vieno agento (nes galbūt mums nereikia darbo eigos) ir tada įvertinu jį pagal tam tikras metrikas ir patikrinimus, kuriuos turiu. Remiantis tuo, kur jis nepavyksta, aš pradedu suskaidyti dalis, kuriose vertinimo rezultatai neatitiko minimalių kriterijų, ir pakartoti nuo tada. Paralelizuokite viską, kas neturi priklausomybės Pasiskolindami kontekstą iš aukščiau pateikto taško, sekos grandinės taip pat yra vėlavimo spąstai. Pavyzdžiui, norėjau imituoti klientų aptarnavimo agentūros darbo eigą, kurioje galėčiau padėti klientui gauti savo užsakymo būseną, analizuoti užklausos jausmą ir generuoti atsakymą. Pradėjau nuo nuoseklaus požiūrio, bet tada supratau, kad užsakymo būsenos gavimas ir užklausos jausmo analizė nepriklauso vienas nuo kito. Kai aš turėjau šiuos du atsakymus, aš tada pateikiau aptiktą užsakymo būseną ir nuotaiką atsakymo generatoriui, ir tai lengvai nuplautų bendrą laiką nuo 12 sekundžių iki 5. Pašalinkite nereikalingus modelio skambučius Mes visi matėme pranešimus internete, kurie kalba apie tai, kaip "ChatGPT" gali šiek tiek iffy, kai kalbama apie matematiką.Na, tai tikrai geras priminimas, kad šie modeliai nebuvo sukurti tam. Be to, jei mes žinome, kokio tipo skaičiavimas turi vykti, kodėl gi ne tik koduoti jį į funkciją, kuri gali būti naudojama, o ne turėti LLM skaičių, kuris išeina savaime? Jei taisyklė, regeksas ar maža funkcija gali tai padaryti, praleiskite LLM skambutį. Modelį suderinkite su užduotimi „Ne kiekviena užduotis yra sukurta vienodai“ yra pagrindinis užduočių valdymo ir našumo principas, pripažįstant, kad užduotys skiriasi pagal jų pobūdį, reikalavimus ir svarbą. Panašiai mes turime įsitikinti, kad priskiriame tinkamas užduotis tinkamam modeliui. Šiomis dienomis yra įprasta matyti, kad žmonės kuria savo agentinius darbo srautus su didžiausiu blogiausiu modeliu, kuris pasirodė, bet tai ateina dėl uždelsto laiko. Kuo didesnis modelis, tuo daugiau reikalaujama skaičiavimo, taigi ir uždelsto laiko. Žinoma, galėtumėte jį laikyti didesnėje instancijoje ir atsikratyti jo, bet tai ateina už kainą, tiesiogine prasme. Vietoj to, būdas, kuriuo vėl projektuoju darbo eigą, būtų pradėti nuo mažiausio. Mano „go-to“ modelis yra Llama 3.1 8B, kuris pasirodė esąs ištikimas kovotojas dėl suskaidytų užduočių. Pradedu nuo to, kad visi mano agentai naudoja 8B modelį ir tada nusprendžiu, ar man reikia rasti didesnį modelį, ar, jei tai pakankamai paprasta, galbūt net nusileisti į mažesnį modelį. Nepaisant dydžio, buvo daug apie tai, kokie LLM skoniai geriausiai tinka kiekvienai užduočiai, ir tai yra dar vienas apsvarstymas, kurį reikia atsižvelgti, priklausomai nuo užduoties, kurią bandote atlikti, tipo. Tribalinės žinios Pakartokite savo skubėjimą Dabar tai yra įprastos žinios, tačiau, kai mes einame per mūsų vertinimus, mes linkę pridėti daugiau sargybinių į LLM skambutį.Tai pradeda padidinti skambutį ir, savo ruožtu, veikia vėlavimą.Yra įvairių metodų, kaip sukurti veiksmingus skambučius, į kuriuos aš neįsileisiu šiame straipsnyje, tačiau keletas metodų, kuriuos aš galiausiai naudoju, kad sumažintų mano apvalios kelionės atsakymo laiką, buvo statinių instrukcijų ir schemų skambutis. Tai apėmė dinaminio konteksto pridėjimą prie užklausos pabaigos, kad būtų galima geriau pakartotinai panaudoti talpyklą.Nustatyti aiškius atsakymo ilgio apribojimus, kad modelis nevalgytų laiko, suteikiant man nereikalingos informacijos. Slėpti viską Ankstesniame skyriuje kalbėjau apie "Prompt Caching", bet tai neturėtų būti ta vieta, kur jūs nustojate bandyti optimizuoti naudojant talpyklą. "Caching" yra ne tik galutiniams atsakymams; tai kažkas, kas turėtų būti taikoma visur, kur taikoma. Galite net įgyvendinti KV talpyklas daliniam dėmesio būsenai ir, žinoma, bet kokiems sesijos specifiniams duomenims, pvz., klientų duomenims ar jutiklių būsenoms. Spekuliatyvus dekodavimas Štai vienas iš pažengusių minios: naudokite nedidelį „dizaino“ modelį, kad greitai atspėtumėte kitą žetoną, o tada turėtumėte didesnį modelį patvirtinti ar ištaisyti juos lygiagrečiai. Išsaugokite "Fine-Tuning" paskutinį kartą - ir tai padaryti strategiškai "Finetuning" yra kažkas, apie ką daugelis žmonių kalbėjo pirmosiomis dienomis, tačiau dabar kai kurie naujesni LLM priėmėjai, atrodo, net nežino, kodėl ar kada jį naudoti. Na, tai yra kažkas, apie ką daugelis žmonių nekalba, bet yra priežastis, dėl kurios aš kalbėjau apie šį optimizavimą paskutinį kartą, ir aš tai pasieksiu šiek tiek.Kai subalansuojate LLM, kad atliktumėte užduotį, užduotis, reikalinga išvadai, yra žymiai mažesnė nei tai, ką turėtumėte kitaip, nes dabar, daugelyje kontekstų, tai, ką įdėjote į užduotį, yra kepama į svarstymus per jūsų subalansuotą procesą. Tai, savo ruožtu, patenka į pirmiau minėtą tašką, mažinant greitą ilgį ir atitinkamai vėlavimą. Monitorius be perstojo Tai yra svarbiausias žingsnis, kurį ėmiau bandydamas sumažinti vėlavimą.Tai nustato bet kurios iš aukščiau išvardytų optimizacijų pagrindą ir suteikia jums aiškumo apie tai, kas veikia ir kas ne. 
 
 
 
 
 
 Laikas į pirmąjį žetoną (TTFT) Tokenai per sekundę (TPS) Maršruto tikslumas Cache Hit rodiklis Daugiafunkcinis koordinavimo laikas Šie rodikliai jums pasakys, kur optimizuoti ir kada, nes be jų jūs skrendate aklai. Žemutinė linija Greičiausi, patikimiausi agentų darbo srautai ne tik atsitinka. Jie yra negailestingo žingsnio pjovimo, protingo paralelizacijos, deterministinio kodo, modelio dydžio teisingumo ir talpyklos rezultatas visur, kur tai prasminga.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Šis garso įrašas sukurtas originalia istorijos kalba!

Kaip sumažinti agento darbo srauto vėlavimą 3-5 kartus, nepadidinant modelio sąnaudų

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps