"Ang unang pagkakataon na binubuo ko ang isang workflow ng agensya, ito ay tulad ng pag-aralan ng magic, i.e., hanggang nangangailangan ko ng 38 segundo upang tumugon sa isang simple customer query at nagkakahalaga sa akin $ 1.12 per request." Kapag bumalik na ako sa UP, i'll start building a new me. i'll start building a new me. i'll start building a new me. i'll start building a new me. Ang middle ground sa mga workflows ng Agentic ay kung saan ang mga problema sa pagganap at ang pinakamahusay na mga pagkakataon sa optimization ay karaniwang lumikha. Sa loob ng isang taon na ang nakalipas, nakita ko kung paano gawin ang mga sistema na ito dramatically mas mabilis at mas kumplikado nang hindi na-sacrifice ang kanilang flexibility, at nagsisimula na lumikha ng playbook na ito. 
 
 
 Kapag bumalik na ako sa pag-optimize, gusto ko na sigurado na alam mo lahat kung ano ang ibig sabihin ko kapag ginagamit ko ang mga sumusunod na mga salita: 
 
 
 
 Workflows: Predetermined sequences na maaaring o hindi maaaring gamitin ang isang LLM sa lahat. : Self-directing, and they can decide which steps to take and the order in which they choose to execute. Agents : This is a hybrid where you set a general path but give the agents in your workflow the freedom to move within certain steps. Agentic Workflows Kapag bumalik na ako sa pag-optimize, gusto ko na sigurado na alam mo lahat kung ano ang ibig sabihin ko kapag ginagamit ko ang mga sumusunod na mga salita: 
 
 
 
 Workflows: Predetermined sequences na maaaring o hindi maaaring gamitin ang isang LLM sa lahat. Agents: Self-directing, at sila ay maaaring magpasya kung ano ang mga hakbang upang gawin at ang order sa kung saan sila ay piliin upang buksan. Agentic Workflows: Ito ay isang hybrid na kung saan i-set ang isang pangkalahatang path ngunit nagbibigay ang mga agens sa iyong workflow ang kaligtasan upang lumipat sa loob ng anumang mga patakaran. Mga pahinang tumuturo sa Step Count Ang isang bagay na kailangan ng lahat upang mag-iisip sa pagdisenyo ng mga workflows ng agensya ay na ang bawat model call ay nagtatag ng latency. Ang bawat extra hop ay isang pangalawang pagkakataon para sa isang timeout. At huwag mangyaring mag-iisip tungkol sa kung paano ito ay nagbabago rin ang aming pagkakataon ng mga hallucinations, nangangahulugan na ang mga decision sa paggawa na umuwi mula sa pangunahing target. Ang mga guidelines dito ay simple: 
 
 
 
 I-configure ang mga patakaran sa isang single prompt Huwag gamitin ang mga unnecessary micro-decisions na ang isang single model ay maaaring magtatrabaho sa isang pagkakataon Design upang minimize ang round-trips Sa pag-disenyo ng isang workflow, ako ay palaging nagsisimula sa isang single agent ( dahil maaaring hindi namin kailangan ng isang workflow sa lahat) at pagkatapos ay i-evaluate ito laban sa anumang mga metrikong at mga check na mayroon ko. Sa pagitan ng kung saan ito ay hindi, nagsimula ko na i-decompose ang mga bahagi kung saan ang mga score ng pag-evaluation ay hindi matugunan ang mga minimum na mga criteria, at iterate mula sa pagkatapos. Magsimula, ako ay dumating sa punto ng mabawasan ng mga return, tulad ng ang paraan ng elbow sa clustering, at piliin ang aking step count ayon. Parallelize ang anumang bagay na walang dependencies Sa paglipas ng konteksto mula sa punto sa itaas, sequential chains ay latency traps, too. If two asks don't need each other's output, run them together! Bilang isang halimbawa, nais kong i-simulate ang isang workflow ng customer support agency kung saan maaari kong tulungan ang isang customer na makuha ang kanilang order status, i-analize ang feeling ng request, at lumikha ng isang reaksyon. Nagsimula ko sa isang sequential approach, ngunit pagkatapos ay natagpuan na ang pagkuha ng order status at i-analize ang feeling ng request ay hindi depende sa isa sa ibang. Kapag nakuha ko ang dalawang mga reaksyon na ito, pagkatapos ay inilathala ko ang estado ng order at sentimient na nakikita sa generator ng reaksyon, at ito ay madaling buksan ang kabuuang oras na itinuturing mula sa 12 segundo sa 5. I-cut ang unnecessary model calls Lahat kami ay nakita ang mga post online na nagsasalita tungkol sa kung paano ChatGPT ay maaaring makakuha ng isang maliit na iffy kapag ito ay tungkol sa matematika. Well, ito ay isang napaka-kakaiba na nag-iisip na ang mga modelo na ito ay hindi binuo para sa ito. Gayunpaman, kung alam namin ang uri ng pag-calculation na kailangan na magsisimula, bakit hindi lamang i-codify ito sa isang function na maaaring gamitin, sa halip ng may isang LLM figure na out sa sarili? Kung ang isang rule, regex, o maliit na function ay maaaring gawin ito, i-slip ang LLM call. Ang pagbabago na ito ay i-eliminate ang hindi kinakailangan na latency, i-reduced token costs, at i-increase ang reliability lahat sa isang pag-iisip. Ipasok ang Model sa Task "Hindi lahat ng mga gawain ay binubuo ng parehong" ay isang pangunahing prinsipyo ng pag-management ng gawain at productivity, na tinatanggap na ang mga gawain ay iba't ibang sa kanilang karanasan, mga pangangailangan, at pangunahing. Halimbawa, kailangan naming mag-atribusyon ng mga parehong gawain sa parehong modelo. Ang mga modelo ngayon ay may iba't ibang mga gustong at mga size, at hindi namin kailangan ng modelo ng Llama 405B upang gawin ang isang simpleng mga gawain ng klasisasyon o entity extraction; sa halip, ang isang Model 8B ay dapat na higit pa. Ito ay karaniwang araw-araw na makita na ang mga tao ay nag-disenyo ang kanilang mga workflows ng agent na may pinakamalaking-madaling modelo na dumating, ngunit ito ay dumating sa gastos ng latency. Karaniwang mas mataas ang modelo, higit pa ang computing na kinakailangan, at sa gayon ang latency. Sigurado, maaari mong i-host ito sa isang mas mataas na instance at pumunta sa kanya, ngunit ito ay dumating sa isang gastos, literally. Sa gitna ng Pagpatay ng sarili niyang Olympic maskot , Ang Dysfunctional clean up Ng maruming tubig nito, ang Pag-shutdown ng doping lab nito , Ang Deklarasyon ng isang emergency na pinansiyal , Ang Pagkakaroon ng virus Zika , At Iba't ibang mga kalamidad , Ang Olympic ambitions ng Rio ay isang kalamidad. Sa kabuuan, may maraming mga tungkol sa kung ano ang mga gustong ng mga LLM ay mas mahusay sa bawat trabaho, at ito ay isang iba pang pag-aalok upang makikita, depende sa uri ng trabaho na nagtatrabaho sa iyo. Mga tribal knowledge Ibalik ang iyong prompt Ito ay karaniwang kaalaman ngayon, ngunit kapag kami pumunta sa pamamagitan ng aming mga pag-evaluations, nagtatag ng higit pa ng mga guardrails sa prompt ng LLM. Ito ay nagsisimula na bumaba ang prompt at, sa gayon, nakakaapekto sa latency. Mayroong iba't ibang mga paraan para sa pagbuo ng epektibo na prompts na hindi ko makakuha ng sa artikulong ito, ngunit ang ilang mga paraan na ginagamit ko upang i-reduced ang aking round-trip response time ay Prompt Caching para sa static instructions at schemes. Ibig sabihin, not counted... hindi ibig sabihin kapuri-puri ka dahil marami kang tinapos na kurso. I-cache ang lahat Sa isang nakaraang seksyon, sinasabi ko tungkol sa Prompt Caching, ngunit ito ay hindi dapat maging kung saan ikaw ay umalis sa pag-optimize para sa may caching. Caching ay hindi lamang para sa mga katapusan ng mga solusyon; ito ay isang bagay na dapat ginamit kung saan ang ibig sabihin ay magagamit. Sa pagkuha ng pag-optimize ng anumang mahalagang tool calls, ako cache intermediate at katapusan na resulta. Maaari mo kahit na i-implementate ang KV caches para sa partial attention states at, siyempre, ang anumang session-specific data tulad ng customer data o sensor states. Sa panahon ng i-implementate ng mga ito caching strategies, nasasaktan ko ang repetitive work latency ng 40-70%. Spekulasyon sa Decoding Narito ang isa para sa advanced crowd: gamitin ang isang maliit na "draft" modelo upang i-give ang susunod na token mabilis at pagkatapos ay magkaroon ng isang mas mataas na modelo upang i-validate o i-correct ang mga ito sa parallel. I-save ang Fine-Tuning para sa Last - at gawin ito strategically Finetuning ay isang bagay na maraming mga tao ay nagsasalita tungkol sa unang araw, ngunit ngayon, ang ilang mga mas bagong tagapagtatag ng LLM ay hindi kahit na alam kung bakit o kapag upang gamitin ito. Well, ito ay isang bagay na hindi maraming mga tao nag-talk tungkol sa, ngunit may isang dahilan kung saan ako nag-talk tungkol sa optimization na ito last, at ako ay makakuha ng sa ito sa isang maliit na. Kapag i-fine-tune ang isang LLM upang gawin ang isang trabaho, ang mga prompt na kinakailangan sa inference ay mas maliit na kaysa sa kung ano ang maaari mong magkaroon ng iba pa, dahil ngayon, sa karamihan ng mga konteksto, kung ano ang iyong ilagay sa prompt ay baked sa mga timbang sa pamamagitan ng iyong proseso ng fin-tune. Ito, sa gayon, feed sa itaas na punto sa pagkuha ng iyong prompt length at sa gayon, latency gains. Ang monitor ay walang katangian Ito ay ang pinaka-importanteng hakbang na ginawa ko kapag nag-aalok ako ng pagkuha ng latency. Ito ay nagtatag ng mga pangunahing layunin para sa anumang mga optimization na itinatag sa itaas at nagbibigay sa iyo ng clarity sa kung ano ang gumagana at kung ano ang hindi gumagana. Narito ang ilang mga metric na ginagamit ko: 
 
 
 
 
 
 Time to First Token (TTFT) sa pamamagitan ng Mga Token Per Second (TPS) Routing ang accuracy Cache Hit Rate Ang koordinatong oras ng multi-agent Ang mga metrikong ito ay nagpapakita sa iyo kung saan upang i-optimize at kapag dahil nang walang kanila, ikaw ay lumabas blind. ang bottom line Ang pinakamataas na, pinakamataas na workflows ng mga agensya ay hindi lamang nangyayari. Ito ay ang resulta ng karaniwang step-cutting, smart parallelization, deterministic code, model right-size, at caching sa lahat ng lugar na ito ay makikita. Gawin ito at i-evaluate ang iyong mga resulta, at dapat mong makita ang 3-5x pagbutihin ng speed (at posibleng kahit mga pangunahing gastos) ay ganap na malapit.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Paano I-cut ang Agentic Workflow Latency sa 3-5x nang walang Pagbabago sa Model Costs

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

Encrypted Instant Messaging Recommendations January 2017

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Encrypted Instant Messaging Recommendations January 2017

COVID-19: We Need More Than Data, We Need Insights!

State of the Noonion: The Year of Profitability and Product Renaissance

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps