"Poprvé, když jsem vytvořil pracovní postup agentů, bylo to jako sledování magie, tj. Dokud mi trvalo 38 sekund, než jsem odpověděl na jednoduchý dotaz zákazníka a stálo mě 1,12 USD na žádost." Když začnete budovat agentické pracovní postupy, kde autonomní agenti plánují a jednají na vícestupňových procesech, je snadné se dostat pryč. Flexibilita je neuvěřitelná! Středem pracovních postupů agentury je místo, kde se obvykle objevují problémy s výkonem a nejlepší příležitosti pro optimalizaci. Během uplynulého roku jsem se naučil, jak tyto systémy dělat dramaticky rychlejší a nákladově efektivnější, aniž bych obětoval jejich flexibilitu, a rozhodl jsem se vytvořit tuto učebnici. 
 
 
 Než jsem mluvil o optimalizaci, chtěl jsem se ujistit, že všichni víte, co mám na mysli, když používám následující slova: 
 
 
 
 Pracovní postupy: Předem určené sekvence, které mohou nebo nemusí používat LLM vůbec. Agenti: Samořídí se a mohou rozhodnout, jaké kroky podniknout a v jakém pořadí se rozhodnou provést. : This is a hybrid where you set a general path but give the agents in your workflow the freedom to move within certain steps. Agentic Workflows Než jsem mluvil o optimalizaci, chtěl jsem se ujistit, že všichni víte, co mám na mysli, když používám následující slova: 
 
 
 
 Pracovní postupy: Předem určené sekvence, které mohou nebo nemusí používat LLM vůbec. Agenti: Samořídí se a mohou rozhodnout, jaké kroky podniknout a v jakém pořadí se rozhodnou provést. Agentické pracovní postupy: Jedná se o hybrid, kde nastavujete obecnou cestu, ale dáváte agentům ve vašem pracovním postupu svobodu pohybovat se v určitých krocích. Vyzkoušejte Step Count Něco, co každý potřebuje mít na paměti při navrhování pracovních postupů agentů, je to, že každý modelový hovor přidává latenci. Každý další skok je další šancí na čas. A nezapomínejme na to, jak také zvyšuje naše šance na halucinace, což vede k přijímání rozhodnutí, která se odkloní od hlavního cíle. Pokyny zde jsou jednoduché: 
 
 
 
 Spojení souvisejících kroků do jediného prompt Vyhněte se zbytečným mikro-rozhodnutím, které by jeden model mohl zvládnout najednou Design pro minimalizaci round-tripů Při navrhování pracovního postupu vždy začínám s jediným agentem (protože možná vůbec nepotřebujeme pracovní postup) a pak jej hodnotím proti určitým měřítkům a kontrolám, které mám na místě. Na základě toho, kde selže, začnu rozkládat části, kde hodnocení skóre nesplňuje minimální kritéria, a opakovat od té doby. Paralelizovat cokoliv, co nemá závislosti Půjčování kontextu z výše uvedeného bodu, sekvenční řetězce jsou také latenční pasti. Jako příklad jsem chtěl napodobit pracovní postup agentury zákaznické podpory, kde mohu pomoci zákazníkovi získat stav objednávky, analyzovat pocit žádosti a generovat odpověď.Začal jsem se sekvenčním přístupem, ale pak jsem si uvědomil, že získání stavu objednávky a analýza pocitu žádosti nezávisí na sobě. Jakmile jsem měl tyto dvě odpovědi, pak jsem podal stav objednávky a pocit zjištěný do generátoru odpovědí, a to snadno oholil celkový čas, který se vzal z 12 sekund na 5. Odstranění zbytečných modelových hovorů Všichni jsme viděli on-line příspěvky, které hovoří o tom, jak ChatGPT může dostat trochu iffy, pokud jde o matematiku.No, to je opravdu dobrá připomínka, že tyto modely nebyly postaveny pro to. Také, pokud víme, jaký druh výpočtu, který musí proběhnout, proč ne jen kódovat do funkce, která může být použita, namísto toho, aby LLM číslo, které vyjde na vlastní pěst? Pokud pravidlo, regex, nebo malá funkce to může udělat, vynechat LLM volání. Přizpůsobte model úkolu „Není každý úkol postaven stejným způsobem“ je základním principem řízení úkolů a produktivity, který uznává, že úkoly se liší svou povahou, požadavky a důležitostí. Stejně tak musíme zajistit, že přidělujeme správné úkoly správnému modelu.Modely nyní přicházejí v různých chutích a velikostech a nepotřebujeme model Llama 405B k provedení jednoduchého klasifikace nebo úkolu extrakce entity; místo toho by měl být model 8B více než dostatečný. V těchto dnech je běžné, že lidé navrhují své agentické pracovní postupy s největším modelem, který je nejhorší, ale to přichází za cenu latence. Čím větší je model, tím více je vyžadován výpočet, a tedy latence. Místo toho, jak jsem jít o navrhování pracovního postupu znovu by začít s nejmenším. můj go-to model je Llama 3.1 8B, který se ukázal být věrný bojovník pro rozložené úkoly. Začínám tím, že všechny mé agenty používat model 8B a pak rozhodnout, zda potřebuji najít větší model, nebo pokud je to dost jednoduché, možná dokonce jít dolů na menší model. Kromě rozměrů bylo mnoho o tom, jaké chutě LLM dělají lépe v každém úkolu, a to je další úvaha, kterou je třeba vzít v úvahu, v závislosti na typu úkolu, který se snažíte splnit. Tribal znalosti Přemýšlejte o prompt Je to běžné vědění nyní, ale jak procházíme našimi hodnoceními, máme tendenci přidávat do výzvy LLM více gardrails.To začíná nafouknout výzvu a zase ovlivňuje latenci.Existují různé metody pro vytváření účinných výzvy, které se v tomto článku nedostanu, ale několik metod, které jsem nakonec použil ke snížení času odpovědi na cestu, byly Prompt Caching pro statické pokyny a schémata. To zahrnovalo přidání dynamického kontextu na konci poptávky pro lepší opětovné použití vyrovnávací paměti.Nastavení jasných limitů délky odpovědi tak, aby model neztrácel čas, což mi poskytlo zbytečné informace. Skrýt vše V předchozí části jsem hovořil o Prompt Caching, ale to by nemělo být místo, kde se přestanete snažit optimalizovat s cachingem. Caching není jen pro konečné odpovědi; je to něco, co by mělo být aplikováno všude tam, kde je to možné. Můžete dokonce implementovat KV vyrovnávací paměti pro stavy částečné pozornosti a samozřejmě pro jakékoli data specifická pro relace, jako jsou data zákazníků nebo stavy senzorů.Při implementaci těchto strategií vyrovnávací paměti jsem byl schopen snížit opakovanou latenci práce o 40-70%. Spekulativní dekódování Zde je jeden pro pokročilé davy: použijte malý „návrh“ model rychle odhadnout další token a pak mít větší model ověřit nebo opravit je paralelně. Uložit Fine-Tuning pro poslední - a dělat to strategicky Finetuning je něco, o čem mnoho lidí mluvilo v prvních dnech, ale nyní se zdá, že někteří z novějších přijímačů LLM ani nevědí, proč nebo kdy jej používat. No, to je něco, o čem mnoho lidí nemluví, ale je důvod, proč jsem mluvil o této optimalizaci naposledy, a dostanu se k tomu za chvíli.Když vylepšíte LLM k provedení úkolu, poptávka požadovaná při závěru je výrazně menší než to, co byste jinak měli, protože nyní, ve většině souvislostí, to, co vložíte do poptávky, je smaženo do váh prostřednictvím vašeho procesu jemného nastavení. To zase podává do výše uvedeného bodu na snížení rychlé délky a tím i zpoždění zisky. Monitor neúprosně Toto je nejdůležitější krok, který jsem podnikl, když jsem se snažil snížit latenci.Tím se vytváří základ pro některou z výše uvedených optimalizací a dává vám jasnost o tom, co funguje a co ne. 
 
 
 
 
 
 Čas na první token (TTFT) Tokeny za sekundu (TPS) Routingová přesnost Cache hit sazba Koordinační čas pro více agentů Tyto metriky vám říkají, kde optimalizovat a kdy, protože bez nich létáte slepě. Spodní linka Nejrychlejší, nejspolehlivější pracovní postupy agentů se prostě nestávají. Jsou výsledkem nemilosrdného krokového řezání, inteligentní paralelizace, deterministického kódu, pravé velikosti modelu a vyrovnávání všude tam, kde to dává smysl.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Tento zvuk je produkován v původním jazyce příběhu!

Jak snížit latenci agentického pracovního postupu o 3-5x bez zvýšení nákladů na model

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps