"Први пут сам изградио агентни радни ток, то је било као гледање магије, то јест, све док није требало 38 секунди да одговорим на једноставно питање клијента и коштало ме 1,12 долара по захтеву." Када почнете да градите агентичке радне токове у којима аутономни агенти планирају и делују на вишестепеним процесима, лако се одвојите. Флексибилност је невероватна! Али тако је и прекомерност која долази са њим. Неке од ових тачака бола укључују споро извршење, високу употребу рачунара и неред покретних делова. Srednji deo agentičkih tokova posla je tamo gde se obično pojavljuju problemi performansi i najbolje prilike za optimizaciju. Током протекле године, научио сам како направити ове системе драматично брже и економичније без жртвовања њихове флексибилности, и одлучио сам да креирам ову књигу. 
 
 
 Пре него што говорим о оптимизацији, желео сам да се уверим да сви знате шта мислим када користим следеће речи: 
 
 
 
 Radni tokovi: unapred određene sekvence koje mogu ili ne mogu da koriste LLM u potpunosti. : Self-directing, and they can decide which steps to take and the order in which they choose to execute. Agents : This is a hybrid where you set a general path but give the agents in your workflow the freedom to move within certain steps. Agentic Workflows Пре него што говорим о оптимизацији, желео сам да се уверим да сви знате шта мислим када користим следеће речи: 
 
 
 
 Radni tokovi: unapred određene sekvence koje mogu ili ne mogu da koriste LLM u potpunosti. Агенти: Самонаправљање, и они могу да одлуче које кораке да предузму и редослед у којем бирају да изврше. Agentički tokovi posla: Ovo je hibrid gde postavljate opšti put, ali dajete agentima u toku posla slobodu da se kreću unutar određenih koraka. Преузети The Step Count Нешто што сви морају имати на уму приликом дизајнирања агентичких радних токова је да сваки позив за модел додаје кашњење. Сваки додатни скок је још једна шанса за време. Овде су смернице једноставне: 
 
 
 
 Спојите релевантне кораке у једну поруку Избегавајте непотребне микро-одлуке које један модел може да реши у једном кораку Дизајн за минимизирање кружних путовања Kada dizajniram tok posla, uvek počinjem sa jednim agentom (jer možda nam uopšte nije potreban tok posla), a zatim ga ocenjujem prema određenim metrikama i kontrolama koje imam na mestu. Na osnovu toga gde ne uspe, počinjem da razgradim delove gde ocenjeni rezultati nisu zadovoljili minimalne kriterijume, i od tada se ponavljam. Paralelizujte sve što nema zavisnosti Позајмљујући контекст из горе наведене тачке, секвенцијални ланци су такође замке за кашњење.Ако два питања не требају једни другима, покрените их заједно! Kao primer, hteo sam da oponašam tok posla agencije za podršku kupcima gde mogu da pomognem kupcu da dobije status svoje narudžbe, analizira osećaj zahteva i generira odgovor. Počeo sam sa sekvencijalnim pristupom, ali onda sam shvatio da dobijanje statusa narudžbe i analiziranje osećanja zahteva ne zavise jedno od drugog. Када сам добио ова два одговора, онда бих унео статус реда и осећај детектован генератору одговора, а то је лако обријало укупно време узето од 12 секунди до 5. Избришите непотребне моделске позиве Сви смо видели онлине постове који говоре о томе како ЦхатГПТ може добити мало иффи када је у питању математика.Па, то је заиста добро подсећање да ови модели нису изграђени за то. Такође, ако знамо какву врсту израчунавања треба да се одвија, зашто не само да га кодира у функцију која се може користити, уместо да има ЛЛМ фигуру која излази сама од себе? ако правило, регек, или мала функција може да то уради, прескочите ЛЛМ позив. Ускладите модел са задатком "Није сваки задатак изграђен исто" је основни принцип управљања задатком и продуктивности, препознајући да се задаци разликују по природи, захтевима и важности. На исти начин, морамо осигурати да доделимо праве задатке правом моделу. Модели сада долазе у различитим укусима и величинама, и не треба нам Ллама 405Б модел да бисмо обавили једноставан задатак класификације или екстракције ентитета; уместо тога, Модел 8Б би требао бити више него довољан. Данас је уобичајено видети људе који дизајнирају своје агентичке радне токове са највећим-лошим моделом који је изашао, али то долази на рачун кашњења. Што је већи модел, то је више потребан рачунар, а самим тим и кашњење. Уместо тога, начин на који идем о дизајнирању радног тока поново би био да почнем са најмањим. Мој иди-то модел је Ллама 3.1 8Б, који се показао као веран ратник за декомпоноване задатке. Почните тако што ће сви моји агенти користити модел 8Б, а затим одлучите да ли треба да пронађем већи модел, или ако је довољно једноставан, можда чак и да идем до мањег модела. Осим величине, било је много о томе који укуси ЛЛМ-а боље раде на сваком задатку, а то је још једна разматрања која треба узети у обзир, у зависности од врсте задатка који покушавате да обавите. племенско знање Ponovo razmislite o prometu То је уобичајено знање сада, али док пролазимо кроз наше евалуације, имамо тенденцију да додамо више стражарских трака у позив ЛЛМ-а. Ово почиње да надувава позив и, заузврат, утиче на кашњење. Постоје различите методе за изградњу ефикасних позива које нећу ући у овај чланак, али неколико метода које сам на крају користио да смањим време одговора на путовање су Промпт Цацхинг за статичне инструкције и шеме. Ово је укључивало додавање динамичког контекста на крају позива за бољу поновну употребу кеша.Подешавање јасних граница дужине одговора тако да модел не троши време, дајући ми непотребне информације. Sakrijte sve U prethodnom odeljku, govorio sam o prompt caching, ali to ne bi trebalo da bude mesto gde prestanete da pokušavate da optimizujete sa cachingom. caching nije samo za konačne odgovore; to je nešto što bi trebalo da se primenjuje gde god je to primenljivo. Dok pokušavate da optimizujete određene skupe pozive na alatke, ja sam cached srednje i konačne rezultate. Можете чак и да имплементирате КВ кеше за стања делимичне пажње и, наравно, било који подаци специфични за сесију као што су подаци о клијентима или стања сензора. Спекулативно декодирање Ево једног за напредну гомилу: користите мали модел "нацрта" да бисте брзо погодили следећи токен, а затим имате већи модел да их потврдите или исправите паралелно. Сачувајте фино подешавање за последњи - и урадите то стратешки Финетунинг је нешто о чему су многи људи говорили у првим данима, али сада неки од новијих усвојилаца ЛЛМ-а изгледа да чак и не знају зашто или када да га користе.Када га погледате, видећете да је то начин да ваш ЛЛМ разуме ваш домен и / или ваш задатак детаљније, али како то помаже кашњењу? Па, ово је нешто о чему многи људи не говоре, али постоји разлог због којег сам говорио о овој оптимизацији последњи пут, и доћи ћу до тога у малој мјери.Када фино подесите ЛЛМ да бисте обавили задатак, позив који је потребан на закључку је знатно мањи него што бисте иначе имали, јер сада, у већини контекста, оно што ставите у позив се пече у тегове кроз ваш процес фино подешавања. Ово, заузврат, доводи до горе наведене тачке о смањењу брзе дужине и, сходно томе, повећању латенције. Монитор немилосрдно Ово је најважнији корак који сам предузео када сам покушао да смањим кашњење. Ово поставља основу за било коју од горе наведених оптимизација и даје вам јасноћу о томе шта функционише и шта не. 
 
 
 
 
 
 Време до првог токена (TTFT) Токени у секунди (TPS) Прецизност рутера Цхацхе хит стопа Време координације мулти-агента Ове метрике вам кажу где да оптимизујете и када, јер без њих, летите слепо. Доња линија Најбржи, најпоузданији агентни радни токови се не дешавају само. Они су резултат немилосрдног скраћивања корака, паметне паралелизације, детерминистичког кода, правилног димензионисања модела и кеширања свуда где има смисла.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Овај аудио је произведен на оригиналном језику приче!

Kako sam smanjio agentičku latenciju toka posla za 3-5 puta bez povećanja troškova modela

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building a website with React and Bulma

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Sravana Kumar Reddy Yeruva’s Fusion Transformation Sets a New Standard in ERP Excellence

Building a website with React and Bulma

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps