“La prima volta che ho costruito un flusso di lavoro agente, è stato come guardare la magia, cioè, fino a quando non ci sono voluti 38 secondi per rispondere a una semplice query del cliente e mi costava 1,12 dollari per richiesta.” Quando si iniziano a costruire flussi di lavoro agentici in cui gli agenti autonomi pianificano e agiscono su processi a più passaggi, è facile essere trasportati via.La flessibilità è incredibile!Ma lo stesso vale per l'overhead che viene con esso.Alcuni di questi punti di dolore includono l'esecuzione lenta, l'uso elevato del computer e un caos di parti in movimento. Il terreno centrale nei flussi di lavoro di Agentic è dove di solito appaiono i problemi di prestazione e le migliori opportunità di ottimizzazione. Nel corso dell’ultimo anno, ho imparato come rendere questi sistemi drammaticamente più veloci e più redditizi senza sacrificare la loro flessibilità, e ho deciso di creare questo manuale. 
 
 
 Prima di parlare di ottimizzazione, volevo fare in modo che tutti sapessero cosa intendo quando uso le seguenti parole: 
 
 
 
 Flussi di lavoro: sequenze predeterminate che possono o non possono utilizzare un LLM del tutto. : Self-directing, and they can decide which steps to take and the order in which they choose to execute. Agents : This is a hybrid where you set a general path but give the agents in your workflow the freedom to move within certain steps. Agentic Workflows Prima di parlare di ottimizzazione, volevo fare in modo che tutti sapessero cosa intendo quando uso le seguenti parole: 
 
 
 
 Flussi di lavoro: sequenze predeterminate che possono o non possono utilizzare un LLM del tutto. Agenti: auto-dirigenti, e possono decidere quali passi prendere e l'ordine in cui scelgono di eseguire. Flussi di lavoro agentici: si tratta di un ibrido in cui si imposta un percorso generale ma si dà agli agenti nel flusso di lavoro la libertà di muoversi all'interno di determinati passaggi. Il conteggio dei passi Qualcosa che tutti devono tenere a mente durante la progettazione di flussi di lavoro agentici è che ogni chiamata modello aggiunge latenza. Ogni salto extra è un'altra possibilità per un timeout. E non dimentichiamo come aumenta anche la nostra possibilità di allucinazioni, portando a decisioni che si prendono che si allontanano dall'obiettivo principale. Le linee guida qui sono semplici: 
 
 
 
 Fusione dei passaggi correlati in un unico prompt Evitare micro-decisioni inutili che un singolo modello potrebbe gestire in una sola volta Progettazione per ridurre al minimo i round-trips Quando disegno un flusso di lavoro, inizio sempre con un singolo agente (perché forse non abbiamo bisogno di un flusso di lavoro) e poi lo valuto contro determinate metriche e controlli che ho in atto. In base a dove fallisce, comincio a decomporre le parti in cui i punteggi di valutazione non hanno soddisfatto i criteri minimi, e ripetere da allora. Parallelizzare tutto ciò che non ha dipendenze Prendendo in prestito il contesto dal punto sopra, le catene sequenziali sono anche trappole di latenza.Se due domande non hanno bisogno dell'uscita l'una dell'altra, eseguirle insieme! Come esempio, volevo imitare un flusso di lavoro dell'agente di assistenza clienti in cui posso aiutare un cliente a ottenere lo stato dell'ordine, analizzare il sentimento della richiesta e generare una risposta.Ho iniziato con un approccio sequenziale, ma poi mi sono reso conto che ottenere lo stato dell'ordine e analizzare il sentimento della richiesta non dipendono l'uno dall'altro. Una volta che ho avuto queste due risposte, ho poi fornito lo stato dell'ordine e il sentimento rilevato al generatore di risposta, e che facilmente spazzolato il tempo totale preso da 12 secondi a 5. Tagliare i modelli inutili Abbiamo tutti visto i post online che parlano di come ChatGPT può ottenere un po 'iffy quando si tratta di matematica. Beh, questo è un buon ricordo che questi modelli non sono stati costruiti per questo. Inoltre, se conosciamo il tipo di calcolo che deve avvenire, perché non semplicemente codificarlo in una funzione che può essere utilizzata, invece di avere una figura LLM che esce da sola? Se una regola, reggex, o piccola funzione può farlo, saltare la chiamata LLM. Questo cambiamento eliminerà la latenza inutile, ridurrà i costi dei token e aumenterà l'affidabilità in una sola volta. Confronta il modello con il compito “Non tutti i compiti sono costruiti allo stesso modo” è un principio fondamentale della gestione dei compiti e della produttività, riconoscendo che i compiti variano per natura, esigenze e importanza. Allo stesso modo, dobbiamo assicurarci di assegnare i compiti giusti al modello giusto. I modelli ora sono disponibili in diversi sapori e dimensioni, e non abbiamo bisogno di un modello Llama 405B per eseguire un semplice compito di classificazione o estrazione di entità; invece, un Modello 8B dovrebbe essere più che sufficiente. È comune in questi giorni vedere le persone progettare i loro flussi di lavoro agentici con il modello più grande e peggiore che è uscito, ma questo arriva al costo della latenza. Più grande è il modello, più il calcolo richiesto, e quindi la latenza. Certo, si potrebbe ospitare su un'istanza più grande e uscire con esso, ma questo viene a un costo, letteralmente. Invece, il modo in cui progettare un flusso di lavoro di nuovo sarebbe quello di iniziare con il più piccolo. Il mio modello go-to è il Llama 3.1 8B, che si è dimostrato un guerriero fedele per i compiti decomposti. Comincio con avere tutti i miei agenti utilizzando il modello 8B e poi decidere se ho bisogno di trovare un modello più grande, o se è abbastanza semplice, forse anche andare verso un modello più piccolo. Oltre alle dimensioni, ci sono state molte su quali sapori di LLM fanno meglio a ciascun compito, e questo è un'altra considerazione da prendere in considerazione, a seconda del tipo di compito che stai cercando di completare. Conoscenza tribale Ripensare il tuo prompt È una conoscenza comune ora, ma mentre passiamo attraverso le nostre valutazioni, tendiamo ad aggiungere più guard trail al prompt del LLM. Questo inizia a gonfiare il prompt e, a sua volta, influenza la latenza. Ci sono diversi metodi per costruire prompt efficaci che non entrerò in questo articolo, ma i pochi metodi che ho finito per utilizzare per ridurre il tempo di risposta del mio giro sono stati Prompt Caching per istruzioni e schemi statici. Questo includeva l'aggiunta di un contesto dinamico alla fine del prompt per un migliore riutilizzo della cache. Impostazione di limiti chiari di lunghezza di risposta in modo che il modello non consumasse il tempo, dandomi informazioni inutili. Nascondi tutto In una sezione precedente, ho parlato di Prompt Caching, ma che non dovrebbe essere dove si smette di cercare di ottimizzare per con la cache. Caching non è solo per le risposte finali; è qualcosa che dovrebbe essere applicato ovunque applicabile. Mentre cercando di ottimizzare alcune richieste di strumenti costosi, ho memorizzato i risultati intermedi e finali. Puoi persino implementare le cache KV per gli stati di attenzione parziale e, naturalmente, tutti i dati specifici della sessione, come i dati dei clienti o gli stati dei sensori. Decodifica speculativa Ecco uno per la folla avanzata: usare un piccolo modello di "progetto" per indovinare rapidamente il prossimo token e quindi avere un modello più grande per convalidarli o correggerli in parallelo. Salva Fine-Tuning per l'ultimo - e farlo in modo strategico Finetuning è qualcosa di cui molte persone hanno parlato nei primi giorni, ma ora, alcuni dei nuovi adottatori di LLM non sembrano nemmeno sapere perché o quando usarlo.Quando lo guardi, vedrai che è un modo per avere il tuo LLM capire il tuo dominio e / o il tuo compito in più dettaglio, ma come questo aiuta la latenza? Bene, questo è qualcosa di cui non molte persone parlano, ma c'è una ragione per cui parlo di questa ottimizzazione l'ultima volta, e arriverò a questo in un po '.Quando si affina un LLM per fare un compito, la spinta richiesta alla inferenza è considerevolmente più piccola di ciò che avresti altrimenti, perché ora, nella maggior parte dei contesti, ciò che metti nella spinta viene cotto nei pesi attraverso il tuo processo di affinamento. Questo, a sua volta, alimenta il punto di cui sopra sulla riduzione della lunghezza prompt e, di conseguenza, i guadagni di latenza. Monitore senza scrupoli Questo è il passo più importante che ho fatto quando ho cercato di ridurre la latenza. Questo pone le basi per qualsiasi delle ottimizzazioni elencate sopra e ti dà chiarezza su cosa funziona e cosa non funziona. 
 
 
 
 
 
 Tempo per il primo token (TTFT) Token al secondo (TPS) Routing di precisione Cache hit tasso Tempo di coordinamento multi-agente Queste metriche ti dicono dove ottimizzare e quando perché senza di loro, stai volando cieco. Linea di fondo I flussi di lavoro agentici più veloci e affidabili non accadono semplicemente. Essi sono il risultato del taglio di passo spietato, della parallelizzazione intelligente, del codice deterministico, della dimensione del modello e della cache ovunque abbia senso. Fai questo e valuta i tuoi risultati, e dovresti vedere che i miglioramenti di velocità (e probabilmente anche importanti risparmi sui costi) sono assolutamente a portata di mano.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Questo audio è prodotto nella lingua originale della storia!

Come ridurre la latenza del flusso di lavoro agentico di 3-5x senza aumentare i costi del modello

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

Netflix Brings Out the Big Guns

Streamlining Network Policy Management - Interview with Startups of the Year Nominee, Otterize

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Netflix Brings Out the Big Guns

Streamlining Network Policy Management - Interview with Startups of the Year Nominee, Otterize

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps