"A primeira vez que construín un fluxo de traballo de axentes, foi como ver a maxia, é dicir, ata que tardou 38 segundos en responder a unha simple consulta do cliente e custaba 1,12 dólares por solicitude". Cando comeza a construír fluxos de traballo axenciais onde os axentes autónomos planifican e actúan en procesos de varios pasos, é fácil ser levado fóra. A flexibilidade é incrible! Pero o mesmo é o exceso que vén con el. Algúns destes puntos de dor inclúen execución lenta, alto uso de computación e un caos de pezas en movemento. O medio en fluxos de traballo de axencia é onde os problemas de rendemento e as mellores oportunidades de optimización adoitan aparecer. Ao longo do último ano, aprendín como facer que estes sistemas sexan dramáticamente máis rápidos e máis rendibles sen sacrificar a súa flexibilidade, e decidín crear este manual. 
 
 
 Antes de falar de optimización, quería asegurarme de que todos saibades o que quero dicir cando uso as seguintes palabras: 
 
 
 
 : Predetermined sequences that may or may not use an LLM altogether. Workflows Axentes: Autodirigidos, e poden decidir que pasos tomar e a orde na que elixen executar. : This is a hybrid where you set a general path but give the agents in your workflow the freedom to move within certain steps. Agentic Workflows Antes de falar de optimización, quería asegurarme de que todos saibades o que quero dicir cando uso as seguintes palabras: 
 
 
 
 Fluxos de traballo: secuencias predeterminadas que poden ou non usar un LLM. Axentes: Autodirigidos, e poden decidir que pasos tomar e a orde na que elixen executar. Fluxos de traballo axentados: Este é un híbrido onde establece un camiño xeral pero dá aos axentes no seu fluxo de traballo a liberdade de moverse dentro de determinados pasos. Recoñece o paso Algo que todo o mundo ten que ter en conta ao deseñar fluxos de traballo de axentes é que cada chamada de modelo engade latencia. Cada salto extra é outra oportunidade para un timeout. e non esquezamos como tamén aumenta a nosa posibilidade de alucinacións, levando a que se tomen decisións que se afastan do obxectivo principal. As directrices aquí son simples: 
 
 
 
 Fusionar os pasos relacionados nun único prompt Evite micro-decisións innecesarias que un único modelo podería manexar nun só paso Deseño para minimizar as viaxes redondas Cando deseño un fluxo de traballo, sempre comezo cun único axente (porque quizais non necesitamos un fluxo de traballo en absoluto) e logo avalialo contra certas métricas e controis que teño en lugar. En base a onde falla, comezo a descompoñer as partes onde as puntuacións de avaliación non cumpriron os criterios mínimos, e repetir a partir de entón. Paraleliza todo o que non teña dependencias Emprestando o contexto do punto anterior, as cadeas secuenciais tamén son trampas de latencia.Se dúas preguntas non necesitan a saída do outro, execútalas xuntas! Como exemplo, quería imitar un fluxo de traballo de axentes de apoio ao cliente onde podo axudar a un cliente a obter o seu estado de pedido, analizar o sentimento da solicitude e xerar unha resposta. Comecei cun enfoque secuencial, pero entón decateime de que obter o estado da orde e analizar o sentimento da solicitude non dependen entre si. Unha vez que tiven estas dúas respostas, entón alimentaría o estado de orde e o sentimento detectado ao xerador de resposta, e que facilmente rasparía o tempo total tomado de 12 segundos a 5. Cortar chamadas de modelo innecesarias Todos vimos as publicacións en liña que falan de como ChatGPT pode obter un pouco iffy cando se trata de matemáticas. Ben, iso é un recordatorio moi bo de que estes modelos non foron construídos para iso. Ademais, se coñecemos o tipo de cálculo que ten que ocorrer, por que non simplemente codificar nunha función que se pode usar, en lugar de ter unha figura de LLM que saia por si só? Se unha regra, regex ou pequena función pode facelo, salte a chamada de LLM. Este cambio eliminará a latencia innecesaria, reducirá os custos de token e aumentará a fiabilidade todo nun só paso. Compara o modelo coa tarefa "Non todas as tarefas están construídas do mesmo xeito" é un principio fundamental de xestión de tarefas e produtividade, recoñecendo que as tarefas varían na súa natureza, demandas e importancia. Do mesmo xeito, necesitamos asegurarnos de que asignamos as tarefas correctas ao modelo correcto. Os modelos agora veñen en diferentes sabores e tamaños, e non necesitamos un modelo Llama 405B para realizar unha tarefa simple de clasificación ou extracción de entidades; en vez diso, un Modelo 8B debería ser máis que suficiente. É común nestes días ver a xente deseñando os seus fluxos de traballo de axentes co modelo máis grande e peor que saíu, pero iso vén ao custo da latencia. Canto maior sexa o modelo, máis se require a computación e, polo tanto, a latencia. O meu modelo de paso é o Llama 3.1 8B, que se demostrou ser un loitador fiel para tarefas descompostas. Comezo facendo que todos os meus axentes utilicen o modelo 8B e logo decido se necesito atopar un modelo máis grande, ou se é sinxelo o suficiente, quizais mesmo baixar a un modelo máis pequeno. Aparte de grandes, houbo moitos sobre o que os sabores dos LLM fan mellor en cada tarefa, e iso é outra consideración a ter en conta, dependendo do tipo de tarefa que estea intentando realizar. Coñecemento tribal Repensar a súa prompt É coñecemento común agora, pero como imos a través das nosas avaliacións, tendemos a engadir máis gardrails ao prompt do LLM. Isto comeza a inflar o prompt e, á súa vez, afecta á latencia. Hai varios métodos para construír prompts eficaces que non vou entrar neste artigo, pero os poucos métodos que acabo de usar para reducir o meu tempo de resposta de volta foron Prompt Caching para instrucións e esquemas estáticos. Isto incluíu a adición de contexto dinámico ao final do prompt para unha mellor reutilización da caché. definir límites claros de lonxitude de resposta para que o modelo non consuma tempo, dándome información innecesaria. Ocultar todo Nunha sección anterior, falei sobre Prompt Caching, pero iso non debería ser onde deixes de tratar de optimizar con caching. Caching non é só para respostas finais; é algo que debería aplicarse onde sexa aplicable. Mentres intenta optimizar certas chamadas de ferramentas caras, cachei resultados intermedios e finais. Pode incluso implementar KV caches para estados de atención parcial e, por suposto, calquera datos específicos de sesión como datos do cliente ou estados de sensor. Ao implementar estas estratexias de caché, puiden reducir a latencia de traballo repetida nun 40-70%. Decodificación especulativa Aquí está un para a multitude avanzada: use un pequeno modelo de "deseño" para adiviñar o próximo token rapidamente e, a continuación, ter un modelo máis grande para validalo ou corrixilo en paralelo. Gardar Fine-Tuning por último - e faino estratéxicamente Finetuning é algo que moita xente falou nos primeiros días, pero agora, algúns dos adoptantes máis recentes de LLMs non parecen nin saber por que ou cando usalo. Ben, esta é unha cousa que non moitas persoas falan, pero hai unha razón pola que falo desta optimización o último, e vou chegar a iso nun pouco. Cando afina un LLM para facer unha tarefa, a prompt necesaria na inferencia é considerablemente menor do que tería doutro xeito, porque agora, na maioría dos contextos, o que coloca na prompt é cocido nos pesos a través do seu proceso de afinación. Isto, á súa vez, alimenta o punto anterior en reducir a súa lonxitude instantánea e, polo tanto, os beneficios de latencia. Monitora de xeito sinxelo Este é o paso máis importante que tomei ao intentar reducir a latencia. Isto establece as bases para calquera das optimizacións listadas anteriormente e dálle claridade sobre o que funciona e o que non funciona. 
 
 
 
 
 
 Tempo para o primeiro token (TTFT) Tokens por segundo (TPS) Rutaxe de precisión Cache Hit taxa Tempo de coordinación de varios axentes Estas métricas dinche onde optimizar e cando porque sen elas, estás voando cego. Baixo liña Os fluxos de traballo de axentes máis rápidos e máis fiables non só ocorren. Son o resultado de pasos implacables, paralelización intelixente, código determinista, tamaño correcto do modelo e caché en calquera lugar que teña sentido.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Este audio está producido na lingua orixinal da historia!

Como reducir a latencia do fluxo de traballo de axentes por 3-5x sen aumentar os custos do modelo

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Science Community!

HackerNoon Decoded 2024: Celebrating Our Product Management Community!

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

HackerNoon Decoded 2024: Celebrating Our Product Management Community!

HackerNoon Decoded 2024: Celebrating Our Gaming Community!

HackerNoon Decoded 2024: Celebrating Our Startups Community!

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps