Optimización del rendimiento del LLM con LM Cache: arquitecturas, estrategias y aplicaciones del mundo real

Abstract Abstracción Este artículo ofrece una visión técnica en profundidad de las operaciones de LM Cache y cómo la máquina de caché mejora la eficiencia, la escalabilidad y la reducción de costos de la implementación del Modelo de Lengua Mayor (LLM).Estudiamos diferentes tipos de arquitecturas y mecanismos de caché, cómo se pueden integrar con la nueva infraestructura de IA y evaluar el rendimiento.Ejemplos del campo detallan cómo algunos de nuestros mayores clientes están implementando LM Caches en la práctica y lo que han aprendido a lo largo del camino. Introduction Introducción ¡Piensa en un asistente de IA que tiene que proporcionar constantemente las mismas respuestas todo el día durante cientos de días! ¡Esto no es un resultado ¿tiene que re-generar cada respuesta desde cero, literalmente cada vez? Mientras que los LLM (pensemos en GPT-4, PaLM, etc.) están transformando todo desde el soporte al cliente hasta la generación de código de su En la producción, cada consulta a un modelo grande puede costar segundos y un cálculo de GPU considerable.A medida que el tamaño del modelo y las expectativas de los usuarios aumentan, la necesidad de inferencias rápidas se vuelve más importante que nunca. deployment at scale is stymied by latency requirements, computational cost and memory footprint Teniendo en cuenta todo esto, el cache de LM surge como una respuesta muy inteligente a estos problemas al cachear y reutilizar los resultados ya calculados. El cache es fundamentalmente lo que permite a nuestro sistema recordar todo lo que ha visto antes. La idea general del concepto no es nueva en la ciencia de la computación, pero ha tenido un avance potencial en el propio LLM para un rendimiento significativamente mayor y una gran disminución en el tiempo de respuesta. Como la destilación de modelos (creando modelos más pequeños y más rápidos), la generación aumentada de búsqueda (desarrollando en bases de conocimiento externas) y las bases de datos vectoriales para la búsqueda semántica, el Cache de LM aumenta otras técnicas de optimización. Con una medida final de mecanismos de cache desplegados en combinación con estos métodos, los Foundations of LM Cache Fundamentos de LM Cache El concepto de es simplemente una computación de reutilización para no sobrecargarse. En el caso de la inferencia de LLM, el caché puede existir a diferentes niveles de granularidad: LM cache Cache the entire output to a given input prompt. If our model receives the same prompt again, it returns the cached output without running the model. This is effectively memorizing the model's response to entire queries, at the highest-level cache. It is particularly powerful for tasks that involve the reapplication of the same query many times (e.g. Q&A model with a single question asked repeatedly) This could be implemented, for example (sample implementation in the functions promptify and getPossibleResults) as a simple dictionary that maps prompts to possible results e.g. Prompt-level cache: Pseudocode: prompt-level cache integration prompt_cache = {} # A dictionary to store prompt->response mappings def generate_response(prompt): if prompt in prompt_cache: return prompt_cache[prompt] # return cached answer result = model.generate(prompt) # expensive LLM call prompt_cache[prompt] = result # store for next time return result We cache intermediate results for each token in a sequence instead of caching whole responses. Autoregressive LLMs generate text one token after the other. This is because without caching, the entire previous context will have to generated again from start for every new token to be created. Token level caching is the process of stores intermediate state of model tokens like the activations or hidden states in a way that, when producing next token, the model can skip recomputing what it already did for prior tokens. This is highly connected to the in transformer models, more on this below. Token specific caching: key–value cache LLMs based on transformers use self-attention, which means that each token pays attention to all of the ones that came before it. Frameworks cache the "key" and "value" projections for previous tokens and only add new ones to avoid having to compute attention over the whole sequence again. . This KV cache speeds up autoregressive decoding, which is an important GPT-style optimization. It cuts the work per step from O(n²) to O(n) without changing the outputs (Yazdani Aminabadi et al., 2022; Pol, 2025) arxiv.org. By default, libraries like Hugging Face Transformers do this with during generation, which means that only new tokens are processed. A simple pseudocode loop shows how grows with each iteration. KV cache (Key-Value cache) : neptune.ai use_cache=True past_kv Pseudocode: using KV cache in an autoregressive decoder loop past_kv = None for token in prompt_tokens: output, past_kv = model.decode_next(token, past_key_values=past_kv) # past_kv now contains keys/values for all tokens up to current one The above loop accumulates the key-value pairs to be carried forward as such as that model. Then can use the cached context and need not recompute it. The KV caching makes the quadratic slowdown now avoidable, and transforming models to work with this form of storage is crucial for the continued efficiency of transformer inference, particularly if GPT-4 like models are able to generate much longer continuations far more efficiently. past_kv model.decode_next LLM follows the same procedure with all text input as firstly it converts tokens into vector embeddings. Calculating these embeddings (especially a large contextual embedding model) can cost nearly as much as running the full LLM itself, so why do it again for some common tokens/phrases? Embedding Cache — a cache where the vector representations of common inputs are stored. (Paul, 2025) . For example, we can cache those embeddings instead of computing them from scratch if application encodes the same sentences or document chunks many times (in a retrieval-augmented setup) This will save time and guide the style of such representations. . Embedding caching is a natural fit for retrieval pipelines and semantic search, as it caches the “input features” before they hit the big model. Embedding cache: rohan-paul.com rohan-paul.com Multi-Query Attention (MQA) is a type of Transformer attention in which all heads use the same keys and values as input to their attention function (Shazeer, 2019) . Typically, with 12 or 24 heads, each head has its own keys and values. This means that the cache stores 12x or 24x vectors for each token. Instead, MQA caches just one set, and heads keep their query projections while looking up a shared key-value store. In one benchmark (Shazeer, 2019) ( ; ), this cut memory and bandwidth overhead by a huge amount, from about 15 GB to less than 400 MB on a 16k-token context. There is only one shared cache instead of 100% memory overhead per head. Multi-query attention caching: arxiv.org arxiv.org huggingface.co Noam Shazeer first suggested MQA (and its grouped-query versions) in One Write-Head is all we Need ( ). It is used in PaLM, Falcon, MPT, and BLOOM to make longer contexts work better. It also makes inference faster because it needs to fetch less data from memory, which means it can do attention computations faster ( ). In theory, MQA is a smart way to cache data for the architecture, so that the number of trainable parameters doesn't go up as the number of heads or the length of the context grows. huggingface.co huggingface.co uso_cache = verdad Anteriores / KV Anteriores / KV modelo.decode_siguiente Todos los niveles de cache antes mencionados utilizan el principio sencillo que Debido al mecanismo de autoatención, el cálculo de cada nuevo token en los LLM basados en transformadores a menudo depende de los tokens anteriores. Ya sea en el nivel prompt o profundamente dentro del modelo, el almacenamiento de los resultados de esos cálculos anteriores permite que las operaciones posteriores saltan directamente al resultado final. system shouldn't re-compute what you have already done LM Cache Architectures and Strategies LM Cache Arquitecturas y Estrategias Dado que no todas las cargas de trabajo son las mismas en los sistemas de LLM, un gran número de arquitecturas y estrategias han sido diseñadas por los ingenieros para maximizar los éxitos de caché y reducir la sobrecarga. Caches estáticos vs. dinámicos: Caches estáticos vienen con pares de entrada/salida pre-enchufados, lo que los convierte en excelentes para cargas de trabajo predecibles. Estas son soluciones de cache para preguntas comunes o salidas rápidas fijas, como FAQs o respuestas de caso de prueba. Caches dinámicos, por otro lado, se llenan como una ejecución del sistema, cambiando para ajustar los patrones de tráfico del mundo real, cambiando las distribuciones de consultas y los picos de uso. Ellos realmente "aprenden" del tráfico del usuario para mejorar las tasas de golpes. En la vida real, los sistemas limitan las caches dinámicas utilizando políticas de evacuación basadas en la demanda actual, que se deshacen automáticamente de los artículos antiguos. El c En grandes implementaciones con muchas instancias de LLM en diferentes servidores o pods, las cajas por máquina no funcionan para reutilización entre servidores. Por ejemplo, si el servidor A procesa y cachea una consulta, el servidor B tiene que recomputar las respuestas a pesar de que no puede acceder al servidor A. La caché distribuida soluciona esto compartiendo entradas a través de una tienda externa, como Redis. El servidor Triton Inference de NVIDIA añadió cajas distribuidas en 2023, aunque la red sólo añade aproximadamente un 8% más de latencia que las cajas locales en el proceso. (Lorello et al., 2023; Paul, 2025) rohanpaul.com. Luego, los servidores cajan una vez y usan los resultados de nuevo, lo que reduce el trabajo sincrónico innecesario y hace que Cachado de capa y optimización de la memoria GPU/TPU: El cache no se limita a la salida; también se puede usar en capas LLM particulares. Para evitar tener que calcular una capa intermedia cara de nuevo en un golpe de caché, se podría, por ejemplo, cache las salidas de esa capa para entradas frecuentes específicas. Además, podría tener sentido cachear solo las activaciones más caras o utilizar la memoria en chip para cachés en aceleradores de hardware (GPUs/TPUs), donde la memoria es valiosa. Análogos de inferencia de técnicas como el checkpointing gradiente, que involucra la computación comercial para el entrenamiento de memoria, le permiten preservar selectivamente las salidas de capa específica. Mientras mantiene una huella de memoria gestionable, un caché de capa bien diseñado puede reducir signific Caché Granularidad y Llaves: La elección de un índice de caché es un movimiento inteligente. Las llaves de correspondencia exacta en la cadena de prompt completa son fáciles de usar, pero se rompen fácilmente — cualquier cambio pierde la caché. Para obtener más hits, los sistemas utilizan hashes semánticos basados en la incorporación que tratan las prompts como el mismo, incluso si la formulación es diferente, o las llaves de prefixo/chunk que coinciden con los segmentos superpuestos. Después de procesar un prefixo estable, el "caché de prefixos" toma una imagen instantánea del estado KV del modelo. De esta manera, una nueva prompt que comienza con ese prefixo puede moverse rápidamente a ese estado. El proyecto vLLM de código abierto lo hace automáticamente Tamaño de caché y políticas de evacuación: Debido a que la memoria de caché es limitada, los LLM usan políticas como LRU o LFU para decidir qué entradas conservar y cuáles evacuar. Esto libera espacio para nuevos datos. Además de evacuar elementos basados en la edad o la frecuencia, los cachés de LLM también deben lidiar con la decadencia de relevancia y las actualizaciones de modelos o datos mediante la eliminación de artículos viejos. En 2024, la investigación mostró que la evacuación impulsada por el aprendizaje funciona: cachés que fueron entrenados para encontrar y deshacerse de claves con poco valor futuro (Xiong et al., 2024). Estos sistemas de evacuación adaptativos, "inteligentes", que se hacen para cargas de trabajo de LLM, probablemente se conviertan en la norma para En pocas palabras, la construcción de un cache LM es un equilibrio delicado: queremos maximizar la tasa de golpes al tiempo que minimizamos la sobrecarga como el consumo de memoria y la volatilidad. Si esto significa que tienes que trabajar con esos sistemas de traducción automática más duro, entonces sé mi invitado! Estas estrategias (estático vs. dinámico, arquitecturas distribuidas, tirando en el cache golpeado en la terminología fabricándolo en el tiempo del cliente con antiguos idiomas de ejemplo) son todos trucos que pueden ayudarte a hacer más con el cache sin tropezar con las trampas relacionadas con el cache. Diferentes aplicaciones pueden mezclar estos métodos y aplicar Por ejemplo, un sistema de producción podría utilizar a nivel de aplicación un cache prompt semántico (por ejemplo cuando las consultas de usuario se parecen entre Diagrama de arquitectura de la caché de LM en un tubo de inferencia de LLM A continuación se muestra la arquitectura de referencia que representa la integración de LM Cache dentro de un flujo de inferencia LLM típico: Diagrama de flujo de trabajo comparando las solicitudes de inferencia cache vs. no cache Para comprender más los beneficios, considere la comparación del flujo de trabajo entre las solicitudes de inferencia cached y no cached: Integración con infraestructuras modernas El LM de caché no está solo; se derivará del ecosistema de aplicaciones más amplio en la IA. Aquí vemos cómo el caché se ajusta a una variedad de infraestructuras y marcos: The good news is that KV caching is integrated into the majority of contemporary AI frameworks. To avoid redundant computation, Hugging Face Transformers, for example, allows you to set (the default in generate()) to automatically return and reuse previous key/value states. KV caching is used for incremental decoding in Microsoft's DeepSpeed-Inference, which is crucial for scaling large autoregressive models. Kernels are tuned appropriately. (Yazdani Aminabadi et al., 2022) . Cache decoding is also accelerated internally by NVIDIA's TensorRT and ONNX Runtime. In order to maximize speed, model architectures now assume caching in addition to software stacks. UC Berkeley's vLLM presents PagedAttention to manage GPU KV cache, paging it similarly to virtual memory and sharing identical prompt prefixes. (Kwon et al., 2023) . FlashAttention and xFormers optimize attention only for new tokens. This block-based approach reduces memory fragmentation, than standard Transformers. . Additionally, you can anticipate even wider caching support across popular frameworks as these research advances develop. Framework Support (Hugging Face, DeepSpeed, etc.): use_cache=True huggingface.co. arxiv.org blog.vllm.ai lowers overhead to under 4%, and delivers up to 24× higher throughput blog.vllm.ai Caching can greatly improve performance in retrieval-assisted LLM pipelines, such as question answering over a vector database. You can cache retrieved passages, final answers, or embeddings for semantically similar queries rather than using similarity search to retrieve new documents and calling the LLM each time. For example, the 2025 Proximity layer by Malladi et al. reduces retrieval latency by up to 59% with negligible accuracy loss by reusing passages for near-duplicate queries. . Caching retrieval results reduces the load on vector engines and scales systems because many user queries overlap (Chaidez, 2025). Caching query outputs is advised by providers such as Redis and Pinecone. In the end, caching saves duplicate embedding or retrieval effort for frequently asked or comparable queries. Retrieval-Augmented Systems (RAG and Vector DBs): rohan-paul.com These are addressed by caching in the case of serverless LLM deployments (a.k.a. AWS Lambda) and edge scenarios (on-device or in-browser LLM inference) that need to mitigate expensive cold-starts and tight resource limits. For serverless setups—in which models do not persist between invocations—an external store (like Redis or DynamoDB) enables the completion of each function call to check previous outcomes, so that redundant work can be skipped. There is potential to cache recent inferences or embeddings (e.g., user names, common commands ) on things like smartphones or small IoT type edge devices, to reduce latency and save battery. While limited memory and privacy will be a consideration, optimized should start to appear soon for ultra-efficient edge inference. Serverless and Edge Deployments: compressed caches Production-scale LLMs exceed single-GPU or machine capacity, so distributed inference requires caching. Typically, each model shard caches the key/value states for tokens it processes. When a new token arrives, parallel shards coordinate to fetch and update their cached states, avoiding redundant recomputation and memory overhead. Libraries like DeepSpeed and FasterTransformer implement this: with pipeline parallelism, each stage caches its outputs to avoid recomputing all layers per token. Tensor parallelism shards KV , to synchronize new keys/values and maintain consistency across devices. Caching and Model Parallelism: caches across GPUs using cross-GPU protocols Distributed KV caching by limiting work to new computations. One whitepaper noted that without caching, shipping the full context for each inference during distributed execution incurs prohibitive network hops. Caching keeps context local, making large-model inference across multiple machines practical. dramatically reduces inter-node communication and idle time uso_cache = verdad Para resumir, las pilas de IA modernas son cada vez más “cache-conscientes. Los sistemas de nivel superior están empezando a internalizar esto, desde las bibliotecas que cuidan de la mecánica para usted a la arquitectura del sistema que comparte cachés a través de solicitudes e infraestructuras. El caché es algo que la mayoría de los servicios de LLM usarían, ya que eso es lo que los grandes jugadores de IA (OpenAI, Google y Microsoft por ejemplo) han hablado o hecho en sus respectivas ofertas de LLM. Algunas especificidades son bien conocidas como el ChatGPT de OpenAI (no documentado públicamente, pero este evento en particular se describe) presumiblemente utilizando el contexto de conversación a gran escala caching; el equipo de Claude de Anthropic (que viene adelante...) implementó un feat Performance Metrics and Evaluation Metría de rendimiento y evaluación Bueno, en teoría, el caché puede sonar increíble, pero ¿cómo podemos medirlo? Hay pocas métricas de rendimiento comunes que te ayudan a evaluar la eficacia del caché LM Lower Latency: Less Latency: El principal beneficio es menos latency, que es el tiempo que toma para obtener una respuesta. Caching altera la curva de rendimiento: un cache primed constantemente le ofrece alto rendimiento y baja latencia. Lo hacemos mirando los tiempos que se necesitan para hacer solicitudes con y sin cache. Un chatbot que normalmente toma 2 segundos para responder a una pregunta volverá en 0.2 segundos si llega al cache, que es 90% más rápido. La aceleración real depende de la tasa de golpes. Por ejemplo, si el 80% de los golpes son 1000 veces más rápidos, la latencia general será mucho mejor. Los equipos a menudo hablan de las latencias p50 y p95 con y sin cache. Al cachear el contexto Antropic, vio hasta un 85% menos de latencia en conversaciones más largas. ( Mejora de la transmisión: Con la transmisión en caché, la transmisión —requisitos por segundo (RPS) o tokens por segundo (TPS)— puede pasar a través del techo. Esto se debe a que la transmisión en caché ahorra la computación al no tener que hacer los mismos cálculos una y otra vez. El benchmark de DenseNet para NVIDIA Triton fue de 80 a 329 inf/sec (aproximadamente 4×) y los modelos más ligeros vieron unos beneficios del 20% con la transmisión en caché de respuesta. rohan-paul.com. Cuando se trata de servir LLM, PagedAttention de vLLM utiliza una gestión de caché KV más inteligente para gestionar las solicitudes de grupo mejor, lo que significa que puede manejar hasta 24 veces más solicitudes que los Transformadores de cara de Hugging. Compute/Cost Savings: Este es el resultado de dólares y centavos del cache. Dado que el cache también ahorrará en el cálculo redundante, en realidad ahorra FLOPs que son dinero (por ejemplo, cuando se paga por la hora de GPU o llamada API). La métrica común para esto es la utilización de GPU e incluso el tiempo total de computación ahorrado. Por ejemplo, Anthropic afirmó que en conversaciones más largas, el cache prompt puede reducir el consumo de token (por lo tanto el coste) en 90% (Anthropic, 2024), anthropic.com. Esto también se reflejó en el esquema de precios - usando tokens en caché cuesta una magnitud de orden menor que generarlos de scratch. bdtechtalks.com. Si evalúa en un conjunto Hit Rate y Miss Penalty: Estas son métricas específicas del cache. Hit Rate: El porcentaje de las solicitudes (o tokens) que fueron cumplidas por el cache Las tasas de hit más altas significan mejores ganancias de rendimiento en general. Estos son útiles para informar, como “nuestro sistema tuvo una tasa de hit del cache del 60% en las prompts en el prod (X en realidad X vs Y sin cache). La pena de falta es cuánto más lenta es una falta de cache vs hit. En otras palabras, alguna vez la adición de un cache introduce algo de sobrecarga (por ejemplo, computar una incorporación para la búsqueda semántica, o un hop de red adicional para comprobar una caché distribuida) - si la falta todavía hace el modelo de ejecución completo más esta sobrecarga Memoria y Overhead Trade-offs: El cache mantiene las salidas del modelo o los estados intermedios, que utilizan más RAM de GPU. Para contextos largos, el cache KV crece en una línea recta. Por ejemplo, el cache de un modelo 405 B para 16 k tokens puede usar alrededor de 15 GB (alrededor de la mitad del tamaño del modelo). GitHub. Utilice métricas como "memoria overhead por token adicional" o "relaciones de tamaño cache" para averiguar los trade-offs. Usando técnicas como atención multi-query, puede cortar el cache de decenas de gigabytes a unos cientos de megabytes. Esto es una reducción del 97% para 16 k secuencias con poca pérdida de precisión. huggingface.co. Para asegurarse de que Precisión/Impacto de Calidad: La salida del modelo no debe cambiar (excepto por ser servida con un resultado potencialmente ligeramente retrasado) debido a la caché. Sin embargo, en ciertos modelos de caché (es decir, aquellos que son aproximados o semánticos), una respuesta podría terminar no alineada perfectamente con la nueva consulta. Por lo tanto, podemos ver si la caché produce una pérdida de calidad o no. En concreto, si estamos cachando consultas semánticamente relevantes a la nueva consulta y la respuesta de la nueva consulta todavía debe ser correcta, por lo que puede examinarse como puntuación de exactitud o relevancia. En la comunidad académica, esa medida de calidad a menudo se refiere como la “ratio de golpe” —es decir, ¿qué porcentaje de respuestas cachetadas eran correctas? Comparación con Baselines: Los investigadores suelen comparar un modelo de cache mejorado con un modelo de base sin cache para medir el beneficio. También podrían discutir comparaciones de diferentes metodologías de cache. Por ejemplo, cache exacto-match vs. caching basado en embedding vs. no cache en un conjunto de datos de consultas, con latencia y exactitud para eso. vLLM vs. vanilla HF servidor Throughput & Memory. Estos estudios comparativos calculan especificidades para confirmar la intuición de que cache como regla del pulgar es una buena idea. Un ejemplo de resultado podría ser: cache mejora a través de 2× y latencia por 40%, al coste de un GB adicional (gabyte) para cache, vs. base base de no cache. Es debido a estos números Si evaluamos el caché de LM, es importante ponderar los compromisos en los que puede ahorrar en la computación pero a costa de más memoria; menor latencia final, pero necesita manejar respuestas estables ocasionales. Por lo tanto, es crucial mirar las métricas como la anterior en conjunto. por ejemplo, un riesgo del 5% de que una respuesta esté ligeramente desactualizada podría valer la pena obtener sus resultados 10 veces más rápido - o puede que no (consulta médica vs. chat casual tienen diferentes apuestas!). Tanto los artículos académicos como los informes de la industria están comenzando a incorporar el caché en sus índices de referencia, lo que tiene sentido dado el amplio despliegue de cachés. En una encuesta posterior de 2024, se observó que casi todas las primeras presentaciones a tareas de LLM de largo contexto se basaban en alguna forma de caché o optimización de atención para lidiar eficazmente con la longitud del contexto (Chen et al., 2024). Los números son consistentamente grandes victorias. En pocas palabras: el caché reduce la latencia, aumenta el rendimiento y disminuye el coste por consulta al servir nuevas consultas más rápido y evitar el trabajo duplicado. Sin estas optimizaciones, cualquier evaluación de los servicios de LLM estaría lejos de ser completa. de rohan-paul.com Real-World Case Studies Estudios de caso del mundo real Todos sabemos que el caché no es sólo para un argumento académico, y estas características están trayendo valor tangible en la práctica.Aquí hay algunos ejemplos de diferentes escenarios, solo para mostrar cómo el caché ayudó : Conversational AI (Chatbots/Asistentes): En lugar de re-codificar el historial completo cada turno, los LLM de chat multi-turn cachea las conversaciones anteriores. Por ejemplo, cachean la primera pregunta del usuario y la respuesta del asistente para que solo se procesen nuevas entradas en consultas posteriores. huggingface.co. Esto permite a sistemas como ChatGPT responder rápidamente sin tener que hacer toda la matemática de nuevo. Con el caché activado, Anthropic's Claude 3 permite a los desarrolladores pin contextos de larga duración, lo que reduce la latencia en un 79% y cuesta en un 90% en una solicitud de 100k-token. (Anthropic, 2024) anthropic.com. Xiaoice de Microsoft también guarda respuestas de escena para que no tenga que decir las mismas cosas polidas Completamiento de código y asistencia: GitHub Copilot y TabNine utilizan la caché para acelerar la finalización del código. El modelo tendría que procesar todo el contexto de nuevo cada vez que presione una clave, lo que lo haría muy lento. En cambio, almacenan la representación del modelo del prefixo en una caché para que solo se procesen los caracteres adjuntos. Esto se llama caché de prefixo. Muchas promesas de codificación se repiten (como Fibonacci), por lo que la caché de nivel prompt le da las mismas consultas inmediatamente. También trata las mismas consultas de desarrollador entre sesiones para que puedan ser usadas inmediatamente. En un foro, un LLM puede almacenar pares de Q&A populares (o ajustar finamente y almacenarlos) para que pueda responder ráp Asistentes “Copilot” de la empresa: Muchas empresas están desplegando asistentes de IA para internos —como los copilotos de IA que ayudan a resumir documentos, hacer diseños de correo electrónico, responder a preguntas de negocios a partir de datos internos, etc. Estos normalmente se ejecutan sobre una base de conocimiento predefinida (documentos de la empresa, wikis, informes) El caché también es muy valioso aquí, en muchas capas: puedes caché las incorporaciones de documentos internos para devolverlas más rápidamente; puedes caché algunas respuestas a consultas internas comunes (“cómo puedo enviar un informe de gastos?”). Herramientas/Agentes multi-turn: El caché puede cortar los circuitos en los complejos sistemas de agentes de IA (como un agente que planea una tarea a través de múltiples llamadas LLM y utiliza herramientas). Ahora considere a un agente que responde a las preguntas mediante la consulta de un servicio web y obtiene los resultados para usar como entrada para un LLM. En tal caso, si la misma pregunta se pregunta de nuevo, el agente puede recuperar la respuesta anterior de su caché directamente (en lugar de reinvocar las herramientas) o decir que puede reutilizar cualquier resultado de búsqueda (salidas de herramientas de caché, así como salidas de LLM). Esto está correlacionado con el concepto de cachés del planificador o caché de herramientas de resultado. Los resultados de las llamadas intermedias son caché por proyectos como LangChain Servicios de Internet a gran escala: Esto es especialmente cierto en el caso de los motores de búsqueda que pueden beneficiarse drásticamente de la caché de respuestas de LLM. Por ejemplo, Bing Chat sirve a millones de usuarios y hay muchas solicitudes repetidas. Si el backend de LLM de Bing (que es GPT-4) cachea respuestas a preguntas populares ("¿Qué es la capital de X", "Cómo hacer pancakes"), podría devolverlas de inmediato en lugar de generar desde cero cada vez. En realidad, la búsqueda no LLM de Bing ha estado utilizando caché de consulta durante décadas; con las respuestas de LLM emergentes ahora estamos viendo el mismo patrón exacto. Los investigadores acaban de mostrar un sistema que una vez que encontró resultados para una búsqueda, les cachea que la misma búsqueda significa grandes reduc En agosto de 2024, , que fue la primera vez que los LLM comerciales tenían caché para los usuarios. los servidores de Anthropic pueden almacenar enormes contextos innecesarios, como un libro (100.000 tokens). Escribir a la caché cuesta un 25% más por token de entrada, pero leer el contenido caché solo cuesta un 10% de la tasa base. La primera llamada almacena datos; las próximas llamadas utilizan el ID de prompt para encontrarlo y enviar solo contenido nuevo.Los clientes dijeron que las respuestas eran hasta cuatro veces más rápidas (la latencia fue de 11,5 segundos a 2,4 segundos) y que y el costo de los prompts de 10.000 tokens disminuyó en alrededor del 86%. Los agentes de conversación, los ayudantes de codificación y los Q&A de documentos grandes son usos comunes, y un contexto estable es el mejor para los éxitos de caché. Anthropic hizo que el caché sea un caso de negocio fuerte al combinar mejoras de rendimiento con incentivos financieros.No es sorprendente que competidores como OpenAI y Google estén añadiendo características similares para obtener los mismos beneficios de costo y latencia. Anthropic's Claude 3 added Prompt Caching Antropología cost of 100,000-token prompts went down by 90% Antropología Otro caso : OpenAI no ha elaborado sobre ninguno de esto públicamente, pero uno podría preguntarse si los desarrolladores se ajustaron y / o proporcionaron textos de pocos tiros en cada solicitud, esa porción podría ser cached lado del servidor para que el modelo no tenga que re-codificar esos ejemplos desde cero cada vez. Es análogo al enfoque de Anthropic. por ejemplo. si usted envía el mismo 2000 token sistema prompt + Instrucción en cada llamada de la API (que muchos hacen), OpenAI cache la incorporación del modelo de que dentro y simplemente concatenar con su representación procesada de la consulta. sería totalmente transparente para los usuarios pero (podría ahorrarlos) en una gran cantidad de computación y ayudaría a OpenAI a manejar más carga en su hardware. OpenAI's system messages and few-shot examples caching En conjunto, casi todas las grandes compañías de IA están utilizando el cache de LM en el mundo real. Mientras que OpenAI, Anthropic, Microsoft, Google y Hugging Face han discutido o documentado en algún momento estrategias de cache con diferentes aprendizajes como resultado, la mayoría de estas comparten la misma conclusión: el cache proporciona un impulso de rendimiento gigante, pero se hace importante gestionar la frescura del cache sin sacrificar la memoria y la escalabilidad. Las historias de “empujamos un cache y vimos una disminución del 30% en nuestro uso de GPU mientras mantenemos el QPS intacto” no son inolvidables. caching is the ticket to turbocharging LLM applications. Challenges and Limitations Retos y limitaciones Por supuesto, el caché no es una bala de plata. Esto es, por supuesto, un poco trivial - si fuera fácil todo el mundo estaría caché todas las cosas después de todo! Hay numerosos desafíos y limitaciones en la práctica que los ingenieros tienen que trabajar alrededor al desplegar las cachés de LM: Cache Invalidation (Stale Data): Cuando los datos subyacentes o una actualización de LLM cambia el significado de una respuesta, las salidas en caché se vuelven estancadas, al igual que los problemas de invalidación de la caché web. Una corrección ingenua es limpiar todas las cachés cuando se actualiza el modelo. Esto es fácil pero desperdicioso porque elimina entradas que siguen siendo válidas. Algunas personas utilizan la regla de "si no se encuentran, recuperen frescas", pero esto puede causarles la pérdida de datos útiles. Es mejor dar a los artículos un valor de tiempo en vivo (TTL) para que expiren después de un cierto tiempo, o a las claves de cache de versión por ID de modelo o parámetros para que no utilices las entradas de los modelos más antiguos. Contexto estancado en el diálogo: Cuando el contexto cambia más tarde en un chat multi-turn, las respuestas en caché pueden volverse estancadas. Por ejemplo, si guardas una respuesta a la pregunta A y luego el usuario agrega más información, usando la misma respuesta de nuevo puede perder cambios importantes. Para evitar que esto suceda, las caches a menudo almacenan el ID de conversación completo, no solo la más reciente solicitud, o solo almacenan intervalos de diálogo más cortos. En lugar de guardar respuestas enteras, podría guardar resúmenes cortos y ricos en contexto en su lugar. Esto reduce el riesgo de que se vuelvan obsoletos. Todavía es difícil gestionar bien las caches. Políticas conservadoras (solo almacenando entradas que son poco probable que cambien) o la validación dinámica Prompt Variabilidad y Unicidad: Los LLM a menudo tratan con entradas muy diferentes, por lo que los cachés ingenuos no funcionan muy bien. Por ejemplo, las aplicaciones de generación creativa que te piden "escribir un poema sobre X en el estilo de Y con twist Z" casi nunca obtienen ningún hit sin caché semántico. Las cachés semánticas tratan de generalizar al combinar embeddings, pero solo funcionan cuando las consultas son muy similares. rohan-paul.com. Los beneficios del caché dependen de la redundancia de la carga de trabajo. Las cachés KV siempre son útiles para salidas largas, pero el caché de respuesta completa ad hoc no funciona tan bien si no hay dos consultas iguales. El caché parcial o modular, que significa romper salidas en partes reutilizables como frases Memory Footprint: Las cajas usan mucha memoria, ya sea RAM o GPU, porque las cajas KV para contextos largos pueden ser tan grandes como el modelo en sí. huggingface.co. Las cajas de respuesta también pueden volverse demasiado grandes, lo que significa que tienen que derramarse a la CPU o disco. Esto significa que tienes que elegir entre capacidad y tamaño del modelo o rendimiento de batch. Por ejemplo, si apartas 20 GB de una GPU de 40 GB para la caché, no habrá mucho espacio para modelos más grandes o para manejar más solicitudes. Para abordar este problema, los investigadores comprimen KV tensores (Shutova et al., 2025) o arxiv.org o los cuantizan (4-bit vs. 16-bit rendimientos ~4× ahorros de memoria). El papel AQUA-KV de "Cache Me If Complexidad e Ingeniería Overhead: El caché hace las cosas más rápidas, pero también hace que las cosas sean más complicadas. Usted necesita establecer maneras seguras, de baja latencia para almacenar, buscar, actualizar y invalidar entradas, lo que a menudo significa usar tiendas externas como Redis para cachés distribuidos, lo que puede fallar. Para asegurarse de que las cosas sean responsivas, es posible que necesite hacer ingeniería cuidadosa, como usar llamadas asíncronas sin bloquear o estructuras libres de bloqueo. El debugging también se vuelve más difícil porque las salidas inesperadas pueden provenir de datos de caché antiguos o rotos en lugar del modelo mismo. Es por eso que es importante tener un buen registro y una buena observabilidad para los éxitos y fallas de caché. En campos de alto riesgo como la Seguridad y Privacidad: Si no se gestiona correctamente, la caché de prompts y salidas sensibles puede hacer que los datos privados sean públicos. En los sistemas multi-teniente, siempre limite el acceso al caché a las solicitudes que han sido aprobadas y las entradas de alcance a un usuario o sesión. Las cachés también corren el riesgo de ataques de canal lateral, por lo que los hackers ven las consultas de otras personas. Para reducir el riesgo, limitar o cifrar el contenido del caché sensible. Sin embargo, la encriptación puede hacer que la coincidencia semántica sea más difícil. Además, reglas como el RGPD pueden tratar las salidas de IA caché como datos almacenados, lo que significa que deben ser borradas si el usuario lo pide. A medida que el caché de IA se vuelve más común, Caché Coherencia en Sistemas Distribuidos: Caché Distribuido le permite hacer copias de datos, pero tiene problemas con la coherencia. Por ejemplo, las actualizaciones o invalidaciones en una instancia no siempre son vistas por otros, y cuando dos réplicas pierden la misma caché al mismo tiempo, pueden tener que recomputar y competir para escribir la misma entrada. Para detener las duplicaciones, necesita operaciones atómicas o bloqueos. Por ejemplo, los comandos atómicos de Redis soportan esto. Medio. Para construir una caché distribuida, necesita elegir protocolos de coherencia fuertes o aceptar la coherencia eventual con lecciones y escritos estables ocasionales. Redis. Testar y ajustar estas estrategias se vuelve especialmente difícil en el servicio de LLM, donde las entradas de Sin embargo, la Por lo tanto, no puede ser una sorpresa masiva que casi todos los servicios de LLM que abarcan la empresa impliquen el caché de una forma u otra, y la diferencia es que cualquiera coloca este trabajo de diseño para hacer frente a las trampas. Mitiga los riesgos: cosas de caché que no son ultra-sensibles (o simplemente cambian lentamente) + Utilice muchas estrategias de invalidación de caché + Tenga un ojo en el uso de la tasa de golpes / ram y tenga retrocesos (si sucede algo funky con su caché, el sistema funcionará, será simplemente lento).Estamos empezando a ver mejores herramientas y bibliotecas para manejar mucho de eso automáticamente (por ejemplo, caché de cifrado a nivel de marco o bloques automáticos de validación de modelos en actualizaciones). overall performance gains of caching generally significantly exceed El LLM es extremadamente poderoso, pero no es gratuito como hemos visto y añade una capa adicional de complejidad a los LLMs - la caché. Los académicos de LLM ahora conocen el primero! pero con un buen diseño, se puede gestionar el compromiso, y se pueden realizar beneficios inmensos. Hay sólo dos cosas difíciles en la informática: la invalidación de la caché y el nombramiento de las cosas. Future Directions and Research Opportunities Futuras direcciones y oportunidades de investigación El campo de la caché LLM es altamente dinámico, con numerosas vías emocionantes que los investigadores e ingenieros están investigando para ampliar aún más sus capacidades: Cacho adaptativo e inteligente: El aprendizaje automático puede ayudar con las políticas de caché y expulsión. Por ejemplo, los agentes de RL tratan de obtener las recompensas más a largo plazo (ratio de golpe × corrección). Pueden prefetchar los datos que piensan que necesitarán, como el sistema operativo antes de leer, cache los resultados populares durante los tiempos ocupados, y deshacerse de las entradas que no valen mucho. La ejecución especulativa ocurre cuando los cachés calculan activamente y guardan datos que probablemente ocurran. El meta-aprendizaje basado en LLM puede adivinar qué cálculos intermedios serán caros y almacenarlos en un cache. El aprendizaje reforzado también puede gestionar la expulsión eliminando entradas que probablemente no sean útiles en el Compresión de caché y almacenamiento eficiente: La cuantización y el triturado son dos métodos que el caché utiliza para adelgazar. AQUA-KV comprime los tensores KV a sólo unos pocos bits con poca pérdida de calidad (Shutova et al., 2025). El triturado, como la caída de terminales KV, se deshace de entradas que no son necesarias. En contextos largos, Anchor Attention mantiene solo los tokens KV "anchor" y comprime el resto (Sun et al., 2024). Las cachés experimentales "perdidas" toman vectores que son similares y los combinan en uno. Memoria de alta anchura o memoria de clase de almacenamiento (Optane) puede derramar cachés KV con intercambios de latencia P99 en el lado del hardware. Caché Cross-Modal y Cross-Domain: Los LLMs Multimodales e incluso la traducción de vídeo necesitan un caché especial. Por ejemplo, almacenar las incorporaciones de imagen le permite saltar el reprocesamiento de imágenes que ya ha visto, y el caché de fragmentos de audio analizados hace que los asistentes de voz funcionen más rápido. Para cada tipo de datos, necesita una estrategia diferente. Por ejemplo, hashes perceptivos para imágenes y huellas dactilares de audio para audio. El caché federado a través de dispositivos de borde puede compartir resultados comunes de forma privada, lo que está en línea con las garantías de privacidad del aprendizaje federado. Como un caché de navegador global para asistentes de IA, los cachés comunitarios permiten a muchos usuarios o dispositivos agregar a un pool compartido (utilizando cifrado hom Caching en Entrenamiento y Fine-Tuning: El caching también se puede utilizar para entrenamiento y ajuste perfecto de LLMs, no sólo para inferencias. Para evitar discos I/O, las ejecuciones a gran escala ya mantienen conjuntos de datos tokenizados en la memoria. Los cachés de entrenamiento almacenan los estados intermedios de una manera más innovadora. Por ejemplo, los modelos de tareas múltiples pueden usar la representación de una secuencia en tareas en lugar de enviarla de nuevo. Almacenar biases o gradientes que se usan a menudo en un caché también reduce la computación innecesaria. Principalmente ayuda con la investigación, pero también reduce los costos en el aprendizaje continuo o RLHF al saltar los pasos que se repiten. El retro de Google (202) usó un caché de fragmentos de texto como Gobernanza del caché y control de calidad: Otro cambio importante que necesita ocurrir en el futuro es la comprobación regular de las respuestas en caché para mantener la experiencia del usuario buena. Si la respuesta en caché de un LLM apenas pasó los filtros, el feedback del usuario, como la repetición de la repetición de la frase, podría significar que debe ser cambiado o eliminado. Esto crearía un ciclo de retroalimentación que continúa mejorando la caché y la convierte en una base de conocimiento viva. Trabajos de fondo programados pueden recompilar y actualizar las entradas de caché superiores como el modelo subyacente se está retraciendo o ajustando. De esta manera, las respuestas populares reciben generaciones mejores. Este método es similar a cómo los motores de búsqueda refrescan las páginas en caché cuando el contenido de Estandarización y capas de API de caché: No nos sorprendería si podamos ver capas estandarizadas en la pila de aprendizaje automático orientada específicamente para el caché. Actualmente cada marco o aplicación tiene que crear su propia lógica de caché. Tal vez podamos, pero uno podría imaginar algunos tipos de "API de caché" que ofrecen los proveedores de modelos o servidores de frameworks y permitir a los desarrolladores conectar su lógica personalizada (casi como plugins de caché con servidores web). Por ejemplo, OpenAI u otros proveedores pueden proporcionar parámetros de API para activar y apagar la eficacia de caché, tal vez definiendo niveles de agresión en los hits de caché de construcción, o si los resultados deben ser consistentes con la similitud semántica. Esto haría que la adopción sea aún Caché / Scratch Por lo tanto, parece que el futuro del cache LM es bastante soleado y lleno de soluciones novedosas. En general, el impulso es obvio: a medida que lanzamos modelos más grandes para un mayor número de usuarios, una estrategia de cache es un lugar fácil para coger un poco de slack. Las próximas iteraciones mejorarán el cache (aprendizaje-driven), reducirán su peso (compresión y mejor gestión dentro de la memoria), y lo harán más pervasivo a través de diferentes modalidades y para entrenamiento/inferencia.* Así que es una carrera de Arms, no solo para construir modelos más grandes, sino para servirlos más inteligentemente._* A través de esto, las mejoras en el cache y la eficiencia son por qué los LLM como GPT-4 y Llama-2 pueden correr tan rápido en interfaces de chat (como De aquí en adelante, tal vez aquellos con la estrategia de caché más agresiva podrían potencialmente ganar el título de ofrecer los servicios de IA más rápidos y, en última instancia, más baratos. Encuadernación.co Las referencias: Antropic. (2024 el 14 de agosto). Más información de Anthropic News: Rápido encuentro con Claude. Antropología.com Antropología.com Hinton, G., Vinyals, O., y Dean, J. (2015). NIPS Deep Learning y Workshop de Aprendizaje Representativo. Distribuir el conocimiento en una red neural. Lewis, P., et al. (2020) Sistemas Neurales de Procesamiento de Información. Generación aumentada para el NLP intensivo en el conocimiento. Paul, R. (2025, 20 de abril). Blog de Rohan’s Bytes. Estrategias de caché en servicios de LLM para la formación y la inferencia. de rohan-paul.com de rohan-paul.com Pol, S. (2025 6 de abril). Blog de Medios. Acelerar la inferencia de transformadores con KV Caching. por sudhirpol522.medium.com por sudhirpol522.medium.com Cazador, N. (2019) Archivo de la etiqueta: 1911.02150 . Decodificación de transformadores rápidos: Una cabeza de escritura es todo lo que necesita. Archivo .org Shutova, A., Malinovskii, V., Egiazarian, V., et al. (2025). arXiv:2501.19392 . Cache Me If You Must: Cuantización de valor clave adaptativa para modelos de idiomas grandes. Archivo .org Yazdani Aminabadi, R., Rajbhandari, S., Zhang, M., et al. (2022). arXiv:2207.00032 . Inferencia DeepSpeed: Permite la inferencia eficiente de modelos de transformadores en una escala sin precedentes. Archivo .org Kwon, W., Li, Z., Zhuang, S., et al. (2023). Procedimientos de SOSP 2023 . Gestión eficiente de la memoria para el modelo de lenguaje grande que sirve con PagedAttention (vLLM). El blog.vllm.ai El blog.vllm.ai Hugging Face Transformers Team (2023). Blog de cara a cara. Optimiza tu LLM en la producción. Encuadernación.co Encuadernación.co Lorello, S., McCormick, R., y Partee, S. (2023). Blog Técnico de Nvidia. Cómo construir una Cache de Inferencia Distribuida con NVIDIA Triton y Redis. (Se pueden insertar referencias adicionales para el rigor académico y la exhaustividad según sea necesario para coincidir con todas las citas anteriores.)