Optimize pèfòmans LLM ak LM Cache: Architectures, estrateji, ak aplikasyon reyèl

Abstract Abstraksyon Nan atik sa a ofri yon gade enpòtan nan rechèch teknik sou operasyon an nan LM Cache ak ki jan machin la caching amelyore efikasite, skalabilite, ak pri redwi nan implemantasyon an nan Big Language Model (LLM). Nou etidye diferan kalite aritektur caching ak mekanis, ki jan yo ka entegre ansanm ak nouvo enfrastrikti AI ak evalye pou pèfòmans. Egzanp soti nan jaden an detaye ki jan kèk nan pi gwo kliyan nou yo ap deplase LM Caches nan pratik ak sa yo ki yo te aprann sou wout la. Finalman, nou konklizyon pa etidye kèk defi, limitasyon ak direksyon pwochèn nan jaden sa a rapidman evolye. Introduction Introduction nan Pense nan yon asistan AI ki gen kontinyèlman bay menm repons tout jou pou dè santèn de tan! Sa a se pa yon rezilta, li gen yo re-genere chak repons soti nan zèb, literalman chak fwa? Pandan ke LLMs (pens GPT-4, PaLM elatriye) se transformasyon tout bagay ki soti nan sipò kliyan nan kreye kòd yo Nan pwodiksyon, chak kesyon nan yon modèl gwo ka koute sekondè ak enpòtan òdinatè GPU. Kòm gwosè modèl ak espere itilizatè ogmante, bezwen a pou yon konklizyon vit vin pi enpòtan pase tout tan. deployment at scale is stymied by latency requirements, computational cost and memory footprint Si tout sa yo te konsidere, LM cache a ap vini kòm yon repons trè entelijan pou pwoblèm sa yo pa caching ak re-utilisasyon rezilta yo deja konvèti. Caching se prensipalman sa ki pèmèt sistèm nou an remake tout sa li te wè anvan. Konpozisyon an jeneral nan konsèp la se pa nouvo nan syans òdinatè, men li te gen yon pwopriyete potansyèl nan LLM tèt li pou yon pèfòmans anpil pi gwo ak yon diminye gwo nan tan repons. Kòm destilasyon modèl (kreye modèl pi piti, pi vit), kreyasyon-augmented retrè (kouri sou baz konesans ekstèn), ak baz done vètikal pou rechèch semantik, LM Cache ogmante lòt teknik optimizasyon. Avèk yon mas final nan mekanis c Foundations of LM Cache Fondasyon pou LM Cache Konpozisyon an nan se senpleman yon re-user òdinatè pou yo pa overwork. Nan ka a nan LLM inference, caching ka egziste nan nivo diferan nan granularity: LM cache Cache the entire output to a given input prompt. If our model receives the same prompt again, it returns the cached output without running the model. This is effectively memorizing the model's response to entire queries, at the highest-level cache. It is particularly powerful for tasks that involve the reapplication of the same query many times (e.g. Q&A model with a single question asked repeatedly) This could be implemented, for example (sample implementation in the functions promptify and getPossibleResults) as a simple dictionary that maps prompts to possible results e.g. Prompt-level cache: Pseudocode: prompt-level cache integration prompt_cache = {} # A dictionary to store prompt->response mappings def generate_response(prompt): if prompt in prompt_cache: return prompt_cache[prompt] # return cached answer result = model.generate(prompt) # expensive LLM call prompt_cache[prompt] = result # store for next time return result We cache intermediate results for each token in a sequence instead of caching whole responses. Autoregressive LLMs generate text one token after the other. This is because without caching, the entire previous context will have to generated again from start for every new token to be created. Token level caching is the process of stores intermediate state of model tokens like the activations or hidden states in a way that, when producing next token, the model can skip recomputing what it already did for prior tokens. This is highly connected to the in transformer models, more on this below. Token specific caching: key–value cache LLMs based on transformers use self-attention, which means that each token pays attention to all of the ones that came before it. Frameworks cache the "key" and "value" projections for previous tokens and only add new ones to avoid having to compute attention over the whole sequence again. . This KV cache speeds up autoregressive decoding, which is an important GPT-style optimization. It cuts the work per step from O(n²) to O(n) without changing the outputs (Yazdani Aminabadi et al., 2022; Pol, 2025) arxiv.org. By default, libraries like Hugging Face Transformers do this with during generation, which means that only new tokens are processed. A simple pseudocode loop shows how grows with each iteration. KV cache (Key-Value cache) : neptune.ai use_cache=True past_kv Pseudocode: using KV cache in an autoregressive decoder loop past_kv = None for token in prompt_tokens: output, past_kv = model.decode_next(token, past_key_values=past_kv) # past_kv now contains keys/values for all tokens up to current one The above loop accumulates the key-value pairs to be carried forward as such as that model. Then can use the cached context and need not recompute it. The KV caching makes the quadratic slowdown now avoidable, and transforming models to work with this form of storage is crucial for the continued efficiency of transformer inference, particularly if GPT-4 like models are able to generate much longer continuations far more efficiently. past_kv model.decode_next LLM follows the same procedure with all text input as firstly it converts tokens into vector embeddings. Calculating these embeddings (especially a large contextual embedding model) can cost nearly as much as running the full LLM itself, so why do it again for some common tokens/phrases? Embedding Cache — a cache where the vector representations of common inputs are stored. (Paul, 2025) . For example, we can cache those embeddings instead of computing them from scratch if application encodes the same sentences or document chunks many times (in a retrieval-augmented setup) This will save time and guide the style of such representations. . Embedding caching is a natural fit for retrieval pipelines and semantic search, as it caches the “input features” before they hit the big model. Embedding cache: rohan-paul.com rohan-paul.com Multi-Query Attention (MQA) is a type of Transformer attention in which all heads use the same keys and values as input to their attention function (Shazeer, 2019) . Typically, with 12 or 24 heads, each head has its own keys and values. This means that the cache stores 12x or 24x vectors for each token. Instead, MQA caches just one set, and heads keep their query projections while looking up a shared key-value store. In one benchmark (Shazeer, 2019) ( ; ), this cut memory and bandwidth overhead by a huge amount, from about 15 GB to less than 400 MB on a 16k-token context. There is only one shared cache instead of 100% memory overhead per head. Multi-query attention caching: arxiv.org arxiv.org huggingface.co Noam Shazeer first suggested MQA (and its grouped-query versions) in One Write-Head is all we Need ( ). It is used in PaLM, Falcon, MPT, and BLOOM to make longer contexts work better. It also makes inference faster because it needs to fetch less data from memory, which means it can do attention computations faster ( ). In theory, MQA is a smart way to cache data for the architecture, so that the number of trainable parameters doesn't go up as the number of heads or the length of the context grows. huggingface.co huggingface.co Sèvi ak_Cache=True ansyen_kv ansyen_kv modèl.decode_next Tout nivo caching sa yo itilize prensip la senp ki Pandan mekanis la atansyon pwòp tèt ou, kalkil la nan chak nouvo token nan transformer ki baze sou LLMs souvan depann sou token anvan yo. Si nan nivo a pwòp ou a oswa fondamantalman nan modèl la, caching rezilta yo nan kalkil yo anvan yo pèmèt operasyon yo pita ale dirèkteman nan rezilta final la. Ameliorasyon enpòtan nan vitès ak itilizasyon resous rezilta de sa. system shouldn't re-compute what you have already done LM Cache Architectures and Strategies LM Cache Architectures ak estrateji Kòm pa tout chaj travay yo menm jan an nan sistèm LLM, yon nimewo gwo nan aritèkture ak estrateji te fèt pa enjenyè yo maksimize chèk cache ak redwi overhead. Isit la se kèk pratik kle: Static vs. Dynamic Caches: Static caches vini ak pre-filled entwodiksyon / pwodiksyon pafè, ki fè yo gwo pou chanjman travay prezante. Sa yo se solisyon caching pou kesyon komen oswa fiks-prompte pwodiksyon, tankou FAQs oswa repons tès ka. Dynamic caches, sou lòt men, ranpli kòm yon sistèm kouri, chanje pou mete patnè trafik, chanje distribisyon kesyon, ak piki itilizasyon. Yo reyèlman "ap aprann" soti nan trafik itilizatè a amelyore pousantaj hit. Nan lavi reyèl, sistèm limite cache dinamik lè l sèvi avèk politik eviction ki baze sou demann kounye a, ki otomatikman retire atik fin vye granmoun. Dynamic caching se preferred pou pi gwo deplwaman mond reyèl paske li ka ch Distribye ak Federated Caching: Nan deplwaman gwo ak anpil instans LLM sou sèvè diferan oswa pods, cache pou machin pa travay pou re-kòz sèvè. Pou egzanp, si sèvè A pwosesis ak cache yon kesyon, sèvè B dwe rekòmande repons yo menm si li pa ka jwenn aksè nan sèvè A. Cache distribye fikse sa a pa pataje entèdi atravè yon magazen ekstèn, tankou Redis. Triton Inference sèvè a nan NVIDIA te ajoute distribye caching nan 2023, menm si rezo hop sèlman ajoute apeprè 8% plis latans pase lokal cache nan pwosesis la. (Lorello et al., 2023; Paul, 2025) rohanpaul.com. Lè sa a, sèvè cache yon fwa Layer-wise caching ak GPU / TPU memwa optimizasyon: Caching se pa limit nan pwodiksyon an; li kapab tou itilize nan sèten LLM layers. Pou evite dekouvri yon kouch antye chè ankò sou yon hit cache, yon moun ta ka, pou egzanp, cache pwodiksyon yo nan kouch sa a pou entwodiksyon fredi espesifik. Anplis de sa, li ta ka rezon pou cache sèlman aktivasyon ki pi chè oswa sèvi ak sou-chip memwa pou cache sou akselèzè lojisyèl (GPUs / TPUs), kote memwa se valè. Analog nan enferans teknik tankou gradient tchekepointing, ki gen rapò ak kominikasyon komès pou pandan fòmasyon memwa, pèmèt ou selektivman konsève pwodiksyon ki espesifik nan kouch Cache granularity ak kle: Chwazi yon endèks cache se yon mouvman entelijan. kle egzak-match sou strè a pwopòt plen se fasil yo sèvi ak, men yo breakout fasil - nenpòt chanjman manke cache a. Pou jwenn plis kouch, sistèm yo sèvi ak hash semantik ki baze sou embedding ki trete pwopòt yo menm si tèm la se diferan, oswa kouch prefik / chunk ki kouvri segman yo kouvri. Apre pwosesis yon prefik ki estab, "prefik caching" pran yon snapshot nan estati KV nan modèl la. Sa a fason, yon nouvo pwopòt ki kòmanse ak prefik sa a ka byen vit deplase nan estati sa a. Pwojè a vLLM louvri-sòti fè sa otomatikman pa jwenn prefik yo pataje nan demann ki Kòm memwa cache se limite, LLMs sèvi ak politik tankou LRU oswa LFU yo deside ki enskripsyon yo kenbe ak ki yo retire. Sa a libere espas pou done nouvo. Anplis de sa yo retire atik ki baze sou laj oswa frekans, cache LLM yo dwe tou fè fas ak ranje enpòtan ak modèl oswa ajou done pa retire atik fin vye granmoun. Nan 2024, rechèch yo te montre ke aprantisaj-driven retire travay: cache yo ki te fòmasyon jwenn ak retire kle ak piti valè nan lavni (Xiong et al., 2024). Sa yo adaptif, "smart" sistèm retire, ki yo te fè pou chanjman travay LLM, yo pral pwobableman vin nòmal la pou jesyon cache efikasman. Kòzman, bati yon cache LM se yon balans delika: Nou vle maksimize pousantaj hit pandan y ap minimize overhead tankou konsomasyon memwa ak volatilite. Si sa vle di ou dwe travay ak sistèm tradiksyon machin sa yo pi difisil, Lè sa a, w ap envite m '! Estrikti sa yo (static vs. dinamik, aritektur distribiye, retire nan cache a te pran sou terminoloji pa fabrike li nan tan kliyan ak lang egzanp ansyen) yo tout trik ki ka ede ou fè plis ak caching san yo pa tripe sou ti kras ki gen rapò ak cache. Diferan aplikasyon ka blende metòd sa yo ak aplike Pou egzanp, yon sistèm pwodiksyon ka itilize nan nivo aplikasyon yon cache semantik (pou ka enstitisyon lè yo kesyon itilizatè yo Architecture Diagram nan LM Cache nan yon LLM Inference Pipeline Isit la se estrikti referans ki reprezante entegre nan LM Cache nan yon flux tipik deferans LLM: Diagram travay ki konpare Cached vs. Non-Cached Demand Inferans Pou pi plis konprann benefis yo, konsidere konpare flux travay ki genyen ant Cached ak Non-Cached kesyon: Entegre ak enfrastrikti modèn AI Caching LM se pa solitèr - li pral rezilta nan ekosistèm la aplikasyon pi laj nan AI. Isit la nou gade ki jan caching anpeche nan yon varyete enfrastrikti ak ankadreman: The good news is that KV caching is integrated into the majority of contemporary AI frameworks. To avoid redundant computation, Hugging Face Transformers, for example, allows you to set (the default in generate()) to automatically return and reuse previous key/value states. KV caching is used for incremental decoding in Microsoft's DeepSpeed-Inference, which is crucial for scaling large autoregressive models. Kernels are tuned appropriately. (Yazdani Aminabadi et al., 2022) . Cache decoding is also accelerated internally by NVIDIA's TensorRT and ONNX Runtime. In order to maximize speed, model architectures now assume caching in addition to software stacks. UC Berkeley's vLLM presents PagedAttention to manage GPU KV cache, paging it similarly to virtual memory and sharing identical prompt prefixes. (Kwon et al., 2023) . FlashAttention and xFormers optimize attention only for new tokens. This block-based approach reduces memory fragmentation, than standard Transformers. . Additionally, you can anticipate even wider caching support across popular frameworks as these research advances develop. Framework Support (Hugging Face, DeepSpeed, etc.): use_cache=True huggingface.co. arxiv.org blog.vllm.ai lowers overhead to under 4%, and delivers up to 24× higher throughput blog.vllm.ai Caching can greatly improve performance in retrieval-assisted LLM pipelines, such as question answering over a vector database. You can cache retrieved passages, final answers, or embeddings for semantically similar queries rather than using similarity search to retrieve new documents and calling the LLM each time. For example, the 2025 Proximity layer by Malladi et al. reduces retrieval latency by up to 59% with negligible accuracy loss by reusing passages for near-duplicate queries. . Caching retrieval results reduces the load on vector engines and scales systems because many user queries overlap (Chaidez, 2025). Caching query outputs is advised by providers such as Redis and Pinecone. In the end, caching saves duplicate embedding or retrieval effort for frequently asked or comparable queries. Retrieval-Augmented Systems (RAG and Vector DBs): rohan-paul.com These are addressed by caching in the case of serverless LLM deployments (a.k.a. AWS Lambda) and edge scenarios (on-device or in-browser LLM inference) that need to mitigate expensive cold-starts and tight resource limits. For serverless setups—in which models do not persist between invocations—an external store (like Redis or DynamoDB) enables the completion of each function call to check previous outcomes, so that redundant work can be skipped. There is potential to cache recent inferences or embeddings (e.g., user names, common commands ) on things like smartphones or small IoT type edge devices, to reduce latency and save battery. While limited memory and privacy will be a consideration, optimized should start to appear soon for ultra-efficient edge inference. Serverless and Edge Deployments: compressed caches Production-scale LLMs exceed single-GPU or machine capacity, so distributed inference requires caching. Typically, each model shard caches the key/value states for tokens it processes. When a new token arrives, parallel shards coordinate to fetch and update their cached states, avoiding redundant recomputation and memory overhead. Libraries like DeepSpeed and FasterTransformer implement this: with pipeline parallelism, each stage caches its outputs to avoid recomputing all layers per token. Tensor parallelism shards KV , to synchronize new keys/values and maintain consistency across devices. Caching and Model Parallelism: caches across GPUs using cross-GPU protocols Distributed KV caching by limiting work to new computations. One whitepaper noted that without caching, shipping the full context for each inference during distributed execution incurs prohibitive network hops. Caching keeps context local, making large-model inference across multiple machines practical. dramatically reduces inter-node communication and idle time Sèvi ak_Cache=True Pou konklizyon, modèn stack AI yo pi plis- ak plis se konsa "cache-aware. Sistèm pi wo nivo yo kòmanse internalize sa a, soti nan bibliyotèk ki sove mekanik la pou ou nan arsitektur sistèm ki pataje caches atravè demann ak enfrastrikti. Caching se yon bagay ke pi fò sèvis LLM ap itilize, kòm sa a se sa ki gwo jwè yo nan AI (OpenAI, Google ak Microsoft pou egzanp) te pale sou oswa fè nan pwopozisyon LLM respektiv yo. Gen kèk espesifik yo byen li te ye tankou OpenAI a ChatGPT (pa piblikman dokimante men evènman sa a espesyalman deskripsyon) presumab lè l sèvi avèk konteks konvèsasyon gwo-scale caching; Claude a nan Anthropic ekip la (vini pwochen...) Performance Metrics and Evaluation Performanse metrik ak evalyasyon Okay, nan teyori caching ka sanble etonan, men ki jan nou ka mesye li? Gen kèk nan metrik pèfòmans komen ki ede ou evalye efikasite a nan LM caching Lower Latency: Menm Latency: Avantaj prensipal la se mwens latency, ki se tan an ki pran yo jwenn yon repons. Caching chanje koub la nan pèfòmans: yon cache primed konsistentman ofri ou pèfòmans segondè ak latency ki ba. Nou fè sa pa gade nan tan li pran yo fè kesyon ak ak san yo pa cache. Yon chatbot ki anjeneral pran 2 segonn yo reponn yon kesyon pral retounen nan 0.2 segonn si li koute cache a, ki se 90% pi vit. vitès la aktyèl la depann sou vitès la koute. Pou egzanp, si 80% nan tikè yo se 1000 fwa pi vit, latè a jeneral la pral anpil pi bon. Ekip yo souvan pale sou p50 ak p95 latencies ak ak ak san yo pa caching. Improvement nan caching: Avèk caching, pèfòmans -requests pou chak segonn (RPS) oswa token pou chak segonn (TPS) - ka ale nan tèt la. Sa a se paske caching sove òdinatè pa gen yo dwe fè kalkil yo menm ankò ak ankò. DenseNet benchmark pou NVIDIA Triton te soti nan 80 a 329 inf/sec (apre 4×) ak modèl pi limyè te wè apeprè 20% pwofi ak caching repons. rohan-paul.com. Kòm li rive nan sèvis LLM, PagedAttention nan vLLM sèvi ak yon jesyon cache KV pi entelijan pou demann gwoup pi bon, ki vle di li ka sove jiska 24 fwa plis demann pase Hugging Face Transformers. vLLM Blog. Nan ka ak plis pase yon itiliz Compute/Cost Savings: Sa a se dòlar-ak-cen rezilta nan caching. Pandan ke caching pral tou sove sou konvèsasyon redondant, li reyèlman sove FLOPs ki se lajan (pou egzanp lè ou peye pa èdtan GPU oswa API apèl). Metrik la komen pou sa a se GPU itilize ak menm tan konvèsasyon total sove. Pou egzanp, Anthropic te argumente ke nan konvèsasyon ki pi long, prompt caching ka diminye konsomasyon token la (ki se konsa pri) pa 90% (Anthropic, 2024), anthropic.com. Sa a te reflete tou nan estrikti pri - lè l sèvi avèk token cache koute yon gwosè nan lòd mwens pase kreye yo soti nan scratch. bd Hit Rate ak Miss Penalty: Sa yo se metrik cache-spesifik. Hit Rate: Percent la nan demann yo (oswa token) ki te satisfè pa cache a Pifò hit pousantaj vle di pi bon pèfòmans nan jeneral. Sa yo se itil pou rapòte, tankou "sistèm nou an te gen yon 60% cache hit pousantaj sou prompts nan prod (X reyèlman X vs Y san cache). Penalite a manke se ki jan anpil pi lontan yon cache manke vs hit. Sa vle di, kèk nan tan an adisyon a yon cache prezante kèk overhead (e.g. òdinatè yon embedding pou rechèch semantik, oswa yon ekstra rezo hop yo tcheke yon cache distribiye) - si manke toujou fè modèl la plen kouri plis Memory ak Overhead Trade-offs: Caching kenbe pwodiksyon modèl oswa estati enteryè, ki sèvi ak plis GPU RAM. Pou kontèks long, KV cache kwasans nan yon liy rektangilè. Pou egzanp, yon 405 B modèl cache pou 16 k token ka sèvi ak sou 15 GB (sou mwatye nan gwosè a nan modèl la). GitHub. Sèvi ak metrik tankou "memory overhead pou chak token adisyonèl" oswa "cache-size ratio" yo jwenn kompromis yo. Sèvi ak teknik tankou atansyon plizyè kesyon, ou ka koupe cache soti nan dè santèn de gigabytes nan kèk dè santèn de megabytes. Sa a se yon rediksyon 97% pou 16 k sikonstans ak yon ti pèdi nan presizyon. huggingface Precision/Quality Impact: pwodiksyon an modèl la pa ta dwe chanje (pa gen okenn ke yo te serve ak yon rezilta potansyèlman ti kras retardé) akòz caching. Sepandan, nan kèk modèl caching (ki se ki se apwopriye oswa semantik), yon repons ka fini pa pa byen aliye soti nan nouvo kesyon an. Se poutèt sa, nou ka wè si caching pwodwi yon pèdi bon jan kalite oswa pa. Espesifikman, si nou caching kesyon semantik ki enpòtan nan nouvo kesyon an ak repons nan nouvo kesyon an ta dwe toujou korektè, se konsa ka egzamine kòm presizyon oswa pousantaj enpòtanite. Nan kominote akademik, sa a bon jan kalite mas se souvan rele kòm "koòdone a hit" - sa vle di ki pous Konpare ak Baselines: Rechèchè yo anjeneral konpare yon modèl caching avanse ak yon modèl baseline san yo pa caching pou evalye benefis la. Yo ta ka diskite tou konpare nan metòd caching diferan. Pou egzanp, egzanp caching egzak-match vs. embedding-based caching vs. pa gen caching nan yon seri done nan kesyon, ak latans ak presizyon pou sa. vLLM vs vanilla HF sèvè Throughput & Memory. Sa yo etid konparatif konvèti spesifik yo konfime entèlijans la ke caching kòm yon règ la pousantaj se yon bon lide. Yon egzanp rezilta ka: caching amelyore atravè 2x ak latans pa 40%, nan pri a nan yon ekstra GB (gabyte) pou cache Si nou evalye LM caching, li enpòtan yo peye komès kote ou ka sove sou òdinatè, men nan pri a nan plis memwa; pi ba latans final, men bezwen fè fas ak reponn etonan. Se poutèt sa, li enpòtan yo gade nan metrik tankou sa ki nan pi wo a nan koneksyon. Pou egzanp, yon risk 5% nan yon repons ki se yon ti kras out-of-date ta ka vo jwenn rezilta ou 10x pi vit - oswa li ta ka pa (medikal konsèy vs. casual chit-chat gen parayj diferan!). Tou de papye akademik ak rapò endistri yo ap kòmanse entegre caching nan benchmarks yo, ki gen rezon konsidere deplwaman lajè nan cache yo. Nan yon anviwònman pita nan 2024, li te observe ke prèske tout sipò yo pi wo nan travay LLM long-konteks depann sou kèk fòm nan caching oswa optimizasyon atansyon yo efikasman fè fas ak longè a konteks la (Chen et al., 2024). Nimewo yo konsistentman genyen gwo. Senpman di: caching diminye latèz, ogmante pèfòmans ak diminye pri pou chak kesyon pa tou de sèvi ak nouvo kesyon pi vit ak evite travay doub. Pa optimizasyon sa yo, nenpòt ki evalyasyon nan LLM sèvis yo ta lwen ki konplè. Pwofesyonèl-paul.com Real-World Case Studies Reyèl Mondyal Casestudy Tout nou konnen ke caching se pa sèlman pou yon argomant akademik, ak karakteristik sa yo ap pote valè tangib nan pratik la. Isit la se kèk egzanp sou senaryo diferan, jis yo montre ki jan caching te ede : Konvèsasyon AI (Chatbots / Asistan): Anplis de re-kode istwa a konplè chak vwayaj, LLM chat milti-vwayaj cache konvèsasyon anvan yo. Pou egzanp, yo cache premye kesyon itilizatè a ak asistan reponn se konsa ke sèlman nouvo entwodiksyon se pwosesis sou kesyon pita. huggingface.co. Sa a pèmèt sistèm tankou ChatGPT reponn rapidman san yo pa gen yo dwe fè tout matematik la ankò. Avèk caching louvri, Claude nan Anthropic 3 pèmèt devlopè pin long-liv kontexte, ki retabli latèz la pa 79% ak koute pa 90% sou yon 100k-token prompt. (Anthropic, 2024) anthropic.com. Xiaoice soti nan Microsoft tou Kòd Konplètman ak Asistan: GitHub Copilot ak TabNine sèvi ak caching yo akselere konplètman kòd la. Modèl la ta dwe pwosesis kontexte a tout antye ankò chak fwa ou koute yon kle, ki ta fè li trè lontan. Anplis de sa, yo sove reprezantasyon modèl la nan prefiks la nan yon cache, se konsa sèlman karaktè ki anplwaye yo ap pwosesis. Sa a rele caching prefiks la. Yon anpil nan pwomosyon kodaj repete tèt yo (tankou Fibonacci), se konsa, pwomosyon-nivo caching ba ou kesyon yo menm menm imedyatman. Li tou sove kesyon devlopè a menm ant sesyon pou yo ka itilize imedyatman. Nan yon foròm, yon LLM ka sove popilè Q & A Enterprise "Copilot" Asistan: Pifò konpayi deplwaye asistans AI pou enteryè - yon kalite tankou Copilots AI ki ede rezime dokiman yo, fè drapo imel, reponn kesyon biznis soti nan done enteryè elatriye Sa yo se tipikman kouri sou yon baz konesans predefiné (dokiman konpayi, wikis, rapò) Caching se trè valè isit la tou, nan plizyè layers: ou ka cache entegre dokiman enteryè yo pou retounen yo pi vit; ou ka cache kèk repons nan kesyon enteryè komen ("kouman fè mwen dosye yon rapò chanjman?"). Yo kapab menm cache pou nou pa re-genere kèk rezilta, oswa rezilta pati tankou rezime nan dokiman - si de moun mande pou yon rezime nan dokiman an menm Multi-turn zouti / ajan: Caching ka kout-circuit bouch nan sistèm ajan AI konplèks (tankou yon ajan ki planifye yon travay atravè plizyè LLM apèl, ak zouti itilize). Koulye a, konsidere yon ajan ki reponn kesyon pa querying yon sèvis entènèt ak jwenn rezilta yo itilize kòm envantè pou yon LLM. Nan ka sa a, si kesyon an menm se mande ankò, ajan an ka retire repons la anvan soti nan cache li dirèkteman (pa re-invocation zouti yo) oswa di posibman re-use nenpòt ki rezilta rechèch (output zouti caching kòm byen ke pwodiksyon LLM). Sa a korelye ak konsèp la nan cache plannè oswa rezilta zouti caching. Rezilta apèl enteryè yo cache pa pwoj Big-scale Sèvis entènèt: Sa a se espesyalman valab nan kache motè rechèch ki ka benefisye drastikman soti nan caching repons LLM. Pou egzanp, Bing Chat sèvi ak milyon de itilizatè ak gen anpil demann repete. Si backend la LLM nan Bing (ki se GPT-4) cache repons yo nan kesyon popilè ("Ki sa ki kapital la nan X", "Ki jan yo fè pancakes"), li ka retounen yo imedyatman anvan yo kreye soti nan zèb chak fwa. An reyalite, rechèch la non-LLM nan Bing te reyèlman sèvi ak caching kesyon pou dè dekad; ak repons LLM emerite kounye a nou wè modèl la egzak. Rechèchè yo jis montre yon sistèm ki yon fwa li te jwenn rezilta pou yon rechèch, Nan mwa Oktòb 2024, , ki te premye fwa LLM komèsyal te gen caching pou itilizatè yo. sèvè yo nan Anthropic ka sove gwo, konteks inutil, tankou yon liv (100,000 token). ekri nan cache koute 25% plis pou chak token enprime, men li nan kontni cache koute sèlman 10% nan pri baz la. . Premye apèl sove done; apèl pwochèn sèvi ak ID prompt yo jwenn li ak voye sèlman kontni nouvo. Kliyan te di ke repons yo te jiska kat fwa pi vit (latè a te soti nan 11.5 segonn nan 2.4 segonn) ak ke ak pri a nan 10,000-token prompts te ba pa sou 86%. . Agents konvèsasyon, coding assistants, ak gwo dokiman Q & A yo tout itilize souvan, ak yon kontexte ki estab se pi bon pou chita cache. Anthropic te fè caching yon gwo ka biznis pa konbine amelyorasyon pèfòmans ak enstitisyon finansye. Li se pa etonan ke konpetitè tankou OpenAI ak Google yo ajoute karakteristik menm jan an pou jwenn menm pri ak benefis latans. Anthropic's Claude 3 added Prompt Caching Antropik cost of 100,000-token prompts went down by 90% Antropik Yon lòt ka: OpenAI pa te elaji sou nenpòt nan sa a piblikman, men ou ta ka mande si devlopè yo fin-tune ak / oswa bay kèk tèks nan chak demann, pati sa a ta ka cache sou bò sèvè, se konsa ke modèl la pa gen yo re-kode egzanp sa yo soti nan zèb chak fwa. Li se analòg ak abord la nan Anthropic la. egzanp. Si ou voye menm 2000 token sistèm prompt + Enstriksyon sou chak apèl API (ki anpil fè), OpenAI ta cache modèl la entegre nan sa a nan lannwit la ak jis konkate ak reprezantasyon an pwosesis kesyon ou. Li ta dwe konplètman transparan pou itilizatè men (ki ta ka sove yo) nan yon kantite gwo nan òdinatè ak ta ede OpenAI ranplase plis chaj sou apar OpenAI's system messages and few-shot examples caching Konplètman, prèske tout gwo konpayi AI ap itilize LM caching nan mond lan reyèl. Pandan ke OpenAI, Anthropic, Microsoft, Google ak Hugging Face tout nan yon kèk moman te diskite oswa dokimante estrateji caching ak aprantisaj diferan kòm yon rezilta, pifò nan sa yo pataje konklizyon an menm: caching bay yon gwo boost pèfòmans, men li devlope enpòtan yo jere fresheness cache san yo pa sacrifice memwa ak skalabilite. Istwa nan "n' ap pouse yon cache ak wè yon diminye nan 30% nan itilizasyon GPU nou an pandan y ap kenbe QPS intept" pa sanble. Nan fen jou a, sa yo etid ka a signifie yon faktè inik pou startups AI ak antrepriz atravè tablo a caching is the ticket to turbocharging LLM applications. Challenges and Limitations Objè ak limitasyon Naturally, caching is not a silver bullet. Sa a se, natirèlman, yon ti kras trivial - si li te fasil, tout moun ta dwe caching tout bagay la! Gen plizyè repitasyon ak limitasyon nan pratik la ke enjenyè yo dwe travay alantou lè deplase LM cache: Cache Invalidation (Stale Data): Lè done a ki anba a oswa yon ajou LLM chanje vle di a nan yon repons, pwodiksyon cache vin stable, menm jan ak pwoblèm envalidasyon cache sou entènèt la. Yon koreksyon naiv se yo retire tout cache lè modèl la se mete ajou. Sa a se fasil men ranplase paske li retire entèdi ki toujou valab. Gen kèk moun sèvi ak règ la "si pa te jwenn, retire nouvo", men sa a ka fè yo pèdi done itil. Li pi bon yo bay atik yon valè tan-a-live (TTL) se konsa ke yo fin vye granmoun apre yon kantite tan, oswa pou vèsyon cache kle pa ID modèl oswa paramèt pou ou pa sèvi ak entèdi soti nan modèl pi bonè. Ajoute hash oswa timestamps nan Stale Konteks nan Dialòg: Lè konteks la chanje pita nan yon chat milti-turn, repons yo cache ka vin stable. Pou egzanp, si ou sove yon repons nan kesyon A ak Lè sa a itilizatè a ajoute plis enfòmasyon, lè l sèvi avèk menm repons la ankò ka manke chanjman enpòtan. Pou evite sa a, cache yo souvan sove ID konvèsasyon an plen, pa sèlman pwopozisyon an dènye, oswa yo sèlman cache varyete dyalòg pi kout. Anplis de si ou sove repons tout antye, ou ka sove kout, konteks-rik rezime nan plas la. Sa a diminye risk pou yo vin oblije. Li toujou difisil yo jere cache yo byen. Politi konservatè (sèlman sove entè Prompt varyabilite ak inikite: LLMs souvan fè fas ak entwodiksyon yo trè diferan, se konsa cache naiv pa travay trè byen. Pou egzanp, aplikasyon kreyatif jenerasyon ki mande ou "te ekri yon poem sou X nan style la nan Y ak twist Z" prèske pa janm jwenn nenpòt hit san yo pa caching semantik. Cache semantik eseye jeneralize pa korespondan embeddings, men yo sèlman travay lè kesyon yo trè menm jan. rohan-paul.com. Benefis yo nan caching depann sou redondans travay. KV cache yo toujou itil pou pwodiksyon long, men ad-hoc caching plen repons pa travay kòm byen si pa gen de kesyon se menm jan an. Caching pati oswa modilè, ki vle di dekouvri pwodiksyon nan pati re Memory Footprint: Caches itilize yon anpil nan memwa, oubyen RAM oswa GPU, paske KV cache pou kontèks long ka menm jan gwo kòm modèl la tèt li. huggingface.co. Respon cache ka tou vin gwo, sa vle di yo gen yo ranfòse sou CPU a oswa disk la. Sa vle di ou gen yo chwazi ant kapasite ak modèl gwosè oswa batch pèfòmans. Pou egzanp, si ou mete alantou 20 GB nan yon 40 GB GPU pou cache, pa pral gen anpil espas pou modèl pi gwo oswa pou ranfòse plis demann. Pou rezoud pwoblèm sa a, rechèchè tou komprime KV tensors (Shutova et al., 2025) arxiv.org oswa quantize yo (4-bit vs. 16-bit yields ~4× memwa ekonomi). Papye a AQUA- Konplisite ak Enjenyè Overhead: Caching fè bagay yo pi vit, men li tou fè bagay yo plis konplike. Ou bezwen mete anviwònman ki an sekirite ak latans ki ba nan magazen, gade moute, mete ajou, ak invalide entèlijans, ki souvan vle di lè l sèvi avèk magazen ekstèn tankou Redis pou cache distribiye, ki ka malfe. Pou asire w ke bagay yo reponn, ou ta ka bezwen fè enjenyè atansyon, tankou lè l sèvi avèk apèl asynchrons ki pa bloke oswa estrikti san yo pa bloke. Debugging tou devlope pi difisil paske pwodiksyon inaprepoze ka vini soti nan done cache vye granmoun oswa broken olye pou modèl la menm. Se poutèt sa li enpòtan yo gen bon logging ak Segondè ak Pwoteksyon: Si yo pa jere byen, caching pwopòsyon sensib ak pwodiksyon ka fè done prive piblik. Nan sistèm plizyè-tenant, toujou limite aksè cache a kesyon ki te apwouve ak entèvyou entèlijans nan yon sèl itilizatè oswa sesyon. Caches tou kouri risk nan atak sidekanal, ki hackers wè kesyon lòt moun. Pou diminye risk la, limite oswa enkripsyon kontni cache sensib. Sepandan, enkripsyon ka fè matche semantik pi difisil. Epitou, règ tankou GDPR ka trete pwodiksyon AI cache kòm done depoze, ki vle di yo dwe retire si itilizatè a mande pou li. Kòm caching AI vin pi komen, pwoblèm sa yo sekirite ak konpòtman vin pi enpòtan. Cache koherans nan sistèm distribiye: Distribye caching pèmèt ou fè kopi done, men li gen pwoblèm ak konsistans. Pou egzanp, ajou oswa invalidasyon nan yon instans pa toujou wè pa lòt moun, ak lè de replika manke menm cache a nan menm tan an, yo ta ka gen pou rekòmande ak ras la ekri nan menm enskripsyon an. Pou fèmen duplikat, ou bezwen operasyon atomik oswa bloke. Pou egzanp, komandasyon atomik nan Redis sipòte sa a. Mwayen. Pou bati yon cache distribye, ou bezwen tou chwazi pwotokòl konsistans fò oswa aksepte konsistans posib ak lejand stable li ak ekri. Redis. Teste ak tuning estrateji sa yo vin espesyalman difisil nan LLM sèvi ak, kote enskripsyon cache ka trè gwo Sepandan, nan se sa a pou plizyè objektif. Se poutèt sa, li pa ka yon surpriz masiv ke prèske tout sèvis LLM ki kouvri antrepriz ki gen rapò ak caching nan tou de yon fòm oswa nenpòt lòt, ak diferans la se nenpòt moun mete travay sa a konsepsyon nan fè fas ak aranjman yo. Minimize risk yo: Cache bagay ki pa ultra-sensitif (oswa jis chanje lent) + Sèvi ak yon anpil nan estrateji cache invalidation + Kite yon gade sou hit rate / RAM itilize ak gen petèt (si yon bagay funky pase ak cache ou a, sistèm la pral travay, li pral jis ralanti). Nou kòmanse wè zouti pi bon ak bibliyotèk pou fè fas a anpil nan sa a otomatikman (pou egzanp, cache enkripsyon nivo framework oswa otomatik overall performance gains of caching generally significantly exceed LLM se trè pwisan, men pa gratis kòm nou te wè ak ajoute yon kouch adisyonèl nan kompleksite nan LLMs - cache a. Youn nan eksperyans konsèp ki pi popilè nan syans òdinatè se tankou sa a: . akademik LLM kounye a konnen premye a! Men, ak bon konsepsyon, kompromis la ka jesyon, ak benefis enpòtan ka realize. Gen sèlman de bagay difisil nan Syans òdinatè: invalidation nan cache ak non bagay Future Directions and Research Opportunities Futures Directions ak opòtinite rechèch LLM cache jaden an se trè dinamik, ak plizyè chemen enteresan ke rechèchè yo ak enjenyè yo eksplore pou plis amelyore kapasite li yo: Adaptive ak Intelligent Caching: Machine learning ka ede ak politik caching ak evictions. Pou egzanp, ajan RL ap eseye jwenn rekonpans ki pi long-term (hit rate × korektè). Yo ka prefetch done yo ke yo panse yo pral bezwen, tankou OS-leads-avant, cache rezilta popilè pandan èdtan yo travèse, ak sove entèdi ki pa gen anpil valè. Ekzekisyon espektakilasyon rive lè cache yo aktifman calculate ak sove done ki ta ka rive. Met-learning ki baze sou LLM ka panse ki kalkil enteryè yo pral chè ak sove yo nan yon cache. Reinforcement aprantisaj ka tou jere evictions pa sove entèdi ki pa ka benefisye nan tan kap vini an. Sa a gen ladan bagay Kompresyon Cache ak Efficient Storage: Quantization ak koupe se de metòd ki itilize nan Cache slendering. AQUA-KV kompresyon KV tensors nan sèlman kèk bit ak yon ti pèt nan bon jan kalite (Shutova et al., 2025). koupe, tankou drop stopword KVs, retire entèdi ki pa nesesè. Nan kontèks long, Anchor Attention kenbe sèlman "anchor" token KVs ak kompresyon restan (Sun et al., 2024). Eksperyans "pouf" cache pran vektè ki se menm jan ak konbine yo nan yon sèl. High-bandwidth memwa oswa memwa magazen-klas (Optane) ka koule KV cache ak P99 latency trade-offs sou bò a nan lojisyèl la. Sa a ta ka Cross-Modal ak Cross-Domain Caching: Multimodal LLMs ak menm tradiksyon videyo bezwen caching espesyal. Pou egzanp, embedaj imaj depoze pèmèt ou pase reprocessing imaj ou te deja wè, ak caching parse snippets odyo fè asistans vwa travay pi vit. Pou chak kalite done, ou bezwen yon estrateji diferan. Pou egzanp, hashes perceptual pou imaj ak imprèt odyo pou odyo. Federated caching atravè aparèy bò gòch ka pataje rezilta yo komen prive, ki se nan alignement ak konfidansyalite garanti nan federated aprantisaj. Kòm yon navigatè global cache pou asistans AI, cache kominote pèmèt anpil itilizatè oswa aparèy ajoute nan yon pisin pataje ( lè l sèvi avèk enkrips Caching nan fòmasyon ak fin-tuning: Caching ka itilize tou pou fòmasyon ak fin-tuning LLMs, pa sèlman pou inferans. Pou evite disk I / O, kouri gwo-scale deja kenbe set done tokenize nan memwa. Cache nan fòmasyon tan magazen estati enteryè nan yon fason plis inovatif. Pou egzanp, modèl milti-task ka sèvi ak reprezantasyon an nan yon seri atravè travay olye pou voye li ankò. Stocking bias yo oswa gradients ki se souvan itilize nan yon cache tou koupe sou òdinatè inutil. Li sitou ede ak rechèch, men li tou redwi pri nan aprantisaj kontinyèl oswa RLHF pa skippe etap ki se repete. Google a Retro (2022) te itilize yon cache nan ti kras tèks kòm yon layer retrieval difer Gouvènman Cache ak Kontwòl Kalite: Yon lòt chanjman enpòtan ki bezwen rive nan kap vini an se regilyèman tcheke repons cache yo kenbe eksperyans la itilizatè bon. Si yon repons cache nan yon LLM mal pase filtè yo, feedback itilizatè a, tankou repete reprasaj, ka vle di ke li ta dwe chanje oswa retire. Sa a ta kreye yon kouvèti repons ki kontinye amelyore cache a ak vire li nan yon baz konesans viv. travay background planifye ka rekòmande ak mete ajou entèlijans cache tèt kòm modèl la anba a se retabli oswa fini-tune. Nan fason sa a, repons popilè jwenn jenerasyon pi bon. Metòd sa a se menm jan ak ki jan motè rechèch refresh paj cache lè kontni a Standing ak Cache API Layers: Li pa pral surprenant nou si nou ka wè layers estandaz nan machin aprantisaj stack oryante espesifikman pou caching. Koulye a, chak framework oswa aplikasyon gen yo kreye pwòp logik cache li yo. Men, nou ka kapab, men yon moun ta ka imajine kèk "Caching API" nan kalite yo ke founisè modèl oswa serve frameworks ofri ak pèmèt devlopè yo konekte nan logik Customized yo (prèske tankou cache Plugins ak sèvè entènèt). Pou egzanp, OpenAI oswa lòt founisè ka bay paramèt API yo enstale ak desann efikasite cache, posib defini nivo yo nan agresyon nan bati cache hit, oswa si rezilta yo ta dwe konsistan ak semantik semblanti. Sa ta fè adopte a menm pi senp paske Cache_scratch nan Se konsa, li sanble yon tan kap vini nan LM caching se byen solè ak plen ak solisyon nouvo. An jeneral, imitasyon an se evidan: lè nou lanse modèl pi gwo pou yon kantite itilizatè pi gwo, yon estrateji caching se yon kote fasil yo jwenn yon ti jan. Iterasyon yo pwochen yo pral amelyore caching la (learning-driven), diminye pwa li (kompresyon ak pi bon jesyon nan memwa a), epi fè li pi plis pervasif atravè diferan modilite ak pou fòmasyon / enferans. * Se konsa, li se yon ras Arms, pa sèlman pou bati modèl pi gwo, men pou sèvi ak yo pi entelijan._* Avèk sa a, caching ak efikasite amelyorasyon yo se poukisa LLMs tankou GPT-4 ak Llama-2 ka kouri byen vit Soti nan sa a, potansyèlman moun ki ak estrateji cache ki pi agresif ta ka potansyèlman genyen tit la nan ofri sèvis AI pi vit ak finalman pi bon mache. Paske, nan fen a, poukisa òdinatè lè ou ka cache? Pwodwi pou Telefòn Referans nan: Anthropic. (2024 nan mwa Out 14). Rete soti nan Antropic Nouvèl: Tcheke rapidman ak Claude. Pwofesyonèl.com Pwofesyonèl.com Hinton, G., Vinyals, O., & Dean, J. (2015). NIPS Deep Learning ak Representation Learning Atelye. Distillation nan konesans nan yon rezo nwaj. Lewis, P., et al. (2020) Avanse nan Sistèm Neural Processing enfòmasyon. Retrieval-Augmented Generation pou NLP konesans-intensif. Paul, R. (2025 avril 20). Blog la nan Rohan Bytes. Caching Strategies nan Sèvis LLM pou tou de fòmasyon ak inferans. Pwofesyonèl-paul.com Pwofesyonèl-paul.com Pol, S. (2025 nan 6 avril). Blog nan medya. Akselerasyon nan Transformer Inferans ak KV Caching. Pwodwi pou Telefòn: sudhirpol522.medium.com Pwodwi pou Telefòn: sudhirpol522.medium.com Pwodwi pou Telefòn, N. (2019) arXiv:1911.02150 nan . Rapid Transformer Decoding: Yon sèl ekri tèt se tout sa ou bezwen. Règleman Shutova, A., Malinovskii, V., Egiazarian, V., et al. (2025). arXiv:2501.19392 nan . Cache m 'si ou bezwen: Adaptive Key-value Quantization pou modèl lang gwo. Règleman Yazdani Aminabadi, R., Rajbhandari, S., Zhang, M., et al. (2022). arXiv:2207.00032 nan . DeepSpeed Inference: Pèmèt efikas Inference nan modèl Transformer nan yon skala ki pa prèv. Règleman Kwon, W., Li, Z., Zhuang, S., et al. (2023). Pwogram nan SOSP 2023 . Efikas jesyon memwa pou modèl lang gwo sèvi ak PagedAttention (vLLM). Blog.mwen.pa Blog.mwen.pa Hugging Face Transformers Ekip la. (2023). Blog nan fè fas. Optimize LLM ou nan pwodiksyon. Pwodwi pou Telefòn Pwodwi pou Telefòn Lorello, S., McCormick, R., & Partee, S. (2023). Nvidia Teknoloji Blog. Ki jan yo bati yon Distributed Inference Cache ak NVIDIA Triton ak Redis. (Referans adisyonèl pou rigidite akademik ak konplèksite ka enkli si nesesè pou koresponn ak tout sitasyon ki pi wo a.)