Optimizacija performansi LLM sa LM Cache: arhitekture, strategije i stvarni svet aplikacije

Abstract Abstrakcija Ovaj članak nudi detaljan tehnički istraživački pogled na LM cache operacije i kako caching mašina poboljšava efikasnost, skalabilnost i smanjenje troškova implementacije Large Language Model (LLM). Mi proučavamo različite vrste caching arhitekture i mehanizama, kako ih se može integrirati zajedno s novom AI infrastrukturom i ocijeniti za performanse. Primeri iz terena detaljno kako neki od naših najvećih klijenata implementiraju LM cache u praksi i ono što su naučili na putu. Introduction Uvod Razmislite o AI asistentu koji mora stalno pružati iste odgovore čitav dan duže od stotine vremena! Ovo nije rezultat, mora li ponovno generisati svaki odgovor od nule, bukvalno svaki put? Dok LLM (mislite GPT-4, PaLM itd.) transformiraju sve od podrške korisnicima do generacije koda U proizvodnji, svaka upita za veliki model može koštati sekunde i znatno izračunavanje GPU-a. Kako se veličine modela i očekivanja korisnika povećavaju, potreba za brzim zaključivanjem postaje važnija nego ikad. deployment at scale is stymied by latency requirements, computational cost and memory footprint Uzimajući sve to u obzir, LM cache nastaje kao vrlo pametan odgovor na ove probleme tako što caching i ponovnu upotrebu već izračunate rezultate. Caching je u osnovi ono što omogućava naš sistem da zapamti sve što je vidio ranije. Opća ideja koncepta nije nova u računalnoj znanosti, ali je imao potencijalni proboj u samom LLM za znatno veći prijenos i veliko smanjenje vremena odgovora. Kao model destilacije (stvaranje manjih, bržih modela), generisanje-povećanje pretraživanja (boljanje na vanjskim bazama znanja), i vektorske baze podataka za semantičko pretraživanje, LM Cache povećava druge tehnike optimizacije. S konačnom mjerom caching mehanizama raspoređenim u kombinaciji sa ovim metodama velikih razm Foundations of LM Cache Osnove LM cache Koncept za je jednostavno ponovna upotreba računanja za ne preopterećenje. U slučaju LLM zaključka, caching može postojati na različitim nivoima granularnosti: LM cache Cache the entire output to a given input prompt. If our model receives the same prompt again, it returns the cached output without running the model. This is effectively memorizing the model's response to entire queries, at the highest-level cache. It is particularly powerful for tasks that involve the reapplication of the same query many times (e.g. Q&A model with a single question asked repeatedly) This could be implemented, for example (sample implementation in the functions promptify and getPossibleResults) as a simple dictionary that maps prompts to possible results e.g. Prompt-level cache: Pseudocode: prompt-level cache integration prompt_cache = {} # A dictionary to store prompt->response mappings def generate_response(prompt): if prompt in prompt_cache: return prompt_cache[prompt] # return cached answer result = model.generate(prompt) # expensive LLM call prompt_cache[prompt] = result # store for next time return result We cache intermediate results for each token in a sequence instead of caching whole responses. Autoregressive LLMs generate text one token after the other. This is because without caching, the entire previous context will have to generated again from start for every new token to be created. Token level caching is the process of stores intermediate state of model tokens like the activations or hidden states in a way that, when producing next token, the model can skip recomputing what it already did for prior tokens. This is highly connected to the in transformer models, more on this below. Token specific caching: key–value cache LLMs based on transformers use self-attention, which means that each token pays attention to all of the ones that came before it. Frameworks cache the "key" and "value" projections for previous tokens and only add new ones to avoid having to compute attention over the whole sequence again. . This KV cache speeds up autoregressive decoding, which is an important GPT-style optimization. It cuts the work per step from O(n²) to O(n) without changing the outputs (Yazdani Aminabadi et al., 2022; Pol, 2025) arxiv.org. By default, libraries like Hugging Face Transformers do this with during generation, which means that only new tokens are processed. A simple pseudocode loop shows how grows with each iteration. KV cache (Key-Value cache) : neptune.ai use_cache=True past_kv Pseudocode: using KV cache in an autoregressive decoder loop past_kv = None for token in prompt_tokens: output, past_kv = model.decode_next(token, past_key_values=past_kv) # past_kv now contains keys/values for all tokens up to current one The above loop accumulates the key-value pairs to be carried forward as such as that model. Then can use the cached context and need not recompute it. The KV caching makes the quadratic slowdown now avoidable, and transforming models to work with this form of storage is crucial for the continued efficiency of transformer inference, particularly if GPT-4 like models are able to generate much longer continuations far more efficiently. past_kv model.decode_next LLM follows the same procedure with all text input as firstly it converts tokens into vector embeddings. Calculating these embeddings (especially a large contextual embedding model) can cost nearly as much as running the full LLM itself, so why do it again for some common tokens/phrases? Embedding Cache — a cache where the vector representations of common inputs are stored. (Paul, 2025) . For example, we can cache those embeddings instead of computing them from scratch if application encodes the same sentences or document chunks many times (in a retrieval-augmented setup) This will save time and guide the style of such representations. . Embedding caching is a natural fit for retrieval pipelines and semantic search, as it caches the “input features” before they hit the big model. Embedding cache: rohan-paul.com rohan-paul.com Multi-Query Attention (MQA) is a type of Transformer attention in which all heads use the same keys and values as input to their attention function (Shazeer, 2019) . Typically, with 12 or 24 heads, each head has its own keys and values. This means that the cache stores 12x or 24x vectors for each token. Instead, MQA caches just one set, and heads keep their query projections while looking up a shared key-value store. In one benchmark (Shazeer, 2019) ( ; ), this cut memory and bandwidth overhead by a huge amount, from about 15 GB to less than 400 MB on a 16k-token context. There is only one shared cache instead of 100% memory overhead per head. Multi-query attention caching: arxiv.org arxiv.org huggingface.co Noam Shazeer first suggested MQA (and its grouped-query versions) in One Write-Head is all we Need ( ). It is used in PaLM, Falcon, MPT, and BLOOM to make longer contexts work better. It also makes inference faster because it needs to fetch less data from memory, which means it can do attention computations faster ( ). In theory, MQA is a smart way to cache data for the architecture, so that the number of trainable parameters doesn't go up as the number of heads or the length of the context grows. huggingface.co huggingface.co korišćenje_cache=true prethodna_kv prethodna_kv Uslovi korišćenja.decode_next Sve gore navedene razine cache-a koriste jednostavan princip koji Zbog mehanizma samopouzdanja, izračunavanje svakog novog žetona u LLM-ovima zasnovanim na transformatorima često ovisi o ranijim žetonom. Bilo da je na prompt nivou ili duboko unutar modela, keširanje rezultata tih ranijih izračuna omogućava naknadnim operacijama da skoče direktno do konačnog rezultata. system shouldn't re-compute what you have already done LM Cache Architectures and Strategies LM cache arhitekture i strategije Budući da nisu sva radna opterećenja jednaka u LLM sistemima, veliki broj arhitekture i strategija su dizajnirani od strane inženjera kako bi se maksimizirali hitovi cache i smanjili opterećenja. Static vs. Dynamic Caches: Static caches dolaze sa unapred popunjenim ulaznim/izlaznim parovima, što ih čini odličnim za predvidive radne opterećenja. Ovo su rešenja za caching za uobičajena pitanja ili fiksne promptne izlaze, kao što su FAQ ili test-cas odgovori. Dynamic caches, s druge strane, popunjavaju se kao sistem pokreće, mijenjaju se da se uklapaju obrasci saobraćaja, mijenjaju distribucije upita i vrhunci upotrebe. Oni zapravo "uče" iz korisničkog saobraćaja kako bi poboljšali hitne stope. U stvarnom životu, sustavi ograničavaju dinamičke caches koristeći politike za uklanjanje na osnovu trenutne potražnje, što automatski oslobađa stare stavke. Distributed and Federated Caching: U velikim implementacijama sa mnogim LLM instancama na različitim serverima ili podovima, cache po mašini ne rade za ponovnu upotrebu preko servera. Na primjer, ako Server A obrađuje i cache upit, Server B mora da prebroji odgovore iako ne može pristupiti Serveru A. Distributed cache to popravlja dijeljenjem ulazaka preko spoljne prodavnice, kao što je Redis. NVIDIA Triton Inference Server dodao je distribuirano caching 2023. iako mrežna hops samo dodaje oko 8% više latencije nego lokalne cache u procesu. (Lorello et al., 2023; Paul, 2025) rohanpaul.com. Zatim serveri cache jednom i koriste rezultate, što smanjuje raspršivanje nepotrebnog ponovnog izračuna Layer-wise caching i GPU/TPU memorijska optimizacija: Caching nije ograničen na izlaz; može se koristiti i na određenim LLM slojevima. Da bi se izbjegao potreba za izračunavanjem skupog međusobnog sloja ponovo na cache hit, moglo bi se, na primer, cache izlaze tog sloja za specifične česte ulaze. Pored toga, moglo bi imati smisla da cache samo najskuplje aktivacije ili koristiti on-chip memoriju za caches na hardverskim akceleratorima (GPU/TPU), gdje je memorija dragocjena. Inference analogi tehnika kao što su gradientni checkpointing, koji uključuje trgovačko računanje za pamćenje tokom treninga, omogućuju vam da selektivno sačuvate specifi Cache Granularity and Keys: Odabir cache indeksa je pametan potez. Precizni ključevi za podudaranje na punom tragovnom nizu su jednostavni za upotrebu, ali oni se lako slome – svaka promjena propušta cache. Da biste dobili više hitova, sustavi koriste ugradne semantičke haše koje tretiraju prompte kao iste čak i ako je formulacija drugačija, ili prefix/chunk ključeve koji odgovaraju preklopnim segmentima. Nakon obrade stabilnog prefix, „prefix caching“ uzima snimak KV stanja modela. Na taj način, novi prompt koji počinje s tim prefixom može brzo da se preseli u to stanje. Projekt vLLM otvorenog izvora to automatski čini pronalaskom zajedničkih prefixova u dolaznim zahtjevima i ponov Politika o veličini i uklanjanju predmeta: Budući da je memorija predmeta ograničena, LLM-ovi koriste politike kao što su LRU ili LFU kako bi odlučili koje stavke da zadrže i koje da uklanjaju. To oslobađa prostor za nove podatke. Pored uklanjanja predmeta na osnovu dobi ili učestalosti, LLM predmeti moraju se nositi i sa uklanjanjem relevantnosti i modela ili ažuriranja podataka uklanjanjem starih predmeta. U 2024. godini, istraživanja su pokazala da učenje upravlja uklanjanjem predmeta: predmeti za uklanjanje predmeta koji su obučeni za pronalaženje i uklanjanje ključeva s malom budućnošću (Xiong et al., 2024). Ovi adaptivni, "pametni" sustavi uklanjanja pred Ukratko, izgradnja LM cache-a je osjetljiva ravnoteža: Želimo maksimalno povećati hit stopu dok smanjujemo opterećenje kao što su potrošnja memorije i volatilnost. Ako to znači da morate raditi te sustave za prevođenje mašine teže, onda budite moj gost! Te strategije (static vs. dynamic, distribuirane arhitekture, povlačenje u cache hit na terminologiju tako što ćete ga izraditi u klijentičkom vremenu s prethodnim jezicima primjera) su svi trikovi koji vam mogu pomoći da učinite više s cachingom bez pretrpanja zamki povezanih sa cache-om. Različite aplikacije mogu mešati ove metode i primijeniti Na primer, proizvodni sistem može koristiti na nivou aplikacije semantički prompt cache (za slučajeve kada Arhitektura dijagram LM Cache u LLM Inference Pipeline Ispod je referentna arhitektura koja prikazuje integraciju LM Cache-a unutar tipičnog toka zaključivanja LLM-a: Diagram toka posla koji uspoređuje potkrijepljene i ne-potkrijepljene upite za inferenciju Da biste detaljnije razumeli prednosti, razmotrite usporedbu tokova posla između zahteva za zaključivanje cached i non-cached: Integracija sa modernom AI infrastrukturom Caching LM ne stoji sam – to će proizvesti iz šireg ekosustava aplikacija u AI. Ovde pogledamo kako se caching uklapa u razne infrastrukture i okvire: The good news is that KV caching is integrated into the majority of contemporary AI frameworks. To avoid redundant computation, Hugging Face Transformers, for example, allows you to set (the default in generate()) to automatically return and reuse previous key/value states. KV caching is used for incremental decoding in Microsoft's DeepSpeed-Inference, which is crucial for scaling large autoregressive models. Kernels are tuned appropriately. (Yazdani Aminabadi et al., 2022) . Cache decoding is also accelerated internally by NVIDIA's TensorRT and ONNX Runtime. In order to maximize speed, model architectures now assume caching in addition to software stacks. UC Berkeley's vLLM presents PagedAttention to manage GPU KV cache, paging it similarly to virtual memory and sharing identical prompt prefixes. (Kwon et al., 2023) . FlashAttention and xFormers optimize attention only for new tokens. This block-based approach reduces memory fragmentation, than standard Transformers. . Additionally, you can anticipate even wider caching support across popular frameworks as these research advances develop. Framework Support (Hugging Face, DeepSpeed, etc.): use_cache=True huggingface.co. arxiv.org blog.vllm.ai lowers overhead to under 4%, and delivers up to 24× higher throughput blog.vllm.ai Caching can greatly improve performance in retrieval-assisted LLM pipelines, such as question answering over a vector database. You can cache retrieved passages, final answers, or embeddings for semantically similar queries rather than using similarity search to retrieve new documents and calling the LLM each time. For example, the 2025 Proximity layer by Malladi et al. reduces retrieval latency by up to 59% with negligible accuracy loss by reusing passages for near-duplicate queries. . Caching retrieval results reduces the load on vector engines and scales systems because many user queries overlap (Chaidez, 2025). Caching query outputs is advised by providers such as Redis and Pinecone. In the end, caching saves duplicate embedding or retrieval effort for frequently asked or comparable queries. Retrieval-Augmented Systems (RAG and Vector DBs): rohan-paul.com These are addressed by caching in the case of serverless LLM deployments (a.k.a. AWS Lambda) and edge scenarios (on-device or in-browser LLM inference) that need to mitigate expensive cold-starts and tight resource limits. For serverless setups—in which models do not persist between invocations—an external store (like Redis or DynamoDB) enables the completion of each function call to check previous outcomes, so that redundant work can be skipped. There is potential to cache recent inferences or embeddings (e.g., user names, common commands ) on things like smartphones or small IoT type edge devices, to reduce latency and save battery. While limited memory and privacy will be a consideration, optimized should start to appear soon for ultra-efficient edge inference. Serverless and Edge Deployments: compressed caches Production-scale LLMs exceed single-GPU or machine capacity, so distributed inference requires caching. Typically, each model shard caches the key/value states for tokens it processes. When a new token arrives, parallel shards coordinate to fetch and update their cached states, avoiding redundant recomputation and memory overhead. Libraries like DeepSpeed and FasterTransformer implement this: with pipeline parallelism, each stage caches its outputs to avoid recomputing all layers per token. Tensor parallelism shards KV , to synchronize new keys/values and maintain consistency across devices. Caching and Model Parallelism: caches across GPUs using cross-GPU protocols Distributed KV caching by limiting work to new computations. One whitepaper noted that without caching, shipping the full context for each inference during distributed execution incurs prohibitive network hops. Caching keeps context local, making large-model inference across multiple machines practical. dramatically reduces inter-node communication and idle time korišćenje_cache=true Ukratko, moderni AI stakovi su sve više i više tako „cache-aware“. Sistemi višeg nivoa počinju da internaliziraju ovo, od biblioteka koje se brinu o mehanicima za vas do sistemske arhitekture koja deli caches preko zahteva i infrastrukture. Caching je nešto što bi većina LLM usluga koristila, jer je to ono što su veliki igrači u AI (OpenAI, Google i Microsoft, na primer) govorili o ili učinili u njihovim odgovarajućim LLM ponudama. Neke specifikacije su dobro poznate kao što su OpenAI-ov ChatGPT (nije javno dokumentiran, ali ovaj događaj posebno je opisan) pretpostavlja se da koristi veliki kontekst konverzacije caching; Anthropic's Claude's tim (doći sledeći ...) raspoređen je korisnički vidljiv fe Performance Metrics and Evaluation Metode performansi i evaluacija U redu, u teoriji caching može zvučati neverovatno, ali kako to možemo mjeriti? Postoji nekoliko uobičajenih pokazatelja performansi koji vam pomažu da procijenite efikasnost LM caching Niža latentnost: Manje latentnost: Glavna prednost je manje latentnost, što je vrijeme koje je potrebno da se dobije odgovor. Caching menja krivulju performansi: primed cache dosljedno vam nudi visok prodor i nisku latentnost. To radimo gledajući na vrijeme koje je potrebno da se zatraži sa i bez cache. Chatbot koji obično traje 2 sekunde da odgovori na pitanje će se vratiti za 0,2 sekundi ako udari u cache, što je 90% brže. Stvarno ubrzanje ovisi o hit rate. Na primjer, ako je 80% hitova 1000 puta brže, ukupna latentnost će biti mnogo bolja. Timovi često govore o p50 i p95 latentnosti sa i bez caching. Caching kontekstom Anthropic, vidio je do 85% manje latentnosti na du Poboljšanje kroz putanje: Uz caching, kroz putanje — zahtevi po sekundi (RPS) ili žetoni po sekundi (TPS) — može proći kroz krov. To je zato što caching štedi računanje tako što ne mora raditi iste izračune iznova i iznova. DenseNet referentna vrijednost za NVIDIA Triton otišla je od 80 do 329 inf/sec (oko 4×) i lakši modeli vidjeli su oko 20% dobitka s cachingom odgovora. rohan-paul.com. Kada je u pitanju LLM serving, vLLM's PagedAttention koristi pametniju KV cache upravljanje za grupne zahtjeve bolje, što znači da može rukovati do 24 puta više zahtjeva nego Hugging Face Transformers. vLLM Blog. U situacijama s više od jednog korisnika, mj Računanje/Ušteda troškova: Ovo je rezultat caching-a u dolarima i centima. Budući da caching takođe štedi na redundantnom izračunu, zapravo štedi FLOP-ove koji su novac (na primjer kada plaćate GPU sat ili API poziv). Uobičajena metrika za to je upotreba GPU-a, pa čak i ukupno računanje vremena sačuvano. Na primer, Anthropic je tvrdio da u dužim razgovorima, prompt caching može smanjiti potrošnju tokena (tako da trošak) za 90% (Anthropic, 2024), anthropic.com. To se takođe odražava u shemi cijena – korištenje cached tokena košta porudžbinu manju nego što ih generira od scratch. bdtechtalks.com Hit Rate i Miss Penalty: Ovo su cache-specifične metrike. Hit Rate: Postotak zahteva (ili žetona) koje je ispunio cache Viša hit rate znači bolje performanse dobitke u Općenito. Ovo su korisne za izvješćivanje, kao što su “naš sistem imao 60% cache hit rate na prompts u prod (X zapravo X vs Y bez cache). Miss penalty je koliko sporije cache miss vs hit. Drugim rečima, neki od vremena dodavanje cache uvodi neke overhead (npr izračunavanje ugrađivanje za semantičko pretraživanje, ili dodatni mrežni hop da biste proverili distribuiranu cache) – ako miss još uvijek radi pun run model plus ovaj overhead, to je još jedan faktor da se ima na umu. Drugi je dobro dizajniran cache sa minimal Memory and Overhead Trade-offs: Caching održava izlaze modela ili srednje države, što koristi više GPU RAM-a. Za duge kontekste, KV cache raste u ravnoj liniji. Na primer, 405 B model cache za 16 k žetona može koristiti oko 15 GB (oko pola veličine modela). GitHub. Koristite metrike kao što su "memory overhead po dodatnom žetonu" ili "cache-size ratios" da biste saznali kompromise. Koristeći tehnike kao što su multi-query pažnju, možete rezati cache od desetaka gigabajta do nekoliko stotina megabajta. Ovo je 97% smanjenje za 16 k sekvence sa malim gubitkom tačnosti. huggingface.co. Da biste bili sigurni da je sistem dobro dizajniran, važno Preciznost/Kvalitetni Uticaj: Izlaz modela ne bi trebalo da se promeni (osim ako se poslužuje s potencijalno malo odgođenim rezultatom) zbog caching-a. Međutim, u nekim modelima caching-a (naime onima koji su približni ili semantički), odgovor bi mogao završiti ne savršeno usklađen s novim upitom. Dakle, možemo vidjeti da li caching proizvodi gubitak kvalitete ili ne. Konkretno, ako smo caching semantički relevantne upite na novi upit i odgovor na novi upit treba i dalje biti točan tako da se može ispitati kao tačnost ili relevantnost ocjena. U akademskoj zajednici, da se kvaliteta mera često naziva „hit stopa“ – tj. koji postotak cached odgovora je bio točan? Ovo nije problem za KV Usporedba sa osnovnim linijama: Istraživači obično uspoređuju unapređeni model keširanja sa modelom bazne linije bez keširanja kako bi izmjerili dobit. Može se raspravljati i o usporedbama različitih metodologija keširanja. Na primjer, tačno-match keširanje vs. embedding-based keširanje vs. nikakvo keširanje u skupu podataka upita, sa latencijom i točnošću za to. vLLM vs vanilla HF server Throughput & Memory. Ove komparativne studije izračunavaju specifikacije kako bi potvrdile intuiciju da je keširanje kao pravilo palca dobra ideja. Primjer rezultata mogao bi biti: keširanje poboljšava kroz 2× i latenciju za 40%, po trošku dodatnog GB (gabyte) za Ako procenimo LM caching, važno je razmotriti kompromise u kojima možete da uštedite na računanju, ali na trošak više memorije; niža konačna latencija, ali treba da se nosi s povremenim zastarjelim odgovorima. stoga, ključno je da pogledate metrikama kao što je gore u kombinaciji. I akademski radovi i izveštaji iz industrije počinju da uključuju keširanje u svoje referentne oznake, što ima smisla s obzirom na široko raspoređivanje keša. U kasnijem istraživanju iz 2024. zabilježeno je da se gotovo svi top podnesci za zadatke LLM dugog konteksta oslanjaju na neki oblik keširanja ili optimizacije pažnje kako bi se efikasno nosili sa dužinom konteksta (Chen et al., 2024). Brojevi su dosljedno velike pobede. Jednostavno rečeno: keširanje smanjuje latenciju, povećava prodor i smanjuje troškove po upitu tako što obuhvata nove upite brže i izbegava duplicirani rad. Bez ovih optimizacije, svaka procjena LLM služe daleko od potpunosti. Šibenik-paul.com Real-World Case Studies Studije stvarnog sveta Svi znamo da caching nije samo zbog akademskog argumenta, a ove značajke donose opipljivu vrijednost u praksi.Evo nekoliko primjera različitih scenarija, samo da pokažu kako je caching pomogao : Konversativni AI (Chatbots/Asistenti): Umjesto da re-kodiraju punu istoriju svakog kruga, multi-turn chat LLMs cache prethodne razgovore. Na primer, oni cache prvo korisničko pitanje i pomoćnik odgovor tako da se obrađuje samo novi unos na kasnijim upitima. huggingface.co. To omogućava sisteme poput ChatGPT odgovoriti brzo bez da bi morali da urade sve matematiku ponovo. Sa caching uključen, Anthropic's Claude 3 omogućava programeri pin dugo žive kontekste, što smanjuje latenciju za 79% i troškove za 90% na 100k-token prompt. (Anthropic, 2024) anthropic.com. Xiaoice iz Microsofta takođe čuva scene odgovore tako da ne mora da kaže iste pristojne stvari iznova i iznova Popunjavanje koda i pomoć: GitHub Copilot i TabNine koriste caching za ubrzanje završetka koda. Model bi morao ponovo obrađivati ceo kontekst svaki put kada pritisnete ključ, što bi ga učinilo vrlo sporim. Umjesto toga, pohranjuju predstavljanje modela prefiksa u cache tako da se obrađuju samo priloženi znakovi. Ovo se zove prefiksi caching. Mnogo pozivnica za kodiranje ponavlja se (kao što je Fibonacci), tako da vam prompt-level caching daje iste upite odmah. Također rješava iste upite programera preko sesija tako da se mogu odmah koristiti. Na forumu, LLM može pohraniti popularne Q&A pare (ili fin-tune i pohraniti ih) tako da može brzo odgovoriti na zajednička pitanja (Pa Enterprise “Copilot” Asistent: Mnoge kompanije raspoređuju AI asistente za interne – poput AI copilota koji pomažu sažeti dokumente, napraviti nacrt e-pošte, odgovoriti na poslovna pitanja iz internih podataka itd. Oni obično rade preko unaprijed definirane baze znanja (kompanija dokazi, wikis, izveštaji) Caching je vrlo vrijedan i ovde, na mnogim slojevima: možete sažeti unutarnje dokumente ugrađene kako bi ih vratili brže; možete sažeti neke uobičajene interne odgovore na upite (“kako dajem izveštaj o troškovima?”). Oni čak mogu biti sažeti tako da ne generiramo neke rezultate, ili delimične rezultate poput sažetaka dokumenata – ako dvije osobe zatraže sažetak istog dokumenta to je učinjeno samo jednom Multi-turn Tools/Agents: Caching može kratkotrajno kretati krugove u složenim sistemima AI agenta (kao što je agent koji planira zadatak putem višestrukog LLM poziva i koristi alat). Sada razmislite o agentu koji odgovara na pitanja upitom web usluge i dobivanjem rezultata za upotrebu kao ulaz za LLM. U tom slučaju, ako se isto pitanje ponovo pita, agent može preuzeti prethodni odgovor iz svog cache direktno ( umesto ponovnog pozivanja alata) ili reći moguće ponovnu upotrebu bilo kakvih rezultata pretrage (outputa alata za caching, kao i LLM outputa). To je korelirano s konceptom cache-a planera ili cache-a alata za rezultate. Intermedijarni rezultati poziva su cached projektima poput LangChain, tako da Velike internetske usluge: To je posebno istinito u slučaju pretraživača koji mogu drastično imati koristi od caching LLM odgovora. Na primer, Bing Chat služi milijunima korisnika i postoje mnogi ponavljajuće zahtjeve. Ako LLM backend Bing (što je GPT-4) cache odgovore na popularna pitanja ("Što je glavni grad X", "Kako napraviti pancakes"), to bi ih odmah vratiti umesto da generira od nule svaki put. U stvari, Bing ne-LLM pretraživanje je zapravo koriste caching upita desetljećima; sa LLM odgovori pojavljuju sada vidimo tačan isti uzorak. Istraživači su upravo pokazao sistem da je jednom pronašao rezultate za pretraživanje, cache im da isti pretraživač znači velike smanjenja latencije. rohan-paul.com. Verovatno U avgustu 2024. godine, , što je bio prvi put da komercijalni LLM-ovi imaju caching za korisnike. Anthropic serveri mogu pohraniti ogromne, nepotrebne kontekste, kao što je knjiga (100.000 žetona). Pisanje u cache košta 25% više po ulaznom žetonu, ali čitanje cached sadržaja košta samo 10% osnovne stope. Prvi poziv čuva podatke; sledeći pozivi koriste prompt ID da bi ga pronašli i poslali samo novi sadržaj.Klijenti su rekli da su odgovori bili do četiri puta brži (latenost je bila od 11,5 sekundi do 2,4 sekunde) i da je i trošak 10.000 token promptova pao je za oko 86%. Razgovarački agenti, pomoćnici kodiranja i velika dokumenta Q&A su sve uobičajene upotrebe, a stabilan kontekst je najbolji za cache hitove. Anthropic je napravio snažan poslovni slučaj kombiniranjem poboljšanja performansi s finansijskim poticajima. Nije iznenađujuće da konkurenti poput OpenAI-a i Google-a dodaju slične značajke kako bi dobili iste troškove i koristi od latentnosti. Anthropic's Claude 3 added Prompt Caching Antropologija cost of 100,000-token prompts went down by 90% Antropologija Još jedan slučaj: OpenAI nije javno objasnio ništa o tome, ali možda se pitaš da li su programeri fino prilagodili i/ili pružili nekoliko tekstova u svakom zahtjevu, taj dio bi mogao biti cached sa strane servera, tako da model ne mora svaki put ponovno kodirati te primere od nule.To je analogno Anthropicovom pristupu. npr. Ako pošalješ isti 2000 token sistem prompt + Instruction na svaki API poziv (koji mnogi čine), OpenAI bi cached model ugrađenosti toga unutar i samo konkatenirati sa vašim upitom obrađenim predstavljanjem. To bi bilo potpuno transparentno za korisnike, ali (može ih sačuvati) u ogromnoj količini računala i pomoglo bi OpenAI rukovati više opterećenja na njihovom hardveru. OpenAI's system messages and few-shot examples caching Sve u svemu, gotovo sve velike AI kompanije koriste LM caching u stvarnom svetu. Dok su OpenAI, Anthropic, Microsoft, Google i Hugging Face svi u nekom trenutku raspravljali ili dokumentirali strategije caching sa različitim učenjem kao rezultat, većina njih dijeli isti zaključak: caching pruža ogroman porast performansi, ali postaje važno upravljati cache svežinom bez žrtvovanja memorije i skalabilnosti. Priče o "pushed cache i vidjeli 30% smanjenje u našoj upotrebi GPU dok održava QPS netaknut" nisu neviđene. caching is the ticket to turbocharging LLM applications. Challenges and Limitations izazovi i ograničenja Naravno, caching nije srebrna metka. Ovo je, naravno, pomalo trivijalno – da je lako, svi bi cache sve stvari nakon svega! Postoje brojni izazovi i ograničenja u praksi koje inženjeri moraju raditi oko prilikom raspoređivanja LM cache: Cache Invalidation (Stale Data): Kada podložni podaci ili ažuriranje LLM menjaju značenje odgovora, cached outputs postaju zastarjeli, baš kao i problemi web cache invalidation. Naivna ispravka je da se očiste sve cache kada se model ažurira. Ovo je lako ali rasipno jer briše stavke koje su još valjane. Neki ljudi koriste pravilo "ako se ne nađu, preuzmite sveže", ali to može uzrokovati da izgube korisne podatke. Bolje je dati stavkama vrednost time-to-live (TTL) tako da istekaju nakon određenog vremenskog razdoblja, ili da verziju cache ključeve po ID modelu ili parametara tako da ne koristite stavke iz starijih modela. Dodavanje hashova ili timestamps na cache ključe Stale kontekst u dijalogu: Kada se kontekst kasnije promijeni u višestrukom razgovoru, cached odgovori mogu postati stale. Na primjer, ako sačuvate odgovor na pitanje A, a zatim korisnik dodaje više informacija, koristeći isti odgovor ponovo može propustiti važne promene. Da bi se to spriječilo, caches često čuvaju puni ID razgovora, a ne samo najnovije uputstvo, ili samo cache kraće rasponove dijaloga. Umjesto da sačuvate cijele odgovore, možete sačuvati kratke, kontekstualne sažetke umjesto toga. To smanjuje rizik da postanu zastarjeli. Još je teško upravljati caches dobro. Konzervativne politike (samo čuvanje unosa koji se verovatno neće promijeniti) ili dinamička validacija ( Prompt Varijabilnost i jedinstvenost: LLM-ovi se često bave vrlo različitim ulazima, tako da naivni caches ne rade jako dobro. Na primer, aplikacije kreativne generacije koje traže da "pisete pjesmu o X-u u stilu Y sa twist Z" gotovo nikada ne dobiju nikakve hitove bez semantičkog caching-a. Semantičke caches pokušavaju generalizirati usklađivanjem ugrađivanja, ali rade samo kada su upite vrlo slične. rohan-paul.com. Prednosti caching-a zavise od redundancije radnog opterećenja. KV caches su uvek korisne za duge izlaze, ali ad-hoc caching s punim odgovorom ne radi dobro ako nema dva upita. Delimično ili modularno caching, što znači razbijanje izla Memory Footprint: Keše koriste mnogo memorije, bilo RAM-a ili GPU-a, jer KV keše za duge kontekste mogu biti jednako velike kao i sam model. huggingface.co. Odgovorne keše također mogu postati prevelike, što znači da moraju preliti na CPU ili disk. To znači da morate da izaberete između kapaciteta i veličine modela ili serijskog kapaciteta. Na primjer, ako odvojite 20 GB od 40 GB GPU-a za keš, neće biti toliko prostora za veće modele ili za rješavanje više zahtjeva. Da bi se riješio ovaj problem, istraživači ili komprimiraju KV tenzore (Shutova et al., 2025) arxiv.org ili ih kvantizuju (4-bit vs. 16-bit yields ~4× memorijske uštede). AQUA-KV papir Kompleksnost i inženjering: Caching čini stvari bržim, ali i čini stvari komplikovanije. Morate uspostaviti bezbedne, niske latencije načine za skladištenje, pretraživanje, ažuriranje i poništavanje unosa, što često znači korištenje spoljnih trgovina kao što je Redis za distribuirane cache, što može propasti. Da biste bili sigurni da su stvari odgovorne, možda ćete morati da radite pažljivo inženjering, kao što je korištenje ne-blokirajućih async poziva ili bez zaključavanja struktura. Debugiranje takođe postaje teže jer neočekivani izlazi mogu doći iz starih ili slomljenih podataka iz cache umjesto samog modela. To je razlog zašto je važno imati dobro evidentiranje i promatranje za cache hitove i propuste. U Bezbednost i privatnost: Ako se ne upravlja ispravno, caching osetljivih upita i izlaza može učiniti privatne podatke javnim. U multi-telantnim sistemima, uvek ograničiti pristup cache na zahtjeve koji su odobreni i obuhvat unosa na jednog korisnika ili sesije. Cache takođe pokreće rizik od bočnih kanala napada, koje hakeri vide upite drugih ljudi. Da bi smanjili rizik, ograničili ili šifrirali osetljivi sadržaj cache. Međutim, šifriranje može učiniti semantičko podudaranje teškim. Također, pravila poput GDPR-a mogu tretirati cached AI izlaze kao pohranjene podatke, što znači da moraju biti izbrisani ako korisnik to zatraži. Kako AI caching postaje uobičajeniji, ovi problemi sigurnosti i Usklađenost keša u distribuiranim sistemima: Distributed caching vam omogućuje da napravite kopije podataka, ali ima problema sa dosljednošću. Na primer, ažuriranja ili poništavanja u jednom slučaju nisu uvek vidljive od strane drugih, a kada dvije replike propuste istu kešu u isto vrijeme, možda će morati da recompute i utrku da napišu isti unos. Da biste zaustavili duplikate, potrebne su vam atomske operacije ili blokade. Na primer, Redisove atomske komande podržavaju ovo. Srednji. Da biste izgradili distribuiranu kešu, morate ili izabrati snažne protokole usklađenosti ili prihvatiti eventualnu dosljednost s povremenim čitanjem i pisanjem. Redis. Testiranje i usklađivanje ovih strategija postaje posebno teško u posluživanju LLM- Ipak, na ovo za mnoge svrhe. Dakle, ne može biti veliko iznenađenje da gotovo svaka usluga LLM koja obuhvaća preduzeće uključuje caching jednog oblika ili bilo kojeg drugog, a razlika je da svatko stavlja ovaj dizajn rad kako bi se nosio sa zamkama. Ublažite rizike: Cache stvari koje nisu ultra-osetljive (ili se samo polako mijenjaju) + Koristite mnogo strategija za poništavanje cache + Držite oči na hit rate / ram upotrebe i Imajte povratne informacije (ako se nešto funky dogodi sa vašim cache, sistem će raditi, to će biti samo sporo). Počinjemo da vidimo bolje alate i biblioteke za rukovanje većinom toga automatski (na primjer, cache šifriranje na razini okvira ili auto-validate hooks na ažuriranja mod overall performance gains of caching generally significantly exceed LLM je izuzetno moćan, ali ne i besplatan kao što smo videli i dodaje dodatni složen sloj LLM-a - cache. LLM akademici sada znaju prvi! ali s dobrim dizajnom, kompromis se može upravljati, a ogromne koristi se mogu ostvariti. Postoje samo dvije teške stvari u informatici: otkazivanje cache i imenovanje stvari Future Directions and Research Opportunities Budući smjerovi i istraživačke mogućnosti LLM cache polje je vrlo dinamičan, sa brojnim uzbudljivim putevima koje istraživači i inženjeri istražuju kako bi dodatno proširili svoje mogućnosti: Adaptivno i inteligentno caching: Machine learning može pomoći sa caching i eviction politika. Na primjer, RL agenti pokušavaju da dobiju najduže dugoročne nagrade (hit rate × ispravnost). Oni mogu prefetch podatke oni misle da će trebati, kao što su OS čitanje-pred, caching popularne rezultate tokom zauzetih vremena, i riješiti ulazaka koji nisu vrijedni mnogo. Špekulativno izvršenje događa se kada caches aktivno izračunati i sačuvati podatke koji su vjerojatno da će se dogoditi. LLM-based meta-učenje može pogoditi koje srednje izračunavanja će biti skupo i pohraniti ih u cache. Reinforcement learning može upravljati eviction tako što će se riješiti ulazaka koji nisu vjerojatno da će biti korisni u budućnosti. Cache kompresija i efikasno skladištenje: Kvantizacija i rezanje su dve metode koje cache slabi koristi. AQUA-KV komprimira KV tenzore na samo nekoliko bitova sa malim gubitkom kvaliteta (Shutova et al., 2025). Pruning, kao što je dropping stopword KVs, oslobađa se unosa koji nisu potrebni. U dugim kontekstima, Anchor Attention zadržava samo "ankor" token KVs i komprimira ostatak (Sun et al., 2024). Eksperimentalni "izgubljeni" caches uzimaju vektore koji su slični i kombiniraju ih u jedan. Visokopasna memorija ili memorija klase skladištenja (Optane) može preliti KV caches sa P99 latency trade-offs na strani hardvera. To Cross-Modal i Cross-Domain Caching: Multimodalnim LLM-ovima i čak i video prevođenju je potrebno posebno caching. Na primjer, skladištenje ugrađenih slika omogućava vam da preskočite ponovnu obradu slika koje ste već videli, a caching parsed audio snippets čini glasovne asistentke da rade brže. Za svaku vrstu podataka, potrebna vam je drugačija strategija. Na primer, perceptualni hash za slike i audio otisci prstiju za audio. Federirano caching preko perifernih uređaja može deliti zajedničke rezultate privatno, što je u skladu sa garancijama privatnosti federiranog učenja. Kao i globalni pretraživač cache za AI asistente, community caches dozvoljavaju mnogim korisnicima ili uređajima da dodaju u zajednički bazen Caching u obuci i finom prilagođavanju: Caching se takođe može koristiti za obuku i finom prilagođavanju LLM-ova, a ne samo za zaključak. Da bi se izbjegao disk I/O, velikom broju pokretanja već se čuvaju tokenizovani skupovi podataka u memoriji. Cache-ovi za obuku skladište intermedijera na inovativniji način. Na primjer, modeli za više zadataka mogu koristiti predstavljanje sekvence preko zadataka umesto da ih ponovo šalju. Skladištenje predrasuda ili gradijenata koji se često koriste u cache-u takođe smanjuje nepotrebno računanje. To uglavnom pomaže u istraživanju, ali takođe smanjuje troškove u kontinuiranom učenju ili RLHF-u preskakivanjem koraka koji se ponavljaju. Cache upravljanje i kontrola kvalitete: Još jedna važna promjena koja se mora dogoditi u budućnosti je redovno provjeravanje cached odgovora kako bi se održalo dobro korisničko iskustvo. Ako je cache odgovor LLM-a jedva prošao filtere, korisnička povratna informacija, poput ponavljanog preformuliranja, mogla bi značiti da treba da se promijeni ili ukloni. Ovo bi stvorilo povratni tok koji nastavlja da poboljšava cache i pretvara ga u živu bazu znanja. Rasporedeni pozadini mogu ponovno izračunati i ažurirati top cache ulazke kao što je temeljni model je prekvalificiran ili fine-tuned. Na taj način, popularni odgovori dobijaju bolje generacije. Ova metoda je slična načinu na koji pretraživači osvežavaju cached stranice Standardizacija i Cache API Layers: Ne bi nas iznenadilo da bismo mogli da vidimo standardizirane slojeve u staklu za strojno učenje usmjerene posebno na caching. Trenutno svaki okvir ili aplikacija mora da stvori vlastitu logiku cache. Možda možemo, ali jedan bi mogao da zamisli neke “Caching API” vrste koje pružatelji modela ili serving frameworks nude i omoguće programerima da priključe svoju prilagođenu logiku (gotovo kao cache plugins sa web serverima). Na primer, OpenAI ili drugi dobavljači mogu pružiti API parametre za uključivanje i isključivanje efikasnosti cache, možda definišući nivo agresije u izgradnji cache hitova, ili da li rezultati trebaju biti u skladu sa semantičkom sličnošću. To bi usvajanje učinilo još cache_scratch Preuzimanje Dakle, čini se da je budućnost LM caching-a prilično sunčana i ispunjena novim rješenjima. Općenito, poticaj je očigledan: dok izlažemo veće modele za veći broj korisnika, strategija caching-a je lako mjesto za preuzimanje slatka. Sljedeće iteracije će poboljšati caching (na osnovu učenja), smanjiti njegovu težinu (kompresija i bolje upravljanje unutar memorije), i učiniti ga raširenijim u različitim modalitetima i za obuku/inferenciju.* Dakle, to je utrka za oružje, ne samo za izgradnju većih modela, već i za služenje im pametnije._* Kroz to, poboljšanja caching-a i efikasnosti su razlog zašto LLM-ovi poput GPT-4 i Llama Odatle, možda oni s najagresivnijom strategijom keša mogu potencijalno osvojiti titulu ponude najbržih i na kraju najjeftinijih AI usluga. Uslovi korišćenja.co Reference za: Antropski. (2024, 14. avgust) Preuzeto iz Anthropic News: Ubrzani susret s Claudeom. Antropologija.com Antropologija.com Hinton, G., Vinyals, O., i Dean, J. (2015). NIPS Deep Learning i Representation Learning radionica. Distilacija znanja u neuronskoj mreži. Lewis, P., et al. i drugi (2020) Napredak u neuralnim sistemima za obradu informacija. Retrieval-Augmented Generation za znanje-intenzivnu NLP. Paul, R. (2025, 20. april) Rohan’s Bytes blog. Caching strategije u LLM usluga za obuku i zaključak. Šibenik-paul.com Šibenik-paul.com Pol, S. (2025, 6 april) Srednji blog Ubrzanje inferencije transformatora pomoću KV-a. Sudhirpol522.medijum.com Sudhirpol522.medijum.com Uslovi korišćenja N. (2019) arXiv:1911.02150 Izveštaj . Brzo dekodiranje transformatora: Jedna pisana glava je sve što vam je potrebno. Arhivski.org Šutova, A., Malinovskii, V., Egiazarian, V., et al. (2025). ArXiv:2501.19392 . Cache Me If You Must: adaptivna kvantifikacija ključnih vrednosti za velike jezikovne modele. Arhivski.org Yazdani Aminabadi, R., Rajbhandari, S., Zhang, M., et al. (2022). arXiv:2207.00032 . DeepSpeed Inference: Omogućava efikasnu inferenciju modela transformatora na neviđenoj skali. Arhivski.org Kwon, W., Li, Z., Zhuang, S., i dr. Procedura SOSP 2023 . Učinkovito upravljanje memorijom za model velikog jezika koji služi sa PagedAttention (vLLM). Blog.svetište Blog.svetište Hugging Face Transformers Ekipa (2023). Sljedeći članakHugging Face Blog Optimizacija vašeg LLM u proizvodnji. Uslovi korišćenja.co Uslovi korišćenja.co Lorello, S., McCormick, R., i Partee, S. (2023). Nvidia tehnički blog. Kako napraviti distribuiranu cache sa NVIDIA Triton i Redis (Dodatne reference za akademsku rigoroznost i potpunost mogu se umetnuti prema potrebi da se podudaraju sa svim gore navedenim citatima.)