Fanatsarana ny fahombiazan'ny LLM amin'ny LM Cache: Architectures, Strategies, ary Applications Real-World

Abstract Ny Abstract Ity lahatsoratra ity dia manolotra fomba fijery ara-teknika amin'ny fikarohana lalina momba ny asan'ny LM Cache sy ny fomba ahafahan'ny milina Caching manatsara ny fahombiazan'ny fampiharana, ny fahafaha-mahazatra ary ny fandaniana amin'ny fampiharana ny Big Language Model (LLM). Manadihady karazana ara-teknika sy mekanisma samihafa izahay, ny fomba ahafahan'izy ireo mifandray amin'ny rafitra AI vaovao sy ny fanombanana ny fahombiazan'ny. Ny ohatra avy amin'ny sehatra dia mamaritra ny fomba ampiasain'ireo mpanjifantsika lehibe indrindra ny LM Caches amin'ny fomba fanao sy ny zavatra nianarany tamin'ny alalan'izany. Introduction Ny fampidirana Eritrereto ny mpiara-miasa amin'ny AI izay tsy maintsy manome valiny mitovy hatrany mandritra ny an'arivony andro mandritra ny fotoana! Tsy vokatra izany, tsy maintsy mamerina valiny tsirairay avy amin'ny fototra izy, raha ny marina, isaky ny fotoana? Raha ny LLMs (fantatra GPT-4, PaLM sns) dia manova ny zava-drehetra avy amin'ny fanampiana mpanjifa amin'ny famokarana code ny Ao amin'ny famokarana, ny fanontaniana tsirairay ho an'ny modely lehibe dia mety mihoatra ny segondra sy ny fandinihana GPU be dia be. Amin'ny fitomboan'ny habetsaky ny modely sy ny fanantenan'ny mpampiasa, ny ilaina amin'ny fanapahan-kevitra haingana dia lasa zava-dehibe kokoa noho ny taloha. deployment at scale is stymied by latency requirements, computational cost and memory footprint Miaraka amin'izany rehetra izany, ny LM cache dia mitranga ho vahaolana tsara ho an'ireo olana ireo amin'ny alàlan'ny fanesorana sy fampiasana indray ny vokatra efa voamarina. Ny caching dia tena mahatonga ny rafitra antsika hahatsiaro ny zavatra rehetra efa hitany teo aloha. Ny hevitra ankapobeny momba ny hevitra dia tsy vaovao ao amin'ny siansa momba ny solosaina, fa nanana fandrosoana mety ao amin'ny LLM ho an'ny fahombiazana lehibe kokoa sy ny fihenjanana lehibe amin'ny fotoana fanehoan-kevitra. Toy ny modely destillation (manorina modely kely kokoa, haingana kokoa), famerenana fanamafisana (mandeha amin'ny tahirin-kevitra ivelany), ary ny vektor databases ho an'ny fikarohana semantic, ny Foundations of LM Cache Ny fametrahana ny LM Cache Ny hevitra momba dia tsotra reuse computing mba tsy hiasa be loatra. Ao amin'ny tranga ny LLM fanapahan-kevitra, ny Caching dia mety hisy amin'ny isan-karazany ny granularity: LM cache Cache the entire output to a given input prompt. If our model receives the same prompt again, it returns the cached output without running the model. This is effectively memorizing the model's response to entire queries, at the highest-level cache. It is particularly powerful for tasks that involve the reapplication of the same query many times (e.g. Q&A model with a single question asked repeatedly) This could be implemented, for example (sample implementation in the functions promptify and getPossibleResults) as a simple dictionary that maps prompts to possible results e.g. Prompt-level cache: Pseudocode: prompt-level cache integration prompt_cache = {} # A dictionary to store prompt->response mappings def generate_response(prompt): if prompt in prompt_cache: return prompt_cache[prompt] # return cached answer result = model.generate(prompt) # expensive LLM call prompt_cache[prompt] = result # store for next time return result We cache intermediate results for each token in a sequence instead of caching whole responses. Autoregressive LLMs generate text one token after the other. This is because without caching, the entire previous context will have to generated again from start for every new token to be created. Token level caching is the process of stores intermediate state of model tokens like the activations or hidden states in a way that, when producing next token, the model can skip recomputing what it already did for prior tokens. This is highly connected to the in transformer models, more on this below. Token specific caching: key–value cache LLMs based on transformers use self-attention, which means that each token pays attention to all of the ones that came before it. Frameworks cache the "key" and "value" projections for previous tokens and only add new ones to avoid having to compute attention over the whole sequence again. . This KV cache speeds up autoregressive decoding, which is an important GPT-style optimization. It cuts the work per step from O(n²) to O(n) without changing the outputs (Yazdani Aminabadi et al., 2022; Pol, 2025) arxiv.org. By default, libraries like Hugging Face Transformers do this with during generation, which means that only new tokens are processed. A simple pseudocode loop shows how grows with each iteration. KV cache (Key-Value cache) : neptune.ai use_cache=True past_kv Pseudocode: using KV cache in an autoregressive decoder loop past_kv = None for token in prompt_tokens: output, past_kv = model.decode_next(token, past_key_values=past_kv) # past_kv now contains keys/values for all tokens up to current one The above loop accumulates the key-value pairs to be carried forward as such as that model. Then can use the cached context and need not recompute it. The KV caching makes the quadratic slowdown now avoidable, and transforming models to work with this form of storage is crucial for the continued efficiency of transformer inference, particularly if GPT-4 like models are able to generate much longer continuations far more efficiently. past_kv model.decode_next LLM follows the same procedure with all text input as firstly it converts tokens into vector embeddings. Calculating these embeddings (especially a large contextual embedding model) can cost nearly as much as running the full LLM itself, so why do it again for some common tokens/phrases? Embedding Cache — a cache where the vector representations of common inputs are stored. (Paul, 2025) . For example, we can cache those embeddings instead of computing them from scratch if application encodes the same sentences or document chunks many times (in a retrieval-augmented setup) This will save time and guide the style of such representations. . Embedding caching is a natural fit for retrieval pipelines and semantic search, as it caches the “input features” before they hit the big model. Embedding cache: rohan-paul.com rohan-paul.com Multi-Query Attention (MQA) is a type of Transformer attention in which all heads use the same keys and values as input to their attention function (Shazeer, 2019) . Typically, with 12 or 24 heads, each head has its own keys and values. This means that the cache stores 12x or 24x vectors for each token. Instead, MQA caches just one set, and heads keep their query projections while looking up a shared key-value store. In one benchmark (Shazeer, 2019) ( ; ), this cut memory and bandwidth overhead by a huge amount, from about 15 GB to less than 400 MB on a 16k-token context. There is only one shared cache instead of 100% memory overhead per head. Multi-query attention caching: arxiv.org arxiv.org huggingface.co Noam Shazeer first suggested MQA (and its grouped-query versions) in One Write-Head is all we Need ( ). It is used in PaLM, Falcon, MPT, and BLOOM to make longer contexts work better. It also makes inference faster because it needs to fetch less data from memory, which means it can do attention computations faster ( ). In theory, MQA is a smart way to cache data for the architecture, so that the number of trainable parameters doesn't go up as the number of heads or the length of the context grows. huggingface.co huggingface.co Ny tena marina dia ny tena marina. Tany amin'ny Tany amin'ny Ny dikan-teny dia Decode_next Ny sehatra rehetra voalaza etsy ambony dia mampiasa ny fitsipika tsotra izay Noho ny rafitra fanaraha-maso ny tenany, ny famaritana ny token vaovao tsirairay ao amin'ny LLM mifototra amin'ny transformers dia matetika miankina amin'ny token taloha. Na amin'ny ambaratonga haingana na lavitra ao anatin'ny modely, ny fametrahana ny vokatra avy amin'ireo famaritana taloha dia mamela ny asa manaraka hivoaka mivantana amin'ny vokatra farany. system shouldn't re-compute what you have already done LM Cache Architectures and Strategies Ny LM Cache Architectures sy ny Strategy Satria tsy ny asa rehetra dia mitovy amin'ny rafitra LLM, maro ny rafitra sy ny sehatra no natao tamin'ny injeniera mba hampitomboana ny tsindry amin'ny cache ary hampihenana ny overhead. Static vs. Dynamic Caches: Static Caches dia tonga amin'ny mifanaraka amin'ny fidirana / fidirana mialoha, izay mahatonga azy ireo ho tsara ho an'ny asa azo antoka. Ireo dia vahaolana caching ho an'ny fanontaniana mahazatra na fanapahan-kevitra azo antoka, toy ny FAQs na fanandramana raharaha valiny. Dynamic Caches, amin'ny lafiny iray, dia mihazakazaka toy ny rafitra mihazakazaka, miova ho mifanaraka amin'ny fombafomba fifamoivoizana, manova ny fangatahana fametrahana, ary ny fampiasana fiantraikany. Izy ireo dia "mpianatra" avy amin'ny mpampiasa fifamoivoizana mba hanatsarana ny fihenam-bidy. Amin'ny fiainana tena izy Distributed sy Federated Caching: Ao amin'ny fandefasana lehibe miaraka amin'ny fandefasana LLM maro ao amin'ny mpizara samihafa na pods, ny cache-maso dia tsy miasa amin'ny fampiasana indray amin'ny mpizara samihafa. Ohatra, raha ny Server A dia manara-maso sy mihazakazaka fanontaniana, ny Server B dia tsy maintsy manara-maso ny valiny na dia tsy afaka miditra amin'ny Server A. Ny cache-distributed dia mamaha izany amin'ny fandefasana entana amin'ny alalan'ny fivarotana ivelany, toy ny Redis. Ny Triton Inference Server amin'ny NVIDIA dia nanampy cache-maso an-tserasera amin'ny 2023, na dia manampy ny tambajotra aza dia manampy Ny Caching dia tsy voafetra amin'ny output; azo ampiasaina ihany koa amin'ny sehatra LLM manokana. Mba hisorohana ny tsy maintsy hanangona layer miditra lafo indray amin'ny fanafihana cache, dia azonao atao, ohatra, ny fanangonana ny outputs amin'izany sehatra izany ho an'ny fidirana matetika manokana. Ankoatra izany, mety mahasoa ny fanangonana fotsiny ny fananganana lafo indrindra na mampiasa ny fametrahana amin'ny chip ho an'ny cache amin'ny fitaovana fanamafisana (GPUs / TPUs), izay ny fahatsiarovana dia manan-danja. Ny analoga inference ny teknika toy ny gradient checkpointing, izay ahitana fifanakalozan-kevitra ara-barotra ho an'ny fampiofanana fahatsiar Ny fametrahana ny Cache Granularity and Keys: Ny fisafidianana ny Cache Index dia dingana malaza. Ny fanamafisana ny fanamafisana ny Cache amin'ny fehezan-dalàna feno dia mora ampiasaina, saingy tsotra izy ireo – misy fiovana tsy mahazo ny cache. Mba hahazoana hitsika bebe kokoa, ny rafitra dia mampiasa hash semantic mifototra amin'ny fitehirizana izay mampiasa ny fitehirizana toy izany na raha tsy mitovy ny fehezan-teny, na ny fanamafisana / fanamafisana ny fanamafisana izay mifanaraka amin'ny ampahany mifanaraka. Taorian'ny fanodinana ny fanamafisana azo antoka, ny "prefix caching" dia mandritra ny fotoana fohy ny toe-javatra KV amin'ny Ny fitsipika momba ny fahazoan-dalana sy ny fanesorana: Satria voafetra ny fahazoan-dalana, ny LLM dia mampiasa fitsipika toy ny LRU na LFU mba hanapa-kevitra izay entana hitazonana sy izay hanesorana. Izany dia mamela toerana ho an'ny angon-drakitra vaovao. Ankoatra ny fanesorana zavatra mifototra amin'ny taona na ny fahazarana, ny fahazoan-dalana LLM dia tsy maintsy mifandray amin'ny fahazoan-dalana sy ny modely na ny fanavaozana ny angon-drakitra amin'ny fanesorana zavatra taloha. Amin'ny 2024, ny fikarohana dia nampiseho fa ny fampianarana-dry zareo dia miasa: ny fanesorana izay efa nianatra mba hahita sy hanesorana Amin'ny ankapobeny, ny famolavolana ny Cache LM dia fahasamihafana tsara: Tiantsika ny hampitombo ny tahan'ny hitranga amin'ny alalan'ny famokarana azy amin'ny fotoana mpanjifa miaraka amin'ny fiteny ohatra taloha. Raha midika izany fa mila miasa mafy kokoa ireo rafitra fandikan-teny amin'ny solosaina ianao, dia ho mpitsidika ahy! Ireo stratejika ireo (static vs. dynamic, rafitra famoahana, mampiasa ny cache hitranga amin'ny terminology amin'ny famokarana azy amin'ny fotoana mpanjifa miaraka amin'ny fiteny ohatra taloha) dia zava-mahadomelina rehetra izay afaka manampy anao hanao bebe kokoa amin'ny caching raha tsy manintona ny fandikan-teny mifandraika amin'ny cache. Ny Architecture Diagram ny LM Cache ao amin'ny LLM Inference Pipeline Ity ambany ity dia ny rafitra fanehoan-kevitra mampiseho ny fampidirana ny LM Cache ao anatin'ny fivoaran'ny LLM ankapobeny: Workflow Diagram mifanaraka amin'ny Cached vs. Non-Cached Inference Fangatahana Mba hahatakatra bebe kokoa ny tombontsoa, dia heverina ny fifanarahana amin'ny workflow eo amin'ny fangatahana famantarana amin'ny alàlan'ny cached sy tsy-cache: Fidirana amin'ny sehatry ny AI maoderina Ny Caching LM dia tsy miorina irery - avy amin'ny tontolo iainana fampiharana lehibe kokoa ao amin'ny AI. Eto isika dia mijery ny fomba mifanaraka amin'ny rafitra sy rafitra samihafa: The good news is that KV caching is integrated into the majority of contemporary AI frameworks. To avoid redundant computation, Hugging Face Transformers, for example, allows you to set (the default in generate()) to automatically return and reuse previous key/value states. KV caching is used for incremental decoding in Microsoft's DeepSpeed-Inference, which is crucial for scaling large autoregressive models. Kernels are tuned appropriately. (Yazdani Aminabadi et al., 2022) . Cache decoding is also accelerated internally by NVIDIA's TensorRT and ONNX Runtime. In order to maximize speed, model architectures now assume caching in addition to software stacks. UC Berkeley's vLLM presents PagedAttention to manage GPU KV cache, paging it similarly to virtual memory and sharing identical prompt prefixes. (Kwon et al., 2023) . FlashAttention and xFormers optimize attention only for new tokens. This block-based approach reduces memory fragmentation, than standard Transformers. . Additionally, you can anticipate even wider caching support across popular frameworks as these research advances develop. Framework Support (Hugging Face, DeepSpeed, etc.): use_cache=True huggingface.co. arxiv.org blog.vllm.ai lowers overhead to under 4%, and delivers up to 24× higher throughput blog.vllm.ai Caching can greatly improve performance in retrieval-assisted LLM pipelines, such as question answering over a vector database. You can cache retrieved passages, final answers, or embeddings for semantically similar queries rather than using similarity search to retrieve new documents and calling the LLM each time. For example, the 2025 Proximity layer by Malladi et al. reduces retrieval latency by up to 59% with negligible accuracy loss by reusing passages for near-duplicate queries. . Caching retrieval results reduces the load on vector engines and scales systems because many user queries overlap (Chaidez, 2025). Caching query outputs is advised by providers such as Redis and Pinecone. In the end, caching saves duplicate embedding or retrieval effort for frequently asked or comparable queries. Retrieval-Augmented Systems (RAG and Vector DBs): rohan-paul.com These are addressed by caching in the case of serverless LLM deployments (a.k.a. AWS Lambda) and edge scenarios (on-device or in-browser LLM inference) that need to mitigate expensive cold-starts and tight resource limits. For serverless setups—in which models do not persist between invocations—an external store (like Redis or DynamoDB) enables the completion of each function call to check previous outcomes, so that redundant work can be skipped. There is potential to cache recent inferences or embeddings (e.g., user names, common commands ) on things like smartphones or small IoT type edge devices, to reduce latency and save battery. While limited memory and privacy will be a consideration, optimized should start to appear soon for ultra-efficient edge inference. Serverless and Edge Deployments: compressed caches Production-scale LLMs exceed single-GPU or machine capacity, so distributed inference requires caching. Typically, each model shard caches the key/value states for tokens it processes. When a new token arrives, parallel shards coordinate to fetch and update their cached states, avoiding redundant recomputation and memory overhead. Libraries like DeepSpeed and FasterTransformer implement this: with pipeline parallelism, each stage caches its outputs to avoid recomputing all layers per token. Tensor parallelism shards KV , to synchronize new keys/values and maintain consistency across devices. Caching and Model Parallelism: caches across GPUs using cross-GPU protocols Distributed KV caching by limiting work to new computations. One whitepaper noted that without caching, shipping the full context for each inference during distributed execution incurs prohibitive network hops. Caching keeps context local, making large-model inference across multiple machines practical. dramatically reduces inter-node communication and idle time Ny tena marina dia ny tena marina. Amin'ny ankapobeny, ny fandaharam-pahalalana ara-teknika amin'ny ankapobeny dia mahazatra kokoa sy mahazatra kokoa. Ny rafitra ambaratonga ambony dia manomboka mampiasa izany, avy amin'ny library izay mitandrina ny mekanika ho anao amin'ny rafitra izay mizara fandaharam-pahalalana amin'ny fangatahana sy ny fotodrafitrasa. Ny fandaharam-pahalalana dia zavatra izay ampiasain'ny ankamaroan'ny serivisy LLM, satria izany no nataon'ireo mpilalao lehibe ao amin'ny AI (OpenAI, Google sy Microsoft ohatra) momba izany na nataon'izy ireo ao amin'ny tolotra LLM. Ny sasany amin'ireo antsipirihany dia fantatra toy ny ChatGPT avy amin'ny OpenAI (tsy voasoratra Performance Metrics and Evaluation Performance Metrics sy ny fanombanana Eny, amin'ny teorian'ny caching dia mety ho mahatalanjona, fa ahoana no ahafantarantsika izany? Misy vitsivitsy ny fampisehoana mahazatra izay manampy anao hanombohana ny fahombiazan'ny LM caching Ny fahatarana ambany: Ny fahatarana ambany: Ny tombontsoa lehibe dia ny fahatarana ambany, izay ny fotoana ilaina mba hahazo valiny. Ny Caching dia manova ny fahatarana: ny cache primed dia manome anao avo lenta sy ambany fahatarana. Izahay manao izany amin'ny alalan'ny mijery ny fotoana ilaina mba hanao fangatahana miaraka amin'ny cache sy tsy misy cache. Ny chatbot izay matetika mitaky 2 segondra hamaly fanontaniana dia hiverina ao anatin'ny 0.2 segondra raha hitsangana ny cache, izay 90% haingana kokoa. Ny haingam-pandeha marina dia miankina amin'ny taham-pandeha. Ohatra, raha ny 80% ny fanafihana dia 1000 fotoana haingana kokoa, ny fahatarana amin'ny ankapobeny dia ho tsara kokoa. Ny ekipa matetika Amin'ny alalan'ny fanatsarana ny fitehirizana: Amin'ny fitehirizana, ny fitehirizana - fangatahana isaky ny segondra (RPS) na tokens isaky ny segondra (TPS) - dia afaka mandeha amin'ny hazavana. Izany dia satria ny fitehirizana dia mamonjy ny solosaina amin'ny tsy mila manao ny fitsipika mitovy indray mandeha. Ny valin'ny DenseNet ho an'ny NVIDIA Triton dia niova 80 ka hatramin'ny 329 inf/sec (amin'ny 4×) ary ny modely maivana kokoa dia nahatratra manodidina ny 20% amin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin. rohan-paul.com Count/Cost Savings: Ity no vokatry ny dollar-and-cents avy amin'ny caching. Satria ny caching ihany koa dia hamonjy amin'ny solosaina tsy ampy, dia tena mamonjy FLOPs izay vola (ohatra rehefa mandoa amin'ny ora GPU na API antso). Ny metriky mahazatra ho an'ity dia ny fampiasana GPU ary na dia ny vanim-potoan'ny solosaina manontolo voavonjy. Ohatra, ny Anthropic dia nilaza fa amin'ny fifanakalozan-kevitra lava kokoa, prompt caching dia afaka mampihena ny fampiasana token (ohatra vidiny) amin'ny 90% (Anthropic, 2024), anthropic.com. Izany ihany koa dia hita ao amin'ny fandaharam-potoana Hit Rate sy Miss Penalty: Ireo dia metriky manokana amin'ny cache. Hit Rate: Ny isan-jaton'ny fangatahana (na token) izay nahatratra ny cache Higher hit rates dia midika ny vokatra tsara kokoa amin'ny ankapobeny. Ireo dia mahasoa ny tatitra, toy ny "ny rafitra dia manana 60% cache hit rate amin'ny fangatahana ao amin'ny prod (X tena X vs Y tsy misy cache). Ny tsy fahazoan-dalana dia ny hoe firy lavitra ny cache miss vs hit. Amin'ny teny hafa, ny fotoana sasany ny fanampian'ny cache dia mampiasa overhead (ohatra manangona fidirana ho an'ny fikarohana semantic, na tambajotra fanampiny hop mba hanamarinana ny cache nomerika) - raha tsy Memory sy Overhead Trade-offs: Ny Caching dia mitazona ny vokatra modely na ny toe-javatra eo anelanelan'ny, izay mampiasa RAM GPU bebe kokoa. Ho an'ny toe-javatra lava, ny KV cache dia mitombo amin'ny lalana mivantana. Ohatra, ny cache modely 405 B ho an'ny token 16 k dia afaka mampiasa momba ny 15 GB (amin'ny antsasaky ny habetsaky ny modely). GitHub. Mampiasa metriky toy ny "memory overhead per additional token" na "cache-size ratios" mba hahatakatra ny fifanarahana. Amin'ny fampiasana teknika toy ny fanontaniana maro, azonao atao ny manapaka ny cache avy amin'ny arivo gigabytes ho an'ny Ny vokatr'ilay modely dia tsy tokony hiova (afa-tsy ny mety ho vokatry ny fahatarana kely) noho ny caching. Na izany aza, amin'ny modely caching sasany (ohatra ireo izay manodidina na semantic), ny valiny dia mety ho tsy mifanaraka tsara amin'ny fanontaniana vaovao. Noho izany dia afaka mahita raha ny caching dia miteraka fahaverezan'ny kalitao na tsia. Amin'ny ankapobeny, raha isika no caching semantically manan-danja fanontaniana amin'ny fanontaniana vaovao sy ny valiny amin'ny fanontaniana vaovao dia mbola tokony ho marina, dia mety hijery toy ny marina na relevance score. Ao amin'ny vondrom-piarahamonina, ny kalitao dia matetika antsoina hoe ny "hit rate" - izany hoe inona Fifanarahana amin'ny Basel: Ny mpikaroka matetika dia mampitaha ny modely fanatsarana caching amin'ny modely baseline tsy misy caching mba handrefesana ny fahombiazana. Mety hiresaka ihany koa ny fampitahana ny fifanarahana amin'ny fomba fanao caching samihafa. Ohatra, Caching amin'ny fitsipika mifanaraka amin'ny caching mifototra amin'ny fitehirizana mifandraika amin'ny tsy caching ao amin'ny angon-drakitra fanontaniana, amin'ny fahatarana sy ny fahamarinana ho an'izany. vLLM vs vanilla HF server Throughput & Memory. Ireo fianarana mifandraika ireo dia mirakitra ny antsipirihany mba hanamafisana ny fahatakarana fa ny caching toy ny fitsipika Raha mandinika ny LM caching, dia zava-dehibe ny mijery ny fifanarahana izay azonao atao ny mamonjy amin'ny solosaina, fa amin'ny vidin'ny fahatsiarovana bebe kokoa; ambany ny fahatarana farany, fa mila manatanteraka ny valiny mahazatra. Noho izany, dia zava-dehibe ny mijery ny metriky toy ny voalaza etsy ambony. Ohatra, ny 5% ny mety ho vahaolana kely tsy misy daty dia mety ho mendrika ny hahazoana ny valiny 10x haingana kokoa - na mety tsy izany (ny toro-hevitra ara-pitsaboana raha oharina amin'ny chit-chat dia manana tombontsoa samihafa!). Ao amin'ny fanadihadiana taorian'ny 2024, dia hita fa ny ankamaroan'ny fangatahana ambony ho an'ny asa LLM mandritra ny fotoana lava dia miankina amin'ny endrika sasany amin'ny fametrahana ny fametrahana na ny fanamafisana ny fifantohana mba hanatanterahana amin'ny faharetan'ny fifantohana (Chen et al., 2024). Ny isan'ny fahombiazana lehibe dia tsy tapaka. Amin'ny teny tsotra: ny fametrahana fametrahana dia mampihena ny fahatarana, mampitombo ny fahatarana ary mampihena ny vidiny isaky ny fanontaniana amin'ny alalan'ny fanompoana fanontaniana vaovao haingana kokoa ary manakana ny asa fanadihadiana. Raha tsy misy ireo fanatsarana ireo, ny fanombanana ny LLM dia lavitra noho ny tanteraka. Mifandraisa amin'ny tranonkala Real-World Case Studies Ny fianarana tranga amin'ny tontolo tena izy Fantatsika rehetra fa ny caching dia tsy ho an'ny tombontsoa ara-tsiansa fotsiny, ary ireo endri-javatra ireo dia miteraka lanja amin'ny fampiharana. Indreto ny ohatra sasany amin'ny toe-javatra samihafa, mba hampisehoana ny fomba nanampy ny caching : Conversational AI (Chatbots / Assistants): Afa-tsy ny re-encoding ny tantara feno isaky ny andron'ny, multi-turn chat LLMs tsindrio ny fifanakalozan-kevitra teo aloha. Ohatra, izy ireo tsindrio ny mpampiasa voalohany fanontaniana sy ny mpiara-miasa valiny ka ny famoahana vaovao ihany no ampiasaina amin'ny fanontaniana taorian'ny. huggingface.co. Izany dia mamela ny rafitra toy ny ChatGPT mamaly haingana tsy mila manao ny matematika rehetra indray. Amin'ny fametrahana tsindrio, ny Anthropic's Claude 3 mamela ny mpamorona mametraka ny tontolo iainana, izay mampihena ny fahatarana amin'ny 79% sy ny vidiny amin'ny 90% amin'ny 100k token fangatahana. (Anth Code Completion and Assistance: GitHub Copilot sy TabNine dia mampiasa caching mba hanatsarana ny fanatanterahana code. Ny modely dia tsy maintsy mandrindra ny fifandraisana manontolo indray isaky ny nanindry ny fanalahidy, izay mahatonga azy io ho lava be. Ankoatra izany, dia mitahiry ny fampisehoana ny modely amin'ny prefiksina ao amin'ny cache mba handaminana ny marika voarakitra ihany. Izany dia antsoina hoe caching prefiks. Maro ny fangatahana famerenana miverina (toy ny Fibonacci), ka ny fametrahana amin'ny fangatahana dia manome anao ny fanontaniana mitovy avy hatrany. Izy io koa dia mandrindra ny fanontaniana mpandrindra mitovy amin'ny fivoriana mba hahafahany ampiasaina avy hatrany. Ao amin' Enterprise "Copilot" Assistants: Ny orinasa maro dia mampiasa mpiara-miasa AI ho an'ny anatiny - toy ny AI copilots izay manampy amin'ny fanangonana antontan-taratasy, mamorona taratasy mailaka, mamaly fanontaniana momba ny raharaham-barotra avy amin'ny angon-drakitra anatiny, sns. Ireo dia matetika mihazakazaka amin'ny fototry ny fahalalana voafaritra (firenena dokam-barotra, wikis, tatitra) Caching dia tena mendrika eto koa, amin'ny lafiny maro: azonao atao ny manangom-bidy ny fanangonana dokam-barotra anatiny mba hamerenana azy ireo haingana kokoa; azonao atao ny manangom-bava ny valinteny anatiny sasany (“hoana ahoana Multi-turn Tools/Agents: Ny Caching dia afaka mamela tsindry fohy ao amin'ny rafitra AI-agent sarotra (ohatra ny mpiasa izay manomana asa amin'ny alalan'ny antso LLM maromaro, ary mampiasa fitaovana). Amin'izao fotoana izao dia mieritreritra ny mpiasa izay mamaly fanontaniana amin'ny alàlan'ny fanadihadiana ny serivisy web ary mahazo vokatra ho ampiasaina ho toy ny fidirana ho an'ny LLM. Amin'ity tranga ity, raha manontany indray ny fanontaniana mitovy, ny mpiasa dia afaka mahazo ny valiny teo aloha avy amin'ny cache azy mivantana (fa tsy miverina indray ny fitaovana) na milaza fa mety hampiasa indray ny vokatra fikarohana (mampiasa fitaovana caching sy LLM Io dia tena marina indrindra amin'ny toe-javatra ny fikarohana izay afaka mahazo tombontsoa lehibe amin'ny fametrahana valin'ny LLM. Ohatra, Bing Chat dia manompo mpampiasa an-tapitrisany ary misy fangatahana marobe. Raha ny backend LLM ao amin'ny Bing (izay GPT-4) dia mitazona valiny amin'ny fanontaniana malaza ("Inona ny renivohitr'i X", "Ahoana no mahatonga ny pancakes"), dia afaka mamerina azy ireo avy hatrany fa tsy mamorona avy hatrany isaky ny fotoana. Raha ny marina, ny fikarohana tsy LLM ao amin'ny Bing dia efa mampiasa ny fametrahana valin'ny fanontaniana nandritra ny taona maro; miaraka amin'ny valin'ny LLM izay mitranga ankehitriny dia mahita ny endrika Amin'ny volana Aogositra 2024, Ny mpizara an'i Anthropic dia afaka mitahiry fifandraisana goavana sy tsy ilaina, toy ny boky (100.000 token). Ny fanoratana amin'ny cache dia mandoa 25% mihoatra isaky ny token fidirana, fa ny famakiana votoaty amin'ny cache dia mandoa 10% fotsiny amin'ny vidin'ny fototra. Ny antso voalohany dia mamonjy ny angon-drakitra; ny antso manaraka dia mampiasa ny ID fangatahana mba hahita azy ary handefa votoaty vaovao ihany. Ny mpanjifa dia nilaza fa ny valiny dia hatramin'ny efatra haingana kokoa (ny fahatarana niova avy amin'ny 11.5 segondra ka hatramin'ny 2.4 segondra) ary Ary ny vidin'ny fangatahana token 10,000 dia niakatra tamin'ny 86%. Ny mpiara-miasa amin'ny fifanakalozan-kevitra, ny mpiara-miasa amin'ny coding, ary ny fanontaniana momba ny antontan-taratasy lehibe dia fampiasana mahazatra, ary ny toe-javatra maharitra dia tsara indrindra ho an'ny fidirana amin'ny cache. Ny Anthropic dia nahatonga ny fidirana amin'ny cache amin'ny raharaham-barotra mahery vaika amin'ny alalan'ny fampitomboana ny vokatra miaraka amin'ny fanentanana ara-bola. Tsy mahagaga fa mpifaninana toy ny OpenAI sy Google dia manampy endri-javatra mitovy mba hahazoana tombony amin'ny vidiny sy ny fahatarana mitovy. Anthropic's Claude 3 added Prompt Caching Ny Antropiana cost of 100,000-token prompts went down by 90% Ny Antropiana Ny tranga hafa: Ny OpenAI dia tsy nampahafantatra momba izany amin'ny ankapobeny, fa azonao atao ny manontany tena raha ny mpandraharaha dia nanome lahatsoratra vitsivitsy sy / na nanome soratra vitsivitsy ao amin'ny fangatahana tsirairay, izay ampahany dia azo alaina amin'ny serivisy mba tsy mila mamerina indray ireo ohatra avy hatrany ny modely isaky ny fotoana. dia mitovy amin'ny fomba fiasan'ny Anthropic. ohatra: Raha mandefa ny 2000 token system prompt + Instruction mitovy amin'ny fangatahana API (izay ataon'ny maro), dia ny OpenAI dia mamerina ny modely tafiditra ao anatiny ary mifanaraka amin'ny famoahana ny fanontaniana. OpenAI's system messages and few-shot examples caching Amin'ny ankapobeny, ny ankamaroan'ny orinasa lehibe amin'ny AI dia mampiasa ny Caching LM amin'ny tontolo tena izy ireo. Raha ny OpenAI, Anthropic, Microsoft, Google sy Hugging Face dia efa niresaka na nahazo antontan-taratasy momba ny fomba fanao amin'ny fampianarana samihafa amin'ny fotoana iray, ny ankamaroan'izy ireo dia mizara ny fanapahan-kevitra mitovy: ny Caching dia manome fiantraikany lehibe amin'ny fampisehoana, fa tena zava-dehibe ny fitantanana ny fahazavan'ny cache raha tsy manohintohina ny fahatsiarovana sy ny fahafaha-mahazatra. Ny tantara momba ny "namoaka cache ary nahita fihenana 30% amin'ny fampiasana ny GPU raha mitazona ny Q caching is the ticket to turbocharging LLM applications. Challenges and Limitations Ny fanamby sy ny fetra Mazava ho azy, ny fametrahana tsindry dia tsy ny baolina volafotsy. Mazava ho azy fa tsy mahazatra loatra izany - raha mora izany, ny olona rehetra dia hametraka ny zava-drehetra amin'ny fametrahana tsindry! Misy fanamby maro sy fetra ao amin'ny fampiharana izay tsy maintsy miasa amin'ny injeniera rehefa mampiasa ny LM: Cache Invalidation (Stale Data): Rehefa manova ny hevitry ny valin'ny valiny ny angon-drakitra fototra na ny fanavaozana LLM, ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny valin'ny val Mifanohitra amin'ny fifanakalozan-kevitra: Rehefa miova ny fifanakalozan-kevitra taorian'izay ao amin'ny fifanakalozan-kevitra maro, ny valin'ny fanadihadiana dia mety ho tsy hita. Ohatra, raha voatahiry valiny amin'ny fanontaniana A ianao ary avy eo manampy fampahalalana bebe kokoa ny mpampiasa, dia mety tsy afaka mampiasa ny valin'ny valin'ny valin'ny fifanakalozan-kevitra indray ianao. Mba hisorohana izany dia matetika ny fametrahana ny ID amin'ny fifanakalozan-kevitra feno, fa tsy ny fangatahana farany indrindra ihany, na ny fametrahana valin'ny fifanakalozan-kevitra fohy kokoa fotsiny. Ankoatra ny fametrahana valin'ny valin'ny fifanakalozan-kevitra manont Mifandraisa amin'ny fahasamihafana sy ny tsy fahampian'ny: Ny LLM matetika dia miasa amin'ny fidirana samihafa, noho izany dia tsy miasa tsara ny caches naïve. Ohatra, ny fampiharana amin'ny taranaka kreatify izay mangataka anao ny "manoratra tononkalo momba ny X amin'ny fomba Y miaraka amin'ny twist Z" dia tsy mahazo vokatra na oviana na oviana raha tsy misy caching semantic. Ny caches semantic dia miezaka ny manamaivana amin'ny fanamafisana ny fidirana, fa miasa fotsiny rehefa mitovy amin'ny fanontaniana. rohan-paul.com. Ny tombontsoa amin'ny caching dia miankina amin'ny fahaverezan'ny asa. Ny KV caches dia mahas Memory Footprint: Ny Caches dia mampiasa fahatsiarovana be dia be, na RAM na GPU, satria ny KV Caches ho an'ny toe-javatra lava dia mety ho lehibe toy ny modely. huggingface.co. Response Caches koa dia mety ho be loatra, izay midika fa tsy maintsy mivoaka ho amin'ny CPU na diska. Izany dia midika fa tsy maintsy misafidy eo amin'ny fahafahana sy ny endriky ny modely na ny batch throughput. Ohatra, raha manolo-tena 20 GB amin'ny 40 GB GPU ho an'ny cache, dia tsy hisy toerana be loatra ho an'ny modely lehibe kokoa na hanatanterahana fangatahana bebe kokoa. Mba hiatrehana ity olana ity, ny mpikaroka na dia manamafy KV tensors (Shutova Fahafatesana sy Engineering Overhead: Ny Caching dia mahatonga ny zavatra haingana kokoa, fa mahatonga ny zavatra ho sarotra kokoa koa. Mila mametraka fomba azo antoka amin'ny fitaovam-pandeha, tsy misy fiantraikany ambany ianao mba hamonjy, mijery, manatsara ary manafoana ny entana, izay matetika midika fa mampiasa fivarotana ivelany toy ny Redis ho an'ny fametrahana caches, izay mety tsy mahomby. Mba hahazoana antoka fa mahatsapa ny zavatra, dia mila manao fanatanjahan-tena tsara ianao, toy ny fampiasana antso tsy manakana async na rafitra tsy misy fianarana. Ny debugging koa dia mahatsiravina satria mety ho avy amin'ny angon-drakitra taloha na naratra ny angon-dr Ny fiarovana sy ny fiainana manokana: Raha tsy voafehy araka ny tokony ho izy, ny fametrahana ny fangatahana sy ny vokatra mahatsiravina dia afaka mamela ny angon-drakitra manokana ho an'ny daholobe. Ao amin'ny rafitra maro mpandraharaha, dia manakana foana ny fidirana amin'ny cache amin'ny fangatahana izay efa nahazo alalana sy ny fidirana amin'ny fidirana amin'ny mpampiasa iray na session. Ny cache koa dia mitarika ny loza amin'ny fanafihana side-channel, izay ahafahan'ny hackers mahita ny fangatahan'ny olona hafa. Mba hampihenana ny loza, na hampihenana ny votoatin'ny cache mahatsiravina. Na izany aza, ny encryption dia afaka mahatonga ny fif Cache Coherence in Distributed Systems: Distributed caching dia mamela anao hamorona kopia ny angon-drakitra, saingy manana olana amin'ny fifanarahana. Ohatra, ny fanavaozana na ny tsy fahampian'ny ao amin'ny tranga iray dia tsy hita foana amin'ny hafa, ary rehefa tsy mahita ny famandrihana roa amin'ny fotoana mitovy izy ireo dia mety tsy maintsy mamerina sy mihazakazaka mba hanoratra ny entana mitovy. Mba hanakana ny famandrihana ianao dia mila asa atomika na fanakanana. Ohatra, ny baiko atomika amin'ny Redis dia manohana izany. Medium. Mba hanorina cache nomerika, dia mila misafidy protocols matanjaka ianao na manaiky ny fifanarahana mety amin'ny famakiana sy soratra Na izany aza, ny Izany dia ho an'ny tanjona maro. Noho izany dia tsy mahagaga goavana fa ny ankamaroan'ny orinasa manerana ny orinasa LLM serivisy dia ahitana ny fametrahana ny endrika iray na ny hafa, ary ny fahasamihafana dia ny olona rehetra mametraka ity asa famolavolana ity mba hihaona amin'ny trangan-javatra. Ampio ny loza: Cache zavatra izay tsy mahatsiravina (na miova kely fotsiny) + mampiasa karazana fandikan-dalàna fanesorana + Jereo ny fampiasana ny hitondra / ram ary manana tranga (raha misy zavatra funky mitranga amin'ny cache, ny rafitra dia miasa, dia ho lenta fotsiny). Manomboka mahita fitaovana tsara kokoa sy library mba hiasa amin'ny ankamaroan'izany (ohatra overall performance gains of caching generally significantly exceed Ny LLM dia tena mahery vaika, fa tsy maimaim-poana araka izay efa hitantsika ary manampy ny loharano fanampiny amin'ny LLMs - ny cache. Ny mpahay siansa LLM ankehitriny dia mahalala ny voalohany! Fa amin'ny famolavolana tsara, ny fifanarahana dia azo atao, ary mety hahatratra tombontsoa goavana. Misy zavatra roa ihany no sarotra amin'ny informatika: ny tsy fahampian'ny cache sy ny anaran'ny zavatra Future Directions and Research Opportunities Ny fivoaran'ny hoavy sy ny fahafahana fikarohana Ny sehatry ny Cache LLM dia tena mavitrika, miaraka amin'ny lalana mahaliana maro izay mpikaroka sy injeniera no mianatra mba hanatsarana bebe kokoa ny fahaiza-manao: Adaptive sy Intelligent Caching: Machine Learning dia afaka manampy amin'ny fametrahana sy ny fanesorana politika. Ohatra, ny mpiara-miasa RL dia miezaka hahazo ny tombontsoa maharitra indrindra (hitrisa × marina). Afaka mialoha ny angon-drakitra izay heveriny fa mila azy ireo, toy ny OS alohan'ny famakiana, ny famakiana vokatra malaza nandritra ny fotoana be dia be, ary manala ny entana izay tsy mendrika be dia be. Ny fanatanterahana fanadihadiana dia mitranga rehefa mihazakazaka ary mamonjy angon-drakitra izay mety hitranga. Ny meta-learning mifototra amin'ny LLM dia afaka mahatakatra izay fandinihana eo anelanelanelan'ny dia lafo ary mitahiry azy ireo ao amin'ny Cache Compression sy Efficient Storage: Quantization sy ny fanapahan-kevitra dia fomba roa izay mampiasa ny cache amin'ny fihenjanana. AQUA-KV dia manapaka ny KV tensors amin'ny bit vitsivitsy fotsiny miaraka amin'ny fahavoazana kely amin'ny kalitao (Shutova et al., 2025). Pruning, toy ny fihenjanana ny stopword KVs, dia manala ny fidirana izay tsy ilaina. Amin'ny toe-javatra lava, ny Anchor Attention dia mitazona fotsiny ny "anchor" token KVs ary manapaka ny sisa (Sun et al., 2024). Ny cache "lossy" fanandramana dia mandray ny vektor izay mitovy ary mampifandray azy ireo ho iray. Ny fahatsiarovana avo lenta Cross-Modal sy Cross-Domain Caching: Ny LLM Multimodal ary na dia ny fandikan-teny lahatsary aza dia mila fametrahana manokana. Ohatra, ny fitehirizana sary fitehirizana dia mamela anao hanala ny famerenana sary efa hitanao, ary ny fametrahana tranonkala voasoratra dia mahatonga ny mpanampy feo miasa haingana kokoa. Ho an'ny karazana angon-drakitra tsirairay, mila sehatra samihafa ianao. Ohatra, ny fametrahana hashes ho an'ny sary sy ny tsipika audio ho an'ny feo. Ny fitehirizana federated manerana ny fitaovana dia afaka mizara vokatra mahazatra manokana, izay mifanaraka amin'ny fiarovana ny fiainana manokana amin'ny fianarana federated. Toy ny tranonkala Ny Caching amin'ny fampiofanana sy ny Fine-Tuning: Ny Caching dia azo ampiasaina koa amin'ny fampiofanana sy ny Fine-Tuning LLMs, fa tsy ho an'ny fanapahan-kevitra fotsiny. Mba hisorohana ny diska I/O, ny fandefasana lehibe efa mitazona daty tokenized ao amin'ny fahatsiarovana. Ny Cache amin'ny fampiofanana dia mitahiry ny toe-javatra vahiny amin'ny fomba vaovao kokoa. Ohatra, ny modely multi-task dia afaka mampiasa ny fampisehoana ny andian-dahatsoratra eo amin'ny asa, fa tsy mandefa azy indray. Ny fitehirizana ny fiantraikany na ny gradients izay matetika ampiasaina ao amin'ny cache ihany koa dia manapaka ny solosaina tsy ilaina. Cache Governance sy Quality Control: Ny fiovana manan-danja hafa izay tsy maintsy hitranga amin'ny hoavy dia ny fanaraha-maso matetika ny valin'ny cache mba hitazonana ny traikefa tsara ny mpampiasa. Raha ny valin'ny cache amin'ny LLM dia tsy nahavita ny filalaovana, ny valin'ny mpampiasa, toy ny famerenana indray mandeha, dia mety midika fa ilaina ny hanova na hanesorana. Izany dia hamorona valin'ny valin'ny valin'ny valin'ny cache izay manohy hanatsarana ny cache ary manova azy ho amin'ny fototry ny fahalalana velona. Ny asa an-tsoratra dia afaka mamerina sy mamerina ny valin'ny cache ambony rehefa mampiasa valin'ny valin'ny val Standardization sy Cache API Layers: Tsy mahagaga antsika raha mahita layers voajanahary ao amin'ny Machine Learning Stack izay mifantoka manokana amin'ny caching. Amin'izao fotoana izao, ny rafitra na fampiharana tsirairay dia tsy maintsy mamorona ny lohahevitra cache manokana. Mety azontsika atao, fa afaka mieritreritra ny sasany "Caching API" amin'ny karazana izay manolotra ny modely mpamatsy na manompo rafitra ary mamela ny mpamorona hampifandray ny lohahevitra manokana (ho toy ny cache plugins amin'ny tranonkala). Ohatra, ny OpenAI na ny mpamatsy hafa dia afaka manome API fitsipika mba hampifandray sy hanala ny fahombiazan'ny cache, mety mamaritra ny ambaratonga ny fanafihana amin'ny Tsindrio ny tsindrio Noho izany, toa ny hoavin'ny Caching LM dia tsara tarehy ary feno vahaolana vaovao. Amin'ny ankapobeny, ny fiantraikany dia mazava: rehefa mampiasa modely lehibe kokoa ho an'ny mpampiasa lehibe kokoa isika, ny fandaharam-potoana Caching dia toerana mora ho an'ny fanangonana kely. Ny dingana manaraka dia hanatsara ny Caching (mianatra amin'ny fampianarana), hampihenana ny lanjany (ny fanamafisana sy ny fitantanana tsara kokoa ao amin'ny fahatsiarovana), ary hahatonga azy io ho mahazatra kokoa amin'ny fomba samihafa sy amin'ny fampiofanana / fanadihadiana. * Noho izany dia fifaninanana ny fitaovam-piadiana, tsy ny hanangana modely lehibe kokoa fa ny manompo azy ireo Hatramin'io fotoana io, angamba ireo izay manana ny rafitra cache mahery vaika indrindra dia mety hahazo ny lohatenin'ny manolotra ny tolotra AI haingana indrindra sy amin'ny farany kely indrindra. Mifototra amin'ny.co Ny fanehoan-kevitra Antropiana. (2024 ny 14 Aogositra) Sary avy amin'ny Anthropic News: Mifandray haingana amin'i Claude izy ireo. Ao amin'ny anthropic.com Ao amin'ny anthropic.com Hinton, G., Vinyals, O., & Dean, J. ny taona 2015. Ny NIPS Deep Learning sy ny Representation Learning Workshops. Ny fampidirana ny fahalalana ao amin'ny tambajotra neuronal. Lewis, P. sy ny mpiara-miasa (2020) Ny fandrosoana amin'ny rafitra momba ny fampahalalam-baovao neuronal. Ny fampiroboroboana ny fampiroboroboana ny fampiroboroboana ny fahalalana ho an'ny NLP. Paul, R. (2025 ny Aprily 20). Ny bilaogin'ny Rohan's Bytes. Caching Strategies in LLM Services ho an'ny fampiofanana sy ny fanapahan-kevitra. Mifandraisa amin'ny tranonkala Mifandraisa amin'ny tranonkala Pol, S. (2025 ny 6 Aprily) Ny blaogin'ny Medium Ny fanamafisana ny Transformer Inference amin'ny KV Caching. Mifandraisa amin'ny sehatry ny fampahalalam-baovao sy ny fampahalalam-baovao amin'ny sehatry ny fampahalalam-baovao. Mifandraisa amin'ny sehatry ny fampahalalam-baovao sy ny fampahalalam-baovao amin'ny sehatry ny fampahalalam-baovao. Ny fianakaviako dia ny N. (2019). arXiv:1911.02150 amin'izao fotoana izao . Fast Transformer Decoding: One Write-Head dia zavatra rehetra ilainao. Sary avy amin'ny archiv.org Shutova, A., Malinovskii, V., Egiazarian, V., et al. (2025). arXiv:2501.19392 ny faharetan'ny . Cache Me If You Must: Adaptive Key-Value Quantization ho an'ny modely fiteny lehibe. Sary avy amin'ny archiv.org Yazdani Aminabadi, R., Rajbhandari, S., Zhang, M., et al. (2022). arXiv:2207.00032 amin'izao fotoana izao . DeepSpeed Inference: Manome fahafahana amin'ny inference mahomby amin'ny modely Transformers amin'ny habetsaky ny tsy fantatra. Sary avy amin'ny archiv.org Kwon, W., Li, Z., Zhuang, S., et al. (2023). Ny fandaharam-potoana momba ny SOSP 2023 . Ny fitantanana ny fahatsiarovana mahomby ho an'ny fiteny lehibe manompo amin'ny PagedAttention (vLLM). Mifandraisa amin'ny bilaogy Mifandraisa amin'ny bilaogy Hugging Face Transformers Team amin'ny 2023 Mifandray amin'ny bilaogin'ny Hugging Face Manatsara ny LLM ao amin'ny famokarana. Mifototra amin'ny.co Mifototra amin'ny.co Lorello, S., McCormick, R. sy ny Partee, S. (2023). Ny bilaogin'ny NVIDIA Technical. Ahoana no fomba hananganana Cache Distributed Inference miaraka amin'ny NVIDIA Triton sy Redis. (Ny fanehoan-kevitra fanampiny ho an'ny fahamarinana ara-tsiansa sy ny feno dia azo ampidirina araka izay ilaina mba hifanaraka amin'ny famantarana rehetra etsy ambony.)