LMキャッシュによるLLMパフォーマンスの最適化:アーキテクチャ、戦略、現実世界のアプリケーション

Abstract 抽象 この記事では、LM キャッシュがどのように機能するか、そしてキャッシュ マシンが大言語モデル(LLM)の展開の効率性、スケーラビリティ、およびコスト削減をどのように向上させるかについての詳細な技術研究を提供します。私たちは、異なる種類のキャッシュアーキテクチャとメカニズムを研究し、どのように新しいAI インフラストラクチャと統合され、パフォーマンスを評価することができます。 Introduction 導入 何百時間も同じ答えを常に提供しなければならないAIアシスタントを思い浮かべてください! これは結果ではありませんが、文字通り毎回、すべての答えをゼロから再生成しなければなりませんか?LLM(GPT4、PaLMなど)は顧客サポートからコード生成まですべてを変革しています。 生産においては、大規模なモデルへのすべてのクエリは数秒と相当なGPUコンピューティングにかかる可能性があります。モデルサイズとユーザーの期待が増加するにつれて、迅速な推測の必要性はこれまで以上に重要になります。 deployment at scale is stymied by latency requirements, computational cost and memory footprint これらすべてを考慮に入れて、LMキャッシュは、すでに計算された結果をキャッシュして再利用することによって、これらの問題に対する非常にスマートな答えとして現れます。キャッシュは、基本的に私たちのシステムがこれまで見たすべてを記憶することを可能にするものです。コンセプトの一般的なアイデアはコンピュータサイエンスでは新しいものではありませんが、LLM自体で大幅に大きなパスポートおよび反応時間の大幅な減少のために潜在的な突破を起こしました。モデルの蒸留(より小さい、より速いモデルを作成する)、リサーチ増加生産(外部の知識ベースにバルティング)、およびセマンティックな検索のためのベクトルデータベースのように、LMキャッシュは他の最適化技術を増加させます。これらの方法と連 Foundations of LM Cache LM Cacheの基本情報 The Concept of それは単に再利用コンピューティングであり、過剰な作業をしないためです。LLM推測の場合、キャッシュは異なるレベルで存在する可能性があります。 LM cache Cache the entire output to a given input prompt. If our model receives the same prompt again, it returns the cached output without running the model. This is effectively memorizing the model's response to entire queries, at the highest-level cache. It is particularly powerful for tasks that involve the reapplication of the same query many times (e.g. Q&A model with a single question asked repeatedly) This could be implemented, for example (sample implementation in the functions promptify and getPossibleResults) as a simple dictionary that maps prompts to possible results e.g. Prompt-level cache: Pseudocode: prompt-level cache integration prompt_cache = {} # A dictionary to store prompt->response mappings def generate_response(prompt): if prompt in prompt_cache: return prompt_cache[prompt] # return cached answer result = model.generate(prompt) # expensive LLM call prompt_cache[prompt] = result # store for next time return result We cache intermediate results for each token in a sequence instead of caching whole responses. Autoregressive LLMs generate text one token after the other. This is because without caching, the entire previous context will have to generated again from start for every new token to be created. Token level caching is the process of stores intermediate state of model tokens like the activations or hidden states in a way that, when producing next token, the model can skip recomputing what it already did for prior tokens. This is highly connected to the in transformer models, more on this below. Token specific caching: key–value cache LLMs based on transformers use self-attention, which means that each token pays attention to all of the ones that came before it. Frameworks cache the "key" and "value" projections for previous tokens and only add new ones to avoid having to compute attention over the whole sequence again. . This KV cache speeds up autoregressive decoding, which is an important GPT-style optimization. It cuts the work per step from O(n²) to O(n) without changing the outputs (Yazdani Aminabadi et al., 2022; Pol, 2025) arxiv.org. By default, libraries like Hugging Face Transformers do this with during generation, which means that only new tokens are processed. A simple pseudocode loop shows how grows with each iteration. KV cache (Key-Value cache) : neptune.ai use_cache=True past_kv Pseudocode: using KV cache in an autoregressive decoder loop past_kv = None for token in prompt_tokens: output, past_kv = model.decode_next(token, past_key_values=past_kv) # past_kv now contains keys/values for all tokens up to current one The above loop accumulates the key-value pairs to be carried forward as such as that model. Then can use the cached context and need not recompute it. The KV caching makes the quadratic slowdown now avoidable, and transforming models to work with this form of storage is crucial for the continued efficiency of transformer inference, particularly if GPT-4 like models are able to generate much longer continuations far more efficiently. past_kv model.decode_next LLM follows the same procedure with all text input as firstly it converts tokens into vector embeddings. Calculating these embeddings (especially a large contextual embedding model) can cost nearly as much as running the full LLM itself, so why do it again for some common tokens/phrases? Embedding Cache — a cache where the vector representations of common inputs are stored. (Paul, 2025) . For example, we can cache those embeddings instead of computing them from scratch if application encodes the same sentences or document chunks many times (in a retrieval-augmented setup) This will save time and guide the style of such representations. . Embedding caching is a natural fit for retrieval pipelines and semantic search, as it caches the “input features” before they hit the big model. Embedding cache: rohan-paul.com rohan-paul.com Multi-Query Attention (MQA) is a type of Transformer attention in which all heads use the same keys and values as input to their attention function (Shazeer, 2019) . Typically, with 12 or 24 heads, each head has its own keys and values. This means that the cache stores 12x or 24x vectors for each token. Instead, MQA caches just one set, and heads keep their query projections while looking up a shared key-value store. In one benchmark (Shazeer, 2019) ( ; ), this cut memory and bandwidth overhead by a huge amount, from about 15 GB to less than 400 MB on a 16k-token context. There is only one shared cache instead of 100% memory overhead per head. Multi-query attention caching: arxiv.org arxiv.org huggingface.co Noam Shazeer first suggested MQA (and its grouped-query versions) in One Write-Head is all we Need ( ). It is used in PaLM, Falcon, MPT, and BLOOM to make longer contexts work better. It also makes inference faster because it needs to fetch less data from memory, which means it can do attention computations faster ( ). In theory, MQA is a smart way to cache data for the architecture, so that the number of trainable parameters doesn't go up as the number of heads or the length of the context grows. huggingface.co huggingface.co キャッシュ=True かつてのkv かつてのkv トップ > デコード > 次 上記のすべてのキャッシュレベルは、単純な原則を用いる。 自己注意のメカニズムのために、トランスフォーマーベースのLLMの各新しいトークンの計算は、以前のトークンに頻繁に依存します。プロンプトレベルであろうとモデルの深さであろうと、これらの以前の計算の結果をキャッシュすることは、後の操作が最終結果に直接飛び込むことを可能にします。 system shouldn't re-compute what you have already done LM Cache Architectures and Strategies LM Cache アーキテクチャと戦略 すべてのワークロードがLLMシステムで同じではありませんので、多くのアーキテクチャと戦略がエンジニアによって設計されており、キャッシュヒットを最大化し、オーバーヘッドを減らすことができます。 Static vs. Dynamic Caches: Static Cachesは、予測可能なワークロードに最適な入力/出力カップルを備えています。これらは、FAQやテストケースの応答などの一般的な質問や固定プロンプト出力のためのキャッシュソリューションです。反対に、Dynamic Cachesは、システムを実行するように充填し、トラフィックパターンを適合するように変更し、クエリ配布を変更し、使用ピークを起こします。彼らは実際には、ヒット率を向上させるためにユーザートラフィックから「学習」します。現実生活では、システムは、現在の需要に基づいて消去ポリシーを使用してダイナミックキャッシュを制限し、自動的に古いアイテムを取り除きます。ダイナミックキャッシュ Distributed and Federated Caching: In large deployments with many LLM instances on different servers or pods, per-machine caches don't work for cross-server reuse. For example, if Server A processes and caches a query, Server B has to recalculate the answers even though it can't access Server A. Distributed cache fix this by sharing entries through an external store, like Redis. NVIDIA's Triton Inference Server added distributed caching in 2023, although network hopes only added about 8% more latency than local in-process caches. (Lorello et al., 2023; Paul, 2025) rohanpaul.com. Then, servers cache once and use the results again, which cuts down on unnecessary work spread and makes the system much more scal レイヤーサイドキャッシングおよびGPU/TPUメモリ最適化:キャッシングは出力に限定されず、特定のLLMレイヤーでも使用できます。キャッシングヒットで高価な中間レイヤーを再度計算する必要がないようにするには、例えば、特定の頻繁な入力のためのそのレイヤーの出力をキャッシングすることもできます。さらに、最も高価なアクティベーションのみをキャッシングするか、ハードウェア加速器(GPU/TPU)のキャッシング用のオンチップメモリを使用することも有意義かもしれません。メモリが貴重である場合、メモリキャッシングのためのキャッシングを使用します。グレディエントチェックポイントリングのようなテクニックのインフェンスアナログは、メモリ キャッシュ グラナリリティとキー:キャッシュ インデックスの選択はスマートな動きです。完全なプロンプト ストレージの正確なマッチ キーは簡単に使用できますが、それらは簡単に破壊します - すべての変更はキャッシュを省略します。より多くのヒットを得るために、システムは組み込みベースのセマンティック ハッシュを使用して、プロンプトを同じように扱いますが、文法が異なっている場合でも、または重複するセグメントに匹敵するプレフィックス/チャンク キーです。安定したプレフィックスを処理した後、「プレフィックス キャッシュ」はモデルの KV 状態のスナップショットを取ります。このようにして、そのプレフィックスから始まる新しいプロンプトは、その状態に迅速に移動することができます。オープン キャッシュサイズと追放ポリシー:キャッシュメモリが限られているため、LLMはLRUやLFUのようなポリシーを使用して、どのエントリを保持し、どのエントリを追放するかを決定します。これは新しいデータのためのスペースを解放します。年齢や頻度に基づいてアイテムを追放することに加えて、LLMキャッシュはまた、古いアイテムを削除することによって関連性の崩壊とモデルまたはデータのアップデートに対処する必要があります。2024年、研究は、学習駆動の追放が働くことを示しました:低い将来の価値を持つキーを見つけるために訓練されたキャッシュ(Xiong et al., 2024)。これらの適応性の高い「スマート」追放システムは、LLMワークロードのために作られているので、 要するに、LMキャッシュの構築は微妙なバランスをとる:メモリ消費と変動性などのオーバーヘッドを最小限に抑えながらヒット率を最大限にしたい。これが、これらのマシン翻訳システムをより困難に働かねばならないことを意味するなら、私のゲストになろう! これらの戦略(静的対ダイナミック、分散型アーキテクチャー、クライアントタイムでキャッシュにヒットした用語を製造することによってキャッシュを引っ張る)は、すべて、キャッシュでより多くのことを行うのに役立つかもしれないトリックです。キャッシュ関連の落とし穴を乗り越えずに。さまざまなアプリケーションがこれらの方法を組み合わせ、適用することができます 例えば、生産システムはアプリケーション アーキテクチャ グラフ LM Cache in a LLM Inference Pipeline 以下は、典型的な LLM 推論フロー内の LM Cache の統合を示す参照アーキテクチャです。 Workflow Diagram Comparing Cached vs. Non-Cached Inference Requests (Cached vs. Non-Cached インファレンス リクエストの比較) 利点をさらに理解するには、キャッシュされたおよび非キャッシュされた推測リクエストのワークフローの比較を参照してください。 現代AIインフラストラクチャとの統合 Caching LM は単独では存在しないが、AI におけるより広範なアプリケーションエコシステムから生じるだろう. Here we look at how caching fits into a variety of infrastructures and frameworks: The good news is that KV caching is integrated into the majority of contemporary AI frameworks. To avoid redundant computation, Hugging Face Transformers, for example, allows you to set (the default in generate()) to automatically return and reuse previous key/value states. KV caching is used for incremental decoding in Microsoft's DeepSpeed-Inference, which is crucial for scaling large autoregressive models. Kernels are tuned appropriately. (Yazdani Aminabadi et al., 2022) . Cache decoding is also accelerated internally by NVIDIA's TensorRT and ONNX Runtime. In order to maximize speed, model architectures now assume caching in addition to software stacks. UC Berkeley's vLLM presents PagedAttention to manage GPU KV cache, paging it similarly to virtual memory and sharing identical prompt prefixes. (Kwon et al., 2023) . FlashAttention and xFormers optimize attention only for new tokens. This block-based approach reduces memory fragmentation, than standard Transformers. . Additionally, you can anticipate even wider caching support across popular frameworks as these research advances develop. Framework Support (Hugging Face, DeepSpeed, etc.): use_cache=True huggingface.co. arxiv.org blog.vllm.ai lowers overhead to under 4%, and delivers up to 24× higher throughput blog.vllm.ai Caching can greatly improve performance in retrieval-assisted LLM pipelines, such as question answering over a vector database. You can cache retrieved passages, final answers, or embeddings for semantically similar queries rather than using similarity search to retrieve new documents and calling the LLM each time. For example, the 2025 Proximity layer by Malladi et al. reduces retrieval latency by up to 59% with negligible accuracy loss by reusing passages for near-duplicate queries. . Caching retrieval results reduces the load on vector engines and scales systems because many user queries overlap (Chaidez, 2025). Caching query outputs is advised by providers such as Redis and Pinecone. In the end, caching saves duplicate embedding or retrieval effort for frequently asked or comparable queries. Retrieval-Augmented Systems (RAG and Vector DBs): rohan-paul.com These are addressed by caching in the case of serverless LLM deployments (a.k.a. AWS Lambda) and edge scenarios (on-device or in-browser LLM inference) that need to mitigate expensive cold-starts and tight resource limits. For serverless setups—in which models do not persist between invocations—an external store (like Redis or DynamoDB) enables the completion of each function call to check previous outcomes, so that redundant work can be skipped. There is potential to cache recent inferences or embeddings (e.g., user names, common commands ) on things like smartphones or small IoT type edge devices, to reduce latency and save battery. While limited memory and privacy will be a consideration, optimized should start to appear soon for ultra-efficient edge inference. Serverless and Edge Deployments: compressed caches Production-scale LLMs exceed single-GPU or machine capacity, so distributed inference requires caching. Typically, each model shard caches the key/value states for tokens it processes. When a new token arrives, parallel shards coordinate to fetch and update their cached states, avoiding redundant recomputation and memory overhead. Libraries like DeepSpeed and FasterTransformer implement this: with pipeline parallelism, each stage caches its outputs to avoid recomputing all layers per token. Tensor parallelism shards KV , to synchronize new keys/values and maintain consistency across devices. Caching and Model Parallelism: caches across GPUs using cross-GPU protocols Distributed KV caching by limiting work to new computations. One whitepaper noted that without caching, shipping the full context for each inference during distributed execution incurs prohibitive network hops. Caching keeps context local, making large-model inference across multiple machines practical. dramatically reduces inter-node communication and idle time キャッシュ=True 要約すると、現代のAIのバックはますます「キャッシュアウト」である。高レベルのシステムは、あなたのために機械を管理するライブラリから、リクエストとインフラストラクチャでキャッシュを共有するシステムアーキテクチャにこれを内部化し始めています。キャッシュは、ほとんどのLLMサービスが使用するものですが、これはAIの大手プレイヤー(OpenAI、Google、Microsoftなど)が話し、またはそれぞれのLLMオファーで行っていることです。いくつかの特典は、OpenAIのChatGPT(公的にドキュメンタリーされていないが、このイベントは特に説明されています)のようによく知られています。大規模な会話コンテキストキャッシュを使用する可能性があります。AnthropicのClaudeのチーム(次に登場する...)は、 Performance Metrics and Evaluation パフォーマンスメトリックと評価 確かに、理論的にはキャッシングは驚くほどに聞こえるかもしれませんが、どのようにそれを測定できますか? LMキャッシングの効果を評価するのに役立つ一般的なパフォーマンスメトリクスはほとんどありません。 より低い遅延:より少ない遅延:主な利点は遅延である、答えを得るのにかかる時間である。キャッシュはパフォーマンス曲線を変更します:プリミッドキャッシュは一貫してあなたに高いパフォーマンスと低い遅延を提供します。我々は、キャッシュとキャッシュなしでリクエストを行うのにかかる時間を調べることによりこれを行う。質問に答えるのに通常2秒かかるチャットボットは、キャッシュに到達する場合、0.2秒で戻ります。実際のスピードアップはヒット率に依存します。例えば、ヒットの80%が1000倍速い場合、全体の遅延はかなり良いでしょう。チームはしばしば、キャッシュとともにp50とp95の遅延について話します。キャッシュすることにより、アントロ Throughput Improvement: キャッシングで、トランスポート(RPS)またはトークン/秒(TPS)のリクエストは屋根を通り抜けることができます。これは、キャッシングは、同じ計算を繰り返し繰り返す必要がないことによって、コンピュータを節約するためです。NVIDIA TritonのDenseNetベンチマークは80から329inf/sec(約4×)に達し、より軽いモデルは応答キャッシングで約20%の利益を得ました。 rohan-paul.com. LLM サービスに関しては、vLLM の PagedAttention は、よりスマートな KV キャッシュ管理を使用して、グループリクエストをよりよく処理することができ、Hugging Face Transformers より 24 倍のリクエストに対 計算/コストの節約:これはキャッシュのドルとセントの結果です。キャッシュはまた、余分な計算を節約するので、実際には金銭であるFLOPを節約します(例えば、GPU時間またはAPI呼び出しで支払う場合)。このための共通のメトリクスはGPUの使用量であり、さらには総コンピューティング時間が節約されます。例えば、Anthropicは、より長い会話で、スンプトキャッシュはトークンの消費量(したがってコスト)を90%(Anthropic, 2024)(Anthropic.com)減らすことができると主張しました。これはまた、価格スケジュールに反映されました - キャッシュされたトークンの使用は、スケジュールからそれらを生成するよりもオーダーサイズのコ Hit Rate and Miss Penalty: These are cache-specific metrics. Hit rate: The percentage of requests (or tokens) that were fulfilled by the cache Higher hit rates means better performance gains in General. These are useful to report, such as “our system had a 60% cache hit rate on prompts in prod (X actually X vs Y without cache). The miss penalty is how much slower a cache miss vs hit. 言い換えれば、より良いパフォーマンスの増加を意味します. これらは、一般的に、報告するのに役立ちます(例えば、セマンティック検索のための埋め込みを計算する、または分散されたキャッシュをチェックするための余分なネットワークホップ) - ミスがまだフル実行モデルとこのオーバーヘッドを加えて、それは考えるべき メモリおよびオーバーヘッド・トレード・オフ:キャッシュはモデル出力または中間状態を保持し、より多くのGPU RAMを使用します。長い文脈では、KVキャッシュは直線で成長します。例えば、405Bモデルの16kトークンのキャッシュは、約15GB(モデルのサイズの約半分)を使用することができます。 GitHub は「メモリオーバーヘッドを追加トークンあたり」または「キャッシュサイズ比率」のようなメトリクスを使用して、トレード・オフを把握します。マルチクエイジ・オープンなどのテクニックを使用すると、数十ギガバイトから数百メガバイトまでキャッシュをカットできます。これは16kセクションのための97%の削減で、正確性の低下です 正確性/品質の影響: モデルの出力は、キャッシュのために変更されない(潜在的にわずかに遅延した結果を提供する場合を除く)。 しかし、特定のキャッシュモデル(すなわち、近似またはセマンティックである)では、応答は、新しいクエリから完璧に調和されない可能性があります。 したがって、キャッシュが品質の損失を引き起こすかどうかを見ることができます。 具体的には、私たちが新しいクエリにセマンティックに関連するクエリをキャッシュしている場合、そして新しいクエリの答えはまだ正確でなければなりませんので、正確性または関連性のスコアとして検討することができます。 学術界では、その品質の測定値はしばしば「ヒット率」と呼ばれています―すなわち、キャ ベースラインとの比較: 研究者は通常、キャッシュアップモデルをベースラインモデルと比較し、キャッシュアップを測定するためにキャッシュアップをしません。 また、さまざまなキャッシュ方法の比較も議論する場合があります。 たとえば、正確なマッチング対埋め込みベースのキャッシュ vs. クエリのデータセット内のキャッシュなしで、そのための遅延と正確さで。 vLLM vs. vanilla HFサーバ Throughput & Memory. これらの比較研究は、指のルールとしてキャッシュが良いアイデアであるという直感を確認するための詳細を計算します。 例の結果は、キャッシュがキャッシュのための追加GB(ギガビット)のコストで、非キャッシュベースラインのための2×および40%の遅延 私たちがLMキャッシングを評価する場合、あなたがコンピュータで節約することができますが、より多くのメモリのコストで、より低い最後の遅延、しかし、時折滞在した答えに対処する必要がある場合を重ねることが重要です したがって、上記のようなメトリックを一緒に見ることは重要です たとえば、答えが少し時代遅れである5%のリスクは、あなたの結果を10倍速くする価値があるかもしれません - またはそうでないかもしれません (医学的アドバイス対偶然のチットチャットには異なる賭けがあります)。 学術論文と業界レポートの両方で、キャッシュの幅広い展開を考慮して、ベンチマークにキャッシュを含み始めています。2024年の後期調査では、長期的なLLMタスクへのほとんどすべてのトップ出願が、コンテキストの長さを効果的に扱うためにキャッシュまたは注意の最適化のいくつかの形に依存していることが観察されました(Chen et al., 2024)。 数字は一貫して大きな勝利です。 簡単に言うと:キャッシュは遅延を減らし、パフォーマンスを増やし、新たなクエリをより速く提供し、複製作業を避けることによってクエストごとにコストを減らします。 これらの最適化がなければ、LLMサービスの評価は完全ではないでしょう。 ハンガリー・ポール.com Real-World Case Studies リアルワールドケーススタディ 私たちはすべて、キャッシングは単に学術的な議論のためのものではなく、これらの機能は実践に実質的な価値をもたらしています。 会話AI(チャットボット/アシスタント):毎回歴史を再エンコーディングする代わりに、マルチターンチャットLLMは以前の会話をキャッシュします。例えば、彼らは最初のユーザーの質問とアシスタントの回答をキャッシュするので、新しい入力のみが後で質問に処理されます。 huggingface.co. This lets systems like ChatGPT respond quickly without having to do all the math again. With caching turned on, Anthropic's Claude 3 lets developers pin long-lived contexts, which cuts latency by 79% and costs by 90% on a 100k-token prompt. (Anthropic, 2024) anthropic.com. Microsoftからの Xiaoiceはまたシーンの応答を保存するので、それは同じ礼儀なことを繰り返し言わなければならない コードの完成とサポート: GitHub Copilot と TabNine はキャッシュを使用してコードの完成を加速します。 モデルは、キーを押すたびに全体のコンテキストを再処理する必要がありますが、それは非常に遅くなります。 代わりに、彼らはキャッシュにプレフィックスのモデルの表示を保存しますので、添付された文字のみが処理されます。 これはプレフィックスキャッシュと呼ばれます。 多くのコードプロンプトが自分自身を繰り返す(フィボナッチのように)ので、プロンプトレベルのキャッシュはあなたにすぐに同じクエリを提供します。 それはまた、彼らがすぐに使用できるようにセッション間で同じ開発者クエリを処理します。 フォーラムでは、LLMは人気のQ&Aカップル(またはフィンタウンと エンタープライズ「コピロット」アシスタント: 多くの企業が内部のためのAIアシスタントを展開している - 例えば、AIコピロットがドキュメントの概要を助け、電子メールの草案を作成し、内部データからビジネス質問に回答するなど、これらは通常、事前定義の知識ベース(企業ドキュメント、ウィキ、レポート)で実行されています キャッシュは、ここでも、多くのレイヤーで非常に貴重です - あなたは、それらをより速く返すために内部ドキュメントの埋め込みをキャッシュすることができます。 Office 365 Copilot by Microsoft は、いくつかの一般的な内部クエストの応答をキャッシュすることができます(「どのように私はコピロットの経費レポートをファイルするか?」)。 Multi-turn Tools/Agents: Caching は複雑な AI エージェント システム(複数の LLM 呼び出しやツールを使用してタスクを計画するエージェントなど)で短回路を回すことができます。現在、ウェブ サービスをクエリすることによって質問に答え、LLM の入力として使用する結果を得るエージェントを考慮してください。このような場合、同じ質問が再び質問される場合、エージェントはそのキャッシュから以前の答えを直接(ツールを再呼び出さない代わりに)取得したり、検索結果(キャッシュ ツールの出力とLLM の出力)を再利用する可能性があると述べます。これは、プランナーのキャッシュや結果のツールのキャッシュのコンセプトと関連しています。中 例えば、Bing Chatは何百万ものユーザーにサービスを提供し、繰り返しリクエストがたくさんあります。BingのLLMバックエンド(GPT-4)が人気の質問に対する回答をキャッシュする場合(「Xの首都は何ですか」、「パンケーキを作る方法」)など)は、毎回ゼロから生成する代わりに、すぐに返すことができます。実際には、Bingの非LLM検索は何十年もの間、クエリキャッシュを使用してきました。LLMの回答が現れており、私たちは今、同じパターンを見ています。研究者たちは、検索結果を見つけたときに、同じ検索クエリが大きな遅延削減を意味することを示しています。 rohan-paul.com. おそらくBingとGoogleがシーンの後ろでよくしている何かです。オープン 2024年8月、 Anthropicのサーバーは、本(100,000トークン)のような巨大で不要なコンテキストを格納することができます。キャッシュに書き込むには、入力トークンあたり25%の費用がかかりますが、キャッシュされたコンテンツを読むには、ベースレートの10%しかかかりません。 最初の呼び出しはデータを保存し、次回の呼び出しはプロンプトIDを使用して検索し、新しいコンテンツのみを送信します。 そして1万トークンのコストは約86%減少した。 会話エージェント、コードアシスタント、ビッグドキュメントのQ&Aはすべて一般的な用途であり、安定したコンテキストはキャッシュヒットに最適です。Anthropicは、パフォーマンスの向上と財政的なインセンティブを組み合わせることによって、キャッシュを強力なビジネスケースにしました。 Anthropic's Claude 3 added Prompt Caching アントロピー cost of 100,000-token prompts went down by 90% アントロピー もう一つのケース: OpenAIはこれらの事例を公表していないが、開発者がそれぞれのリクエストに細かく調整し、/またはいくつかのショットのテキストを提供した場合、その部分がサーバー側にキャッシュされる可能性があるため、モデルはこれらの例をゼロから毎回再エンコーディングする必要はありません。これはAnthropicのアプローチと類似している。例えば、同じ2000トークンシステムプロンプト + インストラクションを各API呼び出し(多くが行う)に送信する場合、OpenAIはその内側のモデルの埋め込みをキャッシュし、クエリ処理された表現と単に結合するだけです。 OpenAI's system messages and few-shot examples caching 全体として、ほぼすべての主要なAI企業がリアルな世界でLMキャッシングを使用しています。OpenAI、Anthropic、Microsoft、Google、Hugging Faceはすべて、ある時点で異なる学習をもたらすキャッシング戦略を議論または文書化しているが、これらのほとんどは同じ結論を共有しています:キャッシングは巨大なパフォーマンスの増加を提供していますが、メモリやスケーラビリティを犠牲にすることなくキャッシングの新鮮さを管理することが重要になります。 caching is the ticket to turbocharging LLM applications. Challenges and Limitations 課題と制限 もちろん、キャッシュはシルバーボールではありません。もちろん、これは少し小さいことですが、簡単だったら、誰もがすべてのものをキャッシュするでしょう! LM キャッシュを展開する際にエンジニアが取り組まなければならない実践上の課題や制限は数多くあります: Cache Invalidation (Stale Data): ベースのデータまたはLLM更新が応答の意味を変更したとき、キャッシュ出力は、Webキャッシュの無効化の問題と同様に、不正な修正は、モデルが更新されたときにすべてのキャッシュを削除することです。これは簡単ですが、それはまだ有効であるエントリを削除するため、無駄です。一部の人々は「見つからない場合、新鮮なキャッシュ」ルールを使用しますが、これは彼らが有用なデータを失うことを引き起こす可能性があります。 それは、特定の時間の後にすべてのキャッシュをクリアするように、またはモデルIDまたはパラメータによってバージョンキャッシュキーを削除して、古いモデルからのエントリを使用しないようにします。ハッシュまたはタイムスタンプをキャッシュ 対話における文脈の変動: 複数回のチャットで文脈が後で変化すると、キャッシュされた回答が遅れることがあります。 たとえば、質問Aへの回答を保存し、その後ユーザーがより多くの情報を追加する場合、同じ答えを使用すると重要な変更がなくなる可能性があります。 これを止めるために、キャッシュはしばしば完全な会話IDを保存し、最も最近のプロンプトだけではなく、より短い対話範囲をキャッシュする場合があります。 全体の回答を保存する代わりに、その代わりに短い、文脈豊富な概要を保存できます。 これにより、それらが時代遅れになるリスクが低下します。 キャッシュをうまく管理することは困難です。 保守的なポリシー(変更する可能性がない入力だけを保存する prompt Variability and Uniqueness: LLMs はしばしば非常に異なるインプットに対処するので、ナイフなキャッシュは非常にうまく機能しません。例えば、クリエイティブ世代のアプリケーションは、「ツイストZでYのスタイルでXについて詩を書く」ことを要求しますが、ほとんどセマンティックキャッシュなしにヒットを得ることはありません。セマンティックキャッシュは組み合わせを一致させることによって一般化しようとしますが、クエリが非常に似ている場合にのみ動作します。 rohan-paul.com. キャッシュの利点はワークロードの過剰性に依存します。 KVキャッシュは常に長い出力に役立ちますが、アドホックフル応答キャッシュは、2つのクエストが同じでなければうまく機能しません。 メモリーフットプリント:キャッシュは、長い文脈のためのKVキャッシュがモデル自体と同じ大きさになる可能性があるため、RAMまたはGPUのメモリを多く使用します。 huggingface.co. Responseキャッシュも大きくなり、CPUまたはディスクに浸透する必要があることを意味します。これは、容量とモデルサイズまたはバッチパスポートの選択をしなければならないことを意味します。例えば、キャッシュのために40GBのGPUの20GBを置く場合、より大きなモデルやより多くのリクエストに対処するためのスペースがあまりありません。この問題に対処するために、研究者はKVテナー(Shutova et al., 2025)を圧縮するか、 arxiv.orgを量子化するか(4ビット対16ビットパスポート ~4×メモリ節約 複雑さとエンジニアリング:キャッシングは物事をより速くするが、物事をより複雑にする。あなたはストレージ、検索、アップデート、および無効化のための低遅延の方法を設定する必要があります、それはしばしば、分散キャッシングのためのRedisのような外部ストアを使用することを意味します。物事が反応していることを確認するために、あなたは非ブロックアシンク呼び出しやロックフリー構造を使用するように慎重なエンジニアリングを行う必要があるかもしれません。デバッグはまた、予期せぬ出力がモデル自体の代わりに古いまたは破損したキャッシングデータから来る可能性があるので、デバッグ化も難しくなります。 セキュリティとプライバシー: 適切に管理されていない場合、敏感なプロンプトと出力のキャッシュは、プライベートデータを公表する可能性があります。 複数のレンタルシステムでは、常に承認された要請にキャッシュアクセスを制限し、ユーザーまたはセッションに範囲を入力します。キャッシュはまた、サイドチャネル攻撃のリスクを実行し、ハッカーが他人の要望を見ることができます。リスクを軽減するために、または敏感なキャッシュコンテンツを暗号化します。 しかし、暗号化はセマンティックマッチングをより困難にすることができます。 また、GDPRのようなルールは、キャッシュされたAI出力を保存されたデータとして扱うる可能性があります、ユーザーがそれを要求する場合に削除する必要があります。 AIキャッシュがより一般的 Cache Coherence in Distributed Systems: Distributed Caching allows you to make copies of data, but it has problems with consistency. For example, updates or invalidations in one instance are not always seen by others, and when two replicas miss the same cache at the same time, they may have to recalculate and race to write the same entry. To stop duplicates, you need atomic operations or locks. For example, Redis's atomic commands support this. Medium. To build a distributed cache, you need to either choose strong coherence protocols or accept eventual consistency with occasional stale reads and writes. Redis. テストし、これらの戦略を調節することは、LLMサービスで特に困難になります. cache entries can be very large or key by complicated embeddings しかしながら、The したがって、ほとんどすべての企業に広がるLLMサービスが1つのフォームまたは他のすべての形式のキャッシュを含むということは、大きな驚きではありません、そして違いは、この設計作業をキャッシュに取り組む誰でもあります。リスクを軽減する:超敏感でないキャッシュアイテム(またはゆっくりと変化するだけ) + キャッシュの無効化戦略の多くを使用する + ヒット率 / フレームの使用に注意を払い、Fallbacksを持っている (あなたのキャッシュに何かFunkyが起きる場合、システムは動作します、それはゆっくりです)。 overall performance gains of caching generally significantly exceed LLMは非常に強力ですが、私たちが見たように無料ではありませんし、LLMに複雑さの追加の層を追加します - キャッシュです。 LLMの学者たちは今、最初のことを知っています! しかし、良いデザインで、妥協は管理され、莫大な利益が実現することができます。 コンピュータサイエンスに困難なことは2つしかない:キャッシュの無効化と物事の名前付け Future Directions and Research Opportunities 将来の方向性と研究機会 LLMキャッシュフィールドは非常にダイナミックで、研究者やエンジニアがその能力をさらに拡大するために調査している多くのエキサイティングな経路があります。 Adaptive and Intelligent Caching: Machine learning can help with caching and eviction policies. For example, RL agents try to get the most long-term rewards (hit rate × correctness). They can prefetch data they think they will need, such as OS read-front, cache popular results during busy times, and get rid of entries that are not worth much. Speculative execution occurs when caches actively calculate and save data that is likely to happen. LLM-based meta-learning can guess which intermediate calculations will be expensive and store them in a cache. Reinforcement learning can also manage eviction by getting rid of entries that are not likely to be useful in the future. This includes things like sorting through software bugs, such as summarizing streams of code issues and giving detailed diagnostics on request. 研究は2025年初 キャッシュ圧縮と効率的なストレージ: 量子化と切断は、キャッシュ削減に使用される2つの方法です。 AQUA-KVは、品質の損失が少ないわずかなビット(Shutova et al., 2025)までKVのテンサーを圧縮します。ストップワードKVを落とすような切断は、不要なエントリを削除します。長い文脈では、Anchor Attentionは「アンカー」トークンKVを保持し、残りを圧縮します(Sun et al., 2024)。実験的な「損失」キャッシュは、類似のベクトルを取ってそれらを1つに組み合わせます。高帯域幅メモリまたはストレージクラスメモリ(Optane)は、ハードウェア側にP99の遅延 クロスモダルおよびクロスドメインキャッシング: マルチモダルLLMおよびビデオ翻訳には特別なキャッシングが必要です。 たとえば、画像埋め込みを保存すると、すでに見た画像の再処理を省略し、パッケージされたオーディオスナップをキャッシングすると、音声アシスタントがより速く動作します。 各種類のデータのために、異なる戦略が必要です。 たとえば、画像のための感覚ハッシュとオーディオの指紋のためのオーディオ。 エッジデバイス間の連邦キャッシングは、連邦学習のプライバシー保証に沿って共通の結果をプライベートに共有することができます。 AIアシスタントのためのグローバルブラウザー コーチングおよびフィンタウンディングにおけるキャッシュ:キャッシュはコーチングおよびフィンタウンディングのためのLLMにも使用できますが、推論のためだけではありません。ディスクI/Oを回避するために、大規模な実行は既にメモリにトークン化されたデータセットを保持しています。トレーニングタイムキャッシュは、より革新的な方法で中間状態を保存します。例えば、マルチタスクモデルは、それを再度送信する代わりに、タスクを通じてシーケンスの表示を使用することができます。ディスクI/Oで頻繁に使用される偏差やグラディエントを保存することは、不必要なコンピューティングを削減します。それは主に研究に役立ちますが、継続的な学習やRLHFのコストを削減することにより キャッシュ管理と品質管理:将来に起こる必要があるもう一つの重要な変更は、定期的にキャッシュされた応答をチェックしてユーザーの経験を良好に保つことです。もしLLMのキャッシュされた応答がフィルターをほぼ通り過ぎた場合、ユーザーのフィードバックは、繰り返しのリフラッシュのように、それを変更または削除する必要があることを意味するかもしれません。これはキャッシュを改善し続け、それを生きた知識ベースに変えるフィードバックループを作成します。スケジュールされたバックグラウンドワークは、ベースモデルがリトレーニングまたはフィンタウンディングされているため、トップキャッシュエントリーを再計算し、更新することができます。この方法は、検索エンジンがソースコンテンツが変化したときにキャッシュされたページを更新する方法に似ています 標準化およびキャッシュ API レイヤー: マシン 学習 スタックの標準化されたレイヤーがキャッシュに特化した場合、私たちは驚くことはありません。 現時点では、各フレームワークまたはアプリケーションは独自のキャッシュ ロジックを作成しなければなりません。 もしかしたら、私たちはできるかもしれないが、モデル プロバイダーまたはサービス フレームワークが提供する種類の「キャッシュ API」を想像し、開発者がカスタム ロジックにプラグインすることを許可し(ウェブ サーバーとのキャッシュ プラグインとほぼ同じです) たとえば、OpenAI または他のベンダーは、キャッシュ 効率を有効化するための API パラメータを提供し、キャッシュ ヒットの攻撃レベル cache_scratch コード したがって、LMキャッシングの未来はかなり陽気で、新しいソリューションで満ちているように見えます。一般的に、衝動は明らかです:より大きなモデルをより多くのユーザーに展開するにつれて、キャッシング戦略は、いくつかのスラックを拾うための簡単な場所です。次のイテレーションは、キャッシング(学習駆動)を改善し、その重量を減らす(メモリ内での圧縮とより良い管理)し、さまざまな形態とトレーニング/インファレンスのためにより広範囲に広がるようにします.* したがって、これは、より大きなモデルを構築するだけでなく、よりスマートなサービスを提供するためのArmsレースです。_* これにより、キャッシングと効率の向上は、GPT-4 ここから、最も攻撃的なキャッシュ戦略を持つ人々は、最速で最終的に最も安価なAIサービスを提供するタイトルを獲得する可能性があります。 トップページ > ココ 参考: アントロピック(2024年8月14日) Anthropic News より: クラウドとの早い交際。 アントロピック.com アントロピック.com Hinton、G、Vinyals、O、 & Dean、J(2015年) NIPS Deep Learning and Representation Learningワークショップ 知識をニューラルネットワークに分散させる。 ルイス、P、et al.(2020) ニューラル情報処理システムの進歩 「Retrieval-Augmented Generation for Knowledge-Intensive NLP」 ポール・R(2025年4月20日) Rohan's Bytesのブログ トレーニングと推論の両方のためにLLMサービスのキャッシュ戦略。 ハンガリー・ポール.com ハンガリー・ポール.com Pol, S. (2025年4月6日) メディアブログ Transformer Inference を KV Caching で加速する ウォーキング522.medium.com ウォーキング522.medium.com シェイザー、N(2019年) シンガポール:1911.02150 . Fast Transformer Decoding: One Write-Head is All You Need. トランスフォーマーのデコーディング: One Write-Head is All You Need. アーカイブ.org シュトーヴァ、A、マリノフスキー、V、エジアザリアン、V、およびその他(2025年) トップページ > 501 392 . 「Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models」 アーカイブ.org ヤズダニ・アミナバディ R. Rajbhandari, S. Zhang, M. et al. (2022年) トップページ > 220700032 . DeepSpeed Inference:前例のない規模でトランスフォーマーモデルの効率的な推定を可能にする。 アーカイブ.org Kwon、W、Li、Z、Zhuang、S、et al.(2023年) SOSP2023のプロセス . PagedAttention(vLLM)を用いた大規模言語モデルのための効率的なメモリ管理。 ブロガー ブロガー Hugging Face Transformers Team(2023年) Hugging Face ブログ 生産におけるあなたのLLMの最適化。 トップページ > ココ トップページ > ココ Lorello, S. McCormick, R. & Partee, S. (2023年) NVIDIAの技術ブログ NVIDIA Triton と Redis で Distributed Inference Cache を構築する方法 (学術的厳格さと完全性のための追加の参照は、上記のすべての引用に合致するために必要に応じて挿入することができます。