KVキャッシュとは？AI推論を高速化する初心者向け完全ガイド

ChatGPTやClaudeなどのAIチャットボットを使ったことがある人なら、長く詳細な回答を書いているときでも、意外と速く応答してくれることに気づいたはずです。どうしてそれが可能なのか、考えたことはありますか？

その最大の理由の一つが、KVキャッシュという技術です。多くの人が耳にすることのない裏側のエンジニアリングの工夫ですが、これがなければ現代のAIは非常に遅くなってしまいます。

この記事では、その仕組みをゼロから解説します。専門的な学位は必要ありません。

まず、AIがどのようにテキストを生成するかを見てみよう

KVキャッシュを理解する前に、AI言語モデルがどのように動作しているかについて、小さいけれど重要な仕組みを理解しておく必要があります。

GPTのようなモデルは、文章全体を一度に書き出すわけではありません。1つの単語（またはトークン）ずつ生成していきます。1つの単語の生成はすべて個別の予測です。次の単語を予測するために、モデルはそれ以前に出てきたすべての単語を参照します。

例えば、モデルが次の文を生成しているとします： 「The cat sat on the mat.（猫がマットの上に座った）」

• "cat" を生成するために → "The" を参照する
• "sat" を生成するために → "The cat" を参照する
• "on" を生成するために → "The cat sat" を参照する
• "the" を生成するために → "The cat sat on" を参照する
• ……という具合に続く

つまり、「The」や「cat」のような最初の単語は、新しい単語を生成するたびに何度も処理し直されるということです。モデルが100番目の単語を生成する頃には、最初の単語はほぼ100回も再読み込み・再処理されています。

これは大量の無駄な処理です。

問題の背後にある数学

なぜこれが規模が大きくなると深刻な問題になるのか、見てみましょう。

100語の応答を生成する場合、処理ステップの合計はこうなります：

1 + 2 + 3 + ... + 100 = 5,050ステップ

1,000語では？50万ステップを超えます。処理量は二次関数的に増加します——つまり、長さが2倍になっても処理量は単純に2倍になるのではなく、はるかに速いペースで増加していくのです。

同時に数千人のユーザーを処理し、それぞれが長い応答を生成するモデルにとって、これは膨大な計算上のボトルネックになります。何らかの対策が必要でした。

KVキャッシュの登場

KVキャッシュを理解するには、現代のAIモデルの中核エンジンであるAttention（注意）機構の内部を少し覗く必要があります。

Transformerモデルが1つのトークンを処理するとき、そのトークンに対して3つのものを生成します：

• Query（クエリ、Q）： このトークンが何を求めているか——どのようなコンテキストが必要か
• Key（キー、K）： このトークンが何を提供するか——他のトークンがどう識別すべきか
• Value（バリュー、V）： このトークンが出力に貢献する実際の内容

モデルはこれらのQ、K、Vベクトルを使って、どの単語が互いに最も関連しているかを判断します。例えば「その動物は道を渡らなかった。疲れすぎていたからだ」という文では、これらのベクトルを使って「それ」が「道」ではなく「動物」を指していると判断します。

ここで重要な洞察があります。あるトークンが一度処理されると、そのKeyとValueベクトルは二度と変化しません。これらは固定されており、文の後の部分に何が続くかには依存しないのです。

しかし、最適化されていない素朴な方法では、モデルは各ステップの後にこれらのベクトルを捨ててしまい、次のステップでゼロから再計算します。これは同じ数学の問題を10回解くたびに、計算過程を毎回捨ててしまい、残しておかないのと同じことです。

KVキャッシュの発想はシンプルです。捨てずに、保存して、再利用する。

KVキャッシュの動作をステップごとに見る

KVキャッシュが有効な場合、実際に起きていることを見てみましょう。

ステップ1 — プリフィル（Prefill）フェーズ

モデルにプロンプトを送信すると（例えば「重力について説明してください」）、モデルはプロンプト内のすべての単語を処理し、それぞれのQ、K、Vベクトルを計算します。KとVベクトルは専用のメモリ領域——KVキャッシュ——に保存されます。

ステップ2 — デコード（Decode）フェーズ

ここからモデルは応答を1トークンずつ生成し始めます。新しいトークンごとに：

• その新しいトークンのQueryベクトルだけを計算する
• それ以前のすべてのトークンのKeyとValueはキャッシュから直接取得する——再計算は不要
• この情報を使って次の単語を生成する
• 新しいトークン自身のKとVを、今後のステップのためにキャッシュに追加する

ステップ3 — 繰り返し

これを応答が完成するまで繰り返します。キャッシュは新しいトークンごとに増えていきますが、古いトークンを再計算する重い処理は完全になくなります。

簡単なイメージ図です：

トークン1を生成 → キャッシュ: [K1, V1]
トークン2を生成 → キャッシュ: [K1, K2], [V1, V2]
トークン3を生成 → キャッシュ: [K1, K2, K3], [V1, V2, V3]
...
各ステップでは、すべてをゼロからやり直すのではなく、少量の新しい作業だけを行う。

実際にどれほどの効果があるのか？

その差は非常に大きいものです。KVキャッシュを使うと：

• 速度： モデルやハードウェアによって、推論は3〜5倍速くなることがあります
• レイテンシー： 特に長い出力で、応答がよりスムーズに感じられます
• スケーラビリティ： 同じハードウェアでより多くのユーザーを同時に処理できます

そのため、vLLM、TensorRT-LLM、HuggingFace TGIなど、あらゆる主要なAI推論フレームワークがKVキャッシュを中核機能として実装しています。これは選択肢ではなく、必須の仕組みなのです。

トレードオフ：メモリを消費する

エンジニアリングにおいて無料のものはありません。KVキャッシュは計算量をメモリと引き換えにしています。

すべてのトークンのKとVベクトルは、モデルのすべてのレイヤーについてGPUメモリ（VRAM）に保存する必要があります。長い会話を処理する大規模モデルでは、このキャッシュが数GBのVRAMを簡単に消費してしまうことがあります。

これは実際の制約を生み出します：

• 会話が長くなる = キャッシュが大きくなる = 必要なメモリが増える
• モデルが大きくなる = レイヤーが増える = トークンごとのメモリ使用量が増える
• 同時利用ユーザーが増える = 並行して動くキャッシュが増える = メモリ需要がさらに増える

AIエンジニアは、サポートするコンテキストウィンドウの長さ、同時に処理するユーザー数、利用可能なGPUメモリのバランスを慎重に取る必要があります。これはLLMを本番環境で運用する際の中心的な課題の一つです。

基本を超えて：業界はどのように前進しているか

研究者たちは基本的なKVキャッシュだけに留まっていません。ここでは、それを基盤にした先進的な技術をいくつか紹介します：

• Multi-Query Attention（MQA） — 各Attentionヘッドごとに別々のKとVベクトルを保存する代わりに、すべてのヘッドが同じKとVを共有します。これによりキャッシュサイズが大幅に縮小され、品質への影響も最小限に抑えられます。
• Grouped-Query Attention（GQA） — フルキャッシュとMQAの中間的な手法です。LLaMA 3やMistralなどのモデルで採用されており、Attentionヘッドをグループ化してクラスタごとにK/Vベクトルを共有します。
• Sliding Window Attention（スライディングウィンドウ・アテンション） — すべてのトークンを永続的にキャッシュするのではなく、直近のN個のトークンのみをキャッシュに保持します。これにより、非常に長いシーケンスでもメモリ使用量に上限を設けられます。
• PagedAttention — vLLMで採用されている技術で、オペレーティングシステムが仮想メモリを管理する方法と同様に、KVキャッシュをページ単位で割り当て・解放し、GPUの利用率とスループットを大幅に向上させます。

まとめ

これまで学んだ内容を振り返りましょう：

• LLMは1トークンずつテキストを生成し、新しいトークンごとにそれまでのすべてのトークンを参照する必要がある
• 最適化なしでは、これは二次関数的な計算量の複雑さを生み出し、非常に速いペースで非常に遅くなっていく
• Attention機構は各トークンについてQuery、Key、Valueベクトルを計算する
• KeyとValueベクトルは一度計算されると変化しない——だから再計算する理由がない
• KVキャッシュはこれらのベクトルをメモリに保存して再利用し、膨大な量の冗長な処理を排除する
• 結果として、GPUメモリ使用量の増加という代償を払いつつ、推論が3〜5倍速くなる
• GQAやPagedAttentionなどの先進的な技術が、さらに効率を高めている

KVキャッシュは、単に作業結果を保存して再利用するだけという、あまりにもシンプルすぎるように聞こえる発想の一つです。しかし、実世界のAI性能への影響は絶大です。次にAIから速い応答を受け取ったときには、その重要な理由の一つを知っていることになります。

参考文献

• Hugging Face Blog — KV Caching Explained
• Sebastian Raschka — Coding the KV Cache from Scratch
• Alain Airom — Demystifying the Key-Value Cache
• Machine Learning Mastery — KV Caching: A Guide for Developers