KV Cache란? 더 빠른 AI 추론을 위한 초보자 가이드

ChatGPT혹은 Claude 등의 AI 채팅봇을 사용한 적이 있는 사람이라면, 길고 상세한 답변을 쓰고 있을 때도 의외로 빨리 응답해 준다는 것을 깨달았을 것입니다. 왜 그것이 가능한지 생각한 적이 있습니까?

그 가장 큰 이유 중 하나는KV캐시라는 기술입니다. 많은 사람들이 듣지 않는 뒷면의 엔지니어링의 궁리입니다만, 이것이 없으면 현대의 AI는 매우 느려져 버립니다.

이 기사에서는 그 메커니즘을 처음부터 설명합니다. 전문적인 학위는 필요하지 않습니다.

먼저 AI가 텍스트를 생성하는 방법을 살펴 보겠습니다.

KV캐시를 이해하기 전에 AI 언어 모델이 어떻게 작동하는지에 대해 작지만 중요한 메커니즘을 이해해야 합니다.

GPT같은 모델은 전체 문장을 한 번에 내보내지는 않습니다. 한 단어(또는 토큰)씩 생성해 갑니다. 한 단어의 생성은 모두 개별 예측입니다. 다음 단어를 예측하기 위해 모델은 이전에 나온 모든 단어를 참조합니다.

예를 들어 모델이 다음 문을 생성한다고 가정합니다. 「The cat sat on the mat.（고양이가 매트에 앉았다)”

• "cat" 생성하기 위해→ "The" 참조
• "sat" 생성하기 위해→ "The cat" 참조
• "on" 생성하기 위해→ "The cat sat" 참조
• "the" 생성하기 위해→ "The cat sat on" 참조
• ……라는 상태에 이어

즉, 「The」나 「cat」과 같은 첫 번째 단어는 새 단어를 생성할 때마다 여러 번 다시 처리된다는 것입니다. 모델이 100번째 단어를 생성할 때, 첫 번째 단어는 거의 100번이나 다시 읽고 다시 처리됩니다.

이것은 대량의 쓸데없는 처리입니다.

문제 뒤에 수학

왜 이것이 규모가 커지면 심각한 문제가 되는지 살펴 보겠습니다.

100단어 응답을 생성하는 경우 처리 단계의 합계는 다음과 같습니다.

1 + 2 + 3 + ... + 100 = 5,050단계

1,000단어로? 500,000 단계를 초과합니다. 처리량은2차 함수로 증가합니다—즉, ​​길이가 2배가 되어도 처리량은 단순히 2배가 되는 것이 아니라, 훨씬 빠른 페이스로 증가해 가는 것입니다.

동시에 수천 명의 사용자를 처리하고 각각이 긴 응답을 생성하는 모델에 대해 이것은 엄청난 계산 병목 현상이됩니다. 어떤 조치가 필요했습니다.

KV현금 등장

KV캐시를 이해하려면 현대 AI 모델의 핵심 엔진인 Attention(주의) 메커니즘의 내부를 조금 들여다봐야 합니다.

Transformer모델이 하나의 토큰을 처리할 때 해당 토큰에 대해 세 가지를 생성합니다.

• Query（쿼리, Q): 이 토큰이 무엇을 요구하는지——어떤 컨텍스트가 필요한가?
• Key（키, K): 이 토큰이 무엇을 제공하는지——다른 토큰이 어떻게 식별해야 하는가?
• Value（가치, V): 이 토큰이 출력에 기여하는 실제 내용

모델은 이러한 Q, K, V 벡터를 사용하여 어떤 단어가 서로 가장 관련이 있는지를 결정합니다. 예를 들어, 「그 동물은 길을 건너지 않았다. 너무 지쳤기 때문이다」라는 문장에서는 이러한 벡터를 사용하여 「그것」이 「길」이 아니라 「동물」을 가리키고 있다고 판단합니다.

여기에 중요한 통찰력이 있습니다. 한 토큰이 한 번 처리되면 Key와 Value 벡터는 다시는 변하지 않습니다. 이것들은 고정되어 있어 문장의 뒤의 부분에 무엇이 계속되는지에 의존하지 않습니다.

그러나 최적화되지 않은 소박한 방법에서는 모델이 각 단계 후에 이러한 벡터를 버리고 다음 단계에서 0부터 다시 계산합니다. 이것은 같은 수학 문제를 10회 풀 때마다 계산 과정을 매번 버려 버려두고 두지 않는 것과 같습니다.

KV캐시의 발상은 간단합니다. 버리지 않고 저장하고 재사용하십시오.

KV캐시 동작을 단계별로 확인

KV캐시가 유효한 경우 실제로 일어나는 일을 살펴 보겠습니다.

1단계 — 프리필(Prefill) 단계

모델에 프롬프트를 보내면(예: 「중력에 대해 설명」), 모델은 프롬프트의 모든 단어를 처리하고 각 Q, K, V 벡터를 계산합니다. K와 V 벡터는 전용 메모리 영역(KV 캐시)에 저장됩니다.

2단계 — 디코딩 단계

여기에서 모델은 응답을 한 토큰씩 생성하기 시작합니다. 새 토큰당:

• 새 토큰의 쿼리 벡터만 계산
• 그 이전의 모든 토큰의 Key와 Value는 캐시로부터 직접 취득한다——재계산은 불필요
• 이 정보를 사용하여 다음 단어를 생성합니다.
• 새로운 토큰 자체의 K와 V를 향후 단계를 위해 캐시에 추가

3단계 — 반복

이것을 응답이 완료 될 때까지 반복하십시오. 캐시는 새로운 토큰마다 늘어나지만, 오래된 토큰을 다시 계산하는 무거운 처리는 완전히 없어집니다.

간단한 이미지 다이어그램입니다 :

토큰 1 생성→ 캐시: [K1, V1]
토큰 2 생성→ 캐시: [K1, K2], [V1, V2]
토큰 3 생성→ 캐시: [K1, K2, K3], [V1, V2, V3]
...
각 단계에서 모든 것을 처음부터 다시 시작하는 대신 소량의 새로운 작업 만 수행합니다.

실제로 얼마나 효과가 있는가?

그 차이는 매우 큰 것입니다. KV 캐시를 사용하면 :

• 속도: 모델과 하드웨어에 따라 추론이 3~5배 빨라질 수 있습니다.
• 대기 시간: 특히 긴 출력에서 ​​응답이 더 부드럽게 느껴집니다.
• 확장성: 동일한 하드웨어에서 더 많은 사용자를 동시에 처리할 수 있습니다.

따라서 vLLM, TensorRT-LLM, HuggingFace TGI를 포함한 모든 주요 AI 추론 프레임워크가 KV 캐시를 핵심 기능으로 구현합니다. 이것은 선택이 아니라 필수적인 구조입니다.

트레이드오프: 메모리 소비

엔지니어링에서 무료는 없습니다. KV 캐시는 계산량을 메모리로 교환합니다.

모든 토큰의 K와 V 벡터는 모델의 모든 레이어에 대해 GPU 메모리(VRAM)에 저장해야 합니다. 긴 대화를 처리하는 대규모 모델에서는 이 캐시가 몇 GB의 VRAM을 쉽게 소비할 수 있습니다.

이것은 실제 제약을 생성합니다 :

• 대화가 길어진다= 캐시가 커짐= 필요한 메모리가 늘어남
• 모델이 커짐= 레이어 증가= 토큰당 메모리 사용량 증가
• 동시 이용 ​​사용자 증가= 병렬로 움직이는 캐시가 증가합니다.= 메모리 수요가 더욱 증가

AI엔지니어는 지원하는 컨텍스트 창의 길이, 동시에 처리하는 사용자 수, 사용 가능한 GPU 메모리의 균형을 신중하게 취해야 합니다. 이것은 LLM을 프로덕션 환경에서 운영할 때 핵심적인 과제 중 하나입니다.

기초를 넘어: 업계는 어떻게 전진하고 있는가?

연구자들은 기본적인 KV 캐시에만 머물지 않습니다. 여기에서는 이를 기반으로 한 첨단 기술을 소개합니다.

• Multi-Query Attention（MQA） — 각 Attention 헤드별로々의 K와 V 벡터를 저장하는 대신 모든 헤드가 동일한 K와 V를 공유합니다. 이렇게 하면 캐시 크기가 크게 줄어들고 품질에 미치는 영향도 최소화됩니다.
• Grouped-Query Attention（GQA） — 전체 캐시와 MQA의 중간 기술입니다. LLaMA 3나 Mistral등의 모델로 채용되고 있어 Attention 헤드를 그룹화해 클러스터 마다 K/V벡터를 공유합니다.
• Sliding Window Attention（슬라이딩 윈도우 어텐션) — 모든 토큰을 영구적으로 캐시하는 대신 최근 N개의 토큰만 캐시에 보관합니다. 이렇게하면 매우 긴 시퀀스에서도 메모리 사용량에 상한선을 제공합니다.
• PagedAttention — vLLM에서 채용되고 있는 기술로, operating system가 가상 메모리를 관리하는 방법과 마찬가지로, KV 캐시를 페이지 단위로 할당·해방해, GPU의 이용률과 스루풋을 대폭 향상시킵니다.

요약

지금까지 배운 내용을 되돌아 보자.

• LLM는 하나의 토큰으로 텍스트를 생성하고 새 토큰 당 모든 이전 토큰을 참조해야합니다.
• 최적화 없이는 2차 함수 계산의 복잡성을 만들어내고 매우 빠른 속도로 매우 느려집니다.
• Attention메커니즘은 각 토큰에 대해 Query, Key, Value 벡터를 계산합니다.
• Key그리고 Value 벡터는 한 번 계산되면 변하지 않습니다.
• KV캐시는 이러한 벡터를 메모리에 저장하고 재사용하여 방대한 양의 중복 처리를 제거합니다.
• 결과적으로 GPU 메모리 사용량 증가라는 대가를 지불하면서 추론이 3~5배 빨라진다
• GQA및 PagedAttention과 같은 첨단 기술이 더욱 효율적입니다.

KV캐시는 단순히 작업 결과를 저장하고 재사용하기만 하면 너무 간단하게 들리는 발상 중 하나입니다. 그러나 실제 세계의 AI 성능에 미치는 영향은 절대적입니다. 다음으로 AI로부터 빠른 응답을 받으면 그 중요한 이유 중 하나를 알고 있습니다.

참고문헌

• Hugging Face Blog — KV Caching Explained
• Sebastian Raschka — Coding the KV Cache from Scratch
• Alain Airom — Demystifying the Key-Value Cache
• Machine Learning Mastery — KV Caching: A Guide for Developers