콘텐츠로 이동

컨텍스트와 KV 캐시

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-16

개요

LPU의 KV 캐시가 어떻게 배치되는지, 그것이 동시에 실행할 수 있는 요청 수를 어떻게 정하는지, 그리고 KV 캐시가 가득 차면 무슨 일이 일어나는지 설명합니다.

KV 캐시 구성

GPU의 vLLM은 KV 캐시를 고정 크기 블록에 흩어 두고 블록 테이블로 찾아갑니다. LPU는 실행 중인 요청마다 **연속된 영역 하나**를 주고, 하드웨어 주소 변환 테이블로 접근합니다. 두 가지 값이 이 영역을 설명합니다.

  • 영역 크기 — max_model_len 토큰까지 담을 수 있는 주소 범위입니다. 주소만 정해 두며 이것만으로 메모리를 차지하지 않습니다.
  • 실제 사용 메모리 — 요청의 컨텍스트가 길어지는 만큼 페이지 단위로 늘어납니다. 300 토큰만 읽은 요청은 max_model_len 전체보다 훨씬 적은 메모리를 씁니다.

모델 가중치를 올리고 남은 디바이스 메모리가 이 페이지를 꺼내 쓰는 KV 캐시 풀입니다. KV 캐시 블록 크기는 한 토큰 단위로 고정이므로 --block-size는 지정하지 않아도 됩니다.

--max-model-len 정하기

--max-model-len은 요청 하나의 최대 컨텍스트(프롬프트와 생성 토큰의 합)입니다. 실제로 필요한 가장 긴 컨텍스트로 잡습니다. 최대값은 16,384입니다. EXAONE-4.5는 4,096까지입니다.

값을 크게 잡아도 짧은 요청이 느려지거나 메모리를 더 쓰지는 않습니다.

  • KV를 64 토큰 단위로 읽습니다. 어텐션은 스텝마다 요청의 KV 캐시를 64 토큰씩 끊어, 그 요청의 현재 컨텍스트 길이를 64의 배수로 올린 데까지만 읽습니다. 컨텍스트가 300 토큰인 요청은 --max-model-len과 관계없이 320 토큰을 읽습니다.
  • 메모리는 쓴 만큼만 차지합니다. KV 캐시 구성처럼 페이지는 컨텍스트가 자라는 만큼 붙습니다. --max-model-len으로는 시작할 때 KV 캐시 풀에 그 길이의 요청이 하나라도 들어가는지만 확인합니다.
1
2
3
4
5
# 대화 위주: 4K 컨텍스트면 충분할 때
vllm serve Qwen/Qwen3-8B --max-model-len 4096 --no-enable-prefix-caching --no-async-scheduling

# 긴 문서: 전체 컨텍스트
vllm serve Qwen/Qwen3-8B --max-model-len 16384 --no-enable-prefix-caching --no-async-scheduling

장문 컨텍스트는 Qwen3-8B로 4K, 8K, 16K 경계에서 LPU 검증하며, 15,000 토큰 프롬프트 뒤에 1,000 토큰을 생성하는 경우를 포함합니다.

동시 실행 요청 수

한 스텝에서 실행되는 요청 수는 세 가지로 제한됩니다.

  1. --max-num-seqs — 사용자가 정하는 상한
  2. KV 캐시 메모리 — 스케줄러는 페이지가 풀에 들어가는 요청만 실행합니다
  3. 스텝당 토큰 예산 — LPU 코어 수 × 32 토큰(코어 32개면 1,024). 프롬프트를 읽는 요청(prefill)과 토큰을 생성하는 요청(decode)이 나눠 씁니다

--gpu-memory-utilization은 플러그인이 쓸 디바이스 메모리 비율이며, 곧 KV 캐시 풀 크기를 정합니다.

KV 캐시가 가득 찰 때

메모리는 요청이 자라는 만큼 채워지므로, 시작할 때는 들어가던 요청들이 생성 도중에 풀보다 커질 수 있습니다. 이때 스케줄러가 요청 하나를 **선점(preempt)**합니다. 그 요청의 페이지를 해제하고 나머지 요청을 계속 실행한 뒤, 선점한 요청을 나중에 다시 계산해 이어서 실행합니다.

선점은 자동이며 결과를 바꾸지 않습니다. Qwen3-8B와 Gemma-4로 동시 요청 8, 16, 32개에서, 시작할 때는 들어가고 최대치에서는 넘치도록 크기를 맞춰 LPU 검증합니다. 선점된 요청은 모두 다시 실행되고 모든 출력이 CPU 기준과 일치합니다.

다시 실행된 요청은 컨텍스트를 재계산하므로 시간이 듭니다. 선점이 자주 일어나면 --max-num-seqs나 --max-model-len을 낮춥니다.

메모리 확인

hyperaccel-smi는 런타임 예약과 KV 캐시를 포함한 디바이스 전체 할당을 **GiB**로 보여 줍니다. 체크포인트 가중치의 십진 GB와 단위가 다릅니다. 가중치 로드 중의 값과 KV 캐시 초기화 후의 값은 따로 비교합니다.

다음