콘텐츠로 이동

지원 기능

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-16

vLLM HyperAccel의 기능 지원 원칙은 **vLLM과 정렬**입니다. 플러그인은 vLLM 엔진을 그대로 두고 그 아래에 LPU를 붙이므로, vLLM 기능은 LPU 경로가 갖춰지고 검증되면 지원 기능이 됩니다.

아래는 vLLM 기능 호환성 표(Compatibility Matrix)에 있는 기능과 병렬화 방식의 vLLM HyperAccel 0.0.5 지원 여부입니다.

기능

기능 상태 설명
Chunked Prefill (CP) ✅ 항상 켜져 있습니다. 스텝당 토큰 예산보다 긴 프롬프트를 여러 스텝에 나눠 읽습니다
Tensor Parallelism (TP) ❌ tensor_parallel_size는 1만 받습니다
Pipeline Parallelism (PP) ✅ LPU 2장 또는 4장. 여러 LPU 사용하기
Data Parallelism (DP) ✅ LPU마다 복제본 하나. 여러 LPU 사용하기
양자화 ✅ INT4(EXAONE-4.5, Qwen3-8B, Qwen3-30B-A3B), FP8(Qwen3-8B, Qwen3-30B-A3B). 양자화
Pooling ❌ 임베딩 같은 pooling 요청은 오류로 거부합니다
Prompt Logprobs ❌ prompt_logprobs 요청은 오류로 거부합니다

샘플링 파라미터

파라미터 처리 위치
temperature, top_k, top_p, seed LPU
stop, max_tokens, n vLLM

자세한 내용은 LPU 샘플링에 있습니다.

함께 쓰기

  • **Chunked prefill**은 항상 켜져 있으므로 모든 기능과 함께 동작합니다.
  • **INT4**는 EXAONE-4.5·Qwen3-8B·Qwen3-30B-A3B, **FP8**은 Qwen3-8B·Qwen3-30B-A3B와 함께 검증했습니다.
  • **PP**와 **DP**는 dense 모델(Qwen3-8B)로 각각 검증했습니다.
  • **Sliding-window attention**과 **KV 캐시 선점**은 Gemma-4로 함께 검증했습니다.

한계값

항목 값
컨텍스트 16,384 토큰
KV 캐시 읽기 단위 64 토큰
스텝당 토큰 LPU 코어 수 × 32 (코어 32개면 1,024)
PP 크기 2, 4
TP 크기 1
계산 dtype bfloat16

이 값 밖의 설정과 요청 옵션은 조용히 다른 경로로 바꾸지 않고, 이름을 밝힌 오류로 알립니다. 지원 모델은 vLLM HyperAccel 개요에 있습니다.