지원 기능¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-16
vLLM HyperAccel의 기능 지원 원칙은 **vLLM과 정렬**입니다. 플러그인은 vLLM 엔진을 그대로 두고 그 아래에 LPU를 붙이므로, vLLM 기능은 LPU 경로가 갖춰지고 검증되면 지원 기능이 됩니다.
아래는 vLLM 기능 호환성 표(Compatibility Matrix)에 있는 기능과 병렬화 방식의 vLLM HyperAccel 0.0.5 지원 여부입니다.
기능¶
| 기능 | 상태 | 설명 |
|---|---|---|
| Chunked Prefill (CP) | ✅ | 항상 켜져 있습니다. 스텝당 토큰 예산보다 긴 프롬프트를 여러 스텝에 나눠 읽습니다 |
| Tensor Parallelism (TP) | ❌ | tensor_parallel_size는 1만 받습니다 |
| Pipeline Parallelism (PP) | ✅ | LPU 2장 또는 4장. 여러 LPU 사용하기 |
| Data Parallelism (DP) | ✅ | LPU마다 복제본 하나. 여러 LPU 사용하기 |
| 양자화 | ✅ | INT4(EXAONE-4.5, Qwen3-8B, Qwen3-30B-A3B), FP8(Qwen3-8B, Qwen3-30B-A3B). 양자화 |
| Pooling | ❌ | 임베딩 같은 pooling 요청은 오류로 거부합니다 |
| Prompt Logprobs | ❌ | prompt_logprobs 요청은 오류로 거부합니다 |
샘플링 파라미터¶
| 파라미터 | 처리 위치 |
|---|---|
temperature, top_k, top_p, seed |
LPU |
stop, max_tokens, n |
vLLM |
자세한 내용은 LPU 샘플링에 있습니다.
함께 쓰기¶
- **Chunked prefill**은 항상 켜져 있으므로 모든 기능과 함께 동작합니다.
- **INT4**는 EXAONE-4.5·Qwen3-8B·Qwen3-30B-A3B, **FP8**은 Qwen3-8B·Qwen3-30B-A3B와 함께 검증했습니다.
- **PP**와 **DP**는 dense 모델(Qwen3-8B)로 각각 검증했습니다.
- **Sliding-window attention**과 **KV 캐시 선점**은 Gemma-4로 함께 검증했습니다.
한계값¶
| 항목 | 값 |
|---|---|
| 컨텍스트 | 16,384 토큰 |
| KV 캐시 읽기 단위 | 64 토큰 |
| 스텝당 토큰 | LPU 코어 수 × 32 (코어 32개면 1,024) |
| PP 크기 | 2, 4 |
| TP 크기 | 1 |
| 계산 dtype | bfloat16 |
이 값 밖의 설정과 요청 옵션은 조용히 다른 경로로 바꾸지 않고, 이름을 밝힌 오류로 알립니다. 지원 모델은 vLLM HyperAccel 개요에 있습니다.