여러 LPU 사용하기¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15
개요¶
vLLM은 엔진 워커마다 프로세스를 하나씩 띄우고, vLLM HyperAccel 워커 하나는 LPU 하나를 맡습니다. 따라서 여러 LPU로 늘릴 때는 vLLM의 표준 병렬화 옵션을 그대로 씁니다.
| Pipeline Parallelism (PP) | Data Parallelism (DP) | |
|---|---|---|
| 하는 일 | 모델 하나의 레이어를 여러 LPU에 나눕니다 | LPU마다 모델 전체 복제본을 하나씩 둡니다 |
| 쓰는 경우 | 모델이 LPU 한 장에 들어가지 않을 때 | 처리량을 늘릴 때 |
| 크기 | 2 또는 4 | LPU 수만큼 |
| 검증 | Qwen3-8B, LPU 2장과 4장 | Qwen3-8B, 복제본 2개 |
| 옵션 | --pipeline-parallel-size |
--data-parallel-size |
Pipeline Parallelism (PP)¶
모델의 레이어를 연속된 stage로 나눠 LPU마다 하나씩 맡깁니다. 스텝마다 각 stage가 자기 레이어를 실행하고 activation을 다음 stage로 넘기며, 마지막 stage가 logits를 계산하고 샘플링합니다. LPU 사이의 activation 전송은 HyperAccel 집합 통신 라이브러리 LCCL이 맡습니다.
1 | |
1 2 3 4 5 6 7 8 9 10 11 12 | |
요구 사항:
pipeline_parallel_size는 2 또는 4이고,tensor_parallel_size는 1입니다.- vLLM 기본 실행기인 multiprocessing executor를 씁니다.
- stage
r은lpu:<r>에서 실행되므로 노드에 stage 수 이상의 LPU가 있어야 합니다.
Qwen3-8B로 LPU 2장과 4장에서 CPU 기준과 비교해 검증합니다.
Data Parallelism (DP)¶
복제본 하나하나가 자기 스케줄러와 KV 캐시를 가진 독립 엔진이며, 복제본 r은 lpu:<r>에 묶입니다. vLLM 프런트엔드가
들어오는 요청을 복제본에 나눠 줍니다.
1 | |
1 2 3 4 5 6 7 8 9 10 11 | |
참고:
- 복제본끼리 KV 캐시를 공유하지 않으므로 요청은 배정된 복제본에서 끝까지 실행됩니다.
- 복제본마다 LPU가 한 장씩 필요합니다.
Qwen3-8B 복제본 2개를 LPU 2장에서 CPU 기준과 비교해 검증합니다.
디바이스 바인딩¶
각 워커는 시작할 때 자기가 고른 LPU가 런타임에 바인딩된 LPU와 같은지 확인합니다. 다르거나 요청한 LPU 번호가 없으면 두 번호를 함께 밝힌 오류로 멈춥니다.
다음¶
- 컨텍스트와 KV 캐시 — LPU마다 KV 캐시 크기 정하기
- 쿠버네티스 지원 — 여러 LPU 파드 배포