콘텐츠로 이동

여러 LPU 사용하기

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15

개요

vLLM은 엔진 워커마다 프로세스를 하나씩 띄우고, vLLM HyperAccel 워커 하나는 LPU 하나를 맡습니다. 따라서 여러 LPU로 늘릴 때는 vLLM의 표준 병렬화 옵션을 그대로 씁니다.

Pipeline Parallelism (PP) Data Parallelism (DP)
하는 일 모델 하나의 레이어를 여러 LPU에 나눕니다 LPU마다 모델 전체 복제본을 하나씩 둡니다
쓰는 경우 모델이 LPU 한 장에 들어가지 않을 때 처리량을 늘릴 때
크기 2 또는 4 LPU 수만큼
검증 Qwen3-8B, LPU 2장과 4장 Qwen3-8B, 복제본 2개
옵션 --pipeline-parallel-size --data-parallel-size

Pipeline Parallelism (PP)

모델의 레이어를 연속된 stage로 나눠 LPU마다 하나씩 맡깁니다. 스텝마다 각 stage가 자기 레이어를 실행하고 activation을 다음 stage로 넘기며, 마지막 stage가 logits를 계산하고 샘플링합니다. LPU 사이의 activation 전송은 HyperAccel 집합 통신 라이브러리 LCCL이 맡습니다.

1
vllm serve Qwen/Qwen3-8B --max-model-len 16384 --pipeline-parallel-size 2 --no-enable-prefix-caching --no-async-scheduling
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
from vllm import LLM, SamplingParams

llm = LLM(
    model="Qwen/Qwen3-8B",
    max_model_len=16384,
    pipeline_parallel_size=2,   # 또는 4
    dtype="bfloat16",
    enable_prefix_caching=False,
    async_scheduling=False,
)
outputs = llm.generate("The capital of France is", SamplingParams(temperature=0, max_tokens=8))
print(outputs[0].outputs[0].text)

요구 사항:

  • pipeline_parallel_size는 2 또는 4이고, tensor_parallel_size는 1입니다.
  • vLLM 기본 실행기인 multiprocessing executor를 씁니다.
  • stage r은 lpu:<r>에서 실행되므로 노드에 stage 수 이상의 LPU가 있어야 합니다.

Qwen3-8B로 LPU 2장과 4장에서 CPU 기준과 비교해 검증합니다.

Data Parallelism (DP)

복제본 하나하나가 자기 스케줄러와 KV 캐시를 가진 독립 엔진이며, 복제본 r은 lpu:<r>에 묶입니다. vLLM 프런트엔드가 들어오는 요청을 복제본에 나눠 줍니다.

1
vllm serve Qwen/Qwen3-8B --max-model-len 16384 --data-parallel-size 2 --no-enable-prefix-caching --no-async-scheduling
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
from vllm import AsyncEngineArgs
from vllm.v1.engine.async_llm import AsyncLLM

engine = AsyncLLM.from_engine_args(
    AsyncEngineArgs(
        model="Qwen/Qwen3-8B",
        data_parallel_size=2,
        dtype="bfloat16",
        enable_prefix_caching=False,
    )
)

참고:

  • 복제본끼리 KV 캐시를 공유하지 않으므로 요청은 배정된 복제본에서 끝까지 실행됩니다.
  • 복제본마다 LPU가 한 장씩 필요합니다.

Qwen3-8B 복제본 2개를 LPU 2장에서 CPU 기준과 비교해 검증합니다.

디바이스 바인딩

각 워커는 시작할 때 자기가 고른 LPU가 런타임에 바인딩된 LPU와 같은지 확인합니다. 다르거나 요청한 LPU 번호가 없으면 두 번호를 함께 밝힌 오류로 멈춥니다.

다음