콘텐츠로 이동

Qwen3 30B-A3B (MoE)

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15

개요

Mixture-of-Experts 모델 Qwen/Qwen3-30B-A3B를 bfloat16과 양자화 가중치(FP8, INT4)로 실행합니다.

MoE 모델은 레이어마다 feed-forward 블록 대신 작은 "expert" 네트워크를 여럿 두고, 토큰마다 그중 몇 개만 실행합니다. Qwen3-30B-A3B는 expert 128개 중 토큰당 8개를 씁니다. LPU에서는 한 배치가 고른 expert들을 커널 하나로 함께 실행합니다.

LPU 야간 테스트에서 CPU 기준과 토큰 단위로 비교해 검증합니다.

준비

설치를 마친 환경에서 시작합니다.

BF16

1. 서버 실행

1
vllm serve Qwen/Qwen3-30B-A3B --max-model-len 2048 --dtype bfloat16 --no-enable-prefix-caching --no-async-scheduling

2. cURL로 요청

1
2
3
4
5
6
7
8
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-30B-A3B",
    "messages": [{"role": "user", "content": "프랑스의 수도는 어디인가요?"}],
    "max_tokens": 64,
    "temperature": 0
  }'

오프라인 추론

1
2
3
4
5
6
from vllm import LLM, SamplingParams

llm = LLM(model="Qwen/Qwen3-30B-A3B", max_model_len=2048, dtype="bfloat16", enable_prefix_caching=False, async_scheduling=False)

outputs = llm.generate("The capital of France is", SamplingParams(temperature=0, max_tokens=16))
print(outputs[0].outputs[0].text)

양자화 가중치

공식 양자화 체크포인트를 저장소 ID 그대로 실행합니다. 첫 실행에서 LPU 포맷으로 자동 변환해 캐시에 저장하고, 이후 실행은 캐시를 읽습니다. 양자화 플래그는 필요 없습니다.

1
2
3
4
5
# FP8
vllm serve Qwen/Qwen3-30B-A3B-FP8 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling

# INT4
vllm serve Qwen/Qwen3-30B-A3B-GPTQ-Int4 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
1
2
3
from vllm import LLM

llm = LLM(model="Qwen/Qwen3-30B-A3B-FP8", max_model_len=2048, dtype="bfloat16", enable_prefix_caching=False, async_scheduling=False)

attention과 expert 행렬 가중치가 양자화되어 있고 나머지 파라미터는 bfloat16입니다. 변환 캐시와 변환할 수 있는 원본은 양자화에 있습니다.

참고

  • 아키텍처 — MoE 커널은 Qwen3-30B-A3B의 expert 구성(expert 128개, top-8)에 맞춰 만들어졌습니다.
  • FP8, INT4 — LPU 디바이스 테스트는 입력 64 + 출력 64 토큰, 한 번에 요청 하나로 CPU 기준과 비교합니다.
  • 여러 LPU — PP와 DP는 아직 dense 모델(Qwen3-8B)로만 검증했습니다. 여러 LPU 사용하기를 참고합니다.

다음