Qwen3 30B-A3B (MoE)
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15
개요
Mixture-of-Experts 모델 Qwen/Qwen3-30B-A3B를 bfloat16과 양자화 가중치(FP8, INT4)로 실행합니다.
MoE 모델은 레이어마다 feed-forward 블록 대신 작은 "expert" 네트워크를 여럿 두고, 토큰마다 그중 몇 개만
실행합니다. Qwen3-30B-A3B는 expert 128개 중 토큰당 8개를 씁니다. LPU에서는 한 배치가 고른 expert들을 커널
하나로 함께 실행합니다.
LPU 야간 테스트에서 CPU 기준과 토큰 단위로 비교해 검증합니다.
준비
설치를 마친 환경에서 시작합니다.
BF16
1. 서버 실행
| vllm serve Qwen/Qwen3-30B-A3B --max-model-len 2048 --dtype bfloat16 --no-enable-prefix-caching --no-async-scheduling
|
2. cURL로 요청
| curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen3-30B-A3B",
"messages": [{"role": "user", "content": "프랑스의 수도는 어디인가요?"}],
"max_tokens": 64,
"temperature": 0
}'
|
오프라인 추론
| from vllm import LLM, SamplingParams
llm = LLM(model="Qwen/Qwen3-30B-A3B", max_model_len=2048, dtype="bfloat16", enable_prefix_caching=False, async_scheduling=False)
outputs = llm.generate("The capital of France is", SamplingParams(temperature=0, max_tokens=16))
print(outputs[0].outputs[0].text)
|
양자화 가중치
공식 양자화 체크포인트를 저장소 ID 그대로 실행합니다. 첫 실행에서 LPU 포맷으로 자동 변환해 캐시에 저장하고, 이후
실행은 캐시를 읽습니다. 양자화 플래그는 필요 없습니다.
| # FP8
vllm serve Qwen/Qwen3-30B-A3B-FP8 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
# INT4
vllm serve Qwen/Qwen3-30B-A3B-GPTQ-Int4 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
|
| from vllm import LLM
llm = LLM(model="Qwen/Qwen3-30B-A3B-FP8", max_model_len=2048, dtype="bfloat16", enable_prefix_caching=False, async_scheduling=False)
|
attention과 expert 행렬 가중치가 양자화되어 있고 나머지 파라미터는 bfloat16입니다. 변환 캐시와 변환할 수 있는
원본은 양자화에 있습니다.
참고
- 아키텍처 — MoE 커널은 Qwen3-30B-A3B의 expert 구성(expert 128개, top-8)에 맞춰 만들어졌습니다.
- FP8, INT4 — LPU 디바이스 테스트는 입력 64 + 출력 64 토큰, 한 번에 요청 하나로 CPU 기준과 비교합니다.
- 여러 LPU — PP와 DP는 아직 dense 모델(Qwen3-8B)로만 검증했습니다. 여러 LPU 사용하기를
참고합니다.
다음