콘텐츠로 이동

양자화

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.6 · 최종 확인: 2026-11-13

개요

LPU는 양자화된 가중치를 LPU 내부 포맷으로 읽습니다. 이 포맷은 vLLM의 compressed-tensors 방식에 LPU 패킹 정보를 덧붙인 형태입니다. 공식 양자화 체크포인트를 Hugging Face 저장소 ID로 실행하면 vllm serve가 첫 실행 때 이 포맷으로 변환해 캐시하고, 이후 실행은 캐시를 읽습니다. 변환은 양자화 값과 scale을 그대로 보존하며 다시 양자화하지 않습니다.

모델 방식 원본 원본 레이아웃
EXAONE-4.5 33B INT4 LGAI-EXAONE/EXAONE-4.5-33B-AWQ compressed-tensors pack-quantized
Qwen3-8B INT4 Qwen/Qwen3-8B-AWQ AWQ
Qwen3-30B-A3B INT4 Qwen/Qwen3-30B-A3B-GPTQ-Int4 GPTQ
Qwen3-8B FP8 Qwen/Qwen3-8B-FP8 quant_method: fp8
Qwen3-30B-A3B FP8 Qwen/Qwen3-30B-A3B-FP8 quant_method: fp8

모두 vllm serve 첫 실행 때 자동으로 변환합니다. 양자화 플래그는 필요 없으며, 방식은 체크포인트 설정에서 읽습니다. activation과 KV 캐시는 bfloat16입니다. BF16 원본을 양자화하는 경로는 없으므로, 이미 양자화된 체크포인트를 원본으로 씁니다.

첫 실행 자동 변환

1
vllm serve Qwen/Qwen3-30B-A3B-FP8 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling

첫 실행에서 원본을 내려받아 LPU 내부 포맷으로 변환하고 <--download-dir 또는 Hugging Face 캐시>/hyperaccel/bertha-<int4|fp8>/<조직>--<모델>/<revision>-<hash>/에 저장합니다. 이후 실행은 이 캐시를 그대로 읽습니다. 캐시는 원본 commit SHA와 HART 버전별로 나뉘므로, 원본이나 HART가 바뀌면 새로 변환합니다. 같은 모델을 여러 프로세스가 동시에 시작해도 변환은 파일 잠금으로 한 번만 합니다.

디코더의 Q/K/V와 gate/up projection은 융합해 저장하고, MoE의 routed expert도 함께 패킹합니다. LM head·embedding·norm·vision tower는 원본 dtype 그대로 둡니다. tensor parallel size는 1만 지원합니다.

변환할 수 있는 원본

원본 config.json의 quantization_config가 원본 레이아웃을 알려주고, 그 레이아웃이 방식(INT4, FP8)을 정합니다. 다시 양자화하지 않고 값을 그대로 옮길 수 있는 원본만 변환하며, 그 밖의 원본은 가중치를 내려받기 전에 이유를 밝힌 오류로 거부합니다.

원본 레이아웃 방식 조건 모델
AWQ INT4 4-bit, group size 128, version=gemm, zero_point=true exaone4.5, qwen3, qwen3-moe
GPTQ INT4 4-bit, group size 128, desc_act=false, sym=true 위와 같음
compressed-tensors pack-quantized INT4 4-bit int, group size 128, symmetric, weight-only 위와 같음
quant_method: fp8 (공식 Qwen3 FP8) FP8 E4M3, weight_block_size=[128, 128], activation_scheme=dynamic qwen3, qwen3-moe
compressed-tensors float-quantized FP8 8-bit float(E4M3), group size 128, symmetric, weight-only 위와 같음

예를 들어 group size가 128이 아닌 원본, asymmetric이나 activation-ordered 양자화, 양자화된 lm_head, activation까지 양자화하는 compressed-tensors 원본(W8A8 등)은 거부합니다. BF16 원본과 이미 LPU 포맷으로 변환된 체크포인트는 변환 없이 그대로 로딩합니다.

로컬 디렉터리 원본

HF_HUB_OFFLINE=1이면 vLLM이 저장소 ID를 HF 캐시의 snapshot 경로로 바꾸는데, 이 경로는 저장소 ID와 commit SHA를 담고 있어 그대로 변환합니다. 그 밖의 로컬 디렉터리 원본은 commit SHA를 알 수 없어 자동 변환하지 않습니다. 이때는 아래 체크포인트 변환 CLI로 직접 변환한 뒤 그 결과를 실행합니다.

1
2
3
4
python -m vllm_hyperaccel.tools.convert_checkpoint <출력 디렉터리> --quant-method int4 \
  --source <원본 디렉터리> --source-revision <원본 commit SHA> \
  --source-model LGAI-EXAONE/EXAONE-4.5-33B-AWQ
vllm serve <출력 디렉터리> --language-model-only --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling

EXAONE-4.5 INT4

LGAI-EXAONE/EXAONE-4.5-33B-AWQ(compressed-tensors pack-quantized, 4-bit, group size 128, symmetric)를 Hugging Face 저장소 ID 그대로 실행합니다.

1
vllm serve LGAI-EXAONE/EXAONE-4.5-33B-AWQ --language-model-only --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling

지원 범위는 BF16 activation, tensor parallel size 1, 한 번에 요청 하나, 최대 컨텍스트 4,096 토큰입니다.

Qwen3 INT4

공식 INT4 체크포인트 Qwen/Qwen3-8B-AWQ(AWQ)와 Qwen/Qwen3-30B-A3B-GPTQ-Int4(GPTQ)를 저장소 ID 그대로 실행합니다.

1
2
vllm serve Qwen/Qwen3-8B-AWQ --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
vllm serve Qwen/Qwen3-30B-A3B-GPTQ-Int4 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling

LPU 디바이스 테스트는 입력 64 + 출력 64 토큰, 한 번에 요청 하나로 CPU 기준과 비교합니다.

Qwen3 FP8

공식 FP8 체크포인트 Qwen/Qwen3-8B-FP8과 Qwen/Qwen3-30B-A3B-FP8을 저장소 ID 그대로 실행합니다.

1
2
vllm serve Qwen/Qwen3-8B-FP8 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
vllm serve Qwen/Qwen3-30B-A3B-FP8 --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
1
2
3
from vllm import LLM

llm = LLM(model="Qwen/Qwen3-30B-A3B-FP8", max_model_len=2048, dtype="bfloat16", enable_prefix_caching=False, async_scheduling=False)

LPU의 FP8은 입력 채널 128개 group마다 출력 채널별 scale을 하나씩 둡니다. 공식 체크포인트의 128x128 block scale은 이 group scale을 출력 채널 128개에 같은 값으로 반복한 것이라, FP8 값을 바꾸지 않고 그대로 변환됩니다. 공식 체크포인트는 activation을 토큰마다 동적으로 FP8 양자화한다고 선언하지만 저장된 텐서가 없으므로, LPU는 activation을 bfloat16 그대로 계산합니다.

attention과 feed-forward(MoE는 expert) 행렬 가중치가 FP8이고 나머지 파라미터는 bfloat16입니다. LPU 디바이스 테스트는 입력 64 + 출력 64 토큰, 한 번에 요청 하나로 CPU 기준과 비교합니다.

이전 FP8 체크포인트

출력 채널마다 scale 하나를 두던 이전 FP8 체크포인트(BF16 원본을 LLM Compressor로 양자화한 결과, hyper-accel/Qwen3-30B-A3B-FP8-OC)는 더 이상 로딩하지 않습니다. 공식 Qwen/Qwen3-30B-A3B-FP8을 실행합니다.

체크포인트 변환 CLI

python -m vllm_hyperaccel.tools.convert_checkpoint는 첫 실행 자동 변환과 같은 변환기를 직접 실행합니다. 로컬 디렉터리 원본을 변환하거나, 변환 결과를 캐시가 아닌 지정한 디렉터리에 두고 싶을 때 씁니다. --quant-method로 방식을 고르고, --model은 생략하면 원본 config.json의 architectures로 판별합니다.

1
2
3
4
5
6
7
# 저장소 ID 원본: 모델 자동 판별
python -m vllm_hyperaccel.tools.convert_checkpoint <출력 디렉터리> --quant-method int4 \
  --source LGAI-EXAONE/EXAONE-4.5-33B-AWQ

# 모델을 명시할 수도 있습니다 (대소문자와 -/_ 는 무시: qwen3MoE == qwen3-moe)
python -m vllm_hyperaccel.tools.convert_checkpoint <출력 디렉터리> --model qwen3-moe --quant-method fp8 \
  --source Qwen/Qwen3-30B-A3B-FP8

변환이 끝나면 출력 디렉터리를 그대로 실행합니다.

1
vllm serve <출력 디렉터리> --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
--model --quant-method architectures
exaone4.5 int4 Exaone4_5_ForConditionalGeneration
qwen3 int4, fp8 Qwen3ForCausalLM
qwen3-moe int4, fp8 Qwen3MoeForCausalLM

원본은 변환할 수 있는 원본 표의 양자화된 체크포인트여야 합니다.

옵션 의미
output 변환한 체크포인트를 쓸 디렉터리. 비어 있거나 없어야 합니다
--quant-method 변환할 양자화 방식 (int4, fp8). 필수
--model 모델 계열. 생략하면 원본 config.json의 architectures로 판별합니다
--source Hugging Face 저장소 ID 또는 로컬 디렉터리. 필수
--source-revision 원본 commit SHA. 로컬 디렉터리 원본에 필요합니다
--source-model 출처 기록용 저장소 ID. 로컬 디렉터리 원본에 필요하며, 저장소 ID 원본이면 --source를 씁니다
--max-shard-size safetensors shard 크기(바이트)

지원하지 않는 모델이나 방식, --model과 원본 architectures의 불일치, 변환할 수 없는 원본은 가중치를 내려받기 전에 종료 코드 2로 실패합니다.

1
2
--model llama3 --quant-method int4    # error: argument --model: unsupported model 'llama3'; supported: exaone4.5, qwen3, qwen3-moe
--model exaone4.5 --quant-method fp8  # error: quant method 'fp8' is not supported for model 'exaone4.5'; supported: int4

다음