양자화¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.6 · 최종 확인: 2026-11-13
개요¶
LPU는 양자화된 가중치를 LPU 내부 포맷으로 읽습니다. 이 포맷은 vLLM의 compressed-tensors 방식에 LPU 패킹 정보를
덧붙인 형태입니다. 공식 양자화 체크포인트를 Hugging Face 저장소 ID로 실행하면 vllm serve가 첫 실행 때 이 포맷으로
변환해 캐시하고, 이후 실행은 캐시를 읽습니다. 변환은 양자화 값과 scale을 그대로 보존하며 다시 양자화하지 않습니다.
| 모델 | 방식 | 원본 | 원본 레이아웃 |
|---|---|---|---|
| EXAONE-4.5 33B | INT4 | LGAI-EXAONE/EXAONE-4.5-33B-AWQ |
compressed-tensors pack-quantized |
| Qwen3-8B | INT4 | Qwen/Qwen3-8B-AWQ |
AWQ |
| Qwen3-30B-A3B | INT4 | Qwen/Qwen3-30B-A3B-GPTQ-Int4 |
GPTQ |
| Qwen3-8B | FP8 | Qwen/Qwen3-8B-FP8 |
quant_method: fp8 |
| Qwen3-30B-A3B | FP8 | Qwen/Qwen3-30B-A3B-FP8 |
quant_method: fp8 |
모두 vllm serve 첫 실행 때 자동으로 변환합니다. 양자화 플래그는 필요 없으며, 방식은 체크포인트 설정에서 읽습니다.
activation과 KV 캐시는 bfloat16입니다. BF16 원본을 양자화하는 경로는 없으므로, 이미 양자화된 체크포인트를
원본으로 씁니다.
첫 실행 자동 변환¶
1 | |
첫 실행에서 원본을 내려받아 LPU 내부 포맷으로 변환하고
<--download-dir 또는 Hugging Face 캐시>/hyperaccel/bertha-<int4|fp8>/<조직>--<모델>/<revision>-<hash>/에
저장합니다. 이후 실행은 이 캐시를 그대로 읽습니다. 캐시는 원본 commit SHA와 HART 버전별로 나뉘므로, 원본이나
HART가 바뀌면 새로 변환합니다. 같은 모델을 여러 프로세스가 동시에 시작해도 변환은 파일 잠금으로 한 번만 합니다.
디코더의 Q/K/V와 gate/up projection은 융합해 저장하고, MoE의 routed expert도 함께 패킹합니다. LM head·embedding·norm·vision tower는 원본 dtype 그대로 둡니다. tensor parallel size는 1만 지원합니다.
변환할 수 있는 원본¶
원본 config.json의 quantization_config가 원본 레이아웃을 알려주고, 그 레이아웃이 방식(INT4, FP8)을 정합니다.
다시 양자화하지 않고 값을 그대로 옮길 수 있는 원본만 변환하며, 그 밖의 원본은 가중치를 내려받기 전에 이유를
밝힌 오류로 거부합니다.
| 원본 레이아웃 | 방식 | 조건 | 모델 |
|---|---|---|---|
| AWQ | INT4 | 4-bit, group size 128, version=gemm, zero_point=true |
exaone4.5, qwen3, qwen3-moe |
| GPTQ | INT4 | 4-bit, group size 128, desc_act=false, sym=true |
위와 같음 |
compressed-tensors pack-quantized |
INT4 | 4-bit int, group size 128, symmetric, weight-only | 위와 같음 |
quant_method: fp8 (공식 Qwen3 FP8) |
FP8 | E4M3, weight_block_size=[128, 128], activation_scheme=dynamic |
qwen3, qwen3-moe |
compressed-tensors float-quantized |
FP8 | 8-bit float(E4M3), group size 128, symmetric, weight-only | 위와 같음 |
예를 들어 group size가 128이 아닌 원본, asymmetric이나 activation-ordered 양자화, 양자화된 lm_head,
activation까지 양자화하는 compressed-tensors 원본(W8A8 등)은 거부합니다. BF16 원본과 이미 LPU 포맷으로 변환된
체크포인트는 변환 없이 그대로 로딩합니다.
로컬 디렉터리 원본¶
HF_HUB_OFFLINE=1이면 vLLM이 저장소 ID를 HF 캐시의 snapshot 경로로 바꾸는데, 이 경로는 저장소 ID와 commit SHA를
담고 있어 그대로 변환합니다. 그 밖의 로컬 디렉터리 원본은 commit SHA를 알 수 없어 자동 변환하지 않습니다. 이때는
아래 체크포인트 변환 CLI로 직접 변환한 뒤 그 결과를 실행합니다.
1 2 3 4 | |
EXAONE-4.5 INT4¶
LGAI-EXAONE/EXAONE-4.5-33B-AWQ(compressed-tensors pack-quantized, 4-bit, group size 128, symmetric)를
Hugging Face 저장소 ID 그대로 실행합니다.
1 | |
지원 범위는 BF16 activation, tensor parallel size 1, 한 번에 요청 하나, 최대 컨텍스트 4,096 토큰입니다.
Qwen3 INT4¶
공식 INT4 체크포인트 Qwen/Qwen3-8B-AWQ(AWQ)와 Qwen/Qwen3-30B-A3B-GPTQ-Int4(GPTQ)를 저장소 ID 그대로
실행합니다.
1 2 | |
LPU 디바이스 테스트는 입력 64 + 출력 64 토큰, 한 번에 요청 하나로 CPU 기준과 비교합니다.
Qwen3 FP8¶
공식 FP8 체크포인트 Qwen/Qwen3-8B-FP8과 Qwen/Qwen3-30B-A3B-FP8을 저장소 ID 그대로 실행합니다.
1 2 | |
1 2 3 | |
LPU의 FP8은 입력 채널 128개 group마다 출력 채널별 scale을 하나씩 둡니다. 공식 체크포인트의 128x128 block scale은
이 group scale을 출력 채널 128개에 같은 값으로 반복한 것이라, FP8 값을 바꾸지 않고 그대로 변환됩니다. 공식
체크포인트는 activation을 토큰마다 동적으로 FP8 양자화한다고 선언하지만 저장된 텐서가 없으므로, LPU는
activation을 bfloat16 그대로 계산합니다.
attention과 feed-forward(MoE는 expert) 행렬 가중치가 FP8이고 나머지 파라미터는 bfloat16입니다. LPU 디바이스
테스트는 입력 64 + 출력 64 토큰, 한 번에 요청 하나로 CPU 기준과 비교합니다.
이전 FP8 체크포인트
출력 채널마다 scale 하나를 두던 이전 FP8 체크포인트(BF16 원본을 LLM Compressor로 양자화한 결과,
hyper-accel/Qwen3-30B-A3B-FP8-OC)는 더 이상 로딩하지 않습니다. 공식 Qwen/Qwen3-30B-A3B-FP8을 실행합니다.
체크포인트 변환 CLI¶
python -m vllm_hyperaccel.tools.convert_checkpoint는 첫 실행 자동 변환과 같은 변환기를 직접 실행합니다. 로컬
디렉터리 원본을 변환하거나, 변환 결과를 캐시가 아닌 지정한 디렉터리에 두고 싶을 때 씁니다. --quant-method로
방식을 고르고, --model은 생략하면 원본 config.json의 architectures로 판별합니다.
1 2 3 4 5 6 7 | |
변환이 끝나면 출력 디렉터리를 그대로 실행합니다.
1 | |
--model |
--quant-method |
architectures |
|---|---|---|
exaone4.5 |
int4 |
Exaone4_5_ForConditionalGeneration |
qwen3 |
int4, fp8 |
Qwen3ForCausalLM |
qwen3-moe |
int4, fp8 |
Qwen3MoeForCausalLM |
원본은 변환할 수 있는 원본 표의 양자화된 체크포인트여야 합니다.
| 옵션 | 의미 |
|---|---|
output |
변환한 체크포인트를 쓸 디렉터리. 비어 있거나 없어야 합니다 |
--quant-method |
변환할 양자화 방식 (int4, fp8). 필수 |
--model |
모델 계열. 생략하면 원본 config.json의 architectures로 판별합니다 |
--source |
Hugging Face 저장소 ID 또는 로컬 디렉터리. 필수 |
--source-revision |
원본 commit SHA. 로컬 디렉터리 원본에 필요합니다 |
--source-model |
출처 기록용 저장소 ID. 로컬 디렉터리 원본에 필요하며, 저장소 ID 원본이면 --source를 씁니다 |
--max-shard-size |
safetensors shard 크기(바이트) |
지원하지 않는 모델이나 방식, --model과 원본 architectures의 불일치, 변환할 수 없는 원본은 가중치를 내려받기
전에 종료 코드 2로 실패합니다.
1 2 | |