EXAONE-4.5 33B¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15
개요¶
LGAI-EXAONE/EXAONE-4.5-33B를 vLLM HyperAccel로 실행합니다.
Gemma-4와 마찬가지로 EXAONE-4.5는 멀티모달 체크포인트로 배포되며, LPU에서는 --language-model-only로 원본
체크포인트를 그대로 **텍스트 모델**로 서빙합니다.
LPU에서 짧은 프롬프트와 4,096 토큰 전체 컨텍스트로 CPU 기준과 비교해 검증합니다.
준비¶
설치를 마친 환경에서 시작합니다.
온라인 서빙¶
1. 서버 실행¶
1 2 3 4 5 6 | |
2. cURL로 요청¶
1 2 3 4 5 6 7 8 | |
오프라인 추론¶
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | |
INT4¶
공식 INT4 체크포인트 LGAI-EXAONE/EXAONE-4.5-33B-AWQ를 저장소 ID 그대로 실행합니다. 첫 실행에서 LPU 포맷으로
자동 변환해 캐시에 저장하고, 이후 실행은 캐시를 읽습니다.
1 | |
로컬 디렉터리 원본을 쓰는 경우와 변환 캐시는 양자화에 있습니다.
지원 범위¶
| dtype | bfloat16, INT4 가중치 |
| 동시 요청 | 한 번에 하나 (--max-num-seqs 1) |
| 컨텍스트 | 최대 4,096 토큰 |
EXAONE-4.5에는 4,096 토큰 window의 local 레이어와 전체를 보는 global 레이어가 있습니다. 이 모델의 attention
레이아웃에 쓰는 LPU 커널은 window mask를 적용하지 않으므로, 모델 정의와 같은 결과를 내는 4,096 토큰까지를
지원합니다. 서버는 시작할 때 max_model_len이 4,096을 넘으면 오류로 알립니다.
스텝당 토큰 예산보다 긴 프롬프트는 여러 조각으로 나눠 읽습니다. 4,096 토큰 검증도 이 방식으로 컨텍스트를 채웁니다.
다음¶
- 양자화
- Gemma-4 31B —
--language-model-only로 서빙하는 또 다른 모델 - 지원 기능