콘텐츠로 이동

EXAONE-4.5 33B

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15

개요

LGAI-EXAONE/EXAONE-4.5-33B를 vLLM HyperAccel로 실행합니다.

Gemma-4와 마찬가지로 EXAONE-4.5는 멀티모달 체크포인트로 배포되며, LPU에서는 --language-model-only로 원본 체크포인트를 그대로 **텍스트 모델**로 서빙합니다.

LPU에서 짧은 프롬프트와 4,096 토큰 전체 컨텍스트로 CPU 기준과 비교해 검증합니다.

준비

설치를 마친 환경에서 시작합니다.

온라인 서빙

1. 서버 실행

1
2
3
4
5
6
vllm serve LGAI-EXAONE/EXAONE-4.5-33B \
  --language-model-only \
  --max-model-len 4096 \
  --max-num-seqs 1 \
  --no-enable-prefix-caching \
  --no-async-scheduling

2. cURL로 요청

1
2
3
4
5
6
7
8
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "LGAI-EXAONE/EXAONE-4.5-33B",
    "messages": [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}],
    "max_tokens": 64,
    "temperature": 0
  }'

오프라인 추론

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
from vllm import LLM, SamplingParams

llm = LLM(
    model="LGAI-EXAONE/EXAONE-4.5-33B",
    language_model_only=True,
    max_model_len=4096,
    max_num_seqs=1,
    dtype="bfloat16",
    enable_prefix_caching=False,
    async_scheduling=False,
)

messages = [{"role": "user", "content": "대한민국의 수도는 어디인가요?"}]
outputs = llm.chat(messages, SamplingParams(temperature=0, max_tokens=64))
print(outputs[0].outputs[0].text)

INT4

공식 INT4 체크포인트 LGAI-EXAONE/EXAONE-4.5-33B-AWQ를 저장소 ID 그대로 실행합니다. 첫 실행에서 LPU 포맷으로 자동 변환해 캐시에 저장하고, 이후 실행은 캐시를 읽습니다.

1
vllm serve LGAI-EXAONE/EXAONE-4.5-33B-AWQ --language-model-only --max-model-len 4096 --max-num-seqs 1 --no-enable-prefix-caching --no-async-scheduling

로컬 디렉터리 원본을 쓰는 경우와 변환 캐시는 양자화에 있습니다.

지원 범위

dtype bfloat16, INT4 가중치
동시 요청 한 번에 하나 (--max-num-seqs 1)
컨텍스트 최대 4,096 토큰

EXAONE-4.5에는 4,096 토큰 window의 local 레이어와 전체를 보는 global 레이어가 있습니다. 이 모델의 attention 레이아웃에 쓰는 LPU 커널은 window mask를 적용하지 않으므로, 모델 정의와 같은 결과를 내는 4,096 토큰까지를 지원합니다. 서버는 시작할 때 max_model_len이 4,096을 넘으면 오류로 알립니다.

스텝당 토큰 예산보다 긴 프롬프트는 여러 조각으로 나눠 읽습니다. 4,096 토큰 검증도 이 방식으로 컨텍스트를 채웁니다.

다음