Gemma-4 31B¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15
개요¶
google/gemma-4-31B-it를 vLLM HyperAccel로 실행합니다.
Gemma-4는 멀티모달 체크포인트로 배포됩니다. LPU에서는 --language-model-only로 원본 체크포인트를 그대로
**텍스트 모델**로 서빙하므로 변환한 체크포인트가 필요 없습니다.
LPU 야간 테스트(입력 64 + 출력 64 토큰, CPU 기준과 비교)와 동시 요청 8 · 16 · 32개의 메모리 압박 상황에서 검증합니다.
준비¶
설치를 마친 환경에서 시작합니다.
온라인 서빙¶
1. 서버 실행¶
1 | |
2. cURL로 요청¶
1 2 3 4 5 6 7 8 | |
오프라인 추론¶
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | |
Gemma-4의 attention¶
Gemma-4에는 두 종류의 레이어가 섞여 있습니다. 1,024 토큰 sliding window 안만 보는 local 레이어와, 전체 컨텍스트를 보는 global 레이어입니다. 둘 다 LPU에서 **16,384 토큰**까지 실행합니다.
- sliding-window attention을 켜는 스위치는 없습니다. 어떤 레이어가 local인지는 모델 설정이 정하고, 플러그인은 그 설정을 그대로 둡니다.
disable_sliding_window는False로 둡니다.hf_overrides로sliding_window를 키우지 않습니다. 모델 본래의 1,024 토큰 window를 씁니다.- 컨텍스트 전체가 window 안에 들어가면(
max_model_len <= 1024) 두 계산이 수학적으로 같으므로 자동으로 full attention을 씁니다.
1 | |
참고¶
- 프롬프트 형식 — Gemma-4는 BOS 토큰이 필요합니다. 채팅 API는 자동으로 붙여 줍니다. Completions API나
llm.generate에 문장을 직접 넘길 때는 special token을 켠 상태로 두어야 합니다. 그렇지 않으면 모델이 프롬프트를 반복합니다. - 메모리 — Gemma-4의 레이어는 두 가지 attention head 폭을 씁니다. 플러그인은 KV 캐시를 좁은 폭으로 저장하고 넓은 레이어가 슬롯 여러 개를 쓰게 해, 모든 레이어를 넓은 폭으로 채울 때의 약 7/12 메모리만 씁니다.
- Tied embedding — 출력 head가 embedding 가중치를 디바이스에서 공유하므로 사본을 따로 두지 않습니다.
다음¶
- EXAONE-4.5 33B —
--language-model-only로 서빙하는 또 다른 모델 - 컨텍스트와 KV 캐시
- 지원 기능