콘텐츠로 이동

Gemma-4 31B

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15

개요

google/gemma-4-31B-it를 vLLM HyperAccel로 실행합니다.

Gemma-4는 멀티모달 체크포인트로 배포됩니다. LPU에서는 --language-model-only로 원본 체크포인트를 그대로 **텍스트 모델**로 서빙하므로 변환한 체크포인트가 필요 없습니다.

LPU 야간 테스트(입력 64 + 출력 64 토큰, CPU 기준과 비교)와 동시 요청 8 · 16 · 32개의 메모리 압박 상황에서 검증합니다.

준비

설치를 마친 환경에서 시작합니다.

온라인 서빙

1. 서버 실행

1
vllm serve google/gemma-4-31B-it --language-model-only --max-model-len 4096 --no-enable-prefix-caching --no-async-scheduling

2. cURL로 요청

1
2
3
4
5
6
7
8
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "google/gemma-4-31B-it",
    "messages": [{"role": "user", "content": "프랑스의 수도는 어디인가요?"}],
    "max_tokens": 64,
    "temperature": 0
  }'

오프라인 추론

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
from vllm import LLM, SamplingParams

llm = LLM(
    model="google/gemma-4-31B-it",
    language_model_only=True,
    max_model_len=4096,
    dtype="bfloat16",
    enable_prefix_caching=False,
    async_scheduling=False,
)

messages = [{"role": "user", "content": "프랑스의 수도는 어디인가요?"}]
outputs = llm.chat(messages, SamplingParams(temperature=0, max_tokens=64))
print(outputs[0].outputs[0].text)

Gemma-4의 attention

Gemma-4에는 두 종류의 레이어가 섞여 있습니다. 1,024 토큰 sliding window 안만 보는 local 레이어와, 전체 컨텍스트를 보는 global 레이어입니다. 둘 다 LPU에서 **16,384 토큰**까지 실행합니다.

  • sliding-window attention을 켜는 스위치는 없습니다. 어떤 레이어가 local인지는 모델 설정이 정하고, 플러그인은 그 설정을 그대로 둡니다.
  • disable_sliding_window는 False로 둡니다.
  • hf_overrides로 sliding_window를 키우지 않습니다. 모델 본래의 1,024 토큰 window를 씁니다.
  • 컨텍스트 전체가 window 안에 들어가면(max_model_len <= 1024) 두 계산이 수학적으로 같으므로 자동으로 full attention을 씁니다.
1
llm = LLM(model="google/gemma-4-31B-it", language_model_only=True, max_model_len=1024, enable_prefix_caching=False, async_scheduling=False)

참고

  • 프롬프트 형식 — Gemma-4는 BOS 토큰이 필요합니다. 채팅 API는 자동으로 붙여 줍니다. Completions API나 llm.generate에 문장을 직접 넘길 때는 special token을 켠 상태로 두어야 합니다. 그렇지 않으면 모델이 프롬프트를 반복합니다.
  • 메모리 — Gemma-4의 레이어는 두 가지 attention head 폭을 씁니다. 플러그인은 KV 캐시를 좁은 폭으로 저장하고 넓은 레이어가 슬롯 여러 개를 쓰게 해, 모든 레이어를 넓은 폭으로 채울 때의 약 7/12 메모리만 씁니다.
  • Tied embedding — 출력 head가 embedding 가중치를 디바이스에서 공유하므로 사본을 따로 두지 않습니다.

다음