콘텐츠로 이동

LPU 샘플링

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15

개요

vocabulary가 커질수록 다음 토큰을 고르는 샘플링이 전체 추론 시간에서 차지하는 몫이 커집니다. logits 전체를 호스트로 복사해 고르면 스텝마다 vocabulary 크기만큼의 전송이 생깁니다.

vLLM HyperAccel은 **greedy 디코딩과 temperature / top_k / top_p 샘플링을 LPU에서 실행**하고, 고른 토큰 id만 호스트로 돌려보냅니다.

켜는 방법

기본으로 켜져 있으며 설정할 것이 없습니다. 표준 vLLM SamplingParams나 OpenAI API 요청 필드를 그대로 씁니다.

1
2
3
4
5
6
7
8
from vllm import LLM, SamplingParams

llm = LLM(model="Qwen/Qwen3-8B", max_model_len=4096, enable_prefix_caching=False, async_scheduling=False)

greedy = SamplingParams(temperature=0, max_tokens=50)
random = SamplingParams(temperature=0.7, top_p=0.8, top_k=20, seed=0, max_tokens=50)

outputs = llm.generate(["The capital of France is", "Write a haiku about the sea."], greedy)

greedy 요청과 랜덤 샘플링 요청이 한 배치에 섞여도 LPU에서 함께 처리합니다.

지원 파라미터

파라미터 처리 위치 설명
temperature LPU 0이면 greedy 디코딩
top_k LPU
top_p LPU
seed LPU 같은 seed면 같은 결과
stop, max_tokens, n vLLM vLLM 엔진이 처리

요청을 받기 전에 플랫폼이 샘플링 옵션을 확인합니다. 위 목록에 없는 옵션을 쓴 요청은 엔진 깊은 곳에서 실패하지 않고, 제출 시점에 옵션 이름을 담은 오류로 돌아옵니다.

Greedy 동점

여러 토큰의 logit이 똑같이 가장 높으면, LPU는 torch.argmax와 다른 토큰을 고를 수 있습니다. LPU는 bfloat16으로 계산하므로 점수가 거의 같은 두 토큰 중 다른 쪽을 고르면 그 뒤로 문장이 갈라질 수 있습니다. 그 밖의 출력은 CPU 기준과 같습니다.

다음