LPU 샘플링¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15
개요¶
vocabulary가 커질수록 다음 토큰을 고르는 샘플링이 전체 추론 시간에서 차지하는 몫이 커집니다. logits 전체를 호스트로 복사해 고르면 스텝마다 vocabulary 크기만큼의 전송이 생깁니다.
vLLM HyperAccel은 **greedy 디코딩과 temperature / top_k / top_p 샘플링을 LPU에서 실행**하고, 고른 토큰
id만 호스트로 돌려보냅니다.
켜는 방법¶
기본으로 켜져 있으며 설정할 것이 없습니다. 표준 vLLM SamplingParams나 OpenAI API 요청 필드를 그대로 씁니다.
1 2 3 4 5 6 7 8 | |
greedy 요청과 랜덤 샘플링 요청이 한 배치에 섞여도 LPU에서 함께 처리합니다.
지원 파라미터¶
| 파라미터 | 처리 위치 | 설명 |
|---|---|---|
temperature |
LPU | 0이면 greedy 디코딩 |
top_k |
LPU | |
top_p |
LPU | |
seed |
LPU | 같은 seed면 같은 결과 |
stop, max_tokens, n |
vLLM | vLLM 엔진이 처리 |
요청을 받기 전에 플랫폼이 샘플링 옵션을 확인합니다. 위 목록에 없는 옵션을 쓴 요청은 엔진 깊은 곳에서 실패하지 않고, 제출 시점에 옵션 이름을 담은 오류로 돌아옵니다.
Greedy 동점¶
여러 토큰의 logit이 똑같이 가장 높으면, LPU는 torch.argmax와 다른 토큰을 고를 수 있습니다. LPU는
bfloat16으로 계산하므로 점수가 거의 같은 두 토큰 중 다른 쪽을 고르면 그 뒤로 문장이 갈라질 수 있습니다.
그 밖의 출력은 CPU 기준과 같습니다.