문제 해결¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15
자주 만나는 문제와 해결 방법입니다. 여기서 해결되지 않으면 taeseo.um@hyperaccel.ai 또는 seunghun.shin@hyperaccel.ai로 문의하세요.
1. 서버가 준비되기까지 오래 걸림¶
증상¶
vllm serve를 실행한 뒤 Application startup complete.가 나오기까지 오래 걸립니다.
원인¶
가중치를 올린 뒤 시작 단계에서 모델을 LPU용으로 컴파일합니다. 컴파일은 시작할 때 한 번만 일어납니다.
해결¶
정상입니다. 컴파일이 끝나야 /health가 응답하므로, 쿠버네티스에서는 readiness probe의 초기 지연을 길게
잡습니다(쿠버네티스 지원).
2. 병렬화 설정 오류¶
증상¶
1 | |
원인¶
tensor_parallel_size가 1이 아니거나, pipeline_parallel_size가 1, 2, 4가 아닙니다.
해결¶
--tensor-parallel-size를 지우고, 여러 LPU는 --pipeline-parallel-size 2 또는 4, 혹은
--data-parallel-size로 씁니다. PP는 vLLM 기본 multiprocessing executor로 실행합니다.
여러 LPU 사용하기를 참고합니다.
3. LPU 수 부족¶
증상¶
1 | |
원인¶
노드에 있는 것보다 많은 LPU를 요청했습니다. PP 크기 N과 DP 크기 N은 각각 LPU N장이 필요합니다.
해결¶
hyperaccel-smi로 보이는 카드 수를 확인하고 병렬 크기를 맞춥니다. 컨테이너라면 필요한 카드를 모두 넘겼는지
(--device hyperaccel.ai/lpu=all) 확인합니다.
4. 컨텍스트 길이 오류¶
증상¶
1 | |
또는 sliding window에 관한 경고와 함께 max_model_len이 줄어듭니다.
원인¶
최대 컨텍스트는 16,384 토큰입니다. sliding-window 레이어가 있는 모델 중 LPU에 해당 커널이 없는 모델은 결과가 정확하도록 컨텍스트를 window 크기로 제한합니다. Gemma-4는 해당하지 않습니다.
해결¶
--max-model-len을 16,384 이하로 낮춥니다. 모델별 최대값은 지원 모델을 참고합니다.
5. 플랫폼 플러그인 충돌¶
증상¶
1 | |
또는
1 | |
원인¶
vLLM은 플랫폼 플러그인을 하나만 허용합니다. 같은 환경에서 다른 플랫폼 플러그인도 활성화되었거나, lpu가 아닌
디바이스를 지정했습니다.
해결¶
VLLM_USE_HA_PLATFORM은 설정하지 않고 둡니다. 디바이스를 직접 지정하는 옵션을 지웁니다.
6. 샘플링 옵션 오류¶
증상¶
1 | |
원인¶
요청에 LPU 샘플링이 지원하지 않는 옵션이 들어 있습니다.
해결¶
오류 메시지에 나온 옵션을 요청에서 지웁니다. 쓸 수 있는 파라미터는 LPU 샘플링에 있습니다.
7. 시작할 때 나오는 경고¶
| 경고 | 의미 |
|---|---|
float16 is not supported on the LPU; forcing model dtype to bfloat16 |
float16 체크포인트를 bfloat16으로 실행합니다. Llama-2에서 정상 |
enforce_eager=True is not supported. Setting enforce_eager=False |
모델은 항상 컴파일해 실행합니다 |
Block size N is not supported on EVT0; using 1 |
--block-size는 효과가 없습니다. KV 캐시는 한 토큰 단위로 페이징합니다 |
Pin memory is not supported on vllm-hyperaccel |
참고용 |
8. 동시 요청이 --max-num-seqs보다 적음¶
원인¶
동시 요청은 KV 캐시 메모리로도 제한됩니다. 요청마다 --max-model-len에 맞는 영역을 예약합니다.
해결¶
--max-model-len을 실제로 필요한 만큼으로 낮춥니다. 컨텍스트와 KV 캐시를 참고합니다.
9. 요청이 선점됨¶
원인¶
생성 도중 KV 캐시가 가득 차서 요청 하나를 잠시 멈췄다가 다시 실행합니다. 결과는 같고 처리량만 줄어듭니다.
해결¶
--max-num-seqs나 --max-model-len을 낮춥니다.
10. GPU나 CPU 실행과 출력이 조금 다름¶
원인¶
LPU는 bfloat16으로 계산합니다. 두 토큰의 점수가 거의 같으면 LPU가 다른 쪽을 고를 수 있고, 그 뒤로 문장이
갈라집니다.
해결¶
정상입니다. 하드웨어 테스트도 같은 기준 — 매 스텝 CPU의 선택과 비교하고 근소한 동점은 허용 — 으로 판정합니다.
11. 프로파일링 트레이스가 비어 있음¶
원인¶
haprof로vllm serve를 실행했는데--profile-children을 켜지 않았습니다.- 프로세스를 강제 종료했습니다. 트레이스는 정상 종료할 때 기록됩니다.
torch.profiler를 워커가 없는 프로세스에서 열었습니다.
해결¶
프로파일링의 방법대로 --profile-children을 켜거나, VLLM_ENABLE_V1_MULTIPROCESSING=0으로
워커를 같은 프로세스에서 실행하거나, collective_rpc로 워커마다 프로파일러를 엽니다. 서버는 Ctrl+C로 종료합니다.