콘텐츠로 이동

문제 해결

문서 상태

소유: LLMOps · 기준: vLLM HyperAccel 0.0.5 · 최종 확인: 2026-10-15

자주 만나는 문제와 해결 방법입니다. 여기서 해결되지 않으면 taeseo.um@hyperaccel.ai 또는 seunghun.shin@hyperaccel.ai로 문의하세요.

1. 서버가 준비되기까지 오래 걸림

증상

vllm serve를 실행한 뒤 Application startup complete.가 나오기까지 오래 걸립니다.

원인

가중치를 올린 뒤 시작 단계에서 모델을 LPU용으로 컴파일합니다. 컴파일은 시작할 때 한 번만 일어납니다.

해결

정상입니다. 컴파일이 끝나야 /health가 응답하므로, 쿠버네티스에서는 readiness probe의 초기 지연을 길게 잡습니다(쿠버네티스 지원).

2. 병렬화 설정 오류

증상

1
vllm-hyperaccel supports only PP=1, PP=2, or PP=4 with TP=1

원인

tensor_parallel_size가 1이 아니거나, pipeline_parallel_size가 1, 2, 4가 아닙니다.

해결

--tensor-parallel-size를 지우고, 여러 LPU는 --pipeline-parallel-size 2 또는 4, 혹은 --data-parallel-size로 씁니다. PP는 vLLM 기본 multiprocessing executor로 실행합니다. 여러 LPU 사용하기를 참고합니다.

3. LPU 수 부족

증상

1
LPU device N is unavailable (device_count=M)

원인

노드에 있는 것보다 많은 LPU를 요청했습니다. PP 크기 N과 DP 크기 N은 각각 LPU N장이 필요합니다.

해결

hyperaccel-smi로 보이는 카드 수를 확인하고 병렬 크기를 맞춥니다. 컨테이너라면 필요한 카드를 모두 넘겼는지 (--device hyperaccel.ai/lpu=all) 확인합니다.

4. 컨텍스트 길이 오류

증상

1
sliding-window attention on EVT0 supports max_model_len <= 16384

또는 sliding window에 관한 경고와 함께 max_model_len이 줄어듭니다.

원인

최대 컨텍스트는 16,384 토큰입니다. sliding-window 레이어가 있는 모델 중 LPU에 해당 커널이 없는 모델은 결과가 정확하도록 컨텍스트를 window 크기로 제한합니다. Gemma-4는 해당하지 않습니다.

해결

--max-model-len을 16,384 이하로 낮춥니다. 모델별 최대값은 지원 모델을 참고합니다.

5. 플랫폼 플러그인 충돌

증상

1
Only one platform plugin can be activated

또는

1
HA mode only allows lpu device

원인

vLLM은 플랫폼 플러그인을 하나만 허용합니다. 같은 환경에서 다른 플랫폼 플러그인도 활성화되었거나, lpu가 아닌 디바이스를 지정했습니다.

해결

VLLM_USE_HA_PLATFORM은 설정하지 않고 둡니다. 디바이스를 직접 지정하는 옵션을 지웁니다.

6. 샘플링 옵션 오류

증상

1
LPU sampling does not support: ...

원인

요청에 LPU 샘플링이 지원하지 않는 옵션이 들어 있습니다.

해결

오류 메시지에 나온 옵션을 요청에서 지웁니다. 쓸 수 있는 파라미터는 LPU 샘플링에 있습니다.

7. 시작할 때 나오는 경고

경고 의미
float16 is not supported on the LPU; forcing model dtype to bfloat16 float16 체크포인트를 bfloat16으로 실행합니다. Llama-2에서 정상
enforce_eager=True is not supported. Setting enforce_eager=False 모델은 항상 컴파일해 실행합니다
Block size N is not supported on EVT0; using 1 --block-size는 효과가 없습니다. KV 캐시는 한 토큰 단위로 페이징합니다
Pin memory is not supported on vllm-hyperaccel 참고용

8. 동시 요청이 --max-num-seqs보다 적음

원인

동시 요청은 KV 캐시 메모리로도 제한됩니다. 요청마다 --max-model-len에 맞는 영역을 예약합니다.

해결

--max-model-len을 실제로 필요한 만큼으로 낮춥니다. 컨텍스트와 KV 캐시를 참고합니다.

9. 요청이 선점됨

원인

생성 도중 KV 캐시가 가득 차서 요청 하나를 잠시 멈췄다가 다시 실행합니다. 결과는 같고 처리량만 줄어듭니다.

해결

--max-num-seqs나 --max-model-len을 낮춥니다.

10. GPU나 CPU 실행과 출력이 조금 다름

원인

LPU는 bfloat16으로 계산합니다. 두 토큰의 점수가 거의 같으면 LPU가 다른 쪽을 고를 수 있고, 그 뒤로 문장이 갈라집니다.

해결

정상입니다. 하드웨어 테스트도 같은 기준 — 매 스텝 CPU의 선택과 비교하고 근소한 동점은 허용 — 으로 판정합니다.

11. 프로파일링 트레이스가 비어 있음

원인

  • haprof로 vllm serve를 실행했는데 --profile-children을 켜지 않았습니다.
  • 프로세스를 강제 종료했습니다. 트레이스는 정상 종료할 때 기록됩니다.
  • torch.profiler를 워커가 없는 프로세스에서 열었습니다.

해결

프로파일링의 방법대로 --profile-children을 켜거나, VLLM_ENABLE_V1_MULTIPROCESSING=0으로 워커를 같은 프로세스에서 실행하거나, collective_rpc로 워커마다 프로파일러를 엽니다. 서버는 Ctrl+C로 종료합니다.