프로파일링¶
문서 상태
소유: LLMOps · 기준: vLLM HyperAccel 0.0.5, HAPTI 0.0.5 · 최종 확인: 2026-10-15
개요¶
vLLM HyperAccel의 성능을 끌어올리려면 TTFT(Time To First Token)나 TPOT(Time Per Output Token) 같은 서빙 지표 (LPU 지표)에 더해, LPU에서 실제로 무엇이 얼마나 걸리는지 보는 저수준 프로파일링이 필요합니다.
LPU 프로파일링은 HyperAccel 프로파일러 HAPTI(HyperAccel Profiling/Tracing Interface)가 맡습니다. vLLM HyperAccel에서는 두 가지 방법으로 씁니다.
| 방법 | 출력 | 이런 때 |
|---|---|---|
| 1. PyTorch 프로파일러 (Kineto) | torch.profiler Chrome 트레이스 하나에 CPU 연산과 LPU 활동이 함께 |
원하는 구간만, aten 연산과 LPU 커널을 이어서 보고 싶을 때 |
2. HAPTI 프로파일러 (haprof) |
프로세스마다 .pftrace · .json |
코드를 고치지 않고 프로세스 전체를, 또는 하드웨어 카운터까지 보고 싶을 때 |
두 방법 모두 같은 HAPTI 코어가 LPU 런타임 호출(Ha*), 드라이버 호출, 커널 실행, 메모리 전송을 수집합니다.
HAPTI 자체는 Profiler에서 자세히 다룹니다.
두 방법을 한 프로세스에서 동시에 켜지 마십시오
같은 활동을 두 번 수집하고, 하나뿐인 디바이스 레코드 링을 두고 충돌해 한쪽 트레이스에서 디바이스 활동이 빠질 수 있습니다.
1. PyTorch 프로파일러 (Kineto)¶
vLLM HyperAccel의 트레이싱은 PyTorch 표준 프로파일러 torch.profiler와 그 하드웨어 추상화 계층인
Kineto(libkineto)를 씁니다. NVIDIA는 CUPTI, AMD는 roctracer를 Kineto에 붙이듯, HAPTI는 Kineto 플러그인
(libhapti_kineto_plugin.so)으로 IActivityProfiler 자리에 붙습니다. LPU는 PyTorch가 외부 가속기용으로 예약한
PrivateUse1 슬롯을 쓰므로, 활동 목록에 ProfilerActivity.PrivateUse1을 넣으면 LPU 활동이 수집됩니다.
1 2 3 4 5 6 7 | |
결과는 torch.profiler가 내는 Chrome 트레이스 한 파일입니다. PyTorch가 CPU 연산마다 붙이는 external id를
플러그인이 그 연산 안에서 일어난 런타임 호출의 correlation id에 매핑하므로, aten:: 연산에서 그 연산이 띄운 LPU
커널까지 흐름 화살표로 바로 이어집니다. 플러그인의 동작 원리는
PyTorch 프로파일러 연동에 있습니다.
1.1 플러그인 등록¶
1 2 3 4 | |
hapti는 SDK에 함께 들어 있습니다. register()는 프로세스에서 한 번만 부르면 되고 여러 번 불러도 안전합니다.
플러그인은 hart 확장이 이미 올린 **같은 libha_runtime.so**를 soname으로 찾아 그 인터셉터를 구독합니다.
hart를 먼저 import해 두면 vLLM이 실제로 쓰는 런타임에 붙는 것이 보장됩니다.
1.2 오프라인 추론 프로파일링¶
vLLM V1은 기본적으로 엔진 코어(워커 포함)를 별도 프로세스로 띄웁니다. torch.profiler는 자기가 열린 프로세스의
활동만 보므로, 단일 LPU라면 VLLM_ENABLE_V1_MULTIPROCESSING=0으로 워커를 같은 프로세스에서 실행하는 것이 가장
간단합니다.
| profile_offline.py | |
|---|---|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 | |
record_function()으로 구간 이름을 붙이면 트레이스에서 찾기 쉽습니다. Kineto 경로에서는
hapti.annotate() 주석이 기록되지 않으므로 PyTorch 표준인 record_function()을 씁니다.
1.3 여러 워커 프로파일링¶
PP나 DP처럼 워커가 여러 프로세스에 있으면, llm.collective_rpc()로 워커마다
프로파일러를 열고 닫아 랭크별 트레이스를 남깁니다. 함수를 엔진 코어 프로세스로 보내려면
VLLM_ALLOW_INSECURE_SERIALIZATION=1이 필요합니다.
| profile_pp.py | |
|---|---|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 | |
엔진을 종료하기 전에 트레이스를 내보내야 합니다. 레코드는 프로파일링 구간이 닫힐 때 한꺼번에 변환되므로, 구간이 열린 채 프로세스가 강제 종료되면 데이터가 남지 않습니다.
1.4 추가 옵션¶
| 옵션 | 효과 |
|---|---|
activities=[ProfilerActivity.PrivateUse1] |
LPU 활동만 수집합니다. 기본은 CPU와 함께 수집 |
profile(..., record_shapes=True) |
연산마다 입력 shape과 dtype을 기록합니다. 원소 단위 복사와 대량 복사를 구분할 때 유용하지만 트레이스가 커집니다 |
HAPTI_KINETO_DEVICE_TRACE=0 |
디바이스 커널 타임라인을 끕니다(기본 켬). 호스트 쪽 호출만 볼 때 |
HAPTI_KINETO_DEVICE=<번호> |
디바이스 타임라인을 수집할 LPU를 지정합니다. 기본은 구간을 연 스레드의 현재 디바이스 |
환경 변수는 profile() 구간을 열기 전에 설정합니다. 전체 목록은
Profiler 환경 변수에 있습니다.
1.5 트레이스에 들어오는 것¶
| 트레이스 카테고리 | 내용 |
|---|---|
cpu_op |
aten:: 연산 등 PyTorch CPU 연산 |
user_annotation |
record_function()으로 붙인 구간 |
privateuse1_runtime |
LPU 런타임 API 호출(Ha*). 커널 실행은 HaLaunchKernel / HaLaunchKernelAsync |
privateuse1_driver |
드라이버 API 호출(ha_*) |
kernel |
LPU 디바이스 커널 실행 구간 |
gpu_memcpy |
호스트 ↔ LPU 메모리 전송. 이름은 Kineto 공통 용어를 그대로 씁니다 |
하드웨어 카운터는 Kineto 경로에 들어오지 않습니다. 카운터가 필요하면
haprof --device-trace를 씁니다.
1.6 결과 보기¶
내보낸 .json은 Perfetto UI, chrome://tracing, TensorBoard에서 엽니다. 읽는 방법은
트레이스 데이터 분석 가이드를 참고합니다.
2. HAPTI 프로파일러 (haprof)¶
haprof는 HAPTI의 실행기입니다. LD_PRELOAD로 HAPTI를 대상 프로세스에 넣으므로 코드를 고치지 않고
프로세스 전체 실행을 기록하며, --device-trace로 커널별 하드웨어 카운터까지 수집합니다.
1 | |
2.1 오프라인 추론 프로파일링¶
워커를 같은 프로세스에서 실행하면 트레이스 하나에 모든 활동이 들어옵니다.
1 2 | |
traces/qwen3.pftrace와 traces/qwen3.json이 생깁니다.
2.2 온라인 서빙 프로파일링¶
vllm serve는 API 서버와 엔진 코어를 다른 프로세스로 띄웁니다. haprof는 기본적으로 자식 프로세스를 추적하지
않으므로 --profile-children을 켭니다.
1 2 | |
서버가 준비되면 측정할 요청을 보내고, 서버를 **Ctrl+C(SIGINT)로 정상 종료**합니다. 트레이스는 프로세스가 정상
종료될 때 기록되므로 SIGKILL이나 컨테이너 강제 중지로는 남지 않습니다.
프로세스마다 <hostname>_<pid>_<starttime> 파일이 생깁니다. PP처럼 LPU를 여러 장 쓰면 랭크별
트레이스를 하나의 타임라인과 straggler 리포트로 합칩니다.
1 | |
2.3 수집 범위 고르기¶
| 목적 | 명령 |
|---|---|
| 호스트 쪽 시간 | haprof -- APP |
| LPU 작업 흐름과 타이밍(커널 · 전송 타임라인) | haprof --runtime-trace -- APP |
| 커널이 느린 원인(하드웨어 카운터) | haprof --device-trace -- APP |
| 여러 랭크의 랭크별 지연 | haprof --profile-children --device-trace -- APP 후 haprof merge |
필요한 만큼의 가장 가벼운 모드부터 씁니다. 카운터 수집은 타임라인보다, 타임라인은 호스트 전용보다 비용이
큽니다. 커널마다 실행 시간을 또렷이 나눠 보려면 LEGATO_ASYNC_LAUNCH=0으로 커널 실행을 동기식으로 바꿔
측정합니다. 옵션 전체는 haprof CLI에 있습니다.
2.4 결과 보기¶
| 형식 | 여는 곳 |
|---|---|
.pftrace |
Perfetto UI. 큰 트레이스에 권장 |
.json |
chrome://tracing 등. haprof merge 리포트의 입력 |
3. 어느 쪽을 쓸까¶
| PyTorch 프로파일러 (Kineto) | haprof |
|
|---|---|---|
| 출력 | torch.profiler 트레이스 하나 |
프로세스마다 .pftrace · .json |
| 범위 | profile() 구간 |
프로세스 전체 |
| CPU 연산과 연결 | 흐름 화살표로 자동 | correlation id로 대조 |
| 코드 수정 | register()와 profile() 추가 |
없음 |
| 디바이스 타임라인 | 지원(기본 켬) | --runtime-trace |
| 하드웨어 카운터 | — | --device-trace |
| 구간 이름 | record_function() |
hapti.annotate() |
torch.profiler기반 분석을 이미 쓰고 있거나, 특정 요청 구간만aten연산과 함께 보고 싶으면 → Kineto- 코드를 고치지 않고 서버 전체를 보거나, 하드웨어 카운터가 필요하면 →
haprof