콘텐츠로 이동

2. 트레이스 수집

본 장에서는 프로파일러 환경에서 프로그램을 실행하는 방법과 그 결과로 생성되는 파일을 다룹니다. 1장 개요에서 다룬 핵심 개념을 전제로 합니다.

Contents

Section Objective
2.1 기본 형식 haprof 명령어 구조
2.2 실행 시 결정 사항 명령줄 옵션 선택 가이드
2.3 출력 파일 파일 이름 규칙, 저장 경로 및 포맷
2.4 멀티 프로세스 실행 멀티 랭크 트레이스 수집 및 병합
2.5 수집 범위 선택 분석 목적에 따른 최소 비용 명령어 구성
2.6 분석 가능한 트레이스 만들기 주석 적용 및 워밍업 수행
2.7 오버헤드 모드별 성능 영향

2.1 기본 형식

1
haprof [옵션] -- <명령> [인자...]

-- 구분자는 프로파일러 옵션과 실행할 명령어를 분리하는 용도로 사용되며 생략할 수 없습니다.

1
2
haprof -- python infer.py --model llama3
haprof --device-trace -- ./my_binary

haprof는 환경 변수를 구성한 뒤 대상 명령어로 프로세스 이미지를 교체(execvpe)합니다. 따라서 시스템 프로세스 목록에는 실행 중인 사용자 프로그램이 그대로 표시되며, 프로세스 종료 코드 역시 해당 프로그램의 반환값을 그대로 따릅니다.

2.2 실행 시 결정 사항

명령줄에서 실제로 결정해야 하는 사항은 다음 세 가지입니다.

  1. 디바이스 데이터 포함 여부 — --runtime-trace(타임라인 수집) 또는 --device-trace(타임라인 및 하드웨어 카운터 수집). 3장 디바이스 트레이싱에서 상세히 다룹니다.
  2. 자식 프로세스 추적 여부 — --profile-children 옵션. 멀티 프로세스 실행에서 다룹니다.
  3. 저장 경로 및 파일 형식 지정 — -d, -o, -f 옵션. 출력 파일에서 다룹니다.

호스트 측 활동 유형(runtime, driver, marker, external correlation)은 항상 전체 수집됩니다. --kernel-trace와 같은 도메인별 플래그로 일부만 선택하여 수집할 수는 없습니다. 옵션별 상세 지원 현황은 CLI: 옵션 상태를 참고하십시오.

2.3 출력 파일

프로파일링이 수행된 프로세스마다 다음 두 개의 파일이 생성됩니다.

1
2
<hostname>_<pid>_<starttime>.pftrace
<hostname>_<pid>_<starttime>.json
포맷 용도 및 특징
.pftrace Perfetto Protobuf 포맷. ui.perfetto.dev에서 열람하며 대용량 트레이스 분석에 권장됩니다.
.json Chrome 트레이스 JSON 포맷. chrome://tracing 등에서 열람 가능하며 haprof merge 리포트의 입력 데이터로 사용됩니다.

두 파일은 동일한 레코드를 바탕으로 생성되므로 동일한 실행 세션을 나타냅니다. 저장 디렉토리는 -d, 파일 이름은 -o, 포맷은 -f 옵션으로 변경할 수 있습니다.

1
haprof -d traces -o decode -f pftrace -- python infer.py   # traces/decode.pftrace 파일 생성

트레이스 파일 기록 시점 안내

수집된 레코드는 메모리 버퍼에 임시 저장되다가 프로세스 종료 시점에 파일로 기록됩니다. SIGKILL 시그널로 강제 종료되었거나 치명적인 크래시로 정상적인 종료 경로를 거치지 못한 프로세스는 유효한 트레이스를 남기지 않습니다. 프로그램이 멈춘 상태를 프로파일링 중인 경우에는 프로세스를 강제 종료하지 말고 인터럽트 시그널을 보내 정상 종료시켜야 합니다.

2.4 멀티 프로세스 실행

기본적으로 fork를 호출하는 프로그램의 자식 프로세스는 프로파일링 대상에서 제외됩니다. 자식 프로세스가 중복 트레이스 파일을 생성하지 않도록 도구가 시작 시 자신의 센티넬(Sentinel) 변수를 해제하기 때문입니다.

멀티 랭크 학습 및 추론 환경에서는 --profile-children 옵션을 명시적으로 활성화해야 합니다.

1
haprof --profile-children --device-trace -- torchrun --nproc-per-node 4 serve.py

실행 시 각 랭크별로 고유한 <hostname>_<pid>_<starttime> 조합의 파일들이 생성됩니다. -o NAME 옵션을 지정하면 이름이 접두어로 적용되어 NAME_<hostname>_<pid>_<starttime> 형태로 출력됩니다.

개별 랭크별 트레이스는 haprof merge 명령어를 통해 통합 타임라인과 Straggler 리포트로 병합할 수 있습니다.

1
haprof merge -o merged.pftrace --report-format both
결과물 내용
merged.pftrace 각 랭크별 .pftrace 파일을 클럭 기준점이 이른 순서로 이어 붙인 단일 타임라인
Straggler 리포트 동일한 집합 통신(Collective) 구간을 랭크별로 묶어 진입 지연, 소요 시간 편차, 마지막으로 도달한 랭크(Straggler)를 분석해 보고

Straggler 리포트 생성 조건

Straggler 리포트는 각 트레이스의 .json 파일에서 클럭 기준점과 프로세스 정보를 읽어 생성됩니다. -f pftrace 옵션으로 .json 생성을 생략한 경우 병합된 타임라인 파일만 생성됩니다.

동일 장비 내 클럭 공유

동일 장비 내에서 생성된 파일들은 동일한 시스템 클럭을 공유하므로 병합 결과가 정확하게 정렬됩니다. 반면 서로 다른 장비에서 수집된 트레이스를 병합하면 리포트 상단에 장비 간 병합(cross-node: yes)임을 알리는 경고와 함께 프로세스별 클럭 오프셋이 출력됩니다. 클럭 자체는 보정되지 않으므로, 이 오프셋들의 편차가 리포트에 표시되는 모든 지연 시간 분석의 오차 범위가 됩니다.

2.5 수집 범위 선택

분석 목적 권장 명령어
호스트 소요 시간 분석 haprof -- APP
디바이스 작업 흐름 및 타이밍 파악 haprof --runtime-trace -- APP
커널 성능 저하 원인 분석(하드웨어 카운터) haprof --device-trace -- APP
멀티 랭크 환경의 랭크별 지연 분석 haprof --profile-children --device-trace -- APP 후 haprof merge 실행

분석 목적에 부합하는 최소한의 모드부터 단계적으로 적용하십시오. 디바이스 카운터 수집은 타임라인 수집보다 비용이 높고, 타임라인 수집은 호스트 전용 모드보다 비용이 높습니다.

2.6 분석 가능한 트레이스 만들기

코드에 주석(Annotation)을 추가하지 않은 상태에서 프로파일링을 수행하면, 타임라인에는 HaLaunchKernel이나 HaMemCpy 같은 로우레벨 API 호출 기록만 반복해서 나타납니다. 이 상태만으로는 실제 코드상의 어느 모델 레이어, 연산 블록, 또는 반복 루프에서 해당 연산이 유발되었는지 파악하기 어려워 병목 구간을 특정하는 데 한계가 있습니다. 유의미한 분석을 위해 다음 두 가지 사항을 권장합니다.

  1. 주요 코드 구간에 주석 지정 — Prefill, Decode, Sampling 등의 구간에 Range 몇 개만 추가해도 타임라인을 직관적으로 탐색할 수 있습니다. 5장 주석을 참고하십시오.
  2. 사전 워밍업 수행 — 첫 실행 회차에는 커널 바이너리 로딩 시간이 포함되며 하드웨어 카운터의 유효한 기준값이 없습니다. 초기 워밍업 회차를 제외한 정상 상태(Steady-state) 구간을 프로파일링하십시오.
1
2
3
4
5
6
7
import hapti

for _ in range(3):
    model(x)                      # 사전 워밍업

with hapti.annotate("decode"):
    out = model(x)

2.7 오버헤드

프로파일링 도구 실행 시 부수적인 오버헤드가 발생합니다. 모드별 비용 증가 순서는 다음과 같습니다.

프로파일링 모드 추가되는 비용
호스트 전용(haprof -- APP) 런타임 및 드라이버 호출당 인터셉션 비용
--runtime-trace 호스트 전용 모드 + 디바이스 레코드 링 수거 비용
--device-trace --runtime-trace + 커널 실행별 카운터 샘플링 및 시그널 로거 수거 비용

프로파일러 자체의 실행 시간 비용은 아직 트레이스 내에 별도의 활동 레코드로 기록되지 않습니다. 성능 병목에 대한 최종 결론을 내리기 전에 프로파일러 없이 실행한 성능과 비교하여 오버헤드 범위를 확인하십시오.


다음 단계