1. 개요¶
본 가이드는 HyperAccel LPU에서 실행되는 애플리케이션을 프로파일링하는 방법을 안내합니다. 애플리케이션 코드, 런타임, 디바이스 중 어디에서 시간이 소요되는지 파악해야 하는 엔지니어를 대상으로 합니다.
Contents¶
| Section | Objective |
|---|---|
| 1.1 도구가 하는 일 | 수집하는 다섯 가지 정보 |
| 1.2 설계 배경 | 동작 방식을 결정한 세 가지 선택 |
| 1.3 핵심 개념 | 이어지는 장들에서 공통으로 사용하는 용어 |
| 1.4 첫 트레이스 수집 | 실행부터 결과 파일 확인까지 |
| 1.5 두 가지 연동 방식 | haprof와 Kineto 플러그인 비교 |
가이드 전체는 이 순서로 구성되어 있습니다. 수집(2장), 디바이스 트레이싱(3장), 분석(4장)은 순서대로 읽는 것을 권장하며, 주석(5장), PyTorch 연동(6장), 문제 해결(7장)은 필요에 따라 참고하는 성격에 가깝습니다.
1.1 도구가 하는 일¶
hapti는 프로그램이 실행되는 동안 호스트와 LPU에서 일어난 일을 시간 순서대로 기록하고,
트레이스 뷰어에서 열 수 있는 파일로 저장합니다. 수집하는 정보는 다음 다섯 가지입니다.
- 호스트 API 활동 — 애플리케이션이 호출한 런타임 API(
Ha*)와 런타임 내부의 하위 계층 호출 구간을 기록합니다. - 디바이스 활동 — LPU에서 실행된 커널과 메모리 전송을 디바이스 타임라인에 기록합니다.
- 하드웨어 카운터 — 커널 실행 시 디바이스의 성능 카운터 값을 수집합니다.
- 사용자 주석 — 애플리케이션 코드에서 지정한 구간(Range)과 시점(Mark)을 기록합니다.
- 상관관계 — 호스트에서 호출한 API와 그로 인해 실행된 디바이스 작업을 상호 연결합니다.
hapti는 데이터 수집 전용 도구이며, 병목 분석 등의 진단은 수행하지 않습니다. 수집된 트레이스를
해석하는 방법은 4장 트레이스 데이터 분석 가이드에서 다룹니다.
1.2 설계 배경¶
프로파일러는 링크가 아니라 preload 방식으로 연동됩니다. haprof가 LD_PRELOAD 환경을
구성한 뒤 프로그램을 실행하므로 애플리케이션 코드를 수정할 필요가 없습니다. 재빌드나 소스 코드 내
import, 초기화 호출 등이 불필요한 대신, 모든 설정은 프로세스 시작 전에 결정되므로 실행 도중에
트레이싱을 동적으로 켤 수는 없습니다.
호스트와 디바이스 타임라인은 수집 방식이 다릅니다. 호스트 호출은 호출 시점에 곧바로 측정됩니다. 반면 디바이스 활동은 디바이스가 레코드 링(Record Ring)에 기록한 데이터를 프로파일러가 수거하는 방식이므로, 호출 시점이 아닌 배치 경계(Batch Boundary)에서 드러납니다. 트레이스 분석 시 발생하는 혼란의 대부분이 이 차이에서 기인하며, 트레이스 데이터 분석 가이드: 디바이스 타임라인 해석 시 주의사항에서 상세히 다룹니다.
모든 시각은 하나의 클럭 기준으로 기록됩니다. 호스트와 디바이스의 레코드 모두 호스트의
CLOCK_MONOTONIC 나노초 기준으로 변환되므로, 동일 장비에서 수집된 트레이스는 별도 보정 없이
하나의 타임라인에 정렬됩니다. 디바이스 사이클은 런타임이 제공하는 호스트-디바이스 클럭 페어링으로
나노초로 변환됩니다.
1.3 핵심 개념¶
| 개념 | 의미 |
|---|---|
| 활동(Activity) | 기록된 구간 또는 이벤트 하나입니다. 종류는 driver, runtime, kernel, memory copy, external correlation, marker이며, 메모리 할당은 runtime 활동에 포함됩니다. |
| 호스트 타임라인 | 런타임 API와 그 하위 계층 호출 내역입니다. 프로세스 및 스레드별 레인(Lane)에 배치됩니다. |
| 디바이스 타임라인 | 커널 실행 및 데이터 전송 내역입니다. 디바이스 및 스트림별 레인에 배치됩니다. |
| correlation id | 호스트 API 호출과 해당 호출이 유발한 디바이스 활동을 연결하는 식별자입니다. |
| 배치 경계(Batch Boundary) | 디바이스가 작업 단위를 완료하고 레코드를 방출하는 시점입니다. 디바이스 소요 시간이 드러나는 지점입니다. |
| 카운터(Counter) | 커널 실행마다 샘플링되는 하드웨어 이벤트 지표입니다. 카운터 레퍼런스를 참조하십시오. |
| stall | 데이터 경로가 대기 상태에 머문 사이클 수입니다. 공급 측(supply, DRAM)과 수요 측(demand, 코어)으로 구분됩니다. |
| 주석(Annotation) | 소스 코드 내에서 특정 구간이나 시점을 표시하기 위해 내보내는 range 또는 mark입니다. |
| 트레이스(Trace) | 출력 파일입니다. 프로파일링된 프로세스당 하나씩 생성됩니다. |
1.4 첫 트레이스 수집¶
1 | |
실행 완료 후 작업 디렉토리에 두 개의 파일이 생성됩니다.
1 2 | |
생성된 .pftrace 파일을 ui.perfetto.dev에서 열어 확인하십시오.
트레이스 데이터는 브라우저 내부에서만 처리되며 외부로 업로드되지 않습니다.
디바이스 레코드까지 포함하여 수집하려면 아래와 같이 실행합니다.
1 | |
실행 시 유의할 사항입니다.
--구분자는 필수입니다. 앞부분은haprof옵션, 뒷부분은 실행할 명령어입니다.- 프로세스당 하나의 트레이스가 생성됩니다. 인터셉션은 프로세스 단위로 동작하므로, fork로
생성된 자식 프로세스나 멀티 랭크 실행은
--profile-children옵션이 있어야 기록되며 랭크별로 각각 파일이 출력됩니다. - 측정 전 워밍업이 필요합니다. 첫 실행에는 커널 바이너리 로드 시간이 포함되고, 카운터 델타에는 유효한 기준값이 없습니다.
- 트레이스는 프로세스 종료 시점에 일괄 기록됩니다.
SIGKILL등으로 강제 종료된 프로세스는 트레이스가 남지 않습니다. - 프로파일러 자체의 오버헤드는 아직 별도의 활동으로 기록되지 않습니다. 오버헤드 측정은 오버헤드의 방식을 참고하십시오.
1.5 두 가지 연동 방식¶
지금까지 설명한 방식은 haprof 런처를 이용하는 방법입니다. 이 외에 다른 연동 방식도
지원합니다.
| 구분 | haprof 방식 |
Kineto 플러그인 방식 |
|---|---|---|
| 연동 방법 | LD_PRELOAD (대상 코드 수정 불필요) |
hapti.kineto.register() 코드 내 한 줄 추가 |
| 출력 형태 | 별도 .pftrace 및 .json 파일 |
torch.profiler 트레이스 내부에 통합 |
| 대상 범위 | 프로세스 전체 (PyTorch 외 일반 프로그램도 가능) | profile() 구간 한정 (PyTorch 전용) |
| 하드웨어 카운터 | --device-trace 지원 |
수집하지 않음 |
이미 torch.profiler 기반의 분석 환경을 구축한 시스템에서는 Kineto 플러그인 활용을 권장합니다.
CPU 연산과 하위 디바이스 실행 내역이 흐름 화살표로 자동 연결되므로 분석 효율이 향상됩니다. 상세한
내용은 PyTorch 프로파일러 연동을 참고하십시오.
단, 두 프로파일링 방식을 동일 프로세스 내에서 중복 활성화해서는 안 됩니다. 두 수집 체계가 동시에 구동되면 디바이스 레코드 링에 대한 접근 충돌이 발생하여, 어느 한쪽 트레이스에서 디바이스 활동 내역이 누락될 수 있습니다.
다음 단계¶
- 트레이스 수집 — 실행 방법 및 출력 파일 확인
- 디바이스 트레이싱 — 커널 실행 내역 및 하드웨어 카운터
- 트레이스 데이터 분석 가이드 — 프로파일링 결과 해석 방법
- PyTorch 프로파일러 연동 — Kineto 플러그인 활용법