4. 트레이스 데이터 분석 가이드¶
트레이스 데이터는 문제의 근본 원인을 직접 제시하는 정답지가 아니라 실행 이력의 기록일 뿐입니다. 본 장에서는 각 트랙의 의미를 살피고, 타임라인 분석을 통해 성능 병목을 단계적으로 식별하는 절차를 다룹니다. 본 장의 내용은 3장 디바이스 트레이싱에서 다룬 레코드 수집 시점을 전제로 합니다.
Contents¶
| Section | Objective |
|---|---|
| 4.1 뷰어 연결 및 트레이스 로드 | 분석 뷰어 도구 선택 및 데이터 로딩 |
| 4.2 타임라인 트랙 및 시각화 구조 | 각 트랙 및 레인(Lane)별 데이터의 의미 |
| 4.3 디바이스 타임라인 해석 시 주의사항 | 배치 경계에 따른 인과관계 오해 방지 |
| 4.4 타임라인 단계별 분석 순서 | 거시적 관점에서 미시적 관점으로 진입하는 표준 순서 |
| 4.5 호스트 바운드 병목 진단 | 디바이스 유휴(Idle)를 유발하는 호스트 병목 패턴 분석 |
| 4.6 디바이스 바운드 병목 및 카운터 분석 | 연산 포화 상태 진단 및 하드웨어 카운터 기반 세부 분석 |
| 4.7 프로파일링 전후 비교 원칙 | 공정하고 신뢰할 수 있는 전후 상대 비교 조건 수립 |
| 4.8 미기록 항목 및 타임라인 공백 해석 | 타임라인 공백 구간(Gap) 및 관측 범위 외 항목의 올바른 해석 |
4.1 뷰어 연결 및 트레이스 로드¶
생성된 .pftrace 결과 파일은 Perfetto 웹 뷰어(ui.perfetto.dev)를 통해
열람할 수 있습니다. 업로드된 파일 데이터는 웹 브라우저 내부 세션에서만 로딩 및 파싱되므로 외부 유출
우려 없이 안전하게 분석할 수 있습니다.
Perfetto 접근이 불가능한 보안 네트워크 환경인 경우, .json 형태의 파일을 chrome://tracing
인터페이스나 Chrome 기반 트레이스 시각화 도구에 로드하여 분석을 진행할 수 있습니다.
4.2 타임라인 트랙 및 시각화 구조¶
| 트랙 종류 | 레인(Lane) 구조 | 포함 내용 및 설명 |
|---|---|---|
| Runtime API | 프로세스 · 스레드별 | 애플리케이션이 호출한 모든 Ha* 런타임 API 및 소요 시간(메모리 할당 호출 시 바이트 수 표기) |
| Driver API | 프로세스 · 스레드별 | 런타임 API 아래에서 수행되는 하위 계층 호출(상위 런타임 호출과 동일한 Correlation ID 공유) |
| Markers | 프로세스 · 스레드별 | 사용자 정의 주석. Range는 구간 슬라이스, Mark는 특정 시점 이벤트로 표시됨 |
| Device kernels | LPU Device <n> · Stream <s> |
LPU에서 실행된 커널 내역(--device-trace 모드 시 하드웨어 카운터 포함) |
| Device transfers | LPU Device <n> · Stream <s> |
메모리 복사 전송 내역(전송 바이트 수 및 대역폭 표시) |
| Memcpy bandwidth | 디바이스별 카운터 트랙 | 시간에 따른 H2D·D2H 전송 대역폭(GB/s) 추이 |
| Signal logger | Device Trace <n> · CG<g>_<유닛> |
커널 실행 중 내부 유닛별 On/Off 신호 상태(--device-trace 모드 시 수집) |
주요 시각화 요소¶
- 레인 이름 표기 — 호스트 레인은 스레드 이름(예: 집합 통신 라이브러리가 지정한
rank 0)으로 표시됩니다. 별도의 이름이 없는 스레드는Thread <tid>로 표기됩니다. - 흐름 화살표(Flow Arrows) — 디바이스 작업을 유발한 런타임 API 호출(커널 실행, 메모리 복사)과 그 결과로 생성된 디바이스 슬라이스는 Correlation ID 기반의 흐름 화살표로 연결됩니다. 한쪽을 선택하면 연관된 다른 쪽을 추적할 수 있습니다.
- 집합 통신 구간 — LCCL이 기록한
lccl:<연산>구간(예:lccl:AllReduce)은 연산 단위로 이름이 통일되어 있어 동일한 연산끼리 모아서 비교할 수 있습니다. 랭크 간 같은 호출을 연결하는 키는 슬라이스 인자의comm,op_count,rank,n_ranks에 포함되어 있습니다.
4.3 디바이스 타임라인 해석 시 주의사항¶
디바이스 레코드는 호출 시점이 아니라 배치 경계에서 방출됩니다
비동기 API 호출은 작업을 큐에 등록한 직후 제어권을 반환합니다. 디바이스 레코드는 LPU가 처리 배치를 완료한 시점에 비로소 방출됩니다(디바이스 레코드가 수집되는 시점 참고). 호스트와 디바이스 타임라인을 나란히 놓고 수평 위치만으로 인과관계를 추론해서는 안 되며, 반드시 Correlation ID 화살표를 따라 추적해야 합니다.
분석 과정에서 흔히 마주하는 대표적인 현상과 원인은 다음과 같습니다.
| 관측된 현상 | 근본 원인 |
|---|---|
| 디바이스 슬라이스가 호스트 API 호출 시점보다 한참 뒤에 위치함 | 호스트 호출은 큐잉만 수행했으며, 디바이스가 선행 작업을 모두 처리한 뒤에야 실행되었기 때문 |
| 디바이스 트랙 영역이 완전히 비어 있음 | 디바이스 트레이싱 옵션을 활성화하지 않았거나 디바이스 프로파일링이 거부된 경우(문제 해결 참고) |
4.4 타임라인 단계별 분석 순서¶
분석 시에는 항상 거시적 관점(상위 레이어)에서 미시적 관점(하위 커널) 순으로 범위를 좁혀 나가야 합니다. 개별 커널의 소요 시간부터 분석하는 것은 전체 병목을 놓치기 쉬운 접근 방식입니다.
- 관심 있는 대상 구간 식별하기 — 소스 코드에 주석을 미리 지정해 두었다면 이름이 붙은 Range를 통해 대상 구간을 즉시 식별할 수 있습니다. 주석이 없다면 코드로 돌아가 주석부터 추가하는 것을 권장합니다(5장 주석 참고).
- 디바이스 부하 상태 판단하기 — 해당 구간의 디바이스 트랙을 관찰하여 아래 세 가지 실행 패턴 중 어느 상태에 해당하는지 진단합니다.
- 개별 커널 세부 분석 진입하기 — 호스트 바운드 성향이 강한 워크로드에서는 특정 커널 단독 최적화를 진행하더라도 전체 성능 개선 효과가 미미합니다. 상위 흐름의 병목을 우선 해소한 뒤 개별 커널 분석으로 진입하십시오.
| 실행 패턴 | 타임라인 관측 결과 | 진단 의미 | 상세 분석 가이드 |
|---|---|---|---|
| 호스트 바운드(Host-bound) | 호스트 트랙은 바쁘게 동작하나, 디바이스 트랙에는 짧은 커널만 드문드문 배치됨 | 디바이스가 호스트의 다음 명령 공급을 기다리는 유휴 상태 | 호스트 바운드 병목 진단 |
| 디바이스 바운드(Device-bound) | 호스트는 작업 등록 후 동기화 대기 상태이며, 디바이스 트랙은 커널로 조밀하게 채워짐 | 실행 소요 시간이 하드웨어 커널 연산 자체에 집중됨 | 디바이스 바운드 병목 및 카운터 분석 |
| 디스패치·동기화 바운드 | 커널 연산 간에 API 호출과 동기화가 자주 개입하여 커널 간 간격이 큼 | 명령 전달 오버헤드 또는 빈번한 동기화 지연 발생 | 호스트 바운드 병목 진단 |
4.5 호스트 바운드 병목 진단¶
디바이스에 전달되는 작업 공급이 부족하여 LPU 가속기가 유휴 상태에 머물러 있는 현상입니다.
호스트 트랙이 Python 전처리 등으로 바쁘게 작동하는 동안 디바이스 트랙에는 짧은 커널 연산만 드문드문 나타납니다.
호스트 바운드 타임라인 예시(진한 막대: 호스트 활동 / 연한 막대: 디바이스 커널)
커널 연산 사이에 API 호출과 동기화가 개입하여 간격이 발생하는 디스패치·동기화 바운드 역시 동일한 범주로 다룹니다.
디스패치·동기화 바운드 타임라인 예시(진한 막대: 호스트 활동 / 연한 막대: 디바이스 커널)
트레이스상에서 주로 관측되는 근본 원인은 다음과 같습니다.
| 트레이스상 관측 패턴 | 근본 원인 및 대처 방안 |
|---|---|
| 커널 연산 사이에 긴 런타임 API 호출이 반복됨 | 호출당 오버헤드 누적. Eager 모드 대신 컴파일 모드로의 전환 검토 |
| 실행 직후 곧바로 동기화 연산이 호출됨 | 프로그램 코드 내에서 직렬화를 유발함. 동기화 빈도를 줄이고 연산을 묶어서 디스패치 |
| 호스트 활동 내역조차 없는 긴 공백 구간 존재 | 주석이 적용되지 않은 Python 코드 실행 또는 데이터 전처리 오버헤드 소요 중 |
| 소형 메모리 전송이 빈번하게 발생함 | 연산 루프 내부의 호스트-디바이스 간 왕복 전송 유발(.cpu(), .item(), print 등 점검) |
가장 흔한 개선 포인트
소형 메모리 전송 반복은 PyTorch 기반 코드에서 가장 자주 관측되는 패턴으로, 코드 수정을 통해 즉각적인 성능 개선을 이끌어낼 수 있습니다.
4.6 디바이스 바운드 병목 및 카운터 분석¶
호스트가 작업을 큐에 등록한 뒤 동기화 대기 상태에 들어간 동안, 디바이스 타임라인이 커널 실행 슬라이스로 조밀하게 채워진 상태를 의미합니다.
디바이스 바운드 타임라인 예시(진한 막대: 호스트 활동 / 연한 막대: 디바이스 커널)
실행 시간이 호스트 측 지연이 아닌 하드웨어 연산 자체에 집중되어 있으므로, 하드웨어 카운터 수치를 통한
정밀 진단이 필수적입니다. 수집 데이터가 없는 경우 --device-trace 옵션을 적용하여 프로파일링을
재수행하십시오.
전체 실행 시간을 지배하는 주요 커널을 식별한 후, 핵심 하드웨어 카운터 지표를 점검합니다. 세부 산식 및 기준은 카운터 해석을 참고하십시오.
| 하드웨어 카운터 지표 | 진단 결과 | 권장 최적화 방안 |
|---|---|---|
supply-stall% 높음 |
메모리 바운드(Memory Bound) | 데이터 전송량 축소, 텐서 레이아웃 변경, 데이터 재사용성 향상 |
demand-stall% 높음 |
컴퓨트 바운드(Compute Bound) | 연산 로직 재구성 및 코어 연산 유닛 가동 효율 개선 |
util% 높음 / stall 지표 낮음 |
데이터 경로 포화 상태 | 해당 커널 연산이 하드웨어 한계 성능에 도달한 상태 |
UTIL.c<n>.mpu% 높음 |
행렬 연산 유닛 집중 활성화 | MatMul 중심 커널의 정상 동작 상태 |
UTIL.c<n>.core% 낮음 |
실행 중 코어 유휴 상태 발생 | 상위 공급 지연으로 인한 코어 데이터 기아 현상 |
DMC.c<n> bank-skew% 높음 |
SRAM 뱅크 충돌(Bank Conflict) | 텐서 데이터 메모리 배치 레이아웃 재구성 필요 |
4.7 프로파일링 전후 비교 원칙¶
프로파일링 트레이스는 단일 실행의 절대적 측정치 분석보다, 코드 변경 전후 간의 상대적 비교 분석에서 가장 뛰어난 신뢰성을 제공합니다. 정확한 전후 비교를 위해 다음 원칙을 준수해야 합니다.
- 동일한 수집 환경 유지 — 하드웨어 카운터 수치는 직전 실행과의 차분으로 산출되며, 수집
대상 카운터 구성에 따라 결과가 달라집니다. 따라서 비교 대상 간 수집 모드 및
HAPTI_COUNTERS설정을 동일하게 통일해야 합니다. - 충분한 워밍업 수행 — 최초 실행 회차에는 모듈 초기화 및 커널 로딩 오버헤드가 포함되므로 비교 대상에서 제외해야 합니다. 사전 워밍업을 거친 안정 상태(Steady-state) 데이터를 기반으로 비교하십시오(첫 실행은 측정 대상이 아닙니다 참고).
- 동일 주석(Range) 구간 대조 — 오버헤드가 포함된 전체 Wall-clock 수행 시간 대신, 동일하게 설정된 주석 구간의 소요 시간을 직접 비교하여 성능 변화를 측정하십시오.
프로파일링 적용 Wall-clock과 미적용 Wall-clock을 직접 비교하지 마십시오
프로파일링 도구는 API 후킹 및 카운터 수집 과정에서 고유의 오버헤드를 발생시킵니다. 병목 지점 진단은 프로파일링 실행 결과를 활용하고, 최종 속도 향상 폭은 프로파일러 없이 실행한 순수 Wall-clock 시간을 비교하여 검증해야 합니다.
4.8 미기록 항목 및 타임라인 공백 해석¶
타임라인 분석 시 트레이스 결과에 관측 레코드가 기록되지 않는 대상과 그 기술적 원인을 인지해야 합니다.
| 트레이스 미기록 항목 | 미기록 기술 원인 |
|---|---|
| 주석이 적용되지 않은 Python 코드 영역 | 프로파일러는 Python 인터프리터 내부가 아닌 런타임 API 레벨의 호출을 가로채기 때문 |
| 다른 디바이스 대상 연산 작업 | 디바이스 레코드는 지정된 단일 디바이스에서만 수집되기 때문 |
| 프로파일러 자체 구동 오버헤드 | 프로파일러 자체의 수행 오버헤드는 별도의 활동 트랙으로 분리 집계되지 않기 때문 |
SIGKILL 등으로 비정상 종료된 프로세스 |
수집된 레코드는 프로세스 정상 종료 시점에 일괄 파일로 출력되기 때문 |
--profile-children 미지정 자식 프로세스 |
멀티 프로세스 환경에서 자식 프로세스는 기본 추적 대상에서 제외되기 때문 |
타임라인 공백의 해석
타임라인상의 빈 공백 구간은 "아무런 작업도 수행되지 않았다"는 의미가 아니라, "프로파일러가 관측할 수 있는 범위 안에서는 기록된 활동이 없다"는 의미입니다. 그 구간에 관측 범위를 벗어난 작업(위 표의 항목)이 실행 중이었을 수 있습니다.