3. 디바이스 트레이싱¶
호스트 전용 트레이싱은 프로그램이 보낸 API 요청을 보여 주고, 디바이스 트레이싱은 LPU에서 실제로 실행된 연산을 보여 줍니다. 본 장에서는 수집 모드, 대상 디바이스 선택, 레코드 수집 시점, 하드웨어 카운터와 그 해석, 비용을 다룹니다.
Contents¶
| Section | Objective |
|---|---|
| 3.1 트레이스 수집 모드 | --runtime-trace와 --device-trace 옵션의 역할 및 차이점 |
| 3.2 대상 디바이스 선택 | 트레이스 수집 시 단일 디바이스 지정 제한 사항 |
| 3.3 디바이스 레코드가 수집되는 시점 | 배치 경계(Batch Boundary)와 레코드 링(Record Ring) 버퍼 동작 방식 |
| 3.4 하드웨어 카운터 | 수집 대상 카운터 항목 및 시각화 표시 방식 |
| 3.5 카운터 해석 | 메모리 바운드(Memory-bound) 및 컴퓨트 바운드(Compute-bound) 판별법 |
| 3.6 전송 대역폭과 시그널 로거 | 하드웨어 카운터 외 추가 제공되는 디바이스 트랙 |
| 3.7 첫 실행은 측정 대상이 아닙니다 | 정확한 측정을 위해 워밍업(Warm-up) 실행이 필요한 이유 |
| 3.8 비용과 유실 | 디바이스 트레이싱 활성화 시 발생하는 성능 오버헤드 및 레코드 유실(Drop) 현상 |
3.1 트레이스 수집 모드¶
| 플래그 | 추가 수집 항목 |
|---|---|
--runtime-trace |
디바이스 커널 및 메모리 전송 타임라인 |
--device-trace |
타임라인 + 커널별 하드웨어 카운터 및 시그널 로거(Signal Logger) |
--device-trace 옵션은 타임라인 수집 기능을 포함하므로 두 플래그 중 하나만 선택하여 사용하면
됩니다. 기본적으로 두 옵션 모두 비활성화되어 있으므로, 별도의 플래그 없이 haprof -- APP 형태로
실행하는 경우 호스트 측 기록만 수집되며 디바이스 프로파일링에 따른 추가 비용이 발생하지 않습니다.
1 2 | |
드라이버·펌웨어 미지원
드라이버나 펌웨어가 디바이스 프로파일링을 지원하지 않는 환경에서는 설정이 거부되며, 트레이스 결과에는 호스트 측 정보만 기록됩니다(자세한 내용은 문제 해결 참고).
3.2 대상 디바이스 선택¶
디바이스 레코드는 기본적으로 인덱스 0번인 단일 디바이스에서만 수집됩니다. 별도의 CLI 플래그는
제공되지 않으며 HAPTI_TOOL_DEVICE_ID
환경 변수를 통해 지정합니다.
1 | |
트레이스당 단일 디바이스 제한¶
멀티 디바이스 프로세스는 선택된 단일 디바이스의 레코드만 출력합니다. 호스트 타임라인은 모든 호출
내역을 포괄하므로, 다른 디바이스에서 수행된 작업은 하단 디바이스 트랙이 비어 있는 호스트 활동처럼
나타납니다. 랭크당 하나의 디바이스를 사용하는 멀티 랭크 실행 환경에서는 --profile-children 옵션을
사용하십시오.
3.3 디바이스 레코드가 수집되는 시점¶
디바이스 타임라인 분석 시 가장 유의해야 할 핵심 사항입니다.
비동기 API는 작업을 큐에 등록한 직후 제어권을 반환하므로 API 호출 시점에는 디바이스 활동이 아직 기록되지 않습니다. 디바이스 레코드는 처리 배치(Batch)가 완료되는 시점에 레코드 링(Record Ring)에 기록되며, 프로파일러의 리더 스레드가 이를 지속적으로 수거합니다.
명시적인 동기화 호출이 없더라도 커널 드라이버(KMD)가 배치 종료 시점에 대기 커맨드를 자동으로 추가하므로 디바이스 트랙이 유실되지는 않습니다. 단, 레코드가 화면상에 드러나는 시점은 호스트 API 호출 시점이 아닌 배치 경계(Batch Boundary)입니다.
프로세스 조기 종료 시 레코드 누락 주의
도구는 프로세스 종료 시점에 레코드 링을 마지막으로 수거하지만, 그 순간까지 디바이스가 완료하지 못한 배치의 레코드는 존재하지 않습니다. 디바이스 실행 내역을 누락 없이 확인하려면 프로그램 종료 직전에 스트림 동기화를 수행해야 합니다.
트레이스 결과 해석과 관련된 상세 내용은 트레이스 데이터 분석 가이드: 디바이스 타임라인 해석 시 주의사항에서 다룹니다.
3.4 하드웨어 카운터¶
--device-trace 옵션을 활성화하면 커널 실행마다 하드웨어 카운터 샘플이 커널 슬라이스와 함께
기록됩니다. 디바이스는 6개 블록에 걸쳐 총 41개의 이벤트를 지원하며, 전체 카탈로그는
카운터 레퍼런스에서 확인할 수 있습니다.
기본 수집 카운터 범위¶
기본 설정은 core 0의 AXIBRG 8개, DMC 2개, UTIL 10개 이벤트만 등록합니다. CDMA, CGDMA, MPU 블록 및
core 1 이상의 카운터는 기본적으로 수집되지 않습니다. 다른 조합의 수집이 필요한 경우
HAPTI_COUNTERS 환경 변수를
통해 최대 32개까지 직접 지정할 수 있습니다.
1 2 | |
블록별 진단 목적¶
| 블록 | 주요 진단 대상 |
|---|---|
| UTIL | 코어 내부 유닛별 점유율 (행렬, 벡터, 특수함수, DMA 등) |
| CGDMA | 코어 그룹 DMA의 데이터 이동 상태 및 병목 유발 주체 |
| AXIBRG | 코어-DRAM 간 AXI 브리지 전송 상태 및 쓰기 완료 지연 |
| CDMA | 코어별 DMA beat 전송량 |
| DMC | SRAM 뱅크 충돌(Bank Conflict) 여부 |
| MPU | 행렬 연산 유닛의 원시 작업량 |
표시 규칙 안내
트레이스에 표시되는 값은 단순 원시 카운트가 아닙니다. Free-running 카운터 값은 직전 실행과의 차이로 환산되며, UTIL 블록은 백분율로 표시되고 일부 블록은 파생 지표가 추가로 표시됩니다. 정확한 표기 규칙과 산식은 카운터 레퍼런스: 표시 규칙을 참고하십시오.
PyTorch Kineto 연동 참고
PyTorch Kineto 플러그인 연동 경로는 커널 타임라인만 수집하며 하드웨어 카운터는 수집하지 않습니다.
3.5 카운터 해석¶
--device-trace로 수집된 데이터를 확인하면 커널 슬라이스의 인자(args)에 AXIBRG.c0.read util%와
같은 백분율 지표가 표시됩니다. 지표 이름의 %는 백분율 값임을 뜻하며, 대부분 해당 전송 방향의 전체
사이클(전송 + 대기) 대비 비율입니다. 지표별 계산식은
카운터 레퍼런스: 대역폭과 stall 분해를 참고하십시오.
이 중 supply-stall%와 demand-stall%는 병목이 메모리(DRAM)인지 연산 코어인지를 곧바로 알려 주므로
가장 먼저 확인해야 합니다.
| 지표 이름 | 해석 및 진단 가이드 |
|---|---|
util% 높음 |
데이터 경로가 활발하게 데이터를 전송 중인 상태 |
supply-stall% 높음 |
DRAM 응답 대기 지연 — 메모리 바운드(Memory Bound) 상태 |
demand-stall% 높음 |
연산 코어의 데이터 생산·소비 대기 — 컴퓨트 바운드(Compute Bound) 상태 |
bresp-wait% 높음 |
쓰기 완료 응답 확인 지연 |
bank-skew% 높음 |
특정 SRAM 뱅크에 충돌이 집중됨 — 데이터 레이아웃 개선 필요 |
파생값 해석 시 주의사항
CGDMA 대역폭(GB/s)은 펌웨어가 정의한 피크 성능 기준으로 스케일한 활용률 지표이며, 실제 바이트 수를 직접 측정한 값이 아닙니다. 또한 UTIL 백분율은 사이클 단위의 정확한 점유율이 아니라 샘플링된 듀티 사이클(Duty Cycle)이므로, 짧은 버스트로만 동작하는 유닛은 낮게 측정될 수 있습니다. 두 지표 모두 실행 회차 간 상대적 비교 목적으로만 활용해야 하며 절대적인 물리량으로 해석해서는 안 됩니다.
3.6 전송 대역폭과 시그널 로거¶
디바이스 트레이싱 모드에서는 하드웨어 카운터 외에 두 가지 트랙이 추가됩니다. 전송 대역폭은
--runtime-trace에서도 생성되고, 시그널 로거는 --device-trace에서만 생성됩니다.
- 메모리 전송 대역폭(
memory bandwidth) — 4 KiB 이상의 H2D(Host-to-Device) 및 D2H(Device-to-Host) 전송 슬라이스에는 대역폭 값이 함께 표기되며,haprof트레이스 결과에 디바이스별Memcpy H2D bandwidth및Memcpy D2H bandwidth카운터 트랙이 생성됩니다. 이 값은 전송 바이트 수를 슬라이스 소요 시간으로 나눈 실측 기반 대역폭입니다. 슬라이스에는 호스트 페이지 고정과 완료 대기까지 포함되므로, 링크가 실제로 낸 속도의 하한으로 읽으십시오. D2D 전송 및 4 KiB 미만의 소형 전송은 고정 비용의 비중이 지배적이므로 대역폭 계산에서 제외됩니다. - 시그널 로거(
Signal Logger) — 커널 실행 시마다 디바이스 내부 주요 유닛의 On/Off 신호 상태를 기록하여, 트레이스의Device Trace <n>그룹 아래에CG<그룹>_<유닛>(예:CG0_MPU) 및cgdma_<n>트랙으로 표시합니다. 각 실행의 신호 데이터는 동일한 Correlation ID를 가진 커널 슬라이스 구간에 맞춰 정렬됩니다.
3.7 첫 실행은 측정 대상이 아닙니다¶
다음 두 가지 독립적인 이유로 인해 최초 실행 회차는 성능 분석 대상에서 제외해야 합니다.
- 커널 바이너리 로딩 시간 — 디바이스별 최초 호출 시점에 커널 바이너리 로딩 과정이 포함되므로 첫 실행 시간에는 초기화 비용이 반영됩니다.
- 카운터 기준값 부재 — 첫 실행의 카운터 델타는 0을 기준으로 계산되므로, 프로파일링 시작 전에 쌓인 값까지 포함됩니다.
충분한 워밍업(Warm-up)을 거친 후 정상 상태(Steady-state)에 도달한 회차를 프로파일링하십시오.
1 2 3 4 5 | |
3.8 비용과 유실¶
디바이스 트레이싱 기능은 추가적인 성능 오버헤드를 수반하며, 특히 카운터 수집 모드가 타임라인 수집보다 오버헤드 비용이 높습니다.
| 프로파일링 모드 | 추가 오버헤드 비용 요인 |
|---|---|
--runtime-trace |
디바이스 레코드 링 수거 비용 |
--device-trace |
커널 실행별 카운터 샘플링 및 시그널 로거 버퍼 읽기 비용 |
실행당 비용이 고정되어 있으므로, 작은 커널을 빈번하게 실행하는 워크로드(Fine-grained Workload)일수록 전체 수행 시간 대비 오버헤드 비중이 비례해서 커집니다. 실행 회차 간 상대적 비교 분석에는 여전히 유효하나, 절대적인 전체 Wall clock 성능 평가 시에는 주의가 필요합니다.
레코드 유실(Drop) 현상¶
레코드 수집 과정에서 데이터 유실이 발생한 경우 도구 종료 시 [hapti-tool] 경고 로그로 안내됩니다.
| 경고 메시지 | 의미 및 발생 원인 |
|---|---|
... bytes of device records were overwritten before the reader drained them |
리더 스레드가 레코드 링 수거 속도를 따라가지 못해 오버런(Overrun) 발생. 타임라인 일부에 공백 발생 |
... device records were dropped by the driver before reaching the ring |
드라이버가 레코드 링에 기록하기 전에 레코드를 유실함 |
signal logger: skipped ... launches whose device kernel record never arrived |
커널 레코드가 누락된 실행 회차의 시그널 로거 데이터는 시각화에서 제외됨 |
dropped ... records (buffer capacity exceeded) |
프로파일러 내부 레코드 버퍼 용량을 넘어 레코드가 버려짐 |
다음 단계¶
- 트레이스 데이터 분석 가이드 — 수집된 트레이스 해석 방법
- 카운터 레퍼런스 — 41개 전체 하드웨어 이벤트 및 표기 규칙