콘텐츠로 이동

환경 변수

haprof의 도구 라이브러리는 프로세스가 시작될 때(대상 프로그램의 main() 이전) 환경 변수를 단 한 번 읽습니다. 실행 중에 값을 바꿔도 반영되지 않으므로, 반드시 실행 전에 셸에서 지정하십시오. 예외는 디바이스 관련 변수로, 디바이스 레코드 링을 설정하는 시점(첫 디바이스 사용 직후, 또는 Kineto의 profile() 구간이 열릴 때)에 읽습니다.

대부분의 설정은 CLI 옵션으로 지정하고, 런처가 그것을 아래 변수로 바꿔 도구에 전달합니다. 여기 나열되지 않은 이름은 사용자가 설정할 대상이 아닙니다.

잘못된 값은 대부분 조용히 기본값으로 처리됩니다

  • HAPTI_TOOL_DEVICE_TIMELINE, HAPTI_TOOL_DEVICE_COUNTERS, HAPTI_PROFILE_CHILDREN — 값이 있고 비어 있지 않으며 0이 아니면 켜진 것으로 취급합니다. HAPTI_PROFILING_ACTIVE는 값이 정확히 1일 때만 인식합니다.
  • HAPTI_TOOL_LOG_LEVEL — error, info가 아닌 값은 모두 warning으로 처리합니다.
  • HAPTI_COUNTERS — 알 수 없는 블록·이벤트, 범위를 벗어난 id, 형식이 틀린 토큰은 stderr에 [ha_profiling] HAPTI_COUNTERS: ... — skipped를 출력하고 그 토큰만 건너뜁니다. 다른 이벤트로 바꿔 넣지 않습니다.
  • HAPTI_TOOL_DEVICE_ID — 숫자가 아니면 0으로 읽힙니다.
  • HAPTI_KINETO_DEVICE — 0 이상의 정수가 아니면 경고를 출력하고 무시합니다.
  • HAPTI_DEVICE_RING_BYTES — 크기로 읽을 수 없으면 stderr에 경고를 출력하고 기본값 1 MiB를 씁니다.

1. 설정 방법

런처가 CLI 옵션에서 변수를 만들어 대상 프로세스에 넘깁니다. 직접 지정하는 변수만 앞에 붙이면 됩니다.

1
2
HAPTI_TOOL_DEVICE_ID=1 HAPTI_COUNTERS=util:0:mpu_active,util:0:sample_total \
  haprof --device-trace -- python infer.py

런처 없이 도구 라이브러리를 직접 preload할 때는 런처가 설정하는 변수도 직접 지정해야 합니다. 최소한 센티넬(Sentinel) 변수가 있어야 도구가 동작합니다.

1
2
HAPTI_PROFILING_ACTIVE=1 HAPTI_TOOL_DEVICE_TIMELINE=1 \
  LD_PRELOAD=/path/to/hapti/libhapti_tool.so python infer.py

profile() 구간을 열기 전에 프로세스 환경에 있어야 합니다.

1
2
3
4
5
import os
os.environ["HAPTI_KINETO_DEVICE"] = "1"   # profile() 진입 전에

import hapti.kineto
hapti.kineto.register()

2. 환경 변수 상세 항목

2.1 런처가 설정하는 변수

haprof가 실행할 때마다 아래 변수를 모두 대입합니다. 그래서 셸에 남아 있던 값이 도구로 새어 들어가지 않으며, 명령줄이 곧 전체 설정입니다. 보통 직접 지정하지 않습니다.

변수 설정 주체 용도
HAPTI_PROFILING_ACTIVE 항상 도구가 확인하는 센티넬 변수. 자식 프로세스가 프로파일링을 상속받아 트레이스를 만들지 않도록 도구가 시작 시 지움
HAPTI_PROFILE_CHILDREN --profile-children 1이면 fork·exec를 넘어 센티넬을 유지해 자식도 자신을 프로파일하게 함
HAPTI_TOOL_OUTPUT_PATH -d 트레이스를 쓸 디렉토리(절대 경로)
HAPTI_TOOL_OUTPUT_FILE_NAME -o 확장자 없는 파일 이름. 비어 있으면 <hostname>_<pid>_<starttime>
HAPTI_TOOL_OUTPUT_FORMAT -f pftrace, json의 쉼표 구분 목록. 비어 있거나 전부 알 수 없는 값이면 두 형식 모두
HAPTI_TOOL_LOG_LEVEL --log-level error / warning(기본) / info
HAPTI_TOOL_DEVICE_TIMELINE --runtime-trace, --device-trace 디바이스 커널·전송 타임라인을 수집
HAPTI_TOOL_DEVICE_COUNTERS --device-trace 추가로 커널별 하드웨어 카운터와 시그널 로거를 수집. 타임라인을 포함
LD_PRELOAD 항상 도구 라이브러리를 주입. --preload로 준 것 뒤에 놓임
LD_LIBRARY_PATH 항상 런타임이 하나의 매핑으로 해석되도록 패키지 디렉토리를 앞에 추가

2.2 직접 설정하는 변수

변수 타입 기본값 적용 대상 설명
HAPTI_TOOL_DEVICE_ID 정수 0 haprof 디바이스 레코드를 수집할 디바이스. CLI 플래그가 없습니다
HAPTI_COUNTERS 문자열 core 0의 AXIBRG 8 + DMC 2 + UTIL 10 haprof --device-trace 등록할 카운터 이벤트. 아래 형식 참조
HAPTI_KINETO_DEVICE_TRACE 플래그 켬 Kineto 플러그인 0/false/off이면 디바이스 타임라인을 켜지 않음
HAPTI_KINETO_DEVICE 정수 구간을 연 스레드의 현재 디바이스. 없으면 0 Kineto 플러그인 디바이스 타임라인을 수집할 디바이스
HAPTI_DEVICE_RING_BYTES 크기 1M haprof, Kineto 플러그인 디바이스 레코드를 받는 호스트 링의 크기. 숫자 뒤에 K/M/G(1024 단위)를 붙일 수 있고 4 KiB 단위로 올림됩니다. 레코드 유실 경고가 나오면 늘리십시오

HAPTI_COUNTERS 형식

1
<블록>:<인스턴스>:<이벤트>[,<블록>:<인스턴스>:<이벤트>...]
요소 값
블록 axibrg, cdma, dmc, util, cgdma, mpu(대소문자 무관)
인스턴스 코어 번호(CGDMA는 코어 그룹 번호)
이벤트 카운터 레퍼런스의 이벤트 이름 또는 숫자 id
개수 최대 32개. 넘으면 나머지는 무시
끄기 off 또는 none — 카운터 없이 타임라인과 시그널 로거만
1
2
3
# core 0의 행렬 유닛 활용률과 CGDMA 읽기 경로 분해
HAPTI_COUNTERS=util:0:sample_total,util:0:mpu_active,cgdma:0:inrob_beat,cgdma:0:inrob_stall_supply,cgdma:0:inrob_stall_demand \
  haprof --device-trace -- python infer.py

디바이스 레코드는 하나의 디바이스에서만 수집됩니다. 멀티 디바이스 프로세스에서의 동작과 랭크별 수집 방법은 디바이스 트레이싱: 대상 디바이스 선택을 참고하십시오.

3. 환경 변수로 지정할 수 없는 설정

원하는 것 방법
활동 종류의 부분집합 불가능. 호스트 측 활동 종류는 전부 수집됩니다(CLI: 옵션 상태)
트레이스당 디바이스 둘 이상 불가능. 랭크마다 --profile-children
실행 도중 시작·중지 불가능. haprof는 프로세스 단위입니다. 구간 단위가 필요하면 Kineto 플러그인
Kineto 경로의 하드웨어 카운터 불가능. haprof --device-trace를 쓰십시오

4. 다른 컴포넌트에서 오는 관련 설정

프로파일되는 프로세스도 스택의 나머지를 실행하므로 그쪽 설정이 함께 적용됩니다.

계층 변수
런타임 로깅 HA_LOG_LEVEL, HA_LOG_PATH — Runtime 환경 변수 참조
PyTorch 백엔드 torch_ha 환경 변수 참조
집합 통신 LCCL_* — LCCL 환경 변수 참조

함께 보기