콘텐츠로 이동

sysfs 노드

ha.ko가 만드는 sysfs 항목의 레퍼런스입니다. 드라이버는 디바이스마다 /sys/class/ha/haN/ 아래에 텔레메트리 노드와 디버그 노드 bypass_range_check를 만들고, PCI 디바이스 아래에 hwmon 디바이스를 하나 등록합니다. 모듈 전체의 정보는 /sys/module/ha/에 있습니다. 값이 언제 갱신되고 unknown이 왜 나오는지는 텔레메트리에서 설명합니다.


경로

경로 내용
/sys/class/ha/haN/ 디바이스 haN의 노드. N은 0–7이고 디바이스 노드 /dev/haN과 같은 번호입니다
/sys/class/ha/haN/device 그 디바이스의 PCI 디바이스 디렉터리로 가는 링크
/sys/class/ha/haN/device/hwmon/hwmonM/ 그 디바이스의 hwmon 디바이스(hwmon)
/sys/module/ha/version 적재된 드라이버 버전
/sys/module/ha/parameters/ 모듈 파라미터의 현재 값

공통 규칙

  • 텔레메트리 노드의 권한은 모두 0444입니다. 모든 사용자가 읽을 수 있고 쓸 수는 없습니다. bypass_range_check만 다릅니다.
  • 출력은 값 한 줄과 개행입니다. 여러 줄을 내는 노드는 temp_blocks, rails, util, peer_map, peer_route, peer_sram, dmabuf_exports, help입니다.
  • 값을 믿을 수 없으면 unknown 한 줄을 냅니다. peer_route와 peer_sram은 줄마다 따로 판단해 그 줄의 값 자리에 unknown을 냅니다. 유효 기간이 지난 값을 다시 내거나 0으로 채우지 않습니다. 조건과 원인은 unknown이 나오는 조건을 보십시오.
  • last_hang과 peer_sram의 칸에 나오는 -는 기록된 적이 없거나 해당하지 않는 값입니다.
  • 카운터는 부호 없는 32비트 십진수입니다. 드라이버가 디바이스를 인식(probe)한 뒤로 늘기만 하고, 디바이스를 리셋해도 0이 되지 않습니다. 드라이버가 디바이스를 다시 인식하면 0부터 다시 셉니다.
  • 문서에 나오는 숫자와 주소는 예시입니다.
  • 드라이버가 텔레메트리 노드를 등록하지 못하면 커널 로그에 telemetry sysfs unavailable이 남고 텔레메트리 노드가 만들어지지 않습니다. 디바이스 노드 /dev/haN은 영향을 받지 않습니다.

요약

갱신 열의 뜻은 다음과 같습니다.

  • 고정: 바뀌지 않습니다.
  • 캐시: 펌웨어가 준비된 뒤 한 번 읽어 두고, 리셋 뒤 다시 읽습니다.
  • 주기 갱신: 백그라운드 모니터가 ha_sysmon_poll_ms마다(기본 200 ms) 갱신합니다. 마지막 정상 샘플이 5초보다 오래되면 unknown입니다.
  • 읽을 때: 읽을 때마다 드라이버의 호스트 측 상태에서 계산합니다. 디바이스에 접근하지 않습니다.
  • 디바이스: 읽을 때마다 디바이스에서 직접 읽습니다.
노드 단위 갱신 내용
fw_version - 캐시 펌웨어 버전
hw_version - 고정 PCI Revision ID
serial - 캐시 칩 고유 번호
dram_size 바이트 고정 DRAM 전체 용량
dram_used 바이트 읽을 때 할당된 DRAM
dram_free 바이트 읽을 때 남은 DRAM
sram_size 바이트 고정 호스트 공유 SRAM 전체 크기
sram_used 바이트 읽을 때 할당된 호스트 공유 SRAM
sram_free 바이트 읽을 때 남은 호스트 공유 SRAM
temp °C 주기 갱신 칩 다이 최고 온도
temp_avg °C 주기 갱신 블록 센서 평균 온도
temp_blocks °C 주기 갱신 블록 센서별 온도
power_mw mW 주기 갱신 rail 전력 합
rails mV, mA 주기 갱신 rail별 전압과 전류
util % 주기 갱신 IP별 사용률
inflight 개수 읽을 때 끝나지 않은 작업 수
stream_count 개수 읽을 때 작업이 남은 스트림 수
devcmd_timeouts 횟수 읽을 때 디바이스 명령 응답 시간 초과
devcmd_fw_errors 횟수 읽을 때 펌웨어 오류 응답
hdma_timeouts 횟수 읽을 때 DMA 전송 시간 초과
abi_prefetch_stats 횟수 읽을 때 입력 복사 앞당기기 누계
last_hang - 읽을 때 마지막 펌웨어 오류와 hang 진단
health - 읽을 때 한 단어 상태 판정
fw_update_progress 4 KiB 섹터 디바이스 펌웨어 업데이트 진행률
peer_map - 읽을 때 다른 카드로 가는 DMA 매핑 상태
peer_route - 읽을 때 다른 카드와의 PCIe 경로 판정
peer_sram - 읽을 때 LPU별 SRAM 접근 주소
tw_window_size 바이트 고정 변환 창 하나의 크기
dmabuf_exports - 읽을 때 예약된 dma-buf export 창
help - 고정 사람이 읽는 노드 요약
bypass_range_check 0 또는 1 - 디버그용 설정

식별

fw_version

펌웨어 버전입니다. major.minor.patch 형식입니다.

1
1.0.5
  • 갱신: 캐시. 값을 아직 읽지 못한 동안에는 읽을 때마다 펌웨어 준비 여부를 다시 확인합니다.
  • unknown: 펌웨어가 준비되지 않았습니다. 버전 레지스터가 0이거나 모든 비트가 1로 읽혔습니다. 리셋 뒤 펌웨어가 준비 상태로 돌아오지 않은 것을 드라이버가 확인했습니다.
  • 드라이버가 읽어 둔 값이므로 지금 펌웨어가 응답하는지는 알려 주지 않습니다. 펌웨어를 업데이트한 뒤에는 새 펌웨어로 부팅하고 드라이버가 다시 읽어야 바뀝니다.

hw_version

디바이스의 PCI Revision ID입니다. 0x와 16진수 두 자리로 냅니다.

1
0x00
  • 갱신: 고정.
  • unknown: 나오지 않습니다.

serial

칩 고유 번호를 UUID 형식으로 낸 값입니다. 카드마다 다르고 바뀌지 않으므로 카드를 식별하는 데 씁니다.

1
HA-1a2b3c4d-5e6f-7a8b-9c0d-1e2f00000000
  • 형식은 HA- 뒤에 16진수 8-4-4-4-12자리입니다. 96비트를 UUID 길이에 맞추기 위해 마지막 8자리는 항상 00000000으로 채웁니다.
  • 갱신: 캐시. fw_version을 아직 읽지 못한 동안에는 읽을 때마다 펌웨어 준비 여부를 다시 확인합니다.
  • unknown: 펌웨어가 준비되지 않았습니다. 펌웨어가 번호를 공개하지 않았습니다. 칩에 번호가 기록되지 않았습니다(값이 모두 0).

serial이 unknown이면 PCI 주소로 카드를 구별하십시오

haN 번호는 카드 구성이나 인식 순서에 따라 달라질 수 있으므로 카드 식별자로 쓰지 마십시오. PCI 주소는 device 링크로 얻습니다(커널 표준 항목).


메모리

*_used와 *_free는 디바이스를 쓰는 모든 프로세스의 할당을 합친 디바이스 전체 값입니다.

dram_size

디바이스 DRAM의 전체 용량(바이트)입니다.

1
137438953472
  • 갱신: 고정. 드라이버의 메모리 구성에서 계산합니다.

dram_used, dram_free

디바이스 DRAM 중 할당된 양과 남은 양(바이트)입니다.

1
grep -H . /sys/class/ha/ha0/dram_used /sys/class/ha/ha0/dram_free
1
2
/sys/class/ha/ha0/dram_used:4294967296
/sys/class/ha/ha0/dram_free:133143986176
  • 갱신: 읽을 때.
  • dram_used와 dram_free를 더하면 dram_size입니다.
  • dram_free는 남은 양의 합계이지 한 번에 할당할 수 있는 가장 큰 연속 영역이 아닙니다. 남은 영역이 조각나 있으면 dram_free보다 작은 할당도 실패할 수 있습니다.
  • 디바이스를 리셋하면 모든 할당이 회수되어 dram_used가 0이 됩니다.

sram_size

호스트와 공유하는 시스템 SRAM 영역의 전체 크기(바이트)입니다. 코어마다 있는 연산용 SRAM이 아닙니다.

1
4194304
  • 갱신: 고정.

sram_used, sram_free

호스트 공유 SRAM 중 할당된 양과 남은 양(바이트)입니다.

  • 갱신: 읽을 때.
  • sram_used와 sram_free를 더한 값은 sram_size보다 작습니다. 영역의 앞부분은 펌웨어와 드라이버가 명령 큐 등으로 쓰도록 예약되어 있어 할당할 수 없습니다.
  • sram_free도 남은 양의 합계이며, 디바이스를 리셋하면 sram_used가 0이 됩니다.

온도, 전력, 사용률

이 절의 노드는 모두 모니터링 노드입니다. 공통 unknown 조건은 아직 첫 샘플이 없거나 마지막 정상 샘플이 5초보다 오래된 경우입니다(리셋 중, FATAL, 모니터링 정지, 펌웨어가 모니터링 채널을 열지 않음 등). 각 노드에는 이 밖의 조건만 적습니다.

temp

칩 다이 최고 온도(°C, 정수)입니다. 블록 센서 13개 중 가장 높은 값입니다.

1
47

temp_avg

블록 센서 13개의 평균 온도(°C, 정수)입니다.

1
45

temp_blocks

블록 센서마다 한 줄씩 <블록> <온도>를 내고, 끝에 최고값(peak)과 평균(avg)을 덧붙입니다. 온도는 °C 정수이고 줄 순서는 고정입니다. temp가 어느 블록에서 나오는지 찾을 때 씁니다. cg0–cg7은 코어 그룹 0–7이고, 나머지는 이름이 가리키는 칩 블록의 센서입니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
ca53 44
cg0 47
cg1 46
cg2 46
cg3 47
cg4 45
cg5 46
cg6 45
cg7 45
lpddr5x 43
pcie 44
pvt 44
vdpuctrl 43
peak 47
avg 45

온도는 근사값입니다

온도 센서가 기본 보정값을 쓸 수 있어 절대값이 정확하지 않습니다. 추세를 보거나 디바이스끼리 비교하는 데 쓰고, 데이터시트의 한계값과 직접 비교하지 마십시오. 온도가 높게 나오면 temp_blocks로 블록 간 차이를 보고 냉각부터 확인하십시오. 코어 그룹 온도가 높을 때 펌웨어가 코어 클럭을 내리는 조건은 펌웨어의 클럭 조절을 보십시오.

power_mw

보드의 전원 rail마다 펌웨어가 잰 전압과 전류를 곱해 더한 전력(mW, 정수)입니다.

1
82600
  • 보드 입력 전력이 아닙니다. 레귤레이터 손실과 측정하지 않는 rail은 들어가지 않으며, 보드 입력 전력은 측정되지 않습니다. 이 합이 350000 mW(350 W)를 넘으면 펌웨어가 코어 클럭을 내릴 수 있습니다. 펌웨어의 클럭 조절을 보십시오.
  • unknown: 측정되는 rail이 하나도 없습니다.

rails

측정되는 rail마다 한 줄씩 <이름> <전압> mV <전류> mA를 냅니다.

1
2
3
4
top_core 850 mV 12000 mA
ddr_core 1100 mV 3000 mA
lpu_core 750 mV 90000 mA
vdpu_core 800 mV 2000 mA
이름 rail
top_core 칩 상위 도메인
ddr_core DRAM
lpu_core LPU 연산 코어
vdpu_core VDPU 도메인
  • 측정되지 않는 rail은 줄이 없습니다. 측정되는 rail이 하나도 없으면 none을 냅니다.
  • 줄 끝에 V_ERR가 붙으면 그 rail의 전압을, I_ERR가 붙으면 전류를 읽지 못한 것입니다. 해당 숫자는 쓰지 마십시오.
  • 다섯 번째 이후 자리에 측정값이 있으면 이름이 rail로 나옵니다.

util

IP 블록별 사용률을 한 줄에 하나씩 <IP> <백분율>%로 냅니다. 백분율은 0.0–100.0이고 소수 첫째 자리까지입니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
core 11.5%
mpu 9.8%
vpu 2.1%
spu 0.0%
cdma 3.4%
axibrg 1.2%
rsh 0.0%
smp 0.0%
cgbrg 0.7%
cgdma 4.0%
  • 줄 순서는 위와 같이 고정입니다.
  • 디바이스 내 각 IP 전체를 집계한 값입니다. core부터 cgbrg까지는 측정 구간 동안 그 IP가 동작 중이던 샘플의 비율이고, cgdma는 코어 그룹 DMA의 점유율로 계산 방식이 다릅니다.
  • 펌웨어는 코어 그룹마다 첫 번째 코어를 샘플링합니다. 그 코어를 쓰지 않는 작업은 해당 코어 그룹의 사용률이 낮게 나오므로 0%가 곧 유휴를 뜻하지는 않습니다.
  • unknown: 펌웨어가 첫 측정 구간을 아직 끝내지 않았습니다. 펌웨어의 측정이 5초 넘게 진행하지 않습니다. 한 IP라도 100%를 넘는 값이 왔습니다.

작업과 오류

inflight

드라이버가 접수했지만 아직 끝나지 않은 작업을 스트림 단위로 센 수입니다. 실행 중인 스트림과 차례나 이벤트를 기다리는 스트림을 모두 포함합니다. 입력 복사 앞당기기(abi_prefetch_stats)가 진행 중이면 그것도 하나로 셉니다.

1
2
  • 갱신: 읽을 때마다.
  • 0이면 스트림으로 접수한 작업 중 남은 것이 없습니다.

stream_count

작업이 남아 있는 스트림 수입니다. 다른 스트림의 작업이 끝나기를 기다리느라 아직 실행 차례를 받지 못한 스트림은 세지 않습니다.

1
1
  • 갱신: 읽을 때마다.
  • inflight와는 세는 기준이 달라 두 값이 다를 수 있습니다.

devcmd_timeouts

디바이스가 명령에 응답 대기 상한 안에 응답하지 않은 횟수입니다. 상한은 보통 ha_devcmd_ceiling_ms(기본 12000 ms)이고, 오래 걸리는 명령에는 그만큼 시간을 더 줍니다. 애플리케이션이 시간 제한을 직접 정한 명령은 그 제한이 상한입니다. 펌웨어 업데이트가 기한 안에 응답하지 않은 경우도 셉니다.

1
0
  • 갱신: 읽을 때마다.
  • 늘어날 때 last_hang의 진행 정보와 판정이 갱신되고, 커널 로그에 hang 진단이 남습니다.

devcmd_fw_errors

펌웨어가 명령에 오류로 응답한 횟수입니다. 펌웨어가 스스로 판정한 실행 시간 초과도 들어가고, 애플리케이션이 보낸 잘못된 요청에 대한 오류 응답도 셉니다.

1
0
  • 갱신: 읽을 때마다.
  • 늘어날 때마다 last_hang의 rc, cmd_idx, opcode가 그 오류로 바뀌고, 커널 로그에 Firmware error: resq[...]가 남습니다(로그는 출력 빈도가 제한됩니다).

hdma_timeouts

디바이스의 DMA 엔진이 하는 데이터 전송(호스트와 디바이스 사이, 디바이스와 디바이스 사이) 한 번이 5초 안에 끝나지 않은 횟수입니다.

1
0
  • 갱신: 읽을 때마다.

last_hang

마지막 펌웨어 오류와, 마지막으로 hang을 관측했을 때의 디바이스 진행 상황을 한 줄로 냅니다. 주기적으로 수집할 지표가 아니라, 카운터가 늘어난 뒤 원인을 볼 때 읽는 진단 정보입니다.

1
rc=- cmd_idx=- opcode=- batch_seq=41->42 exec_index=0 resq_tail=0 verdict=stuck-in-command
필드 뜻
rc 마지막 펌웨어 오류의 결과 코드(16진수)
cmd_idx 그 오류를 낸 명령이 명령 묶음 안에서 몇 번째였는지(0부터 센 십진수)
opcode 그 명령의 펌웨어 명령 코드(16진수)
batch_seq 펌웨어의 명령 묶음 순번. <명령을 보내기 전>-><관측 시점>
exec_index 관측 시점에 펌웨어가 실행 중이던 명령 번호(0부터). 실행 중인 명령이 없으면 none
resq_tail 관측 시점까지 펌웨어가 써 둔 응답 위치
verdict 진행 정보로 내린 판정(아래 표)
  • rc, cmd_idx, opcode는 devcmd_fw_errors가 늘어날 때 기록됩니다. 펌웨어 오류가 아직 없었으면 -입니다.
  • batch_seq, exec_index, resq_tail, verdict는 hang을 관측할 때 기록됩니다. 명령이 상한 시간 안에 응답하지 않았을 때(devcmd_timeouts 증가), 애플리케이션이 상한 없이 기다리도록 요청한 대기가 상한 시간을 넘겨 경고를 낼 때(경고는 10초마다 반복되고 그때마다 다시 기록됩니다), 펌웨어 업데이트가 기한을 넘겼을 때입니다. verdict가 none이나 unsupported이면 batch_seq, exec_index, resq_tail은 -입니다.
  • 앞의 세 칸과 뒤의 네 칸은 서로 다른 사건의 기록일 수 있습니다.
  • 디바이스를 리셋해도 지워지지 않고, 드라이버가 디바이스를 다시 인식하면 처음 상태로 돌아갑니다.
verdict 뜻
none 아직 hang을 관측한 적이 없습니다
unsupported 펌웨어가 판정에 필요한 진행 정보를 공개하지 않거나, 읽은 값으로는 판정할 수 없습니다
rebooted 기다리는 동안 디바이스가 재부팅했습니다
not-picked-up 펌웨어가 명령 묶음을 가져가지 않았습니다
picked-up-no-dispatch 펌웨어가 명령 묶음을 가져갔지만 명령을 하나도 시작하지 않았습니다
stuck-in-command 펌웨어가 명령을 시작했지만 끝내지 못했습니다
completed-irq-lost 모든 명령이 끝났고 완료 알림(인터럽트)만 호스트에 닿지 않았습니다. 디바이스 자체는 멈추지 않았습니다

verdict는 진단용입니다. 드라이버는 판정과 관계없이 응답 시간 초과를 같은 방식으로 처리합니다. 다른 출력 예는 다음과 같습니다.

1
2
rc=- cmd_idx=- opcode=- batch_seq=- exec_index=- resq_tail=- verdict=none
rc=0x5 cmd_idx=3 opcode=0x2 batch_seq=- exec_index=- resq_tail=- verdict=none

해석과 진단 수집 방법은 hang 감지와 워치독을 보십시오.

health

드라이버가 내리는 한 단어 상태 판정입니다. ok, degraded, faulted, unknown 중 하나를 냅니다.

1
ok
값 조건
faulted 디바이스가 FATAL 상태이거나, 마지막 리셋(SDK 리셋이나 자동 리셋)이 실패했습니다
degraded devcmd_timeouts, devcmd_fw_errors, hdma_timeouts 중 하나라도 0이 아닙니다
ok 위 어느 조건에도 해당하지 않습니다
unknown 드라이버가 상태를 읽을 수 없습니다. 디바이스 인식이 끝난 뒤에는 나오지 않습니다
  • 갱신: 읽을 때. 표의 위에서부터 차례로 판정합니다.
  • 펌웨어 준비 여부, 온도, 전력, 모니터링 상태는 판정에 넣지 않습니다.
  • 각 값이 풀리는 시점과 해석은 health 판정을 보십시오.

abi_prefetch_stats

드라이버는 같은 스트림의 다음 작업 맨 앞에 있는 호스트→디바이스 복사를, 앞선 커널이 디바이스에서 실행되는 동안 미리 시작해 두 일을 겹칩니다. 이 노드는 그 최적화가 몇 번 적용되었는지와 적용하지 않은 이유를 셉니다. 이 기능은 모듈 파라미터 ha_abi_prefetch(기본 켜짐)로 켜고 끕니다.

1
issued=1200 consumed=1195 declined=0 refused_block=0 refused_range=3 refused_scan=0 refused_pend=0 refused_owner=0 refused_dup=0 refused_busy=5
필드 뜻
issued 복사를 앞당겨 시작한 횟수
consumed 앞당긴 복사를 원래 순서의 작업이 넘겨받은 횟수
declined 앞당긴 복사를 시작하기 직전에 복사 출발지가 바뀐 것을 보고 취소한 횟수
refused_block 실행 중인 작업에 아직 남은 명령 중에 접근 범위를 알 수 없는 명령이 있어 적용하지 않은 횟수
refused_range 실행 중인 작업에 아직 남은 명령이 복사 대상 영역과 겹쳐 적용하지 않은 횟수
refused_scan 실행 중인 작업에 확인해야 할 명령이 너무 많이 남아 적용하지 않은 횟수
refused_pend 완료를 확인하지 않은 명령과 겹치거나 추적 한도를 넘어 적용하지 않은 횟수
refused_owner 디바이스 명령 큐에 다른 작업의 명령이나 완료를 확인하지 않은 명령이 남아 있어 적용하지 않은 횟수
refused_dup 같은 스트림의 작업 항목이 둘 있어 적용하지 않은 횟수
refused_busy 적용하기로 했지만 그 순간 복사를 시작할 수 없어(복사 자원이 사용 중이거나 다른 복사가 기다리는 중, 스트림 종료, 리셋, FATAL 등) 시작하지 못한 횟수
  • 갱신: 읽을 때. 각 값은 카운터입니다.
  • 한 번의 시도에서는 먼저 걸린 사유 하나만 셉니다. 시도 단위로 세므로 같은 작업이 여러 번 집계될 수 있습니다.
  • 필드를 하나씩 읽으므로 한 줄이 한 순간의 스냅샷은 아닙니다.
  • 작업량에 비해 issued가 늘지 않으면 이 최적화가 적용되지 않고 있는 것이고, 어느 refused_*가 늘어나는지가 그 이유입니다. 성능 문제를 문의할 때 이 줄을 함께 보내 주십시오.
  • ha_abi_prefetch를 끄면 진행 중이던 것이 끝난 뒤로 값이 늘지 않습니다. 파라미터 레퍼런스를 보십시오.

펌웨어 업데이트

fw_update_progress

펌웨어 업데이트 진행률을 <끝난 섹터 수> <전체 섹터 수>로 냅니다. 섹터는 4 KiB입니다.

1
289 672
  • 펌웨어가 부팅하면 0 0에서 시작합니다. 업데이트하는 동안 펌웨어가 섹터 하나를 끝낼 때마다 갱신하며, 내용이 같아 건너뛴 섹터도 끝난 것으로 셉니다. 그래서 거의 같은 이미지는 진행률이 빠르게 최댓값에 이릅니다.
  • 갱신: 디바이스. 읽을 때마다 디바이스에서 직접 읽으므로 상시 수집 대상에 넣지 마십시오. 응답하지 않는 디바이스(health가 faulted이거나 텔레메트리 모니터가 멈춘 디바이스)에서는 읽지 마십시오.
  • unknown: 펌웨어가 준비되지 않았습니다. 펌웨어가 진행률 보고를 지원하지 않습니다. 디바이스에서 값을 읽지 못했습니다.
  • ha-fw-update가 업데이트하는 동안 이 값으로 진행률을 표시합니다. 펌웨어 업데이트를 보십시오.

여러 디바이스

이 절의 노드가 어떤 구성에서 무엇을 뜻하는지는 여러 디바이스에서 설명합니다.

peer_map

이 카드에서 다른 카드로 디바이스 간 DRAM 전송을 할 때 필요한 주소 매핑이 준비되었는지를, 드라이버에 등록된 다른 카드마다 한 줄씩 냅니다. 다른 카드가 없으면 none을 냅니다.

1
2
peer1 mapped
peer2 unmapped
  • peer<M>의 M은 상대 카드의 haM 번호입니다.
  • mapped는 매핑이 있다는 뜻입니다. unmapped이면 이 카드에서 그 카드로의 디바이스 간 DRAM 전송을 쓸 수 없습니다.
  • 방향이 있습니다. haN의 값은 haN에서 상대로 가는 방향만 나타내므로 양쪽 카드를 모두 확인하십시오.
  • 매핑이 있다고 해서 PCIe 경로가 통한다는 뜻은 아닙니다. peer_route와 함께 보십시오.
  • 갱신: 읽을 때. 매핑은 드라이버가 디바이스를 인식할 때 정해집니다.

peer_route

이 카드와 다른 카드 사이의 PCIe 경로 판정을 다른 카드마다 한 줄씩 냅니다. 다른 카드가 없으면 none을 냅니다.

1
2
peer1 direct
peer2 host-mem
값 뜻
direct 두 카드가 같은 PCIe 스위치 아래에 있고, 경로의 브리지가 카드 사이 트래픽을 위로 돌려보내지 않습니다
host-mem 카드 사이 트래픽이 root complex를 거칩니다. 두 카드가 다른 root port(다른 소켓 포함)나 다른 PCI 도메인 아래에 있거나, 경로의 브리지가 ACS 설정으로 트래픽을 위로 돌려보냅니다
unknown 경로의 브리지 설정을 읽지 못했거나 아직 판정 전입니다. 읽지 못한 브리지는 커널 로그에 ACS state unreadable로 남습니다
  • 관측용입니다. 이 판정 때문에 매핑이 막히지는 않습니다.
  • 갱신: 읽을 때. 판정은 드라이버가 디바이스를 인식할 때 한 번 하므로, 그 뒤 PCIe 설정을 바꿔도 드라이버가 디바이스를 다시 인식하기 전에는 바뀌지 않습니다.

peer_sram

설치된 LPU마다 한 줄씩, 이 카드에서 실행되는 디바이스 커널이 그 LPU의 SRAM에 접근할 때 쓰는 주소를 냅니다. 이 카드 자신도 포함하며 PCI 주소 순서입니다.

1
2
3
ha3 0000:ae:00.0 base=0xf800000000 (bar0=0x1f8040000000 route=remap:14)
ha2 0000:d8:00.0 base=- (bar0=0x1fc040000000 route=self)
- 0001:d8:00.0 base=- (bar0=0x21c040000000 route=none:not-bound)
칸 뜻
첫 칸 그 LPU의 haN 이름. 이 드라이버에 등록되지 않은 LPU면 -
PCI 주소 domain:bus:device.function
base 이 카드의 커널이 그 LPU의 SRAM에 접근할 때 쓰는 기준 주소. 쓸 주소가 없으면 -, 지금 믿을 수 없으면 unknown
bar0 그 LPU의 BAR0 PCIe 주소(참고용). 쓸 수 있는 BAR0가 없으면 -
route 이 카드에서 그 LPU에 닿는 방법(아래 표)

쓰는 값은 base 하나이고, 괄호 안은 참고용입니다.

route 뜻
self 이 카드 자신입니다. base는 -입니다
bus 펌웨어가 기본으로 설정해 둔 주소 창으로 그 LPU의 BAR0에 닿습니다
iova IOMMU가 그 LPU의 BAR0에 준 주소로 닿습니다
remap:<k> 드라이버가 이 카드의 주소 창 k번을 그 LPU의 BAR0로 돌려 두었습니다
none:<사유> 드라이버가 이 카드의 커널에 그 LPU의 주소를 주지 않습니다. base는 -입니다
unknown 이 카드나 그 LPU가 리셋 중이거나, 준비되지 않았거나, FATAL이거나, 응답하지 않아 텔레메트리 모니터가 멈춰서 지금은 믿을 수 없습니다
none 사유 뜻
other-driver 그 LPU가 다른 드라이버에 바인드되어 있습니다
not-bound 그 LPU에 드라이버가 바인드되어 있지 않습니다
unsupported 그 LPU의 BAR0가 할당되지 않았거나 크기가 다르거나, 이 카드의 주소 변환 구성에서 쓸 수 없습니다
peer-bar0-busy 그 LPU의 BAR0가 다른 대상을 가리키도록 설정되어 있습니다
region-busy 필요한 주소 창에 드라이버가 쓰지 않은 값이 들어 있습니다. 드라이버는 그 값을 덮어쓰지 않습니다
no-free-region 이 카드에 쓸 수 있는 주소 창이 남아 있지 않습니다
map-failed IOMMU 매핑에 실패했습니다
iova-above-240g IOMMU가 준 주소가 이 카드가 닿을 수 있는 범위(240 GiB) 밖입니다
  • 갱신: 읽을 때. 드라이버가 마지막으로 계산한 경로를 호스트 측 상태로 다시 확인해서 냅니다.
  • 출력 전체가 unknown 한 줄이면 이 카드의 경로 정보가 준비되지 않은 것입니다.
  • base로 코어별 SRAM 주소를 계산하는 방법과 신뢰 경계는 여러 디바이스를 보십시오.

dma-buf export

RDMA NIC 같은 다른 PCIe 장치(이하 상대 장치)가 카드의 DRAM을 직접 읽고 쓰게 하려면, 애플리케이션이 드라이버에 dma-buf export를 요청합니다. 드라이버는 고른 DRAM 채널마다 카드의 변환 창(translation window)을 하나씩 예약해 상대 장치가 쓰게 하므로, export 하나가 창을 여러 개 쓸 수 있습니다. 예약은 애플리케이션이 받은 dma-buf를 닫고 상대 장치도 그것을 놓을 때(RDMA라면 메모리 등록을 풀 때) 풀립니다. 이 절의 노드는 그 창의 크기와 지금 예약된 창을 보여 줍니다.

tw_window_size

변환 창 하나의 크기를 바이트로 냅니다. export 하나가 채널마다 덮을 수 있는 최대 크기입니다.

1
67108864
  • 위 값은 예시이며, 값은 카드의 하드웨어에 따라 다릅니다.
  • 드라이버가 변환 창을 준비하지 못한 경우에만 unknown입니다.
  • 갱신: 고정.

dmabuf_exports

지금 예약된 export 창과, export를 요청한 프로세스를 냅니다. 첫 줄은 요약이고, 그 뒤로 예약된 창마다 region으로 시작하는 줄이 하나씩 나옵니다. 예약된 창이 없으면 첫 줄만 나옵니다.

1
2
3
4
used 3 max 8 pins 5 max 12
region 9 ch0 da 0xc000000040000000 size 0x4000000 live pid 4120 comm rdma_app
region 10 ch2 da 0xc000002040000000 size 0x4000000 live pid 4120 comm rdma_app
region 11 ch4 da 0xc000004040000000 size 0x4000000 disabled pid 4120 comm rdma_app
칸 뜻
used, 첫 번째 max 예약된 export 창 수와 카드의 상한
pins, 두 번째 max 고정(pin)된 변환 창 수와 그 상한. export 창과 디바이스 간 복사 등이 이 한도를 함께 쓰므로, export가 쥔 만큼 디바이스 간 복사에 쓸 창이 줄어듭니다
region 예약된 변환 창 번호
ch DRAM 채널 번호
da 그 창이 덮는 DRAM 구간의 시작 주소(디바이스 주소)
size 그 구간의 크기(바이트, 16진수)
live, disabled 창의 상태(아래 표)
pid, comm export를 요청한 프로세스의 PID와 이름. export할 때의 값입니다
상태 뜻
live 드라이버가 창을 켜 두었습니다. 상대 장치가 이 창으로 그 DRAM 구간에 접근할 수 있습니다
disabled 카드가 리셋되거나 다시 부팅해 드라이버가 창을 껐지만, dma-buf가 아직 해제되지 않아 예약이 남아 있습니다
  • 프로세스가 끝나도 dma-buf가 해제되지 않으면 줄이 남습니다. 이때 그 PID는 이미 다른 프로세스에 다시 쓰였을 수 있습니다.
  • 호스트와 다른 PID 네임스페이스(컨테이너 등)에서 읽으면 pid와 comm이 -입니다.
  • 드라이버가 변환 창을 준비하지 못한 경우에만 unknown 한 줄입니다.
  • health 판정에는 반영하지 않습니다. 남아 있는 export는 고장이 아닙니다.
  • 모든 사용자가 읽을 수 있습니다. 여러 사용자가 쓰는 장비에서는 다른 사용자의 export 주소와 크기가 보이고, 호스트에서 읽으면 프로세스 이름도 보입니다.
  • 갱신: 읽을 때.

기타

help

텔레메트리 노드의 요약 설명을 사람이 읽는 텍스트로 냅니다. 노드 하나에 값 하나라는 sysfs 관례의 예외로, 터미널에서 cat으로 읽기 위한 것입니다.

1
cat /sys/class/ha/ha0/help
  • 갱신: 고정. 내용은 드라이버 버전마다 다를 수 있으므로 프로그램에서 해석하지 마십시오.

bypass_range_check

디바이스 메모리 접근 요청의 범위 검사를 끄는 디버그용 설정입니다. 텔레메트리가 아닙니다.

1
0
항목 내용
값 0(검사함) 또는 1(검사하지 않음)
초기값 드라이버가 디바이스를 인식할 때 0
커널이 만드는 권한 0644(root만 쓸 수 있음)
설치 후 실제 권한 0666(모든 사용자가 쓸 수 있음). 드라이버와 함께 설치되는 udev 규칙 99-ha.rules가 디바이스가 추가되거나 바뀔 때(add, change 이벤트) 이 파일에 chmod a+rw를 실행합니다
리셋 디바이스를 리셋해도 값이 유지됩니다

1이면 드라이버가 디바이스 메모리 접근 요청을 검사할 때 그 주소가 할당된 영역 안에 있는지 확인하지 않습니다. 할당되지 않은 영역에 접근하는 요청도 거부되지 않습니다.

운영 환경에서는 1로 설정하지 마십시오

기본 설치에서는 모든 사용자가 이 값을 바꿀 수 있습니다. 여러 사용자가 쓰는 장비에서는 값이 0인지 정기적으로 확인하고, 1이면 echo 0 > /sys/class/ha/haN/bypass_range_check로 되돌리십시오. udev 규칙과 root만 쓸 수 있게 바꾸는 방법은 설치를 보십시오.


커널 표준 항목

커널은 모든 디바이스 디렉터리에 다음 항목도 만듭니다. 드라이버가 정한 값이 아닙니다.

항목 내용
dev 디바이스 노드 /dev/haN의 major:minor
device PCI 디바이스 디렉터리로 가는 링크
subsystem /sys/class/ha로 가는 링크
uevent udev가 받는 디바이스 정보
power/ 전원 관리 항목(커널 설정에 따라 있음)

device 링크로 haN의 PCI 주소를 얻습니다.

1
basename "$(readlink -f /sys/class/ha/ha0/device)"
1
0000:1a:00.0

PCI 디바이스 디렉터리에는 커널의 표준 PCI 항목(vendor, device, numa_node, current_link_speed, current_link_width 등)과 hwmon 디바이스가 있습니다.


hwmon

드라이버는 디바이스마다 hwmon 디바이스를 하나 등록합니다. 커널이 hwmon을 지원(CONFIG_HWMON)할 때만 만들어지며, 지원하지 않는 커널에서는 로그 없이 만들어지지 않습니다.

항목 내용
위치 /sys/class/ha/haN/device/hwmon/hwmonM/(/sys/class/hwmon/hwmonM과 같은 디바이스)
name ha
권한 센서와 라벨 파일은 모두 0444
값의 출처 모니터링 노드와 같은 캐시
값을 믿을 수 없을 때 읽기 오류 ENODATA(No data available). 조건은 모니터링 노드의 unknown 조건과 같습니다
파일 라벨 값 단위 대응하는 노드
temp1_input peak 최고 온도 m°C temp
temp2_input avg 평균 온도 m°C temp_avg
temp3_input ca53 블록 온도 m°C temp_blocks
temp4_input–temp11_input cg0–cg7 블록 온도 m°C temp_blocks
temp12_input lpddr5x 블록 온도 m°C temp_blocks
temp13_input pcie 블록 온도 m°C temp_blocks
temp14_input pvt 블록 온도 m°C temp_blocks
temp15_input vdpuctrl 블록 온도 m°C temp_blocks
in0_input–in3_input top_core, ddr_core, lpu_core, vdpu_core rail 전압 mV rails
curr1_input–curr4_input top_core, ddr_core, lpu_core, vdpu_core rail 전류 mA rails
power1_input total rail 전력 합 µW power_mw
  • 라벨은 같은 번호의 _label 파일(예: temp1_label)에 있습니다.
  • 전압 채널 번호는 0부터, 나머지 채널 번호는 1부터 시작합니다(hwmon 규약).
  • 전압·전류 채널은 그 rail이 측정되지 않으면 읽기 오류를 냅니다. power1_input은 측정되는 rail이 하나도 없으면 읽기 오류를 냅니다.
  • 전압·전류 채널에는 rails의 V_ERR·I_ERR 표시가 따라오지 않습니다. 값이 의심스러우면 rails에서 그 rail에 표시가 붙었는지 확인하십시오.
  • rails에 rail이라는 이름으로 나오는 다섯 번째 이후 자리는 hwmon에 채널이 없습니다.
  • 지원하는 커널에서 hwmon 디바이스를 등록하지 못하면 커널 로그에 hwmon register failed가 남습니다. sysfs 노드는 영향을 받지 않습니다.

모듈 정보

/sys/module/ha/version

적재된 ha.ko의 버전입니다.

1
cat /sys/module/ha/version
1
2.6.0

/sys/module/ha/parameters/

모듈 파라미터마다 파일이 하나 있고, 모든 사용자가 현재 값을 읽을 수 있습니다. 실행 중에 바꿀 수 있는 파라미터는 root가 이 파일에 값을 써서 바꿉니다. 운영용 파라미터의 뜻과 기본값은 파라미터 레퍼런스를, 바꾸는 방법은 파라미터 설정과 사용법을 보십시오.


함께 보기