sysfs 노드¶
ha.ko가 만드는 sysfs 항목의 레퍼런스입니다. 드라이버는 디바이스마다 /sys/class/ha/haN/ 아래에 텔레메트리 노드와 디버그 노드 bypass_range_check를 만들고, PCI 디바이스 아래에 hwmon 디바이스를 하나 등록합니다. 모듈 전체의 정보는 /sys/module/ha/에 있습니다. 값이 언제 갱신되고 unknown이 왜 나오는지는 텔레메트리에서 설명합니다.
경로¶
| 경로 | 내용 |
|---|---|
/sys/class/ha/haN/ |
디바이스 haN의 노드. N은 0–7이고 디바이스 노드 /dev/haN과 같은 번호입니다 |
/sys/class/ha/haN/device |
그 디바이스의 PCI 디바이스 디렉터리로 가는 링크 |
/sys/class/ha/haN/device/hwmon/hwmonM/ |
그 디바이스의 hwmon 디바이스(hwmon) |
/sys/module/ha/version |
적재된 드라이버 버전 |
/sys/module/ha/parameters/ |
모듈 파라미터의 현재 값 |
공통 규칙¶
- 텔레메트리 노드의 권한은 모두
0444입니다. 모든 사용자가 읽을 수 있고 쓸 수는 없습니다.bypass_range_check만 다릅니다. - 출력은 값 한 줄과 개행입니다. 여러 줄을 내는 노드는
temp_blocks,rails,util,peer_map,peer_route,peer_sram,dmabuf_exports,help입니다. - 값을 믿을 수 없으면
unknown한 줄을 냅니다.peer_route와peer_sram은 줄마다 따로 판단해 그 줄의 값 자리에unknown을 냅니다. 유효 기간이 지난 값을 다시 내거나 0으로 채우지 않습니다. 조건과 원인은 unknown이 나오는 조건을 보십시오. last_hang과peer_sram의 칸에 나오는-는 기록된 적이 없거나 해당하지 않는 값입니다.- 카운터는 부호 없는 32비트 십진수입니다. 드라이버가 디바이스를 인식(probe)한 뒤로 늘기만 하고, 디바이스를 리셋해도 0이 되지 않습니다. 드라이버가 디바이스를 다시 인식하면 0부터 다시 셉니다.
- 문서에 나오는 숫자와 주소는 예시입니다.
- 드라이버가 텔레메트리 노드를 등록하지 못하면 커널 로그에
telemetry sysfs unavailable이 남고 텔레메트리 노드가 만들어지지 않습니다. 디바이스 노드/dev/haN은 영향을 받지 않습니다.
요약¶
갱신 열의 뜻은 다음과 같습니다.
- 고정: 바뀌지 않습니다.
- 캐시: 펌웨어가 준비된 뒤 한 번 읽어 두고, 리셋 뒤 다시 읽습니다.
- 주기 갱신: 백그라운드 모니터가
ha_sysmon_poll_ms마다(기본 200 ms) 갱신합니다. 마지막 정상 샘플이 5초보다 오래되면unknown입니다. - 읽을 때: 읽을 때마다 드라이버의 호스트 측 상태에서 계산합니다. 디바이스에 접근하지 않습니다.
- 디바이스: 읽을 때마다 디바이스에서 직접 읽습니다.
| 노드 | 단위 | 갱신 | 내용 |
|---|---|---|---|
fw_version |
- | 캐시 | 펌웨어 버전 |
hw_version |
- | 고정 | PCI Revision ID |
serial |
- | 캐시 | 칩 고유 번호 |
dram_size |
바이트 | 고정 | DRAM 전체 용량 |
dram_used |
바이트 | 읽을 때 | 할당된 DRAM |
dram_free |
바이트 | 읽을 때 | 남은 DRAM |
sram_size |
바이트 | 고정 | 호스트 공유 SRAM 전체 크기 |
sram_used |
바이트 | 읽을 때 | 할당된 호스트 공유 SRAM |
sram_free |
바이트 | 읽을 때 | 남은 호스트 공유 SRAM |
temp |
°C | 주기 갱신 | 칩 다이 최고 온도 |
temp_avg |
°C | 주기 갱신 | 블록 센서 평균 온도 |
temp_blocks |
°C | 주기 갱신 | 블록 센서별 온도 |
power_mw |
mW | 주기 갱신 | rail 전력 합 |
rails |
mV, mA | 주기 갱신 | rail별 전압과 전류 |
util |
% | 주기 갱신 | IP별 사용률 |
inflight |
개수 | 읽을 때 | 끝나지 않은 작업 수 |
stream_count |
개수 | 읽을 때 | 작업이 남은 스트림 수 |
devcmd_timeouts |
횟수 | 읽을 때 | 디바이스 명령 응답 시간 초과 |
devcmd_fw_errors |
횟수 | 읽을 때 | 펌웨어 오류 응답 |
hdma_timeouts |
횟수 | 읽을 때 | DMA 전송 시간 초과 |
abi_prefetch_stats |
횟수 | 읽을 때 | 입력 복사 앞당기기 누계 |
last_hang |
- | 읽을 때 | 마지막 펌웨어 오류와 hang 진단 |
health |
- | 읽을 때 | 한 단어 상태 판정 |
fw_update_progress |
4 KiB 섹터 | 디바이스 | 펌웨어 업데이트 진행률 |
peer_map |
- | 읽을 때 | 다른 카드로 가는 DMA 매핑 상태 |
peer_route |
- | 읽을 때 | 다른 카드와의 PCIe 경로 판정 |
peer_sram |
- | 읽을 때 | LPU별 SRAM 접근 주소 |
tw_window_size |
바이트 | 고정 | 변환 창 하나의 크기 |
dmabuf_exports |
- | 읽을 때 | 예약된 dma-buf export 창 |
help |
- | 고정 | 사람이 읽는 노드 요약 |
bypass_range_check |
0 또는 1 | - | 디버그용 설정 |
식별¶
fw_version¶
펌웨어 버전입니다. major.minor.patch 형식입니다.
1 | |
- 갱신: 캐시. 값을 아직 읽지 못한 동안에는 읽을 때마다 펌웨어 준비 여부를 다시 확인합니다.
- unknown: 펌웨어가 준비되지 않았습니다. 버전 레지스터가 0이거나 모든 비트가 1로 읽혔습니다. 리셋 뒤 펌웨어가 준비 상태로 돌아오지 않은 것을 드라이버가 확인했습니다.
- 드라이버가 읽어 둔 값이므로 지금 펌웨어가 응답하는지는 알려 주지 않습니다. 펌웨어를 업데이트한 뒤에는 새 펌웨어로 부팅하고 드라이버가 다시 읽어야 바뀝니다.
hw_version¶
디바이스의 PCI Revision ID입니다. 0x와 16진수 두 자리로 냅니다.
1 | |
- 갱신: 고정.
- unknown: 나오지 않습니다.
serial¶
칩 고유 번호를 UUID 형식으로 낸 값입니다. 카드마다 다르고 바뀌지 않으므로 카드를 식별하는 데 씁니다.
1 | |
- 형식은
HA-뒤에 16진수 8-4-4-4-12자리입니다. 96비트를 UUID 길이에 맞추기 위해 마지막 8자리는 항상00000000으로 채웁니다. - 갱신: 캐시.
fw_version을 아직 읽지 못한 동안에는 읽을 때마다 펌웨어 준비 여부를 다시 확인합니다. - unknown: 펌웨어가 준비되지 않았습니다. 펌웨어가 번호를 공개하지 않았습니다. 칩에 번호가 기록되지 않았습니다(값이 모두 0).
serial이 unknown이면 PCI 주소로 카드를 구별하십시오
haN 번호는 카드 구성이나 인식 순서에 따라 달라질 수 있으므로 카드 식별자로 쓰지 마십시오. PCI 주소는 device 링크로 얻습니다(커널 표준 항목).
메모리¶
*_used와 *_free는 디바이스를 쓰는 모든 프로세스의 할당을 합친 디바이스 전체 값입니다.
dram_size¶
디바이스 DRAM의 전체 용량(바이트)입니다.
1 | |
- 갱신: 고정. 드라이버의 메모리 구성에서 계산합니다.
dram_used, dram_free¶
디바이스 DRAM 중 할당된 양과 남은 양(바이트)입니다.
1 | |
1 2 | |
- 갱신: 읽을 때.
dram_used와dram_free를 더하면dram_size입니다.dram_free는 남은 양의 합계이지 한 번에 할당할 수 있는 가장 큰 연속 영역이 아닙니다. 남은 영역이 조각나 있으면dram_free보다 작은 할당도 실패할 수 있습니다.- 디바이스를 리셋하면 모든 할당이 회수되어
dram_used가 0이 됩니다.
sram_size¶
호스트와 공유하는 시스템 SRAM 영역의 전체 크기(바이트)입니다. 코어마다 있는 연산용 SRAM이 아닙니다.
1 | |
- 갱신: 고정.
sram_used, sram_free¶
호스트 공유 SRAM 중 할당된 양과 남은 양(바이트)입니다.
- 갱신: 읽을 때.
sram_used와sram_free를 더한 값은sram_size보다 작습니다. 영역의 앞부분은 펌웨어와 드라이버가 명령 큐 등으로 쓰도록 예약되어 있어 할당할 수 없습니다.sram_free도 남은 양의 합계이며, 디바이스를 리셋하면sram_used가 0이 됩니다.
온도, 전력, 사용률¶
이 절의 노드는 모두 모니터링 노드입니다. 공통 unknown 조건은 아직 첫 샘플이 없거나 마지막 정상 샘플이 5초보다 오래된 경우입니다(리셋 중, FATAL, 모니터링 정지, 펌웨어가 모니터링 채널을 열지 않음 등). 각 노드에는 이 밖의 조건만 적습니다.
temp¶
칩 다이 최고 온도(°C, 정수)입니다. 블록 센서 13개 중 가장 높은 값입니다.
1 | |
temp_avg¶
블록 센서 13개의 평균 온도(°C, 정수)입니다.
1 | |
temp_blocks¶
블록 센서마다 한 줄씩 <블록> <온도>를 내고, 끝에 최고값(peak)과 평균(avg)을 덧붙입니다. 온도는 °C 정수이고 줄 순서는 고정입니다. temp가 어느 블록에서 나오는지 찾을 때 씁니다. cg0–cg7은 코어 그룹 0–7이고, 나머지는 이름이 가리키는 칩 블록의 센서입니다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | |
온도는 근사값입니다
온도 센서가 기본 보정값을 쓸 수 있어 절대값이 정확하지 않습니다. 추세를 보거나 디바이스끼리 비교하는 데 쓰고, 데이터시트의 한계값과 직접 비교하지 마십시오. 온도가 높게 나오면 temp_blocks로 블록 간 차이를 보고 냉각부터 확인하십시오. 코어 그룹 온도가 높을 때 펌웨어가 코어 클럭을 내리는 조건은 펌웨어의 클럭 조절을 보십시오.
power_mw¶
보드의 전원 rail마다 펌웨어가 잰 전압과 전류를 곱해 더한 전력(mW, 정수)입니다.
1 | |
- 보드 입력 전력이 아닙니다. 레귤레이터 손실과 측정하지 않는 rail은 들어가지 않으며, 보드 입력 전력은 측정되지 않습니다. 이 합이 350000 mW(350 W)를 넘으면 펌웨어가 코어 클럭을 내릴 수 있습니다. 펌웨어의 클럭 조절을 보십시오.
- unknown: 측정되는 rail이 하나도 없습니다.
rails¶
측정되는 rail마다 한 줄씩 <이름> <전압> mV <전류> mA를 냅니다.
1 2 3 4 | |
| 이름 | rail |
|---|---|
top_core |
칩 상위 도메인 |
ddr_core |
DRAM |
lpu_core |
LPU 연산 코어 |
vdpu_core |
VDPU 도메인 |
- 측정되지 않는 rail은 줄이 없습니다. 측정되는 rail이 하나도 없으면
none을 냅니다. - 줄 끝에
V_ERR가 붙으면 그 rail의 전압을,I_ERR가 붙으면 전류를 읽지 못한 것입니다. 해당 숫자는 쓰지 마십시오. - 다섯 번째 이후 자리에 측정값이 있으면 이름이
rail로 나옵니다.
util¶
IP 블록별 사용률을 한 줄에 하나씩 <IP> <백분율>%로 냅니다. 백분율은 0.0–100.0이고 소수 첫째 자리까지입니다.
1 2 3 4 5 6 7 8 9 10 | |
- 줄 순서는 위와 같이 고정입니다.
- 디바이스 내 각 IP 전체를 집계한 값입니다.
core부터cgbrg까지는 측정 구간 동안 그 IP가 동작 중이던 샘플의 비율이고,cgdma는 코어 그룹 DMA의 점유율로 계산 방식이 다릅니다. - 펌웨어는 코어 그룹마다 첫 번째 코어를 샘플링합니다. 그 코어를 쓰지 않는 작업은 해당 코어 그룹의 사용률이 낮게 나오므로 0%가 곧 유휴를 뜻하지는 않습니다.
- unknown: 펌웨어가 첫 측정 구간을 아직 끝내지 않았습니다. 펌웨어의 측정이 5초 넘게 진행하지 않습니다. 한 IP라도 100%를 넘는 값이 왔습니다.
작업과 오류¶
inflight¶
드라이버가 접수했지만 아직 끝나지 않은 작업을 스트림 단위로 센 수입니다. 실행 중인 스트림과 차례나 이벤트를 기다리는 스트림을 모두 포함합니다. 입력 복사 앞당기기(abi_prefetch_stats)가 진행 중이면 그것도 하나로 셉니다.
1 | |
- 갱신: 읽을 때마다.
- 0이면 스트림으로 접수한 작업 중 남은 것이 없습니다.
stream_count¶
작업이 남아 있는 스트림 수입니다. 다른 스트림의 작업이 끝나기를 기다리느라 아직 실행 차례를 받지 못한 스트림은 세지 않습니다.
1 | |
- 갱신: 읽을 때마다.
inflight와는 세는 기준이 달라 두 값이 다를 수 있습니다.
devcmd_timeouts¶
디바이스가 명령에 응답 대기 상한 안에 응답하지 않은 횟수입니다. 상한은 보통 ha_devcmd_ceiling_ms(기본 12000 ms)이고, 오래 걸리는 명령에는 그만큼 시간을 더 줍니다. 애플리케이션이 시간 제한을 직접 정한 명령은 그 제한이 상한입니다. 펌웨어 업데이트가 기한 안에 응답하지 않은 경우도 셉니다.
1 | |
- 갱신: 읽을 때마다.
- 늘어날 때
last_hang의 진행 정보와 판정이 갱신되고, 커널 로그에 hang 진단이 남습니다.
devcmd_fw_errors¶
펌웨어가 명령에 오류로 응답한 횟수입니다. 펌웨어가 스스로 판정한 실행 시간 초과도 들어가고, 애플리케이션이 보낸 잘못된 요청에 대한 오류 응답도 셉니다.
1 | |
- 갱신: 읽을 때마다.
- 늘어날 때마다
last_hang의rc,cmd_idx,opcode가 그 오류로 바뀌고, 커널 로그에Firmware error: resq[...]가 남습니다(로그는 출력 빈도가 제한됩니다).
hdma_timeouts¶
디바이스의 DMA 엔진이 하는 데이터 전송(호스트와 디바이스 사이, 디바이스와 디바이스 사이) 한 번이 5초 안에 끝나지 않은 횟수입니다.
1 | |
- 갱신: 읽을 때마다.
last_hang¶
마지막 펌웨어 오류와, 마지막으로 hang을 관측했을 때의 디바이스 진행 상황을 한 줄로 냅니다. 주기적으로 수집할 지표가 아니라, 카운터가 늘어난 뒤 원인을 볼 때 읽는 진단 정보입니다.
1 | |
| 필드 | 뜻 |
|---|---|
rc |
마지막 펌웨어 오류의 결과 코드(16진수) |
cmd_idx |
그 오류를 낸 명령이 명령 묶음 안에서 몇 번째였는지(0부터 센 십진수) |
opcode |
그 명령의 펌웨어 명령 코드(16진수) |
batch_seq |
펌웨어의 명령 묶음 순번. <명령을 보내기 전>-><관측 시점> |
exec_index |
관측 시점에 펌웨어가 실행 중이던 명령 번호(0부터). 실행 중인 명령이 없으면 none |
resq_tail |
관측 시점까지 펌웨어가 써 둔 응답 위치 |
verdict |
진행 정보로 내린 판정(아래 표) |
rc,cmd_idx,opcode는devcmd_fw_errors가 늘어날 때 기록됩니다. 펌웨어 오류가 아직 없었으면-입니다.batch_seq,exec_index,resq_tail,verdict는 hang을 관측할 때 기록됩니다. 명령이 상한 시간 안에 응답하지 않았을 때(devcmd_timeouts증가), 애플리케이션이 상한 없이 기다리도록 요청한 대기가 상한 시간을 넘겨 경고를 낼 때(경고는 10초마다 반복되고 그때마다 다시 기록됩니다), 펌웨어 업데이트가 기한을 넘겼을 때입니다.verdict가none이나unsupported이면batch_seq,exec_index,resq_tail은-입니다.- 앞의 세 칸과 뒤의 네 칸은 서로 다른 사건의 기록일 수 있습니다.
- 디바이스를 리셋해도 지워지지 않고, 드라이버가 디바이스를 다시 인식하면 처음 상태로 돌아갑니다.
verdict |
뜻 |
|---|---|
none |
아직 hang을 관측한 적이 없습니다 |
unsupported |
펌웨어가 판정에 필요한 진행 정보를 공개하지 않거나, 읽은 값으로는 판정할 수 없습니다 |
rebooted |
기다리는 동안 디바이스가 재부팅했습니다 |
not-picked-up |
펌웨어가 명령 묶음을 가져가지 않았습니다 |
picked-up-no-dispatch |
펌웨어가 명령 묶음을 가져갔지만 명령을 하나도 시작하지 않았습니다 |
stuck-in-command |
펌웨어가 명령을 시작했지만 끝내지 못했습니다 |
completed-irq-lost |
모든 명령이 끝났고 완료 알림(인터럽트)만 호스트에 닿지 않았습니다. 디바이스 자체는 멈추지 않았습니다 |
verdict는 진단용입니다. 드라이버는 판정과 관계없이 응답 시간 초과를 같은 방식으로 처리합니다. 다른 출력 예는 다음과 같습니다.
1 2 | |
해석과 진단 수집 방법은 hang 감지와 워치독을 보십시오.
health¶
드라이버가 내리는 한 단어 상태 판정입니다. ok, degraded, faulted, unknown 중 하나를 냅니다.
1 | |
| 값 | 조건 |
|---|---|
faulted |
디바이스가 FATAL 상태이거나, 마지막 리셋(SDK 리셋이나 자동 리셋)이 실패했습니다 |
degraded |
devcmd_timeouts, devcmd_fw_errors, hdma_timeouts 중 하나라도 0이 아닙니다 |
ok |
위 어느 조건에도 해당하지 않습니다 |
unknown |
드라이버가 상태를 읽을 수 없습니다. 디바이스 인식이 끝난 뒤에는 나오지 않습니다 |
- 갱신: 읽을 때. 표의 위에서부터 차례로 판정합니다.
- 펌웨어 준비 여부, 온도, 전력, 모니터링 상태는 판정에 넣지 않습니다.
- 각 값이 풀리는 시점과 해석은 health 판정을 보십시오.
abi_prefetch_stats¶
드라이버는 같은 스트림의 다음 작업 맨 앞에 있는 호스트→디바이스 복사를, 앞선 커널이 디바이스에서 실행되는 동안 미리 시작해 두 일을 겹칩니다. 이 노드는 그 최적화가 몇 번 적용되었는지와 적용하지 않은 이유를 셉니다. 이 기능은 모듈 파라미터 ha_abi_prefetch(기본 켜짐)로 켜고 끕니다.
1 | |
| 필드 | 뜻 |
|---|---|
issued |
복사를 앞당겨 시작한 횟수 |
consumed |
앞당긴 복사를 원래 순서의 작업이 넘겨받은 횟수 |
declined |
앞당긴 복사를 시작하기 직전에 복사 출발지가 바뀐 것을 보고 취소한 횟수 |
refused_block |
실행 중인 작업에 아직 남은 명령 중에 접근 범위를 알 수 없는 명령이 있어 적용하지 않은 횟수 |
refused_range |
실행 중인 작업에 아직 남은 명령이 복사 대상 영역과 겹쳐 적용하지 않은 횟수 |
refused_scan |
실행 중인 작업에 확인해야 할 명령이 너무 많이 남아 적용하지 않은 횟수 |
refused_pend |
완료를 확인하지 않은 명령과 겹치거나 추적 한도를 넘어 적용하지 않은 횟수 |
refused_owner |
디바이스 명령 큐에 다른 작업의 명령이나 완료를 확인하지 않은 명령이 남아 있어 적용하지 않은 횟수 |
refused_dup |
같은 스트림의 작업 항목이 둘 있어 적용하지 않은 횟수 |
refused_busy |
적용하기로 했지만 그 순간 복사를 시작할 수 없어(복사 자원이 사용 중이거나 다른 복사가 기다리는 중, 스트림 종료, 리셋, FATAL 등) 시작하지 못한 횟수 |
- 갱신: 읽을 때. 각 값은 카운터입니다.
- 한 번의 시도에서는 먼저 걸린 사유 하나만 셉니다. 시도 단위로 세므로 같은 작업이 여러 번 집계될 수 있습니다.
- 필드를 하나씩 읽으므로 한 줄이 한 순간의 스냅샷은 아닙니다.
- 작업량에 비해
issued가 늘지 않으면 이 최적화가 적용되지 않고 있는 것이고, 어느refused_*가 늘어나는지가 그 이유입니다. 성능 문제를 문의할 때 이 줄을 함께 보내 주십시오. ha_abi_prefetch를 끄면 진행 중이던 것이 끝난 뒤로 값이 늘지 않습니다. 파라미터 레퍼런스를 보십시오.
펌웨어 업데이트¶
fw_update_progress¶
펌웨어 업데이트 진행률을 <끝난 섹터 수> <전체 섹터 수>로 냅니다. 섹터는 4 KiB입니다.
1 | |
- 펌웨어가 부팅하면
0 0에서 시작합니다. 업데이트하는 동안 펌웨어가 섹터 하나를 끝낼 때마다 갱신하며, 내용이 같아 건너뛴 섹터도 끝난 것으로 셉니다. 그래서 거의 같은 이미지는 진행률이 빠르게 최댓값에 이릅니다. - 갱신: 디바이스. 읽을 때마다 디바이스에서 직접 읽으므로 상시 수집 대상에 넣지 마십시오. 응답하지 않는 디바이스(
health가faulted이거나 텔레메트리 모니터가 멈춘 디바이스)에서는 읽지 마십시오. - unknown: 펌웨어가 준비되지 않았습니다. 펌웨어가 진행률 보고를 지원하지 않습니다. 디바이스에서 값을 읽지 못했습니다.
ha-fw-update가 업데이트하는 동안 이 값으로 진행률을 표시합니다. 펌웨어 업데이트를 보십시오.
여러 디바이스¶
이 절의 노드가 어떤 구성에서 무엇을 뜻하는지는 여러 디바이스에서 설명합니다.
peer_map¶
이 카드에서 다른 카드로 디바이스 간 DRAM 전송을 할 때 필요한 주소 매핑이 준비되었는지를, 드라이버에 등록된 다른 카드마다 한 줄씩 냅니다. 다른 카드가 없으면 none을 냅니다.
1 2 | |
peer<M>의M은 상대 카드의haM번호입니다.mapped는 매핑이 있다는 뜻입니다.unmapped이면 이 카드에서 그 카드로의 디바이스 간 DRAM 전송을 쓸 수 없습니다.- 방향이 있습니다.
haN의 값은haN에서 상대로 가는 방향만 나타내므로 양쪽 카드를 모두 확인하십시오. - 매핑이 있다고 해서 PCIe 경로가 통한다는 뜻은 아닙니다.
peer_route와 함께 보십시오. - 갱신: 읽을 때. 매핑은 드라이버가 디바이스를 인식할 때 정해집니다.
peer_route¶
이 카드와 다른 카드 사이의 PCIe 경로 판정을 다른 카드마다 한 줄씩 냅니다. 다른 카드가 없으면 none을 냅니다.
1 2 | |
| 값 | 뜻 |
|---|---|
direct |
두 카드가 같은 PCIe 스위치 아래에 있고, 경로의 브리지가 카드 사이 트래픽을 위로 돌려보내지 않습니다 |
host-mem |
카드 사이 트래픽이 root complex를 거칩니다. 두 카드가 다른 root port(다른 소켓 포함)나 다른 PCI 도메인 아래에 있거나, 경로의 브리지가 ACS 설정으로 트래픽을 위로 돌려보냅니다 |
unknown |
경로의 브리지 설정을 읽지 못했거나 아직 판정 전입니다. 읽지 못한 브리지는 커널 로그에 ACS state unreadable로 남습니다 |
- 관측용입니다. 이 판정 때문에 매핑이 막히지는 않습니다.
- 갱신: 읽을 때. 판정은 드라이버가 디바이스를 인식할 때 한 번 하므로, 그 뒤 PCIe 설정을 바꿔도 드라이버가 디바이스를 다시 인식하기 전에는 바뀌지 않습니다.
peer_sram¶
설치된 LPU마다 한 줄씩, 이 카드에서 실행되는 디바이스 커널이 그 LPU의 SRAM에 접근할 때 쓰는 주소를 냅니다. 이 카드 자신도 포함하며 PCI 주소 순서입니다.
1 2 3 | |
| 칸 | 뜻 |
|---|---|
| 첫 칸 | 그 LPU의 haN 이름. 이 드라이버에 등록되지 않은 LPU면 - |
| PCI 주소 | domain:bus:device.function |
base |
이 카드의 커널이 그 LPU의 SRAM에 접근할 때 쓰는 기준 주소. 쓸 주소가 없으면 -, 지금 믿을 수 없으면 unknown |
bar0 |
그 LPU의 BAR0 PCIe 주소(참고용). 쓸 수 있는 BAR0가 없으면 - |
route |
이 카드에서 그 LPU에 닿는 방법(아래 표) |
쓰는 값은 base 하나이고, 괄호 안은 참고용입니다.
route |
뜻 |
|---|---|
self |
이 카드 자신입니다. base는 -입니다 |
bus |
펌웨어가 기본으로 설정해 둔 주소 창으로 그 LPU의 BAR0에 닿습니다 |
iova |
IOMMU가 그 LPU의 BAR0에 준 주소로 닿습니다 |
remap:<k> |
드라이버가 이 카드의 주소 창 k번을 그 LPU의 BAR0로 돌려 두었습니다 |
none:<사유> |
드라이버가 이 카드의 커널에 그 LPU의 주소를 주지 않습니다. base는 -입니다 |
unknown |
이 카드나 그 LPU가 리셋 중이거나, 준비되지 않았거나, FATAL이거나, 응답하지 않아 텔레메트리 모니터가 멈춰서 지금은 믿을 수 없습니다 |
none 사유 |
뜻 |
|---|---|
other-driver |
그 LPU가 다른 드라이버에 바인드되어 있습니다 |
not-bound |
그 LPU에 드라이버가 바인드되어 있지 않습니다 |
unsupported |
그 LPU의 BAR0가 할당되지 않았거나 크기가 다르거나, 이 카드의 주소 변환 구성에서 쓸 수 없습니다 |
peer-bar0-busy |
그 LPU의 BAR0가 다른 대상을 가리키도록 설정되어 있습니다 |
region-busy |
필요한 주소 창에 드라이버가 쓰지 않은 값이 들어 있습니다. 드라이버는 그 값을 덮어쓰지 않습니다 |
no-free-region |
이 카드에 쓸 수 있는 주소 창이 남아 있지 않습니다 |
map-failed |
IOMMU 매핑에 실패했습니다 |
iova-above-240g |
IOMMU가 준 주소가 이 카드가 닿을 수 있는 범위(240 GiB) 밖입니다 |
- 갱신: 읽을 때. 드라이버가 마지막으로 계산한 경로를 호스트 측 상태로 다시 확인해서 냅니다.
- 출력 전체가
unknown한 줄이면 이 카드의 경로 정보가 준비되지 않은 것입니다. base로 코어별 SRAM 주소를 계산하는 방법과 신뢰 경계는 여러 디바이스를 보십시오.
dma-buf export¶
RDMA NIC 같은 다른 PCIe 장치(이하 상대 장치)가 카드의 DRAM을 직접 읽고 쓰게 하려면, 애플리케이션이 드라이버에 dma-buf export를 요청합니다. 드라이버는 고른 DRAM 채널마다 카드의 변환 창(translation window)을 하나씩 예약해 상대 장치가 쓰게 하므로, export 하나가 창을 여러 개 쓸 수 있습니다. 예약은 애플리케이션이 받은 dma-buf를 닫고 상대 장치도 그것을 놓을 때(RDMA라면 메모리 등록을 풀 때) 풀립니다. 이 절의 노드는 그 창의 크기와 지금 예약된 창을 보여 줍니다.
tw_window_size¶
변환 창 하나의 크기를 바이트로 냅니다. export 하나가 채널마다 덮을 수 있는 최대 크기입니다.
1 | |
- 위 값은 예시이며, 값은 카드의 하드웨어에 따라 다릅니다.
- 드라이버가 변환 창을 준비하지 못한 경우에만
unknown입니다. - 갱신: 고정.
dmabuf_exports¶
지금 예약된 export 창과, export를 요청한 프로세스를 냅니다. 첫 줄은 요약이고, 그 뒤로 예약된 창마다 region으로 시작하는 줄이 하나씩 나옵니다. 예약된 창이 없으면 첫 줄만 나옵니다.
1 2 3 4 | |
| 칸 | 뜻 |
|---|---|
used, 첫 번째 max |
예약된 export 창 수와 카드의 상한 |
pins, 두 번째 max |
고정(pin)된 변환 창 수와 그 상한. export 창과 디바이스 간 복사 등이 이 한도를 함께 쓰므로, export가 쥔 만큼 디바이스 간 복사에 쓸 창이 줄어듭니다 |
region |
예약된 변환 창 번호 |
ch |
DRAM 채널 번호 |
da |
그 창이 덮는 DRAM 구간의 시작 주소(디바이스 주소) |
size |
그 구간의 크기(바이트, 16진수) |
live, disabled |
창의 상태(아래 표) |
pid, comm |
export를 요청한 프로세스의 PID와 이름. export할 때의 값입니다 |
| 상태 | 뜻 |
|---|---|
live |
드라이버가 창을 켜 두었습니다. 상대 장치가 이 창으로 그 DRAM 구간에 접근할 수 있습니다 |
disabled |
카드가 리셋되거나 다시 부팅해 드라이버가 창을 껐지만, dma-buf가 아직 해제되지 않아 예약이 남아 있습니다 |
- 프로세스가 끝나도 dma-buf가 해제되지 않으면 줄이 남습니다. 이때 그 PID는 이미 다른 프로세스에 다시 쓰였을 수 있습니다.
- 호스트와 다른 PID 네임스페이스(컨테이너 등)에서 읽으면
pid와comm이-입니다. - 드라이버가 변환 창을 준비하지 못한 경우에만
unknown한 줄입니다. health판정에는 반영하지 않습니다. 남아 있는 export는 고장이 아닙니다.- 모든 사용자가 읽을 수 있습니다. 여러 사용자가 쓰는 장비에서는 다른 사용자의 export 주소와 크기가 보이고, 호스트에서 읽으면 프로세스 이름도 보입니다.
- 갱신: 읽을 때.
기타¶
help¶
텔레메트리 노드의 요약 설명을 사람이 읽는 텍스트로 냅니다. 노드 하나에 값 하나라는 sysfs 관례의 예외로, 터미널에서 cat으로 읽기 위한 것입니다.
1 | |
- 갱신: 고정. 내용은 드라이버 버전마다 다를 수 있으므로 프로그램에서 해석하지 마십시오.
bypass_range_check¶
디바이스 메모리 접근 요청의 범위 검사를 끄는 디버그용 설정입니다. 텔레메트리가 아닙니다.
1 | |
| 항목 | 내용 |
|---|---|
| 값 | 0(검사함) 또는 1(검사하지 않음) |
| 초기값 | 드라이버가 디바이스를 인식할 때 0 |
| 커널이 만드는 권한 | 0644(root만 쓸 수 있음) |
| 설치 후 실제 권한 | 0666(모든 사용자가 쓸 수 있음). 드라이버와 함께 설치되는 udev 규칙 99-ha.rules가 디바이스가 추가되거나 바뀔 때(add, change 이벤트) 이 파일에 chmod a+rw를 실행합니다 |
| 리셋 | 디바이스를 리셋해도 값이 유지됩니다 |
1이면 드라이버가 디바이스 메모리 접근 요청을 검사할 때 그 주소가 할당된 영역 안에 있는지 확인하지 않습니다. 할당되지 않은 영역에 접근하는 요청도 거부되지 않습니다.
운영 환경에서는 1로 설정하지 마십시오
기본 설치에서는 모든 사용자가 이 값을 바꿀 수 있습니다. 여러 사용자가 쓰는 장비에서는 값이 0인지 정기적으로 확인하고, 1이면 echo 0 > /sys/class/ha/haN/bypass_range_check로 되돌리십시오. udev 규칙과 root만 쓸 수 있게 바꾸는 방법은 설치를 보십시오.
커널 표준 항목¶
커널은 모든 디바이스 디렉터리에 다음 항목도 만듭니다. 드라이버가 정한 값이 아닙니다.
| 항목 | 내용 |
|---|---|
dev |
디바이스 노드 /dev/haN의 major:minor |
device |
PCI 디바이스 디렉터리로 가는 링크 |
subsystem |
/sys/class/ha로 가는 링크 |
uevent |
udev가 받는 디바이스 정보 |
power/ |
전원 관리 항목(커널 설정에 따라 있음) |
device 링크로 haN의 PCI 주소를 얻습니다.
1 | |
1 | |
PCI 디바이스 디렉터리에는 커널의 표준 PCI 항목(vendor, device, numa_node, current_link_speed, current_link_width 등)과 hwmon 디바이스가 있습니다.
hwmon¶
드라이버는 디바이스마다 hwmon 디바이스를 하나 등록합니다. 커널이 hwmon을 지원(CONFIG_HWMON)할 때만 만들어지며, 지원하지 않는 커널에서는 로그 없이 만들어지지 않습니다.
| 항목 | 내용 |
|---|---|
| 위치 | /sys/class/ha/haN/device/hwmon/hwmonM/(/sys/class/hwmon/hwmonM과 같은 디바이스) |
name |
ha |
| 권한 | 센서와 라벨 파일은 모두 0444 |
| 값의 출처 | 모니터링 노드와 같은 캐시 |
| 값을 믿을 수 없을 때 | 읽기 오류 ENODATA(No data available). 조건은 모니터링 노드의 unknown 조건과 같습니다 |
| 파일 | 라벨 | 값 | 단위 | 대응하는 노드 |
|---|---|---|---|---|
temp1_input |
peak |
최고 온도 | m°C | temp |
temp2_input |
avg |
평균 온도 | m°C | temp_avg |
temp3_input |
ca53 |
블록 온도 | m°C | temp_blocks |
temp4_input–temp11_input |
cg0–cg7 |
블록 온도 | m°C | temp_blocks |
temp12_input |
lpddr5x |
블록 온도 | m°C | temp_blocks |
temp13_input |
pcie |
블록 온도 | m°C | temp_blocks |
temp14_input |
pvt |
블록 온도 | m°C | temp_blocks |
temp15_input |
vdpuctrl |
블록 온도 | m°C | temp_blocks |
in0_input–in3_input |
top_core, ddr_core, lpu_core, vdpu_core |
rail 전압 | mV | rails |
curr1_input–curr4_input |
top_core, ddr_core, lpu_core, vdpu_core |
rail 전류 | mA | rails |
power1_input |
total |
rail 전력 합 | µW | power_mw |
- 라벨은 같은 번호의
_label파일(예:temp1_label)에 있습니다. - 전압 채널 번호는 0부터, 나머지 채널 번호는 1부터 시작합니다(hwmon 규약).
- 전압·전류 채널은 그 rail이 측정되지 않으면 읽기 오류를 냅니다.
power1_input은 측정되는 rail이 하나도 없으면 읽기 오류를 냅니다. - 전압·전류 채널에는
rails의V_ERR·I_ERR표시가 따라오지 않습니다. 값이 의심스러우면rails에서 그 rail에 표시가 붙었는지 확인하십시오. rails에rail이라는 이름으로 나오는 다섯 번째 이후 자리는 hwmon에 채널이 없습니다.- 지원하는 커널에서 hwmon 디바이스를 등록하지 못하면 커널 로그에
hwmon register failed가 남습니다. sysfs 노드는 영향을 받지 않습니다.
모듈 정보¶
/sys/module/ha/version¶
적재된 ha.ko의 버전입니다.
1 | |
1 | |
/sys/module/ha/parameters/¶
모듈 파라미터마다 파일이 하나 있고, 모든 사용자가 현재 값을 읽을 수 있습니다. 실행 중에 바꿀 수 있는 파라미터는 root가 이 파일에 값을 써서 바꿉니다. 운영용 파라미터의 뜻과 기본값은 파라미터 레퍼런스를, 바꾸는 방법은 파라미터 설정과 사용법을 보십시오.
함께 보기¶
- 텔레메트리 — 갱신 방식,
unknown,health판정, 모니터링 연동 - hang 감지와 워치독 —
last_hang을 이용한 진단 - FATAL과 복구
- 여러 디바이스 —
peer_map,peer_route,peer_sram해석 - 펌웨어 업데이트 —
fw_update_progress - 파라미터 레퍼런스
- hyperaccel-smi
- 커널 로그 메시지