텔레메트리¶
ha.ko는 디바이스마다 상태를 /sys/class/ha/haN/ 아래의 읽기 전용 파일로 공개합니다. 펌웨어 버전과 칩 고유 번호, 온도·전력·사용률, 메모리 사용량, 작업 수와 오류 카운터, 상태 판정(health)이 모두 여기에 있고, 온도·전압·전류·전력은 리눅스 hwmon으로도 공개됩니다. 이 문서에서는 값이 어디서 와서 언제 갱신되는지, unknown이 무엇을 뜻하는지, health를 어떻게 판정하는지, 그리고 모니터링 시스템에 어떻게 연결하는지를 설명합니다. 노드마다의 출력 형식은 sysfs 노드에 있습니다.
설계 원칙¶
텔레메트리는 디바이스에 문제가 생긴 순간에도 읽을 수 있도록 다음 원칙을 따릅니다.
| 원칙 | 운영에서의 의미 |
|---|---|
| 디바이스 노드를 열지 않음 | /dev/haN을 열지 않고 파일을 읽기만 합니다. 모니터링 에이전트가 워크로드와 디바이스를 두고 경쟁하지 않고, 워크로드가 없을 때도 읽을 수 있습니다 |
| 권한이 필요 없음 | 텔레메트리 노드는 모두 0444입니다. 일반 사용자가 cat으로 읽습니다 |
| 계산 경로와 분리 | 온도·전력·사용률은 펌웨어의 별도 모니터링 채널로 가져오고, 나머지 값은 대부분 드라이버가 호스트 메모리에 유지하는 상태에서 계산합니다. 계산 작업이 쓰는 명령 큐와 락을 거치지 않으므로 계산 작업이 멈춘 동안에도 응답합니다 |
| 읽기 전용 | 텔레메트리 노드는 읽기만 할 수 있습니다. 같은 디렉터리의 bypass_range_check는 텔레메트리가 아니라 디버그용 설정입니다 |
| fail-closed | 값을 믿을 수 없으면 unknown을 냅니다. 유효 기간이 지난 값을 다시 내거나 0으로 채우지 않습니다 |
1 2 3 | |
수집기는 unknown을 처리해야 합니다
unknown은 오류가 아니라 정상적인 출력입니다. 숫자만 기대하는 파서는 펌웨어가 아직 준비되지 않았거나 디바이스를 리셋하는 동안, 즉 상태 정보가 가장 필요한 순간에 실패합니다. hwmon 파일은 같은 상황에서 unknown 대신 읽기 오류(No data available)를 냅니다.
텔레메트리 노드 종류와 갱신 방식¶
텔레메트리 노드는 값을 얻는 방법에 따라 다섯 종류로 나뉩니다. sysfs 노드의 갱신 열이 이 구분을 따릅니다.
| 종류 | 노드 | 값을 얻는 곳 | 갱신 |
|---|---|---|---|
| 고정 | hw_version, dram_size, sram_size, tw_window_size, help |
PCI 설정 공간, 드라이버의 메모리 구성, 드라이버에 들어 있는 설명 텍스트 | 바뀌지 않습니다 |
| 캐시 | fw_version, serial |
펌웨어가 공개한 값 | 펌웨어가 준비되면 한 번 읽습니다. 디바이스가 리셋되면 다시 읽습니다. |
| 모니터링 | temp, temp_avg, temp_blocks, power_mw, rails, util, hwmon |
펌웨어 모니터링 채널 | ha_sysmon_poll_ms마다(기본 200 ms) |
| 읽을 때 | dram_used, dram_free, sram_used, sram_free, inflight, stream_count, devcmd_timeouts, devcmd_fw_errors, hdma_timeouts, abi_prefetch_stats, last_hang, health, peer_map, peer_route, peer_sram, dmabuf_exports |
드라이버가 유지하는 상태 | 읽을 때마다 계산합니다 |
| 디바이스 | fw_update_progress |
디바이스 | 읽을 때마다 디바이스에서 직접 읽습니다 |
캐시: 펌웨어 버전과 칩 고유 번호¶
fw_version과 serial은 펌웨어가 디바이스 레지스터에 공개하는 값입니다.
- 드라이버가 디바이스를 인식할 때 펌웨어가 아직 준비되지 않았으면 두 값은
unknown으로 시작합니다. 부팅 중인 펌웨어가 쓰다 만 값을 버전으로 내보내지 않기 위해서입니다. 드라이버는 이 노드를 읽을 때와 폴러가 돌 때마다 펌웨어 준비 여부를 다시 확인하고, 준비되면 값을 읽어 채운 뒤 커널 로그에firmware booted after probe gave up; CSR-derived telemetry refreshed를 남깁니다. 아직 준비되지 않았으면telemetry stays "unknown": device is not ready를 남깁니다(출력 빈도가 제한됩니다). - 디바이스를 리셋하면 드라이버가 리셋 끝에 펌웨어 준비를 확인하고 값을 다시 읽습니다. 펌웨어가 준비 상태로 돌아오지 않은 것을 확인하면
unknown으로 바꿉니다. - 읽어 둔 값은 그 시점의 값입니다.
fw_version에 버전이 보인다고 해서 지금 펌웨어가 응답한다는 뜻은 아닙니다. 지금 상태는health와 카운터로 판단합니다. - 펌웨어를 업데이트해도
fw_version은 바로 바뀌지 않습니다. 새 펌웨어로 부팅하고 드라이버가 값을 다시 읽어야 바뀝니다. 펌웨어 업데이트를 보십시오.
주기적인 모니터링: 온도, 전력, 사용률¶
드라이버는 ha_sysmon_poll_ms마다(기본 200 ms, 초당 5회) 펌웨어의 모니터링 채널에 온도, 전력, 사용률을 차례로 요청하고 결과를 캐시에 저장합니다. sysfs 노드와 hwmon은 이 캐시를 읽습니다. 커널 로그에서는 이 정보를 요청하는 주체와 채널을 sys_mon이라고 부릅니다.
- 노드를 읽어도 디바이스에 접근하지 않습니다. 폴링 주기보다 자주 읽으면 같은 샘플을 다시 받습니다.
- 샘플은 5초 동안 유효합니다. 요청이 실패하면 캐시를 그대로 두므로, 5초 안에 다음 샘플이 오면 값이 끊기지 않습니다. 마지막 정상 샘플이 5초보다 오래되면
unknown이 됩니다. - 전력 샘플에 물리적으로 불가능한 전압이나 전류가 들어 있으면 그 샘플은 버리고 직전 샘플을 유지합니다.
- 요청 하나는 응답을 최대 50 ms 기다립니다. 계산 작업과 같은 명령 큐를 쓰지 않으므로, 계산이 멈춰 있어도 주기적인 모니터링은 계속됩니다. 모니터링은 계산과 별도의 경로로 처리됩니다. 계산이 응답하지 않는 동안에도 온도, 전력, 사용률이 갱신되면 모니터링은 동작하고 있는 것입니다. 이 값이
unknown이 되는 것은 모니터링이나 디바이스와의 연결이 따로 응답하지 않는 경우입니다. ha_sysmon_poll_ms는 실행 중에 바꿀 수 있고 다음 폴링 예약부터 적용됩니다. 50–2500 ms 밖의 값은 그 범위로 맞춰지며,0은 끄기가 아니라 가장 빠른 주기(50 ms)입니다. 주기를 길게 잡을수록 더 적은 횟수의 요청 실패만으로 5초 유효 기간을 넘겨unknown이 되기 쉽습니다. 파라미터 레퍼런스를 보십시오.
펌웨어의 클럭 조절¶
펌웨어는 코어 그룹 온도나 전력이 문턱을 넘으면 코어 그룹마다 코어 클럭을 2분의 1로 내립니다. 이 펌웨어에서 열에 대한 대응은 이것뿐입니다. 온도가 더 올라도 펌웨어가 카드를 리셋하지는 않습니다.
| 클럭을 내릴 때 | 클럭을 되돌릴 때 | |
|---|---|---|
| 코어 그룹 최고 온도 | 90°C | 80°C |
| rail 전력 합 | 350 W | 300 W |
둘 중 하나만 넘어도 클럭을 내립니다. 온도는 80°C 아래, 전력은 300 W 아래가 되어야 원래 클럭으로 돌아갑니다. 온도를 읽지 못하면 클럭을 되돌리지 않습니다. 전력을 잠시 읽지 못하면 그 상태를 다섯 번까지 유지한 뒤, 온도만 보고 판단합니다.
이 상태는 sysfs와 hyperaccel-smi에 나오지 않습니다. temp가 올라가고 처리량이 떨어져도 health는 ok일 수 있고, hang도 아닙니다.
문턱과 비교하는 값은 화면에 나온 temp가 아닙니다. 클럭 조절은 블록 센서 전체의 최고값이 아니라 코어 그룹 센서의 최고값만 보고, 전력은 power_mw와 같은 rail 합입니다. temp는 근사값이라 데이터시트의 한계와 직접 비교하지 마십시오. 90°C와 350 W는 그 센서와 rail 합을 기준으로 펌웨어가 쓰는 값입니다.
읽을 때 계산되는 값¶
메모리 사용량, 작업 수, 오류 카운터, last_hang, health, 디바이스 간 경로 정보는 드라이버가 호스트 메모리에 유지하는 상태에서 읽을 때마다 계산합니다. 디바이스에 접근하지 않으므로 항상 현재 값이고, 계산 작업이 멈춘 동안에도 응답합니다.
오류 카운터(devcmd_timeouts, devcmd_fw_errors, hdma_timeouts)와 abi_prefetch_stats, last_hang은 드라이버가 디바이스를 인식(probe)한 뒤로 쌓인 기록입니다. 드라이버가 디바이스를 다시 인식할 때(모듈 재적재, 언바인드 뒤 바인드, ha-hotreset, 호스트 재부팅)에만 처음부터 다시 셉니다.
디바이스에서 직접 읽는 값¶
fw_update_progress는 노드를 읽을 때마다 드라이버가 디바이스에서 펌웨어 업데이트 진행률을 직접 읽어 옵니다. 명령 큐를 거치지 않으므로 업데이트가 진행되는 동안에도 읽을 수 있습니다. 상시 수집 대상에 넣지 말고, 펌웨어 업데이트를 지켜볼 때만 읽으십시오. 응답하지 않는 디바이스(health가 faulted이거나 모니터링 수집이 멈춘 디바이스)에서는 읽지 마십시오.
unknown이 나오는 조건¶
unknown은 값이 없거나 지금은 믿을 수 없다는 뜻입니다. 조건은 각 텔레메트리 노드마다 다릅니다.
| 노드 | 조건 | 풀리는 시점 |
|---|---|---|
fw_version, serial |
펌웨어가 아직 준비되지 않았습니다(부팅 중이거나 부팅에 실패) | 펌웨어가 준비되면 드라이버가 확인해 채웁니다 |
fw_version |
펌웨어 버전 레지스터가 0이거나 모든 비트가 1로 읽혔습니다 | 드라이버가 다시 확인해 정상 값을 읽으면 |
serial |
펌웨어가 칩 고유 번호를 공개하지 않았거나, 칩에 번호가 기록되지 않았습니다 | 그 카드와 펌웨어 조합에서는 바뀌지 않습니다 |
| 모니터링 노드 전체 | 드라이버가 디바이스를 인식한 직후라 아직 첫 샘플이 없습니다 | 첫 샘플이 들어오면 |
| 모니터링 노드 전체 | 마지막 정상 샘플이 5초보다 오래되었습니다(원인은 아래) | 샘플이 다시 들어오면 |
util |
펌웨어가 첫 측정 구간을 아직 끝내지 않았습니다 | 첫 구간이 끝나면 |
util |
펌웨어의 측정이 5초 넘게 진행하지 않습니다 | 측정이 다시 진행하면 |
util |
한 IP라도 100%를 넘는 값이 왔습니다 | 다음 정상 샘플이 오면 |
power_mw |
측정되는 rail이 하나도 없습니다(이때 rails는 none) |
- |
fw_update_progress |
펌웨어가 준비되지 않았거나, 진행률 보고를 지원하지 않거나, 디바이스에서 값을 읽지 못했습니다 | - |
peer_sram |
LPU가 리셋 중이거나, 준비되지 않았거나, FATAL이거나, 응답하지 않아 모니터링이 멈췄습니다 | 상태가 돌아와 경로를 다시 계산하면 |
peer_route |
PCIe 경로를 판정하지 못했습니다 | 드라이버가 디바이스를 다시 인식할 때 재판정합니다 |
모니터링 노드의 마지막 샘플이 5초보다 오래되는 원인은 다음과 같습니다.
- 디바이스를 리셋하는 중입니다. 리셋하는 동안에는 디바이스를 읽지 않도록 폴링을 멈춥니다.
- 디바이스가 FATAL입니다(health 판정). 멈춘 디바이스를 계속 읽지 않도록 FATAL이 풀릴 때까지 폴링 요청을 보내지 않습니다.
- 모니터링 주체가 멈췄습니다. 아래 모니터링 정지를 보십시오.
- 펌웨어가 모니터링 채널을 열지 않았거나, 펌웨어가 보내는 모니터링 형식의 버전이 드라이버가 받아들이는 최소 버전보다 낮습니다.
- 펌웨어가 요청에 응답하지 않거나 잘못된 응답을 보냅니다.
- 드라이버가 모니터링을 시작하지 못했습니다. 커널 로그에
sys_mon telemetry unavailable이 남고, 이때는 hwmon 디바이스도 만들어지지 않습니다.
health, 메모리 노드, abi_prefetch_stats, peer_map, peer_route는 드라이버가 내부 상태를 읽을 수 없을 때만 노드 전체가 unknown이 되며, 디바이스 인식이 끝난 뒤에는 이런 경우가 생기지 않습니다.
모니터링 정지¶
한 번의 모니터링에서 세 요청(온도, 전력, 사용률)이 모두 실패하는 일이 ha_sysmon_fail_limit번(기본 15번) 연속되면 모니터링을 스스로 멈춥니다. 기본 설정(15번, 200 ms 주기)에서는 응답이 끊긴 뒤 멈추기까지 약 3초 이상 걸리고, ha_sysmon_poll_ms를 늘리면 그만큼 늦어집니다.
응답하지 않는 디바이스를 계속 읽으면 PCIe Completion Timeout이 생길 수 있습니다. PCIe 오류를 플랫폼 펌웨어가 먼저 처리하는(firmware-first) 일부 서버는 이를 복구할 수 없는 오류로 보고 호스트 전체를 리셋할 수 있습니다. 모니터링을 멈추게 하는 것은 응답하지 않는 카드 하나 때문에 호스트를 잃지 않기 위해서입니다.
멈출 때 커널 로그에 다음과 같은 오류가 남습니다(숫자는 상황마다 다릅니다).
1 | |
멈춘 뒤에는 다음과 같이 동작합니다.
- 모니터링 노드와 hwmon 값은 마지막 정상 샘플에서 5초가 지나면
unknown(hwmon은 읽기 오류)이 됩니다. - 모니터링 채널을 한 번이라도 연 적이 있는 카드라면, 드라이버는 리셋 전까지 그 카드에 폴링을 하지 않고
unknown인fw_version·serial도 다시 확인하지 않습니다. 그 카드와 관련된peer_sram줄도unknown이 됩니다. - 모니터링은 스스로 다시 시작하지 않습니다. 디바이스를 리셋해 디바이스가 다시 응답하면 드라이버가 폴링을 다시 시작하고
sys_mon: resuming telemetry polling을 남깁니다. 드라이버가 디바이스를 다시 인식하면(ha-hotreset 등) 모니터링도 처음부터 다시 시작합니다. - 모니터링 채널을 아직 연 적이 없는 카드(늦게 부팅하는 카드)는 예외입니다. 펌웨어가 준비된 뒤
fw_version이나serial을 읽으면 드라이버가 준비를 확인하고 폴링도 다시 시작합니다. - 펌웨어가 모니터링 채널을 열지 않는 카드에서도 요청이 모두 실패하므로 같은 방식으로 멈추고 같은 로그를 남깁니다.
ha_sysmon_fail_limit은 실행 중에 바꿀 수 있고, 0이면 모니터링이 멈추지 않습니다. 단 응답하지 않는 디바이스를 계속 읽게 되므로 firmware-first 플랫폼에서는 0으로 두지 마십시오. 파라미터 레퍼런스를 보십시오.
health 판정¶
health는 드라이버가 내부 상태로 내리는 한 단어 판정입니다. 헬스체크는 카운터를 직접 해석하기 전에 이 값을 먼저 보십시오. 판정은 표의 위에서부터 차례로 적용합니다.
| 값 | 조건 | 풀리는 시점 |
|---|---|---|
faulted |
디바이스가 FATAL 상태이거나, 마지막 리셋(SDK 리셋이나 자동 리셋)이 실패했습니다 | FATAL은 SDK로 요청한 리셋이나 자동 리셋이 끝나면 풀립니다. 리셋 실패는 그 뒤 리셋이 성공하거나, 드라이버가 디바이스가 다시 준비된 것을 확인하면 풀립니다. 드라이버가 디바이스를 다시 인식하면 둘 다 풀립니다 |
degraded |
devcmd_timeouts, devcmd_fw_errors, hdma_timeouts 중 하나라도 0이 아닙니다 |
드라이버가 디바이스를 다시 인식할 때 |
ok |
위 어느 조건에도 해당하지 않습니다 | - |
unknown |
드라이버가 상태를 읽을 수 없습니다 | 디바이스 인식이 끝난 뒤에는 나오지 않습니다 |
작업 중에 디바이스가 드라이버의 상한 시간(ha_devcmd_ceiling_ms, 기본 12초) 안에 응답하지 않거나, 펌웨어가 명령 하나의 실패가 아닌 디바이스 수준의 오류를 보고하면 드라이버는 그 디바이스를 FATAL로 표시합니다. 워치독 선점(ha_wd_preempt)을 켰다면 워치독이 멈춘 대기를 끊을 때도 FATAL이 됩니다(상한 없이 기다리는 대기를 끊을 때는 그 요청만 실패하고 FATAL이 되지 않습니다). FATAL은 디바이스의 상태라서 프로세스를 다시 시작해도 풀리지 않고, 리셋할 때까지 그 디바이스의 작업은 거부됩니다. 원인과 복구 절차는 FATAL과 복구를 보십시오.
판정을 읽을 때는 다음을 기억하십시오.
degraded는 지금 실패 중이라는 뜻이 아닙니다. 카운터는 디바이스 인식 이후 늘기만 하므로, 오류가 한 번만 있었어도 드라이버가 디바이스를 다시 인식할 때까지degraded로 남습니다.degraded는 "카운터를 확인하라"로 읽고, 문제가 계속되는지는 카운터가 늘어나는지로 판단하십시오.- 시간 초과나 펌웨어 오류로 FATAL이 된 디바이스는 복구한 뒤에도
degraded로 표시됩니다. 그 원인이 카운터에 남기 때문입니다. - 애플리케이션 오류도
degraded를 만듭니다.devcmd_fw_errors는 애플리케이션이 보낸 잘못된 요청에 펌웨어가 오류로 응답한 경우도 셉니다. 하드웨어 이상인지는last_hang과 커널 로그로 가리십시오. - 리셋이 실패하면
health는faulted로 남습니다. SDK로 요청한 리셋이든 자동 리셋이든 같습니다. 이때도 드라이버는 작업 접수를 다시 열지만, 리셋이 성공하거나 카드가 다시 준비될 때까지 그 디바이스에서 자동 리셋을 다시 시도하지 않습니다. health는 진행 중인 정체를 바로 보여 주지 않습니다. 디바이스가 멈춰도 상한 시간이 지나 시간 초과가 기록되기 전까지는 바뀌지 않습니다. 애플리케이션이 상한 없이 기다리도록 요청한 대기는 시간 초과로 기록되지 않으므로, 그 대기가 멈춰 있는 동안에는 계속 바뀌지 않습니다. 진행 중인 정체를 알아내는 방법은 hang 감지와 워치독을 보십시오.health는 펌웨어 준비 여부, 온도, 전력 등 모니터링 노드 상태를 판정에 넣지 않습니다. 펌웨어가 준비되지 않은 카드도ok일 수 있으므로 디바이스를 쓸 수 있는지는fw_version이unknown이 아닌지도 함께 확인하십시오. 과열과 텔레메트리 공백은 따로 감시하십시오.
hwmon 연동¶
드라이버는 폴러가 모은 온도, 전압, 전류, 전력을 리눅스 hwmon 디바이스로도 공개합니다. hwmon 규약을 따르는 도구(lm-sensors의 sensors, Prometheus node_exporter의 hwmon 수집기 등)는 별도 설정 없이 이 값을 읽습니다.
- 디바이스마다 hwmon 디바이스가 하나 있고,
name은ha입니다. 위치는/sys/class/ha/haN/device/hwmon/hwmonM/이며/sys/class/hwmon/hwmonM과 같은 디바이스입니다.M은 커널이 매기는 번호라N과 관계가 없습니다. - 값은 sysfs 폴러 노드와 같은 캐시에서 읽습니다.
- 단위는 hwmon 규약을 따릅니다. 온도는 밀리도(m°C), 전압은 mV, 전류는 mA, 전력은 µW입니다. 전압과 전류는
rails와 단위가 같고, 온도와 전력은 sysfs 노드(°C, mW)와 다릅니다. - 값을 믿을 수 없을 때는
unknown대신 읽기 오류(ENODATA)를 냅니다. 조건은 폴러 노드와 같습니다. - 커널이 hwmon을 지원해야 합니다(
CONFIG_HWMON). 지원하지 않는 커널에서는 hwmon 디바이스가 만들어지지 않고, 지원하는 커널에서 등록에 실패하면 커널 로그에hwmon register failed가 남습니다. 어느 경우든 sysfs 노드는 그대로 동작합니다.
1 2 | |
1 2 3 | |
채널과 라벨 목록은 sysfs 노드를 보십시오.
모니터링 연동¶
수집 주기와 비용¶
- 대부분의 노드는 읽어도 디바이스에 접근하지 않습니다. 모니터링 노드는 캐시를, 나머지는 드라이버의 호스트 측 상태를 읽습니다. 예외는
fw_update_progress(항상 디바이스에서 읽음)와,fw_version이unknown인 동안의fw_version·serial(읽을 때 펌웨어 준비 여부를 다시 확인)입니다. - 폴러 노드는 기본 200 ms마다 바뀌므로 그보다 자주 읽어도 새 값이 없습니다. 일반적인 모니터링 수집 주기(수 초에서 수십 초)를 그대로 쓰면 됩니다.
fw_update_progress,help,bypass_range_check는 상시 수집 대상에서 빼십시오.- 디바이스가 드라이버에서 분리되면(모듈 제거, 언바인드, ha-hotreset 진행 중)
/sys/class/ha/haN/도 사라집니다. 수집기는 디렉터리가 없어지는 경우를 처리해야 합니다.
경보 기준¶
| 신호 | 의미 | 권장 대응 |
|---|---|---|
health가 faulted |
디바이스가 FATAL이거나 마지막 리셋이 실패했습니다 | 즉시 경보합니다. FATAL과 복구를 따릅니다 |
| 오류 카운터 증가 | 상한 시간을 초과한 동작이나 펌웨어 오류가 생겼습니다 | 증가분에 경보합니다. last_hang과 커널 로그를 확인합니다 |
health가 degraded |
디바이스 인식 이후 오류가 한 번 이상 있었습니다 | 상태 표시에만 씁니다. 문제가 계속되는지는 카운터 증가로 판단합니다 |
모니터링 노드가 계속 unknown |
리셋, FATAL, 모니터링 정지, 펌웨어 미준비 등입니다(unknown이 나오는 조건) | health, fw_version, 커널 로그를 확인합니다 |
inflight가 0이 아닌데 워크로드가 진행하지 않음 |
작업이 멈췄을 수 있습니다 | hang 감지와 워치독을 따릅니다 |
헬스체크 스크립트¶
sysfs만 읽는 헬스체크는 디바이스 노드를 열지 않으므로 워크로드와 함께 실행할 수 있고, 워크로드가 멈춘 동안에도 동작합니다. 드라이버 적재, 카드 수, 카드마다의 health와 fw_version을 확인해 종료 코드로 알리는 예제 스크립트와 주기적으로 실행하는 방법은 카드 상태 헬스체크 만들기에 있습니다.
hyperaccel-smi¶
hyperaccel-smi는 sysfs 노드들을 읽어 표로 보여 주는 명령입니다. root 권한이나 디바이스 노드가 필요 없고, --json 옵션으로 JSON 형식으로 출력할 수 있습니다. 자세한 사용 방법은 hyperaccel-smi를 보십시오.
Prometheus 응용¶
온도, 전압, 전류, 전력은 node_exporter의 hwmon 수집기가 hwmon 디바이스에서 가져갑니다. health와 오류 카운터처럼 hwmon에 없는 값은 textfile 수집기로 내보낼 수 있습니다. 예제 스크립트와 경보 규칙의 예는 Prometheus로 텔레메트리 수집하기에 있습니다.
카운터는 드라이버가 디바이스를 다시 인식하면 0부터 다시 시작하므로, 경보 규칙은 값 자체가 아니라 증가분(increase() 등)으로 거십시오.
리셋과 FATAL 중의 텔레메트리¶
| 노드 | FATAL 동안 | 리셋 진행 중 | 리셋이 끝난 뒤 |
|---|---|---|---|
| 모니터링 노드, hwmon | 모니터링 요청을 보내지 않으므로 마지막 샘플에서 5초 뒤 unknown |
모니터링을 멈추므로 마지막 샘플에서 5초 뒤 unknown |
디바이스가 응답하면 곧 다시 채워집니다 |
fw_version, serial |
읽어 둔 값 | 읽어 둔 값 | 드라이버가 리셋 끝에 펌웨어 준비를 확인하면 다시 읽고, 준비되지 않은 것을 확인하면 unknown |
| 메모리 사용량 | 할당이 그대로 남습니다 | 리셋이 모든 할당을 회수해 dram_used, sram_used가 0이 됩니다 |
새로 할당한 만큼 |
오류 카운터, last_hang |
계속 읽힙니다 | 계속 읽힙니다 | 카운터는 리셋 전 값이 남고, 리셋 도중 생긴 시간 초과나 펌웨어 오류가 더해집니다. last_hang도 지워지지 않지만, 리셋 중 펌웨어가 응답하지 않으면 batch_seq, exec_index, resq_tail, verdict가, 펌웨어가 리셋 명령에 오류를 돌려주면 rc, cmd_idx, opcode가 그 리셋의 기록으로 바뀝니다 |
health |
faulted |
FATAL이었다면 리셋이 끝날 때까지 faulted |
리셋이 성공했으면 FATAL이 풀려 카운터에 따라 ok나 degraded. 실패했으면 faulted |
peer_sram |
이 디바이스와, 다른 디바이스에서 이 디바이스를 가리키는 항목이 unknown |
FATAL 동안과 같습니다 | 경로를 다시 계산하면 값이 돌아옵니다 |
dmabuf_exports |
계속 읽힙니다 | 계속 읽힙니다 | 창 예약은 남고, live였던 창은 disabled가 됩니다 |
- 표의 "리셋"은 SDK로 요청한 리셋과 자동 리셋을 의미합니다. 호스트가 건 리셋(PCIe 오류 복구 등)도 폴링을 멈췄다가 끝나면 값을 다시 읽지만, FATAL 표시는 풀지 않습니다.
- 리셋이 실패하면
health는faulted로 남습니다. - 리셋 절차와 결과 확인은 FATAL과 복구를 보십시오.
함께 보기¶
- sysfs 노드 — 노드별 출력 형식과 hwmon 채널
- hang 감지와 워치독 — 진행 중인 정체 감지와
last_hang해석 - FATAL과 복구 —
faulted디바이스의 복구 - 여러 디바이스 —
peer_map,peer_route,peer_sram해석 - hyperaccel-smi
- 파라미터 레퍼런스 —
ha_sysmon_poll_ms,ha_sysmon_fail_limit - 커널 로그 메시지