응답하지 않는 카드 복구하기¶
카드 한 장이 응답하지 않을 때, 증상을 확인하는 데서 시작해 그 카드만 핫 리셋하고 카드가 돌아온 것을 확인하기까지를 차례로 따라갑니다. 리셋에는 호스트에서 root로 실행하는 ha-hotreset을 씁니다. ha-hotreset은 카드를 드라이버에서 제거하고, 부모 브리지에서 SBR(Secondary Bus Reset)을 건 뒤 다시 인식시키며, ha 모듈과 다른 카드는 건드리지 않습니다. 각 단계의 배경은 FATAL과 복구에, 도구의 옵션과 출력은 ha-hotreset에 있습니다.
호스트의 root 권한과 드라이버 패키지에 들어 있는 ha-hotreset(설치 위치)이 필요하며, ha-hotreset은 pciutils의 setpci와 lspci를 씁니다. 예에서는 응답하지 않는 카드가 ha1이고 PCI 주소가 0000:65:00.0입니다. 명령에 쓴 카드 번호(ha1)와 PCI 주소는 실제 값으로 바꾸어 실행하십시오.
SDK 디바이스 리셋을 먼저 검토하십시오
애플리케이션이 SDK의 디바이스 리셋으로 카드를 복구할 수 있다면 그 방법이 먼저입니다. SDK 디바이스 리셋은 열린 핸들이 있어도 진행됩니다. 이 튜토리얼은 그 리셋으로 복구되지 않았을 때나, 카드를 쓰는 애플리케이션을 멈추고 호스트에서 카드를 리셋할 때의 절차입니다. 전체 순서는 복구 순서를 보십시오.
1. 카드 상태를 확인합니다¶
- 애플리케이션: SDK 호출이 디바이스를 복구할 수 없다는 오류로 실패합니다. 프로세스를 다시 시작해도 리셋 전까지 같은 오류가 납니다. 카드가 FATAL이 되기 전에는 작업이 끝나지 않고 멈춰 있는 것으로만 보일 수 있습니다.
- 운영자:
hyperaccel-smi, sysfshealth,dmesg로 확인합니다. 셋 다 카드가 멈춘 동안에도 읽을 수 있습니다.
1 | |
카드 표의 머리글과 그 카드의 두 줄은 다음과 같습니다.
1 2 3 4 5 | |
Health가FAULTED이면 드라이버가 그 카드를 FATAL로 표시했거나 마지막 리셋이 실패한 것입니다. FATAL인 카드는 리셋하기 전까지 새 작업을 받지 않습니다.cat /sys/class/ha/ha1/health도faulted를 출력합니다.- 온도, 전력, 사용률은 FATAL이 된 뒤 몇 초 안에
N/A가 됩니다. 드라이버가 FATAL인 카드에는 폴링 요청을 보내지 않기 때문입니다. Bus-Id는 그 카드의 PCI 주소이고,Fw-Err / Timeouts는 펌웨어 오류와 응답 대기 상한 만료의 누적 횟수입니다.
커널 로그에서 원인을 찾습니다.
1 | |
| 줄 | 뜻 |
|---|---|
Devcmd no response after <ms> ms (device hang): <판정>, 이어지는 hang (ceiling timeout): …와 hang dump (ceiling timeout): … |
펌웨어가 응답 대기 상한 안에 응답하지 않았습니다. 애플리케이션 작업 중이었으면 카드가 FATAL이 됩니다 |
Firmware error: resq[<n>] rc=0x<rc> … |
펌웨어가 명령의 실패를 보고했습니다. rc에 따라 그 명령만 실패하거나 카드가 FATAL이 됩니다(펌웨어 오류) |
watchdog: … wait stalled … |
대기가 워치독 문턱을 넘었습니다. 이 줄만으로는 FATAL이 아닙니다. ha_wd_preempt=1이면 워치독이 그 대기를 끊으며, 애플리케이션 작업의 대기였다면 카드가 FATAL이 됩니다. 상한 없는 대기를 끊은 경우는 FATAL이 되지 않습니다 |
Devcmd waiting <ms> ms with no timeout requested … |
상한 없이 기다리는 요청이 응답을 받지 못하고 있습니다. FATAL이 아니므로 health는 바뀌지 않습니다 |
sys_mon: no response for <n> consecutive polls … |
카드가 온도·전력·사용률 요청에 응답하지 않아 드라이버가 폴링을 멈췄습니다. 이 줄만으로는 FATAL이 아니므로 health는 바뀌지 않습니다(모니터링 정지) |
auto-TDR: the device went FATAL; resetting it |
자동 리셋(ha_auto_reset=1)이 동작했습니다. 실패하면 auto-TDR: reset failed (<err>); …가 남고 health는 faulted로 남습니다 |
fw_update: no answer from firmware …, hang (fw_update timeout): …, auto-TDR: skipped, a fw_update is in flight or unanswered … |
이 카드의 펌웨어 업데이트가 진행 중이거나, 업데이트에 대한 펌웨어의 응답을 받지 못했습니다. 플래시를 쓰는 중일 수 있으므로 카드를 리셋하지 마십시오. 업데이트가 진행 중이면 끝날 때까지 기다리고, 응답을 받지 못했다면 업데이트 뒤 리셋과 작업이 거절됨을 따릅니다 |
health가faulted가 아닌데 작업이 멈춰 있으면 상한 없는 대기일 수 있습니다. 상한 없는 대기의 방법으로 느린지 멈췄는지 가린 뒤, 멈췄다고 판단되면 다음 단계로 갑니다.health가degraded이고 작업이 정상이면 복구할 필요가 없습니다.health가degraded를 보십시오.- 리셋이 실패했다면 마지막에 남은
device reset failed (...)줄이 다음에 할 일을 알려 줍니다. 리셋이 실패하면의 표가 전원 재인가를 안내하는 경우에는 이 절차 대신 호스트 전원을 재인가합니다.
2. 진단 정보를 저장합니다¶
카드를 리셋하기 전에 문제 상황의 진단 정보 모으기를 따라 진단 정보를 아카이브로 저장합니다. ha-hotreset은 실패를 설명하는 기록을 지웁니다.
- 드라이버가 카드를 다시 인식하므로 RAS 카운터(
devcmd_timeouts,devcmd_fw_errors,hdma_timeouts)와last_hang이 처음부터 다시 시작합니다. - 카드는 플래시의 펌웨어로 다시 부팅하므로 멈춘 상태 자체는 남지 않습니다.
- 카드를 제거하고 다시 인식할 때 남는 메시지가 커널 로그 버퍼에서 오래된 기록을 밀어낼 수 있습니다.
3. 카드의 PCI 주소를 확인합니다¶
ha-hotreset은 카드를 PCI 주소(BDF)로 가리킵니다. 1단계 hyperaccel-smi 출력의 Bus-Id가 그 값이며, 그 카드의 PCI 디바이스를 가리키는 /sys/class/ha/ha1/device 링크로도 확인할 수 있습니다.
1 | |
1 | |
이어서 이 카드를 핫 리셋할 수 있는 구성인지 확인합니다. 아무것도 바꾸지 않는 명령입니다.
1 | |
1 2 | |
줄 끝이 the path is masked for the reset이면 부모 포트가 Surprise Down을 마스킹하지 않은 카드라서, 리셋하는 동안 경로를 마스킹합니다(5단계). 그 카드의 줄 끝에 NOT resettable이 붙어 있으면 이 호스트에서는 그 카드를 핫 리셋할 수 없습니다. SDK 디바이스 리셋으로도 복구되지 않으면 호스트 전원을 재인가해야 하며, 전원 재인가는 호스트의 모든 카드를 다시 시작하므로 작업 일정을 먼저 정하십시오. 판정의 뜻은 SBR을 걸 수 있는 구성에 있습니다. --list는 부모 포트의 판정만 보여 주며, 열린 핸들과 같은 브리지 아래의 다른 디바이스는 리셋할 때 점검합니다.
전원을 재인가하기 전에
전원 재인가는 호스트의 모든 카드를 다시 시작합니다. pgrep -af ha-fw-update에 프로세스가 나오거나, sudo dmesg에 fw_update: no answer from firmware가 남고 그 뒤에 같은 카드의 fw_update: late completion from firmware가 없는 카드가 있으면 전원을 끄지 말고 응답을 받지 못했을 때를 먼저 따르십시오.
4. 카드를 쓰는 프로세스를 멈춥니다¶
ha-hotreset은 그 카드의 /dev/ha1을 연 프로세스가 있으면 리셋하지 않습니다. 카드를 제거한 뒤에는 그 프로세스의 SDK 호출이 실패하고, 디바이스 메모리 매핑에 접근하면 SIGBUS가 발생할 수 있기 때문입니다. 다음 명령은 추가 패키지 없이 /proc만 읽어, 노드를 열었거나 디바이스 메모리를 매핑한 프로세스의 PID와 명령행을 출력합니다.
1 2 3 4 5 6 7 | |
lsof나fuser가 설치되어 있으면sudo lsof /dev/ha1이나sudo fuser -v /dev/ha1로도 확인할 수 있습니다.- 목록의 프로세스를 끝냅니다. 애플리케이션에 정해 둔 종료 방법이 있으면 그것을 쓰고, 없으면
kill <PID>로 끝냅니다. - 컨테이너 안에서 실행 중인 프로세스도 호스트의 PID로 나옵니다. 그 컨테이너를 멈춥니다.
- 다른 카드에서 이 카드와 데이터를 주고받는 작업도 멈춥니다. 한 카드를 리셋하거나 제거할 때를 보십시오.
- 명령을 다시 실행해 아무것도 출력되지 않는지 확인합니다.
펌웨어 업데이트 중인 카드는 리셋하지 마십시오
목록에 ha-fw-update가 있으면 그 카드의 펌웨어를 업데이트하는 중입니다. 그 프로세스를 끝내지 말고 업데이트가 끝날 때까지 기다리십시오. 플래시를 쓰는 도중 리셋하면 카드가 부팅하지 못할 수 있습니다. dmesg에 fw_update: no answer from firmware가 있을 때도 리셋하지 말고 업데이트 뒤 리셋과 작업이 거절됨을 따르십시오.
5. 카드를 리셋합니다¶
1 | |
ha-hotreset은 카드를 건드리기 전에 부모 포트가 SBR을 걸 수 있는 구성인지, 부모 브리지 아래에 이 카드만 있는지, /dev/ha1을 연 프로세스가 없는지 점검합니다. 하나라도 맞지 않으면 아무것도 바꾸지 않고 Pre-flight failed - nothing was touched.를 출력한 뒤 종료 코드 3(열린 핸들)이나 4(SBR을 걸 수 없는 구성)로 끝납니다. 부모 포트가 Surprise Down을 마스킹하지 않았으면 리셋하는 동안 경로를 마스킹하고, 카드가 다시 응답하면 되돌립니다(경로 마스킹).
거부될 때¶
거부 사유는 Pre-flight failed 앞에 나옵니다. 아래는 사유마다의 첫 줄입니다.
| 출력 | 뜻 | 할 일 |
|---|---|---|
0000:65:00.0: /dev/ha1 still open by PID(s) <PID 목록> |
노드를 연 프로세스가 남아 있습니다. 다음 줄에 그 카드의 inflight와 streams 값이 참고로 나옵니다 |
4단계로 돌아가 그 프로세스를 끝낸 뒤 다시 실행합니다 |
0000:65:00.0: parent is a <포트 종류> whose Surprise Down mask cannot be read (no AER capability) - refusing SBR, 0000:65:00.0: parent has no PCIe capability - refusing SBR 또는 0000:65:00.0: cannot read <레지스터> on <포트> - the path cannot be masked, refusing SBR |
부모 포트가 SBR의 링크 끊김을 오류로 보고하는지 확인할 수 없거나, 보고하는데 경로를 마스킹할 수 없습니다. 이 구성에서 SBR을 걸면 플랫폼이 호스트 전체를 재시작할 수 있습니다. 뒤에 이어지는 안내대로 --force로도 넘길 수 없습니다 |
이 호스트에서는 그 카드를 핫 리셋할 수 없습니다. 호스트 전원을 재인가합니다 |
0000:65:00.0: parent bridge <부모 BDF> has more than one device below it: |
같은 부모 브리지 아래에 다른 디바이스가 있어, SBR이 그 디바이스까지 리셋합니다. 다음 줄들에 그 브리지 아래의 디바이스가 나옵니다 | 카드 단위로 리셋할 수 없습니다. 호스트 전원을 재인가합니다 |
--force
--force는 열린 핸들 점검만 넘깁니다. 핸들을 연 프로세스는 이후 SDK 호출이 실패하고, 디바이스 메모리 매핑에 접근하면 SIGBUS가 발생할 수 있습니다. 프로세스를 끝낼 수 없는 비상시에만 쓰고, 펌웨어를 업데이트하는 중인 카드에는 쓰지 마십시오.
리셋 출력¶
점검을 통과하면 ha-hotreset은 카드를 PCI에서 제거하고, 부모 브리지에서 SBR을 건 뒤, 버스를 다시 스캔해 드라이버가 카드를 다시 인식하게 합니다. 성공하면 다음 줄이 차례로 나오고, 그 사이에 카드의 AER 레지스터 값과 상태 줄이 함께 나옵니다.
1 2 3 4 5 6 7 8 9 | |
- 경로를 마스킹하는 카드는
masking <N> ports: …로 시작하는 줄, 마스킹을 되돌리기 전에 카드가 응답하는지 확인하는 줄, 되돌리기 전후의 AER 상태 줄이 더 나옵니다. - 점검은 카드 자체를 읽지 않으므로 카드가 응답하지 않아도 통과합니다. 응답하지 않는 카드가 바로 리셋할 대상입니다.
- 끝날 때까지 중단하지 마십시오. 특히
kill -9(SIGKILL)로 끝내면 정리 단계가 실행되지 않아, 카드가 PCI에 다시 열거되지 않은 채 남을 수 있습니다. Hot reset OK는 카드가 PCI에 다시 열거되고/dev/ha1이 다시 나타났다는 뜻입니다. 펌웨어 상태는 다음 단계에서 확인합니다.
6. 복구를 확인합니다¶
드라이버가 카드를 제거하고 다시 인식했는지 커널 로그로 확인합니다.
1 | |
리셋한 시각 이후에 다음 줄이 차례로 있어야 합니다. 그 앞에는 처음 인식할 때 남은 줄도 함께 나옵니다. 펌웨어가 인식 중에 준비되지 않았으면 firmware ready after 줄 대신 firmware boot sentinel not seen within <ms> ms 또는 firmware never reported ready 경고가 남고, Probe successful은 그대로 나옵니다. 이때는 아래 fw_version 확인을 따릅니다.
1 2 3 4 5 | |
카드 상태와 펌웨어 버전을 읽습니다.
1 | |
1 2 | |
health는ok여야 합니다. 드라이버가 카드를 새로 인식해 RAS 카운터가 0부터 다시 시작하므로, 카드가 정상이면degraded도 아닙니다.fw_version이unknown이 아니어야 펌웨어가 준비된 것입니다.health는 펌웨어 준비 여부를 판정에 넣지 않으므로 둘 다 확인합니다. 리셋 직후unknown이면 몇 초 뒤 다시 읽습니다. 펌웨어가 늦게 준비되면 드라이버가 값을 채우고firmware booted after probe gave up; CSR-derived telemetry refreshed를 남깁니다.fw_version이 리셋 전과 다르면, 플래시에 써 두고 리셋을 미룬 펌웨어로 부팅한 것입니다. 리셋을 나중에 하기를 보십시오.hyperaccel-smi에서Bus-Id가0000:65:00.0인 카드의Health가OK인지 봅니다. 리셋 전에 온도와 전력이 보이던 카드라면 그 값도 다시 나와야 합니다.
드라이버는 같은 PCI 주소로 돌아온 카드에 이전 번호를 다시 부여하므로, 카드는 보통 리셋 전과 같은 ha1로 돌아옵니다. 번호는 카드 번호의 규칙에 따라 달라질 수 있으니 카드는 PCI 주소로 확인하십시오.
마지막으로 4단계에서 멈춘 애플리케이션을 다시 시작합니다. 애플리케이션은 디바이스를 새로 열어 처음부터 작업합니다. 핫 리셋으로 호스트의 노드가 새로 만들어졌으므로, 그 카드를 쓰던 컨테이너도 다시 시작합니다.
복구되지 않을 때¶
| 증상 | 할 일 |
|---|---|
ha-hotreset이 did not reappear - check dmesg for probe failure나 did not re-enumerate를 출력하고 종료 코드 1로 끝남 |
카드가 PCI에 다시 열거되지 않았거나(did not re-enumerate), 드라이버가 카드를 다시 인식하지 못했습니다(did not reappear). /dev/haN이 없음으로 원인을 가려내고, 카드가 PCI 버스에도 보이지 않으면 호스트 전원을 재인가합니다 |
ha-hotreset이 the card was reset but the ha driver did not bind it를 출력하고 종료 코드 1로 끝남 |
리셋은 됐지만 드라이버가 카드를 바인드하지 않았습니다. 커널 로그에서 그 카드의 줄을 probe를 멈추는 오류와 대조합니다. 펌웨어 부팅이 늦었다면 잠시 뒤 echo <BDF> | sudo tee /sys/bus/pci/drivers/ha/bind로 다시 바인드합니다 |
Hot reset OK 뒤에도 fw_version이 계속 unknown |
fw_version이 unknown을 따릅니다 |
작업을 다시 시작하자 health가 곧 다시 faulted |
같은 문제가 반복되는 것입니다. 진단 정보를 다시 저장하고 지원팀에 문의합니다 |
다른 복구 수단은 다음과 같습니다.
- SDK 디바이스 리셋: 애플리케이션이 SDK로 요청하는 리셋입니다. 열린 핸들이 있어도 진행하며, 펌웨어 재초기화가 실패하면 같은 SBR 조건에서 SBR을 겁니다. SDK 디바이스 리셋을 보십시오.
- 자동 리셋:
ha_auto_reset=1이면 카드가 FATAL이 되는 순간 드라이버가 스스로 리셋하며, 기본값은 꺼짐입니다. 켜는 방법은 설정과 사용법과ha_auto_reset에, 동작은 자동 리셋에 있습니다. - 전원 재인가: 위 방법으로 복구되지 않거나 카드를 핫 리셋할 수 없는 구성이면 호스트 전원을 껐다 켭니다. 펌웨어 업데이트 중에는 끄지 마십시오. 전원 재인가를 보십시오.
- 지원 요청: 2단계에서 만든 진단 아카이브를 첨부해 HyperAccel 지원팀에 문의합니다. 함께 알려 줄 내용은 지원 요청에 있습니다.
함께 보기¶
- FATAL과 복구 — 복구 수단과 순서, SBR을 걸 수 있는 구성
- ha-hotreset — 옵션, 사전 점검, 출력, 종료 코드
- 문제 상황의 진단 정보 모으기 — 리셋 전에 저장할 정보
- hang 감지와 워치독 — 멈춘 대기를 알아내는 방법과 hang 기록 읽기
- 텔레메트리 —
health판정과unknown의 뜻 - hyperaccel-smi
- 문제 해결
- 커널 로그 메시지