콘텐츠로 이동

응답하지 않는 카드 복구하기

카드 한 장이 응답하지 않을 때, 증상을 확인하는 데서 시작해 그 카드만 핫 리셋하고 카드가 돌아온 것을 확인하기까지를 차례로 따라갑니다. 리셋에는 호스트에서 root로 실행하는 ha-hotreset을 씁니다. ha-hotreset은 카드를 드라이버에서 제거하고, 부모 브리지에서 SBR(Secondary Bus Reset)을 건 뒤 다시 인식시키며, ha 모듈과 다른 카드는 건드리지 않습니다. 각 단계의 배경은 FATAL과 복구에, 도구의 옵션과 출력은 ha-hotreset에 있습니다.

호스트의 root 권한과 드라이버 패키지에 들어 있는 ha-hotreset(설치 위치)이 필요하며, ha-hotreset은 pciutils의 setpci와 lspci를 씁니다. 예에서는 응답하지 않는 카드가 ha1이고 PCI 주소가 0000:65:00.0입니다. 명령에 쓴 카드 번호(ha1)와 PCI 주소는 실제 값으로 바꾸어 실행하십시오.

SDK 디바이스 리셋을 먼저 검토하십시오

애플리케이션이 SDK의 디바이스 리셋으로 카드를 복구할 수 있다면 그 방법이 먼저입니다. SDK 디바이스 리셋은 열린 핸들이 있어도 진행됩니다. 이 튜토리얼은 그 리셋으로 복구되지 않았을 때나, 카드를 쓰는 애플리케이션을 멈추고 호스트에서 카드를 리셋할 때의 절차입니다. 전체 순서는 복구 순서를 보십시오.


1. 카드 상태를 확인합니다

  • 애플리케이션: SDK 호출이 디바이스를 복구할 수 없다는 오류로 실패합니다. 프로세스를 다시 시작해도 리셋 전까지 같은 오류가 납니다. 카드가 FATAL이 되기 전에는 작업이 끝나지 않고 멈춰 있는 것으로만 보일 수 있습니다.
  • 운영자: hyperaccel-smi, sysfs health, dmesg로 확인합니다. 셋 다 카드가 멈춘 동안에도 읽을 수 있습니다.
1
hyperaccel-smi

카드 표의 머리글과 그 카드의 두 줄은 다음과 같습니다.

1
2
3
4
5
| LPU  Name                 Serial          | Bus-Id                | Health              |
| Temp   Power        Util(core)            | Memory-Usage (DRAM)   | Fw-Err / Timeouts   |
+===========================================+=======================+=====================+
|   1  HyperAccel LPU   HA-5f0e9d8c-7b6…    | 0000:65:00.0          | FAULTED             |
| N/A    N/A         N/A                    | 8.00 / 128.00 GiB     | 0 / 1               |
  • Health가 FAULTED이면 드라이버가 그 카드를 FATAL로 표시했거나 마지막 리셋이 실패한 것입니다. FATAL인 카드는 리셋하기 전까지 새 작업을 받지 않습니다. cat /sys/class/ha/ha1/health도 faulted를 출력합니다.
  • 온도, 전력, 사용률은 FATAL이 된 뒤 몇 초 안에 N/A가 됩니다. 드라이버가 FATAL인 카드에는 폴링 요청을 보내지 않기 때문입니다.
  • Bus-Id는 그 카드의 PCI 주소이고, Fw-Err / Timeouts는 펌웨어 오류와 응답 대기 상한 만료의 누적 횟수입니다.

커널 로그에서 원인을 찾습니다.

1
sudo dmesg -T | grep -E ' ha [0-9a-f]+:' | grep -E 'watchdog|Devcmd|hang|Firmware error|sys_mon|auto-TDR|device reset failed|fw_update'
줄 뜻
Devcmd no response after <ms> ms (device hang): <판정>, 이어지는 hang (ceiling timeout): …와 hang dump (ceiling timeout): … 펌웨어가 응답 대기 상한 안에 응답하지 않았습니다. 애플리케이션 작업 중이었으면 카드가 FATAL이 됩니다
Firmware error: resq[<n>] rc=0x<rc> … 펌웨어가 명령의 실패를 보고했습니다. rc에 따라 그 명령만 실패하거나 카드가 FATAL이 됩니다(펌웨어 오류)
watchdog: … wait stalled … 대기가 워치독 문턱을 넘었습니다. 이 줄만으로는 FATAL이 아닙니다. ha_wd_preempt=1이면 워치독이 그 대기를 끊으며, 애플리케이션 작업의 대기였다면 카드가 FATAL이 됩니다. 상한 없는 대기를 끊은 경우는 FATAL이 되지 않습니다
Devcmd waiting <ms> ms with no timeout requested … 상한 없이 기다리는 요청이 응답을 받지 못하고 있습니다. FATAL이 아니므로 health는 바뀌지 않습니다
sys_mon: no response for <n> consecutive polls … 카드가 온도·전력·사용률 요청에 응답하지 않아 드라이버가 폴링을 멈췄습니다. 이 줄만으로는 FATAL이 아니므로 health는 바뀌지 않습니다(모니터링 정지)
auto-TDR: the device went FATAL; resetting it 자동 리셋(ha_auto_reset=1)이 동작했습니다. 실패하면 auto-TDR: reset failed (<err>); …가 남고 health는 faulted로 남습니다
fw_update: no answer from firmware …, hang (fw_update timeout): …, auto-TDR: skipped, a fw_update is in flight or unanswered … 이 카드의 펌웨어 업데이트가 진행 중이거나, 업데이트에 대한 펌웨어의 응답을 받지 못했습니다. 플래시를 쓰는 중일 수 있으므로 카드를 리셋하지 마십시오. 업데이트가 진행 중이면 끝날 때까지 기다리고, 응답을 받지 못했다면 업데이트 뒤 리셋과 작업이 거절됨을 따릅니다
  • health가 faulted가 아닌데 작업이 멈춰 있으면 상한 없는 대기일 수 있습니다. 상한 없는 대기의 방법으로 느린지 멈췄는지 가린 뒤, 멈췄다고 판단되면 다음 단계로 갑니다.
  • health가 degraded이고 작업이 정상이면 복구할 필요가 없습니다. health가 degraded를 보십시오.
  • 리셋이 실패했다면 마지막에 남은 device reset failed (...) 줄이 다음에 할 일을 알려 줍니다. 리셋이 실패하면의 표가 전원 재인가를 안내하는 경우에는 이 절차 대신 호스트 전원을 재인가합니다.

2. 진단 정보를 저장합니다

카드를 리셋하기 전에 문제 상황의 진단 정보 모으기를 따라 진단 정보를 아카이브로 저장합니다. ha-hotreset은 실패를 설명하는 기록을 지웁니다.

  • 드라이버가 카드를 다시 인식하므로 RAS 카운터(devcmd_timeouts, devcmd_fw_errors, hdma_timeouts)와 last_hang이 처음부터 다시 시작합니다.
  • 카드는 플래시의 펌웨어로 다시 부팅하므로 멈춘 상태 자체는 남지 않습니다.
  • 카드를 제거하고 다시 인식할 때 남는 메시지가 커널 로그 버퍼에서 오래된 기록을 밀어낼 수 있습니다.

3. 카드의 PCI 주소를 확인합니다

ha-hotreset은 카드를 PCI 주소(BDF)로 가리킵니다. 1단계 hyperaccel-smi 출력의 Bus-Id가 그 값이며, 그 카드의 PCI 디바이스를 가리키는 /sys/class/ha/ha1/device 링크로도 확인할 수 있습니다.

1
basename "$(readlink -f /sys/class/ha/ha1/device)"
1
0000:65:00.0

이어서 이 카드를 핫 리셋할 수 있는 구성인지 확인합니다. 아무것도 바꾸지 않는 명령입니다.

1
sudo ha-hotreset --list
1
2
0000:17:00.0  (parent <부모 BDF>, parent is a root port)
0000:65:00.0  (parent <부모 BDF>, parent is a root port)

줄 끝이 the path is masked for the reset이면 부모 포트가 Surprise Down을 마스킹하지 않은 카드라서, 리셋하는 동안 경로를 마스킹합니다(5단계). 그 카드의 줄 끝에 NOT resettable이 붙어 있으면 이 호스트에서는 그 카드를 핫 리셋할 수 없습니다. SDK 디바이스 리셋으로도 복구되지 않으면 호스트 전원을 재인가해야 하며, 전원 재인가는 호스트의 모든 카드를 다시 시작하므로 작업 일정을 먼저 정하십시오. 판정의 뜻은 SBR을 걸 수 있는 구성에 있습니다. --list는 부모 포트의 판정만 보여 주며, 열린 핸들과 같은 브리지 아래의 다른 디바이스는 리셋할 때 점검합니다.

전원을 재인가하기 전에

전원 재인가는 호스트의 모든 카드를 다시 시작합니다. pgrep -af ha-fw-update에 프로세스가 나오거나, sudo dmesg에 fw_update: no answer from firmware가 남고 그 뒤에 같은 카드의 fw_update: late completion from firmware가 없는 카드가 있으면 전원을 끄지 말고 응답을 받지 못했을 때를 먼저 따르십시오.


4. 카드를 쓰는 프로세스를 멈춥니다

ha-hotreset은 그 카드의 /dev/ha1을 연 프로세스가 있으면 리셋하지 않습니다. 카드를 제거한 뒤에는 그 프로세스의 SDK 호출이 실패하고, 디바이스 메모리 매핑에 접근하면 SIGBUS가 발생할 수 있기 때문입니다. 다음 명령은 추가 패키지 없이 /proc만 읽어, 노드를 열었거나 디바이스 메모리를 매핑한 프로세스의 PID와 명령행을 출력합니다.

1
2
3
4
5
6
7
# root로 실행합니다 (예: sudo -i)
dev=/dev/ha1
for p in /proc/[0-9]*; do
  if readlink "$p"/fd/* | grep -qx "$dev" || grep -q " $dev\$" "$p/maps"; then
    echo "${p#/proc/} $(tr '\0' ' ' < "$p/cmdline")"
  fi
done 2>/dev/null
  • lsof나 fuser가 설치되어 있으면 sudo lsof /dev/ha1이나 sudo fuser -v /dev/ha1로도 확인할 수 있습니다.
  • 목록의 프로세스를 끝냅니다. 애플리케이션에 정해 둔 종료 방법이 있으면 그것을 쓰고, 없으면 kill <PID>로 끝냅니다.
  • 컨테이너 안에서 실행 중인 프로세스도 호스트의 PID로 나옵니다. 그 컨테이너를 멈춥니다.
  • 다른 카드에서 이 카드와 데이터를 주고받는 작업도 멈춥니다. 한 카드를 리셋하거나 제거할 때를 보십시오.
  • 명령을 다시 실행해 아무것도 출력되지 않는지 확인합니다.

펌웨어 업데이트 중인 카드는 리셋하지 마십시오

목록에 ha-fw-update가 있으면 그 카드의 펌웨어를 업데이트하는 중입니다. 그 프로세스를 끝내지 말고 업데이트가 끝날 때까지 기다리십시오. 플래시를 쓰는 도중 리셋하면 카드가 부팅하지 못할 수 있습니다. dmesg에 fw_update: no answer from firmware가 있을 때도 리셋하지 말고 업데이트 뒤 리셋과 작업이 거절됨을 따르십시오.


5. 카드를 리셋합니다

1
sudo ha-hotreset --bdf 0000:65:00.0

ha-hotreset은 카드를 건드리기 전에 부모 포트가 SBR을 걸 수 있는 구성인지, 부모 브리지 아래에 이 카드만 있는지, /dev/ha1을 연 프로세스가 없는지 점검합니다. 하나라도 맞지 않으면 아무것도 바꾸지 않고 Pre-flight failed - nothing was touched.를 출력한 뒤 종료 코드 3(열린 핸들)이나 4(SBR을 걸 수 없는 구성)로 끝납니다. 부모 포트가 Surprise Down을 마스킹하지 않았으면 리셋하는 동안 경로를 마스킹하고, 카드가 다시 응답하면 되돌립니다(경로 마스킹).

거부될 때

거부 사유는 Pre-flight failed 앞에 나옵니다. 아래는 사유마다의 첫 줄입니다.

출력 뜻 할 일
0000:65:00.0: /dev/ha1 still open by PID(s) <PID 목록> 노드를 연 프로세스가 남아 있습니다. 다음 줄에 그 카드의 inflight와 streams 값이 참고로 나옵니다 4단계로 돌아가 그 프로세스를 끝낸 뒤 다시 실행합니다
0000:65:00.0: parent is a <포트 종류> whose Surprise Down mask cannot be read (no AER capability) - refusing SBR, 0000:65:00.0: parent has no PCIe capability - refusing SBR 또는 0000:65:00.0: cannot read <레지스터> on <포트> - the path cannot be masked, refusing SBR 부모 포트가 SBR의 링크 끊김을 오류로 보고하는지 확인할 수 없거나, 보고하는데 경로를 마스킹할 수 없습니다. 이 구성에서 SBR을 걸면 플랫폼이 호스트 전체를 재시작할 수 있습니다. 뒤에 이어지는 안내대로 --force로도 넘길 수 없습니다 이 호스트에서는 그 카드를 핫 리셋할 수 없습니다. 호스트 전원을 재인가합니다
0000:65:00.0: parent bridge <부모 BDF> has more than one device below it: 같은 부모 브리지 아래에 다른 디바이스가 있어, SBR이 그 디바이스까지 리셋합니다. 다음 줄들에 그 브리지 아래의 디바이스가 나옵니다 카드 단위로 리셋할 수 없습니다. 호스트 전원을 재인가합니다

--force

  • --force는 열린 핸들 점검만 넘깁니다. 핸들을 연 프로세스는 이후 SDK 호출이 실패하고, 디바이스 메모리 매핑에 접근하면 SIGBUS가 발생할 수 있습니다. 프로세스를 끝낼 수 없는 비상시에만 쓰고, 펌웨어를 업데이트하는 중인 카드에는 쓰지 마십시오.

리셋 출력

점검을 통과하면 ha-hotreset은 카드를 PCI에서 제거하고, 부모 브리지에서 SBR을 건 뒤, 버스를 다시 스캔해 드라이버가 카드를 다시 인식하게 합니다. 성공하면 다음 줄이 차례로 나오고, 그 사이에 카드의 AER 레지스터 값과 상태 줄이 함께 나옵니다.

1
2
3
4
5
6
7
8
9
=== 0000:65:00.0 (parent <부모 BDF>, /dev/ha1) ===
remove 0000:65:00.0
BRIDGE_CONTROL: <원래 값> -> <SBR 켠 값> (SBR=1) -> <SBR 끈 값> (SBR=0)
Waiting for PCIe link to retrain...
PCIe link is active.
Waiting for EP to be enumerated...
Endpoint fully enumerated.
Waiting for /dev/ha1...
Hot reset OK: 0000:65:00.0
  • 경로를 마스킹하는 카드는 masking <N> ports: …로 시작하는 줄, 마스킹을 되돌리기 전에 카드가 응답하는지 확인하는 줄, 되돌리기 전후의 AER 상태 줄이 더 나옵니다.
  • 점검은 카드 자체를 읽지 않으므로 카드가 응답하지 않아도 통과합니다. 응답하지 않는 카드가 바로 리셋할 대상입니다.
  • 끝날 때까지 중단하지 마십시오. 특히 kill -9(SIGKILL)로 끝내면 정리 단계가 실행되지 않아, 카드가 PCI에 다시 열거되지 않은 채 남을 수 있습니다.
  • Hot reset OK는 카드가 PCI에 다시 열거되고 /dev/ha1이 다시 나타났다는 뜻입니다. 펌웨어 상태는 다음 단계에서 확인합니다.

6. 복구를 확인합니다

드라이버가 카드를 제거하고 다시 인식했는지 커널 로그로 확인합니다.

1
sudo dmesg -T | grep -E 'ha 0000:65:00.0: (Removing device|Remove complete|Probing device|firmware ready|firmware boot sentinel|firmware never reported ready|Probe successful)'

리셋한 시각 이후에 다음 줄이 차례로 있어야 합니다. 그 앞에는 처음 인식할 때 남은 줄도 함께 나옵니다. 펌웨어가 인식 중에 준비되지 않았으면 firmware ready after 줄 대신 firmware boot sentinel not seen within <ms> ms 또는 firmware never reported ready 경고가 남고, Probe successful은 그대로 나옵니다. 이때는 아래 fw_version 확인을 따릅니다.

1
2
3
4
5
[<시각>] ha 0000:65:00.0: Removing device
[<시각>] ha 0000:65:00.0: Remove complete
[<시각>] ha 0000:65:00.0: Probing device
[<시각>] ha 0000:65:00.0: firmware ready after <ms> ms
[<시각>] ha 0000:65:00.0: Probe successful: /dev/ha1 created

카드 상태와 펌웨어 버전을 읽습니다.

1
grep -H . /sys/class/ha/ha1/health /sys/class/ha/ha1/fw_version
1
2
/sys/class/ha/ha1/health:ok
/sys/class/ha/ha1/fw_version:1.0.5
  • health는 ok여야 합니다. 드라이버가 카드를 새로 인식해 RAS 카운터가 0부터 다시 시작하므로, 카드가 정상이면 degraded도 아닙니다.
  • fw_version이 unknown이 아니어야 펌웨어가 준비된 것입니다. health는 펌웨어 준비 여부를 판정에 넣지 않으므로 둘 다 확인합니다. 리셋 직후 unknown이면 몇 초 뒤 다시 읽습니다. 펌웨어가 늦게 준비되면 드라이버가 값을 채우고 firmware booted after probe gave up; CSR-derived telemetry refreshed를 남깁니다.
  • fw_version이 리셋 전과 다르면, 플래시에 써 두고 리셋을 미룬 펌웨어로 부팅한 것입니다. 리셋을 나중에 하기를 보십시오.
  • hyperaccel-smi에서 Bus-Id가 0000:65:00.0인 카드의 Health가 OK인지 봅니다. 리셋 전에 온도와 전력이 보이던 카드라면 그 값도 다시 나와야 합니다.

드라이버는 같은 PCI 주소로 돌아온 카드에 이전 번호를 다시 부여하므로, 카드는 보통 리셋 전과 같은 ha1로 돌아옵니다. 번호는 카드 번호의 규칙에 따라 달라질 수 있으니 카드는 PCI 주소로 확인하십시오.

마지막으로 4단계에서 멈춘 애플리케이션을 다시 시작합니다. 애플리케이션은 디바이스를 새로 열어 처음부터 작업합니다. 핫 리셋으로 호스트의 노드가 새로 만들어졌으므로, 그 카드를 쓰던 컨테이너도 다시 시작합니다.


복구되지 않을 때

증상 할 일
ha-hotreset이 did not reappear - check dmesg for probe failure나 did not re-enumerate를 출력하고 종료 코드 1로 끝남 카드가 PCI에 다시 열거되지 않았거나(did not re-enumerate), 드라이버가 카드를 다시 인식하지 못했습니다(did not reappear). /dev/haN이 없음으로 원인을 가려내고, 카드가 PCI 버스에도 보이지 않으면 호스트 전원을 재인가합니다
ha-hotreset이 the card was reset but the ha driver did not bind it를 출력하고 종료 코드 1로 끝남 리셋은 됐지만 드라이버가 카드를 바인드하지 않았습니다. 커널 로그에서 그 카드의 줄을 probe를 멈추는 오류와 대조합니다. 펌웨어 부팅이 늦었다면 잠시 뒤 echo <BDF> | sudo tee /sys/bus/pci/drivers/ha/bind로 다시 바인드합니다
Hot reset OK 뒤에도 fw_version이 계속 unknown fw_version이 unknown을 따릅니다
작업을 다시 시작하자 health가 곧 다시 faulted 같은 문제가 반복되는 것입니다. 진단 정보를 다시 저장하고 지원팀에 문의합니다

다른 복구 수단은 다음과 같습니다.

  • SDK 디바이스 리셋: 애플리케이션이 SDK로 요청하는 리셋입니다. 열린 핸들이 있어도 진행하며, 펌웨어 재초기화가 실패하면 같은 SBR 조건에서 SBR을 겁니다. SDK 디바이스 리셋을 보십시오.
  • 자동 리셋: ha_auto_reset=1이면 카드가 FATAL이 되는 순간 드라이버가 스스로 리셋하며, 기본값은 꺼짐입니다. 켜는 방법은 설정과 사용법과 ha_auto_reset에, 동작은 자동 리셋에 있습니다.
  • 전원 재인가: 위 방법으로 복구되지 않거나 카드를 핫 리셋할 수 없는 구성이면 호스트 전원을 껐다 켭니다. 펌웨어 업데이트 중에는 끄지 마십시오. 전원 재인가를 보십시오.
  • 지원 요청: 2단계에서 만든 진단 아카이브를 첨부해 HyperAccel 지원팀에 문의합니다. 함께 알려 줄 내용은 지원 요청에 있습니다.

함께 보기