콘텐츠로 이동

FATAL과 복구

디바이스가 작업을 끝내지 못하는 상태에 빠지면 드라이버는 그 디바이스를 FATAL로 표시하고, 리셋으로 복구할 때까지 새 작업을 받지 않습니다. 이 장은 FATAL이 운영자에게 어떻게 보이는지, 복구 수단인 SDK 디바이스 리셋, 자동 리셋, ha-hotreset, 전원 재인가를 언제 어떤 순서로 쓰는지, SBR(Secondary Bus Reset)을 걸 수 있는 PCIe 구성, 호스트가 거는 리셋과 PCIe 오류, 드라이버에서 카드를 내릴 때 일어나는 일을 다룹니다. 도구의 옵션은 ha-hotreset에, 모듈 파라미터의 정의는 파라미터 레퍼런스에 있습니다.


FATAL 상태

FATAL은 프로세스나 프로세스가 연 디바이스 노드가 아니라 디바이스 자체의 상태입니다. 드라이버가 그 디바이스에 더 이상 작업을 맡길 수 없다고 판정한 것이며, 리셋하기 전까지 풀리지 않습니다. 같은 호스트의 다른 디바이스는 영향을 받지 않습니다.

FATAL이 되는 경우

드라이버는 애플리케이션 작업을 실행하던 중 다음 가운데 하나가 일어나면 디바이스를 FATAL로 바꿉니다.

  • 펌웨어가 드라이버의 응답 대기 상한(ha_devcmd_ceiling_ms, 기본 12000 ms) 안에 응답하지 않았습니다.
  • 펌웨어가 리셋이 필요한 오류를 보고했습니다.
  • 카드의 DMA 엔진이 응답하지 않거나(ll: no response, ring write: no response), 전송 시간 초과나 중단 뒤에도 멈추지 않았습니다(HDMA engine at …; quarantining …). 메시지는 데이터 전송(DMA)에 있습니다.
  • 워치독 선점(ha_wd_preempt=1)이 켜져 있고, 워치독이 애플리케이션 작업의 대기를 끊었습니다. 상한 없이 기다리도록 요청된 대기를 끊은 경우는 해당하지 않습니다 (hang 감지와 워치독 참조)

FATAL에서 보이는 것

어디서 무엇이 보이는가
/sys/class/ha/haN/health faulted
hyperaccel-smi Health 열이 FAULTED입니다
애플리케이션 SDK 호출이 디바이스를 복구할 수 없다는 오류로 실패합니다. 디바이스를 다시 열거나 프로세스를 다시 시작해도 리셋 전까지는 같습니다
대기 중이던 작업 FATAL로 바뀌는 순간 그 디바이스에 대기 중이던 작업이 모두 취소됩니다
모니터링 텔레메트리 노드 온도, 전력, 사용률처럼 주기적으로 갱신되는 sysfs 노드는 FATAL 뒤 몇 초 안에 unknown으로 바뀌고, 리셋 전까지 unknown입니다
dmesg FATAL의 원인이 남습니다. 펌웨어가 응답하지 않았으면 Devcmd no response after <ms> ms (device hang)과 그 뒤의 hang (ceiling timeout): ..., hang dump (ceiling timeout): ... 줄이, 펌웨어가 오류를 보고했으면 Firmware error: resq[...] 줄이, 워치독이 대기를 끊었으면 watchdog: ... wait stalled 줄이, DMA 엔진이 응답하지 않거나 멈추지 않았으면 ll: no response …이나 HDMA engine at … 줄이 남습니다

메시지의 뜻은 hang 감지와 워치독과 커널 로그 메시지에, 진단 정보를 모으는 스크립트는 문제 상황의 진단 정보 모으기에 있습니다.

복구 순서

  1. 진단 정보를 먼저 저장합니다. 리셋은 실패를 설명하는 상태를 바꿉니다. 리셋 도중 펌웨어가 응답하지 않으면 그 기록이 last_hang을 덮어쓸 수 있고, ha-hotreset과 모듈 재적재는 드라이버의 RAS 카운터를 0부터 다시 세고 last_hang을 초기화합니다. 저장하는 스크립트는 문제 상황의 진단 정보 모으기에 있습니다.
  2. 그 디바이스를 쓰는 애플리케이션 작업을 정지합니다.
  3. 디바이스를 리셋합니다. 애플리케이션이 SDK 디바이스 리셋을 요청하거나, 자동 리셋이 켜져 있으면 드라이버가 스스로 리셋합니다.
  4. 결과를 확인합니다. health와 dmesg를 봅니다. 리셋 결과 확인을 보십시오.
  5. 리셋으로 복구되지 않으면 ha-hotreset으로 카드를 핫 리셋하고, 그래도 복구되지 않으면 호스트 전원을 재인가합니다.

증상 확인부터 ha-hotreset으로 카드 한 장을 리셋하고 복구를 확인하기까지 따라 하는 절차는 응답하지 않는 카드 복구하기에 있습니다.


복구 수단

아래 표에서 핸들은 애플리케이션이 연 디바이스 노드(/dev/haN)를 말합니다.

수단 실행 주체 범위 열린 핸들 하는 일
SDK 디바이스 리셋 애플리케이션 디바이스 하나 열려 있어도 진행합니다. 리셋을 요청한 핸들만 계속 쓸 수 있습니다 1차로 펌웨어를 재초기화하고, 실패하면 2차로 자동으로 SBR을 겁니다
자동 리셋 드라이버 디바이스 하나 열려 있어도 진행합니다. 모든 핸들이 무효가 됩니다 SDK 디바이스 리셋과 같습니다
ha-hotreset 호스트의 root 카드 하나 모두 닫혀 있어야 합니다 카드를 드라이버에서 제거하고 SBR을 건 뒤 다시 인식시킵니다
전원 재인가 운영자 호스트 전체 모두 끊깁니다 호스트와 모든 카드를 다시 시작합니다

모듈 재적재와 언바인드는 복구 수단이 아닙니다

모듈을 다시 적재하거나 드라이버를 언바인드했다가 다시 바인드하면 드라이버 상태는 새로 만들어지지만 카드는 리셋되지 않습니다. 펌웨어가 멈춘 카드는 그대로이므로, 작업을 보내면 다시 FATAL이 될 수 있습니다.

SDK 디바이스 리셋

애플리케이션은 SDK의 디바이스 리셋 기능으로 디바이스를 리셋합니다 (Reset API). FATAL 상태에서도 요청할 수 있습니다. 드라이버는 다음 순서로 리셋합니다.

  1. 새 작업 접수를 막고, 진행 중이거나 대기 중인 작업을 모두 오류로 끝냅니다.
  2. 그 디바이스를 쓰는 모든 프로세스의 디바이스 상태를 회수합니다. 디바이스 메모리 할당, 메모리 매핑, 프로세스 간 메모리 공유 핸들, 프로파일링 세션이 대상입니다.
  3. 펌웨어에 재초기화를 요청합니다.
  4. 재초기화가 실패하거나 응답 대기 상한 안에 끝나지 않으면 부모 PCIe 포트에서 SBR을 겁니다. SBR은 SBR을 걸 수 있는 구성에서만 겁니다.
  5. 펌웨어가 준비 완료를 알리는지 확인하고, 작업 접수를 다시 엽니다. 리셋이 실패해도 작업 접수는 다시 엽니다.

리셋 요청은 이 과정이 끝날 때까지 돌아오지 않으며, SBR까지 가면 수십 초가 걸릴 수 있습니다. 같은 호스트의 다른 카드는 리셋되지 않습니다.

3번의 재초기화는 플래시를 다시 읽는 부팅이 아닙니다. 이미 실행 중인 펌웨어가 코어를 다시 준비하고, 코어에 올라가 있던 명령과 실행 상태를 지운 뒤, 약 50 ms 안에 연산이 멈추는지 확인합니다. 플래시에 들어 있는 이미지는 바뀌지 않습니다. 디바이스 메모리의 내용은 펌웨어가 지우지 않습니다. 할당을 해제하는 것은 2번의 드라이버입니다.

엔진이 그 시간 안에 멈추지 않거나 프로파일링이 끝나지 않으면, 펌웨어는 성공 대신 준비되지 않음(rc=0x1)을 반환하고 드라이버는 SBR로 넘어갑니다. 명령 처리가 멈춰 재초기화가 실행되지 않은 경우에도 응답 대기 상한이 지나 SBR로 넘어갑니다. 펌웨어가 시간 초과를 rc=0x7로 반환한 경우와는 다릅니다. 응답 대기 상한을 보십시오.

재초기화가 실패해도 펌웨어는 명령을 다시 받을 수 있는 상태로 돌아갑니다. 이것은 디바이스가 정상이라는 뜻이 아니라, 명령에 응답할 수 있다는 뜻입니다. 리셋 뒤에 fw_version이 보여도 리셋 결과 확인대로 dmesg에서 SBR을 걸었는지, SBR을 거부했는지를 함께 보십시오.

리셋 뒤의 애플리케이션

  • 리셋 전에 만든 디바이스 메모리와 매핑은 무효이므로 새로 만들어야 합니다. 리셋 전에 만든 디바이스 메모리 매핑에 접근하면 SIGBUS가 발생할 수 있습니다.
  • 핸들은 리셋이 끝나기 전에 열린 것이면 모두 무효가 됩니다. 이후 SDK 호출이 실패하므로, 그 프로세스는 디바이스를 닫고 다시 열어야 합니다. 보통은 애플리케이션을 다시 시작합니다.

리셋은 디바이스마다 한 곳에서만 요청하십시오

무효가 된 핸들로도 리셋을 요청할 수 있지만, 그 리셋이 프로세스의 핸들을 다시 무효로 만듭니다. 여러 애플리케이션이 오류를 받을 때마다 각자 리셋하면 서로를 번갈아 끊습니다. 디바이스마다 리셋을 맡을 프로세스를 하나로 정하고, 나머지는 오류를 보고하고 디바이스를 다시 열게 하십시오.

리셋 결과 확인

  • 리셋이 성공하면 health는 faulted에서 벗어납니다. FATAL에 이른 오류가 RAS 카운터(devcmd_timeouts, devcmd_fw_errors, hdma_timeouts)에 남아 있으므로 ok가 아니라 degraded로 보일 수 있습니다. 이 카운터는 SBR로 넘어가지 않은 SDK 디바이스 리셋으로는 지워지지 않고, 드라이버가 카드를 다시 인식할 때(ha-hotreset, 언바인드 후 재바인드, 모듈 재적재) 0부터 다시 셉니다.
  • 펌웨어 재초기화가 실패해 SBR로 넘어갔으면 dmesg에 issuing SBR via parent <BDF>가 남습니다.
  • 리셋이 실패하면 health는 faulted로 남습니다. 드라이버는 작업 접수를 다시 열지만, 그 카드에서는 자동 리셋을 다시 시도하지 않습니다.

리셋이 실패하면

리셋이 실패하면 리셋 절차는 dmesg에 마지막으로 device reset failed (<err>, firmware re-init <err>): ... 줄을 남깁니다. 이 줄의 뒷부분이 다음에 할 일을 알려 줍니다. 다시 리셋하기, 호스트에서 ha-hotreset --bdf <BDF> 실행하기, 호스트 전원 재인가 가운데 무엇을 할지와, 그래도 안 되면 다음에 무엇을 할지입니다. 그 앞에 남은 줄로 어느 단계에서 실패했는지 알 수 있습니다.

자동 리셋도 같은 절차를 밟으므로 같은 메시지가 남고, 그 뒤에 auto-TDR: reset failed (<err>); ... 줄이 하나 더 남습니다. 다만 표의 마지막 줄은 SDK 리셋에서만 남고, 자동 리셋은 같은 경우에 auto-TDR: skipped, ...를 남깁니다(자동 리셋).

dmesg 상태 할 일
leaves Surprise Down unmasked; refusing SBR이 들어간 줄 펌웨어 재초기화가 실패했고, 부모 포트가 Surprise Down을 마스킹하지 않아 드라이버가 SBR을 걸지 않았습니다. 카드는 멈춘 상태로 남습니다 호스트에서 sudo ha-hotreset --bdf <BDF>를 실행합니다. ha-hotreset은 경로를 마스킹하고 리셋합니다
그 밖에 refusing SBR이 들어간 줄, 또는 No parent bridge, SBR not supported 펌웨어 재초기화가 실패했고, 이 PCIe 구성에서는 SBR을 걸 수 없어 걸지 않았습니다. 카드는 멈춘 상태로 남습니다 같은 조건 때문에 ha-hotreset도 거부합니다. 호스트 전원을 재인가합니다
device did not answer after SBR SBR 뒤 카드가 응답하지 않습니다 호스트에서 sudo ha-hotreset --bdf <BDF>를 실행합니다. 그래도 복구되지 않으면 호스트 전원을 재인가합니다
device came back but firmware did not report ready 카드는 돌아왔지만 펌웨어가 준비 완료를 알리지 않았습니다. 드라이버는 펌웨어가 준비될 때까지 작업을 받지 않습니다 잠시 뒤 sysfs fw_version을 다시 읽습니다. 펌웨어가 준비되면 unknown 대신 버전이 나옵니다. 계속 unknown이면 ha-hotreset을 실행하고, 그래도 안 되면 전원을 재인가합니다
removed during SBR 또는 removed after SBR while the reset was still running 리셋 도중 운영체제가 카드를 제거했습니다. 핫플러그 슬롯에서 SBR의 링크 끊김을 카드 제거로 처리한 경우가 대표적입니다 카드가 다시 인식되어 /dev/haN이 다시 나타나면 애플리케이션이 디바이스를 다시 엽니다. 나타나지 않으면 전원을 재인가합니다
reset refused: last fw_update unanswered 응답을 받지 못한 펌웨어 업데이트가 있어 리셋하지 않았습니다 펌웨어 업데이트를 따릅니다

자동 리셋

모듈 파라미터 ha_auto_reset=1이면 드라이버가 FATAL을 감지했을 때 SDK 디바이스 리셋과 같은 리셋을 스스로 수행합니다. 기본값은 0(꺼짐)이고, 모든 카드에 적용되며, 런타임에 바꿀 수 있습니다. 다음 적재부터 계속 켜 두는 방법은 자동 복구 켜기를 보십시오.

1
echo 1 | sudo tee /sys/module/ha/parameters/ha_auto_reset
  • 자동 리셋은 디바이스가 FATAL로 바뀌는 순간에 시작합니다. 파라미터를 켜기 전에 이미 FATAL이던 디바이스는 자동으로 리셋되지 않으므로 직접 리셋하십시오.
  • 리셋을 시작하면 dmesg에 auto-TDR: the device went FATAL; resetting it과 같은 커널 로그가 남습니다.
  • 리셋이 실패하면 auto-TDR: reset failed (<err>); auto-TDR will not run again on this card until a reset succeeds or the card reports ready again가 남고, 그 디바이스에서는 자동 리셋을 더 시도하지 않습니다. 실패한 리셋을 반복하지 않기 위해서입니다. SDK로 요청한 리셋이 실패했을 때도 같습니다. 이때 health는 faulted입니다. 다음에 할 일은 리셋이 실패하면을 따릅니다.
  • 멈춘 자동 리셋은 다음 경우에 다시 동작합니다. - 다른 방법으로 리셋이 성공했을 때 - 드라이버가 카드를 다시 인식했을 때(ha-hotreset, 언바인드 후 재바인드, 모듈 재적재) - 리셋 뒤 준비 완료를 알리지 않던 펌웨어가 나중에 준비 완료를 알린 것을 드라이버가 확인했을 때
  • 펌웨어 업데이트가 진행 중이거나 응답을 받지 못한 업데이트가 있으면 자동 리셋을 건너뛰고 auto-TDR: skipped, ...를 남깁니다. 디바이스는 FATAL로 남습니다.
  • 리셋 도중 운영체제가 카드를 제거하면 실패로 간주하지 않습니다. 카드가 다시 인식되는지에 따라 복구 여부가 정해집니다.

애플리케이션이 직접 리셋을 요청하지 않고, 오류가 나면 다시 시작되도록 운영하는 환경에서 ha_auto_reset를 켜십시오. 리셋을 맡는 별도의 감독 프로세스가 있으면 꺼 두어도 됩니다.

워치독 선점과 함께 쓰기

ha_wd_preempt=1이면 워치독이 멈춘 대기를 끊고, 그 대기가 애플리케이션 작업의 것이었다면 디바이스가 FATAL이 됩니다. 자동 리셋이 꺼져 있으면 그 디바이스는 누군가 리셋을 요청할 때까지 FATAL로 남으므로, 두 파라미터를 함께 켜십시오. hang 감지와 워치독을 보십시오.

ha-hotreset

ha-hotreset은 호스트에서 root로 실행하는 카드 단위 핫 리셋 도구입니다. 카드를 드라이버에서 제거하고, 부모 브리지에서 SBR을 건 뒤, 버스를 다시 스캔해 드라이버가 카드를 다시 인식하게 합니다. ha 모듈은 적재된 채로 남고 다른 카드는 건드리지 않습니다. SBR을 받은 카드는 플래시의 펌웨어로 다시 부팅합니다.

다음 경우에 씁니다.

  • SDK 디바이스 리셋이나 자동 리셋으로 복구되지 않았을 때
  • 디바이스를 쓰는 애플리케이션이 없는 상태에서 카드를 리셋할 때
  • 펌웨어 업데이트 뒤 새 펌웨어로 부팅할 때(펌웨어 업데이트)

리셋하기 전에 다음을 확인합니다. 하나라도 맞지 않으면 아무것도 건드리지 않고 거부합니다.

  • 그 카드의 /dev/haN을 연 프로세스가 없어야 합니다. 열려 있으면 PID를 출력하고 거부합니다. --force로 넘길 수 있지만, 그 프로세스의 이후 SDK 호출은 실패하므로 그 프로세스는 디바이스를 닫고 다시 열어야 합니다. 그 사이 디바이스 메모리 매핑에 접근하면 SIGBUS가 발생할 수 있습니다.
  • 부모 포트가 SBR을 걸 수 있는 구성이거나, 경로를 마스킹해 SBR을 걸 수 있어야 합니다. --force로 넘길 수 없습니다.
  • 부모 브리지 아래에 그 카드 외에 다른 디바이스가 없어야 합니다. SBR이 그 디바이스까지 리셋하기 때문입니다. --force로 넘길 수 없습니다.
1
2
3
4
5
# 카드마다 부모 브리지와 SBR 판정 확인
sudo ha-hotreset --list

# 카드 한 장 리셋
sudo ha-hotreset --bdf 0000:1a:00.0
  • Hot reset OK: <BDF>는 카드가 PCI에 다시 열거되었고, 리셋 전에 /dev/haN이 있던 카드라면 그 노드가 다시 나타났으며, 노드가 없던 카드라면 ha 드라이버가 카드를 바인드했다는 뜻입니다. 펌웨어 상태는 hyperaccel-smi나 health로 확인합니다.
  • 카드는 보통 같은 /dev/haN 번호로 다시 나타납니다. 번호보다 PCI 주소(hyperaccel-smi의 Bus-Id 열)로 카드를 확인하십시오.
  • 드라이버가 카드를 새로 인식하므로 RAS 카운터와 last_hang이 초기화되고, 카드가 정상이면 health는 ok입니다.

옵션, 사전 점검, 동작 순서, 종료 코드는 ha-hotreset에 있습니다.

전원 재인가

위 방법으로 복구되지 않으면 호스트 전원을 껐다가 다시 켭니다. 다음 경우에 해당합니다.

  • 펌웨어 재초기화가 실패했는데 그 카드가 ha-hotreset --list에서 NOT resettable로 표시되는 경우
  • ha-hotreset 뒤에도 카드가 응답하지 않거나 다시 인식되지 않는 경우

펌웨어 업데이트가 진행 중일 때는 전원을 끄지 마십시오. 펌웨어 업데이트를 보십시오.


SBR을 걸 수 있는 구성

SBR은 부모 포트와 카드 사이의 링크를 잠시 끊습니다. 부모 포트가 이 링크 끊김을 Surprise Down 오류로 보고하면, PCIe 오류를 플랫폼 펌웨어가 처리하는 서버에서는 이 오류가 호스트 전체의 재시작으로 이어질 수 있습니다. 그래서 드라이버는 다음 중 하나일 때만 SBR을 겁니다.

  • 카드의 부모 포트가 root port입니다.
  • 부모 포트의 AER Uncorrectable Error Mask에서 Surprise Down 오류(bit 5)가 마스킹되어 있습니다.

부모 포트의 PCIe 또는 AER 설정을 읽을 수 없거나 부모 브리지가 없으면 SBR을 걸지 않습니다. 드라이버는 이 마스크를 바꾸지 않습니다. 펌웨어 재초기화만으로 끝나는 리셋은 이 조건과 관계없이 진행됩니다.

드라이버는 마스크를 바꾸지 않지만, ha-hotreset은 리셋하는 동안 부모 포트부터 root port까지 경로의 오류 보고를 직접 막으므로(경로 마스킹) 두 조건에 해당하지 않는 카드도 리셋할 수 있습니다. 카드가 다시 응답하면 마스킹을 되돌립니다. 경로의 레지스터를 읽을 수 없거나 마스킹이 적용되지 않으면 거부합니다. 경로 마스킹을 보십시오.

카드마다 판정을 미리 확인해 두십시오.

1
sudo ha-hotreset --list

NOT resettable로 표시된 카드는 ha-hotreset으로 리셋할 수 없으므로, 펌웨어 재초기화가 실패하면 전원 재인가가 필요합니다. the path is masked for the reset으로 표시된 카드는 위 두 조건에 맞지 않으므로, SDK 디바이스 리셋과 자동 리셋은 펌웨어 재초기화가 실패하면 SBR로 넘어가지 못합니다. 이 카드는 ha-hotreset으로 리셋하십시오. 부모 포트의 마스크는 sudo lspci -vvv -s <부모 BDF> 출력의 UEMsk: 줄에서 SDES+(마스킹됨)나 SDES-(마스킹 안 됨)로도 볼 수 있습니다.

경로 마스킹을 처음 쓰는 호스트

마스킹된 오류는 보고되지 않으므로 플랫폼 펌웨어에 닿지 않습니다. 다만 플랫폼 펌웨어가 포트의 오류 상태 레지스터를 직접 읽는 등 다른 방법으로 링크 끊김을 감지하는 서버에서는, 마스킹해도 호스트 재시작을 막지 못할 수 있습니다. 처음 쓰는 호스트에서는 sudo ha-hotreset --check-mask --bdf <BDF>로 경로를 확인하고, 작업이 없는 시간에 카드 한 장으로 먼저 리셋해 보십시오. 마스킹 없이 거부하게 하려면 --no-switch-link-drop을 주십시오.

호스트가 거는 리셋과 PCIe 오류

디바이스는 드라이버가 아닌 쪽에서도 리셋될 수 있습니다. 커널의 PCI 리셋 기능으로 거는 리셋과 PCIe 오류(AER, DPC) 복구가 그런 경우입니다. 드라이버는 통보를 받아 SDK 디바이스 리셋과 같은 방식으로 작업을 멈추고 디바이스 상태를 회수하며, 리셋이 끝나면 펌웨어의 준비를 확인하고 작업 접수를 다시 엽니다.

  • 드라이버가 디바이스 상태를 회수하면 열려 있던 핸들은 모두 무효가 됩니다. 리셋을 요청한 프로세스가 없으므로 예외가 없습니다. 애플리케이션은 디바이스를 다시 열어야 합니다.
  • 커널 PCI 리셋에서는 dmesg에 reset_prepare: quiescing for a host-initiated reset과 reset_done: reopening the gate (boot ok)가 남습니다. 리셋 뒤 펌웨어 부팅을 확인하지 못했으면 boot ok 대신 boot unconfirmed가 남습니다.
  • PCIe 오류 복구에서는 PCIe error detected (state=<N>): recoverable과 PCIe error_resume: recovery complete가 남습니다.
  • 복구가 끝난 뒤 health가 faulted이거나 디바이스가 정상 동작하지 않으면 SDK나 ha-hotreset으로 디바이스를 리셋합니다.
  • PCIe 오류 복구가 시작된 뒤 30초 안에 리셋 단계에 이르지 않으면, 드라이버는 디바이스를 다시 초기화하지 않은 채 작업 접수를 다시 엽니다. 이때 dmesg에 PCIe recovery never reached slot_reset within 30000 ms가 남습니다. 이후 디바이스가 정상 동작하지 않으면 SDK로 리셋합니다.
  • 복구 중에 펌웨어가 돌아오지 않으면 slot_reset: firmware did not come back (<err>)이 남습니다. 이때는 복구 순서를 따릅니다.

커널의 PCI 리셋으로 카드를 리셋하지 마십시오

/sys/bus/pci/devices/<BDF>/reset에 쓰는 것처럼 커널의 PCI 리셋 기능을 직접 쓰지 마십시오. 커널은 리셋 방법을 스스로 고르며 FLR(Function Level Reset)을 먼저 시도합니다. 이 카드에서 FLR은 지원되지 않으며, 커널이 이어서 거는 버스 리셋은 위의 SBR 조건을 확인하지 않습니다. 디바이스 리셋은 SDK로, 호스트에서의 카드 리셋은 ha-hotreset으로 하십시오.

AER 보고와 ha_aer_enable

모듈 파라미터 ha_aer_enable(기본 0)은 드라이버가 카드의 PCIe AER 오류 보고를 켤지 정합니다. 모듈을 적재할 때만 정할 수 있습니다.

  • 기본값이 꺼짐인 이유: AER로 보고된 치명적 오류에 대한 커널의 복구 조치는 부모 브리지의 SBR입니다. 이 SBR은 위의 SBR 조건을 거치지 않으므로, 부모 포트가 Surprise Down을 마스킹하지 않은 구성에서는 호스트를 재시작시킬 수 있습니다.
  • ha_aer_enable=1이면 드라이버가 카드를 인식할 때마다 dmesg에 AER reporting enabled: the kernel's fatal remedy is a parent-bridge SBR이 남습니다.
  • 커널 6.4 이상과 RHEL 9.4 이상에서는 드라이버가 오류 보고 설정을 바꾸지 않습니다. 이 커널들에서는 커널과 플랫폼 구성이 오류 보고를 정하므로, ha_aer_enable=0이어도 카드의 오류가 보고될 수 있습니다.
  • ha_aer_enable=0이어도 드라이버는 PCIe 오류 복구 통보를 받을 수 있습니다. DPC가 동작하거나, 부모 포트가 오류를 검출하거나, 같은 브리지 아래 다른 디바이스에 치명적 오류가 나면 커널이 그 아래 디바이스 전체에 복구 절차를 진행하기 때문입니다.

드라이버에서 카드를 내릴 때

언바인드, 핫 언플러그, ha-hotreset은 드라이버에서 카드 한 장을 제거하고, rmmod ha는 모든 카드를 제거합니다.

  • 그 카드를 연 프로세스의 핸들은 남지만, 이후 SDK 호출은 실패합니다. 그 카드의 디바이스 메모리 매핑에는 접근하지 마십시오. 접근하면 SIGBUS가 발생할 수 있습니다. 핸들을 닫는 것은 항상 성공합니다.
  • 진행 중이던 작업은 중단되고, 제거는 진행 중이던 호출이 빠져나온 뒤에 끝납니다. 기다리는 동안 dmesg에 remove: <N> fd op(s) still inside the gate가 200 ms마다 남습니다. 진행 중인 펌웨어 업데이트는 업데이트가 끝나거나 대기 시간이 다할 때까지 기다립니다.
  • 다른 카드에서 이 카드의 메모리를 대상으로 하던 디바이스 간 복사는 실패합니다. 여러 디바이스를 보십시오.
  • 카드가 다시 인식되면(재바인드, 재스캔) 디바이스를 새로 엽니다. 같은 카드는 보통 같은 번호로 다시 나타납니다.
1
2
3
4
5
# 카드 한 장을 드라이버에서 내리기
echo 0000:1a:00.0 | sudo tee /sys/bus/pci/drivers/ha/unbind

# 다시 붙이기
echo 0000:1a:00.0 | sudo tee /sys/bus/pci/drivers/ha/bind

언바인드는 열린 핸들이 있어도 진행합니다. rmmod ha(modprobe -r ha)는 /dev/haN이 하나라도 열려 있으면 모듈이 사용 중이라는 오류로 실패하므로, 먼저 디바이스를 쓰는 프로세스를 끝내십시오. 모듈을 교체하는 절차는 업그레이드와 제거에 있습니다.

펌웨어 업데이트 중의 리셋

  • 펌웨어 업데이트가 진행 중인 디바이스는 SDK 디바이스 리셋을 거부하고 자동 리셋을 건너뜁니다. 플래시를 쓰는 도중 리셋하면 일부만 기록된 플래시로 부팅해 카드가 올라오지 못할 수 있기 때문입니다.
  • 마지막 업데이트에 대한 펌웨어의 응답을 받지 못했으면, 응답을 받을 때까지 같은 거부가 이어집니다. 이때 리셋을 요청하면 dmesg에 reset refused: last fw_update unanswered가 남습니다.
  • 커널이 거는 리셋은 드라이버가 거부할 수 없습니다. 커널의 PCI 리셋 기능으로 거는 리셋은 진행 중인 업데이트가 끝날 때까지 기다리지만, 응답을 받지 못한 업데이트가 있으면 그대로 진행되고 dmesg에 reset_prepare: last fw_update unanswered - resetting now may leave the boot flash half-written이 남습니다.
  • 업데이트 중인 카드에 ha-hotreset --force를 쓰지 마십시오. 업데이트 도구는 일반 ha-hotreset을 막으려고 디바이스를 열어 둡니다.
  • 마지막 ha-fw-update 실행이 종료 코드 4로 끝났거나 종료 코드를 알리지 못하고 끝난 카드는 플래시가 일부만 기록되었을 수 있습니다. 도구가 끝난 뒤에는 카드를 연 프로세스가 없으므로 일반 ha-hotreset도 거부되지 않고 리셋을 진행합니다. 이런 카드는 ha-hotreset이나 전원 재인가로 다시 시작하지 말고 응답을 받지 못했을 때를 따르십시오. 펌웨어가 끝내 응답하지 않을 때 남는 모듈 재적재, ha-hotreset, 전원 재인가는 HyperAccel과 상의한 뒤에만 쓰십시오.
  • 새 펌웨어로 부팅하려면 SDK 디바이스 리셋이 아니라 ha-hotreset을 씁니다. SDK 디바이스 리셋은 먼저 실행 중인 펌웨어를 재초기화하므로 새 이미지를 적재하는 방법이 아닙니다.

업데이트 절차와 응답을 받지 못했을 때의 조치는 펌웨어 업데이트에 있습니다.


함께 보기