콘텐츠로 이동

문제 해결

드라이버를 설치하고 운영하면서 만날 수 있는 증상을 모았습니다. 증상에 맞는 항목에서 원인과 해결을 확인하고, 더 자세한 내용은 항목 끝의 관련 문서를 보십시오. 커널 로그의 개별 메시지는 커널 로그 메시지에 있습니다. 이 페이지에 존재하지 않는 문제에 대해서는 먼저 모을 정보와 문제 상황의 진단 정보 모으기를 확인한 뒤 HyperAccel 지원팀에 문의하십시오.


먼저 모을 정보

리셋, 모듈 재적재는 이전 실패를 설명하는 상태를 지웁니다. 조치하기 전에 진단 정보를 저장하십시오. 카드가 hang이나 FATAL 상태라면 문제 상황의 진단 정보 모으기의 스크립트로 아카이브를 만드십시오. 설치나 적재 문제이거나 스크립트를 쓸 수 없을 때는 아래 명령으로 정보를 파일 하나에 저장합니다. sysfs 텔레메트리는 디바이스 노드를 열지 않고 읽으며, 카드가 멈춘 동안에도 응답합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
# root 권한으로 실행합니다 (예: sudo -i)
{
  date
  uname -a
  cat /sys/module/ha/version
  grep -H . /sys/module/ha/parameters/*
  dkms status 2>/dev/null
  lspci -D -tv
  lspci -D -nn -vvv -d 20fb:
  ls -l /dev/ha*
  for d in /sys/class/ha/ha*; do
    echo "== $(basename "$d") $(basename "$(readlink -f "$d/device")")"
    for n in fw_version serial health last_hang inflight stream_count devcmd_timeouts devcmd_fw_errors hdma_timeouts peer_map peer_route peer_sram; do
      echo "$n: $(cat "$d/$n")"
    done
  done
  hyperaccel-smi -q
  dmesg -T
} > ha-diag.txt 2>&1
  • 호스트를 이미 재부팅했다면 journalctl -k -b -1로 이전 부팅의 커널 로그도 저장하십시오. systemd 저널을 영구 저장하는 경우에만 남아 있습니다.
  • 각 노드의 뜻은 sysfs에 있습니다.

설치와 적재

/dev/haN이 없음

드라이버가 카드를 인식하지 못했습니다. 아래 세 명령으로 어디서 멈췄는지 가립니다.

1
2
3
4
5
6
7
8
# 모듈이 적재되었는가
lsmod | grep -w ha

# 카드가 PCI 버스에 보이는가, 어느 드라이버가 점유하고 있는가
lspci -D -nn -k -d 20fb:

# probe가 어디서 멈췄는가
sudo dmesg -T | grep -E '(^|\] )ha[ :]'

정상이라면 카드마다 Probe successful: /dev/ha<N> created가 남습니다. 정상 상태의 기준은 설치 확인에 있습니다.

모듈이 적재되지 않음

원인: lsmod에 ha가 없습니다. 부팅 때 자동 적재가 되지 않았거나 적재가 실패했습니다.

해결: sudo modprobe ha로 적재합니다. 실패하면 메시지로 원인을 가립니다.

modprobe 메시지 원인 해결
Module ha not found in directory /lib/modules/<커널> 실행 중인 커널용 모듈이 설치되지 않았습니다 실행 중인 커널용 모듈이 없음을 보십시오
could not insert 'ha': Key was rejected by service Secure Boot가 켜져 있고, 이 호스트가 모듈의 서명 키를 신뢰하지 않습니다 dkms가 자기 키로 모듈에 서명하므로 그 키를 한 번 등록합니다. Ubuntu는 sudo mokutil --import /var/lib/shim-signed/mok/MOK.der, 그 밖의 배포판은 sudo mokutil --import /var/lib/dkms/mok.pub를 실행하고, 재부팅해 MOK 관리 화면에서 등록을 마칩니다
could not insert 'ha': Invalid module format 다른 커널용으로 빌드한 모듈입니다 실행 중인 커널에 맞는 설치 패키지를 설치합니다

설치 패키지는 /etc/modules-load.d/ha.conf를 만들어 부팅 때마다 모듈을 적재합니다. 이 파일이 없다면 설치 패키지를 이용해 드라이버를 다시 설치하십시오.

관련 문서: 설치

카드가 보이지 않음

원인:

  • lspci -d 20fb:에 카드가 없으면 운영체제가 카드를 열거하지 못한 것입니다. 장착, 전원, BIOS의 슬롯 설정 문제입니다.
  • 카드가 (rev ff)로 보이면 카드가 PCI 설정 공간 읽기에 응답하지 않습니다.
  • Kernel driver in use:가 ha가 아니면 다른 드라이버(예: vfio-pci)가 카드를 점유하고 있습니다.

해결:

  • 카드 장착과 전원, BIOS 설정을 확인합니다.
  • (rev ff)면 호스트 전원을 재인가합니다.
  • 다른 드라이버가 점유하고 있으면 그 드라이버에서 분리한 뒤 ha에 바인드합니다.
    1
    2
    echo <BDF> | sudo tee /sys/bus/pci/drivers/<드라이버>/unbind
    echo <BDF> | sudo tee /sys/bus/pci/drivers/ha/bind
    

관련 문서: 지원 환경

probe가 실패함

원인: dmesg에 Probing device는 있는데 같은 <BDF>의 Probe successful이 없습니다. 자주 보이는 경우는 다음과 같습니다.

  • ABI protocol mismatch: firmware v<n>, driver requires >= v<n>; refusing probe: 카드의 펌웨어가 이 드라이버가 요구하는 것보다 오래되었습니다.
  • Failed to request <이름> BAR (hw_index=<n>) 또는 BAR<n> length is 0: BIOS가 카드의 BAR에 주소를 배정하지 못했습니다.
  • firmware booted but did not publish the BAR2 inbound base … 또는 firmware has not booted, so the BAR2 inbound base is unknown …: 펌웨어가 카드 쪽 BAR2 주소를 알리지 않았거나 아직 부팅하지 않아, 드라이버가 카드를 바인드하지 않았습니다.
  • Failed to setup MSI-X: 카드의 인터럽트를 설정하지 못했습니다.
  • Probing device 뒤에 드라이버 메시지도, 커널의 probe of <BDF> failed 줄도 없음: 카드가 8장을 넘었습니다. 드라이버는 한 호스트에서 카드를 8장까지 다룹니다.

해결: 메시지별 조치는 probe를 멈추는 오류를 따르십시오. 펌웨어 버전이 맞지 않는 카드는 드라이버에 등록되지 않아 ha-fw-update로 고칠 수 없으므로 지원팀에 문의하십시오.

관련 문서: 커널 로그 메시지, 지원 환경

실행 중인 커널용 모듈이 없음

원인: 새 커널이 설치될 때 DKMS가 모듈을 다시 빌드하지만, 그 커널의 헤더가 없으면 빌드하지 못합니다.

해결: 실행 중인 커널의 헤더를 설치한 뒤 sudo dkms autoinstall로 실행 중인 커널용 모듈을 빌드합니다. 빌드가 실패하면 DKMS 빌드가 실패함을 보십시오.

관련 문서: 업그레이드와 제거

페이지 크기가 4 KiB가 아님

원인: 드라이버는 4 KiB 페이지 커널만 지원합니다. ARM64의 16K·64K 페이지 커널에서는 DKMS가 이 모듈을 빌드하지 않습니다.

해결: getconf PAGESIZE가 4096인지 확인하고, 아니면 4 KiB 페이지 커널로 부팅하십시오.

관련 문서: 지원 환경

DKMS 빌드가 실패함

원인과 해결: 설치가 남긴 메시지로 가립니다.

메시지 원인 해결
hyperdriver-dkms: kernel headers for <커널> not found. 실행 중인 커널의 헤더가 없습니다 sudo apt install linux-headers-$(uname -r)로 헤더를 설치한 뒤 패키지를 다시 설치합니다
ha/<버전> failed to stage or build for kernel <커널> 이 커널에서 모듈 빌드가 실패했습니다. 이미 설치된 드라이버는 그대로입니다 메시지가 알려 주는 빌드 로그(make.log)를 확인합니다. 커널 API에 관한 컴파일 오류는 지원 범위 밖의 커널이라는 뜻입니다
hyperdriver-dkms: no headers for installed kernel <커널> - ha.ko will be MISSING if you boot it. 설치되었지만 아직 부팅하지 않은 커널의 헤더가 없습니다. 그 커널로 부팅하면 모듈이 없습니다 그 커널의 헤더를 설치하고 sudo dkms autoinstall -k <커널>로 빌드합니다

16K·64K 페이지 커널에서는 빌드 자체를 건너뜁니다. 페이지 크기가 4 KiB가 아님을 보십시오.

관련 문서: 설치, 지원 환경

모듈을 내릴 수 없음

원인: rmmod: ERROR: Module ha is in use나 modprobe: FATAL: Module ha is in use.가 나옵니다. 어떤 프로세스가 /dev/haN을 열고 있거나 디바이스 메모리를 매핑하고 있습니다. 컨테이너 안의 프로세스도 여기에 포함됩니다.

해결: 노드를 연 프로세스를 찾아 끝낸 뒤 다시 내립니다.

1
2
3
4
5
sudo lsof /dev/ha*

# lsof가 없을 때
sudo find /proc/[0-9]*/fd -lname '/dev/ha*' 2>/dev/null
sudo grep -l '/dev/ha' /proc/[0-9]*/maps 2>/dev/null
  • 모듈을 강제로 내리지 마십시오.
  • 모듈을 내리면 모든 카드가 함께 내려갑니다. 카드 한 장만 다시 시작하려면 ha-hotreset을 쓰십시오.
  • 펌웨어를 업데이트하는 중이면 끝날 때까지 기다리십시오.
  • 설치나 업그레이드 뒤 cat /sys/module/ha/version이 새 버전이 아니면, 카드가 쓰이는 중이라 이전 모듈을 내리지 못한 것입니다. deb 패키지는 이때 hyperdriver-dkms: WARNING - installed <새 버전>, but the kernel is still running <이전 버전>.을 남깁니다. 작업을 멈춘 뒤 sudo modprobe -r ha && sudo modprobe ha를 실행하거나 재부팅하십시오. RHEL 계열과 Fedora처럼 dracut으로 초기 램디스크를 만드는 배포판에서 재부팅한 뒤에도 이전 버전이면, 초기 램디스크에 이전 ha.ko가 들어 있을 수 있습니다. sudo dracut -f --regenerate-all을 실행한 뒤 다시 재부팅하십시오(실행 중인 버전 확인).

관련 문서: 업그레이드와 제거, ha-hotreset


디바이스 노드

노드는 있는데 열리지 않음

워크로드를 실행할 사용자로 노드를 열어 오류를 확인합니다.

1
2
ls -l /dev/ha*
python3 -c "import os; os.close(os.open('/dev/ha0', os.O_RDWR)); print('ok')"
오류 원인 해결
Permission denied udev 규칙(99-ha.rules)이 적용되지 않아 root만 열 수 있거나, 그룹 기반으로 바꾼 규칙이 지정한 그룹에 사용자가 속하지 않았습니다. 기본 규칙은 노드를 누구나 읽고 쓸 수 있게(crw-rw-rw-) 만듭니다 규칙 파일(/lib/udev/rules.d/99-ha.rules, 직접 복사해 고쳤다면 /etc/udev/rules.d/99-ha.rules)이 있는지 확인하고 sudo udevadm control --reload-rules && sudo udevadm trigger로 다시 적용합니다. 그룹을 바꿨다면 사용자를 그룹에 넣고 새로 로그인합니다
No such device 드라이버가 카드를 아직 준비하는 중이거나(적재 직후, 핫 리셋 직후) 카드를 제거하는 중입니다 몇 초 뒤 다시 엽니다. 계속되면 dmesg에서 probe 실패나 제거 기록을 확인합니다
No such device or address 노드가 가리키는 디바이스 번호가 지금 드라이버의 것과 다릅니다. 노드를 만든 뒤 모듈을 다시 적재했거나 카드가 다시 인식되면 생길 수 있으며, 주로 컨테이너 안의 노드에서 보입니다 컨테이너를 다시 시작해 노드를 새로 만듭니다

관련 문서: 컨테이너 지원, 설치


상태와 텔레메트리

health가 faulted

원인:

  • 디바이스가 FATAL입니다. 펌웨어가 응답 대기 상한 안에 응답하지 않았거나 치명적인 오류를 보고해서, 드라이버가 그 카드에 더는 작업을 맡기지 않습니다. FATAL은 카드의 상태이므로 애플리케이션을 다시 시작해도 풀리지 않습니다.
  • 마지막 리셋(SDK 리셋이나 자동 리셋)이 실패했습니다. dmesg에 device reset failed (...)가 남습니다.

해결:

  1. 먼저 모을 정보를 저장합니다. 특히 last_hang과 dmesg의 hang 덤프입니다.
  2. 그 카드를 쓰는 애플리케이션을 멈춥니다. 다른 카드를 쓰는 애플리케이션은 그대로 둡니다.
  3. 카드를 리셋합니다. 둘 중 하나를 씁니다. - 애플리케이션이 SDK의 리셋 기능으로 리셋합니다. - 그 카드의 핸들을 모두 닫은 뒤 호스트에서 sudo ha-hotreset --bdf <BDF>로 핫 리셋합니다. 카드가 다시 인식되면서 오류 카운터도 0이 됩니다.
  4. 리셋이 성공했는지는 리셋을 요청한 쪽이 받은 결과와 dmesg의 리셋 메시지로 확인합니다. health만으로 판단하지 마십시오. SDK로 리셋하면 health가 faulted에서 벗어나지만, 리셋 전의 오류 카운터가 남아 degraded로 보이는 것은 정상입니다. 핫 리셋은 Hot reset OK: <BDF>와 같은 PCI 주소의 Probe successful로 확인합니다.
  5. 리셋이 실패했다면 마지막에 남은 device reset failed (...) 줄이 다음에 할 일(ha-hotreset 실행이나 호스트 전원 재인가)을 알려 줍니다.

ha-hotreset으로 카드를 리셋하는 과정을 따라 하려면 응답하지 않는 카드 복구하기를 보십시오. FATAL이 될 때마다 드라이버가 스스로 리셋하게 하려면 자동 복구 켜기의 안내대로 ha_auto_reset=1을 설정하십시오.

관련 문서: FATAL과 복구, hang 감지와 워치독, 파라미터 레퍼런스

health가 degraded

원인: 드라이버가 카드를 인식한 뒤 오류나 시간 초과가 한 번 이상 있었습니다. devcmd_timeouts, devcmd_fw_errors, hdma_timeouts 가운데 하나가 0이 아닙니다. 이 카운터는 줄지 않으므로 degraded가 지금도 문제가 있다는 뜻은 아닙니다. 애플리케이션이 보낸 잘못된 인자를 펌웨어가 거절한 명령처럼, 그 명령만 실패하고 카드는 계속 쓸 수 있는 오류도 devcmd_fw_errors에 셉니다.

해결:

  1. 카운터가 지금도 늘어나는지 봅니다.

    1
    watch -n 5 grep -H . /sys/class/ha/ha0/devcmd_timeouts /sys/class/ha/ha0/devcmd_fw_errors /sys/class/ha/ha0/hdma_timeouts
    
  2. 멈춰 있으면 지난 일입니다. last_hang과 dmesg로 언제 무엇이 있었는지 확인합니다.

  3. 늘어나고 있으면 진행 중인 문제입니다. 늘어나는 카운터에 해당하는 메시지를 커널 로그 메시지에서 찾습니다.

degraded는 카드가 다시 인식될 때(핫 리셋, 모듈 재적재, 재부팅) ok로 돌아옵니다. SDK로 리셋해서는 돌아오지 않습니다.

관련 문서: 텔레메트리, sysfs

텔레메트리가 unknown

원인: unknown은 드라이버가 값을 믿을 수 없다는 뜻입니다. 드라이버는 이전 값이나 0으로 대신 채우지 않습니다. 아래 순서로 확인합니다.

확인할 것 원인 해결
health가 faulted 디바이스가 FATAL이면 폴링을 멈추고, 5초 뒤부터 온도·전력·사용률이 unknown입니다 카드를 리셋하면 돌아옵니다. health가 faulted를 보십시오
dmesg에 sys_mon: no response for … suspending telemetry polling 카드가 응답하지 않아 폴링을 멈췄습니다 카드를 리셋하면 폴링을 다시 시작합니다
카드를 리셋하는 중 리셋하는 동안은 카드를 읽지 않습니다 리셋이 끝나면 돌아옵니다
fw_version도 unknown 펌웨어가 준비되지 않았습니다 fw_version이 unknown을 보십시오
dmesg에 sys_mon telemetry unavailable probe 때 텔레메트리 폴러를 시작하지 못했습니다 카드를 핫 리셋하거나 모듈을 다시 적재합니다
펌웨어 버전 펌웨어가 오래되어 텔레메트리를 제공하지 않습니다 지원 환경에서 펌웨어 버전을 확인합니다
util만 unknown 펌웨어가 첫 측정을 아직 끝내지 않았거나 사용률 측정이 진행하지 않습니다 잠시 뒤 다시 읽습니다. 계속되면 지원팀에 알립니다
power_mw만 unknown이고 rails가 none 측정되는 전원 레일이 없습니다 —

/sys/class/ha/haN/ 아래 텔레메트리 노드가 전혀 없고 dmesg에 telemetry sysfs unavailable이 있다면 노드를 만들지 못한 것입니다. 커널 버전과 함께 지원팀에 알리십시오.

관련 문서: 텔레메트리, sysfs

fw_version이 unknown

원인: 드라이버가 펌웨어의 준비를 확인하지 못했거나 펌웨어 버전을 읽지 못했습니다. dmesg에서 다음 메시지를 찾습니다.

메시지 원인
firmware boot sentinel not seen within <ms> ms 펌웨어가 부팅하지 않았거나 아직 부팅 중입니다
firmware never reported ready 펌웨어가 준비 완료를 알리지 않았습니다. 아직 부팅 중이거나, 부팅 중 자체 검사에 실패한 경우입니다
firmware version CSR reads 0x<값> 버전을 읽었지만 값이 유효하지 않았습니다
device came back but firmware did not report ready 리셋 뒤 펌웨어가 준비되지 않았습니다
sys_mon: no response for … 카드가 응답하지 않아 폴링을 멈췄습니다. 모니터링 채널을 한 번이라도 연 적이 있는 카드라면 리셋하기 전까지 버전을 다시 읽지 않습니다. 아직 부팅 중이던 카드라면 펌웨어가 준비된 뒤 fw_version을 읽을 때 다시 읽습니다

해결:

  1. 적재 직후나 리셋 직후라면 몇 초 기다렸다가 다시 읽습니다. 펌웨어가 늦게 준비되면 드라이버가 스스로 읽고 firmware booted after probe gave up; CSR-derived telemetry refreshed를 남깁니다.
  2. 계속 unknown이면 그 카드의 핸들을 모두 닫고 sudo ha-hotreset --bdf <BDF>로 카드를 다시 시작합니다. SBR을 걸 수 없는 구성이면 호스트 전원을 재인가합니다.
  3. 그래도 unknown이면 카드의 펌웨어가 부팅하지 못하는 것입니다. 지원팀에 문의하십시오.

fw_version이 unknown인 동안 ha-fw-update는 그 카드를 업데이트하지 않고 종료 코드 2로 끝납니다.

관련 문서: 커널 로그 메시지, FATAL과 복구

hyperaccel-smi에 카드가 보이지 않음

원인: 기본 출력에 No HyperAccel LPU found under <경로>가 나오고 종료 코드가 2입니다. -q나 --json으로 실행해도 보이는 카드가 없으면 종료 코드는 2입니다.

  • 드라이버가 카드를 인식하지 않아 /sys/class/ha/가 비어 있습니다.
  • 환경 변수 HYPERACCEL_VISIBLE_DEVICES가 보이는 카드를 제한합니다. 값이 none이거나 비어 있으면 아무 카드도 보이지 않고, 쉼표로 나눈 번호 목록이면 그 번호의 카드만 보입니다.
  • -i에 없는 번호를 주었습니다.
  • 컨테이너 안에서 호스트의 /sys/class/ha가 보이지 않거나 다른 경로에 있습니다.

해결:

1
2
ls /sys/class/ha/
env | grep HYPERACCEL
  • /sys/class/ha/가 비어 있으면 /dev/haN이 없음을 따릅니다.
  • HYPERACCEL_VISIBLE_DEVICES를 지우거나 all로 두거나, 맞는 번호로 고칩니다.
  • sysfs가 다른 경로(예: 컨테이너 안의 /host/sys)에 마운트되어 있으면, 그 아래의 class/ha 디렉터리를 --root /host/sys/class/ha나 환경 변수 HYPERACCEL_SYSFS_ROOT로 알려 줍니다. /host/sys처럼 sysfs가 마운트된 경로 자체를 주면 카드를 찾지 못합니다.
  • hyperaccel-smi는 python3가 있어야 실행됩니다.

관련 문서: hyperaccel-smi


hang과 복구

dmesg에 hang 덤프가 찍힘

원인: 다음과 같은 줄이 남았습니다.

1
2
3
ha <BDF>: Devcmd no response after <ms> ms (device hang): <판정>
ha <BDF>: hang (<사유>): fw <명령> (op 0x<op>), batch slot <n> (last staged, not necessarily the stuck one) … -- <판정 문장>
ha <BDF>: hang dump (<사유>): stream=0x<태그> corr=<n> opcode=0x<op> cmd_idx=<n> payload=[<워드>] …

덤프 앞에 남는 첫 줄은 <사유>에 따라 다릅니다. ceiling timeout이면 위의 Devcmd no response after <ms> ms (device hang): <판정>이, fw_update timeout이면 fw_update: no response after <ms> ms: <판정>이, watchdog이면 watchdog: devcmd wait stalled (devcmd=<ms> ms hdma=<ms> ms) - no completion within the threshold가 남습니다.

펌웨어가 명령에 응답 대기 상한(기본 12초, 오래 걸리는 명령은 그만큼 더 깁니다) 안에 응답하지 않았습니다. 사유가 watchdog이면 상한 없이 기다리는 요청이 워치독 문턱(기본 8초)을 넘은 것이고(ha_wd_preempt=1이면 다른 요청도 해당합니다), fw_update timeout이면 펌웨어 업데이트가 기한을 넘긴 것입니다.

해결:

  1. 덤프 두 줄과 앞뒤 로그를 그대로 저장합니다. 먼저 모을 정보를 보십시오.
  2. 사유가 fw_update timeout이면 카드를 리셋하지 말고 업데이트 뒤 리셋과 작업이 거절됨을 따릅니다.
  3. health를 확인합니다. faulted면 health가 faulted를 따릅니다.
  4. faulted가 아니고 사유가 watchdog일 때, ha_wd_preempt=1이면 워치독이 그 대기를 이미 끊어 그 요청은 실패했습니다. 디바이스가 멈춘 것으로 보이면 카드를 리셋합니다. 기본값(ha_wd_preempt=0)이면 상한 없이 기다리는 요청이 아직 기다리는 중입니다. dmesg에 10초마다 Devcmd waiting …이 이어지는지 보고, last_hang을 20초 이상 간격을 두고 두 번 읽어 batch_seq나 exec_index가 바뀌는지 봅니다. 이 대기 동안 last_hang은 Devcmd waiting 줄이 찍힐 때만 갱신되므로, 더 짧은 간격으로 읽으면 진행 중이어도 같은 값이 나올 수 있습니다. 바뀌면 느리게 진행 중이고, 그대로면 명령 하나가 오래 걸리고 있거나 멈춘 것입니다. 그 명령이 보통 얼마나 걸리는지와 비교해 멈췄다고 판단되면 그 애플리케이션을 끝내고 카드를 리셋합니다.
  5. 같은 증상이 반복되면 덤프와 함께 지원팀에 보냅니다. 덤프의 각 필드와 판정의 뜻은 hang 덤프 읽기에 있습니다.

관련 문서: hang 감지와 워치독, FATAL과 복구

dmesg에 DMA 전송 오류가 찍힘

원인: 호스트와 카드 사이, 또는 카드 사이의 복사를 맡은 DMA 엔진에서 다음과 같은 줄이 남았습니다.

1
2
3
4
ha <BDF>: ll: timeout (n=<n> channel=<ch> <방향>)
ha <BDF>: ll: engine stopped but its completion <방식> never arrived (status=<n> channel=<ch> <방향>)
ha <BDF>: ll: no response (channel=<ch> <방향>)
ha <BDF>: HDMA engine at 0x<오프셋> <상태>; quarantining its pages until the engines stop (reset or remove)
  • ll: timeout은 전송 하나가 5초 안에 끝나지 않은 것입니다. hdma_timeouts가 늘어납니다. 엔진을 멈출 수 있으면 그 전송이 속한 작업만 실패하고 카드는 FATAL이 되지 않습니다.
  • ll: engine stopped but its completion … never arrived는 엔진은 이미 멈춰 있었는데 5초 안에 완료 알림이 드라이버에 닿지 않은 것입니다. hdma_timeouts가 늘어나고 그 전송이 속한 작업만 실패합니다.
  • ll: no response와 ring write: no response는 카드가 DMA 엔진의 상태 레지스터에 응답하지 않는 것입니다. 링크가 끊겼거나 카드가 멈췄거나 제거된 경우이며, 카드가 FATAL이 됩니다.
  • HDMA engine at …은 시간 초과나 중단 뒤에 엔진을 멈추지 못한 것입니다. 엔진이 아직 호스트 메모리에 쓸 수 있어서 드라이버가 그 호스트 페이지를 격리하고 새 전송을 막으며, 카드가 FATAL이 됩니다.

해결:

  1. 앞뒤 로그와 sysfs 값을 저장합니다. 먼저 모을 정보를 보십시오.
  2. health를 확인합니다. faulted면 health가 faulted를 따릅니다. 카드를 리셋하면 엔진이 멈추고, 격리했던 페이지가 풀리고 전송을 다시 받습니다.
  3. VM 게스트에서 복사마다 ll: engine stopped but its completion MSI-X never arrived가 남으면, 드라이버가 VM을 베어메탈로 잘못 판단한 것입니다. 게스트 안에서 ha_hdma_completion=poll로 드라이버를 다시 적재합니다.
  4. ll: timeout, ll: engine stopped …, ll: n=… error=…만 남고 health가 faulted가 아니면 실패한 작업을 다시 실행합니다.
  5. 같은 카드에서 되풀이되면 같은 시점의 PCIe 오류 메시지와 링크 속도·폭(current_link_speed, current_link_width)을 확인하고, 진단 정보를 지원팀에 보냅니다. 같은 서버의 다른 카드는 괜찮고 다른 슬롯으로 옮겨도 이 카드만 되풀이하면 카드 쪽 문제일 가능성이 큽니다.

관련 문서: 커널 로그 메시지, FATAL과 복구

애플리케이션이 디바이스를 복구할 수 없다는 오류를 받음

원인: 디바이스가 FATAL입니다. FATAL은 카드의 상태라서 애플리케이션을 다시 시작하거나 노드를 다시 열어도 풀리지 않습니다. sysfs health가 faulted입니다.

해결:

  1. health가 faulted의 절차로 카드를 리셋합니다.
  2. 리셋하면 그 카드의 열린 핸들이 모두 무효가 되어, 그 카드를 쓰던 다른 애플리케이션도 노드를 다시 열어야 합니다. 여러 애플리케이션이 한 카드를 함께 쓴다면 리셋은 한 곳에서만 하도록 정하십시오.
  3. 리셋 요청이 실패를 돌려주거나 리셋한 뒤에도 같은 오류가 다시 나면 dmesg의 리셋 메시지로 실패한 단계를 확인합니다. 리셋 진행과 결과를 보십시오.

다른 카드만 쓰는 애플리케이션은 영향을 받지 않습니다. 다만 다른 카드에서 이 카드와 데이터를 주고받던 작업은 실패할 수 있습니다(여러 디바이스).

관련 문서: FATAL과 복구

ha-hotreset이 리셋을 거부함

원인: 사전 점검에 실패하면 아무것도 건드리지 않고 Pre-flight failed - nothing was touched.로 끝납니다. 바로 위의 줄이 이유입니다. 열린 핸들 때문이면 종료 코드 3, SBR을 걸 수 없는 구성이면 4입니다. 경로 마스킹은 리셋 직전에 실패할 수도 있으며, 이때는 Nothing was touched.로 끝납니다.

출력 원인 해결
<BDF>: /dev/ha<N> still open by PID(s) <pid> 그 카드의 노드를 연 프로세스가 있습니다 그 프로세스를 끝내고 다시 실행합니다. --force를 주면 열린 핸들이 있어도 진행하지만, 핸들을 열어 둔 애플리케이션은 카드를 잃고 노드를 다시 열어야 합니다. --force는 비상시에만 쓰고, 펌웨어를 업데이트하는 중인 카드에는 쓰지 마십시오
<BDF>: parent is a <포트 종류> whose Surprise Down mask cannot be read (no AER capability) - refusing SBR, <BDF>: parent has no PCIe capability - refusing SBR 부모 포트가 Surprise Down 오류를 마스킹했는지 확인할 수 없습니다. 이 구성에서 SBR로 링크를 끊으면 플랫폼이 호스트 전체를 리셋할 수 있습니다. --force로도 넘길 수 없습니다 호스트 전원을 재인가해 카드를 다시 시작합니다
<BDF>: cannot read <레지스터> on <포트> - the path cannot be masked, refusing SBR, <BDF>: refusing to SBR without a verified mask on the whole path 부모 포트가 Surprise Down 오류를 마스킹하지 않았는데, 경로의 포트를 마스킹할 수 없습니다. --force로도 넘길 수 없습니다 호스트 전원을 재인가해 카드를 다시 시작합니다
<BDF>: parent is a <포트 종류> with Surprise Down Error unmasked - refusing SBR --no-switch-link-drop을 주었고, 부모 포트가 Surprise Down 오류를 마스킹하지 않았습니다 --no-switch-link-drop 없이 실행해 경로를 마스킹하고 리셋하거나, 호스트 전원을 재인가합니다
another ha-hotreset is running on this host - waiting up to 600s 다른 ha-hotreset이 돌고 있어 기다립니다. 600초 안에 끝나지 않으면 the other ha-hotreset did not finish in 600s - nothing was touched를 출력하고 종료 코드 3으로 끝납니다 다른 실행이 끝난 뒤 다시 실행합니다
<BDF>: parent bridge <브리지> has more than one device below it: 같은 부모 브리지 아래 다른 디바이스가 있어, SBR이 그 디바이스까지 리셋합니다 카드 단위로 리셋할 수 없습니다. 호스트 전원을 재인가합니다

그 밖의 경우는 다음과 같습니다.

  • Run as root: sudo로 실행합니다.
  • <n> cards present - pass --bdf or --all:: 카드가 여러 장이면 --bdf로 한 장을 지정하거나 --all을 씁니다. 종료 코드는 2입니다.
  • --bdf '<값>' is ambiguous: 같은 버스 주소가 여러 PCI 도메인에 있습니다. 도메인까지 포함한 전체 주소(0000:01:00.0 형식)로 지정합니다. 종료 코드는 2입니다.
  • setpci not found (install pciutils): pciutils 패키지를 설치합니다. flock not found (install util-linux)이면 util-linux 패키지를 설치합니다.
  • 리셋 뒤 <BDF>: /dev/ha<N> did not reappear - check dmesg for probe failure가 나오면 /dev/haN이 없음을 따릅니다.
  • the mask is LEFT IN PLACE on purpose: 리셋한 카드가 다시 응답하지 않아 경로 마스킹을 일부러 남겼습니다. 그 경로의 실제 링크 오류도 보고되지 않으므로, 카드 문제를 처리한 뒤 바로 아래에 출력된 setpci 명령으로 되돌립니다.

sudo ha-hotreset --list를 실행하면 카드마다 부모 포트에서 SBR을 걸 수 있는 구성인지 미리 볼 수 있습니다. 걸 수 없는 카드에는 NOT resettable이 붙고, 경로를 마스킹해 리셋할 카드에는 the path is masked for the reset이 붙습니다. 같은 부모 브리지 아래 다른 디바이스가 있는지와 경로의 레지스터를 읽을 수 있는지는 이 목록에 나오지 않고, 리셋할 때 사전 점검에서 확인합니다.

관련 문서: ha-hotreset, FATAL과 복구


펌웨어 업데이트

ha-fw-update가 실패함

원인과 해결: 종료 코드와 마지막 ERROR: 줄로 가립니다.

종료 코드 뜻과 흔한 메시지 플래시 할 일
1 사용법이나 환경 문제입니다. -d 주소 형식 오류, 이미지 파일을 읽을 수 없음(cannot read image), root가 아님(root required), 리셋 스크립트가 없음(no reset script), 확인 프롬프트에서 거절(aborted) 그대로 메시지대로 고쳐 다시 실행합니다
2 카드를 쓸 수 없거나 업데이트를 지원하지 않습니다. 카드가 없음(no HyperAccel card at), 다른 프로세스가 사용 중(is open by pid(s)), 같은 카드에서 업데이트가 이미 실행 중(another ha-fw-update is running), fw_version이 unknown(reports firmware 'unknown'), 펌웨어가 준비되지 않음(device not ready), 드라이버가 앞선 업데이트의 응답을 기다리는 중(upload failed: Device or resource busy), 펌웨어가 쓰기 전에 중단함(firmware aborted before writing), 드라이버나 펌웨어가 업데이트를 지원하지 않음, 명령행 구문 오류(알 수 없는 옵션, -d와 -i를 함께 주거나 둘 다 주지 않음 등) 그대로 메시지를 따릅니다. 다른 프로세스가 쓰고 있으면 끝낸 뒤 다시 실행합니다. 앞선 업데이트의 응답을 기다리는 중이면 업데이트 뒤 리셋과 작업이 거절됨을 따릅니다. 펌웨어가 쓰기 전에 중단했다면 카드를 리셋한 뒤 다시 실행합니다. 드라이버가 업데이트를 지원하지 않으면 드라이버를 먼저 업데이트하고, 펌웨어가 지원하지 않으면 지원팀에 문의합니다
3 이미지를 거부했습니다. 도구의 이미지 검사 실패, 펌웨어의 이미지 거부(firmware rejected the image), 플래시의 파티션 배치가 이미지와 다름(fip partition layout differs from the one in flash -- retry with --scope full) 그대로 배치가 다르다는 메시지면 --scope full로 다시 실행합니다. 그 밖에는 이미지 파일을 확인합니다
4 쓰기가 실패했거나 상태를 알 수 없습니다(FLASH WRITE FAILED, firmware did not answer within the budget, device went FATAL or stopped answering) 일부만 기록되었을 수 있음 호스트 전원을 끄거나 재부팅하지 말고 같은 이미지로 다시 실행합니다. 응답을 받지 못한 경우는 업데이트 뒤 리셋과 작업이 거절됨도 보십시오
5 플래시는 갱신했지만 카드를 리셋하지 못했습니다(flash updated but the reset failed) 새 이미지 함께 출력된 ha-hotreset의 메시지로 원인을 고친 뒤 sudo ha-hotreset --bdf <BDF>를 실행하거나 호스트 전원을 재인가합니다. ha-hotreset이 리셋을 거부함을 보십시오
6 리셋 뒤 카드가 --boot-timeout(기본 60초) 안에 돌아오지 않았거나, 확인 단계에서 중단했습니다 새 이미지 dmesg와 fw_version을 확인합니다. 카드가 부팅하지 않으면 지원팀에 문의합니다
  • --json을 주면 결과가 exit_code, error와 함께 JSON으로 나옵니다.
  • 종료 코드 4이면 카드를 리셋하지 말고 업데이트를 다시 실행합니다. 카드를 다시 시작하지 않는 한 일부만 기록된 플래시로 부팅하지 않습니다. 펌웨어의 응답을 받지 못해 끝났다면 펌웨어가 응답한 뒤에 다시 실행합니다. 업데이트 뒤 리셋과 작업이 거절됨을 보십시오.

도구가 디버그 도구를 언급하는 경우

도구는 복구에 디버그 도구(예: Trace32)가 필요할 수 있다고 안내하기도 합니다. 이는 JTAG 디버거이며, 이 안내는 호스트 소프트웨어로는 복구할 수 없는 상태라는 뜻입니다. 이런 안내를 받았다면 지원팀에 문의하십시오.

관련 문서: 펌웨어 업데이트, ha-fw-update

업데이트 뒤 리셋과 작업이 거절됨

원인: ha-fw-update가 종료 코드 4로 끝난 뒤 dmesg에 다음 줄이 남습니다.

1
ha <BDF>: fw_update: no answer from firmware (<err>); resets stay refused until it answers or the update is retried

드라이버는 업데이트 명령을 보냈지만 펌웨어의 응답을 확인하지 못했습니다. 펌웨어가 아직 플래시를 쓰고 있을 수 있어서, 일부만 기록된 플래시로 부팅하지 않도록 응답을 확인할 때까지 그 카드의 리셋과 애플리케이션 작업을 거절합니다. 리셋을 요청하면 reset refused: last fw_update unanswered …가, 자동 리셋은 auto-TDR: skipped, …가 남습니다. ha-fw-update가 이미지를 카드 메모리에 올리는 단계도 거절되므로, 이 상태에서 다시 실행하면 upload failed: Device or resource busy를 내고 종료 코드 2로 끝납니다. 이 실행은 플래시를 바꾸지 않습니다.

해결:

  1. 호스트 전원을 끄거나 재부팅하지 말고, 카드를 리셋하지 마십시오. ha-hotreset과 애플리케이션의 리셋도 포함됩니다.
  2. 펌웨어가 늦게라도 응답하면 거절이 풀리고 fw_update: late completion from firmware; resets re-enabled가 남습니다. 이 줄은 쓰기의 결과를 담지 않으므로, 이 줄을 확인한 뒤 같은 이미지로 ha-fw-update를 다시 실행해 리셋과 확인까지 마칩니다.
  3. 펌웨어가 끝내 응답하지 않으면 지원팀에 문의하십시오. 모듈 재적재, ha-hotreset, 전원 재인가는 쓰기가 끝나지 않은 플래시로 카드가 부팅할 위험이 있으므로 지원팀과 상의한 뒤에만 쓰십시오.

관련 문서: 펌웨어 업데이트, 커널 로그 메시지

업데이트했는데 버전이 그대로임

원인:

  • --no-reset으로 실행했습니다. 플래시만 바뀌고, 카드를 핫 리셋하기 전까지는 이전 펌웨어가 돕니다.
  • 애플리케이션이 SDK로 카드를 리셋했습니다. 이 리셋은 대개 실행 중인 펌웨어를 다시 초기화할 뿐이라 플래시의 새 이미지를 적재하지 않습니다.
  • same version 경고와 함께 성공했습니다. 버전 번호가 같은 이미지를 쓴 경우입니다.

해결: 그 카드의 핸들을 모두 닫고 카드를 핫 리셋한 뒤 버전을 확인합니다.

1
2
sudo ha-hotreset --bdf <BDF>
for d in /sys/class/ha/ha*; do echo "$(basename "$d") $(basename "$(readlink -f "$d/device")") $(cat "$d/fw_version")"; done

카드는 보통 같은 번호로 다시 나타나지만, 확실히 하려면 PCI 주소로 찾으십시오.

관련 문서: 펌웨어 업데이트, ha-hotreset


지원 요청

아래를 첨부해 HyperAccel 지원팀에 문의하십시오.

  1. 문제 상황의 진단 정보 모으기로 만든 아카이브, 또는 먼저 모을 정보로 만든 파일
  2. 리셋, 핫 리셋, 모듈 재적재 전에 저장한 dmesg
  3. 드라이버 버전(/sys/module/ha/version), 펌웨어 버전(fw_version)
  4. 증상이 시작된 시각과 그때 돌던 작업
  5. 재현 절차와, 카드를 리셋하거나 핫 리셋한 뒤에도 재현되는지 여부
  6. 지원팀이 자세한 로그를 요청하면 자세한 로그 켜기를 따라 켠 상태로 재현한 dmesg

함께 보기