콘텐츠로 이동

커널 로그 메시지

ha.ko가 커널 로그(dmesg)에 남기는 메시지를 상황별로 모았습니다. 메시지마다 뜻과 운영자가 할 일을 적었고, 자세한 절차는 각 기능 페이지로 연결합니다. 증상에서 출발한다면 문제 해결을 먼저 보십시오.


메시지 형식

이 문서에서 설명하는 모든 드라이버 메시지는 두 가지 접두어로 시작합니다.

접두어 예 쓰이는 곳
ha <BDF>: ha 0000:01:00.0: Probing device 카드 한 장에 관한 메시지입니다. <BDF>는 카드의 PCI 주소입니다
ha: ha: Initializing module 모듈 전체에 관한 메시지와, <BDF> 없이 남는 일부 카드 메시지입니다
  • <BDF>와 /dev/haN의 대응은 Probe successful: /dev/ha<N> created 줄, hyperaccel-smi의 Bus-Id 열, /sys/class/ha/haN/device 링크로 확인합니다.
  • 커널이 이 카드에 대해 남기는 메시지(PCIe 오류 보고 등)도 같은 ha <BDF>: 접두어로 나올 수 있습니다. 카드가 연결된 상위 PCIe 포트에 관한 메시지는 그 포트의 접두어(예: pcieport <BDF>:)로 나옵니다.
  • 문서에서 설명하는 로그 중 <...>는 상황마다 바뀌는 값입니다. 메시지가 길면 앞부분만 싣고 끝에 …를 붙였습니다. 검색할 때는 앞부분으로 찾으십시오.
  • 괄호 안의 음수는 리눅스 커널 오류 번호입니다. 자주 보이는 값은 -110(시간 초과), -5(입출력 오류), -11(아직 준비되지 않음, 다시 시도), -19(장치 없음), -95(지원하지 않음, 예를 들어 SBR을 걸 수 없는 구성), -121(원격 입출력 오류), -4(시그널로 중단)입니다.
  • 각 표의 수준 열은 dmesg --level에 쓰는 이름입니다. err는 오류, warn은 경고, info는 정보, crit는 심각한 오류입니다.
  • 같은 메시지가 짧은 시간에 반복되면 일부만 찍히고, 커널이 생략한 수를 callbacks suppressed 줄로 알립니다.

커널 경고 추적

WARNING:으로 시작하는 블록의 호출 추적(call trace)에 [ha]가 들어 있으면 드라이버의 내부 점검에 걸린 것입니다. 앞뒤 로그 전체를 지원 요청에 첨부하십시오.


로그 보기

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
# 드라이버 메시지만 사람이 읽는 시각과 함께
sudo dmesg -T | grep -E '(^|\] )ha[ :]'

# 재현하면서 실시간으로
sudo dmesg -wT | grep -E '(^|\] )ha[ :]'

# 경고와 오류만
sudo dmesg -T --level=err,warn | grep -E '(^|\] )ha[ :]'

# 이전 부팅의 커널 로그 (systemd 저널을 영구 저장하는 경우)
sudo journalctl -k -b -1 | grep -E ' ha[ :]'

상위 PCIe 포트의 메시지는 접두어가 달라 위 필터에 걸리지 않습니다. 지원 요청에는 필터 없이 dmesg 전체를 첨부하십시오.

리셋하기 전에 로그를 저장하십시오

핫 리셋과 모듈 재적재는 sysfs의 오류 카운터와 last_hang을 지우고, 리셋하며 남는 메시지가 커널 로그 버퍼에서 앞선 기록을 밀어낼 수 있습니다. 카드를 리셋하기 전에 dmesg 전체와 sysfs 값을 저장하십시오. 한 번에 저장하는 스크립트는 문제 상황의 진단 정보 모으기에 있습니다.


자세한 로그 켜기

드라이버는 명령마다 남기는 자세한 로그(debug 수준)를 기본으로 꺼 둡니다. 커널의 동적 디버그(dynamic debug)로 켤 수 있으며, 커널 설정 CONFIG_DYNAMIC_DEBUG=y가 필요합니다.

1
2
3
4
5
# 커널 설정 확인 (대부분의 배포판)
grep -E '^CONFIG_DYNAMIC_DEBUG=' /boot/config-$(uname -r)

# 모듈을 적재한 뒤, 켤 수 있는 항목이 있는지 확인 (0보다 크면 켤 수 있습니다)
sudo grep -c '\[ha\]' /sys/kernel/debug/dynamic_debug/control
1
2
3
4
5
6
7
8
# 적재된 모듈에서 켜기
echo 'module ha +p' | sudo tee /sys/kernel/debug/dynamic_debug/control

# 끄기
echo 'module ha -p' | sudo tee /sys/kernel/debug/dynamic_debug/control

# 모듈을 적재할 때부터 켜기 (모듈이 적재되지 않은 상태에서)
sudo modprobe ha dyndbg=+p
  • /sys/kernel/debug/dynamic_debug/control을 쓰려면 debugfs가 /sys/kernel/debug에 마운트되어 있어야 합니다. debugfs가 없으면 /proc/dynamic_debug/control이 있는지 확인하고, 있으면 위 명령의 경로를 그 파일로 바꿔 씁니다. 형식과 명령은 같습니다.
  • 켠 로그는 debug 수준이라 콘솔에는 나오지 않고 dmesg로 읽습니다.

재현하는 동안에만 켜십시오

명령마다 로그가 남아 커널 로그 버퍼가 빠르게 찹니다. 계속 켜 두면 필요한 hang 덤프가 밀려날 수 있습니다. 재현이 끝나면 끄십시오.


모듈 적재와 해제

메시지 수준 뜻 조치
ha: Initializing module info 모듈을 적재하기 시작했습니다. 이어서 카드마다 probe 메시지가 나옵니다 —
ha: more than 8 cards; the extra cards take any free number, so card numbers can change across reloads warn 설치된 LPU가 8장을 넘습니다. PCI 주소가 낮은 8장에만 번호를 매겨 두므로, 다시 적재하면 카드 번호와 노드가 만들어지는 카드가 바뀔 수 있습니다. 카드 번호를 보십시오 한 호스트의 LPU를 8장 이하로 두십시오
ha: Module initialized info 모듈 적재가 끝났습니다 —
ha: Failed to create class, ha: Failed to allocate chrdev region, ha: Failed to register PCI driver err 모듈을 적재하지 못했습니다 앞뒤의 커널 메시지와 함께 지원팀에 문의하십시오
ha: Exiting module, ha: Module exited info 모듈을 내리기 시작했고, 끝났습니다. 두 줄 사이에 카드마다 제거 메시지가 나옵니다 —

처음 적재할 때 커널이 ha: loading out-of-tree module taints kernel.을 남기는 것은 배포판 밖에서 빌드한 모듈에 대한 커널의 일반 메시지입니다. 서명 검사를 강제하지 않는 커널에 서명되지 않은 모듈을 적재하면 ha: module verification failed: signature and/or required key missing - tainting kernel도 함께 남습니다.


디바이스 노드 probe 관련

정상 probe

카드마다 다음 순서로 메시지가 나옵니다. 값은 구성에 따라 다르고, 카드가 여러 장이면 디바이스 간 경로 메시지가 사이에 더해집니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
ha <BDF>: Probing device
ha <BDF>: Mapped userbar BAR (hw_index=0) at virt=0x<주소>, phys=0x<주소>, bus=0x<주소>, len=<bytes>
ha <BDF>:   - memory mapped
...
ha <BDF>: wait_boot: expecting lo=0x<값> hi=0x<값>
ha <BDF>: TW: pool BAR2 inbound base 0x<주소> (bus 0x<주소>), published by firmware
ha <BDF>: TW manager initialized (Pool: TW 1-15)
ha <BDF>: Mmap manager initialized
ha <BDF>: user mappings are <방식>
ha <BDF>: Device command manager initialized
ha <BDF>: HDMA completion: <방식> (ha_hdma_completion=<값>)
ha <BDF>: Device initialized successfully
ha <BDF>: HDMA ha_hdma_wr0 MSI-X: addr=0x<값>_<값> data=0x<값>
...
ha <BDF>: firmware ready after <ms> ms
ha <BDF>: ABI protocol v<n> (driver v<n>, min v<n>)
ha <BDF>: AEXP: bootloader default programmed after probe
ha <BDF>: Probe successful: /dev/ha<N> created
ha <BDF>: Config: vendor=0x20fb, device=0x<값>, class=0x<값>
ha <BDF>: Config: sub_vendor=0x<값>, sub_device=0x<값>

HDMA completion 줄은 DMA 엔진의 전송 완료를 드라이버가 어떤 방식으로 알아채는지와, 그때의 ha_hdma_completion 설정값을 보여 줍니다.

  • <방식>이 MSI-X면 엔진별 인터럽트로 받습니다. 이때 HDMA … MSI-X 줄이 DMA 엔진마다 하나씩 남습니다. 이름의 ha_hdma_rd<n>은 읽기, ha_hdma_wr<n>은 쓰기 방향의 엔진입니다.
  • <방식>이 polling이면 엔진이 호스트 메모리에 남기는 완료 표시를 드라이버가 짧은 간격으로 확인합니다. HDMA … MSI-X 줄은 남지 않습니다.

기본값(auto)에서는 베어메탈로 확인될 때만 MSI-X를 쓰고, VM 게스트처럼 확인되지 않으면 polling을 씁니다. ha_hdma_completion에 irq나 poll을 주면 그 방식을 씁니다.

Probe successful이 나왔다면 노드가 만들어진 것입니다. 펌웨어가 준비되지 않은 카드도, 카드 쪽 BAR2 주소를 받았다면 probe는 끝까지 진행해 노드를 만듭니다. 이 경우 펌웨어 준비와 호환성의 경고가 함께 남습니다.

probe를 멈추는 오류

아래 메시지가 나오면 그 카드의 probe가 실패하고 노드가 남지 않습니다. 커널이 ha: probe of <BDF> failed with error <err>를 함께 남깁니다.

메시지 수준 뜻 조치
Failed to enable PCI device err 커널이 카드를 활성화하지 못했습니다 앞선 PCI 메시지(자원 할당 실패 등)를 확인하십시오
Failed to request <이름> BAR (hw_index=<n>) err 카드의 BAR 주소 영역을 확보하지 못했습니다. 다른 드라이버가 그 영역을 쓰고 있거나 BIOS가 주소를 배정하지 못한 경우입니다 sudo lspci -vv -d 20fb:의 Region 줄을 확인하십시오. 주소가 배정되지 않았다면 BIOS의 PCIe 주소 공간 설정(64비트 MMIO, Above 4G Decoding 등)을 확인하십시오
BAR<n> length is 0 err BAR에 주소가 배정되지 않았습니다 위와 같습니다
Failed to map <이름> BAR (hw_index=<n>) err BAR를 커널 주소 공간에 매핑하지 못했습니다 앞선 커널 메시지를 확인하십시오
firmware booted but did not publish the BAR2 inbound base within <ms> ms; not binding the card. Firmware before 1.0.1 never publishes it and has to be reflashed; with newer firmware, bind the card again through /sys/bus/pci/drivers/ha/bind err 펌웨어는 부팅했지만 카드 쪽 BAR2 주소를 알리지 않았습니다. 서버 구성과 관계없이 이 주소 없이는 카드를 바인드하지 않습니다. 커널의 probe of … failed 줄은 남지 않습니다 echo <BDF> | sudo tee /sys/bus/pci/drivers/ha/bind로 다시 바인드해 보십시오. 같은 줄이 다시 나오면 sudo ha-hotreset --bdf <BDF>로 펌웨어를 다시 부팅시킨 뒤 확인하십시오. 그래도 같으면 지원팀에 문의하십시오
firmware has not booted, so the BAR2 inbound base is unknown; not binding the card. Once the firmware boots, bind the card again through /sys/bus/pci/drivers/ha/bind err 기다리는 동안 펌웨어의 부팅 신호도 카드 쪽 BAR2 주소도 오지 않아 카드를 바인드하지 않았습니다. 바로 앞에 firmware boot sentinel not seen 경고가 있습니다. 커널의 probe of … failed 줄은 남지 않습니다 펌웨어가 나중에 부팅해도 드라이버가 저절로 다시 바인드하지 않습니다. 잠시 기다린 뒤 echo <BDF> | sudo tee /sys/bus/pci/drivers/ha/bind로 다시 바인드하십시오. ha-hotreset은 펌웨어를 처음부터 다시 부팅시키므로 바인드가 계속 거절될 때만 쓰십시오. 그래도 같으면 호스트 전원을 재인가하고, 같은 카드에서 되풀이되면 카드 교체를 검토하십시오
Failed to name device, Failed to publish char device err /dev/haN 문자 디바이스를 만들지 못했습니다 앞선 메시지와 함께 지원팀에 문의하십시오
Failed to initialize device(앞에 Failed to initialize memory manager, Failed to initialize TW manager, Failed to fix the SRAM translation window (<err>), Failed to initialize mmap manager, Failed to initialize devcmd manager, Failed to initialize HDMA engine 가운데 하나가 남습니다), Failed to initialize activity manager, Failed to initialize scheduler, Failed to initialize scheduler resources, Failed to create sysfs attribute err 드라이버 내부 초기화에 실패했습니다. 대부분 커널 메모리 부족입니다 메모리 상태를 확인하고 모듈을 다시 적재하십시오. 반복되면 지원팀에 문의하십시오
Failed to setup MSI-X err 카드의 인터럽트(MSI-X)를 설정하지 못했습니다 커널 명령행에서 MSI를 끄지 않았는지(pci=nomsi) 확인하십시오
ABI protocol mismatch: firmware v<n>, driver requires >= v<n>; refusing probe err 카드 펌웨어의 프로토콜이 이 드라이버가 요구하는 최소 버전보다 낮습니다 펌웨어를 이 드라이버와 맞는 버전으로 올려야 합니다. 카드가 드라이버에 등록되지 않아 ha-fw-update를 쓸 수 없으므로 지원팀에 문의하십시오. 지원 환경
ABI protocol handshake: CSR unmapped err 준비를 확인한 펌웨어의 정보 영역(CSR)에 접근하지 못했습니다 카드를 핫 리셋하거나 호스트 전원을 재인가한 뒤 다시 확인하십시오

카드가 8장을 넘으면 9번째 카드부터는 Probing device만 남고 그 뒤에 다른 메시지가 없으며 노드도 만들어지지 않습니다. 드라이버는 한 호스트에서 카드를 8장까지 다룹니다.

probe 중 경고

probe는 끝나지만 기능 일부가 제한되는 경우입니다.

메시지 수준 뜻 조치
AEXP: geometry is not the one the bootloader default assumes (…); leaving AEXP alone info 이 카드의 메모리 구성이 드라이버가 아는 기본 구성과 달라, 카드의 주소 확장기(AEXP) 설정을 건드리지 않습니다 예상하지 못한 카드에서 나오면 지원팀에 알리십시오

텔레메트리 폴러, 텔레메트리 노드, hwmon 등록에 관한 probe 경고는 텔레메트리에, AER 설정에 관한 경고는 호스트가 건 리셋과 PCIe 오류에 있습니다.


펌웨어 준비와 호환성 관련

드라이버는 probe 때와 리셋 뒤에 두 단계로 펌웨어를 기다립니다. 먼저 펌웨어의 부팅 신호를 기다리고(probe 때 3초, SBR이나 커널이 건 리셋 뒤 10초), 다음으로 펌웨어가 준비 완료를 알리기를 기다립니다(3초). 펌웨어를 다시 초기화하는 리셋은 펌웨어가 재부팅하지 않으므로 준비 완료만 기다립니다. 기한 안에 준비되지 않아도 카드 쪽 BAR2 주소를 받았다면 노드는 남지만, 펌웨어가 준비될 때까지 펌웨어 정보 영역에서 읽는 텔레메트리(fw_version, serial)는 unknown이고 애플리케이션의 요청은 거절됩니다. 펌웨어가 나중에 준비되면 드라이버가 자동으로 받아들입니다. 카드 쪽 BAR2 주소를 받지 못한 카드는 노드를 만들지 않습니다(probe를 멈추는 오류).

메시지 수준 뜻 조치
wait_boot: expecting lo=0x<값> hi=0x<값> info 부팅 신호를 기다리기 시작했습니다. 기다리는 값입니다. 기다리는 동안의 경과 줄(wait_boot: elapsed=…)은 디버그 수준이라 기본 커널 로그에 남지 않습니다 —
Firmware boot timeout after <ms> ms err 기한 안에 부팅 신호가 없었습니다 뒤따르는 메시지를 보십시오
firmware boot sentinel not seen within <ms> ms (<err>); CSR-derived telemetry will report "unknown" warn probe 때 부팅 신호가 없었습니다. 펌웨어가 부팅하지 않았거나 아직 부팅 중입니다 뒤에 firmware has not booted, so the BAR2 inbound base is unknown 줄이 따르면 카드가 바인드되지 않은 것이므로 그 줄의 조치를 따르십시오. 아니면 잠시 뒤 fw_version을 다시 읽으십시오. 계속 unknown이면 fw_version이 unknown을 따르십시오
firmware ready after <ms> ms info 펌웨어가 준비 완료를 알렸습니다 —
firmware has no boot-ready flag (needs ABI >= v<n>); falling back to a fixed <ms> ms settle info 준비 완료 표시가 없는 이전 펌웨어입니다. 정해진 시간을 기다린 뒤 준비된 것으로 봅니다 펌웨어 버전을 지원 환경에서 확인하십시오
firmware not ready <ms> ms after boot sentinel err 부팅 신호는 있었지만 기한 안에 준비 완료를 알리지 않았습니다 뒤따르는 메시지를 보십시오
firmware never reported ready (<err>); CSR-derived telemetry will report "unknown" and commands are refused … warn probe 때 준비 완료를 확인하지 못했습니다. 펌웨어가 아직 부팅 중이거나, 부팅 중 자체 검사에 실패해 준비 완료를 알리지 않은 경우입니다 위 firmware boot sentinel not seen 줄과 같습니다
firmware boot not confirmed; skipping ABI protocol check (CSR may be mid-publication) warn 펌웨어 준비를 확인하지 못해 프로토콜 확인을 건너뛰었습니다. 위 두 경고 가운데 하나와 함께 나옵니다 —
firmware v<x.y.z> predates the ABI protocol handshake (needs >= v<x.y.z>); skipping protocol check warn 프로토콜 확인을 지원하지 않는 이전 펌웨어입니다 펌웨어 버전을 지원 환경에서 확인하십시오
ABI protocol v<n> (driver v<n>, min v<n>) info 펌웨어의 프로토콜 버전이 드라이버와 맞습니다 —
post-reset ABI protocol check FAILED -- device stays bound but its wire ABI is incompatible; unbind it err 리셋 뒤 다시 부팅한 펌웨어가 이 드라이버와 맞지 않습니다. 카드는 등록된 채 남지만 정상 동작을 기대할 수 없습니다 카드를 쓰지 마십시오. 메시지대로 카드를 드라이버에서 분리(unbind)하고 지원팀에 문의하십시오

probe를 멈추는 ABI protocol mismatch는 probe를 멈추는 오류에 있습니다. 카드를 드라이버에서 분리하는 명령은 다음과 같습니다.

1
echo <BDF> | sudo tee /sys/bus/pci/drivers/ha/unbind

텔레메트리 관련

메시지 수준 뜻 조치
firmware version CSR reads 0x<값>; reporting "unknown" warn 펌웨어 버전을 읽었지만 값이 유효하지 않았습니다(0x00000000 또는 0xffffffff). fw_version이 unknown입니다 카드를 리셋한 뒤 다시 확인하십시오
telemetry stays "unknown": device is not ready (<err>) -- <사유> warn 펌웨어 정보 영역을 아직 읽을 수 없어 fw_version, serial이 unknown입니다. <사유>가 CSR window will not bind면 정보 영역에 접근할 창을 만들지 못한 것이고, not serviceable -- no boot sentinel, still booting, or the CSR reads back garbage면 부팅 신호가 없거나, 아직 부팅 중이거나, 읽은 값이 유효하지 않은 것입니다 펌웨어 준비와 호환성의 메시지를 확인하십시오
firmware booted after probe gave up; CSR-derived telemetry refreshed info probe나 리셋에서 준비를 확인하지 못한 펌웨어가 나중에 준비되어 fw_version, serial을 읽었습니다 —
device latched ready but its CSR window has since gone dead; telemetry stays "unknown" warn 준비를 확인했던 카드의 펌웨어 정보 영역을 더는 읽을 수 없습니다 health와 같은 시점의 오류 메시지를 확인하고, 필요하면 카드를 리셋하십시오
sys_mon: no response for <n> consecutive polls (<ms> ms) - suspending telemetry polling. … err 온도·전력·사용률 폴링이 연속으로 응답을 받지 못해(ha_sysmon_fail_limit회, 기본 15회) 폴링을 멈췄습니다. 응답하지 않는 카드를 계속 읽으면 일부 플랫폼이 호스트 전체를 리셋할 수 있기 때문입니다. 폴링으로 얻는 노드는 unknown이 됩니다 카드를 리셋하십시오. 리셋에 성공하면 폴링을 다시 시작합니다
sys_mon: resuming telemetry polling info 멈췄던 폴링을 다시 시작했습니다 —
sys_mon telemetry unavailable: <err> warn probe 때 텔레메트리 폴러를 시작하지 못했습니다. 온도·전력·사용률 노드가 unknown입니다. 연산에는 영향이 없습니다 메모리 상태를 확인하고 모듈을 다시 적재하거나 카드를 핫 리셋하십시오
telemetry sysfs unavailable (<err>) warn /sys/class/ha/haN/ 아래 텔레메트리 노드를 만들지 못했습니다. /dev/haN은 정상 동작합니다 커널 버전과 함께 지원팀에 알리십시오
hwmon register failed (<err>) warn 카드를 hwmon 디바이스로 등록하지 못했습니다. /sys/class/hwmon에 이 카드가 나오지 않습니다. sysfs 텔레메트리는 그대로입니다 —

디바이스가 FATAL이면 드라이버는 로그 없이 폴링을 멈추고, 5초 뒤부터 온도·전력·사용률 노드가 unknown이 됩니다. 이때 health는 faulted입니다. 노드별 unknown 조건은 sysfs와 텔레메트리를 보십시오.


워치독과 hang 관련

드라이버는 펌웨어 명령의 응답을 ha_devcmd_ceiling_ms(기본 12초)까지 기다립니다. 오래 걸리는 명령은 필요한 시간만큼 이 상한이 늘어납니다. 이와 별도로 워치독이 ha_wd_poll_ms(기본 500 ms)마다 대기를 살펴, 펌웨어 명령 대기가 ha_wd_hang_ms(기본 8초)를, DMA 전송 대기가 ha_wd_hdma_hang_ms(기본 4초)를 넘으면 먼저 알립니다. 동작 원리는 hang 감지와 워치독에 있습니다.

워치독

메시지 수준 뜻 조치
watchdog: <감시> wait stalled (devcmd=<ms> ms hdma=<ms> ms) - no completion within the threshold warn 대기가 워치독 문턱을 넘었습니다. <감시>는 새로 문턱을 넘은 쪽으로, devcmd(펌웨어 명령 응답), hdma(DMA 전송), 둘 다면 devcmd+hdma입니다. 괄호 안은 그 시점의 대기 시간입니다. 정상적으로 오래 걸리는 작업에서도 나올 수 있어 이 줄만으로 hang을 뜻하지는 않습니다. 정체 한 번에 한 번만 남습니다 뒤이어 응답 대기 상한 만료 메시지가 나오는지, inflight가 줄어드는지 확인하십시오
watchdog: preempting without ha_auto_reset - the device will stay FATAL until … warn ha_wd_preempt=1이라 워치독이 멈춘 대기를 끊었지만 ha_auto_reset이 꺼져 있습니다. 끊긴 대기 때문에 디바이스가 FATAL이 되었다면 리셋할 때까지 그대로 남습니다 카드를 리셋하십시오. 자동으로 복구하려면 ha_auto_reset=1과 함께 쓰십시오. FATAL과 복구

워치독이 발화할 수 없는 설정에 대한 경고는 설정 경고에 있습니다.

응답 대기 상한 만료와 hang 덤프

메시지 수준 뜻 조치
Devcmd no response after <ms> ms (device hang): <판정> err 펌웨어가 응답 대기 상한(<ms>) 안에 응답하지 않았습니다. devcmd_timeouts가 1 늘고, 바로 뒤에 hang 덤프 두 줄이 나옵니다. 애플리케이션 작업을 기다리다 만료되면 대개 디바이스가 FATAL로 바뀝니다(health가 faulted). 리셋 도중에 만료되면 드라이버가 다음 리셋 단계로 넘어갑니다 아래 hang 덤프 읽기를 보고 FATAL과 복구를 따르십시오
Devcmd waiting <ms> ms with no timeout requested … warn 애플리케이션이 상한 없이 기다리는 요청을 냈고, 그 응답을 <ms> ms 동안 기다리고 있습니다. 대기가 ha_devcmd_ceiling_ms를 넘으면 처음 남고 이후 10초마다 다시 남습니다. 기다리는 스레드의 이름과 ID가 함께 나옵니다 정상적으로 오래 걸리는 작업인지 애플리케이션 쪽에서 확인하십시오. 이 줄이 찍힐 때마다 진행 상황이 sysfs last_hang에 갱신됩니다. last_hang을 20초 이상 간격을 두고 두 번 읽어 batch_seq, exec_index가 그대로면 명령 하나가 오래 걸리고 있거나 멈춘 것입니다. 더 짧은 간격으로 읽으면 진행 중이어도 같은 값이 나올 수 있습니다. 멈췄다고 판단되면 진단 정보를 저장한 뒤 그 프로세스를 끝내고 카드를 리셋하십시오
hang (<사유>): …, hang dump (<사유>): … warn 응답이 없는 명령에 대한 진단 블록입니다 아래 hang 덤프 읽기

hang 덤프 읽기

응답이 없다고 판정한 시점에 두 줄이 나옵니다.

1
2
ha <BDF>: hang (<사유>): fw <명령> (op 0x<op>), batch slot <n> (last staged, not necessarily the stuck one)<세부>; opened by pid <pid> (<프로세스>) -- <판정 문장>
ha <BDF>: hang dump (<사유>): stream=0x<태그> corr=<n> opcode=0x<op> cmd_idx=<n> payload=[<워드>] staged=<n> flushed=<n> mbox_head=<n> db=<n> hdma_wr=<값>/<값> hdma_rd=<값>/<값>
  • 첫 줄은 사람이 읽는 요약이고, 둘째 줄은 원본 값입니다. 두 줄 모두 지원 요청에 그대로 붙이십시오.
  • <사유>는 ceiling timeout(응답 대기 상한 만료), watchdog(워치독 판정), fw_update timeout(펌웨어 업데이트 기한 만료) 가운데 하나입니다. watchdog 덤프는 상한 없는 대기에서, 또는 ha_wd_preempt=1일 때만 나옵니다.
  • fw <명령>은 마지막으로 펌웨어에 보낸 명령입니다. 문구 그대로, 멈춘 명령이 아닐 수 있습니다.
  • <세부>는 커널 실행 명령일 때 그 명령의 주소, 크기 같은 내용입니다.
  • opened by pid는 그 카드를 연 프로세스입니다. 핸들을 넘겨받아 쓰는 경우 실제로 작업을 낸 프로세스와 다를 수 있습니다. 이 부분은 소유자를 알 수 있는 명령에만 붙습니다.
  • stream=0x<태그>는 애플리케이션의 스트림을 부팅마다 다른 값으로 가린 태그입니다. 같은 부팅 안에서 같은 스트림인지 구별하는 데만 씁니다.
  • 둘째 줄 끝에 (hdma unreadable: link down?)이 붙으면 카드의 레지스터를 읽지 못한 것입니다. PCIe 링크가 끊겼거나 카드가 응답하지 않습니다.

판정

판정은 만료 시점에 펌웨어가 알린 진행 상황으로 멈춘 위치를 가늠한 결과입니다. 토큰은 Devcmd … 줄과 sysfs last_hang의 verdict=에, 문장은 hang 첫 줄에 나옵니다.

토큰 hang 첫 줄의 문장 뜻
not-picked-up firmware never picked up the batch 드라이버가 보낸 명령 묶음을 펌웨어가 가져가지 않았습니다
picked-up-no-dispatch firmware took the batch but dispatched no command 명령 묶음을 가져갔지만 어떤 명령도 시작하지 않았습니다
stuck-in-command firmware started a command and never finished it last_hang의 exec_index 위치의 명령을 시작한 뒤 끝내지 못했습니다
completed-irq-lost every command completed; only the interrupt was lost, so a reset is NOT needed 모든 명령이 끝났고 완료 인터럽트만 전달되지 않았습니다. 카드 자체가 멈춘 것은 아닙니다
rebooted the device rebooted underneath us 기다리는 동안 카드가 재부팅했습니다
unsupported this firmware does not publish enough progress to judge 펌웨어가 진행 정보를 충분히 알리지 않거나, 읽은 값을 믿을 수 없어 판정할 수 없습니다. last_hang의 진행 필드는 -입니다
none no progress data 기록된 진행 정보가 없습니다

watchdog 사유의 hang 첫 줄은 판정 대신 progress not sampled here, so no verdict로 끝납니다.

completed-irq-lost여도 FATAL은 풀리지 않습니다

판정은 진단용입니다. 응답 대기 상한이 지나면 드라이버는 판정과 관계없이 같은 방식으로 처리합니다. 디바이스가 FATAL이 되었다면(health가 faulted) 판정이 completed-irq-lost여도 리셋해야 다시 쓸 수 있습니다. 이 판정이 반복되면 덤프와 함께 지원팀에 알리십시오.

펌웨어 오류

1
2
3
ha <BDF>: Firmware error: resq[<n>] rc=0x<rc> cmd_idx=<n> opcode=0x<op>
ha <BDF>:   resq dump (sent=<n>):
ha <BDF>:   resq[<i>] = 0x<값>

펌웨어가 명령의 실패를 보고했습니다(수준 err). 첫 줄 뒤에 펌웨어 응답 영역의 원본 값 12줄이 이어집니다. devcmd_fw_errors가 1 늘고, sysfs last_hang의 rc, cmd_idx, opcode에 같은 값이 남습니다. 모든 카드가 함께 쓰는 속도 제한이 있어 많이 반복되면 일부만 찍히지만, 카운터는 빠짐없이 셉니다.

rc에 따라 결과가 다릅니다. 아래는 애플리케이션 작업에서 나왔을 때입니다.

rc 뜻 결과
0x2 알 수 없는 명령 그 명령만 실패
0x3 잘못된 인자 그 명령만 실패
0x4 펌웨어 쪽 메모리 부족 그 명령만 실패
0x5 버퍼 넘침 그 명령만 실패
0x8 그 명령에 한정된 코어 오류(명령 해석 오류, 0으로 나누기 등) 그 명령만 실패
0xa~0xd 펌웨어 업데이트의 결과. 펌웨어 업데이트를 보십시오 그 명령만 실패
0x1 디바이스가 준비되지 않음 디바이스가 FATAL로 바뀜
0x7 펌웨어가 그 명령만 시간 초과로 끝냈습니다. 디바이스는 명령에 응답할 수 있습니다 디바이스가 FATAL로 바뀝니다. 응답이 전혀 없는 경우와는 다르며, 소프트 리셋이 펌웨어에 전달될 수 있습니다. 응답 대기 상한
0x9 치명적인 코어 오류(다중 비트 ECC 오류, 주소 범위 초과 등) 디바이스가 FATAL로 바뀜
그 밖의 값 알 수 없는 결과 디바이스가 FATAL로 바뀜

"그 명령만 실패"는 카드를 계속 쓸 수 있다는 뜻이므로 애플리케이션 로그에서 원인을 찾으십시오. FATAL로 바뀌었다면 FATAL과 복구를 따르십시오.

데이터 전송(DMA)

호스트와 카드 사이, 그리고 카드 사이의 복사는 카드의 DMA 엔진이 처리합니다. 엔진은 방향마다 여러 개입니다. 메시지의 <방향>은 PCIe로 읽어 와 카드 메모리에 쓰는 엔진(호스트에서 카드로 복사, 파일 로드, 다른 카드에서 끌어오는 복사)이면 read, 카드 메모리를 읽어 PCIe로 쓰는 엔진(카드에서 호스트로 복사, 다른 카드로 미는 복사)이면 write이고, <ch>는 엔진의 채널 번호입니다.

메시지 수준 뜻 조치
ll: timeout (n=<n> channel=<ch> <방향>) err DMA 전송이 5초 안에 끝나지 않아 실패했습니다. hdma_timeouts가 1 늘어납니다. 드라이버가 엔진을 멈추면 그 전송이 속한 작업만 실패하고 디바이스는 FATAL이 되지 않습니다. 엔진을 멈추지 못하면 바로 이어서 HDMA engine at … 줄이 남고 디바이스가 FATAL이 됩니다. 엔진이 이미 멈춰 있었다면 이 줄 대신 아래의 ll: engine stopped … 줄이 남습니다 실패한 작업을 다시 실행하십시오. 같은 카드에서 되풀이되면 진단 정보를 저장하고 지원팀에 문의하십시오. 같은 시점의 PCIe 오류 메시지와 링크 속도·폭(current_link_speed, current_link_width)도 함께 확인하십시오
ll: engine stopped but its completion <방식> never arrived (status=<n> channel=<ch> <방향>) err 드라이버가 5초 안에 DMA 전송의 완료 알림을 받지 못했는데, 엔진은 이미 멈춰 있었습니다. 엔진이 보낸 완료 알림이 드라이버에 닿지 않았다는 뜻입니다. hdma_timeouts가 1 늘어나고, 그 전송이 속한 작업만 실패합니다. <방식>은 인터럽트로 받을 때 MSI-X, 폴링할 때 write이며, 이 write는 줄 끝의 <방향>과 상관없습니다. <방식>이 MSI-X이고 복사마다 이 줄이 남으면, 대개 드라이버가 VM 게스트를 베어메탈로 잘못 판단한 경우입니다(CPU의 hypervisor 플래그를 숨긴 x86 게스트, 중첩 가상화로 게스트 안에서 다시 하이퍼바이저를 돌리도록 설정된 arm64 게스트). VM에서 ha_hdma_completion=irq를 준 경우에도 이렇게 됩니다 <방식>이 MSI-X이고 복사마다 이 줄이 남으면, VM 게스트 안에서 ha_hdma_completion=poll로 드라이버를 다시 적재하십시오. 한 번만 나왔다면 ll: timeout처럼 다루십시오. <방식>이 write이거나, 설정을 바꾼 뒤에도 되풀이되면 진단 정보를 저장하고 지원팀에 문의하십시오
ll: n=<n> channel=<ch> <방향> ret=<n> status=<n> int_status=0x<값> error=<n> err DMA 엔진이 오류를 보고했습니다 위와 같습니다
ll: ABORTED error=<n> err DMA 전송이 중단되었습니다. 그 전송이 속한 작업만 실패합니다 위와 같습니다
ll: no response (channel=<ch> <방향>), ring write: no response (channel=<ch> <방향>) err 카드가 DMA 엔진의 상태 레지스터에 응답하지 않습니다(읽은 값이 모두 1). 링크가 끊겼거나 카드가 멈췄거나 제거된 경우입니다. 그 전송은 실패하고 디바이스가 FATAL이 됩니다 FATAL과 복구를 따르십시오. 같은 시점의 PCIe 오류 메시지도 함께 확인하십시오
HDMA engine at 0x<오프셋> <상태>; quarantining its pages until the engines stop (reset or remove) crit <상태>는 not responding(엔진이 응답하지 않음) 또는 still running after force stop(강제로 멈췄는데도 계속 동작 중)입니다. 엔진이 아직 호스트 메모리에 쓸 수 있으므로, 드라이버는 그 전송이 쓰던 호스트 페이지를 해제하지 않고 격리해 두고 모든 엔진이 멈출 때까지 새 DMA 전송을 막습니다. 디바이스가 FATAL이 됩니다 카드를 리셋하십시오. health가 faulted
HDMA engines stopped, accepting transfers again info 멈추지 못했던 엔진이 모두 멈춘 것을 확인해 DMA 전송을 다시 받습니다 —
HDMA: freed <n> quarantined batch(es) of the <방향> engine on channel <ch> info 격리해 두었던 호스트 페이지를 엔진이 멈춘 뒤 해제했습니다 —
HDMA: device not responding at reset, engines not stopped warn 리셋하는 동안 카드가 응답하지 않아 엔진이 멈췄는지 확인하지 못했습니다. 리셋이 끝난 뒤 다시 확인합니다 리셋이 끝난 뒤 device reset failed 줄이 남았는지 확인하십시오. 리셋 진행과 결과
HDMA: no free <방향> engine after 10 s warn 복사가 쓸 <방향> 엔진이 10초가 지나도록 비지 않았습니다. 기다리는 동안 10초마다 반복됩니다 같은 시점의 hang·DMA 메시지와 inflight를 확인하십시오
HDMA: <방향> engine <ch>: pipeline stage not finished after <n> s, still waiting warn 복사의 준비 단계(호스트 페이지 고정과 매핑)나 정리 단계(매핑 해제)가 <n>초가 지나도록 끝나지 않아 계속 기다립니다. 10초마다 반복됩니다. 주로 호스트 버퍼의 페이지를 확보하는 데 오래 걸릴 때 나옵니다 호스트의 메모리 상태를 확인하십시오
HDMA: bounce-buffered DMA, using <n>-page batches info 카드가 등록될 때 한 번 남습니다. 이 호스트에서는 카드의 DMA가 bounce buffer(swiotlb)를 거쳐 한 번에 매핑할 수 있는 크기가 제한되므로 복사를 작은 단위로 나눕니다. 복사 처리량이 낮을 수 있습니다 의도한 구성인지 IOMMU와 DMA 설정을 확인하십시오
HDMA: batches of <n>-<n> pages, <n> slots, <n> hdma_pre_wk, <n> channel(s) x 2 engines of 2 x <n> LL entries info 카드가 등록될 때 한 번 남는 DMA 처리 구성의 요약입니다 —
ha: stream 0x<값> waits for a prefetch copy warn 드라이버가 앞당겨 시작한 입력 복사(ha_abi_prefetch)가 끝나기를 10초 넘게 기다리고 있습니다. 기다리는 동안 10초마다 반복됩니다. 0x<값>은 애플리케이션의 스트림을 가리키는 값입니다 같은 시점의 hang·DMA 메시지와 health를 확인하십시오

리셋 관련

카드는 애플리케이션이 SDK의 리셋 기능으로, 또는 드라이버의 자동 리셋(ha_auto_reset=1)으로 리셋됩니다. 리셋은 먼저 펌웨어를 다시 초기화하고, 이 단계가 실패하면 부모 PCIe 포트에서 SBR(Secondary Bus Reset)을 겁니다. SBR은 부모가 root port이거나 부모 포트가 Surprise Down 오류를 마스킹한 구성에서만 겁니다. 성공하면 보통 firmware ready after <ms> ms와 AEXP: bootloader default programmed after device reset이 남습니다. ha-hotreset은 카드를 제거한 뒤 다시 인식시키므로 제거와 probe 메시지가 남습니다. 리셋의 동작은 FATAL과 복구에 있습니다.

자동 리셋

메시지 수준 뜻 조치
auto-TDR: the device went FATAL; resetting it warn 디바이스가 FATAL이 되어 드라이버가 자동 리셋을 시작합니다 뒤따르는 결과 메시지를 확인하십시오
auto-TDR: reset failed (<err>); auto-TDR will not run again on this card until a reset succeeds or the card reports ready again err 자동 리셋이 실패했습니다. 이 카드의 자동 리셋은 리셋이 한 번 성공하거나 카드가 다시 준비될 때까지 멈추고, health는 faulted입니다 바로 앞의 device reset failed 줄이 안내하는 대로 하십시오
auto-TDR: this instance was removed during the reset (<err>); re-probe decides whether the card comes back warn 리셋 도중 카드가 드라이버에서 제거되었습니다. 예를 들어 SBR로 링크가 끊겨 운영체제가 카드를 제거한 경우입니다. 카드가 다시 인식되면 새로 probe됩니다 같은 <BDF>의 Probe successful 메시지로 복구를 확인하십시오

펌웨어 업데이트 때문에 자동 리셋을 건너뛰는 메시지는 펌웨어 업데이트에 있습니다.

리셋 진행과 결과

메시지 수준 뜻 조치
issuing SBR via parent <브리지> warn 펌웨어 재초기화로 복구하지 못해 부모 포트에서 SBR을 겁니다. 카드가 재부팅합니다 —
parent <브리지> leaves Surprise Down unmasked; refusing SBR (would reboot the host) warn 부모 포트가 Surprise Down 오류를 마스킹하지 않아 SBR을 거부했습니다. 이 구성에서 마스킹 없이 링크를 끊으면 플랫폼이 호스트 전체를 리셋할 수 있습니다 호스트에서 sudo ha-hotreset --bdf <BDF>를 실행하십시오. ha-hotreset은 경로를 마스킹하고 리셋합니다. ha-hotreset
parent <브리지> has no AER capability, so the Surprise Down mask cannot be checked; refusing SBR warn 부모 포트에 AER 기능이 없어 마스킹 여부를 확인할 수 없으므로 SBR을 거부했습니다 ha-hotreset도 이 카드를 리셋할 수 없습니다. 호스트 전원을 재인가해 복구하십시오. sudo ha-hotreset --list로 카드마다 SBR을 걸 수 있는 구성인지 미리 볼 수 있습니다
parent <브리지>: cannot tell whether Surprise Down is masked (no PCIe capability, or the mask is unreadable); refusing SBR warn 마스킹 여부를 읽지 못해 SBR을 거부했습니다 위와 같습니다
No parent bridge, SBR not supported err 카드의 부모 브리지가 없어 SBR을 걸 수 없습니다 위와 같습니다
device did not answer after SBR (parent link <상태>) err SBR 뒤 10초 안에 카드가 응답하지 않았습니다. <상태>는 부모 포트의 링크 상태(up, down, unknown)입니다 호스트에서 sudo ha-hotreset --bdf <BDF>를 실행하고, 그래도 복구되지 않으면 호스트 전원을 재인가하십시오
removed during SBR (<원인>); this instance is gone - re-probe decides whether the card comes back warn SBR 도중 운영체제가 카드를 제거했습니다. <원인>은 link lost(링크 끊김) 또는 driver unbind입니다. 카드가 다시 인식되면 새로 probe됩니다 Probe successful 메시지로 복구를 확인하십시오. 애플리케이션은 노드를 다시 열어야 합니다
removed after SBR while the reset was still running (<err>); this instance is gone - … warn SBR 뒤 리셋을 마무리하는 동안 카드가 제거되었습니다 위와 같습니다
device came back but firmware did not report ready (<err>); reset reported as failed warn 카드는 돌아왔지만 펌웨어가 ha_ready_timeout_ms(기본 3초) 안에 준비 완료를 알리지 않아 리셋을 실패로 보고했습니다. 펌웨어가 준비될 때까지 애플리케이션의 요청은 거절됩니다 잠시 뒤 fw_version을 확인하십시오. 계속 unknown이면 핫 리셋이나 호스트 전원 재인가가 필요합니다
AEXP: bootloader default programmed after <시점> info probe나 리셋 뒤 카드의 주소 확장기(AEXP)를 부트로더 기본값으로 다시 설정했습니다. <시점>은 probe, device reset, host reset 가운데 하나입니다 —
AEXP: bootloader default not programmed after <시점> (<err>); state unknown warn 위 설정을 쓰지 못했습니다. 다음 리셋 때 다시 씁니다 같은 시점의 다른 오류 메시지를 확인하십시오
ha: quiesce drain stalled <s>s in <프로세스>(pid <pid>): inflight=<n> fileio=<n> leases=<n> warn 리셋이나 제거가 진행 중인 작업이 끝나기를 10초 넘게 기다리고 있습니다. 10초마다 반복됩니다. <프로세스>는 기다리는 쪽입니다. 끝나지 않은 작업이 inflight(카드에 낸 작업), fileio(읽기·쓰기 호출), leases(그 밖의 펌웨어 명령) 가운데 무엇인지 보여 줍니다 계속되면 진단 정보를 저장하고 지원팀에 문의하십시오
device reset failed (<err>, firmware re-init <err>): <안내> err 리셋이 카드를 복구하지 못했습니다. 리셋 절차가 마지막으로 남기는 줄이며(자동 리셋은 그 뒤에 auto-TDR: reset failed (<err>); ...를 하나 더 남깁니다), health는 faulted로 남습니다. <안내>는 상황에 따라 다시 리셋하기, 호스트에서 ha-hotreset --bdf <BDF> 실행하기, 호스트 전원 재인가 가운데 할 일과, 그래도 안 되면 다음에 할 일을 알려 줍니다 <안내>를 따르십시오. 실패한 단계는 그 앞의 줄로 확인합니다

리셋 뒤 펌웨어 프로토콜이 맞지 않으면 post-reset ABI protocol check FAILED가 남습니다. 펌웨어 준비와 호환성을 보십시오.


호스트가 건 리셋과 PCIe 오류 관련

카드는 드라이버 밖에서도 리셋됩니다. 커널이 카드를 리셋할 때(sysfs reset, 같은 브리지 아래 다른 디바이스를 위한 버스 리셋 등)와 PCIe 오류(AER, DPC)를 복구할 때입니다. 드라이버는 통보를 받아 작업을 멈추고 정리하며, 그 카드의 열린 핸들은 모두 무효가 됩니다. 애플리케이션은 노드를 다시 열어야 합니다.

메시지 수준 뜻 조치
reset_prepare: quiescing for a host-initiated reset info 커널이 카드를 리셋하려 해서 드라이버가 작업을 멈추고 정리합니다 예상하지 못한 리셋이면 무엇이 리셋을 걸었는지 확인하십시오. 이 카드를 sysfs reset으로 리셋하지 마십시오
reset_done: reopening the gate (boot <결과>) info 리셋이 끝나 작업 접수를 다시 엽니다. <결과>는 ok 또는 unconfirmed입니다 unconfirmed면 아래 줄을 보십시오
reset_done: firmware boot not confirmed (<err>) warn 리셋 뒤 10초 안에 펌웨어 부팅 신호가 없었습니다 카드를 핫 리셋하거나 호스트 전원을 재인가하십시오
firmware did not report ready after host reset (<err>); CSR caches dropped, AEXP state unknown warn 리셋 뒤 펌웨어가 ha_ready_timeout_ms(기본 3초) 안에 준비 완료를 알리지 않았습니다. fw_version, serial이 unknown이고 펌웨어가 준비될 때까지 애플리케이션의 요청은 거절됩니다 잠시 뒤 fw_version을 확인하십시오. 계속 unknown이면 핫 리셋이나 호스트 전원 재인가가 필요합니다
PCIe error detected (state=<n>): <종류> err PCIe 오류 복구가 시작되었습니다. 드라이버는 작업을 멈추고 커널의 링크 리셋을 기다립니다. <종류>는 recoverable 또는 permanent failure이고, state는 1(정상), 2(입출력 차단), 3(영구 실패)입니다 바로 앞의 커널 AER 메시지로 오류 종류를 확인하십시오
slot_reset: re-enable failed err 링크 리셋 뒤 카드를 다시 활성화하지 못해 오류 복구가 실패로 끝났습니다 호스트 전원을 재인가하십시오
slot_reset: firmware did not come back (<err>) err 링크 리셋 뒤 10초 안에 펌웨어 부팅 신호가 없어 오류 복구가 실패로 끝났습니다 카드를 핫 리셋하거나 호스트 전원을 재인가하십시오
PCIe error_resume: recovery complete info PCIe 오류 복구가 끝났습니다 애플리케이션이 노드를 다시 열었는지 확인하십시오
PCIe recovery never reached slot_reset within <ms> ms; reopening the submit gate. The device was not re-initialised … err 오류 복구가 30초 안에 링크 리셋 단계에 이르지 않아 드라이버가 작업 접수를 다시 열었습니다. 카드는 다시 초기화되지 않았습니다 카드가 정상 동작하지 않으면 카드를 리셋하십시오
AER reporting enabled: the kernel's fatal remedy is a parent-bridge SBR warn ha_aer_enable=1로 적재했습니다. 치명적인 PCIe 오류에서 커널은 부모 브리지 SBR로 복구하는데, 이 리셋은 드라이버의 Surprise Down 확인을 거치지 않습니다 의도한 설정인지 확인하십시오. 파라미터 레퍼런스
AER reporting unavailable; error handlers stay idle info ha_aer_enable=1이지만 커널이 이 카드의 AER 보고를 켜지 못했습니다(플랫폼 펌웨어가 AER을 관리하는 구성 등). 일부 커널 버전에서만 나옵니다 —

ha_aer_enable이 꺼져 있어도 DPC나 다른 디바이스의 치명적 오류 등으로 오류 복구 메시지가 나올 수 있습니다. 커널 6.4 이상과 RHEL 9.4 이상에서는 카드 자신의 오류로도 나올 수 있습니다.


펌웨어 업데이트 관련

ha-fw-update가 업데이트하는 동안과 그 뒤에 남는 메시지입니다. 절차와 안전 규칙은 펌웨어 업데이트에 있습니다.

메시지 수준 뜻 조치
fw_update: pa=0x<주소> size=<bytes> scope=<n> flags=0x<값> crc32=0x<값> budget=<ms> ms info 펌웨어 업데이트 명령을 보냅니다. budget은 이미지 크기로 계산해 응답 대기 상한에 더하는 시간입니다 —
ha: fw_update: discarded <n> stale staged command(s) left by a failed batch warn 앞서 실패한 작업이 남긴 명령을 업데이트 전에 버렸습니다 —
fw_update: nothing sent (CSR window unavailable) warn 업데이트 명령을 보내지 못했습니다. 플래시는 그대로입니다 업데이트를 다시 실행하십시오
fw_update: nothing sent (staging cleared by an abort) warn 리셋 등으로 대기 중이던 명령이 비워져 보내지 못했습니다. 플래시는 그대로입니다 업데이트를 다시 실행하십시오
fw_update: device vanished during the write (all-ones) err 쓰는 도중 카드가 응답하지 않게 되었습니다. 플래시 상태를 알 수 없습니다 호스트 전원을 끄거나 재부팅하지 말고 펌웨어 업데이트를 따르십시오
fw_update: no response after <ms> ms: <판정> err 기한 안에 펌웨어가 업데이트 결과를 알리지 않았습니다. 뒤에 fw_update timeout hang 덤프가 나옵니다. 플래시 상태를 알 수 없습니다 위와 같습니다
fw_update: CSR window unavailable after completion err 펌웨어가 완료를 알렸지만 드라이버가 결과를 읽지 못해, 플래시 상태를 알 수 없는 것으로 처리했습니다. 이어서 fw_update: no answer from firmware 줄이 남습니다 호스트를 재부팅하거나 카드를 리셋하지 말고 지원팀에 문의하십시오
fw_update: no answer from firmware (<err>); resets stay refused until it answers or the update is retried err 명령을 보낸 뒤 펌웨어의 응답을 확인하지 못했습니다. 펌웨어가 아직 플래시를 쓰고 있을 수 있어, 응답을 확인할 때까지 이 카드의 리셋과 애플리케이션 작업을 거절합니다. ha-fw-update가 이미지를 카드 메모리에 올리는 단계도 거절되므로, 이 상태에서 다시 실행하면 upload failed: Device or resource busy(종료 코드 2)로 끝나고 플래시는 바뀌지 않습니다 호스트를 재부팅하거나 카드를 리셋하지 마십시오. 펌웨어가 응답해 fw_update: late completion from firmware; resets re-enabled가 남으면 같은 이미지로 ha-fw-update를 다시 실행하십시오. 펌웨어 업데이트를 보십시오
fw_update: firmware answered; resets re-enabled warn 응답을 확인하지 못한 상태에서 다시 보낸 업데이트 명령에 펌웨어가 응답해 거절이 풀렸습니다. ha-fw-update는 이 상태에서 업로드 단계가 거절되므로, 보통은 아래 late completion 줄로 풀립니다 —
fw_update: late completion from firmware; resets re-enabled warn 늦게 도착한 완료 응답으로 거절이 풀렸습니다. 이 줄은 쓰기의 결과를 담지 않습니다 같은 이미지로 업데이트를 다시 실행해 리셋과 확인까지 마치십시오
reset refused: last fw_update unanswered (flash may still be written); retry ha-fw-update once the firmware answers, else contact HyperAccel support warn 응답을 확인하지 못한 업데이트가 있어 리셋 요청을 거절했습니다 펌웨어가 응답해 fw_update: late completion from firmware; resets re-enabled가 남은 뒤 ha-fw-update를 다시 실행하십시오. 펌웨어가 끝내 응답하지 않으면 지원팀에 문의하십시오. 모듈 재적재, ha-hotreset, 전원 재인가는 일부만 기록된 플래시로 부팅할 위험이 있으므로 지원팀과 상의한 뒤에만 쓰십시오
auto-TDR: skipped, a fw_update is in flight or unanswered (flash may be mid-write) warn 업데이트가 진행 중이거나 응답을 확인하지 못한 업데이트가 있어 자동 리셋을 건너뛰었습니다. 디바이스는 FATAL로 남습니다 업데이트가 진행 중이면 끝날 때까지 기다리십시오. ha-fw-update가 종료 코드 4로 끝났거나 종료 코드를 알리지 못하고 끝났거나 fw_update: no answer from firmware가 남았다면, … resets re-enabled가 남은 뒤에도 카드를 리셋하지 마십시오. 그 줄은 쓰기의 결과를 담지 않고, 디바이스가 FATAL인 동안에는 업데이트를 다시 실행해도 device allocation failed: State not recoverable로 거부되므로 지원팀에 문의하십시오. 그 밖의 경우에는 업데이트가 끝난 뒤에도 health가 faulted이면 카드를 리셋하십시오
auto-TDR: skipped, the fw_update it queued behind ended unanswered warn 같은 이유로 자동 리셋을 건너뛰었습니다 위와 같습니다
reset_prepare: last fw_update unanswered - resetting now may leave the boot flash half-written err 응답을 확인하지 못한 업데이트가 있는데 커널이 카드를 리셋합니다. 드라이버는 커널이 거는 리셋을 막을 수 없습니다 리셋 뒤 카드가 부팅하지 않으면 지원팀에 문의하십시오

펌웨어가 업데이트 명령에 돌려준 결과 코드(rc=0xa~0xd)는 Firmware error 줄로도 남습니다. 결과 코드에 따른 대응은 ha-fw-update의 종료 코드를 보고 정합니다. ha-fw-update를 보십시오.


설정 경고 관련

메시지 수준 뜻 조치
watchdog: <감시> arm cannot fire with this configuration (hang=<ms> ms hdma_hang=<ms> ms poll=<ms> ms devcmd_ceiling=<ms> ms hdma_timeout=<ms> ms); lower the threshold or the poll interval warn 워치독 문턱과 폴링 주기의 합이 그 대기의 상한(devcmd는 ha_devcmd_ceiling_ms, hdma는 5000 ms) 이상이라, 그 감시는 대기 정체를 알릴 수 없습니다. 드라이버는 값을 바꾸지 않고 알리기만 합니다. 같은 값으로는 한 번만 찍고, 값이 바뀌면 다시 찍습니다 ha_wd_hang_ms, ha_wd_hdma_hang_ms, ha_wd_poll_ms를 낮추거나 ha_devcmd_ceiling_ms를 올리십시오. 파라미터 사이의 관계
ha: invalid ha_hdma_cpu_latency_us=<값> (-1 or >= 0), using 0 warn ha_hdma_cpu_latency_us에 -1보다 작은 값을 주어 0으로 바꿔 적재했습니다 옵션 파일의 값을 고치십시오. 파라미터 레퍼런스
watchdog: preempting without ha_auto_reset - … warn 워치독을 보십시오 —
AER reporting enabled: … warn 호스트가 건 리셋과 PCIe 오류를 보십시오 —
ha: `<값>' invalid for parameter `<이름>' err 옵션 파일, 커널 명령행, modprobe 명령행에 타입에 맞지 않거나 받지 않는 값을 적어 모듈 적재가 실패했습니다 값을 고친 뒤 모듈을 다시 적재하십시오. 커널 명령행에 적은 값이면 명령행을 고치고 재부팅하십시오. 바꾸는 방법
ha: unknown parameter '<이름>' ignored warn 이름이 틀린 파라미터를 무시하고 모듈을 적재했습니다 이름을 고치십시오. 파라미터 레퍼런스

범위가 정해진 다른 파라미터(ha_devcmd_ceiling_ms, ha_wd_poll_ms, ha_tw_pin_wait_ms, ha_sysmon_poll_ms)는 범위를 벗어난 값을 범위 끝 값으로 맞춰 쓰며 따로 메시지를 남기지 않습니다. 범위는 파라미터 레퍼런스에 있습니다.


디바이스 간 경로 관련

카드가 여러 장일 때 남는 메시지입니다. 경로의 의미는 여러 디바이스에, 같은 내용을 보여 주는 sysfs 노드(peer_map, peer_route, peer_sram)는 sysfs에 있습니다.

메시지 수준 뜻 조치
P2P peer[<n>]: <경로> info 이 카드에서 /dev/ha<n>으로 가는 PCIe 경로 판정입니다. direct는 공통 상위 브리지 아래에서 호스트를 거치지 않는 경로, host-mem은 호스트(root complex)를 거치는 경로, unknown은 경로에 있는 브리지의 설정을 읽지 못한 경우입니다. peer_route와 같은 값입니다 —
dma_map_resource failed for peer[<n>] warn /dev/ha<n>의 BAR를 이 카드의 DMA 주소 공간에 매핑하지 못했습니다. 이 카드에서 /dev/ha<n>과의 디바이스 간 복사를 할 수 없습니다(peer_map이 unmapped) IOMMU 구성을 확인하십시오
ACS state unreadable; P2P route stays unknown warn 이 브리지의 ACS 설정을 읽지 못해 경로를 판정하지 못했습니다. 이 메시지의 접두어는 카드가 아니라 브리지입니다 —
outbound: <BDF> <경로> base 0x<주소> info 이 카드에서 실행되는 디바이스 커널이 다른 LPU(<BDF>)의 SRAM에 접근하는 경로와 주소입니다. <경로>는 bus 또는 iova입니다. peer_sram과 같은 내용입니다 —
outbound: <BDF> remap:<k> base 0x<주소> info 위와 같으며, 드라이버가 outbound 창 <k>를 다시 설정해 만든 경로입니다 —
outbound: region <k> -> 0x<주소> (<BDF>), outbound: adopted region <k> (<BDF>) info 위 경로를 위해 outbound 창 <k>를 설정했거나, 이전에 적재된 드라이버가 남긴 창을 이어서 씁니다 —
outbound: <BDF> none:<사유> info 드라이버가 이 카드에서 실행되는 디바이스 커널에 그 LPU의 SRAM 주소를 알려 주지 않습니다. <사유>는 peer_sram의 none: 사유와 같습니다 sysfs의 peer_sram을 보십시오
outbound ATU[<k>]: enable timeout, outbound ATU[<k>]: readback … does not match warn outbound 창을 설정하지 못했습니다. 카드가 리셋 중이거나 응답하지 않을 때 나올 수 있습니다. 그 LPU로 가는 경로는 peer_sram에서 unknown으로 남습니다 peer_sram과 health를 확인하십시오. 경로가 계속 unknown이면 카드를 리셋하십시오
outbound: no memory, kernels on this card get no windows warn 메모리가 부족해 이 카드의 outbound 창을 만들지 못했습니다 메모리 상태를 확인하고 카드를 핫 리셋하거나 모듈을 다시 적재하십시오
ha: outbound: more than 32 LPUs, ignoring <BDF> warn 설치된 LPU가 32장을 넘어 그 카드를 경로 계산에서 뺐습니다 —
TW pin: <n>/<max> slots pinned for <ms>ms, giving up (da=0x<주소>) warn 디바이스 간 복사에 쓸 변환 창을 ha_tw_pin_wait_ms(기본 12초) 동안 얻지 못해 그 복사가 실패했습니다. 접두어의 카드는 창이 모자란 쪽, 곧 복사의 상대 카드입니다 한 카드로 몰리는 동시 복사 수를 줄이십시오

디바이스 메모리 접근과 애플리케이션 요청 관련

메시지 수준 뜻 조치
ATU[<k>]: enable timeout warn 호스트가 디바이스 메모리에 접근할 창을 설정하다 시간이 초과되었습니다. 카드가 응답하지 않을 때 나올 수 있습니다 health와 같은 시점의 오류 메시지를 확인하십시오
TW: no free pool window (<n> pinned, <n> held by kernel access, <n> fixed, <n> in pool); <동작> failed err 변환 창 풀에 빈 창이 없어 새 접근을 처리하지 못했습니다. 괄호 안은 풀의 창이 어떻게 쓰이고 있는지입니다. pinned는 디바이스 간 복사와 export 등이 고정한 창, held by kernel access는 드라이버가 접근하느라 붙잡고 있는 창, fixed는 SRAM 접근용으로 고정된 창, in pool은 풀의 전체 창 수입니다. <동작>은 실패한 동작(bind, pin, hold, SRAM reserve)입니다. 디바이스 메모리를 매핑해 쓰던 애플리케이션은 오류(SIGBUS)를 받을 수 있습니다 동시에 진행 중인 디바이스 간 복사와 export를 줄이십시오
TW: write to da 0x<주소> did not reach the device err 호스트가 디바이스 메모리에 쓴 뒤 읽어 확인한 값이 쓴 값과 달랐습니다. 그 요청은 입출력 오류로 끝납니다. 같은 문구가 짧은 시간에 반복되면 일부만 찍힙니다. 카드가 응답하지 않거나 링크에 문제가 있을 때 나올 수 있습니다 health와 같은 시점의 PCIe 오류 메시지를 확인하십시오

애플리케이션이 잘못된 요청을 보내면 드라이버가 거절하면서 그 이유를 남기기도 합니다. 매핑 크기나 오프셋의 정렬 오류, 할당되지 않은 주소, 소유하지 않은 메모리의 해제 같은 것입니다. 이런 메시지는 카드 상태와 관계가 없습니다. 반복되면 애플리케이션 로그와 함께 애플리케이션 개발자에게 전달하십시오.


dma-buf export 관련

애플리케이션이 RDMA NIC 같은 상대 장치가 카드의 DRAM에 직접 접근하도록 dma-buf export를 요청했을 때 남는 메시지입니다. export가 무엇이고 예약된 창을 어떻게 보는지는 sysfs 노드에 있습니다. 메시지의 <장치>는 상대 장치의 이름(PCI 주소)입니다.

메시지 수준 뜻 조치
ha: dma-buf attach by <장치> refused: device gone or reset info export한 뒤 카드가 리셋되었거나 제거되어, 상대 장치가 그 export에 연결하는 것을 거절했습니다. 리셋이 지나간 export에는 새로 연결할 수 없습니다 애플리케이션이 다시 export해서 상대 장치에 등록해야 합니다
ha: dma-buf attach by <장치> refused: importer does not take peer-to-peer addresses info 상대 장치와 그 드라이버가 PCIe 장치 사이의 직접 접근(peer-to-peer) 주소를 받지 못한다고 밝혀 거절했습니다. 메모리 등록이 실패하는 원인입니다 그 장치와 드라이버가 peer-to-peer를 지원하는지 확인하십시오
ha: dma-buf map #<n> by <장치> refused: device gone or reset info 위와 같은 이유로, 이미 연결된 상대 장치의 주소 요청을 거절했습니다 위와 같습니다
ha: dma-buf map #<n> by <장치>: dma_map_resource failed for <주소> warn 카드의 BAR 주소를 상대 장치의 DMA 주소로 매핑하지 못했습니다 IOMMU 구성을 확인하십시오
TW export: region <n> readback does not match target 0x<주소> warn export 창을 설정하지 못해 그 export가 실패했습니다. 카드가 리셋 중이거나 응답하지 않을 때 나올 수 있습니다 health와 같은 시점의 오류 메시지를 확인하십시오
TW export: region <n> still enabled after <시점> warn 드라이버가 export 창을 껐지만(<시점>은 boot 또는 reset) 창이 여전히 켜진 것으로 읽혔습니다 반복되면 진단 정보를 저장하고 지원팀에 문의하십시오
TW teardown with <n> dma-buf export window(s) reserved; a later bind may reuse their regions under a registered MR warn 카드를 제거할 때 export 창 <n>개의 예약이 남아 있었습니다. 상대 장치가 메모리 등록(MR)을 풀지 않았다면, 이 카드가 다시 인식된 뒤 그 창이 다른 DRAM 구간에 쓰여 상대 장치가 의도하지 않은 구간에 접근할 수 있습니다 카드를 제거하거나 핫 리셋하거나 모듈을 내리기 전에 dma-buf를 쓰는 애플리케이션을 끝내 메모리 등록을 푸십시오

디바이스 제거 관련

카드를 드라이버에서 제거할 때(모듈 해제, 언바인드, 핫 리셋, 핫 언플러그) 남는 메시지입니다.

메시지 수준 뜻 조치
Removing device info 카드 제거를 시작했습니다 —
remove: <n> fd op(s) still inside the gate warn 열린 핸들에서 진행 중인 호출 <n>개가 끝나기를 기다립니다. 기다리는 동안 0.2초마다 반복됩니다 계속되면 그 카드를 쓰는 프로세스를 확인하십시오
Mmap manager cleanup, Device cleanup complete info 정리 단계입니다 —
ha: abi prefetch issued=<n> consumed=<n> info 이 카드에서 앞당겨 시작한 입력 복사의 누계로, sysfs abi_prefetch_stats의 issued, consumed와 같은 값입니다. 앞당긴 복사가 있었으면 제거할 때 한 줄 남깁니다 —
Remove complete info 카드 제거가 끝났습니다 —

진행 중인 작업이 오래 끝나지 않으면 ha: quiesce drain stalled …가 함께 남습니다. 리셋 진행과 결과를 보십시오.


함께 보기