hang 감지와 워치독¶
디바이스가 명령에 응답하지 않을 때 ha.ko가 이를 어떻게 알아채고 무엇을 남기는지 설명합니다. 드라이버는 응답 대기 상한을 기준으로 무응답을 판정하고, 워치독으로 길어지는 대기를 따로 관측하며, 그 결과를 RAS 카운터와 sysfs last_hang, 커널 로그의 hang 덤프로 남깁니다. 이 장에서는 각 기능이 언제 동작하는지, 기록을 어떻게 읽는지, hang이 의심될 때 무엇을 수집해야 하는지를 다룹니다. 파라미터의 정의는 파라미터 레퍼런스에, 설정 방법은 파라미터 설정과 사용법에, 멈춘 디바이스를 되살리는 절차는 FATAL과 복구에 있습니다.
대기와 상한¶
드라이버가 디바이스를 기다리는 곳은 두 가지입니다. 하나는 펌웨어에 보낸 명령의 응답이고(커널 로그와 sysfs 노드 이름의 devcmd), 다른 하나는 호스트와 디바이스 사이, 또는 디바이스와 디바이스 사이에서 데이터를 옮기는 전송의 완료입니다. 드라이버는 디바이스 명령을 여러 개 묶어 한 번에 보내며, 이 묶음을 배치라고 부릅니다.
두 대기에는 각각 상한이 있고, 워치독은 그보다 짧은 문턱으로 두 대기를 바깥에서 지켜봅니다.
| 디바이스 명령의 응답 대기 | DMA 전송의 완료 대기 | |
|---|---|---|
| 상한 | ha_devcmd_ceiling_ms(기본 12000 ms) |
전송 한 번에 5초. 파라미터로 바꿀 수 없습니다 |
| 상한을 넘으면 | 무응답으로 판정합니다. 애플리케이션 작업을 실행하던 중이었다면 디바이스가 FATAL이 됩니다 | 그 전송을 포함한 작업이 실패합니다. 디바이스는 FATAL이 되지 않습니다 |
| 남는 기록 | devcmd_timeouts, last_hang, 커널 로그의 hang 덤프 |
hdma_timeouts |
| 워치독 문턱 | ha_wd_hang_ms(기본 8000 ms) |
ha_wd_hdma_hang_ms(기본 4000 ms) |
워치독은 문턱을 넘은 대기를 커널 로그에 알릴 뿐이고, 기본값에서는 대기에 개입하지 않습니다. 대기를 끝내고 실패를 정하는 것은 응답 대기 상한을 넘었는지 유무입니다.
응답 대기 상한¶
드라이버는 펌웨어에 명령을 보낸 뒤 응답을 기다립니다. 응답 대기 상한은 응답을 기다리는 것에 허용된 최대 시간이며, 애플리케이션 작업의 명령뿐 아니라 리셋 중 펌웨어 재초기화처럼 드라이버가 보내는 명령 전반에 쓰입니다. 펌웨어는 명령이 오래 끝나지 않으면 스스로 시간 초과를 보고하는데, 대기 상한은 그 시간에 여유를 더한 값입니다. 그래서 펌웨어가 살아 있으면 원인이 담긴 실패 결과가 먼저 오고, 펌웨어까지 응답하지 않을 때만 상한이 만료됩니다.
호스트 워치독(ha_wd_*)과 펌웨어가 명령마다 두는 시간 제한은 서로 다릅니다. 펌웨어는 오래 걸리는 명령에는 더 긴 제한을 두고, 그 제한이 8초보다 짧으면 8초를 기다립니다. 드라이버의 기본 상한은 12초이며, 펌웨어가 먼저 시간 초과를 보고하도록 잡은 값입니다.
두 결과는 복구 방법이 다릅니다.
- 펌웨어가
rc=0x7을 반환하면 디바이스는 명령에 응답할 수 있고, 그 명령만 시간 초과로 끝난 것입니다. 애플리케이션 작업 중이면 드라이버가 디바이스를 FATAL로 표시하므로, SDK 디바이스 리셋이 펌웨어에 전달될 수 있습니다. - 상한이 만료되면 펌웨어가 응답을 보내지 못한 것입니다. 명령 처리가 멈춰 있으면 재초기화도 실행되지 않고, 리셋은 SBR로 넘어갑니다.
ha_devcmd_ceiling_ms를 펌웨어의 시간 제한보다 짧게 두면, rc=0x7이 오기 전에 드라이버가 응답 없음으로 FATAL을 만듭니다. 상한 바꾸기의 경고와 같습니다.
상한이 만료되면¶
드라이버는 그 명령을 무응답으로 판정하고 다음 기록을 남깁니다.
- 커널 로그에
Devcmd no response after <N> ms (device hang): <판정>오류와 hang 덤프 두 줄이 남습니다.<N>은 적용된 상한(ms)입니다. 읽는 법은 hang 덤프에 있습니다. devcmd_timeouts가 1 늘고,last_hang에 배치 진행 정보와 판정이 기록됩니다.
애플리케이션 작업을 실행하던 중이었다면 드라이버는 디바이스를 FATAL로 전환합니다.
- 실행 중이던 커널 혹은 작업은 실패하고, 대기하던 다른 커널 혹은 전체 작업까지 취소됩니다. 애플리케이션은 runtime의 에러 코드 반환을 통해 오류를 받습니다.
- 리셋 전까지 그 디바이스는 새 작업을 받지 않습니다. 프로세스를 다시 시작해도 마찬가지입니다.
health가faulted가 됩니다. 온도, 전력, 사용률처럼 주기적으로 읽어 오는 텔레메트리는 곧unknown으로 바뀌고 리셋 전까지 그대로입니다.ha_auto_reset=1이면 드라이버가 스스로 디바이스 리셋을 시도합니다. 기본값0에서는 리셋할 때까지 FATAL이 유지됩니다. FATAL과 복구를 보십시오.
리셋 중에도 같은 기록이 남을 수 있습니다
리셋 중 펌웨어가 재초기화 명령에 응답하지 않아도 상한이 만료되어 ceiling timeout hang 덤프가 남고 devcmd_timeouts가 늘어납니다. 이때 드라이버는 다음 복구 단계로 넘어갑니다. 리셋 직후에 보이는 hang 덤프는 원래의 hang이 아니라 리셋의 기록일 수 있습니다.
오래 걸리는 명령¶
대용량 메모리 채우기와 펌웨어 업데이트는 정상적으로도 기본 상한보다 오래 걸릴 수 있습니다. 이런 명령을 보낼 때 드라이버는 그 명령의 예상 소요 시간에 여유를 더한 만큼 상한을 늘리고, 워치독 문턱도 같은 만큼 늘립니다. 그래서 이 작업들이 정상적으로 오래 걸리는 것은 hang으로 판정되지 않습니다. 대신 그 작업 중에 디바이스가 실제로 멈추면 판정도 늘어난 만큼 늦어집니다.
상한 바꾸기¶
ha_devcmd_ceiling_ms는 실행 중에도 바꿀 수 있고, 바꾼 값은 그 뒤에 시작하는 대기부터 적용됩니다. 100보다 작은 값은 100 ms로 처리하며, 0도 무한 대기가 아니라 100 ms입니다. 이때 /sys/module/ha/parameters/ha_devcmd_ceiling_ms에는 쓴 값이 그대로 보입니다.
상한을 기본값보다 낮추지 마십시오
상한은 펌웨어의 시간 초과 판정보다 길어야 합니다. 짧아지면 펌웨어가 원인을 보고하기 전에 드라이버가 먼저 무응답으로 판정하므로, 정상적으로 끝났을 명령에도 디바이스가 FATAL이 될 수 있습니다. 상한을 낮추면 워치독의 감시가 발화하지 못하게 될 수도 있습니다(문턱과 감시 주기).
상한을 높이면 디바이스가 실제로 멈췄을 때 판정이 그만큼 늦어집니다.
워치독¶
워치독은 디바이스마다 하나씩 돌며, ha_wd_poll_ms(기본 500 ms)마다 진행 중인 대기가 얼마나 이어졌는지 확인합니다. 기다리는 쪽은 자기 상한이 끝나야 판정을 내리지만, 워치독은 대기 밖에서 보므로 상한보다 먼저 길어지는 대기를 알립니다. 상한이 없는 대기도 워치독이 가장 먼저 알립니다.
워치독이 남기는 기록¶
대기가 문턱을 넘으면 워치독은 커널 로그에 경고를 한 줄 남깁니다.
1 | |
watchdog:다음 단어는 이번에 문턱을 넘은 감시입니다.devcmd,hdma, 또는 둘이 함께 넘으면devcmd+hdma입니다.- 괄호 안은 그 시점에 두 대기가 이어진 시간입니다.
0은 그 종류의 대기가 없다는 뜻입니다. - 대기 하나에 경고는 한 번만 나옵니다. 그 대기가 끝난 뒤 다시 문턱을 넘는 대기가 생기면 다시 알립니다. 두 감시는 따로 셉니다.
- 디바이스가 리셋 중이거나 FATAL인 동안에는 판정하지 않습니다.
devcmd감시가 알린 대기가 상한 없는 대기이거나ha_wd_preempt=1이면, 경고 뒤에watchdog태그의 hang 덤프가 이어집니다. 상한이 있는 대기는 상한이 만료될 때 판정이 붙은 덤프가 남으므로 워치독은 덤프를 남기지 않습니다.hdma감시는 덤프를 남기지 않습니다.
devcmd 감시의 문턱에는 오래 걸리는 명령이 늘린 시간이 더해집니다. hdma 감시의 문턱은 복사 작업 전체가 아니라 DMA 엔진에 맡긴 전송 한 번의 대기에 걸립니다.
워치독은 경고만 할 뿐 판정이 아닙니다¶
워치독은 경과 시간만 봅니다. 정상적으로 오래 걸리는 대기와 응답하지 않는 디바이스를 구별하지 못하므로, 경고 문구도 hang이 아니라 "문턱 안에 완료되지 않음(no completion within the threshold)"입니다. 경고는 관측으로 읽고, 판정은 이어지는 기록으로 하십시오. 기본값(ha_wd_preempt=0)에서는 다음과 같이 읽습니다.
devcmd경고 뒤에 상한 만료 기록(Devcmd no response와ceiling timeouthang 덤프)이 이어지지 않았다면 그 대기는 상한 전에 끝났습니다.hdma경고 뒤에hdma_timeouts가 늘지 않았다면 그 전송은 5초 안에 끝났습니다.- 상한이 없는 대기는 정상 작업이라도 문턱을 넘으면 경고가 나옵니다. 상한 없는 대기를 보십시오.
문턱과 감시 주기¶
워치독은 감시 주기마다 한 번씩 대기 상황을 감시하므로, 문턱을 넘은 대기를 알아채기까지 최대 한 주기가 더 걸립니다. 그 사이에 기다리는 쪽의 상한이 먼저 끝나면 워치독은 그 대기를 보지 못합니다. 그래서 각 감시가 발화하려면 다음이 성립해야 합니다.
| 감시 | 조건 | 기본값 |
|---|---|---|
devcmd |
ha_wd_hang_ms + ha_wd_poll_ms < ha_devcmd_ceiling_ms |
8000 + 500 < 12000 |
hdma |
ha_wd_hdma_hang_ms + ha_wd_poll_ms < 5000 |
4000 + 500 < 5000 |
오래 걸리는 명령이 늘린 시간은 문턱과 상한에 똑같이 더해지므로 이 관계는 그대로 유지됩니다.
감시 조건이 깨지면 드라이버는 값을 바꾸지 않고 커널 로그로 알립니다. 예를 들어 ha_wd_poll_ms를 1000으로 올리면 hdma 감시가 발화할 수 없습니다.
1 | |
이 경고는 같은 구성에서 한 번만 나옵니다. 두 문턱과 폴링 주기, 응답 대기 상한 가운데 하나를 바꿨는데도 조건이 깨져 있으면 다시 나옵니다. 문턱이나 폴링 주기를 낮춰 조건을 맞추십시오. 워치독 파라미터는 실행 중에 바꿀 수 있으며 다음 폴링부터 적용됩니다.
0의 뜻은 파라미터마다 다릅니다.
| 파라미터 | 0을 쓰면 |
|---|---|
ha_wd_hang_ms |
devcmd 감시가 꺼집니다 |
ha_wd_hdma_hang_ms |
hdma 감시가 꺼집니다 |
ha_wd_poll_ms |
꺼지지 않습니다. 50보다 작은 값은 50 ms로 처리합니다 |
감시를 끄는 방법은 ha_wd_hang_ms 혹은 ha_wd_hdma_hang_ms 문턱을 0으로 하는 것뿐입니다. 감시는 주기마다 계속 돌기 때문에 문턱을 다시 넣으면 다음 폴링부터 감시가 돌아옵니다. 두 문턱이 모두 0이면 워치독은 아무것도 판정하지 않습니다.
상한 없는 대기¶
애플리케이션이 상한 없이 기다리도록 요청한 디바이스 명령에는 응답 대기 상한이 적용되지 않습니다. 디바이스가 응답하지 않아도 드라이버가 스스로 대기를 끝내지 않으며, 이 경우 대기는 응답이 오거나, 기다리던 프로세스가 종료 시그널을 받거나, 디바이스가 리셋되거나 제거될 때 끝납니다. ha_wd_preempt=1이면 워치독이 문턱에서 끊습니다(매달린 대기 끊기).
이런 상한 없는 대기에서 남는 기록은 다음과 같습니다.
- 워치독 문턱(기본 8초)을 넘으면 워치독 경고와
watchdog태그의 hang 덤프가 남습니다. 이 덤프는 진행 정보를 읽지 않으므로 판정 대신progress not sampled here, so no verdict로 끝납니다. - 응답 대기 상한과 같은 시간(기본 12초)을 넘으면
Devcmd waiting <N> ms with no timeout requested로 시작하는 경고가 나오고, 그 뒤로 10초마다 반복됩니다. 줄 끝에 대기 중인 스레드의 이름과 ID(이름[ID]), 판정 값이 붙습니다. 경고를 낼 때마다 진행 정보를 새로 읽어last_hang에 기록합니다.
이 대기는 devcmd_timeouts 횟수를 늘리지 않고 디바이스를 FATAL로 만들지도 않습니다. health만 보아서는 드러나지 않으므로 커널 로그로 확인하십시오.
오래 걸리는 동작인지 멈췄는지 가리기
last_hang을 20초 이상 간격을 두고 두 번 읽어 batch_seq나 exec_index가 바뀌었다면 디바이스는 진행 중입니다. 바뀌지 않았다면 명령 하나가 오래 걸리고 있거나 멈춘 것입니다. 그 명령이 정상적으로 얼마나 걸리는지와 비교해 판단하고, 멈췄다고 판단되면 진단 정보를 저장한 뒤 FATAL과 복구를 따르십시오.
매달린 대기 끊기¶
ha_wd_preempt(기본 0)를 1로 활성화하면 워치독은 경고에 그치지 않고, 문턱을 넘은 대기를 직접 끊습니다. 끊긴 대기는 디바이스 무응답과 같은 실패로 끝나므로, 애플리케이션 작업을 실행하던 중이었다면 디바이스가 FATAL이 됩니다. 상한 없이 기다리는 디바이스 명령 대기를 끊은 경우에는 그 요청만 실패하고 디바이스는 FATAL이 되지 않습니다.
| 상황 | ha_wd_preempt=0(기본) |
ha_wd_preempt=1 |
|---|---|---|
| 디바이스 명령 대기가 문턱을 넘음 | 경고만 남깁니다. 상한이 만료되면 그때 무응답으로 판정합니다 | 그 자리에서 대기를 끊습니다 |
| 상한 없는 디바이스 명령 대기가 문턱을 넘음 | 경고만 남기고 계속 기다립니다 | 그 자리에서 대기를 끊습니다. 그 요청은 실패하지만 디바이스는 FATAL이 되지 않습니다 |
| 데이터 전송이 문턱을 넘음 | 경고만 남깁니다. 5초가 지나면 그 전송을 포함한 작업만 실패하고 디바이스는 FATAL이 되지 않습니다 | 그 자리에서 전송을 끊고, 디바이스 무응답과 같은 수준의 실패로 처리합니다 |
ha_wd_preempt를 켜면 무응답을 더 일찍 끝낼 수 있습니다. 디바이스 명령은 상한(기본 12초) 대신 문턱(기본 8초) 무렵에 끝나고, 상한 없는 대기도 끝납니다. 대신 문턱을 넘은 데이터 전송도 끊겨 디바이스가 FATAL이 됩니다. 기본값(0)에서는 5초가 지나야 그 작업만 실패하고 디바이스는 FATAL이 되지 않습니다.
ha_wd_preempt=1 설정의 워치독에 의해 끊긴 대기는 상한 만료가 아니므로 devcmd_timeouts와 hdma_timeouts를 늘리지 않고, last_hang의 진행 필드와 판정도 바꾸지 않습니다. 남는 기록은 커널 로그의 워치독 경고와 watchdog hang 덤프(devcmd 감시일 때), 그리고 디바이스가 FATAL이 되었다면 health의 faulted입니다. 자동 리셋이 성공하면 faulted도 풀리므로, ha_wd_preempt=1인 장비에서는 커널 로그도 함께 모니터링하십시오. 상한 없는 대기를 끊었을 때는 디바이스가 FATAL이 되지 않으므로 자동 리셋도 일어나지 않습니다. 이 경우 디바이스가 멈춘 것으로 보이면 FATAL과 복구를 따라 직접 리셋하십시오.
ha_auto_reset=0인 채로 켜면 FATAL이 된 디바이스는 누군가 리셋할 때까지 그대로 남습니다. 이 구성에서는 워치독이 대기를 끊을 때 watchdog: preempting without ha_auto_reset으로 시작하는 경고를 남깁니다. 가능하면 ha_wd_preempt는 ha_auto_reset=1과 함께 쓰십시오. 실행 중에 켜려면 자동 리셋을 먼저 켭니다.
1 2 | |
모듈을 적재할 때마다 적용하는 방법은 옵션 파일로 정하기를 보십시오. 펌웨어 업데이트가 진행 중이거나 업데이트의 응답이 확인되지 않은 동안에는 워치독이 대기를 끊지 않습니다. 쓰는 중인 부트 플래시를 보호하기 위해서입니다.
정상적으로 오래 걸리는 대기도 끊깁니다
워치독은 경과 시간만 보므로 문턱을 넘는 정상 작업도 끊습니다. 상한 없이 오래 기다리는 작업을 돌리는 장비에서는 ha_wd_preempt를 켜지 마십시오.
대기 상한 만료(hang) 이후 기록 읽기¶
RAS 카운터¶
| 노드 | 늘어나는 때 |
|---|---|
devcmd_timeouts |
디바이스 명령의 응답 대기 상한이 만료될 때. 펌웨어 업데이트의 응답 기한이 지날 때도 늘어납니다 |
devcmd_fw_errors |
펌웨어가 명령에 오류 결과를 돌려줄 때. 펌웨어 자신의 시간 초과뿐 아니라 잘못된 인자 같은 명령 단위 실패도 셉니다 |
hdma_timeouts |
데이터 전송 한 번이 5초 안에 끝나지 않거나, 끝났다는 알림이 5초 안에 오지 않을 때 |
- 세 카운터는 줄지 않습니다. 디바이스 리셋으로도 0이 되지 않고, 드라이버가 디바이스를 다시 인식할 때(모듈 재적재,
ha-hotreset, 재부팅 등)만 0부터 다시 셉니다. - 셋 중 하나라도 0이 아니면
health는degraded입니다. 디바이스가 FATAL이거나 마지막 리셋이 실패했으면faulted가 우선합니다. 그래서degraded는 지금 고장이라는 뜻이 아니라, 드라이버가 디바이스를 인식한 뒤 한 번이라도 오류가 있었다는 뜻입니다. - 모니터링에서는 값 자체가 아니라 증가를 보십시오. 마지막으로 읽은 값보다 늘었으면 새 사건입니다. 텔레메트리를 보십시오.
- 워치독 경고, 상한 없는 대기의 경고,
ha_wd_preempt=1로 끊긴 대기는 이 카운터를 늘리지 않습니다.
last_hang¶
1 | |
1 | |
한 줄에 성격이 다른 두 기록이 들어 있습니다.
- 앞의 세 필드(
rc,cmd_idx,opcode)는 펌웨어가 오류 결과를 돌려준 마지막 명령입니다. 이름과 달리 hang만이 아니라 모든 펌웨어 오류 결과를 기록합니다. - 뒤의 네 필드(
batch_seq,exec_index,resq_tail,verdict)는 마지막 hang 관측 시점에 펌웨어가 공개한 배치 진행 정보와 그 판정입니다. 응답 대기 상한 만료, 펌웨어 업데이트 응답 기한 만료, 상한 없는 대기의 주기적인 경고 때 기록되며, 워치독 경고는 이 값을 바꾸지 않습니다.
응답 대기 상한 만료는 펌웨어가 전혀 응답하지 않은 경우라 앞의 세 필드를 채우지 않습니다. 위 예처럼 -로 남거나 그 전에 있었던 다른 오류를 가리키므로, 응답하지 않은 hang은 verdict와 진행 필드로 읽으십시오.
| 필드 | 값 | -일 때 의미 |
|---|---|---|
rc |
펌웨어 오류 결과 코드(16진). 펌웨어 오류 결과를 보십시오 | 펌웨어 오류가 아직 없습니다(devcmd_fw_errors가 0) |
cmd_idx |
오류 명령의 배치 안 위치 | 위와 같습니다 |
opcode |
오류 명령의 펌웨어 명령 코드(16진) | 위와 같습니다 |
batch_seq |
<명령을 보내기 직전 값>-><관측 시점 값>. 펌웨어가 명령어 배치를 가져갈 때 올리는 번호입니다 |
hang 관측이 아직 없거나 판정할 수 없습니다(verdict가 none이나 unsupported) |
exec_index |
관측 시점에 펌웨어가 실행하던 명령의 배치 안 위치. 실행 중인 명령이 없으면 none |
위와 같습니다 |
resq_tail |
관측 시점에 펌웨어가 응답 영역에 써 넣은 양(32비트 워드 단위). 펌웨어는 배치를 가져갈 때 이 값을 0으로 되돌리므로, verdict가 not-picked-up이면 앞 배치의 값입니다 |
위와 같습니다 |
verdict |
배치 진행 판정. 배치 진행 판정을 보십시오 | 쓰이지 않습니다 |
hyperaccel-smi -q의 RAS / Health 항목에도 같은 값이 Last Hang, Hang Verdict, Batch Progress로 나옵니다.
배치 진행 판정¶
hang을 관측한 시점에 드라이버는 펌웨어가 공개한 진행 정보를 한 번 읽어, 펌웨어가 배치의 어디에서 멈췄는지 판정합니다. 판정 값은 last_hang의 verdict와 커널 로그 오류 줄의 끝에, 같은 뜻의 문장은 hang 덤프의 사람이 읽는 줄 끝에 나옵니다. 예를 들어 stuck-in-command는 펌웨어가 exec_index 위치의 명령을 시작했지만 끝내지 못했다는 뜻입니다. 판정 값과 문장의 전체 목록은 커널 로그 메시지에 있습니다.
판정은 진단 정보입니다
드라이버는 판정에 따라 동작을 바꾸지 않습니다. 응답 대기 상한이 만료되면 판정이 무엇이든 같은 기록이 남고, 애플리케이션 작업 중이었다면 디바이스가 FATAL이 되어 다시 쓰려면 리셋해야 합니다. completed-irq-lost도 마찬가지입니다. 이 판정의 문장(a reset is NOT needed)은 디바이스가 멈추지 않았다는 뜻으로, 원인이 디바이스가 아니라 완료 인터럽트의 전달에 있음을 알려 줍니다. 같은 판정이 반복되면 진단 정보를 첨부해 지원팀에 알리십시오.
펌웨어 오류 결과¶
펌웨어가 명령에 오류 결과를 돌려주면 커널 로그에 다음 줄이 남고, 그 뒤에 resq dump로 시작하는 응답 영역 덤프가 이어집니다. 같은 값이 last_hang의 앞 세 필드에 기록되고 devcmd_fw_errors가 1 늘어납니다.
1 | |
짧은 시간에 오류가 많이 나면 커널 로그에는 일부만 남지만 devcmd_fw_errors는 빠짐없이 셉니다.
rc에 따라 그 명령만 실패하고 디바이스를 계속 쓸 수 있는 결과와, 애플리케이션 작업 중이면 디바이스를 FATAL로 만드는 결과가 나뉩니다. 0x7은 펌웨어가 시간 제한에서 그 명령을 포기하고 응답한 결과이고, 0x9는 치명적인 코어 오류입니다. 둘 다 애플리케이션 작업 중이면 디바이스를 FATAL로 만듭니다. 0x7과 응답 대기 상한 만료의 차이는 응답 대기 상한에 있습니다. rc 값마다의 뜻과 결과는 커널 로그 메시지에 있고, 펌웨어 업데이트의 결과(0xa~0xd)는 ha-fw-update의 fw_rc 값을 보십시오.
펌웨어는 한 배치에서 앞 명령이 실패해도 나머지 명령을 계속 실행합니다. 첫 Firmware error 뒤에 같은 배치의 명령이 더 실행되었을 수 있으므로, 그 한 줄만으로 디바이스가 그 지점에서 멈췄다고 보지 마십시오.
hang 덤프¶
응답 대기 상한이 만료될 때(ceiling timeout), 펌웨어 업데이트의 응답 기한이 지날 때(fw_update timeout), 워치독이 디바이스 명령 대기를 알리면서 그 대기가 상한 없는 대기이거나 ha_wd_preempt=1일 때(watchdog) 커널 로그에 두 줄이 남습니다. 괄호 안의 태그가 기록이 남은 이유입니다. 앞 줄은 사람이 읽는 요약이고, 뒤 줄은 지원 요청에 그대로 첨부할 원본입니다. 각 줄이 그 자체로 완결되므로 사이에 다른 로그가 끼어도 읽을 수 있습니다.
응답 대기 상한이 만료된 경우의 예입니다. 줄 앞의 ha는 드라이버 이름이고, 0000:3b:00.0은 그 디바이스의 PCI 주소입니다.
1 2 3 | |
사람이 읽는 줄(예시의 2번째 hang (...))은 다음과 같이 해석합니다.
| 부분 | 뜻 |
|---|---|
fw <이름> (op 0x<코드>) |
마지막으로 보낸 펌웨어 명령의 이름과 코드. 이름을 모르는 명령은 unknown으로 나옵니다 |
batch slot <n> (last staged, ...) |
그 명령의 배치 안 위치. 마지막으로 보낸 명령이지 멈춘 명령이 아닐 수 있습니다. 멈춘 위치는 last_hang의 exec_index로 보십시오 |
kernel@<주소> size=<n> cores=<마스크> buf_sel=<n> |
커널 실행 명령(LAUNCH_TCTRL_INST)일 때 그 커널의 주소, 크기, 실행에 쓴 코어의 마스크, 커널 바이너리 버퍼 번호 |
abi@<주소> size=<n> |
LAUNCH_IDMA 명령일 때 그 명령이 옮기는 데이터의 주소와 크기 |
opened by pid <PID> (<이름>) |
디바이스에 명령을 제출한 프로세스. 파일 디스크립터를 물려받거나 넘겨받은 프로세스가 작업을 냈다면 실제 제출자와 다를 수 있습니다. 리셋처럼 특정 프로세스의 작업이 아닌 명령에서는 나오지 않습니다 |
-- <문장> |
배치 진행 판정의 문장. watchdog 태그의 줄은 진행 정보를 읽지 않으므로 progress not sampled here, so no verdict로 끝납니다 |
원본 줄(예시의 3번째 hang dump (...))의 필드는 다음과 같이 해석합니다.
| 필드 | 뜻 |
|---|---|
stream |
그 명령을 낸 스트림을 구별하는 태그. 0은 특정 스트림에 속하지 않은 명령입니다 |
corr |
제출자가 프로파일러를 사용하였을 경우 명령에 붙인 ID. 없으면 0입니다 |
opcode, cmd_idx |
사람이 읽는 줄의 op, batch slot과 같습니다 |
payload |
그 명령 본문의 앞 8워드(16진) |
staged, flushed |
보내려고 쌓아 둔 명령 수와, 마지막으로 디바이스에 보낸 명령 수 |
mbox_head, db |
드라이버가 명령을 보낼 때 디바이스에 쓴 값을 다시 읽은 것입니다. mbox_head가 flushed와 다르거나 4294967295(모든 비트가 1)이면 드라이버의 쓰기가 디바이스에 닿지 않은 것으로, 디바이스의 무응답이 아니라 PCIe 링크나 접근 경로의 문제입니다 |
hdma_wr, hdma_rd |
DMA 엔진의 쓰기(디바이스→호스트) 채널과 읽기(호스트→디바이스) 채널의 상태/인터럽트 상태 레지스터 값. 넷이 모두 ffffffff이면 줄 끝에 (hdma unreadable: link down?)가 붙습니다. 링크가 끊겼거나 디바이스가 PCIe 읽기에 응답하지 않는 상태입니다 |
커널 로그 메시지 전체는 커널 로그 메시지에 있습니다.
hang이 의심될 때¶
먼저 볼 것¶
아래 sysfs 노드는 디바이스에 접근하지 않으므로, 디바이스가 멈춘 동안에도 root 권한 없이 읽을 수 있습니다.
health가faulted인지 봅니다.faulted면 디바이스가 FATAL이어서 리셋 전까지 작업을 받지 않거나, 마지막 리셋이 실패한 상태입니다.inflight가 0이 아닌 값에서 줄지 않는지 봅니다. 작업이 진행하지 않는다는 신호일 수 있습니다.devcmd_timeouts,devcmd_fw_errors,hdma_timeouts가 마지막으로 본 값보다 늘었는지 봅니다.last_hang의verdict로 펌웨어가 어디에서 멈췄는지 봅니다.- 커널 로그에서 워치독 경고, 상한 만료, hang 덤프, 펌웨어 오류 기록을 찾습니다.
1 2 3 | |
커널 로그는 디바이스를 PCI 주소로 가리킵니다. 노드 번호와의 대응은 hyperaccel-smi -q의 Bus-Id나 readlink -f /sys/class/ha/ha0/device로 확인합니다.
진단 정보 수집¶
지원을 요청할 때는 드라이버 버전, hang 관련 파라미터, 디바이스마다의 sysfs 노드, hyperaccel-smi -q 출력, 커널 로그 전체를 함께 보내 주십시오. 이것들을 한 번에 모으는 예제 스크립트는 문제 상황의 진단 정보 모으기에 있습니다.
모은 결과는 그대로 첨부하십시오. 관련 있어 보이는 줄만 골라내지 마십시오. 원인이 hang 덤프보다 앞선 줄에 있는 경우가 많습니다.
리셋 전에 저장하십시오¶
리셋은 고장을 설명하는 상태를 지웁니다. 진단 정보는 리셋하기 전에 저장하십시오.
- 리셋은 멈춘 작업을 모두 끝내고 디바이스를 다시 초기화합니다. 멈춘 상태 자체는 사라지고 기록만 남습니다.
- 리셋 중 펌웨어가 응답하지 않으면
last_hang의 진행 필드와 판정이, 펌웨어가 리셋 명령에 오류를 돌려주면 앞의 세 필드가 그 리셋의 기록으로 바뀝니다. ha-hotreset이나 모듈 재적재처럼 드라이버가 디바이스를 다시 인식하는 복구는 카운터와last_hang을 처음 상태로 되돌립니다.- 커널 로그는 링 버퍼라서 시간이 지나면 오래된 줄부터 밀려납니다.
ha_auto_reset=1이면 드라이버가 FATAL 직후 스스로 리셋하므로 리셋 전 상태를 저장할 기회가 없습니다. 이때는 커널 로그와 리셋 뒤에 남은 카운터, last_hang으로 진단합니다.
함께 보기¶
- FATAL과 복구 — FATAL이 된 디바이스를 되살리는 절차, 자동 리셋
- 텔레메트리 —
health판정과 모니터링 연동 - 펌웨어 업데이트 — 업데이트 중의 응답 기한과 리셋 제한
- 문제 해결
- 파라미터 설정과 사용법 — 설정 방법과 파라미터 사이의 관계
- 파라미터 레퍼런스 — 파라미터 정의
- sysfs 노드
- 커널 로그 메시지
- hyperaccel-smi