콘텐츠로 이동

ha-wipe

ha-wipe는 카드를 다음 사용자에게 넘기기 전에 이전 사용자가 남긴 것을 지우는 호스트용 명령어입니다. 카드 한 장을 ha-hotreset으로 리셋하고, 할당할 수 있는 DRAM 전체를 0으로 채운 뒤 일부 블록을 다시 읽어 확인합니다. 이 페이지는 설치 위치, 옵션, 지우는 것과 지우지 않는 것, 동작 순서, 출력, 종료 코드를 정의합니다.

카드를 다른 사용자에게 배정하기 전에 반드시 실행하십시오. 애플리케이션이 마지막 핸들을 닫으면 드라이버는 그 핸들이 쓰던 자원만 회수하고 디바이스는 초기화하지 않습니다. 그래서 이전 사용자가 DRAM에 남긴 데이터와 디바이스 전역 설정이 그대로 남습니다.

2.6.0 릴리즈부터 들어갑니다

ha-wipe는 2.6.0 미만 릴리즈에는 없습니다. 이 도구는 2.6.0부터 드라이버 패키지에 함께 들어갑니다.


설치 위치

ha-wipe는 드라이버 deb 패키지 hyperdriver-dkms가 /usr/bin/ha-wipe에 설치합니다.

시놉시스

1
2
ha-wipe -d BDF [--hotreset PATH] [--boot-timeout SEC]
ha-wipe --help

요구 사항

  • 호스트에서 root로 실행합니다. root가 아니면 ha-wipe: root required를 출력하고 종료 코드 1로 끝납니다.
  • 호스트의 PID 네임스페이스에서 실행합니다. PID 네임스페이스가 따로인 컨테이너에서는 호스트의 프로세스를 보지 못해, 카드를 연 다른 프로세스를 찾지 못합니다.
  • ha 모듈이 적재되어 있어야 합니다. 모듈 파라미터 ha_hdma_min_bytes는 기본값 0으로 두십시오. 2 GiB를 넘으면 시작하지 않고 종료 코드 1로 끝납니다.
  • 드라이버 버전은 2.6.0 이상이어야 합니다. 적재된 버전은 cat /sys/module/ha/version으로 확인합니다.
  • 0으로 채운 호스트 버퍼(기본 256 MiB)를 만들 메모리가 있어야 합니다.
  • ha-hotreset과, 그것이 쓰는 setpci, lspci(pciutils), flock(util-linux)이 필요합니다. 없으면 종료 코드 1로 끝납니다.
  • 카드를 연 프로세스가 없어야 합니다. 리셋하면 카드의 모든 할당이 사라지기 때문입니다. --force 같은 우회 옵션은 없습니다.

옵션

옵션 설명
-d BDF, --bdf BDF 지울 카드의 PCI 주소입니다. hyperaccel-smi의 Bus-Id 형식(0000:01:00.0)으로 씁니다. 도메인을 뺀 01:00.0은 그 주소가 모든 PCI 도메인에서 하나뿐일 때만 받습니다. 필수입니다
--hotreset PATH 리셋에 쓸 스크립트입니다. 생략하면 도구와 같은 디렉터리의 ha-hotreset.sh, PATH의 ha-hotreset 순서로 찾습니다
--boot-timeout SEC 리셋 뒤 카드가 명령을 받을 때까지 기다리는 시간(초)입니다. 기본 60입니다
-h, --help 사용법을 출력하고 끝납니다

지우는 것과 지우지 않는 것

대상 결과 방법
디바이스 설정(주소 변환 설정, 주변장치 설정 등) 부팅 직후의 값으로 돌아갑니다 SBR(Secondary Bus Reset)로 카드가 다시 부팅됩니다
DRAM 0이 됩니다 SBR 뒤에도 DRAM의 내용은 남고, 새로 할당한 메모리도 0으로 채워져 있지 않습니다. 그래서 할당할 수 있는 DRAM 전체를 할당해 0으로 채웁니다
SRAM 지우지 않습니다 이전 사용자가 남긴 내용이 그대로 있습니다

SBR을 걸 수 없는 구성이면 종료 코드 3으로 끝냅니다. 펌웨어 재초기화(SBR 없이 펌웨어만 다시 초기화하는 리셋)로는 주소 변환과 주변장치 설정이 지워지지 않으므로 그것으로 대신하지 않습니다. SBR을 걸 수 있는 구성은 FATAL과 복구를 보십시오.

동작 순서

  1. 카드를 건드리기 전 점검. root 권한, PCI 주소, 리셋 스크립트와 필요한 명령을 확인하고, 같은 카드에서 다른 ha-wipe가 실행 중인지 확인합니다. 0으로 채운 호스트 버퍼도 이때 만듭니다. 여기서 실패하면 카드를 건드리지 않고 종료 코드 1이나 2로 끝납니다.
  2. [1/4] Reset — ha-hotreset --bdf <BDF>를 실행하고 그 출력을 그대로 보여 줍니다. 카드를 연 프로세스가 있거나 SBR을 걸 수 없는 구성이면 ha-hotreset이 거부하고, ha-wipe는 카드를 건드리지 않은 채 끝납니다. 부모 포트가 Surprise Down을 마스킹하지 않은 카드는 리셋하는 동안 경로를 마스킹하므로, 처음 쓰는 호스트에서는 먼저 경로 마스킹을 보십시오.
  3. [2/4] Allocate — 카드가 다시 인식되고 펌웨어가 명령을 받을 때까지 최대 --boot-timeout초 기다린 뒤, 할당할 수 있는 DRAM 전체를 할당합니다.
  4. [3/4] Zero — 할당한 DRAM 전체를 DMA 엔진을 써서 0으로 채웁니다.
  5. [4/4] Read back — DRAM 전체를 다시 읽지는 않습니다. 채널마다 복사 구간의 처음과 끝, 그리고 임의로 고른 일부 블록을 읽어 모두 0인지 확인합니다.

다른 프로세스 확인

리셋이 끝나면 디바이스 노드가 다시 생기므로, 그때부터 ha-wipe가 끝날 때까지 다른 프로세스가 카드를 열 수 있습니다. ha-wipe는 카드가 다시 인식된 직후, 할당 직후, 끝나기 직전에 그 카드를 연 다른 프로세스와 다른 할당(sysfs dram_used, sram_used)이 있는지 확인합니다. 하나라도 있거나 확인할 수 없으면 종료 코드 8로 끝납니다.

확인과 확인 사이에 카드를 열었다가 닫은 프로세스는 찾지 못합니다. ha-wipe가 끝날 때까지는 어떤 사용자나 컨테이너도 그 카드를 쓸 수 없게 두십시오.

소요 시간

PCIe Gen5 x8로 연결된 카드에서 DRAM 128 GiB를 0으로 채우는 데 7~11초가 걸렸습니다. 리셋과 펌웨어 부팅 시간은 따로 듭니다.

신호

SIGINT, SIGTERM, SIGHUP을 받으면 다음 단계로 넘어가기 전에 멈춥니다. 0 채우기와 다시 읽기 중이면 다음 채널로 넘어가기 전에 멈춥니다. 종료 코드는 멈춘 단계에 따라 다릅니다.

멈춘 때 종료 코드
리셋 전 2
리셋 중, 리셋 뒤 카드가 준비되기를 기다리는 중 4. ha-hotreset이 카드를 PCI에서 제거하기 전에 멈췄으면 2
할당 5
0 채우기 6
다시 읽기 7
  • 리셋 중에 신호를 받으면 ha-hotreset에 SIGTERM을 보내고, ha-hotreset이 정리를 마쳐 카드를 다시 인식시킬 때까지 기다린 뒤 끝납니다.
  • nohup이나 백그라운드 작업처럼 호출한 쪽이 무시하도록 설정한 신호는 ha-hotreset도 무시합니다.
  • ha-wipe를 SIGKILL로 끝내도 ha-hotreset은 카드를 제거하기 전이었으면 카드를 건드리지 않고, 제거한 뒤였으면 카드를 다시 인식시킨 뒤 끝납니다. 어느 경우든 DRAM은 0이 아닐 수 있으므로 ha-wipe를 다시 실행하십시오.

출력

진행 상황은 표준 출력(stdout)에, 실패 사유는 표준 오류(stderr)에 ha-wipe:로 시작하는 한 줄로 출력합니다. ha-hotreset의 출력은 표준 출력과 표준 오류를 합쳐 표준 출력으로 보여 줍니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
[1/4] Reset (SBR via ha-hotreset)
=== 0000:01:00.0 (parent 0000:00:01.1, /dev/ha0) ===
...
remove 0000:01:00.0
...
Hot reset OK: 0000:01:00.0
[2/4] Allocate
      ha0: DRAM <크기> B
[3/4] Zero
      done in <초> s
[4/4] Read back
ha0 0000:01:00.0: reset and DRAM zeroed

리셋이 시작된 뒤 실패하면 사유 뒤에 ; the card was reset but its DRAM is not known to be zero가 붙습니다.

종료 코드

ha-wipe의 종료 코드는 ha-hotreset과 번호가 다릅니다. ha-hotreset의 거부 3(열린 노드, 호스트 락 대기 초과)은 2로, 4(SBR이 안전하지 않음)는 3으로 나옵니다.

코드 뜻 할 일
0 리셋하고 DRAM을 0으로 채웠으며, 다시 읽은 블록이 모두 0이었습니다 카드를 배정할 수 있습니다
1 아무것도 건드리지 않았습니다. 인자 오류, root 아님, ha 모듈 미적재, 필요한 명령 없음, 그 주소에 카드 없음, 0 버퍼에 쓸 호스트 메모리 부족, ha_hdma_min_bytes가 2 GiB 초과, ha-hotreset이 카드를 건드리기 전에 실패 가운데 하나입니다 메시지대로 고치고 다시 실행합니다
2 아무것도 건드리지 않았습니다. 다른 프로세스가 카드를 열고 있거나, 같은 카드에서 다른 ha-wipe가 실행 중이거나, 다른 ha-hotreset 실행이 600초 안에 끝나지 않았거나(호스트 락), ha-wipe나 ha-hotreset이 카드를 건드리기 전에 신호로 멈췄습니다 나중에 다시 실행합니다
3 SBR이 거부되어 아무것도 건드리지 않았습니다. 부모 포트의 Surprise Down 마스크를 읽을 수 없거나, 경로를 마스킹할 수 없거나, 부모 브리지 아래에 다른 디바이스가 있습니다 이 호스트에서는 이 도구로 카드를 지울 수 없습니다. 사유는 바로 위 ha-hotreset 출력에 있습니다
4 리셋이 실패했거나 중단되었습니다. 리셋, 카드 재인식, 펌웨어 부팅 가운데 하나가 끝나지 않았습니다 카드를 배정하지 마십시오. hyperaccel-smi나 sysfs health로 카드 상태를 확인한 뒤 다시 실행합니다
5 DRAM 할당에 실패했거나, 할당 중에 신호로 멈췄습니다 카드를 배정하지 말고 다시 실행합니다
6 0 채우기에 실패했거나, 그 중에 신호로 멈췄습니다 카드를 배정하지 말고 다시 실행합니다
7 다시 읽은 데이터가 0이 아니거나 읽지 못했거나, 그 중에 신호로 멈췄습니다 카드를 배정하지 말고 다시 실행합니다
8 리셋 뒤 DRAM이 0이 되기 전에 다른 프로세스가 카드를 열거나 메모리를 할당했습니다. 그 프로세스가 이전 사용자의 데이터를 읽었을 수 있습니다 다시 실행하기 전에 그 프로세스를 멈추십시오. 메시지에 PID가 없으면 sudo fuser -v /dev/haN이나 sudo lsof /dev/haN으로 찾습니다

종료 코드 4~8이면 리셋은 시작되었지만 DRAM이 0인지 알 수 없습니다. 카드를 배정하지 말고, 0으로 끝날 때까지 다시 실행하십시오. 신호 없이 같은 코드가 반복되면 dmesg를 모아 HyperAccel에 문의하십시오.

주요 메시지

메시지 코드 뜻
another ha-wipe is running on <BDF> 2 같은 카드에서 다른 ha-wipe가 실행 중입니다
<BDF> is in use, or another ha-hotreset held the host lock (see above); nothing was touched 2 카드를 연 프로세스가 있거나, 다른 ha-hotreset 실행이 끝나지 않았습니다. 바로 위의 ha-hotreset 출력이 사유입니다
an SBR is not safe for <BDF> on this host; nothing was touched 3 이 호스트에서는 이 카드에 SBR을 걸 수 없습니다. 바로 위의 ha-hotreset 출력이 사유입니다
stopped by <신호>; nothing was touched 2 리셋 전에 신호로 멈췄습니다
stopped by <신호> before ha-hotreset touched <BDF>; nothing was touched 2 리셋 중에 신호를 받았거나 ha-hotreset이 신호로 끝났지만, 카드를 건드리기 전이었습니다
the firmware on haN is not ready within <초> s 4 --boot-timeout 안에 펌웨어가 명령을 받지 않았습니다
/dev/haN was opened by pid(s) <PID 목록> after the reset 8 리셋 뒤 다른 프로세스가 카드를 열었습니다
another process allocated on haN after the reset (...) 8 리셋 뒤 다른 프로세스가 카드에 메모리를 할당했습니다
DRAM channel <N> at 0x<주소> is not zero 7 다시 읽은 블록에 0이 아닌 데이터가 있습니다

함께 보기