여러 디바이스¶
한 호스트에 LPU를 여러 장 둘 때 운영자가 알아야 할 것을 다룹니다. 드라이버가 카드에 번호를 주는 규칙과 번호 대신 카드를 가리키는 방법, 카드마다 따로 동작하는 것, 카드 사이의 데이터 경로를 sysfs로 확인하는 방법, IOMMU 모드와 PCIe 토폴로지가 그 경로에 주는 영향, 한 카드를 리셋하거나 제거할 때 다른 카드에서 보이는 변화, 그리고 여러 카드를 나눠 쓸 때의 신뢰 경계를 설명합니다. 각 노드의 출력 형식은 sysfs 레퍼런스에 있습니다.
카드 번호¶
드라이버는 probe에 성공한 카드마다 디바이스 노드 /dev/haN과 sysfs 디렉터리 /sys/class/ha/haN/을 만듭니다. 이 장에서 "드라이버에 등록된 카드"는 이렇게 노드가 만들어진 카드를 말합니다.
N은 0-7이고, 한 호스트에서 드라이버가 다루는 카드는 최대 8장입니다. 번호를 받지 못한 카드에는 노드가 만들어지지 않습니다. 그 카드는 lspci에는 보이지만 드라이버에 바인드되지 않고, 커널 로그에는 그 카드의 Probing device만 남고 Probe successful은 남지 않습니다.
번호는 다음 규칙으로 정해집니다.
- 모듈을 적재할 때 그때 꽂혀 있는 LPU에 PCI 주소 순서로
0부터 번호를 매겨 둡니다. 드라이버에 바인드되는지와 관계없이 셉니다. 그래서 꽂힌 카드가 같으면 모듈을 다시 적재하거나 호스트를 재부팅해도 카드마다 번호가 같습니다. - probe에 실패한 카드나 다른 드라이버(예:
vfio-pci)가 잡은 카드의 번호는 비워 두고, 뒤 카드의 번호를 당기지 않습니다. 그 카드를 나중에ha에 바인드하면 매겨 둔 번호를 받습니다. - 모듈이 적재되어 있는 동안 카드가 제거되었다가 같은 PCI 주소로 다시 나타나면(재바인드, 재스캔,
ha-hotreset), 그사이 다른 카드가 그 번호를 가져가지 않았다면 이전 번호를 다시 받습니다. - 모듈을 적재한 뒤에 새로 나타난 카드는 매겨 둔 카드가 없는 번호를 먼저 받습니다. 그런 번호가 없을 때만 지금 없는 카드의 번호를 가져가며, 그 카드는 돌아와도 이전 번호를 받지 못할 수 있습니다.
- PCI 주소가 바뀐 카드(슬롯을 옮겼거나 재열거로 버스 번호가 바뀐 경우)는 새 카드로 취급합니다.
- 카드를 더하거나 뺀 뒤 모듈을 다시 적재하면(재부팅 포함) 그 카드보다 PCI 주소가 높은 카드의 번호가 바뀝니다.
- LPU가 8장을 넘으면 모듈을 적재할 때 커널 로그에
ha: more than 8 cards; the extra cards take any free number, so card numbers can change across reloads경고가 남고, 다시 적재할 때 번호와 노드가 만들어지는 카드가 바뀔 수 있습니다. 한 호스트의 LPU를 8장 이하로 두십시오. - 카드가 제거되었거나 probe에 실패하면 번호 사이에 빈자리가 생깁니다. 카드를 셀 때는
ls /sys/class/ha/로 있는 번호를 모두 확인하십시오.
모든 카드의 /dev/haN은 장치 번호의 major 하나를 같이 쓰고, minor가 카드 번호입니다. major는 모듈을 적재할 때 커널이 정하므로, 모듈을 다시 적재하거나 재부팅하면 바뀔 수 있습니다. 컨테이너는 만들 때의 장치 번호를 쥐고 있으므로, major가 바뀌면 컨테이너를 다시 만드십시오. 지금 장치 번호는 /sys/class/ha/haN/dev에서 읽습니다.
번호는 카드의 신원이 아닙니다
번호는 꽂힌 카드들의 PCI 주소 순서로 정해지므로, 카드를 더하거나 빼거나 슬롯을 옮기면 바뀝니다. 모니터링 라벨, 컨테이너 배정, 펌웨어 업데이트 대상처럼 특정 카드를 가리켜야 하는 곳에는 PCI 주소나 serial을 쓰십시오. 컨테이너에 주는 CDI 장치 이름(컨테이너 지원)과 hyperaccel-smi의 -i, HYPERACCEL_VISIBLE_DEVICES(hyperaccel-smi)도 번호로 카드를 고릅니다.
PCI 주소와 serial로 카드 가리키기¶
/sys/class/ha/haN/device는 그 카드의 PCI 디바이스를 가리키는 링크입니다. 다음 명령은 카드마다 번호, PCI 주소, serial을 한 줄씩 출력합니다.
1 2 3 | |
1 2 | |
serial은 칩에 기록된 고유 번호라 카드를 다른 슬롯으로 옮겨도 그대로입니다. 펌웨어가 이 값을 알려 주지 않는 카드나 아직 준비되지 않은 카드는unknown이므로, 이때는 PCI 주소를 쓰십시오.- PCI 주소는 도메인까지 포함한 형식(
0000:1a:00.0)으로 적으십시오. PCI 도메인이 여러 개인 호스트에서는 버스·디바이스·함수 번호가 같은 카드가 둘 이상 있을 수 있습니다. hyperaccel-smi의Bus-Id열,ha-fw-update의-d,ha-hotreset의--bdf가 같은 PCI 주소를 씁니다.
드라이버에 바인드되지 않은 카드까지 보려면 PCI 버스를 직접 확인합니다.
1 2 3 4 | |
카드마다 따로 동작하는 것¶
| 항목 | 범위 |
|---|---|
| 디바이스 노드와 텔레메트리 | 카드마다. /dev/haN, /sys/class/ha/haN/ |
FATAL 상태와 health |
카드마다. 한 카드가 FATAL이 되어도 다른 카드는 계속 동작합니다 |
| 리셋 | 카드마다. 리셋한 카드의 작업만 초기화됩니다 |
| 펌웨어 업데이트 | 카드마다. ha-fw-update는 지정한 카드 하나에 씁니다 |
카드마다 따로 동작하는 항목에도 예외가 둘 있습니다.
- 카드 사이의 데이터 경로는 두 카드에 걸칩니다. 한 카드를 리셋하거나 제거하면, 다른 카드에서 그 카드와 데이터를 주고받던 작업도 영향을 받습니다(한 카드를 리셋하거나 제거할 때).
- PCIe 오류 복구는 커널이 오류를 검출한 포트 아래 전체를 대상으로 합니다. PCIe 스위치나 그 위의 포트에서 오류가 검출되면 그 아래의 카드가 함께 리셋될 수 있습니다(FATAL과 복구).
카드 사이의 데이터 경로¶
카드끼리는 호스트 메모리를 거치지 않고 PCIe로 데이터를 주고받을 수 있습니다. 경로는 둘입니다. 하나는 한 카드의 DMA 엔진이 다른 카드의 메모리와 데이터를 옮기는 디바이스 간 복사 방식이고, 다른 하나는 카드에서 실행되는 연산 코드(이 장에서는 "디바이스 커널"이라고 부릅니다. 리눅스 커널과 다릅니다)가 다른 카드의 코어 SRAM 영역을 직접 읽고 쓰는 접근입니다. 코어 SRAM은 연산 코어마다 있는 SRAM으로, 텔레메트리의 sram_size·sram_used가 가리키는 호스트 공유 SRAM과 다릅니다.
| 디바이스 간 복사 | 디바이스 커널의 SRAM 접근 | |
|---|---|---|
| 데이터를 옮기는 주체 | 두 카드 중 한 카드의 DMA 엔진 | 한 카드에서 실행되는 디바이스 커널 |
| 상대 카드에서 닿는 곳 | BAR2를 거쳐 상대 카드의 메모리 | BAR0를 거쳐 상대 카드의 코어 SRAM |
| 시작하는 쪽 | SDK의 디바이스 간 복사 | 다른 카드의 코어 SRAM을 읽고 쓰는 디바이스 커널 |
| 확인하는 노드 | peer_map |
peer_sram |
- 두 경로는 서로 독립입니다.
peer_map은 디바이스 간 복사에 대해서만,peer_sram은 디바이스 커널의 접근에 대해서만 알려 줍니다. - 두 카드 사이의 PCIe 경로 판정(
peer_route)은 두 경로에 공통입니다. - 세 텔레메트리 노드(
peer_map,peer_sram,peer_route)는 호스트 쪽 상태만 읽으므로 카드가 멈춘 동안에도 읽을 수 있고, root 권한 없이 읽을 수 있습니다.
디바이스 간 복사¶
카드가 드라이버에 등록되면, 드라이버는 이미 등록된 카드들과의 사이에 양방향으로 DMA 엔진이 상대 카드의 BAR에 닿는 DMA 주소를 준비합니다. peer_map은 한 카드를 기준으로 다른 카드들로 가는 방향의 결과를 보여 줍니다.
1 | |
1 2 | |
- 등록된 다른 카드마다 한 줄이고,
peerN의N은 그 카드의 번호입니다. 다른 카드가 없으면none입니다. - 방향이 있습니다. ha0의
peer1 mapped는 ha0의 DMA 엔진이 ha1에 닿는 주소가 있다는 뜻입니다. 두 카드 사이의 복사를 어느 카드의 DMA 엔진이 수행할지는 애플리케이션의 동작 구성에 따라 달라지므로, 양쪽 카드의peer_map에서 상대 카드가 모두mapped인지 확인하십시오. unmapped인 방향의 디바이스 간 복사는 오류로 끝납니다. 드라이버는 실패한 복사를 다른 경로로 대신 시도하거나 보내지 않습니다.- 주소를 준비하지 못한 방향이 있으면, 두 카드 중 나중에 등록된 카드가 등록될 때 커널 로그에
dma_map_resource failed for peer[N]이 남습니다. 메시지 앞의 PCI 주소는unmapped가 나온 카드의 주소이고,N은 상대 카드의 번호입니다. - 상대 카드가 제거되면 그 줄이 사라지고, 다시 등록되면 다시 나타납니다.
한 카드로 복사가 몰릴 때. 디바이스 간 복사는 복사하는 동안 상대 카드의 메모리 창을 고정해 씁니다. 한 카드가 동시에 고정해 줄 수 있는 창은 12개이고 복사 하나가 여러 개를 쓸 수 있어서, 여러 카드가 한 카드를 상대로 동시에 복사하면 이 한도에 먼저 닿습니다. 한도에 닿은 복사는 창이 빌 때까지 기다리다가 ha_tw_pin_wait_ms(기본 12000 ms)가 지나면 아무것도 옮기지 않고 실패합니다. 이때 창을 내주는 카드의 커널 로그에 TW pin: 12/12 slots pinned for 12000ms, giving up (da=0x…) 같은 경고가 남습니다. 이 경고가 반복되면 한 카드로 몰리는 동시 복사를 줄이십시오. 파라미터의 범위는 파라미터 레퍼런스에 있습니다.
변환 창 경계. 상대 카드의 메모리를 변환 창 하나의 크기(tw_window_size)로 나눈 경계에 걸치는 복사는 드라이버가 경계에서 잘라 창 하나씩 고정하고 전송하고 풀기를 되풀이합니다. 데이터는 그대로 옮겨지지만, 창 하나로 끝나는 복사보다 오래 걸릴 수 있습니다.
디바이스 커널의 SRAM 접근¶
peer_sram은 이 카드에서 실행되는 디바이스 커널이 호스트에 설치된 각 LPU의 코어 SRAM에 어떤 주소로 닿는지 보여 줍니다. 설치된 LPU마다 PCI 주소 순으로 한 줄이며, 드라이버에 바인드되지 않은 카드와 이 카드 자신도 포함합니다.
1 | |
1 2 3 4 | |
- 첫 칸은 그 LPU의 번호(
haN)이고, 드라이버에 등록되지 않은 LPU는-입니다. - 디바이스 커널이 쓰는 값은
base=에 적힌 값 하나입니다. 괄호 안은 참고용입니다. route는 이렇게 읽습니다.
route |
뜻 |
|---|---|
bus, iova, remap:K |
이 카드의 디바이스 커널이 그 LPU의 코어 SRAM에 닿는 주소가 있습니다. base가 그 시작 주소입니다. 셋의 차이는 IOMMU 모드와 디바이스 간 경로에 있습니다 |
self |
이 카드 자신입니다. base가 없습니다 |
none:<사유> |
드라이버가 이 카드의 디바이스 커널에 그 LPU의 주소를 주지 않습니다. base가 없습니다 |
unknown |
지금은 판정을 믿을 수 없습니다. 이 카드나 그 LPU가 리셋 중이거나, 아직 준비되지 않았거나, FATAL 상태이거나, 응답하지 않아 텔레메트리 폴러가 멈췄습니다. 상태가 돌아오면 다시 계산됩니다 |
운영자가 바로 조치할 수 있는 none 사유는 다음과 같습니다. 나머지 사유는 sysfs 레퍼런스에 있습니다.
| 사유 | 뜻 | 조치 |
|---|---|---|
not-bound |
그 카드가 어느 드라이버에도 바인드되어 있지 않습니다. 드라이버가 다루는 8장을 넘는 카드도 여기에 해당합니다 | 그 카드를 ha에 바인드하십시오. 8장을 넘는 카드는 바인드되지 않습니다 |
other-driver |
그 카드가 다른 드라이버(예: vfio-pci)에 바인드되어 있습니다 |
이 경로에 쓰려면 그 카드를 ha에 다시 바인드하십시오 |
이 경로에 필요한 주소 창과 IOMMU 매핑은 드라이버가 probe할 때 만들고, 리셋 뒤에는 다시 맞춥니다. 운영자가 따로 설정할 것은 없습니다.
디바이스 커널이 쓸 코어별 주소는 base에서 이렇게 구합니다.
1 | |
c는 코어 번호로,4 × 코어 그룹 번호 + 그룹 안 코어 번호(0-31)입니다.w는 그 코어 SRAM의 128바이트 word 번호(0-65535)입니다.
PCIe 경로와 ACS¶
peer_route는 이 카드와 다른 카드 사이의 트래픽이 PCIe 스위치 안에서 오가는지, root complex를 거치는지를 보여 줍니다.
1 | |
1 2 | |
| 값 | 뜻 |
|---|---|
direct |
두 카드에 공통 상위 브리지(PCIe 스위치)가 있고, 경로상 브리지에 디바이스 간 요청을 위로 올려보내거나 막는 ACS 설정이 없습니다. 트래픽이 스위치 안에서 오갑니다 |
host-mem |
트래픽이 root complex를 거칩니다. 두 카드가 서로 다른 root port 아래(다른 CPU 소켓 포함)에 있거나, PCI 도메인이 다르거나, 경로상 브리지의 ACS가 요청을 위로 올려보내거나 막도록 설정된 경우입니다 |
unknown |
경로상 브리지의 ACS 설정을 읽지 못했습니다. 커널 로그에 그 브리지의 PCI 주소와 함께 ACS state unreadable; P2P route stays unknown이 남습니다. 카드가 등록되는 짧은 동안에도 나올 수 있습니다 |
- 다른 카드가 없으면
none입니다. - 판정은 카드가 드라이버에 등록될 때 합니다. 그 뒤에 ACS 설정을 바꾸면 그 카드를 다시 바인드하거나 모듈을 다시 적재해야 반영됩니다. 등록할 때의 판정은 커널 로그에
P2P peer[1]: direct처럼 남습니다. - 관측용입니다. 어떤 값도 복사나 접근을 막지 않습니다.
host-mem이어도 두 경로는 그대로 쓰이며, root complex를 거치므로direct보다 느릴 수 있습니다. - IOMMU를 켠 호스트에서는 passthrough로 두더라도 리눅스 커널이 PCIe 브리지의 ACS redirect를 켜는 것이 보통이라, 같은 스위치 아래의 두 카드도
host-mem으로 나올 수 있습니다.
판정의 근거는 직접 확인할 수 있습니다. /sys/class/ha/haN/device 링크의 실제 경로에는 root port부터 그 카드까지 거치는 브리지가 차례로 나옵니다.
1 2 | |
1 2 | |
이 예에서 두 카드의 공통 상위 브리지는 0000:18:00.0이고, 두 카드 사이 경로의 브리지는 0000:19:00.0, 0000:19:01.0, 0000:18:00.0입니다. 각 브리지의 ACS 설정은 이렇게 봅니다.
1 | |
ACSCtl 줄에 ReqRedir+, CmpltRedir+, EgressCtrl+ 중 하나라도 있는 브리지가 경로에 있으면 host-mem입니다. ACS 기능이 없는 브리지에는 이 줄이 없습니다.
주소가 준비되었다는 것과 경로가 통한다는 것은 다릅니다
peer_map의 mapped와 peer_sram의 base는 드라이버가 상대 카드에 닿을 주소를 준비했다는 뜻이고, peer_route는 토폴로지와 ACS 설정에서 읽어 낸 판정입니다. 어느 것도 PCIe fabric이 두 카드 사이의 트래픽을 실제로 전달한다는 것을 보장하지 않습니다. 특히 host-mem 경로가 동작하는지는 플랫폼의 root complex에 달려 있습니다. 배포하기 전에 쓸 카드 쌍마다 실제 크기로 전송해 보고 데이터를 비교하십시오.
IOMMU 모드와 디바이스 간 경로¶
IOMMU 모드는 카드가 PCIe로 내보내는 주소를 어떻게 해석할지 정합니다. 카드마다 이렇게 확인합니다.
1 2 | |
| 결과 | 모드 |
|---|---|
type이 DMA 또는 DMA-FQ |
translation. IOMMU가 카드가 내보내는 주소를 변환합니다 |
type이 identity |
passthrough(예: 커널 명령행 iommu=pt) |
readlink가 아무것도 출력하지 않음(iommu_group 링크가 없음) |
IOMMU가 꺼져 있습니다 |
type 파일은 커널 4.19부터 있고, RHEL 8 계열의 4.18.0-553 커널에도 있습니다. 이 파일이 없는 커널에서는 iommu_group 링크가 있으면 IOMMU가 켜져 있다는 것까지만 알 수 있고, translation인지 passthrough인지는 커널 명령행의 IOMMU 설정(예: iommu=pt)으로 확인합니다.
HyperAccel 드라이버는 세 가지 IOMMU 구성을 모두 지원합니다 (지원 환경).
모드에 따라 두 경로가 상대 카드의 주소를 얻는 방식과 카드가 닿을 수 있는 범위가 달라집니다.
| translation | passthrough 또는 IOMMU 꺼짐 | |
|---|---|---|
| 디바이스 간 복사 | 상대 카드의 BAR2를 이 카드의 IOMMU 주소 공간에 매핑해 씁니다 | 상대 카드의 물리 주소를 그대로 씁니다 |
peer_sram의 route |
iova. 드라이버가 상대 BAR0를 이 카드의 IOMMU 주소 공간에 매핑하고, 이 카드가 바인드된 동안 유지합니다 |
상대 BAR0가 호스트 주소 240 GiB 안에서 끝나면 bus, 그 위에 있으면 드라이버가 이 카드의 주소 창 하나를 그 BAR0에 맞춰 다시 설정한 remap:K(K는 창 번호)입니다 |
| 카드가 닿는 범위 | IOMMU가 그 카드에 매핑한 주소로 한정됩니다. 드라이버가 다른 LPU의 BAR를 매핑하므로 다른 카드에는 닿습니다 | IOMMU가 제한하지 않습니다. 디바이스 커널은 다른 LPU 외의 주소에도 닿을 수 있습니다 |
- 240 GiB 경계는 카드가 PCIe로 내보내는 주소 창이 PCIe 주소의 앞 240 GiB를 그대로 가리키기 때문에 생깁니다. passthrough에서는 이것이 호스트 물리 주소이고, translation에서는 IOMMU 주소입니다. translation에서 IOMMU가 준 주소가 이 범위를 넘으면
none:iova-above-240g입니다. - passthrough에서
remap:K에 쓸 창은 그 주소 구간에 시스템 RAM도 다른 PCI 장치의 메모리도 없는 것만 고릅니다. 시스템 RAM이 큰 호스트에서는 고를 창이 없어none:no-free-region이 될 수 있습니다. - IOMMU 설정은 ACS 설정을 통해
peer_route에도 영향을 줍니다(PCIe 경로와 ACS).
한 카드를 리셋하거나 제거할 때¶
다른 카드는 계속 동작합니다. 다만 그 카드와 데이터를 주고받던 작업과 다른 카드의 peer 노드에 다음 변화가 보입니다.
| 그 카드에 일어난 일 | 다른 카드에서 보이는 것 |
|---|---|
| 리셋 중 | peer_sram에서 그 카드의 줄이 unknown입니다. 리셋이 끝나면 다시 계산됩니다. peer_map과 peer_route는 그대로입니다. 그 카드를 상대로 하는 디바이스 간 복사는 시작하지 않고 다시 시도할 수 있는 오류(EAGAIN)로 끝납니다. 전송 도중에 리셋되면 성공 대신 오류로 끝납니다 |
| FATAL | peer_sram에서 그 카드의 줄이 리셋으로 FATAL이 풀릴 때까지 unknown입니다. FATAL이거나 텔레메트리 폴링이 멈춘 카드를 상대로 하는 디바이스 간 복사는 시작하지 않고 장치 없음 오류(ENODEV)로 끝납니다. 응답하지 않을 수 있는 카드를 PCIe로 건드려 호스트가 리셋되는 일을 막기 위해서입니다 |
제거(unbind, hot-unplug, ha-hotreset의 제거 단계) |
peer_map과 peer_route에서 그 카드의 peerN 줄이 사라지고, 남은 카드가 없으면 none이 됩니다. peer_sram에서는 그 카드 줄의 첫 칸이 -가 되고 base를 쓸 수 없게 됩니다. 그 카드를 상대로 하는 디바이스 간 복사는 실패합니다 |
다시 등록(재바인드, 재스캔, ha-hotreset의 재probe) |
줄이 다시 나타납니다. 같은 PCI 주소면 보통 이전 번호로 돌아옵니다(카드 번호) |
- 리셋은 그 카드의 메모리를 모두 회수합니다. 리셋 전에 그 카드에 받아 둔 메모리는 다른 카드와 복사할 때도 쓸 수 없으므로, 애플리케이션은 SDK로 다시 할당해야 합니다.
- 다른 카드에서 그 카드를 상대로 하는 디바이스 간 복사가 진행 중이면, 제거는 그 복사가 끝날 때까지 기다린 뒤 진행합니다.
- 다시 등록된 카드의 BAR0 주소가 바뀌었으면, IOMMU가 translation 모드인 다른 카드의
peer_sram에서는 그 카드 줄이none:unsupported로 나옵니다.peer_sram에서 그 줄이 나온 쪽 카드를 다시 바인드하거나 모듈을 다시 적재하면 새 주소로 다시 계산됩니다. BAR0 주소는peer_sram의bar0칸에서 확인합니다. ha-hotreset은 지정한 카드만 제거하고 부모 브리지에 SBR을 건 뒤 다시 인식시킵니다. 다른 카드와 모듈은 건드리지 않으며, 부모 브리지 아래에 다른 장치가 있으면 리셋을 거절합니다(ha-hotreset).
리셋·제거 전에 카드 사이의 작업을 멈추십시오
리셋과 제거는 그 카드를 연 프로세스만이 아니라, 다른 카드에서 그 카드와 데이터를 주고받는 작업에도 영향을 줍니다. 그 카드를 상대로 하는 디바이스 간 복사와, 그 카드의 코어 SRAM을 읽고 쓰는 디바이스 커널을 먼저 멈추십시오. 리셋이나 제거 도중에 그 카드에 접근한 디바이스 커널의 결과는 믿을 수 없습니다.
신뢰 경계¶
카드를 나눠 주는 것만으로는 워크로드가 격리되지 않습니다
- 기본 udev 규칙은 디바이스 노드를 모든 로컬 사용자에게 엽니다(
0666). - 같은 디바이스 노드를 여는 프로세스끼리는 디바이스 메모리가 서로 격리되지 않습니다.
- 한 카드에서 디바이스 커널을 실행할 수 있으면, 그 카드에서 닿는 다른 LPU의 코어 SRAM을 읽고 쓸 수 있습니다. 그 카드의
peer_sram에base가 나온 LPU는 모두 여기에 해당하며, 그 LPU를 다른 사용자나 다른 컨테이너가 쓰고 있어도 같습니다. - 디바이스 간 복사는 한 카드의 노드만 열어도 다른 카드에 할당된 메모리를 원본이나 목적지로 삼을 수 있습니다.
- IOMMU가 passthrough이거나 꺼져 있으면 디바이스 커널이 닿는 범위가 다른 LPU로 한정되지 않습니다.
서로 격리해야 하는 워크로드를 한 호스트의 여러 카드에 나눠 배치할 때는 이 경로를 전제로 설계하십시오. 노드를 열 수 있는 사용자를 제한하는 방법은 접근 제한하기에 있습니다.
함께 보기¶
- sysfs 레퍼런스 —
peer_map,peer_route,peer_sram의 정의와none사유 전체 - 파라미터 레퍼런스 —
ha_tw_pin_wait_ms - 텔레메트리 — 노드의 갱신 방식과
unknown의 뜻 - FATAL과 복구 — 리셋, 언바인드, PCIe 오류 복구
- ha-hotreset — 카드 하나의 핫 리셋
- hyperaccel-smi — 카드별
Bus-Id와serial - 컨테이너 지원 — CDI 장치 이름
- 커널 로그 메시지
- 지원 환경 — 지원하는 IOMMU 구성과 카드 수
- 문제 해결