콘텐츠로 이동

8. 다중 노드 실행

이 장은 랭크가 서버 여러 대에 걸쳐 있을 때 달라지는 점을 다룹니다. 어떤 전송이 쓰이는지, 어떤 네트워크 인터페이스로 연결되는지, 컨테이너와 방화벽에서 무엇이 걸리는지, 서버 사이를 정말 건넜는지 어떻게 확인하는지입니다. 토폴로지를 파일로 고정하는 방법도 여기서 다룹니다.


8.1 서버가 여럿일 때 달라지는 것

LCCL은 두 랭크를 연결할 때 호스트 식별자를 비교합니다. 식별자는 호스트명에 부팅마다 달라지는 boot id를 붙인 값이며 LCCL_HOSTID로 덮어쓸 수 있습니다. 같으면 같은 서버로, 다르면 다른 서버로 취급합니다.

두 랭크의 위치 전송
같은 서버, 같은 프로세스 P2P (장치 간 직접 DMA)
같은 서버, 다른 프로세스 공유 메모리
다른 서버 네트워크: ibverbs를 먼저 시도하고, 쓸 수 없으면 TCP 소켓

같은 서버의 두 카드라도, 각 카드에 같은 PCIe 스위치 아래의 NIC이 있고 그 NIC까지의 경로가 두 카드 사이의 경로보다 대역폭이 크면 네트워크 전송으로 이어집니다(예: CPU 소켓이 다른 두 카드가 각각 400 Gb/s NIC과 스위치를 함께 쓰는 서버). 이 판단은 PCIe 배치와 링크 대역폭(직접 탐색한 값이나 토폴로지 파일에 적은 값)으로 정해지며, 이렇게 이어진 카드는 서로 다른 노드로 세어지므로 comm.n_nodes가 서버 수보다 커집니다.

서버 사이에서는 프로세스 하나가 랭크 하나를 맡는 구성만 지원합니다. 서버마다 프로세스 하나가 그 서버의 카드를 모두 맡는 구성은 지원하지 않습니다.

확인한 구성

서버 2대에 각각 LPU 1장을 두고 TCP 소켓으로 잇는 구성에서, LPU 메모리와 장치 커널을 포함한 AllGather와 AllReduce를 확인했습니다. 컨테이너 안에서(호스트 네트워크) 실행하는 경우도 포함합니다. ibverbs는 한 서버 안에서 케이블로 이은 RNIC 2개로 AllGather·AllReduce·ReduceScatter·Broadcast를 확인했고, 서버 2대 사이의 ibverbs 연결은 확인하지 않았습니다. 3대 이상의 서버와 서버당 여러 카드를 서버 사이로 잇는 구성도 확인하지 않았습니다. 지원 매트릭스를 보십시오.

8.2 구성 순서

모든 서버에 같은 릴리즈의 lccl(또는 torch_ha)을 설치하십시오. 릴리즈가 다른 랭크를 한 커뮤니케이터에 섞는 구성은 지원하지 않습니다.

  1. 서버마다 랭크 프로세스를 띄웁니다. 모든 랭크가 같은 nranks를 쓰고, 랭크 번호는 0부터 nranks - 1까지 겹치지 않게 부여합니다.
  2. 한 랭크가 고유 ID를 만들어 모든 서버의 랭크에 보냅니다. 이 핸들에 고유 ID를 만든 프로세스의 접속 주소가 들어 있으므로, 다른 서버의 랭크가 그 주소로 접속할 수 있어야 합니다. 전달 수단은 MPI, 키-값 저장소 등 어떤 것이든 됩니다. torch.distributed의 lccl 백엔드는 한 서버 안의 실행만 지원하므로, 서버 여러 대에 걸친 실행은 이 순서대로 lccl API로 구성하십시오(지원 매트릭스).
  3. 서버마다 어떤 네트워크 인터페이스를 쓸지 고정합니다(8.3).
  4. 각 랭크가 자기 카드를 고른 뒤 LcclCommInitRank()를 호출합니다.
  5. 서버 사이를 건넜는지 확인합니다(8.6).

8.3 네트워크 인터페이스 고르기

LCCL_SOCKET_IFNAME이 부트스트랩, 소켓 전송, ibverbs 연결 설정에 쓰는 인터페이스를 모두 고정합니다. 서버에 NIC이 여럿이면 반드시 지정하십시오.

표기 의미
eth 접두사 매칭. eth0, eth1 모두
=eth0 정확히 eth0만
^docker,lo docker*와 lo를 제외한 것

서버마다 NIC 이름이 eno1, enp3s0f0처럼 다르면 각 서버에 자기 NIC의 정확한 이름을 따로 지정하십시오. en 같은 접두사는 관리용 NIC에도 매칭되므로 그 NIC이 선택될 수 있습니다.

1
2
3
4
# 서버 A
export LCCL_SOCKET_IFNAME="=eno1"
# 서버 B
export LCCL_SOCKET_IFNAME="=enp3s0f0"

지정하지 않으면 ib*, docker와 lo가 아닌 것, docker*, lo 순으로 처음 매칭되는 인터페이스를 고릅니다. NIC이 여러 개인 서버에서는 관리용 NIC이나 연결되지 않은 ib0을 고를 수 있습니다.

지정하면 자동 선택으로 돌아가지 않습니다. 매칭되는 인터페이스가 없으면 경고와 함께 실패합니다. 조용히 폴백하면 서버 사이 연결이 루프백에 올라간 채 성공을 보고하는 최악의 상황이 되기 때문입니다.

8.4 방화벽과 컨테이너

방화벽. 고유 ID를 만든 프로세스와 소켓 전송은 임시(ephemeral) 포트에서 접속을 받습니다. 서버 사이 TCP를 가로막는 방화벽이나 보안 그룹이 있으면 연결이 끝나지 않습니다. 고정 포트를 쓰는 설정은 없으니 서버 사이 TCP 전체를 허용하십시오.

컨테이너: bridge 네트워크. 기본 bridge 네트워크에서 각 컨테이너는 자기 서버 안에서만 유효한 172.17.x.x 주소를 광고합니다. 다른 서버는 이 주소로 갈 수 없어 랑데부가 영원히 끝나지 않습니다. 서로 다른 서버의 컨테이너라면 호스트 네트워크를 쓰십시오(docker run --network host). 호스트명이 서버마다 다르므로 서버 구분은 유지됩니다.

컨테이너: 한 서버에 두 개. 같은 서버에서 컨테이너 둘을 --network host로 띄우면 둘 다 호스트의 이름을 보고합니다. 두 컨테이너가 /dev/shm을 공유하면(예: docker run --ipc=host) 한 서버로 취급되어 n_nodes == 1이 되고 공유 메모리로 연결됩니다. 컨테이너마다 /dev/shm이 따로 있으면(기본 설정) 컨테이너마다 서로 다른 서버로 취급되어 n_nodes == 2가 되고, 컨테이너 사이 통신은 네트워크 전송을 탑니다.

컨테이너: ibverbs. 컨테이너 안에서 ibverbs를 쓰려면 RDMA 장치를 컨테이너에 넘기고 잠금 메모리 한도를 풀어 주십시오(docker run --device /dev/infiniband --ulimit memlock=-1). 이미지에는 libibverbs와 호스트에서 쓰는 것과 같은 RNIC provider 라이브러리를 설치하고, ibverbs가 선택되는지는 LCCL_NET=IB로 고정해 확인하십시오(8.5).

8.5 ibverbs (InfiniBand, RoCE)

RDMA 장치가 있고 런타임에 libibverbs가 있으면 LCCL은 소켓보다 먼저 ibverbs를 씁니다. 둘 중 하나가 없으면 오류 없이 소켓으로 넘어갑니다.

  • 조건이 맞으면 LPU 메모리를 직접 RDMA합니다(LPU Direct RDMA). RNIC이 데이터를 호스트 메모리로 옮기지 않고 LPU 메모리에서 바로 읽고 씁니다. 연결의 양쪽 서버가 모두 다음 조건을 갖춰야 하고, 하나라도 맞지 않으면 그 연결의 데이터는 전처럼 호스트 메모리를 거칩니다. - 드라이버 2.6.0 이상이고 변환 창(tw_window_size)이 64 MiB입니다. 드라이버가 LPU 메모리를 dma-buf로 내보낼 수 있어야 합니다. - RNIC 드라이버가 dma-buf 메모리 등록을 지원합니다. - LPU와 RNIC 사이 PCIe 경로가 LCCL_NET_RDMA_LEVEL 이하입니다. 기본값 PXB는 둘이 PCIe 스위치 아래에 함께 있어 CPU를 거치지 않는 경로입니다. - LCCL_BUFFSIZE가 256 KiB(262144)의 배수입니다. 기본값(4 MiB)은 이 조건을 만족합니다.
  • LPU Direct RDMA를 쓰는 프로세스는 LPU마다 LPU 메모리를 기본 1 GiB 할당해 프로세스가 끝날 때까지 유지하고, 이 메모리가 모자라면 호스트 메모리로 넘어가지 않고 커뮤니케이터 생성이 실패합니다. 크기와 오류 코드는 환경 변수의 LCCL_DMABUF_POOL_SIZE_PER_CHANNEL을 보십시오.
  • 직접 RDMA를 쓰지 않으려면 LCCL_NET_RDMA_LEVEL=LOC로 두십시오. 송신 쪽만 끄려면 LCCL_NET_RDMA_READ=0, 수신 쪽만 끄려면 LCCL_GDR_FLUSH_DISABLE=1입니다.
  • LCCL_IB_DISABLE=1이면 ibverbs를 쓰지 않습니다.
  • 여러 장치가 있으면 LCCL_IB_HCA로 장치와 포트를 고르고(예: mlx5_0:1), RoCE에서 GID 선택이 문제면 LCCL_IB_GID_INDEX를 지정하십시오.
  • 연결 설정(핸드셰이크)은 IP 인터페이스를 쓰므로 LCCL_SOCKET_IFNAME이 여기에도 적용됩니다.

어떤 백엔드가 선택됐는지는 INFO 로그에만 남아 릴리즈 빌드에서는 보이지 않습니다. 확인하려면 LCCL_NET=IB로 백엔드를 고정하십시오. ibverbs를 쓸 수 없으면 커뮤니케이터 생성이 kLcclInvalidArgument로 실패합니다. 변수는 환경 변수를 보십시오.

8.6 실제로 네트워크를 건넜는지 확인하기

집합 연산이 통과했다는 사실은 서버 사이 통신에 대해 아무것도 증명하지 못합니다. 결과값은 공유 메모리로 갔든 네트워크로 갔든, 같은 서버든 다른 서버든 똑같이 맞습니다. 통신이 조용히 공유 메모리로 되돌아가도 테스트는 통과합니다. 다음을 확인하십시오.

확인 방법
노드가 실제로 나뉘었는가 모든 랭크에서 comm.n_nodes가 서버 수와 같은지 봅니다. 같은 서버의 카드가 네트워크 전송으로 이어지는 배치(8.1)에서는 서버 수보다 큽니다
위조된 분할이 아닌가 LCCL_HOSTID를 설정하지 않았는지, 한 서버에 /dev/shm이 서로 다른 컨테이너를 여럿 띄우지 않았는지 봅니다. 이런 분할은 같은 서버 안의 루프백으로 붙어 네트워크를 전혀 검증하지 못합니다
어느 인터페이스로 나갔는가 LCCL_SOCKET_IFNAME으로 고정한 NIC의 송수신 카운터(ip -s link)나 RNIC 포트 카운터가 늘었는지 봅니다
ibverbs가 선택됐는가 LCCL_NET=IB로 고정해 생성이 성공하는지 봅니다
LPU Direct RDMA를 쓰는가 커뮤니케이터를 만든 뒤 호스트에서 /sys/class/ha/ha*/dmabuf_exports를 읽어 그 랭크 프로세스의 pid가 적힌 live 창이 있는지 봅니다. 있으면 그 랭크의 네트워크 연결 중 LPU Direct RDMA를 쓰는 것이 있고, 없으면 모두 호스트 메모리를 거칩니다(sysfs 노드)

n_nodes만으로는 부족합니다. LCCL_HOSTID로 속인 분할도 같은 값을 보고하기 때문입니다.

8.7 토폴로지 파일

기본적으로 LCCL은 초기화할 때 /sys를 읽어 서버의 하드웨어 배치(CPU, PCIe 구조, LPU, NIC)를 직접 탐색합니다. 오케스트레이션이 파드를 만들 때 이 배치를 알고 있다면 JSON 한 장으로 넘길 수 있습니다. LCCL_PREDEFINED_SYSINFO에 파일 경로를 넣으면 LCCL은 탐색 대신 그 파일을 씁니다. 랭크 사이의 연결 경로는 파일에 적지 않습니다. 파일이 기술한 하드웨어 배치를 바탕으로 LCCL이 경로를 정합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
{
  "schemaVersion": 1,
  "name": "server",
  "members": [
    {
      "name": "CPU", "socketId": 0, "arch": "x86", "vendor": "Intel",
      "familyId": 6, "modelId": 85,
      "affinity": "ffffffff,ffffffff,ffffffff,ffffffff",
      "members": [
        { "name": "PCI", "busId": "17:00.0", "linkspeed": 48.0,
          "members": [ { "name": "LPU", "busId": "19:00.0", "linkspeed": 48.0 } ] },
        { "name": "PCI", "busId": "31:00.0", "linkspeed": 48.0,
          "members": [ { "name": "LPU", "busId": "33:00.0", "linkspeed": 48.0 } ] }
      ]
    }
  ]
}
키 설명
schemaVersion 정수. 현재 값은 1
최상위 members CPU 목록
CPU socketId(NUMA 노드 번호), arch, vendor, familyId, modelId, affinity(그 NUMA 노드의 cpumap)와 members
PCI busId(필수), linkspeed와 중첩 members(PCI, LPU, NIC)
LPU, NIC busId(필수), linkspeed

규칙은 다음과 같습니다.

  • busId가 파일과 실행 환경을 잇는 유일한 키입니다. LPU.busId는 그 랭크가 실제로 연 카드의 PCI 주소여야 합니다. 도메인이 0000이 아닌 장비는 도메인까지 적으십시오(0001:d8:00.0). PCI, LPU, NIC의 busId는 모두 lspci나 sysfs가 보여 주는 형식(19:00.0, 0000:19:00.0)으로 적습니다. busId가 없거나 이 형식이 아니면 초기화가 kLcclTopoConfigInvalid로 실패합니다.
  • rank도 디바이스 번호도 적지 않습니다. 실행 시점에 LCCL이 채웁니다.
  • NIC은 카드 단위입니다. 포트는 적지 않고 카드 한 장에 NIC 한 줄입니다. 주소는 ls -l /sys/class/net/*/device나 ls -l /sys/class/infiniband/*/device가 가리키는 경로의 마지막 성분입니다.
  • 랭크가 쓰는 네트워크 장치(ibverbs의 RNIC, 소켓 전송의 인터페이스)의 카드는 빠짐없이 NIC으로 적으십시오. 카드가 파일에 없는 장치는 서버 한 대 안의 작업에서도 경고와 함께 무시되고, 서버 사이에 쓸 장치가 하나도 남지 않으면 초기화가 kLcclCommError로 실패합니다.
  • CPU 항목은 소켓이 아니라 NUMA 노드마다 하나입니다. 카드는 socketId가 그 카드의 numa_node(/sys/bus/pci/devices/<busId>/numa_node)와 같은 CPU 아래에 두고, affinity에는 그 NUMA 노드의 /sys/devices/system/node/node<N>/cpumap을 형식 그대로(소문자 16진수, 32비트마다 쉼표, 0x 없음) 적습니다.
  • arch는 x86_64(또는 x86)로, vendor는 GenuineIntel(또는 Intel), AuthenticAMD(또는 AMD), CentaurHauls(또는 Zhaoxin) 중 하나로 대소문자까지 똑같이 적습니다. 그 밖의 값이면 경고를 남기고 CPU 종류를 모르는 것으로 봅니다.
  • linkspeed는 그 항목을 바로 위 항목에 잇는 링크의 대역폭(GB/s)입니다. PCI, LPU, NIC 모두 적을 수 있습니다. 값은 LCCL이 직접 탐색할 때 그 링크에 매기는 값을 적습니다. 예를 들어 PCIe Gen5 x16 링크는 48, Gen4 x16이나 Gen5 x8 링크는 24입니다. 없거나 null이면 부모의 값을 물려받지 않고, 직접 탐색할 때와 같은 기본값 12 GB/s를 씁니다. 양수가 아닌 값은 초기화가 kLcclTopoConfigInvalid로 실패합니다.
  • 숫자 필드에는 JSON 숫자만 씁니다. true, 16진수, inf, "48GB" 같은 값과 정수 필드의 소수나 범위 밖 값은 초기화 오류입니다. 괄호가 맞지 않거나 끝에 쉼표가 있거나 잘린 파일도 일부만 읽지 않고 초기화 오류로 끝납니다.
  • 가상 인터페이스(veth, bond 등)는 적지 않습니다. LCCL이 실행 시 찾아서, 이 서버에서 가장 작은 랭크가 쓰는 카드의 CPU에 붙입니다. 파일 없이 직접 탐색할 때와 같습니다.
  • 파일은 서버 한 대를 기술합니다. 이 서버의 랭크가 잡은 카드가 파일에 없으면 초기화가 kLcclTopoNodeNotFound로 실패하고, 파일에 있는데 아무 랭크도 잡지 않은 카드는 경고와 함께 지워집니다.
  • schemaVersion이 맞지 않거나 숫자가 아니면 항상 kLcclTopoSchemaVersionMismatch로 실패합니다.

프로덕션에서는 LCCL_TOPO_STRICT=1을 권장합니다. 관용 모드(기본)에서는 파일 경로가 틀려도 경고 한 줄만 남기고 직접 탐색으로 내려앉고, 버전 없는 파일을 짐작으로 읽습니다. 둘 다 init이 성공하므로 로그 한 줄이 유일한 증거입니다. strict에서는 그 두 경우가 각각 kLcclTopoFileError, kLcclTopoSchemaVersionMismatch로 실패합니다.

8.8 문제 해결

증상 원인
comm.n_nodes가 기대한 서버 수보다 작다 두 랭크가 같은 호스트 식별자를 봄. 같은 서버에서 /dev/shm을 공유하는 --network host 컨테이너를 서버처럼 나눠 띄웠거나(한 서버로 취급됨) LCCL_HOSTID가 같음
서버 사이 트래픽이 루프백(lo)으로 감 LCCL_SOCKET_IFNAME을 지정하지 않아 자동 선택이 엉뚱한 인터페이스를 골랐음
랑데부가 끝나지 않음 지정한 NIC으로 상대에게 도달할 수 없음. 방화벽, 컨테이너 bridge 주소(172.17.x.x)
kLcclSocketTimeout, kLcclSocketNotConnect 고유 ID가 낡았음(이미 사용을 마친 ID로 접속). 새 ID로 시작하십시오. 또는 주소에 도달할 수 없음
초기화에서 kLcclMemShmMapFail 한 서버의 랭크들이 서로 다른 LCCL_SHM_PATH를 받았음
초기화에서 kLcclNetSizeMismatch 또는 kLcclTransportBuffSizeMismatch 랭크마다 LCCL_BUFFSIZE가 다름
kLcclTopoNodeNotFound 토폴로지 파일에 이 서버의 랭크가 잡은 카드가 없음
워치독이 커널을 중단시킴 서버 사이 연결이 느리거나 랭크들이 연산에 들어오는 시차가 커서 LCCL_KERNEL_TIMEOUT_MS(기본 5초)를 넘김, 또는 한 서버의 랭크가 오지 않음

다음 단계