콘텐츠로 이동

지원 매트릭스

lccl 0.0.6 버전에서 확인한 항목입니다. 여기 없는 것은 확인하지 않은 것입니다.

범례 — ✅ 지원 · 🟡 제한적 · ❌ 미지원 · 📅 예정

설계를 확정하기 전에 이 페이지를 확인하십시오

지원 범위가 고르지 않고, 그 공백이 구현 선택을 바꿀 만큼 큽니다. 특히 LPU에서는 리덕션의 데이터 타입, 크기 단위, 랭크 수에 제약이 있습니다.


실행 환경

환경 설명
LPU 실행 카드의 장치 커널로 통신합니다. torch.distributed의 lccl 백엔드가 쓰는 경로입니다

독립 lccl 패키지(import lccl)는 LPU용 하드웨어 빌드(+hw)로 배포됩니다. 설치할 패키지는 홈에 있습니다. torch_ha에도 LCCL이 들어 있으며 torch.distributed로 사용합니다.


연산

지원의 단위는 (연산, 리덕션, 데이터 타입) 조합입니다. 등록된 커널이 없는 조합은 호출한 지점(그룹 안이면 LcclGroupEnd())에서 kLcclNotSupported로 거부되고 아무것도 전송되지 않습니다.

연산 LPU 실행
LcclAllReduce ✅ Sum, Prod, Avg × Float16, Bfloat16
LcclReduceScatter ✅ Sum × Float16, Bfloat16
LcclAllGather ✅ 모든 타입
LcclBroadcast ✅ 모든 타입
LcclSend / LcclRecv ✅ 모든 타입
LcclAllToAll ✅ 모든 타입
LcclReduce ✅ Sum, Prod, Avg × Float16, Bfloat16
LcclGather ✅ 모든 타입
LcclScatter ✅ 모든 타입

모든 타입 — 리덕션이 없는 연산은 데이터 타입과 관계없이 바이트 단위로 옮기므로 모든 LcclDataType이 동작합니다. 리덕션이 있는 연산은 표에 나열된 타입으로 제한됩니다.

torch.distributed에서는 일부 연산을 쓸 수 없습니다

torch.distributed의 lccl 백엔드는 LPU에서 gather, scatter, reduce, all_to_all을 [HA_LCCL_NO_HW_KERNEL] 예외로 미리 막습니다. 라이브러리의 LcclGather, LcclScatter, LcclReduce, LcclAllToAll은 LPU에서 실행됩니다.

LPU 리덕션은 Float16과 Bfloat16만 됩니다

Float32를 비롯한 다른 타입의 AllReduce, ReduceScatter, Reduce는 호출한 지점(그룹 안이면 LcclGroupEnd())에서 kLcclNotSupported로 거부됩니다. 블로킹 커뮤니케이터는 계속 쓸 수 있습니다. 논블로킹 커뮤니케이터라면 에러 처리를 보십시오.

랭크가 1개인 커뮤니케이터

랭크가 하나이면 집합 연산은 커널을 거치지 않고 복사 한 번으로 끝납니다. 그래서 어떤 타입과 리덕션(Max, Min 포함)도 통과합니다. 1-랭크 테스트가 통과해도 다중 랭크에서 되는지는 알 수 없습니다.

리덕션

리덕션 LPU 실행
Sum LcclAllReduce, LcclReduceScatter, LcclReduce
Prod LcclAllReduce, LcclReduce
Avg LcclAllReduce, LcclReduce
Max, Min ❌

Max와 Min은 NCCL과 같은 인터페이스를 위해 LcclRedOp에 있지만 어떤 연산에도 커널이 없습니다. 랭크가 2개 이상인 커뮤니케이터에서 쓰면 kLcclNotSupported를 반환합니다.

Avg는 Float16과 Bfloat16 전용입니다. 다른 타입의 Avg는 호출 시점에 kLcclNotSupported로 거부됩니다.

데이터 타입

데이터 타입 LPU 실행
Float16 / Half ✅ 리덕션, 복사
Bfloat16 ✅ 리덕션, 복사
Float32 / Float 🟡 복사만. 리덕션은 kLcclNotSupported
Float64 / Double 🟡 복사만
Int8 / Char, Uint8 🟡 복사만
Int32 / Int, Uint32 🟡 복사만
Int64, Uint64 🟡 복사만

복사 — LcclAllGather, LcclBroadcast, LcclSend / LcclRecv, LcclAllToAll, LcclGather, LcclScatter처럼 리덕션이 없는 연산입니다.

개수와 크기

LPU에서 랭크가 2개 이상이면 크기를 512바이트 단위로 맞춰야 하는 연산이 있습니다. 이 단위에 맞지 않는 크기는 연산에 따라 거부됩니다.

연산 거부되는 경우 시점과 반환 거부 뒤 커뮤니케이터
LcclAllReduce 없음. 임의의 count를 받습니다 — —
LcclAllGather 없음. 단, count의 바이트 수가 512의 배수가 아니면 추가 복사를 거쳐 모으므로 그룹 안, 논블로킹 커뮤니케이터, 제자리(in-place) 호출에서는 거부됩니다 호출 시점. kLcclInvalidArgument 정상
LcclReduceScatter 랭크가 2개 이상일 때 recv_count의 바이트 수가 512의 배수가 아님 호출 시점. kLcclInvalidArgument 정상
LcclAllToAll 랭크당 조각(count × 타입 크기)이 512의 배수가 아님 호출 시점. kLcclInvalidArgument 정상
LcclBroadcast, LcclReduce, LcclSend / LcclRecv 바이트 수가 512의 배수가 아님 호출 시점(그룹 안이면 LcclGroupEnd()). kLcclNotSupported 블로킹 커뮤니케이터는 정상
LcclGather, LcclScatter 랭크당 조각의 바이트 수가 512의 배수가 아님 호출 시점(그룹 안이면 LcclGroupEnd()). kLcclNotSupported 블로킹 커뮤니케이터는 정상

크기 규칙은 모든 랭크에 똑같이 적용되므로, 모든 랭크가 같은 크기로 호출하면 함께 거부되어 한쪽만 멈춰 있지 않습니다. 단, 그룹 안의 LcclSend/LcclRecv는 랭크마다 자기 송수신만으로 판정되므로, 한 랭크가 LcclGroupEnd()에서 kLcclNotSupported를 받아도 다른 랭크는 자기 그룹을 실행해 kLcclKernelSpinTimeout으로 실패할 수 있습니다. 이때는 모든 랭크에서 커뮤니케이터를 다시 만드십시오.

LPU에서는 한 호출이 다루는 크기에도 상한이 있습니다. LcclAllReduce와 LcclReduceScatter는 전체 4 GiB, 나머지 연산은 8 GiB를 넘으면 kLcclNotSupported로 거부됩니다.

512바이트 경계가 아닌 LcclAllGather는 느립니다

올림한 크기로 모은 뒤 recv_buff로 다시 복사하는 추가 단계를 거칩니다. LPU에서는 이 단계가 호스트를 거치는 왕복 복사라 특히 느립니다. 성능이 중요하면 512바이트의 배수로 맞추십시오.

송신 버퍼를 읽는 범위

count가 512바이트 경계에 걸리면 커널은 송신 버퍼를 그 경계까지 읽습니다. DRAM 채널에 인터리브된 장치 할당은 항상 그 경계까지 있으므로, 이 전제대로 할당한 버퍼에서는 문제가 없습니다. 수신 버퍼는 결과 크기까지만 씁니다.

torch.distributed 경로에도 이 규칙이 적용되어, broadcast, send/recv, reduce_scatter는 텐서(reduce_scatter는 출력 텐서)의 바이트 수가 512의 배수가 아니면 랭크 수와 관계없이 RuntimeError를 발생시킵니다. 메시지에 나온 원소 수의 배수로 패딩하고 결과를 잘라 쓰십시오.

알고리즘과 프로토콜

LPU 실행 비고
Ring 알고리즘 ✅ 유일한 알고리즘
Tree 알고리즘 ❌
Simple 프로토콜 ✅ 기본값
저지연(LL) 프로토콜 ❌

LPU 실행에는 LL 커널이 없습니다. LCCL_PROTO=LL처럼 LL만 허용하면 집합 연산이 쓸 프로토콜이 없어 kLcclEnqueueNoAlgo로 실패합니다. 변수는 환경 변수를 보십시오.

전송 계층

연결할 때 순서대로 시도해 처음 가능한 전송을 씁니다. 순서는 P2P, 공유 메모리, 네트워크입니다.

전송 범위 상태 비고
P2P (장치 간 직접 DMA) 같은 서버, 같은 프로세스 안의 랭크끼리 🟡 드라이버의 피어 매핑이 필요합니다. 랭크마다 프로세스를 따로 쓰면(torchrun, multiprocessing) 선택되지 않고 공유 메모리로 넘어갑니다
공유 메모리 같은 서버 ✅ /dev/shm 용량이 필요합니다
네트워크 — 소켓(TCP) 서버 사이 ✅ 사용할 인터페이스는 LCCL_SOCKET_IFNAME으로 고릅니다
네트워크 — ibverbs(InfiniBand, RoCE) 서버 사이 🟡 소켓보다 먼저 시도합니다. 드라이버, RNIC, PCIe 배치가 조건을 갖추면 LPU 메모리를 직접 RDMA하고, 아니면 호스트 메모리를 거칩니다(다중 노드 실행). 런타임에 libibverbs가 없으면 조용히 소켓으로 넘어갑니다

규모

항목 한계 또는 확인한 범위
서버당 랭크 카드당 1개. 같은 서버의 같은 카드에 랭크 둘을 두면 kLcclCommError입니다
서버당 /dev/shm 랭크마다 프로세스를 따로 쓰면 그 서버의 랭크 수에 따라 필요한 크기가 늘어나, 컨테이너의 기본 크기로는 모자랄 수 있습니다. 환경 변수를 보십시오
torch.distributed(lccl 백엔드) 한 서버 안에서만 지원합니다. 각 프로세스 그룹(dist.new_group으로 만든 그룹 포함)에서 그룹 안의 랭크 r이 lpu:<r>을 써야 합니다
커뮤니케이터당 랭크 LPU: 16개까지. 넘으면 커뮤니케이터 생성이 kLcclNotSupported로 실패합니다
프로세스당 커뮤니케이터 LPU: 한 프로세스가 LPU 한 장에서 동시에 가진 커뮤니케이터(랭크 2개 이상)는 랭크 수의 합이 511 이하여야 합니다(랭크 16개짜리는 31개, 8개짜리는 63개까지). 넘으면 커뮤니케이터 생성이 kLcclTransportShmUnsupported, kLcclTransportNetUnsupported, kLcclNotSupported 중 하나로 실패하므로 쓰지 않는 커뮤니케이터는 파괴하십시오
채널 수 LPU(랭크 2개 이상): 1
확인한 LPU 구성 한 서버의 LPU 2장과 4장. 서버 2대에 카드 1장씩(TCP 소켓, 컨테이너 포함)
확인한 ibverbs 구성 한 서버 안에서 케이블로 이은 RNIC 2개

더 큰 구성은 확인하지 않았습니다. 알려진 제약을 보십시오.

플랫폼

항목 상태
Linux, x86_64 ✅
Python 3.10 ✅ SDK 휠이 3.10용으로 나옵니다
PyTorch 2.10.0 torch.distributed로 쓸 때 필요합니다. 정확히 이 버전이어야 하므로 torch_ha를 설치할 때는 torch==2.10.0을 함께 설치하십시오. lccl만 쓸 때는 필요하지 않습니다
Runtime(hart) 0.0.6 ✅ 같은 버전으로 맞춰야 합니다. hart도 +hw 빌드입니다. hart가 lccl에 든 커널 라이브러리의 형식을 읽지 못하면 커뮤니케이터 생성이 kLcclNotSupported로 실패합니다
LPU ✅ EVT0. 다른 칩에서는 집합 연산이 kLcclNotSupported를 반환합니다
Windows, macOS ❌

API 표면

기능 상태 비고
LcclGetUniqueId, LcclCommInitRank ✅
LcclCommInitRankConfig ✅ config는 LCCL_CONFIG_INITIALIZER로 초기화해야 합니다
LcclCommInitAll 🟡 단일 프로세스, 단일 노드. 호출 전에 스레드에 디바이스를 바인딩해야 하고, LPU에서는 모든 랭크의 장치 쪽 자원이 그 디바이스에 놓입니다
LcclCommDestroy, LcclCommAbort, LcclCommFinalize ✅
LcclCommCount, LcclCommUserRank, LcclCommHaDevice ✅
LcclCommGetAsyncError ✅ 한 번 기록된 오류는 지워지지 않습니다
LcclGroupStart / LcclGroupEnd, 중첩 포함 ✅
LcclCommRegister / LcclCommDeregister 🟡 호출은 성공하지만 현재 효과가 없습니다. 번들된 네트워크 전송(소켓, ibverbs)이 버퍼 등록을 쓰지 않고, LPU 실행에서도 쓰이지 않습니다
비동기(스트림 순서) 집합 연산 ❌ 호출이 반환될 때 이미 끝나 있습니다. 집합 연산
사용자 정의 리덕션 연산자 ❌
그래프 캡처 ❌
Split, Shrink 같은 커뮤니케이터 변형 ❌

Python 바인딩이 노출하는 범위는 Python API를 보십시오. 중단, 마무리, 비동기 오류 조회, config, 등록은 Python에 없습니다.


알려진 제약

  • LPU 리덕션은 Float16과 Bfloat16만 됩니다. 다른 타입은 kLcclNotSupported로 거부됩니다.
  • Max, Min에는 커널이 없습니다.
  • 알고리즘은 ring 하나, LPU의 프로토콜은 Simple 하나입니다. Tree는 없습니다.
  • LPU 메모리를 직접 RDMA하려면 조건이 맞아야 합니다. 드라이버, RNIC, PCIe 배치 중 하나라도 맞지 않으면 서버 사이 트래픽은 호스트 메모리를 거칩니다.
  • LPU 커뮤니케이터는 랭크 16개와 채널 1개까지입니다.
  • LPU에서 장치 커널 실행 한 번은 LCCL_KERNEL_TIMEOUT_MS(기본 5초) 안에 끝나야 합니다. 이 시간에는 호출 스레드의 기본 스트림에 먼저 큐잉된 작업을 기다린 시간과 다른 랭크가 연산에 늦게 들어온 시간도 들어갑니다. 넘으면 커뮤니케이터가 중단됩니다. LcclAllGather, LcclBroadcast, LcclReduce, LcclGather, LcclScatter는 호출 전체를 실행 한 번으로 처리하므로 큰 데이터는 여러 호출로 나누십시오.
  • 같은 LPU를 쓰는 커뮤니케이터 둘의 연산을 동시에 실행하지 마십시오.
  • 집합 연산이 스트림과 순서를 맺지 않습니다. 호출이 반환될 때 연산이 끝나 있지만, 호출 전에 큐에 올린 작업을 기다린다는 보장은 없습니다. 생산자를 먼저 동기화하십시오. torch.distributed 백엔드는 호출 전에 호출 스레드의 기본 스트림을 동기화하지만, 임시 구현이라 다른 스레드나 스트림에 큐잉한 작업은 포함하지 않습니다.
  • 연산 단위 복구가 없습니다. 전송 경로의 실패나 워치독 타임아웃은 커뮤니케이터를 중단시키고, 다시 만들어야 합니다. 에러 처리를 보십시오.
  • 확인하지 않은 구성이 있습니다. 한 서버에서 4장을 넘는 LPU, 3대 이상의 서버, 서버당 카드가 여럿인 서버 사이 구성, 한 프로세스가 같은 랭크 집합에 커뮤니케이터를 여러 개 만드는 구성, ibverbs의 실제 서버 간 연결은 동작도 성능도 확인하지 않았습니다.

함께 보기