1. 개요¶
이 가이드는 Legato Collective Communication Library(lccl)를 직접 프로그래밍하는 방법을 다룹니다. LPU 디바이스 위에 분산 추론을 구현하는 통합 개발자를 대상으로 합니다.
LPU에서는 보통 torch.distributed로 씁니다
torch_ha는 torch.distributed의 lccl 백엔드로 이 라이브러리를 호출합니다. 그 경로를 쓴다면 이 가이드의 API를 직접 부를 일은 없습니다. 분산을 보십시오.
독립 lccl 패키지(import lccl)는 LPU용 +hw 빌드로 배포됩니다(설치).
이 장을 먼저 읽으십시오. 이후 장들은 여기서 정의한 개념을 전제로 합니다.
1.1 라이브러리가 하는 일¶
분산 추론에서는 모델의 정해진 지점마다 모든 디바이스가 서로 데이터를 합치거나 교환해야 합니다. lccl이 그 연산을 제공합니다.
- 랑데부 — 랭크들이 서로를 발견하고 커뮤니케이터를 구성합니다.
- 집합 연산 — all-reduce, all-gather, reduce, reduce-scatter, broadcast, gather, scatter, all-to-all.
- 점대점 — 두 랭크 사이의 방향성 있는 송수신.
- 그룹 — 여러 연산을 모아 두었다가 구간이 닫힐 때 실행합니다.
- 토폴로지 — 서버의 하드웨어 배치를 알아내 통신 경로를 정합니다. 파일로 직접 지정할 수도 있습니다.
1.2 설계 배경¶
API는 NCCL을 그대로 따릅니다. 이름, 인자 순서, 시맨틱이 충분히 가까워서 기존 분산 코드를 접두사만 바꿔 옮길 수 있습니다. 우연이 아니라 의도된 제약입니다. 새로운 API를 만들었다면 모든 프레임워크 통합을 두 번씩 작성해야 했을 것입니다.
커뮤니케이터가 모든 것의 단위입니다. 랭크 집합과 통신에 필요한 자원이 모두 커뮤니케이터에 묶여 있습니다. 연산은 랭크 목록이 아니라 커뮤니케이터를 받으며, 그 안의 모든 랭크가 같은 연산을 같은 순서로 호출해야 합니다.
지원 범위가 고르지 않습니다. 모든 연산 × 리덕션 × 데이터 타입 조합에 커널이 있는 것은 아닙니다. 라이브러리는 근사하지 않고, 등록되지 않은 조합을 호출한 지점에서 kLcclNotSupported로 거부합니다. LPU에는 리덕션 타입, 크기 단위, 랭크 수에도 제약이 있으므로 지원 범위를 미리 확인해야 합니다. 이를 감안해 설계하는 것이 현재 이 라이브러리를 쓰는 일의 실제 일부입니다. 지원 매트릭스를 보십시오.
1.3 핵심 개념¶
| 개념 | 의미 |
|---|---|
| 랭크(Rank) | 참여자 하나. [0, nranks) 범위의 정수로 식별하며, 랭크 하나가 디바이스 하나를 구동합니다. 같은 서버에서 두 랭크가 같은 카드를 잡으면 거부됩니다. |
커뮤니케이터(LcclComm) |
모든 연산이 받는 핸들. 랭크 집합과 통신 자원을 묶고 있습니다. |
고유 ID(LcclUniqueId) |
한 랭크가 생성해 나머지 랭크에 대역 외로 배포하는 128바이트 핸들. |
| 루트(Root) | broadcast, reduce, gather, scatter처럼 루트가 있는 연산에서 데이터를 내보내거나 받는 랭크. |
| 채널(Channel) | 전송을 병렬로 처리하는 경로의 단위. LPU에서 랭크가 2개 이상인 커뮤니케이터는 채널 1개를 쓰며, Python에서는 comm.n_channels로 확인합니다. |
| 그룹(Group) | LcclGroupStart / LcclGroupEnd 구간. 안에 든 연산은 모였다가 구간이 닫힐 때 실행됩니다. |
| 집합 연산(Collective) | 커뮤니케이터의 모든 랭크가 참여하는 연산. |
모든 랭크가 같은 연산을 같은 순서로 호출해야 합니다
집합 연산은 이름이나 태그가 아니라 순서로 짝지어집니다. 랭크 0이 all-reduce 다음 all-gather를 호출하는데 랭크 1이 all-gather 다음 all-reduce를 호출하면 둘이 잘못 짝지어집니다. 결과는 에러 반환이 아니라 멈춤(워치독이 끊을 때까지) 또는 조용히 잘못된 데이터입니다. 분산 버그의 가장 흔한 원인이며 라이브러리가 대신 잡아 줄 수 없습니다.
1.4 첫 프로그램¶
랭크당 프로세스 하나. 고유 ID를 만든 프로세스가 랭크들이 접속하길 기다리는 동안 살아 있어야 하고, 나머지 랭크는 그 값을 받아야 참여할 수 있습니다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 | |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | |
API 전반에 반복되는 네 가지를 미리 짚어 둡니다.
- 모든 C++ 진입점은
LcclResult를 반환합니다. 예외도 없고 반환값 자리에 결과가 오지도 않습니다. 에러 처리를 보십시오. - 버퍼는 디바이스 포인터입니다.
hart에서 얻습니다.lccl은 여러분이 넘기는 버퍼를 할당하지 않습니다. DRAM 채널에 인터리브된 할당을 쓰십시오. - 고유 ID는 다른 수단으로 전달해야 합니다. 라이브러리가 배포해 주지 않으며, 런처의 몫입니다.
- 디바이스를 먼저 고릅니다. 호출 스레드에 바인딩된 디바이스가 그 랭크의 디바이스가 됩니다. 이후 다른 스레드에서 그 커뮤니케이터를 호출하거나 정리할 때도 그 스레드에서 먼저 같은 디바이스를 고르십시오.
1.5 알아 둘 동작¶
- 커뮤니케이터를 만들 때 모든 랭크가 모일 때까지 기다립니다. 이 기다림에는 타임아웃이 없어서, 랭크가 어긋나면 에러 없이 멈춥니다. 문제 해결이 원인을 구분합니다.
- 연산 중에 한 랭크가 오지 않으면 워치독(
LCCL_KERNEL_TIMEOUT_MS, 기본 5초)이 끊고 호출이kLcclKernelSpinTimeout을 반환합니다. 그 커뮤니케이터는 이후 쓸 수 없습니다. - 지원하지 않는 조합은 커뮤니케이터를 만들 때가 아니라 그 연산을 호출한 지점에서 드러납니다.
- 커뮤니케이터를 만들 때 랭크 사이의 연결을 미리 모두 준비하므로, 랭크 수가 늘면 생성 시간과 공유 메모리(
/dev/shm) 사용량이 빠르게 늘어납니다. 같은 서버의 랭크들이 서로 다른 프로세스에서 돌면/dev/shm으로 통신합니다. 서버당 사용량은 그 서버 랭크 수의 제곱에 비례해 늘어, 기본LCCL_BUFFSIZE에서 랭크 2개에 약 22 MiB, 4개에 약 80 MiB, 8개에 약 300 MiB가 됩니다. 컨테이너 기본/dev/shm(64 MiB)에는 랭크가 3개까지만 들어갑니다.