3. 집합 연산¶
집합 연산은 커뮤니케이터의 모든 랭크가 참여하는 연산입니다. 이 장은 각 연산이 하는 일과 모든 연산에 공통으로 적용되는 규칙을 다룹니다.
정확한 시그니처는 집합 연산 레퍼런스에, 구현된 조합은 지원 매트릭스에 있습니다.
3.1 연산 목록¶
| 연산 | 각 랭크가 제공 | 결과가 놓이는 곳 | 리덕션 | LPU 실행 |
|---|---|---|---|---|
LcclAllReduce |
count 원소 |
모든 랭크 | 있음 | ✅ |
LcclReduce |
count 원소 |
루트만 | 있음 | ✅ |
LcclReduceScatter |
recv_count * nranks 원소 |
랭크별 서로 다른 조각 | 있음 | ✅ |
LcclBroadcast |
루트가 제공 | 모든 랭크 | 없음 | ✅ |
LcclAllGather |
send_count 원소 |
모든 랭크, 랭크 순으로 연결 | 없음 | ✅ |
LcclGather |
count 원소 |
루트, 랭크 순으로 연결 | 없음 | ✅ |
LcclScatter |
루트가 제공 | 랭크별 서로 다른 조각 | 없음 | ✅ |
LcclAllToAll |
피어별 조각 | 각 피어로부터 받은 조각 | 없음 | ✅ |
모든 연산이 LPU에서 장치 커널로 실행됩니다. LPU의 리덕션 타입과 크기 제약은 3.3과 지원 매트릭스에 있습니다.
버퍼 크기¶
집합 연산에서 메모리 손상의 가장 흔한 원인은 너무 작은 수신 버퍼입니다. 규칙은 연산마다 다릅니다.
| 연산 | 송신 버퍼 | 수신 버퍼 |
|---|---|---|
LcclAllReduce |
count |
count |
LcclReduce |
count |
count, 루트만 |
LcclReduceScatter |
recv_count * nranks |
recv_count |
LcclBroadcast |
count, 루트만 |
count |
LcclAllGather |
send_count |
send_count * nranks |
LcclGather |
count |
count * nranks, 루트만 |
LcclScatter |
count * nranks, 루트만 |
count |
LcclAllToAll |
count * nranks |
count * nranks |
수신 버퍼가 송신 버퍼의 nranks배인 LcclAllGather를 Python으로 호출하는 예입니다.
1 2 3 4 5 | |
데이터가 놓이는 위치¶
오프셋은 모두 원소 개수 단위입니다. i와 j는 랭크 번호입니다.
| 연산 | 위치 |
|---|---|
LcclAllGather |
랭크 i의 데이터가 모든 랭크의 recv + i*send_count에 놓입니다 |
LcclReduceScatter |
모든 랭크의 send를 원소별로 리덕션한 결과를 recv_count개씩 나눠 랭크 i가 i번째 블록을 받습니다 |
LcclAllToAll |
랭크 j로 보낼 조각은 send + j*count에서 가져오고, 랭크 i에서 온 조각은 recv + i*count에 놓입니다 |
LcclGather |
랭크 i의 데이터가 루트의 recv + i*count에 놓입니다 |
LcclScatter |
루트의 send + i*count에 있는 조각이 랭크 i의 recv로 갑니다 |
예를 들어 랭크 3개, count = 1인 LcclAllToAll에서 send가 랭크 0은 [a0, a1, a2], 랭크 1은 [b0, b1, b2], 랭크 2는 [c0, c1, c2]이면 recv는 랭크 0이 [a0, b0, c0], 랭크 1이 [a1, b1, c1], 랭크 2가 [a2, b2, c2]가 됩니다.
루트가 있는 연산도 모든 랭크가 호출해야 합니다
LcclReduce, LcclBroadcast, LcclGather, LcclScatter는 한 랭크(루트)가 중심인 연산이지만 커뮤니케이터의 모든 랭크가 호출해야 합니다. 건너뛴 랭크가 있으면 나머지가 대기합니다.
위 표에서 "루트만"이라고 표시된 버퍼는 루트가 아닌 랭크에서 null이어도 됩니다. 그 밖의 버퍼가 null이면 kLcclInvalidArgument입니다.
3.2 모든 집합 연산에 적용되는 규칙¶
모든 랭크가 같은 순서로 호출합니다. 집합 연산은 순서로 짝지어집니다. 랭크 간 순서가 갈리면 연산이 잘못 짝지어지고, 에러가 아니라 행(hang)이나 잘못된 데이터가 나옵니다. 크기나 데이터 타입이 랭크마다 다른 경우도 같습니다. 행은 영원히 이어지지 않습니다. 커널이 LCCL_KERNEL_TIMEOUT_MS(기본 5초)를 넘기면 워치독이 커널을 중단시키고 kLcclKernelSpinTimeout을 반환합니다. 이때 커뮤니케이터는 쓸 수 없는 상태가 되므로 파괴하고 다시 만들어야 합니다.
count는 바이트가 아니라 원소 수이고, 0일 수 없습니다. 라이브러리가 데이터 타입으로 환산합니다. count == 0은 NCCL처럼 무동작이 아니라 kLcclInvalidArgument를 반환합니다.
버퍼는 디바이스 포인터입니다. hart로 할당하십시오. lccl은 할당하지 않으며 포인터가 충분히 큰지 검사하지도 않습니다. LPU 실행에서 LCCL은 사용자 버퍼가 DRAM 채널에 인터리브된 할당이라고 전제하므로 hart.mem_alloc(nbytes, is_interleaved=True)로 할당하십시오. torch.distributed가 넘기는 lpu 텐서는 항상 그렇게 할당됩니다.
LPU에서는 크기에 512바이트 단위 규칙이 있습니다. 연산에 따라 이 단위에 맞지 않는 크기를 거부합니다. LcclAllToAll과 LcclReduceScatter는 kLcclInvalidArgument로, LcclBroadcast, LcclReduce, LcclGather, LcclScatter, LcclSend/LcclRecv는 kLcclNotSupported로 호출 시점에 거부하고, 커뮤니케이터는 그대로입니다. LcclAllReduce와 LcclAllGather는 임의의 count를 받습니다. 표는 지원 매트릭스에 있습니다.
제자리(in-place) 호출은 연산마다 다릅니다. LcclAllReduce와 LcclBroadcast는 송신과 수신 버퍼에 같은 포인터를 줄 수 있습니다. LcclAllToAll은 지원하지 않으므로 송신과 수신 버퍼가 서로 겹치면 안 됩니다. 겹치면 kLcclInvalidArgument입니다. LcclAllGather는 512바이트 경계에 맞지 않는 count의 제자리 호출을 거부하고, 경계에 맞는 제자리 호출은 확인하지 않았습니다. 나머지 연산도 확인하지 않았습니다.
랭크가 1개인 커뮤니케이터는 복사만 하고 끝납니다. nranks == 1이면 송신 버퍼를 수신 버퍼로 복사하고 반환하며 전송이 일어나지 않습니다. 커널을 거치지 않으므로 어떤 데이터 타입과 리덕션(Max, Min 포함)도 통과합니다. 단일 디바이스 실행이 저렴해지지만, 단일 랭크 테스트는 전송 경로도 지원 범위도 전혀 검증하지 못한다는 뜻이기도 합니다.
3.3 데이터 타입과 리덕션¶
| 값 | |
|---|---|
| 데이터 타입 | Int8/Char, Uint8, Int32/Int, Uint32, Int64, Uint64, Float16/Half, Float32/Float, Float64/Double, Bfloat16 |
| 리덕션 | Sum, Prod, Max, Min, Avg |
열거형은 NCCL의 주요 데이터 타입과 리덕션을 담고 있습니다. 열거형이 받아들이는 것과 뒤에 커널이 있는 것은 다릅니다. 커널이 있는 조합은 아래와 같습니다.
| LPU 실행 | |
|---|---|
| 리덕션 | Sum, Prod, Avg (Prod와 Avg는 LcclAllReduce와 LcclReduce만) |
| 리덕션의 데이터 타입 | Float16, Bfloat16 |
| 리덕션이 없는 연산 | 모든 데이터 타입 |
리덕션이 없는 집합 연산은 데이터 타입과 관계없이 바이트 단위로 옮기므로 모든 데이터 타입을 받습니다.
지원하지 않는 조합은 거부됩니다
- 등록된 커널이 없는 (연산, 리덕션, 데이터 타입) 조합은 호출한 지점(그룹 안이면
LcclGroupEnd())에서kLcclNotSupported로 실패합니다.Max와Min이 대표적입니다. 아무것도 전송되지 않고 조용히 잘못되지도 않습니다. - LPU에서
Float16,Bfloat16이 아닌 리덕션(Float32포함)도 호출한 지점에서kLcclNotSupported로 거부됩니다. - 랭크가 1개이면 어느 조합이든 통과합니다(위의 복사만 하는 경우).
전체 표는 지원 매트릭스에 있습니다.
3.4 스트림과 완료 시점¶
대부분의 집합 연산은 HaStream_t를 받으며 기본값은 호출 스레드의 기본 스트림입니다. 다만 현재 구현에서 그룹 밖에서 호출한 집합 연산은 반환될 때 이미 끝나 있습니다. 비동기 집합 연산(스트림에 큐잉하고 바로 돌아오는 방식)은 아직 지원하지 않습니다. 그룹 안에서 호출한 연산은 가장 바깥 LcclGroupEnd()에서 실행되므로, 결과는 그 실행이 끝난 뒤에 읽고 그때까지 버퍼를 덮어쓰거나 해제하지 마십시오. 그룹을 보십시오.
1 2 | |
그 반대 방향은 보장되지 않습니다. stream 인자는 집합 연산을 다른 작업과 순서 짓지 않으므로, 송신 버퍼를 쓰는 커널이나 복사가 아직 도는 중이면 LCCL이 덜 쓰인 데이터를 읽을 수 있습니다. LPU에서는 호출 스레드의 기본 스트림에 먼저 큐잉된 작업이 끝난 뒤에 연산이 시작되고 그 대기 시간도 LCCL_KERNEL_TIMEOUT_MS에 들어가므로, 그 스트림도 호출 전에 동기화하십시오.
호출 전에 생산자를 동기화하십시오
송신 버퍼를 만든 작업이 끝났음을 확인한 뒤 호출하십시오. 같은 스트림에서 호출한다는 사실만으로는 충분하지 않습니다.
1 2 | |
torch.distributed의 lccl 백엔드는 호출 전에 호출 스레드의 기본 스트림을 대신 동기화합니다. 임시 구현이라 다른 스레드나 스트림에 큐잉한 작업은 포함하지 않습니다.
LcclAllGather, LcclAllToAll, LcclSend, LcclRecv는 스트림 인자가 없습니다
이 네 함수는 stream 인자를 받지 않고 호출 스레드의 기본 스트림을 씁니다. Python에서는 all_reduce만 stream 키워드(기본 0)를 받습니다.
스트림 시맨틱(기본 스트림이 스레드별이라는 점 포함)은 런타임에서 옵니다. 스트림과 이벤트를 보십시오.
3.5 연산 선택¶
텐서 병렬 추론은 이 중 소수의 패턴만 사용합니다.
| 필요 | 연산 |
|---|---|
| 디바이스별 부분 출력을 합치고 모두가 결과를 필요로 함 | LcclAllReduce |
| 디바이스별 조각을 이어 붙여 전체 텐서를 모두가 가짐 | LcclAllGather |
| 합치기와 분배를 한 번에 (시퀀스 병렬) | LcclReduceScatter |
| 한 랭크에서 프롬프트나 설정을 배포 | LcclBroadcast |
| 출력을 위해 한 랭크로 결과를 모음 | LcclGather(리덕션이 필요하면 LcclReduce) |
torch.distributed의 lccl 백엔드는 LPU에서 gather, scatter, reduce, all_to_all을 막습니다. 그 경로에서는 reduce를 all_reduce로, gather를 all_gather로, scatter를 broadcast나 send/recv로 바꿔 쓰십시오. all_to_all을 send/recv로 바꿔 쓰는 방법은 문제 해결을 보십시오.