콘텐츠로 이동

집합 연산 API

커뮤니케이터의 모든 랭크가 참여하는 집합 연산입니다. 어떤 연산·리덕션·데이터 타입 조합이 지원되는지는 지원 매트릭스에 있습니다. 지원되지 않는 조합은 조용히 무시되지 않고 kLcclNotSupported로 거부됩니다.

stream 인자를 받는 연산도 그룹 밖에서 호출하면 반환될 때 이미 끝나 있지만, 호출 전에 그 스트림에 올려 둔 작업을 기다린다는 보장은 없습니다. 송신 버퍼를 만든 작업을 먼저 동기화하십시오. 집합 연산을 보십시오.


LcclAllReduce

모든 랭크가 send_buff에 가진 길이 count의 배열을 op로 리듀스하고, 같은 결과를 모든 랭크의 recv_buff에 남깁니다.

1
LcclResult LcclAllReduce(const void *send_buff, void *recv_buff, size_t count, LcclDataType datatype, LcclRedOp op, LcclComm comm, HaStream_t stream=HA_STREAM_DEFAULT);
파라미터 방향 설명
send_buff 입력 송신 버퍼
recv_buff 출력 수신 버퍼
count 입력 원소 수
datatype 입력 원소의 데이터 타입
op 입력 리덕션 연산
comm 입력 커뮤니케이터
stream 입력 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

Note

  • send_buff와 recv_buff에 같은 포인터를 줄 수 있습니다.
  • 임의의 count를 받습니다. count의 바이트 수가 512의 배수가 아니면 LPU 커널이 송신 버퍼를 그 경계까지 읽을 수 있지만, 수신 버퍼는 count까지만 씁니다.

LcclReduceScatter

모든 랭크의 send_buff를 op로 리듀스하고, 결과를 랭크들에 나눠 줍니다. 랭크 i의 recv_buff에는 결과의 i번째 블록이 들어갑니다.

1
LcclResult LcclReduceScatter(const void *send_buff, void *recv_buff, size_t recv_count, LcclDataType datatype, LcclRedOp op, LcclComm comm, HaStream_t stream=HA_STREAM_DEFAULT);
파라미터 방향 설명
send_buff 입력 송신 버퍼. nranks * recv_count개 원소 이상
recv_buff 출력 수신 버퍼. recv_count개 원소
recv_count 입력 각 랭크가 받는 원소 수
datatype 입력 원소의 데이터 타입
op 입력 리덕션 연산
comm 입력 커뮤니케이터
stream 입력 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

Note

LPU에서 랭크가 2개 이상일 때 recv_count의 바이트 수가 512의 배수가 아니면 연산을 시작하기 전에 kLcclInvalidArgument로 거부합니다.


LcclAllGather

각 랭크가 send_count개 원소를 보내고, 모든 랭크가 이를 랭크 순서대로 이어 붙인 결과를 받습니다. 랭크 i의 데이터는 recv_buff의 i * send_count 위치에 놓입니다.

1
LcclResult LcclAllGather(const void *send_buff, void *recv_buff, size_t send_count, LcclDataType datatype, LcclComm comm);
파라미터 방향 설명
send_buff 입력 송신 버퍼
recv_buff 출력 수신 버퍼. nranks * send_count개 원소 이상
send_count 입력 각 랭크가 보내는 원소 수
datatype 입력 원소의 데이터 타입
comm 입력 커뮤니케이터

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

Note

  • 임의의 send_count를 받습니다. send_count의 바이트 수가 512의 배수가 아니면 추가 복사를 거쳐 모으므로 느리고(LPU에서는 호스트를 거치는 복사입니다), 이때는 그룹 안, 논블로킹 커뮤니케이터, 제자리 호출(send_buff가 recv_buff 안) 중 하나라도 해당하면 kLcclInvalidArgument로 거부합니다. 수신 버퍼는 nranks * send_count개 원소까지만 씁니다.
  • 이 함수는 stream 인자가 없고 호출 스레드의 기본 스트림을 씁니다.

LcclAllToAll

각 랭크가 다른 모든 랭크에 count개씩 보내고 받습니다. 랭크 j로 가는 데이터는 send_buff + j*count에서, 랭크 i에서 온 데이터는 recv_buff + i*count에 놓입니다. 수신 버퍼와 송신 버퍼의 원소 수는 같습니다(nranks * count).

1
LcclResult LcclAllToAll(const void *send_buff, void *recv_buff, size_t count, LcclDataType datatype, LcclComm comm);
파라미터 방향 설명
send_buff 입력 송신 버퍼
recv_buff 출력 수신 버퍼
count 입력 랭크 하나당 원소 수
datatype 입력 원소의 데이터 타입
comm 입력 커뮤니케이터

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

Note

  • 제자리 호출은 지원하지 않습니다. 송신과 수신 버퍼가 서로 겹치면 랭크 수와 관계없이 kLcclInvalidArgument입니다.
  • LPU에서는 랭크당 조각(count × 타입 크기)이 512바이트의 배수가 아니면 kLcclInvalidArgument입니다.
  • 이 함수는 stream 인자가 없고 호출 스레드의 기본 스트림을 씁니다.

LcclBroadcast

root 랭크의 count개 원소를 다른 모든 랭크에 복사합니다.

1
LcclResult LcclBroadcast(const void *send_buff, void *recv_buff, size_t count, LcclDataType datatype, int root, LcclComm comm, HaStream_t stream=HA_STREAM_DEFAULT);
파라미터 방향 설명
send_buff 입력 송신 버퍼. root에서만 쓰임
recv_buff 출력 수신 버퍼
count 입력 원소 수
datatype 입력 원소의 데이터 타입
root 입력 데이터를 가진 랭크(디바이스가 아니라 랭크 번호)
comm 입력 커뮤니케이터
stream 입력 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

Note

  • send_buff와 recv_buff에 같은 포인터를 줄 수 있습니다.
  • LPU에서는 바이트 수가 512의 배수가 아니면 호출한 지점(그룹 안이면 LcclGroupEnd())에서 kLcclNotSupported로 거부됩니다.

LcclReduce

모든 랭크의 send_buff 배열을 op로 리듀스해 root 랭크의 recv_buff에 남깁니다.

1
LcclResult LcclReduce(const void *send_buff, void *recv_buff, size_t count, LcclDataType datatype, LcclRedOp op, int root, LcclComm comm, HaStream_t stream=HA_STREAM_DEFAULT);
파라미터 방향 설명
send_buff 입력 송신 버퍼
recv_buff 출력 수신 버퍼. root에서만 쓰이고 다른 랭크에서는 NULL이어도 됨
count 입력 원소 수
datatype 입력 원소의 데이터 타입
op 입력 리덕션 연산
root 입력 결과를 받을 랭크(디바이스가 아니라 랭크 번호)
comm 입력 커뮤니케이터
stream 입력 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

LPU

LPU에서는 Float16, Bfloat16의 Sum, Prod, Avg만 되고, 바이트 수가 512의 배수여야 합니다. 그 밖에는 kLcclNotSupported로 거부됩니다. 지원 매트릭스를 보십시오.


LcclGather

각 랭크가 send_buff의 count개 원소를 root 랭크로 보냅니다. root에서 랭크 i의 데이터는 recv_buff + i*count에 놓입니다.

1
LcclResult LcclGather(const void *send_buff, void *recv_buff, size_t count, LcclDataType datatype, int root, LcclComm comm, HaStream_t stream=HA_STREAM_DEFAULT);
파라미터 방향 설명
send_buff 입력 송신 버퍼
recv_buff 출력 수신 버퍼. root에서만 쓰이며 nranks * count개 원소 이상
count 입력 각 랭크가 보내는 원소 수
datatype 입력 원소의 데이터 타입
root 입력 데이터를 모을 랭크
comm 입력 커뮤니케이터
stream 입력 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

LPU

LPU에서는 랭크당 조각(count × 타입 크기)의 바이트 수가 512의 배수여야 합니다. 아니면 kLcclNotSupported로 거부됩니다.


LcclScatter

root 랭크의 send_buff + i*count에 있는 count개 원소를 랭크 i로 보냅니다. 각 랭크는 recv_buff로 count개를 받습니다.

1
LcclResult LcclScatter(const void *send_buff, void *recv_buff, size_t count, LcclDataType datatype, int root, LcclComm comm, HaStream_t stream=HA_STREAM_DEFAULT);
파라미터 방향 설명
send_buff 입력 송신 버퍼. root에서만 쓰이며 nranks * count개 원소 이상
recv_buff 출력 수신 버퍼
count 입력 각 랭크가 받는 원소 수
datatype 입력 원소의 데이터 타입
root 입력 데이터를 나눠 줄 랭크
comm 입력 커뮤니케이터
stream 입력 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림

반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.

LPU

LPU에서는 랭크당 조각(count × 타입 크기)의 바이트 수가 512의 배수여야 합니다. 아니면 kLcclNotSupported로 거부됩니다.