집합 연산 API¶
커뮤니케이터의 모든 랭크가 참여하는 집합 연산입니다. 어떤 연산·리덕션·데이터 타입 조합이 지원되는지는 지원 매트릭스에 있습니다. 지원되지 않는 조합은 조용히 무시되지 않고 kLcclNotSupported로 거부됩니다.
stream 인자를 받는 연산도 그룹 밖에서 호출하면 반환될 때 이미 끝나 있지만, 호출 전에 그 스트림에 올려 둔 작업을 기다린다는 보장은 없습니다. 송신 버퍼를 만든 작업을 먼저 동기화하십시오. 집합 연산을 보십시오.
LcclAllReduce¶
모든 랭크가 send_buff에 가진 길이 count의 배열을 op로 리듀스하고, 같은 결과를 모든 랭크의 recv_buff에 남깁니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼 |
recv_buff |
출력 | 수신 버퍼 |
count |
입력 | 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
op |
입력 | 리덕션 연산 |
comm |
입력 | 커뮤니케이터 |
stream |
입력 | 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
Note
send_buff와recv_buff에 같은 포인터를 줄 수 있습니다.- 임의의
count를 받습니다.count의 바이트 수가 512의 배수가 아니면 LPU 커널이 송신 버퍼를 그 경계까지 읽을 수 있지만, 수신 버퍼는count까지만 씁니다.
LcclReduceScatter¶
모든 랭크의 send_buff를 op로 리듀스하고, 결과를 랭크들에 나눠 줍니다. 랭크 i의 recv_buff에는 결과의 i번째 블록이 들어갑니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼. nranks * recv_count개 원소 이상 |
recv_buff |
출력 | 수신 버퍼. recv_count개 원소 |
recv_count |
입력 | 각 랭크가 받는 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
op |
입력 | 리덕션 연산 |
comm |
입력 | 커뮤니케이터 |
stream |
입력 | 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
Note
LPU에서 랭크가 2개 이상일 때 recv_count의 바이트 수가 512의 배수가 아니면 연산을 시작하기 전에 kLcclInvalidArgument로 거부합니다.
LcclAllGather¶
각 랭크가 send_count개 원소를 보내고, 모든 랭크가 이를 랭크 순서대로 이어 붙인 결과를 받습니다. 랭크 i의 데이터는 recv_buff의 i * send_count 위치에 놓입니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼 |
recv_buff |
출력 | 수신 버퍼. nranks * send_count개 원소 이상 |
send_count |
입력 | 각 랭크가 보내는 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
comm |
입력 | 커뮤니케이터 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
Note
- 임의의
send_count를 받습니다.send_count의 바이트 수가 512의 배수가 아니면 추가 복사를 거쳐 모으므로 느리고(LPU에서는 호스트를 거치는 복사입니다), 이때는 그룹 안, 논블로킹 커뮤니케이터, 제자리 호출(send_buff가recv_buff안) 중 하나라도 해당하면kLcclInvalidArgument로 거부합니다. 수신 버퍼는nranks * send_count개 원소까지만 씁니다. - 이 함수는
stream인자가 없고 호출 스레드의 기본 스트림을 씁니다.
LcclAllToAll¶
각 랭크가 다른 모든 랭크에 count개씩 보내고 받습니다. 랭크 j로 가는 데이터는 send_buff + j*count에서, 랭크 i에서 온 데이터는 recv_buff + i*count에 놓입니다. 수신 버퍼와 송신 버퍼의 원소 수는 같습니다(nranks * count).
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼 |
recv_buff |
출력 | 수신 버퍼 |
count |
입력 | 랭크 하나당 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
comm |
입력 | 커뮤니케이터 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
Note
- 제자리 호출은 지원하지 않습니다. 송신과 수신 버퍼가 서로 겹치면 랭크 수와 관계없이
kLcclInvalidArgument입니다. - LPU에서는 랭크당 조각(
count× 타입 크기)이 512바이트의 배수가 아니면kLcclInvalidArgument입니다. - 이 함수는
stream인자가 없고 호출 스레드의 기본 스트림을 씁니다.
LcclBroadcast¶
root 랭크의 count개 원소를 다른 모든 랭크에 복사합니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼. root에서만 쓰임 |
recv_buff |
출력 | 수신 버퍼 |
count |
입력 | 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
root |
입력 | 데이터를 가진 랭크(디바이스가 아니라 랭크 번호) |
comm |
입력 | 커뮤니케이터 |
stream |
입력 | 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
Note
send_buff와recv_buff에 같은 포인터를 줄 수 있습니다.- LPU에서는 바이트 수가 512의 배수가 아니면 호출한 지점(그룹 안이면
LcclGroupEnd())에서kLcclNotSupported로 거부됩니다.
LcclReduce¶
모든 랭크의 send_buff 배열을 op로 리듀스해 root 랭크의 recv_buff에 남깁니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼 |
recv_buff |
출력 | 수신 버퍼. root에서만 쓰이고 다른 랭크에서는 NULL이어도 됨 |
count |
입력 | 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
op |
입력 | 리덕션 연산 |
root |
입력 | 결과를 받을 랭크(디바이스가 아니라 랭크 번호) |
comm |
입력 | 커뮤니케이터 |
stream |
입력 | 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
LPU
LPU에서는 Float16, Bfloat16의 Sum, Prod, Avg만 되고, 바이트 수가 512의 배수여야 합니다. 그 밖에는 kLcclNotSupported로 거부됩니다. 지원 매트릭스를 보십시오.
LcclGather¶
각 랭크가 send_buff의 count개 원소를 root 랭크로 보냅니다. root에서 랭크 i의 데이터는 recv_buff + i*count에 놓입니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼 |
recv_buff |
출력 | 수신 버퍼. root에서만 쓰이며 nranks * count개 원소 이상 |
count |
입력 | 각 랭크가 보내는 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
root |
입력 | 데이터를 모을 랭크 |
comm |
입력 | 커뮤니케이터 |
stream |
입력 | 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
LPU
LPU에서는 랭크당 조각(count × 타입 크기)의 바이트 수가 512의 배수여야 합니다. 아니면 kLcclNotSupported로 거부됩니다.
LcclScatter¶
root 랭크의 send_buff + i*count에 있는 count개 원소를 랭크 i로 보냅니다. 각 랭크는 recv_buff로 count개를 받습니다.
1 | |
| 파라미터 | 방향 | 설명 |
|---|---|---|
send_buff |
입력 | 송신 버퍼. root에서만 쓰이며 nranks * count개 원소 이상 |
recv_buff |
출력 | 수신 버퍼 |
count |
입력 | 각 랭크가 받는 원소 수 |
datatype |
입력 | 원소의 데이터 타입 |
root |
입력 | 데이터를 나눠 줄 랭크 |
comm |
입력 | 커뮤니케이터 |
stream |
입력 | 연산을 올릴 HA 스트림. 생략하거나 HA_STREAM_DEFAULT를 주면 호출 스레드의 디바이스별 기본 스트림 |
반환 — 성공하면 kLcclSuccess, 아니면 오류 코드.
LPU
LPU에서는 랭크당 조각(count × 타입 크기)의 바이트 수가 512의 배수여야 합니다. 아니면 kLcclNotSupported로 거부됩니다.