5. 점대점¶
LcclSend와 LcclRecv는 지정된 두 랭크 사이에서 데이터를 옮깁니다. 이 장은 교착 없이 양쪽을 등록하는 방법을 다룹니다.
5.1 연산¶
1 2 | |
peer는 같은 커뮤니케이터 안의 상대 랭크입니다. 양쪽이 count와 datatype에 합의해야 합니다.
집합 연산과 달리 지정된 두 랭크만 참여합니다. 커뮤니케이터의 나머지는 아무것도 호출하지 않습니다.
두 함수는 stream 인자를 받지 않습니다. 그룹 밖에서 부른 LcclSend나 LcclRecv는 그 자리에서 실행되고 끝나야 반환됩니다. 다음 절의 교착이 여기서 나옵니다.
5.2 양쪽 모두 등록하기¶
송신은 대응하는 수신이 등록되기를 기다립니다. 두 랭크가 모두 송신을 먼저 호출하고 블로킹되면 어느 쪽도 수신에 도달하지 못합니다. 상대 쪽에 쌓아 둘 수 있는 용량보다 작은 전송은 수신 없이도 끝날 수 있지만, 그 동작에 기대면 안 됩니다.
짝이 없는 송수신은 교착입니다
1 2 3 | |
두 랭크가 모두 송신에서 멈춥니다. 영원히 멈추지는 않습니다. LCCL_KERNEL_TIMEOUT_MS(기본 5초)가 지나면 워치독이 커널을 중단시키고 kLcclKernelSpinTimeout을 반환합니다. 그 커뮤니케이터는 이후 쓸 수 없으므로 파괴하고 다시 만들어야 합니다.
해법은 그룹입니다. 구간 안에서는 어느 쪽도 진행할 필요가 생기기 전에 두 연산이 모두 등록됩니다.
1 2 3 4 | |
교환의 표준 패턴이며, 그룹이 존재하는 이유입니다. torch.distributed에서는 dist.batch_isend_irecv가 이 역할을 합니다.
5.3 파이프라인 병렬¶
가장 흔한 용도는 파이프라인 단계 사이에 활성값을 넘기는 것입니다. 각 랭크가 앞 단계에서 받고 뒤 단계로 보냅니다.
1 2 3 4 5 6 7 8 | |
조건문은 양 끝 랭크가 존재하지 않는 랭크를 지정하지 않게 합니다. 이것은 집합 연산의 동일 순서 규칙을 위반하지 않습니다. 점대점 연산은 커뮤니케이터 전체에 걸친 순서가 아니라 피어로 짝지어지기 때문입니다. 같은 피어와 같은 방향의 송신끼리(수신끼리)는 호출 순서대로 짝지어지니 양쪽이 같은 순서로 부르십시오.
5.4 all-to-all과의 관계¶
LcclAllToAll은 피어마다 송신 하나와 수신 하나를 주고받는 것과 같은 결과를 냅니다. 전송 특성과 멈춤 양상이 점대점과 같고, LPU에서는 피어당 조각의 바이트 수가 점대점처럼 512의 배수여야 합니다. 어기면 LcclAllToAll은 호출 시점에 kLcclInvalidArgument로 거부합니다.
제자리 호출은 지원되지 않으므로 송신과 수신 버퍼가 서로 겹치면 안 됩니다. 겹치면 kLcclInvalidArgument입니다.
5.5 자기 자신에게 보내기¶
자기 랭크로의 송수신은 쓰지 마십시오. 짝이 없는 자기 송수신은 kLcclEnqueueSelfP2PUnmatched로 보고되고, 같은 그룹 안에서 짝을 맞춰도 지원되지 않습니다. 자기 몫 데이터는 호출자가 직접 복사하십시오.
5.6 제한¶
| 데이터 타입 | 전부. 전송이 바이트 단위입니다 |
| 리덕션 | 해당 없음 |
| 크기 | 바이트 수가 512의 배수여야 합니다. 어기면 호출한 지점(그룹 안이면 LcclGroupEnd())에서 kLcclNotSupported로 거부됩니다. 지원 매트릭스 |
| 짝 호출의 시차 | 상대 랭크가 짝이 되는 호출을 LCCL_KERNEL_TIMEOUT_MS(기본 5초)보다 늦게 하면 kLcclKernelSpinTimeout으로 실패하고 커뮤니케이터가 중단됩니다 |
| 전송 | 같은 서버는 공유 메모리(같은 프로세스 안의 랭크끼리는 P2P), 서버 사이는 네트워크 |
| 집합 연산과의 순서 | 그룹 밖에서는 호출 순서를 따르고, 같은 그룹 안에서는 집합 연산이 먼저 실행된 뒤 점대점이 실행됩니다 |