콘텐츠로 이동

4. 그룹

그룹은 여러 연산을 모아 두었다가 구간이 닫힐 때 실행합니다. 이 장은 언제 필요한지와 구간이 무엇을 보장하는지를 다룹니다.


4.1 그룹이 하는 일

LcclGroupStart()와 LcclGroupEnd() 사이에서 호출된 연산은 모였다가 구간이 닫힐 때 함께 실행됩니다. LcclGroupEnd()는 모아 둔 연산을 실행하고 끝날 때까지 기다린 뒤 반환합니다.

1
2
3
4
LcclGroupStart();
LcclAllReduce(a_send, a_recv, n, kLcclFloat16, kLcclSum, comm);
LcclAllReduce(b_send, b_recv, m, kLcclFloat16, kLcclSum, comm);
LcclGroupEnd();

쓰는 이유는 두 가지입니다.

  • 실행 횟수 감소(점대점). LPU에서는 그룹 안의 LcclSend/LcclRecv를 합쳐 장치 커널 실행 횟수를 줄입니다. 반면 집합 연산은 그룹 안에서도 하나씩 차례로 실행되므로 묶어도 실행 횟수가 줄지 않습니다.
  • 교착 회피. 송신과 수신은 어느 한쪽이 진행하기 전에 둘 다 등록되어야 합니다. 한 랭크가 첫 번째에서 블로킹되지 않고 둘 다 등록할 수 있게 해 주는 것이 그룹입니다. 점대점을 보십시오.

4.2 그룹이 하지 않는 일

그룹은 재정렬 장벽이 아닙니다

그룹은 "이 연산들은 서로 독립이다"라는 뜻이지 "이 순서로 실행하라"는 뜻이 아닙니다. 집합 연산은 전송 크기순으로 정렬되어 점대점보다 먼저 스케줄되므로 대개 호출한 순서대로 실행되지 않습니다. 그래서 그룹 안 연산끼리 버퍼가 겹치면 안 됩니다. 겹쳐도 정의되지 않은 결과가 나올 뿐 감지되지 않습니다. 연산 B가 A의 결과를 필요로 하면 둘을 서로 다른 그룹에 두십시오. 연속된 그룹끼리는 순서가 보장됩니다.

묶음에서 정해지는 실행 순서는 호출 순서 전체에 따라 결정됩니다. 그래서 모든 랭크가 같은 연산을 같은 크기로 같은 순서로 호출해야 하며, 랭크마다 다르면 서로 다른 순서가 만들어져 어긋납니다. 점대점은 더 엄격해서, 피어와 방향별로 LcclSend/LcclRecv가 호출 순서를 유지합니다. 상대 랭크의 같은 방향 호출과 호출 순서대로 짝지어지기 때문입니다.

호출이 거부되는 경우와 그룹 전체가 버려지는 경우가 다릅니다

  • 호출 시점의 인자 검사(null 버퍼, count == 0, 알 수 없는 데이터 타입·리덕션, 범위 밖 root·peer, LPU에서 LcclAllToAll·LcclReduceScatter의 크기 규칙, 그룹 안에서 512바이트 경계가 아닌 LcclAllGather)에서 실패하면 그 호출만 오류를 반환합니다. 그룹에는 영향이 없어서 앞서 큐에 넣은 연산은 그대로 실행되고 LcclGroupEnd()는 kLcclSuccess를 돌려줄 수 있습니다. 그러니 그룹 안에서도 호출마다 반환값을 확인해야 합니다. 확인하지 않으면 거부된 연산이 조용히 빠집니다.
  • 그룹이 실행을 준비하는 단계에서 실패하면(예: 지원하지 않는 조합이나 LPU의 리덕션 타입·크기 규칙(LcclBroadcast, LcclReduce, LcclGather, LcclScatter, LcclSend/LcclRecv)에 걸린 kLcclNotSupported. 이 오류는 LcclGroupEnd()에서 드러납니다) 그 오류가 그룹에 기록되고, LcclGroupEnd()는 모아 둔 연산을 모두 버린 채 그 오류를 반환합니다. 앞서 요청한 연산도 실행되지 않습니다.
  • 실행 단계의 실패(커널 오류, 워치독)는 그 앞에서 이미 끝난 실행의 결과를 되돌리지 않습니다. 중단되었거나 워치독이 끊은 커널은 LcclGroupEnd()가 알려 줍니다.

4.3 중첩

그룹은 중첩됩니다. 라이브러리가 스레드별로 깊이를 추적하며, 가장 바깥 구간이 닫힐 때 작업이 실행됩니다.

1
2
3
4
LcclGroupStart();          // 깊이 1
  LcclGroupStart();        // 깊이 2
  LcclGroupEnd();          // 깊이 1 — 아직 실행되지 않음
LcclGroupEnd();            // 깊이 0 — 여기서 전부 실행

덕분에 호출자가 이미 그룹을 열었는지 몰라도 헬퍼 함수가 자기 그룹을 여는 것이 안전합니다. LcclAllToAll을 호출자의 그룹 안에서 호출하면 그 그룹에 합류하며 따로 실행되지 않습니다.

모든 start에는 end가 있어야 합니다

깊이는 스레드별로 관리되며 에러가 나도 초기화되지 않습니다. 이른 return이나 예외로 LcclGroupEnd()를 건너뛴 LcclGroupStart()는 그 스레드를 영구히 그룹 안에 남기고, 이후 모든 연산이 실행되지 않고 큐에 쌓입니다. 증상은 에러 없이 진행이 멈추는 프로세스입니다.

짝이 없는 LcclGroupEnd()는 kLcclGroupNotInGroup으로 보고됩니다.

C++에서는 손으로 닫지 말고 스코프 가드로 닫으십시오. Python에서는 실패한 호출이 예외를 발생시키므로 group_end()를 finally 블록에서 호출하십시오.

4.4 여러 커뮤니케이터 섞기

여러 커뮤니케이터의 연산이 하나의 그룹을 공유할 수 있습니다. 한 랭크가 텐서 병렬과 파이프라인 병렬 트래픽을 LcclGroupEnd() 한 번으로 처리하는 방식입니다.

한 그룹에 블로킹과 논블로킹 커뮤니케이터를 섞지 마십시오

한 그룹에는 블로킹 설정이 같은 커뮤니케이터만 넣으십시오. 블로킹 플래그는 생성 시점에 LcclConfig로 지정합니다. 커뮤니케이터를 보십시오.

라이브러리는 커뮤니케이터 생성·파괴 작업이 섞인 경우에만 kLcclInvalidArgument로 거부합니다(Blocking and nonblocking communicators are not allowed in the same group. 경고). 집합 연산이 섞인 경우는 검사하지 않고 마지막에 합류한 커뮤니케이터의 모드를 따르므로 직접 피해야 합니다.

4.5 그룹에서 나오는 에러

인자 검사에서 걸리는 실패는 해당 호출이 즉시 반환하고, 준비·실행 단계의 실패는 LcclGroupEnd()에서 드러납니다. 후자를 진단할 때는 에러 코드가 문제는 알려 주지만 어느 연산이 원인인지는 알려 주지 않습니다.

특정 호출에 실패를 귀속시켜야 한다면, 디버깅하는 동안 그룹 없이 연산을 호출해 실행 오버헤드를 감수하고, 끝난 뒤 그룹을 되돌리십시오.

논블로킹 커뮤니케이터에서는 LcclGroupEnd()가 기다리지 않고 kLcclInProgress로 먼저 돌아올 수 있습니다. 그룹에 연결을 기다리는 커뮤니케이터나 비동기 작업이 남아 있을 때입니다. 완료는 LcclCommGetAsyncError()로 확인합니다.


다음 단계