6. 에러 처리¶
모든 C++ 진입점은 LcclResult를 반환합니다. 이 장은 실패를 분류하는 방법과 그 이후 커뮤니케이터가 어떤 상태인지를 다룹니다.
전체 코드 목록은 에러 코드에 있습니다.
6.1 반환 규약¶
1 2 3 4 | |
- 반환값은 항상
LcclResult이며, 출력은 포인터 파라미터로 전달됩니다. - 예외는 전파되지 않습니다. Python 바인딩은
RuntimeError를 발생시키고, 메시지는<함수 이름> failed: <메시지>형식입니다. 예를 들면LcclAllReduce failed: Operation not supported입니다. 코드 번호는 담기지 않으므로, 코드가 필요하면 에러 코드에서 메시지로 찾으십시오. 고유 ID의 길이가 128바이트가 아니면ValueError입니다. LcclGetErrorToString()이 코드를 로그용 문자열로 바꿔 줍니다.- 실패한 호출은 보통 원인을 WARN 또는 ERROR 로그로 먼저 남깁니다. 그 뒤에
<파일>:<줄> -> <메시지>형식의 ERROR 로그가 여러 줄 이어질 수 있으며, 이 줄은 코드 이름이 아니라 위 메시지 문장을 출력합니다.kLcclInProgress는 실패가 아니므로 남기지 않습니다.
6.2 실패 분류¶
LcclResult는 코드를 서브시스템별 범위로 나누므로, 낯선 값 하나로 어느 계층에서 어떤 방식으로 실패했는지 알 수 있습니다.
| 범위 | 서브시스템 | 무엇이 잘못됐는가 |
|---|---|---|
0x00000 |
일반 | 인자, 미지원, 내부 |
0x10000 |
커뮤니케이터 | 핸들, 랭크 범위, 상태, 같은 카드를 잡은 랭크 |
0x20000 |
소켓 | 연결, 송신, 수신, 타임아웃 |
0x30000 |
부트스트랩 | 랑데부, 인터페이스 탐색 |
0x40000 |
메모리 | 호스트/디바이스 할당, 공유 메모리 |
0x50000 |
토폴로지 | 토폴로지 파일 파싱, 한계, 조회 |
0x60000 |
Net 플러그인 | 플러그인 선택, 디바이스 인덱스, ibverbs 완료 오류 |
0x70000 |
Transport | 공유 메모리 또는 네트워크 데이터 경로, 랭크 간 설정 불일치 |
0x80000 |
Proxy | 통신 경로 내부의 진행 오류 |
0x90000 |
그룹 | 비동기 작업, 짝이 맞지 않는 start/end |
0xA0000 |
Enqueue | 연산 준비: 사용할 알고리즘·프로토콜 없음, 짝 없는 자기 송수신 |
0xB0000 |
커널 | 커널 인자, 워치독, 중단 |
1 2 3 | |
범위가 어디를 봐야 할지 알려 줍니다. 0x20000(소켓)과 0x30000(부트스트랩) 코드는 랭크들이 서로 연결되지 못했다는 뜻이므로 그 이후는 볼 필요가 없고, 0xB0000 코드는 만났지만 전송 자체가 실패했다는 뜻입니다.
랭크가 오지 않는 경우는 코드가 나오지 않는다는 점에 유의하십시오. 핸들을 만든 프로세스에 접속하지 못하면 소켓 코드로 실패하지만, 접속은 됐는데 일부 랭크가 오지 않으면 LcclCommInitRank()가 에러 없이 기다립니다. 커뮤니케이터와 문제 해결을 보십시오.
6.3 실패가 아닌 코드¶
| 코드 | 의미 |
|---|---|
kLcclInProgress |
논블로킹 연산이 아직 끝나지 않음. 다시 확인 |
그 외 0이 아닌 값은 모두 실패입니다.
6.4 kLcclNotSupported는 정상적으로 마주치는 코드입니다¶
NCCL에서 이전(마이그레이션)하는 동안 가장 자주 보게 되는 코드이며 결함이 아닙니다. 해당 (연산, 리덕션, 데이터 타입) 조합에 커널이 없다는 뜻이고, 아무것도 전송되기 전에 호출한 지점(그룹 안이면 LcclGroupEnd())에서 발생합니다. 정수 타입이나 Float64의 Avg도 같은 코드입니다.
소켓 에러와 달리 조치가 명확하므로 일반 실패로 뭉뚱그리지 말고 별도로 처리하십시오. 지원 매트릭스를 보십시오.
이 코드가 모든 미지원 조합을 잡아 주지는 않습니다
랭크가 1개인 커뮤니케이터는 어떤 조합도 통과합니다. 그러니 1-랭크 테스트에서 kLcclNotSupported를 받지 않았다고 그 조합이 여러 랭크에서 된다는 뜻은 아닙니다.
6.5 비동기 실패¶
기본 커뮤니케이터는 블로킹이고, 집합 연산은 반환될 때 이미 끝나 있습니다. 이때 반환값이 곧 결과입니다.
비동기 오류를 읽어야 하는 경우는 두 가지입니다.
- 논블로킹 커뮤니케이터(
LcclConfig의blocking = 0이나LCCL_BLOCKING=0). 호출이kLcclInProgress를 반환하고 작업은 뒤에서 진행됩니다. 결과는 커뮤니케이터에 기록됩니다. kLcclKernelAborted를 받은 경우. 통신 경로 내부에서 난 실패는 원인 코드가 커뮤니케이터에 기록됩니다. LPU에서는 실패한 호출이 원인 코드를 그대로 돌려줍니다.
1 2 3 4 5 6 | |
기록된 오류는 지워지지 않습니다
LcclCommGetAsyncError()는 마지막으로 기록된 값을 돌려주며 읽어도 지워지지 않습니다. 오류가 기록된 커뮤니케이터를 되살리는 방법은 없으므로 파괴하고 다시 만드십시오. 논블로킹 커뮤니케이터는 대신 LcclCommAbort()로 해제하십시오.
호출이 이유 없이 멈춘 것처럼 보이면 LcclCommGetAsyncError() 값도 읽어 보십시오. 내부 실패가 이 값에만 남는 경우가 있습니다.
Python 바인딩에는 LcclCommGetAsyncError()가 없습니다. 논블로킹 모드도 쓸 수 없습니다. 바인딩은 kLcclInProgress도 실패로 취급해 예외를 던집니다.
6.6 실패 이후의 상태¶
| 실패 종류 | 이후 상태 |
|---|---|
kLcclNotSupported (등록되지 않은 조합, LPU의 리덕션 타입과 크기 규칙 등. 호출 또는 LcclGroupEnd()에서 발생) |
전송 없음. 블로킹 커뮤니케이터는 정상이며 해당 호출만 사용 불가. 논블로킹 커뮤니케이터에는 이 오류가 기록되어 이후 연산이 모두 이 코드를 반환함(6.5). 그룹 안이라면 그룹의 모든 연산이 버려짐. 그룹 안의 LcclSend/LcclRecv가 거부되었다면 다른 랭크가 kLcclKernelSpinTimeout으로 실패할 수 있으므로 모든 랭크에서 커뮤니케이터를 다시 만드십시오 |
호출 시점의 인자 검사(kLcclInvalidArgument, kLcclComm*)와 크기 규칙(LcclAllToAll, LcclReduceScatter), 512바이트 경계가 아닌 count로 LcclAllGather를 그룹 안·논블로킹·제자리로 부르는 경우 |
전송 없음. 커뮤니케이터는 정상. 그룹 안이라도 그 호출만 거부됨 |
| 부트스트랩, 소켓 에러 | 커뮤니케이터가 생성되지 않음 |
실행 단계 에러: 커널 인자(kLcclKernelInvalidArgs), 전송 경로 내부 실패, LPU에서 연산을 실행하는 중에 런타임이 보고한 실패(kLcclSystemError 등) |
커뮤니케이터를 쓸 수 없음. 되돌릴 수 없음 |
kLcclKernelSpinTimeout |
워치독(LCCL_KERNEL_TIMEOUT_MS)이 커널을 끊음. 커뮤니케이터는 중단됨. 참여를 멈춘 랭크를 찾으십시오. LPU에서는 랭크들이 연산에 들어오는 시차가 이 시간(기본 5초)을 넘어도 생깁니다 |
kLcclKernelAborted |
이미 중단된 커뮤니케이터. 첫 원인은 LcclCommGetAsyncError()에 있을 수 있음 |
연산 단위 복구는 없습니다
전송 경로의 실패는 랭크들이 서로 다른 지점까지 진행했다는 뜻입니다. 연산을 다시 호출해도 동기화가 회복되지 않습니다. 복구 단위는 커뮤니케이터입니다. 모든 랭크에서 정리하고 다시 만드십시오.
한 랭크가 실패하면 다른 랭크는 그 사실을 모르고 상대를 기다릴 수 있습니다. 이 기다림은 워치독이 끊을 때까지 이어지고, 끊긴 랭크는 kLcclKernelSpinTimeout을 받습니다. 그래서 같은 사건에서 랭크마다 다른 코드가 보일 수 있습니다.
6.7 실패 이후 정리¶
중단된 커뮤니케이터는 LcclCommDestroy()로 자원을 해제합니다. 워치독이 끊었거나 오류로 중단된 경우가 이에 해당합니다. 피어가 사라져 진행 중이던 연산이 끝나지 않는 상황이면 해제가 멈출 수 있으므로, 대신 LcclCommAbort()를 쓰십시오.
1 | |
LcclCommAbort()와 LcclCommDestroy()는 둘 다 자원을 해제하므로 한 핸들에 하나만 호출합니다. 호출한 뒤에는 핸들을 쓰지 마십시오. 한 프로세스 안에 같은 커뮤니케이터에 속한 랭크가 여럿이면(LcclCommInitAll 등) 그 랭크를 모두 정리해야 자원이 해제됩니다. 커뮤니케이터를 보십시오.
6.8 로깅¶
lccl은 공용 HyperAccel 로거를 통해 로그를 남깁니다. 로그는 랭크마다 별도 파일로 보내십시오. 여러 랭크의 출력이 섞이면 거의 읽을 수 없는데, 정작 필요한 것은 랭크 간 순서인 경우가 많습니다.
1 2 3 4 5 | |
릴리즈 빌드에서는 Info 이하 로그가 나오지 않습니다
릴리즈 빌드는 Warn(3) 미만을 Warn으로 올려 처리하도록 되어 있어서, halogger.set_level("trace")나 HA_LOG_LEVEL=0으로 낮춰도 보통 Trace, Debug, Info 로그를 얻을 수 없습니다. 선택된 네트워크 인터페이스와 채널 수 같은 정보가 INFO로만 남기 때문에 릴리즈 빌드에서는 로그로 확인할 수 없습니다. 대신 Python에서는 comm.n_nodes, comm.n_channels 같은 속성을 읽으십시오. 로깅 변수는 런타임과 공유합니다. 런타임 에러 처리의 로깅을 보십시오.
보고할 때는 WARN과 ERROR 로그, 사용한 LCCL_* 환경 변수, 랭크별 n_nodes·n_channels를 첨부하십시오.