7. 문제 해결¶
관측되는 증상으로 색인한 실패 목록입니다. 로그에 찍힌 문자열이나 에러 코드를 그대로 검색하십시오. 코드 정의는 에러 코드에 있습니다.
분산 환경의 실패는 두 가지 형태가 대부분입니다. 랭크들이 만나지 못했다, 그리고 만났지만 한 랭크가 참여하지 않는다. 어느 쪽인지 판정하는 것이 아래 모든 진단의 첫 단계입니다.
릴리즈 빌드의 로그는 WARN 이상만 나옵니다
릴리즈 빌드는 INFO 이하 로그를 출력하지 않으므로, 아래 진단은 WARN과 ERROR 로그와 comm 속성만으로 따라갈 수 있게 썼습니다. halogger.set_level("trace")를 호출해도 Warn으로 올려 처리됩니다. 에러 처리를 보십시오.
시작하기 전에¶
에러를 보고한 랭크뿐 아니라 모든 랭크에서 수집하십시오. 실패한 랭크가 원인인 랭크가 아닌 경우가 많습니다.
1 2 3 4 5 | |
1 2 3 4 5 | |
로그는 랭크마다 별도 파일에 수집하십시오(에러 처리). 랭크 0뿐 아니라 고유 ID를 만든 프로세스 쪽 로그도 보십시오. 랭크들이 모이는 단계의 오류는 거기에 찍힙니다.
시작 단계¶
LcclCommInitRank가 반환하지 않음¶
증상 — 일부 또는 모든 랭크가 커뮤니케이터 생성에서 멈춥니다.
원인 — 랭크들이 서로 만나지 못했습니다. 만나길 기다리는 동안에는 타임아웃이 없어서, 랭크가 어긋나면 에러 없이 기다립니다. 흔한 이유는 아래와 같습니다.
- 서로 다른 고유 ID를 받음(로그 없음)
- 약속한 수만큼 랭크가 호출하지 않음(로그 없음)
nranks가 랭크마다 다름(고유 ID를 만든 프로세스의 ERROR 로그)- 같은 랭크 번호로 두 번 접속함(고유 ID를 만든 프로세스의 ERROR 로그)
해결
- 고유 ID를 만든 프로세스의 로그에서
Bootstrap Root : mismatch in rank count나rank N of M ranks has already checked in을 검색하십시오. ERROR 로그라 릴리즈 빌드에서도 보입니다. 이 줄이 있으면 접속 대기는 이미 끝났고, 이미 접속한 랭크는 영원히 기다리고 아직 접속하지 못한 랭크는 소켓 오류로 실패합니다. 모든 랭크를 내리고nranks와 랭크 번호를 맞춰 다시 시작하십시오. - 그 로그가 없으면 그 프로세스에서
lccl.bootstrap_is_root_alive()를 호출하십시오.1이면 그 프로세스가 아직 랭크들의 접속을 기다리는 중입니다. 부족한 랭크가 있거나 랭크들이 서로 다른 고유 ID를 받았다는 뜻입니다. - 모든 랭크가 같은
nranks와 같은 고유 ID 바이트를 받았는지 확인하십시오. 서로 다른 ID는 서로 다른 모임을 만들고 각각 자기 랭크만 기다리므로, 어느 쪽에도 오류 로그가 남지 않습니다. - 서버가 여럿이면 고유 ID를 만든 서버에 다른 서버가 네트워크로 도달할 수 있는지 확인하십시오. 다중 노드 실행을 보십시오.
Communicator unknown or unclassified error(kLcclCommError)로 생성이 실패함¶
원인 — 대개 둘 중 하나입니다.
- 커뮤니케이터를 만들기 전에 디바이스를 고르지 않았습니다(
hart.set_device()/HaSetDevice()를 호출하지 않음). - 같은 서버의 두 랭크가 같은 카드를 잡았습니다. 로그에
Duplicate LPU detected : rank X and rank Y both on LPU device N이 남습니다.
해결 — 랭크마다 서로 다른 카드를 set_device로 고른 뒤 커뮤니케이터를 만드십시오. 한 서버에서 한 카드는 랭크 하나만 잡을 수 있습니다.
Bootstrap could not find a usable network interface(kLcclBootstrapNoNetIf)¶
원인 — 쓸 수 있는 네트워크 인터페이스를 찾지 못했습니다. LCCL_SOCKET_IFNAME을 지정했다면 그 이름에 매칭되는 인터페이스가 없는 경우가 가장 흔합니다. 이름을 지정하면 자동 선택으로 돌아가지 않습니다. 자동 선택일 때는 루프백까지 마지막 수단으로 고르므로, 루프백만 있어도 이 오류가 나지는 않습니다.
해결
LCCL_SOCKET_IFNAME이ip -o link에 보이는 이름과 맞는지 확인하십시오(eth는 접두사,=eth0은 정확히 일치,^docker,lo는 제외). 확신이 없으면 지우고 자동 선택에 맡기십시오.- 컨테이너라면 네트워크 네임스페이스에 인터페이스가 있는지 확인하십시오.
LCCL_SOCKET_FAMILY(AF_INET/AF_INET6)는 후보 인터페이스를 주소 종류로 거릅니다. 서버에 없는 종류를 지정하면 그것만으로 이 오류가 납니다. 값을 지우거나 서버가 가진 종류에 맞추십시오.- 이 실패는 프로세스 안에서 한 번 정해지면 다시 시도하지 않습니다. 환경 변수를 고쳤으면 프로세스를 다시 시작하십시오.
LcclConfig 검증 실패로 kLcclInvalidArgument¶
원인 — 제공된 초기화 매크로로 초기화하지 않은 LcclConfig이거나 값이 범위를 벗어났습니다. 구조체에는 라이브러리가 검증하는 필드가 있습니다. 로그에서 LcclConfig argument not initialized via LCCL_CONFIG_INITIALIZER나 Invalid config를 검색하십시오.
해결 — LCCL_CONFIG_INITIALIZER에서 시작해 바꾸려는 필드만 설정하십시오. min_num_chnl만 설정하면 거부되므로 max_num_chnl도 함께 설정하십시오.
잘못된 rank로 kLcclCommInvalidArgs 또는 kLcclInvalidArgument¶
원인 — myrank가 [0, nranks) 범위 밖입니다. LcclCommInitRank는 kLcclCommInvalidArgs를, LcclCommInitRankConfig는 kLcclInvalidArgument를 반환합니다. 로그에서 Invalid rank requested를 검색하십시오.
해결 — 대개 런처의 off-by-one이거나 랭크를 1부터 매긴 경우입니다.
kLcclMemShmMapFail로 시작이 실패함¶
원인 — 공유 메모리를 만들거나 매핑하지 못했습니다. 로그에 failed to create shared memory file, failed to open shared memory file, failed to extend, Could not map 중 하나가 남습니다. 흔한 이유는 아래와 같습니다.
/dev/shm이 작음. 같은 서버의 랭크들이 서로 다른 프로세스로 실행되면/dev/shm으로 통신하고, 서버당 사용량은 그 서버의 랭크 수의 제곱에 비례해 늘어납니다. 기본LCCL_BUFFSIZE에서 랭크 4개는 약 80 MiB라서, 컨테이너의 기본 64 MiB에는 랭크가 3개까지만 들어갑니다.- 한 서버의 랭크들이 서로 다른
LCCL_SHM_PATH를 받음 - 디렉터리 권한
해결 — df -h /dev/shm으로 용량과 사용량을 확인하십시오. 사용 중인 공간은 ls나 du에는 보이지 않습니다. 컨테이너에는 더 큰 /dev/shm을 주거나(docker run --shm-size, 쿠버네티스에서는 medium: Memory인 emptyDir를 /dev/shm에 마운트) LCCL_SHM_PATH를 더 큰 파일시스템으로 돌리십시오. 같은 서버의 모든 랭크가 같은 LCCL_SHM_PATH를 받아야 합니다.
랭크 사이 설정 불일치로 시작이 실패함¶
증상 — ranks disagree on buff_size나 ranks disagree on LCCL_SHM_LOCALITY 로그와 함께 kLcclTransportBuffSizeMismatch 또는 kLcclTransportShmLocalityMismatch. 서로 다른 서버의 랭크끼리 LCCL_BUFFSIZE가 다르면 Net received size does not match expected 로그와 함께 kLcclNetSizeMismatch로 실패합니다.
원인 — 랭크마다 LCCL_* 환경 변수가 다릅니다. 이 값들은 프로세스마다 환경에서 읽으므로 랭크 사이에서 자동으로 맞춰지지 않습니다.
해결 — 모든 랭크에 같은 LCCL_* 환경을 주십시오. 설정 파일(~/.lccl.conf, /etc/lccl.conf)이 서버마다 다르지 않은지도 확인하십시오.
한 서버의 --network host 컨테이너가 서로 다른 서버로 취급됨¶
증상 — comm.n_nodes가 서버 수보다 큽니다.
원인 — 공유 메모리는 두 랭크가 같은 /dev/shm을 볼 때만 쓸 수 있습니다. 컨테이너마다 /dev/shm이 따로 있으면 LCCL이 컨테이너마다 서로 다른 서버로 취급해 네트워크 전송으로 연결합니다.
해결 — 공유 메모리로 연결하려면 컨테이너들이 /dev/shm을 공유하게 하십시오(예: docker run --ipc=host). 다중 노드 실행을 보십시오.
LPU에서 communicator of N ranks on hw uses 1 channel, not M 경고가 남음¶
원인 — LPU에서 랭크가 2개 이상인 커뮤니케이터는 채널 1개만 씁니다. 채널 수를 1보다 크게 요청하면(LCCL_MAX_NCHANNELS, LCCL_MIN_NCHANNELS 등) 이 경고를 남기고 1로 맞춥니다.
해결 — 동작에는 영향이 없으니 무시해도 됩니다. 없애려면 LPU에서 채널 수 설정을 지우십시오.
시작 이후의 행(Hang)¶
집합 연산이 멈춘 것처럼 보여도 영원히 멈추지는 않습니다. LCCL_KERNEL_TIMEOUT_MS(기본 5초)가 지나면 워치독이 커널을 중단시키고, 호출은 kLcclKernelSpinTimeout을 반환하며, 로그에 device loop exceeded LCCL_KERNEL_TIMEOUT_MS ... 경고가 남습니다. 이후 그 커뮤니케이터는 쓸 수 없습니다. 파괴하고 다시 만들어야 합니다.
모든 랭크가 집합 연산에서 멈춤¶
원인 — 랭크들이 다음에 올 집합 연산에 대해 서로 다르게 알고 있습니다. 집합 연산은 순서로 짝지어지므로 순서가 갈리면 잘못 짝지어집니다. 크기나 데이터 타입이 랭크마다 달라도 같습니다.
해결
- 각 호출 전에 모든 랭크에서 연산 이름과 순번, 크기를 로그로 남기십시오. 랭크 간 비교해 처음 달라지는 지점이 버그입니다.
- 랭크별 데이터에 의존하는 제어 흐름을 찾으십시오. 이른
return, 빈 배치에서의continue, 조건부 집합 연산 같은 것들입니다. 자기 몫이 비어 있어도 모든 랭크가 같은 순서로 호출해야 합니다.
두 랭크가 송수신에서 멈춤¶
원인 — 송신과 수신이 그룹 안에 등록되지 않았습니다. 두 랭크가 모두 송신에서 멈추고 워치독이 끊을 때까지 이어집니다.
해결 — 짝을 LcclGroupStart() / LcclGroupEnd()로 감싸십시오. torch.distributed에서는 dist.batch_isend_irecv를 쓰십시오. 점대점을 보십시오.
한 랭크가 끝났거나 죽은 뒤 나머지가 멈춤¶
원인 — 집합 연산은 모든 랭크가 참여해야 끝납니다. 한 랭크가 커뮤니케이터를 먼저 파괴했거나 프로세스가 죽었습니다.
해결 — 랭크를 함께 내리십시오. 한 랭크가 먼저 정리해야 한다면 나머지도 abort로 정리합니다. 커뮤니케이터를 보십시오. 어느 랭크가 먼저 멈췄는지는 랭크별 로그의 마지막 호출로 찾을 수 있습니다.
워치독이 정상 연산을 끊음¶
증상 — 모든 랭크가 정상으로 호출했는데도 kLcclKernelSpinTimeout.
원인 — 한 연산이 LCCL_KERNEL_TIMEOUT_MS(기본 5초)보다 오래 걸립니다. 매우 큰 전송이나 느린 서버 사이 연결, 랭크 사이 시작 시간 차이가 원인일 수 있습니다. LPU에서는 호출 스레드의 기본 스트림에 먼저 큐잉된 작업을 기다린 시간과 다른 랭크가 연산에 늦게 들어온 시간도 들어갑니다.
해결 — 랭크들이 연산을 비슷한 시점에 호출하게 맞추거나, 호출 전에 호출 스레드의 기본 스트림을 동기화하거나, 매우 큰 전송은 여러 호출로 나누거나, LCCL_KERNEL_TIMEOUT_MS를 늘리십시오. LPU에서는 9999 이하로 두십시오. 그보다 크거나 0 이하이면 멈춘 커널이 드라이버의 12초 한도에 걸려 카드를 리셋해야 할 수 있습니다.
에러도 없고 블로킹된 호출도 없는데 진행이 멈춤¶
원인 — 짝이 맞지 않는 LcclGroupStart(). 스레드가 영구히 그룹 안에 있어 연산이 실행되지 않고 큐에 쌓입니다.
해결 — 모든 LcclGroupStart()와 그에 짝이 되는 LcclGroupEnd() 사이에 이른 return이나 예외가 없는지 점검하십시오. C++에서는 스코프 가드로 닫으십시오. torch.distributed에서 dist.batch_isend_irecv가 예외를 발생시켰다면 그 프로세스에서 계속 진행하지 말고 모든 랭크의 프로세스를 다시 시작하십시오.
거부되는 연산¶
집합 연산에서 kLcclNotSupported¶
원인 — (연산, 리덕션, 데이터 타입) 조합에 커널이 없습니다. 호출한 지점(그룹 안이면 LcclGroupEnd())에서 발생하며 아무것도 전송되지 않았습니다. 정수나 Float64 타입의 Avg도 같습니다.
LPU에서는 다음도 같은 코드로 거부됩니다. ERROR 로그(does not fit a device loop 등)에 이유가 남습니다.
Float16,Bfloat16이 아닌 리덕션- 바이트 수가 512의 배수가 아닌
LcclBroadcast,LcclReduce,LcclGather,LcclScatter,LcclSend/LcclRecv - 4 GiB(
LcclAllReduce,LcclReduceScatter)나 8 GiB(그 밖의 연산)를 넘는 호출 - 랭크가 2개 이상이고
LCCL_BUFFSIZE가 4096의 배수가 아닐 때의 모든 집합 연산과LcclSend/LcclRecv(4096의 배수로 바꾸거나 설정을 지우십시오) - EVT0이 아닌 LPU에서의 집합 연산
- 커뮤니케이터 생성에서 랭크가 16개를 넘거나,
hart가lccl에 든 커널 라이브러리의 형식을 읽지 못할 때(같은 릴리즈의lccl과hart를 설치하십시오)
해결 — 지원 매트릭스에서 조합을 확인하십시오. 흔히 놀라는 지점은 Max/Min 리덕션, all-reduce와 reduce 이외에서의 Prod와 Avg, LPU의 크기 규칙입니다.
집합 연산에서 kLcclInvalidArgument¶
원인 — null 포인터 버퍼, count == 0, 알 수 없는 LcclDataType이나 LcclRedOp, [0, nranks) 범위 밖의 root/peer, 서로 겹친 LcclAllToAll 버퍼입니다. LPU에서는 512바이트 단위 규칙을 어긴 크기(LcclAllToAll, LcclReduceScatter)도 이 코드이고, 512바이트 경계가 아닌 LcclAllGather를 그룹 안이나 논블로킹 커뮤니케이터, 제자리 호출로 부를 때도 이 코드입니다. ERROR 로그에 한 줄로 이유가 남습니다. 이 거부는 호출 시점에 일어나므로 커뮤니케이터는 그대로이고 그룹 안이라도 그 호출만 빠집니다.
해결 — 빈 배치에서 null 버퍼나 0 count로 호출하는 경로가 없는지 확인하고, root와 peer가 커뮤니케이터의 랭크 범위 안인지 점검하십시오.
LPU에서 kLcclKernelInvalidArgs¶
원인 — LPU 커널이 처리할 수 없는 인자입니다. ERROR 로그에 이유가 남습니다. 0.0.5까지 이 코드의 흔한 원인이던 Float32 리덕션과 바이트 수가 512의 배수가 아닌 LcclBroadcast, LcclSend/LcclRecv는 이제 호출 시점에 kLcclNotSupported로 거부됩니다.
해결 — 모든 랭크의 로그에서 이유를 확인하십시오. LCCL_CHUNK_SIZE를 지정했다면 환경 변수에 적힌 조건에 맞는지 확인하십시오. 이 실패 뒤에는 커뮤니케이터를 쓸 수 없으므로 파괴하고 다시 만들어야 합니다.
집합 연산에서 kLcclEnqueueNoAlgo¶
원인 — 쓸 알고리즘·프로토콜 조합이 하나도 남지 않았습니다. LCCL_PROTO나 LCCL_ALGO를 잘못 지정한 경우가 대부분입니다. 알 수 없는 이름은 오류 없이 무시되어 허용 목록이 비게 될 수 있고, LPU에는 LL 커널이 없어서 LCCL_PROTO=LL만 지정하면 LPU의 모든 집합 연산이 이 코드로 실패합니다.
해결 — LCCL_PROTO와 LCCL_ALGO를 지우거나 LCCL_PROTO=Simple, LCCL_ALGO=Ring처럼 유효한 이름으로 지정하십시오. NCCL의 tree, LL128 값은 이 라이브러리에 없습니다. 환경 변수를 보십시오.
torch.distributed에서 [HA_LCCL_NO_HW_KERNEL] 예외¶
원인 — torch.distributed의 lccl 백엔드는 LPU에서 gather, scatter, reduce, all_to_all을 이 예외로 미리 막습니다.
해결 — reduce는 all_reduce로, gather는 all_gather로, scatter는 broadcast나 send/recv로 바꾸십시오. all_to_all은 다른 랭크마다 send와 recv를 하나씩 만들어 한 번의 dist.batch_isend_irecv로 주고받고, 자기 랭크 몫은 직접 복사하십시오. 보내고 받는 조각은 각각 따로 할당한 텐서여야 하므로 x.chunk(n)의 조각은 .clone()으로 복사해 넘기십시오. 지원 매트릭스를 보십시오.
잘못된 결과¶
all-reduce 후 랭크마다 결과가 다름¶
원인 — 랭크들이 같은 형태로 기여하지 않았거나, 집합 연산을 호출한 시점에 송신 버퍼가 아직 쓰이는 중이었습니다. LCCL이 호출 전에 스트림에 큐잉한 작업을 기다린다는 보장이 없으므로, 같은 스트림에서 호출하는 것만으로는 충분하지 않습니다.
해결 — 송신 버퍼를 만든 스트림을 동기화(HaStreamSynchronize)한 뒤 집합 연산을 호출하십시오. 집합 연산을 보십시오.
일부 랭크만 결과가 있고 나머지는 0¶
원인 — 루트가 있는 연산은 결과가 루트에만 놓입니다. LcclReduce와 LcclGather에서는 정상 동작입니다.
해결 — 모든 랭크가 결과를 필요로 한다면 all- 계열을 쓰십시오.
성능¶
집합 연산이 기대보다 훨씬 느림¶
원인 — 아래 항목을 보십시오.
해결 — 집합 연산이 어디서 시간을 쓰는지는 프로파일러 트레이스의 lccl:<연산> 구간으로 볼 수 있습니다. 트레이스 데이터 분석 가이드와 지원 매트릭스를 보십시오.
디바이스를 늘려도 처리량이 늘지 않음¶
원인 — 채널이 하나면 전송이 직렬화됩니다. LPU에서 랭크가 2개 이상인 커뮤니케이터는 채널이 1개로 정해져 있습니다.
해결 — 결론을 내리기 전에 전송 크기를 확인하십시오.
LPU flag BAR of device N stopped for this process 경고 뒤 집합 연산이 느려짐¶
원인 — 경고에 나온 디바이스에서 집합 연산이 실행 중에 실패하거나 LcclCommAbort()를 호출하면, 프로세스가 끝날 때까지 LPU에서 그 디바이스의 집합 연산이 느려집니다. 같은 프로세스에서 다시 만든 커뮤니케이터도 마찬가지입니다.
해결 — LPU에서 원래 처리량이 필요하면 커뮤니케이터만 다시 만들지 말고 프로세스를 다시 시작하십시오.
서버 사이 연결¶
서버가 여럿인 구성의 증상은 다중 노드 실행에 따로 모았습니다. 자주 만나는 것만 옮깁니다.
| 증상 | 가장 흔한 원인 |
|---|---|
comm.n_nodes가 기대한 서버 수보다 작다 |
한 머신에서 --network host로 띄운 컨테이너들이 /dev/shm을 공유함(한 서버로 취급됨) |
| 랑데부가 끝나지 않음 | 지정한 NIC으로 상대 서버에 도달할 수 없음, 방화벽, 컨테이너 bridge 주소(172.17.x.x) |
kLcclSocketTimeout, kLcclSocketNotConnect |
고유 ID가 낡았거나 주소에 도달할 수 없음 |
서버 사이 트래픽이 lo로 감 |
LCCL_SOCKET_IFNAME을 지정하지 않음 |
정리¶
크래시나 생성 실패 후 공유 메모리 파일이 남음¶
증상 — /dev/shm에 lccl-XXXXXX 파일이 쌓이고, 이후 실행이 공간 부족으로 kLcclMemShmMapFail을 낼 수 있습니다.
원인 — 두 랭크가 모두 연결하기 전에 랭크가 죽었거나, 커뮤니케이터 생성이 실패했습니다(예: kLcclMemShmMapFail). 연결이 끝나면 라이브러리가 이 파일을 스스로 지웁니다. 파일 이름은 실행마다 달라 새 실행과 충돌하지는 않고, 공간만 차지합니다.
해결 — 서버에서 LCCL을 쓰는 프로세스가 모두 끝난 뒤 남은 lccl-* 파일을 삭제하십시오.
지원 요청¶
위 항목으로 해결되지 않으면 아래를 첨부해 HyperAccel 지원팀에 문의하십시오.
- 모든 랭크의 WARN 이상 로그, 랭크마다 별도 파일. 고유 ID를 만든 프로세스의 로그를 포함
- 랭크 수, 서버당 랭크 수, 서버 수, 랭크별
comm.n_nodes와comm.n_channels - 실패한 정확한 연산, 리덕션, 데이터 타입, 크기
- 설정한
LCCL_*환경 변수와 설정 파일 내용 lccl,hart, 드라이버 버전nranks == 2에서도 재현되는지 여부