콘텐츠로 이동

7. 문제 해결

관측되는 증상으로 색인한 실패 목록입니다. 로그에 찍힌 문자열이나 에러 코드를 그대로 검색하십시오. 코드 정의는 에러 코드에 있습니다.

분산 환경의 실패는 두 가지 형태가 대부분입니다. 랭크들이 만나지 못했다, 그리고 만났지만 한 랭크가 참여하지 않는다. 어느 쪽인지 판정하는 것이 아래 모든 진단의 첫 단계입니다.

릴리즈 빌드의 로그는 WARN 이상만 나옵니다

릴리즈 빌드는 INFO 이하 로그를 출력하지 않으므로, 아래 진단은 WARN과 ERROR 로그와 comm 속성만으로 따라갈 수 있게 썼습니다. halogger.set_level("trace")를 호출해도 Warn으로 올려 처리됩니다. 에러 처리를 보십시오.


시작하기 전에

에러를 보고한 랭크뿐 아니라 모든 랭크에서 수집하십시오. 실패한 랭크가 원인인 랭크가 아닌 경우가 많습니다.

1
2
3
4
5
# comm은 comm_init_rank / comm_init_all이 반환한 LcclComm
print("rank     :", comm.rank, "of", comm.n_ranks)
print("device   :", comm.ha_dev)
print("node     :", comm.node, "of", comm.n_nodes)
print("channels :", comm.n_channels)
1
2
3
4
5
# 랭크마다
ls -l /dev/shm | head            # 공유 메모리 파일
df -h /dev/shm                   # 공유 메모리 용량과 사용량
env | grep -E '^(LCCL_|HA_LOG)'  # 환경 변수
cat ~/.lccl.conf /etc/lccl.conf 2>/dev/null   # 설정 파일에서 오는 값

로그는 랭크마다 별도 파일에 수집하십시오(에러 처리). 랭크 0뿐 아니라 고유 ID를 만든 프로세스 쪽 로그도 보십시오. 랭크들이 모이는 단계의 오류는 거기에 찍힙니다.


시작 단계

LcclCommInitRank가 반환하지 않음

증상 — 일부 또는 모든 랭크가 커뮤니케이터 생성에서 멈춥니다.

원인 — 랭크들이 서로 만나지 못했습니다. 만나길 기다리는 동안에는 타임아웃이 없어서, 랭크가 어긋나면 에러 없이 기다립니다. 흔한 이유는 아래와 같습니다.

  • 서로 다른 고유 ID를 받음(로그 없음)
  • 약속한 수만큼 랭크가 호출하지 않음(로그 없음)
  • nranks가 랭크마다 다름(고유 ID를 만든 프로세스의 ERROR 로그)
  • 같은 랭크 번호로 두 번 접속함(고유 ID를 만든 프로세스의 ERROR 로그)

해결

  1. 고유 ID를 만든 프로세스의 로그에서 Bootstrap Root : mismatch in rank count나 rank N of M ranks has already checked in을 검색하십시오. ERROR 로그라 릴리즈 빌드에서도 보입니다. 이 줄이 있으면 접속 대기는 이미 끝났고, 이미 접속한 랭크는 영원히 기다리고 아직 접속하지 못한 랭크는 소켓 오류로 실패합니다. 모든 랭크를 내리고 nranks와 랭크 번호를 맞춰 다시 시작하십시오.
  2. 그 로그가 없으면 그 프로세스에서 lccl.bootstrap_is_root_alive()를 호출하십시오. 1이면 그 프로세스가 아직 랭크들의 접속을 기다리는 중입니다. 부족한 랭크가 있거나 랭크들이 서로 다른 고유 ID를 받았다는 뜻입니다.
  3. 모든 랭크가 같은 nranks와 같은 고유 ID 바이트를 받았는지 확인하십시오. 서로 다른 ID는 서로 다른 모임을 만들고 각각 자기 랭크만 기다리므로, 어느 쪽에도 오류 로그가 남지 않습니다.
  4. 서버가 여럿이면 고유 ID를 만든 서버에 다른 서버가 네트워크로 도달할 수 있는지 확인하십시오. 다중 노드 실행을 보십시오.

Communicator unknown or unclassified error(kLcclCommError)로 생성이 실패함

원인 — 대개 둘 중 하나입니다.

  • 커뮤니케이터를 만들기 전에 디바이스를 고르지 않았습니다(hart.set_device() / HaSetDevice()를 호출하지 않음).
  • 같은 서버의 두 랭크가 같은 카드를 잡았습니다. 로그에 Duplicate LPU detected : rank X and rank Y both on LPU device N이 남습니다.

해결 — 랭크마다 서로 다른 카드를 set_device로 고른 뒤 커뮤니케이터를 만드십시오. 한 서버에서 한 카드는 랭크 하나만 잡을 수 있습니다.

Bootstrap could not find a usable network interface(kLcclBootstrapNoNetIf)

원인 — 쓸 수 있는 네트워크 인터페이스를 찾지 못했습니다. LCCL_SOCKET_IFNAME을 지정했다면 그 이름에 매칭되는 인터페이스가 없는 경우가 가장 흔합니다. 이름을 지정하면 자동 선택으로 돌아가지 않습니다. 자동 선택일 때는 루프백까지 마지막 수단으로 고르므로, 루프백만 있어도 이 오류가 나지는 않습니다.

해결

  1. LCCL_SOCKET_IFNAME이 ip -o link에 보이는 이름과 맞는지 확인하십시오(eth는 접두사, =eth0은 정확히 일치, ^docker,lo는 제외). 확신이 없으면 지우고 자동 선택에 맡기십시오.
  2. 컨테이너라면 네트워크 네임스페이스에 인터페이스가 있는지 확인하십시오.
  3. LCCL_SOCKET_FAMILY(AF_INET/AF_INET6)는 후보 인터페이스를 주소 종류로 거릅니다. 서버에 없는 종류를 지정하면 그것만으로 이 오류가 납니다. 값을 지우거나 서버가 가진 종류에 맞추십시오.
  4. 이 실패는 프로세스 안에서 한 번 정해지면 다시 시도하지 않습니다. 환경 변수를 고쳤으면 프로세스를 다시 시작하십시오.

LcclConfig 검증 실패로 kLcclInvalidArgument

원인 — 제공된 초기화 매크로로 초기화하지 않은 LcclConfig이거나 값이 범위를 벗어났습니다. 구조체에는 라이브러리가 검증하는 필드가 있습니다. 로그에서 LcclConfig argument not initialized via LCCL_CONFIG_INITIALIZER나 Invalid config를 검색하십시오.

해결 — LCCL_CONFIG_INITIALIZER에서 시작해 바꾸려는 필드만 설정하십시오. min_num_chnl만 설정하면 거부되므로 max_num_chnl도 함께 설정하십시오.

잘못된 rank로 kLcclCommInvalidArgs 또는 kLcclInvalidArgument

원인 — myrank가 [0, nranks) 범위 밖입니다. LcclCommInitRank는 kLcclCommInvalidArgs를, LcclCommInitRankConfig는 kLcclInvalidArgument를 반환합니다. 로그에서 Invalid rank requested를 검색하십시오.

해결 — 대개 런처의 off-by-one이거나 랭크를 1부터 매긴 경우입니다.

kLcclMemShmMapFail로 시작이 실패함

원인 — 공유 메모리를 만들거나 매핑하지 못했습니다. 로그에 failed to create shared memory file, failed to open shared memory file, failed to extend, Could not map 중 하나가 남습니다. 흔한 이유는 아래와 같습니다.

  • /dev/shm이 작음. 같은 서버의 랭크들이 서로 다른 프로세스로 실행되면 /dev/shm으로 통신하고, 서버당 사용량은 그 서버의 랭크 수의 제곱에 비례해 늘어납니다. 기본 LCCL_BUFFSIZE에서 랭크 4개는 약 80 MiB라서, 컨테이너의 기본 64 MiB에는 랭크가 3개까지만 들어갑니다.
  • 한 서버의 랭크들이 서로 다른 LCCL_SHM_PATH를 받음
  • 디렉터리 권한

해결 — df -h /dev/shm으로 용량과 사용량을 확인하십시오. 사용 중인 공간은 ls나 du에는 보이지 않습니다. 컨테이너에는 더 큰 /dev/shm을 주거나(docker run --shm-size, 쿠버네티스에서는 medium: Memory인 emptyDir를 /dev/shm에 마운트) LCCL_SHM_PATH를 더 큰 파일시스템으로 돌리십시오. 같은 서버의 모든 랭크가 같은 LCCL_SHM_PATH를 받아야 합니다.

랭크 사이 설정 불일치로 시작이 실패함

증상 — ranks disagree on buff_size나 ranks disagree on LCCL_SHM_LOCALITY 로그와 함께 kLcclTransportBuffSizeMismatch 또는 kLcclTransportShmLocalityMismatch. 서로 다른 서버의 랭크끼리 LCCL_BUFFSIZE가 다르면 Net received size does not match expected 로그와 함께 kLcclNetSizeMismatch로 실패합니다.

원인 — 랭크마다 LCCL_* 환경 변수가 다릅니다. 이 값들은 프로세스마다 환경에서 읽으므로 랭크 사이에서 자동으로 맞춰지지 않습니다.

해결 — 모든 랭크에 같은 LCCL_* 환경을 주십시오. 설정 파일(~/.lccl.conf, /etc/lccl.conf)이 서버마다 다르지 않은지도 확인하십시오.

한 서버의 --network host 컨테이너가 서로 다른 서버로 취급됨

증상 — comm.n_nodes가 서버 수보다 큽니다.

원인 — 공유 메모리는 두 랭크가 같은 /dev/shm을 볼 때만 쓸 수 있습니다. 컨테이너마다 /dev/shm이 따로 있으면 LCCL이 컨테이너마다 서로 다른 서버로 취급해 네트워크 전송으로 연결합니다.

해결 — 공유 메모리로 연결하려면 컨테이너들이 /dev/shm을 공유하게 하십시오(예: docker run --ipc=host). 다중 노드 실행을 보십시오.

LPU에서 communicator of N ranks on hw uses 1 channel, not M 경고가 남음

원인 — LPU에서 랭크가 2개 이상인 커뮤니케이터는 채널 1개만 씁니다. 채널 수를 1보다 크게 요청하면(LCCL_MAX_NCHANNELS, LCCL_MIN_NCHANNELS 등) 이 경고를 남기고 1로 맞춥니다.

해결 — 동작에는 영향이 없으니 무시해도 됩니다. 없애려면 LPU에서 채널 수 설정을 지우십시오.


시작 이후의 행(Hang)

집합 연산이 멈춘 것처럼 보여도 영원히 멈추지는 않습니다. LCCL_KERNEL_TIMEOUT_MS(기본 5초)가 지나면 워치독이 커널을 중단시키고, 호출은 kLcclKernelSpinTimeout을 반환하며, 로그에 device loop exceeded LCCL_KERNEL_TIMEOUT_MS ... 경고가 남습니다. 이후 그 커뮤니케이터는 쓸 수 없습니다. 파괴하고 다시 만들어야 합니다.

모든 랭크가 집합 연산에서 멈춤

원인 — 랭크들이 다음에 올 집합 연산에 대해 서로 다르게 알고 있습니다. 집합 연산은 순서로 짝지어지므로 순서가 갈리면 잘못 짝지어집니다. 크기나 데이터 타입이 랭크마다 달라도 같습니다.

해결

  1. 각 호출 전에 모든 랭크에서 연산 이름과 순번, 크기를 로그로 남기십시오. 랭크 간 비교해 처음 달라지는 지점이 버그입니다.
  2. 랭크별 데이터에 의존하는 제어 흐름을 찾으십시오. 이른 return, 빈 배치에서의 continue, 조건부 집합 연산 같은 것들입니다. 자기 몫이 비어 있어도 모든 랭크가 같은 순서로 호출해야 합니다.

두 랭크가 송수신에서 멈춤

원인 — 송신과 수신이 그룹 안에 등록되지 않았습니다. 두 랭크가 모두 송신에서 멈추고 워치독이 끊을 때까지 이어집니다.

해결 — 짝을 LcclGroupStart() / LcclGroupEnd()로 감싸십시오. torch.distributed에서는 dist.batch_isend_irecv를 쓰십시오. 점대점을 보십시오.

한 랭크가 끝났거나 죽은 뒤 나머지가 멈춤

원인 — 집합 연산은 모든 랭크가 참여해야 끝납니다. 한 랭크가 커뮤니케이터를 먼저 파괴했거나 프로세스가 죽었습니다.

해결 — 랭크를 함께 내리십시오. 한 랭크가 먼저 정리해야 한다면 나머지도 abort로 정리합니다. 커뮤니케이터를 보십시오. 어느 랭크가 먼저 멈췄는지는 랭크별 로그의 마지막 호출로 찾을 수 있습니다.

워치독이 정상 연산을 끊음

증상 — 모든 랭크가 정상으로 호출했는데도 kLcclKernelSpinTimeout.

원인 — 한 연산이 LCCL_KERNEL_TIMEOUT_MS(기본 5초)보다 오래 걸립니다. 매우 큰 전송이나 느린 서버 사이 연결, 랭크 사이 시작 시간 차이가 원인일 수 있습니다. LPU에서는 호출 스레드의 기본 스트림에 먼저 큐잉된 작업을 기다린 시간과 다른 랭크가 연산에 늦게 들어온 시간도 들어갑니다.

해결 — 랭크들이 연산을 비슷한 시점에 호출하게 맞추거나, 호출 전에 호출 스레드의 기본 스트림을 동기화하거나, 매우 큰 전송은 여러 호출로 나누거나, LCCL_KERNEL_TIMEOUT_MS를 늘리십시오. LPU에서는 9999 이하로 두십시오. 그보다 크거나 0 이하이면 멈춘 커널이 드라이버의 12초 한도에 걸려 카드를 리셋해야 할 수 있습니다.

에러도 없고 블로킹된 호출도 없는데 진행이 멈춤

원인 — 짝이 맞지 않는 LcclGroupStart(). 스레드가 영구히 그룹 안에 있어 연산이 실행되지 않고 큐에 쌓입니다.

해결 — 모든 LcclGroupStart()와 그에 짝이 되는 LcclGroupEnd() 사이에 이른 return이나 예외가 없는지 점검하십시오. C++에서는 스코프 가드로 닫으십시오. torch.distributed에서 dist.batch_isend_irecv가 예외를 발생시켰다면 그 프로세스에서 계속 진행하지 말고 모든 랭크의 프로세스를 다시 시작하십시오.


거부되는 연산

집합 연산에서 kLcclNotSupported

원인 — (연산, 리덕션, 데이터 타입) 조합에 커널이 없습니다. 호출한 지점(그룹 안이면 LcclGroupEnd())에서 발생하며 아무것도 전송되지 않았습니다. 정수나 Float64 타입의 Avg도 같습니다.

LPU에서는 다음도 같은 코드로 거부됩니다. ERROR 로그(does not fit a device loop 등)에 이유가 남습니다.

  • Float16, Bfloat16이 아닌 리덕션
  • 바이트 수가 512의 배수가 아닌 LcclBroadcast, LcclReduce, LcclGather, LcclScatter, LcclSend/LcclRecv
  • 4 GiB(LcclAllReduce, LcclReduceScatter)나 8 GiB(그 밖의 연산)를 넘는 호출
  • 랭크가 2개 이상이고 LCCL_BUFFSIZE가 4096의 배수가 아닐 때의 모든 집합 연산과 LcclSend/LcclRecv(4096의 배수로 바꾸거나 설정을 지우십시오)
  • EVT0이 아닌 LPU에서의 집합 연산
  • 커뮤니케이터 생성에서 랭크가 16개를 넘거나, hart가 lccl에 든 커널 라이브러리의 형식을 읽지 못할 때(같은 릴리즈의 lccl과 hart를 설치하십시오)

해결 — 지원 매트릭스에서 조합을 확인하십시오. 흔히 놀라는 지점은 Max/Min 리덕션, all-reduce와 reduce 이외에서의 Prod와 Avg, LPU의 크기 규칙입니다.

집합 연산에서 kLcclInvalidArgument

원인 — null 포인터 버퍼, count == 0, 알 수 없는 LcclDataType이나 LcclRedOp, [0, nranks) 범위 밖의 root/peer, 서로 겹친 LcclAllToAll 버퍼입니다. LPU에서는 512바이트 단위 규칙을 어긴 크기(LcclAllToAll, LcclReduceScatter)도 이 코드이고, 512바이트 경계가 아닌 LcclAllGather를 그룹 안이나 논블로킹 커뮤니케이터, 제자리 호출로 부를 때도 이 코드입니다. ERROR 로그에 한 줄로 이유가 남습니다. 이 거부는 호출 시점에 일어나므로 커뮤니케이터는 그대로이고 그룹 안이라도 그 호출만 빠집니다.

해결 — 빈 배치에서 null 버퍼나 0 count로 호출하는 경로가 없는지 확인하고, root와 peer가 커뮤니케이터의 랭크 범위 안인지 점검하십시오.

LPU에서 kLcclKernelInvalidArgs

원인 — LPU 커널이 처리할 수 없는 인자입니다. ERROR 로그에 이유가 남습니다. 0.0.5까지 이 코드의 흔한 원인이던 Float32 리덕션과 바이트 수가 512의 배수가 아닌 LcclBroadcast, LcclSend/LcclRecv는 이제 호출 시점에 kLcclNotSupported로 거부됩니다.

해결 — 모든 랭크의 로그에서 이유를 확인하십시오. LCCL_CHUNK_SIZE를 지정했다면 환경 변수에 적힌 조건에 맞는지 확인하십시오. 이 실패 뒤에는 커뮤니케이터를 쓸 수 없으므로 파괴하고 다시 만들어야 합니다.

집합 연산에서 kLcclEnqueueNoAlgo

원인 — 쓸 알고리즘·프로토콜 조합이 하나도 남지 않았습니다. LCCL_PROTO나 LCCL_ALGO를 잘못 지정한 경우가 대부분입니다. 알 수 없는 이름은 오류 없이 무시되어 허용 목록이 비게 될 수 있고, LPU에는 LL 커널이 없어서 LCCL_PROTO=LL만 지정하면 LPU의 모든 집합 연산이 이 코드로 실패합니다.

해결 — LCCL_PROTO와 LCCL_ALGO를 지우거나 LCCL_PROTO=Simple, LCCL_ALGO=Ring처럼 유효한 이름으로 지정하십시오. NCCL의 tree, LL128 값은 이 라이브러리에 없습니다. 환경 변수를 보십시오.

torch.distributed에서 [HA_LCCL_NO_HW_KERNEL] 예외

원인 — torch.distributed의 lccl 백엔드는 LPU에서 gather, scatter, reduce, all_to_all을 이 예외로 미리 막습니다.

해결 — reduce는 all_reduce로, gather는 all_gather로, scatter는 broadcast나 send/recv로 바꾸십시오. all_to_all은 다른 랭크마다 send와 recv를 하나씩 만들어 한 번의 dist.batch_isend_irecv로 주고받고, 자기 랭크 몫은 직접 복사하십시오. 보내고 받는 조각은 각각 따로 할당한 텐서여야 하므로 x.chunk(n)의 조각은 .clone()으로 복사해 넘기십시오. 지원 매트릭스를 보십시오.


잘못된 결과

all-reduce 후 랭크마다 결과가 다름

원인 — 랭크들이 같은 형태로 기여하지 않았거나, 집합 연산을 호출한 시점에 송신 버퍼가 아직 쓰이는 중이었습니다. LCCL이 호출 전에 스트림에 큐잉한 작업을 기다린다는 보장이 없으므로, 같은 스트림에서 호출하는 것만으로는 충분하지 않습니다.

해결 — 송신 버퍼를 만든 스트림을 동기화(HaStreamSynchronize)한 뒤 집합 연산을 호출하십시오. 집합 연산을 보십시오.

일부 랭크만 결과가 있고 나머지는 0

원인 — 루트가 있는 연산은 결과가 루트에만 놓입니다. LcclReduce와 LcclGather에서는 정상 동작입니다.

해결 — 모든 랭크가 결과를 필요로 한다면 all- 계열을 쓰십시오.


성능

집합 연산이 기대보다 훨씬 느림

원인 — 아래 항목을 보십시오.

해결 — 집합 연산이 어디서 시간을 쓰는지는 프로파일러 트레이스의 lccl:<연산> 구간으로 볼 수 있습니다. 트레이스 데이터 분석 가이드와 지원 매트릭스를 보십시오.

디바이스를 늘려도 처리량이 늘지 않음

원인 — 채널이 하나면 전송이 직렬화됩니다. LPU에서 랭크가 2개 이상인 커뮤니케이터는 채널이 1개로 정해져 있습니다.

해결 — 결론을 내리기 전에 전송 크기를 확인하십시오.

LPU flag BAR of device N stopped for this process 경고 뒤 집합 연산이 느려짐

원인 — 경고에 나온 디바이스에서 집합 연산이 실행 중에 실패하거나 LcclCommAbort()를 호출하면, 프로세스가 끝날 때까지 LPU에서 그 디바이스의 집합 연산이 느려집니다. 같은 프로세스에서 다시 만든 커뮤니케이터도 마찬가지입니다.

해결 — LPU에서 원래 처리량이 필요하면 커뮤니케이터만 다시 만들지 말고 프로세스를 다시 시작하십시오.


서버 사이 연결

서버가 여럿인 구성의 증상은 다중 노드 실행에 따로 모았습니다. 자주 만나는 것만 옮깁니다.

증상 가장 흔한 원인
comm.n_nodes가 기대한 서버 수보다 작다 한 머신에서 --network host로 띄운 컨테이너들이 /dev/shm을 공유함(한 서버로 취급됨)
랑데부가 끝나지 않음 지정한 NIC으로 상대 서버에 도달할 수 없음, 방화벽, 컨테이너 bridge 주소(172.17.x.x)
kLcclSocketTimeout, kLcclSocketNotConnect 고유 ID가 낡았거나 주소에 도달할 수 없음
서버 사이 트래픽이 lo로 감 LCCL_SOCKET_IFNAME을 지정하지 않음

정리

크래시나 생성 실패 후 공유 메모리 파일이 남음

증상 — /dev/shm에 lccl-XXXXXX 파일이 쌓이고, 이후 실행이 공간 부족으로 kLcclMemShmMapFail을 낼 수 있습니다.

원인 — 두 랭크가 모두 연결하기 전에 랭크가 죽었거나, 커뮤니케이터 생성이 실패했습니다(예: kLcclMemShmMapFail). 연결이 끝나면 라이브러리가 이 파일을 스스로 지웁니다. 파일 이름은 실행마다 달라 새 실행과 충돌하지는 않고, 공간만 차지합니다.

해결 — 서버에서 LCCL을 쓰는 프로세스가 모두 끝난 뒤 남은 lccl-* 파일을 삭제하십시오.


지원 요청

위 항목으로 해결되지 않으면 아래를 첨부해 HyperAccel 지원팀에 문의하십시오.

  1. 모든 랭크의 WARN 이상 로그, 랭크마다 별도 파일. 고유 ID를 만든 프로세스의 로그를 포함
  2. 랭크 수, 서버당 랭크 수, 서버 수, 랭크별 comm.n_nodes와 comm.n_channels
  3. 실패한 정확한 연산, 리덕션, 데이터 타입, 크기
  4. 설정한 LCCL_* 환경 변수와 설정 파일 내용
  5. lccl, hart, 드라이버 버전
  6. nranks == 2에서도 재현되는지 여부