콘텐츠로 이동

에러 코드

모든 C++ 진입점은 LcclResult를 반환합니다. 기존 코드의 값은 릴리즈가 바뀌어도 달라지지 않고 하나의 코드가 다른 의미로 재사용되지도 않지만, 릴리즈에 따라 새 코드가 추가될 수 있습니다. 모르는 코드는 일반 실패로 처리하십시오.

분류와 처리 방법은 에러 처리에 있습니다. LcclGetErrorToString()이 코드를 로그용 문자열로 바꿔 줍니다.


코드를 찾는 방법

코드를 직접 보지 못하고 메시지만 보게 되는 경우가 많습니다.

보이는 모습 담긴 정보
Python 예외 RuntimeError: LcclAllReduce failed: Operation not supported 함수 이름과 메시지. 코드 번호는 없습니다
로그의 ERROR ... -> <메시지> 위와 같은 메시지. 코드 이름이 아니라 문장입니다
C++ 반환값, torch 예외 failed with LCCL result 720897 숫자. 16진수로 바꿔 보십시오(printf '%X\n' 720897 → B0001)

그래서 아래 표마다 코드, 값, 그 코드의 메시지(LcclGetErrorToString()의 반환 문자열)를 함께 적었습니다. 메시지나 숫자로 이 페이지를 검색하십시오.

범위

값은 (서브시스템 << 16) | 번호 구조입니다. 16진수의 위 자리로 어느 계층에서 실패했는지 알 수 있습니다. 각 서브시스템의 기준값(kLcclSocketError 같은 …Error)은 그 계층의 일반 실패로 쓰입니다.

기준값 서브시스템
0x00000 일반
0x10000 커뮤니케이터
0x20000 소켓
0x30000 부트스트랩
0x40000 메모리 / 할당
0x50000 토폴로지 / 그래프 / XML
0x60000 Net 플러그인
0x70000 Transport
0x80000 Proxy (통신 경로 내부)
0x90000 그룹
0xA0000 Enqueue (연산 준비)
0xB0000 커널 / 디바이스

예약 코드

"현재 반환하지 않는 예약 코드입니다"라고 적힌 열두 개는 헤더에 있지만 라이브러리가 어디서도 반환하지 않습니다. 같은 상황은 다른 코드(kLcclInvalidArgument 등)로 보고됩니다. 앞으로 쓰일 수 있으니 switch에 default를 두십시오.


일반

코드 / 값 메시지 원인 해결
kLcclSuccess
0
Success 성공. —
kLcclSystemError
1
Underlying system call failed 하위 시스템 호출이 실패했습니다. ibverbs 호출 실패도 여기로 옵니다. LPU에서는 연산을 실행하는 중에 런타임이 실패를 보고했을 때(카드가 응답하지 않거나 리셋 중인 경우 등)도 이 코드이며, 이때 커뮤니케이터는 중단됩니다. 로그에서 실패한 호출을 확인합니다. LPU의 연산이 이 코드를 반환했다면 커뮤니케이터를 파괴해 다시 만듭니다. 카드가 FATAL이면 먼저 카드를 복구합니다.
kLcclInvalidArgument
2
Invalid argument 잘못된 인자입니다. 대표적으로 null 버퍼, count == 0, 알 수 없는 데이터 타입·리덕션, 범위를 벗어난 root·peer, 초기화하지 않은 LcclConfig, 이미 파괴한 커뮤니케이터, LCCL_NET이 가리킨 백엔드 없음, 서로 겹친 LcclAllToAll 버퍼, LPU에서 LcclAllToAll·LcclReduceScatter가 512바이트 규칙을 어긴 크기, 512바이트 경계가 아닌 LcclAllGather를 그룹 안·논블로킹·제자리로 부른 경우가 있습니다. 원인은 WARN 또는 ERROR 로그로 남습니다. count는 원소 단위이고 0일 수 없으며, 수신 버퍼 크기는 집합 연산의 규칙에 맞아야 합니다.
kLcclNotSupported
3
Operation not supported (연산, 리덕션, 데이터 타입) 조합에 등록된 커널이 없습니다(정수·Float64의 Avg 포함. 호출 시점에 거부됩니다). 런타임이 "지원하지 않음"으로 응답했을 때도 이 코드입니다. LPU에서는 커널로 처리할 수 없는 호출(Float16·Bfloat16이 아닌 리덕션, 바이트 수가 512의 배수가 아닌 LcclBroadcast·LcclReduce·LcclGather·LcclScatter·LcclSend/LcclRecv, 크기 상한을 넘는 호출, 랭크가 2개 이상일 때 같은 그룹 안에서 짝을 맞춘 자기 랭크와의 LcclSend/LcclRecv, 랭크가 2개 이상이고 LCCL_BUFFSIZE가 4096의 배수가 아닐 때의 모든 집합 연산과 LcclSend/LcclRecv)도 호출 시점에 이 코드로 거부됩니다. LPU 커뮤니케이터의 랭크가 16개를 넘거나 hart가 lccl의 커널 라이브러리 형식을 읽지 못하면 커뮤니케이터 생성이, EVT0이 아닌 LPU에서는 집합 연산이 이 코드를 반환합니다. 지원 매트릭스를 확인합니다. 아무것도 전송되지 않았습니다.
kLcclInProgress
4
Work in progress 오류가 아닙니다. 논블로킹 커뮤니케이터의 작업이 아직 끝나지 않았습니다. LcclCommGetAsyncError로 완료를 기다립니다.
kLcclInternalError
5
Internal error: unreachable branch reached 도달할 수 없어야 하는 분기에 도달했습니다. 커뮤니케이터 생성 중 ibverbs 연결 양 끝의 LCCL_IB_QPS_PER_CONNECTION 값이나 포트 종류(InfiniBand, RoCE)가 다를 때도 이 코드가 납니다. 이 경우는 ERROR 로그에 원인이 남으므로 환경 변수대로 설정을 맞춥니다. 그 밖에는 결함입니다. 로그를 수집해 보고합니다.

커뮤니케이터

코드 / 값 메시지 원인 해결
kLcclCommError
0x10000 (65536)
Communicator unknown or unclassified error 커뮤니케이터의 일반 실패입니다. 같은 서버의 같은 LPU를 두 랭크가 잡았을 때(Duplicate LPU detected), 디바이스 조회가 실패했을 때, 통신 경로 구성이 실패했을 때 반환됩니다. 랭크마다 서로 다른 LPU를 바인딩했는지 확인합니다. 그 밖에는 로그에서 실패 지점을 찾습니다.
kLcclCommNotInit
0x10001 (65537)
Communicator not initialized 현재 반환하지 않는 예약 코드입니다. —
kLcclCommInvalidArgs
0x10002 (65538)
Communicator got invalid arguments LcclCommInitRank에 nranks < 1을 주었거나 랭크가 [0, nranks) 밖입니다. LcclCommInitAll의 ndev가 음수이거나 디바이스 수보다 클 때, devlist에 범위를 벗어나거나 중복된 디바이스 번호가 있을 때도 같습니다. 등록 함수(LcclCommRegister·LcclCommDeregister)가 버퍼·크기·핸들 인자를 거부할 때도 이 코드입니다. 랭크는 0부터 nranks - 1까지입니다. 대개 런처의 off-by-one입니다. LcclCommInitAll의 디바이스 번호는 0부터 디바이스 수 - 1까지이고 서로 달라야 합니다. 등록 함수의 인자 규칙은 커뮤니케이터 API에서 확인합니다.
kLcclCommNullPtr
0x10003 (65539)
Communicator got nullptr arguments 커뮤니케이터나 출력 포인터가 null입니다. LcclCommInitAll의 devlist가 null일 때도 같습니다. —
kLcclCommConfigInvalid
0x10004 (65540)
Communicator config invalid (missing LCCL_CONFIG_INITIALIZER or out-of-range field) 현재 반환하지 않는 예약 코드입니다. 잘못된 LcclConfig는 kLcclInvalidArgument로 보고됩니다. LCCL_CONFIG_INITIALIZER에서 시작해 바꿀 필드만 설정합니다.
kLcclCommRankInvalid
0x10005 (65541)
Communicator rank outside [0, n_ranks) 현재 반환하지 않는 예약 코드입니다. 랭크 범위 오류는 kLcclCommInvalidArgs나 kLcclInvalidArgument로 보고됩니다. —
kLcclCommStateInvalid
0x10006 (65542)
Communicator in unexpected state for this call 논블로킹 작업이 끝나기 전에 같은 커뮤니케이터를 다시 호출했거나 LcclCommFinalize()를 두 번 호출했습니다. 서버 안의 랭크를 판정하지 못할 때 초기화에서도 반환됩니다. LcclCommGetAsyncError가 kLcclSuccess를 돌려줄 때까지 기다린 뒤 호출합니다.
kLcclCommAlreadyDestroyed
0x10007 (65543)
Communicator has already been destroyed 현재 반환하지 않는 예약 코드입니다. 이미 파괴한 커뮤니케이터를 쓰면 kLcclInvalidArgument로 보고될 수 있지만 보장되지 않습니다. 파괴한 핸들은 다시 쓰지 않습니다.
kLcclCommSchedulerError
0x10008 (65544)
Communicator channel/ring scheduler produced invalid plan 점대점 연산의 실행 순서를 정하는 데 실패했습니다. 결함입니다. 로그를 수집해 보고합니다.

소켓

시작 단계의 소켓 에러는 거의 항상 랭크들이 고유 ID를 만든 프로세스의 주소에 도달하지 못한다는 뜻입니다. 주소로 연결이 되는지, 방화벽이 서버 사이 TCP를 막지 않는지, LCCL_SOCKET_IFNAME이 올바른 인터페이스를 가리키는지 확인하십시오. 어느 인터페이스를 골랐는지는 INFO 로그에만 남아 릴리즈 빌드에서는 보이지 않습니다. 다중 노드 실행을 보십시오.

코드 / 값 메시지 원인
kLcclSocketError
0x20000 (131072)
Socket unknown or unclassified error 소켓의 일반 실패입니다.
kLcclSocketNullPtr
0x20001 (131073)
Socket got nullptr arguments null 소켓 포인터.
kLcclSocketInvalidData
0x20002 (131074)
Socket got invalid data 수신 데이터 검증 실패.
kLcclSocketNotReady
0x20003 (131075)
Socket not ready 소켓이 아직 준비되지 않음.
kLcclSocketNotAccept
0x20004 (131076)
Socket failed to accept connection accept 실패.
kLcclSocketTimeout
0x20005 (131077)
Socket operation timed out 연결이나 송수신이 대기 한도 안에 끝나지 않았습니다.
kLcclSocketNotConnect
0x20006 (131078)
Socket failed to connect connect가 실패했습니다(이미 쓴 오래된 고유 ID, 도달할 수 없는 네트워크, 연결 재설정 등). 아무도 listen하지 않는 주소면 즉시, 응답하지 않는 주소면 운영체제의 TCP 연결 시간 제한(Linux 기본값으로 약 2분)이 지난 뒤 실패합니다. ERROR 로그에 Connect to <주소> failed : <이유>가 남습니다.
kLcclSocketNotListen
0x20007 (131079)
Socket failed to listen listen 실패.
kLcclSocketNotCreate
0x20008 (131080)
Socket failed to create 소켓 생성 실패.
kLcclSocketAborted
0x20009 (131081)
Socket operation aborted 연산이 중단됨.
kLcclSocketRecvFail
0x2000A (131082)
Socket recv failed mid-stream 스트림 중간에 recv 실패.
kLcclSocketSendFail
0x2000B (131083)
Socket send failed mid-stream 스트림 중간에 send 실패.

부트스트랩

코드 / 값 메시지 원인 해결
kLcclBootstrapError
0x30000 (196608)
Bootstrap unknown or unclassified error 부트스트랩의 일반 실패입니다. —
kLcclBootstrapNullptr
0x30001 (196609)
Bootstrap got nullptr arguments 부트스트랩 상태의 null 포인터. —
kLcclBootstrapNoNetIf
0x30002 (196610)
Bootstrap could not find a usable network interface 쓸 수 있는 네트워크 인터페이스가 없습니다. LCCL_SOCKET_IFNAME이 어떤 인터페이스에도 매칭되지 않을 때도 이 코드입니다. LCCL_SOCKET_IFNAME이 실제 인터페이스 이름과 맞는지, 루프백이 아닌 인터페이스가 올라와 있는지 확인합니다.
kLcclBootstrapWrongRecv
0x30003 (196611)
Bootstrap received unexpected data 받은 메시지가 받을 버퍼보다 큽니다. 로그에 Message truncated : received N bytes instead of M가 남습니다. 랭크들이 같은 버전의 lccl을 쓰는지 확인합니다.
kLcclBootstrapTruncated
0x30004 (196612)
Bootstrap message truncated 랑데부 중 교환한 메시지가 받을 버퍼보다 큽니다(Message truncated 경고). 랭크들이 같은 버전의 lccl을 쓰는지 확인합니다.
kLcclBootstrapRingFail
0x30005 (196613)
Bootstrap ring construction failed 랭크들이 서로의 정보를 교환하는 연결을 구성하지 못했습니다. —
kLcclBootstrapUnexpectedConn
0x30006 (196614)
Bootstrap saw unexpected pending connection 예상하지 못한 연결이 대기 중입니다. nranks보다 많은 랭크가 접속했거나 이전 실행의 랭크가 남아 있는지 확인합니다.

메모리

코드 / 값 메시지 원인 해결
kLcclMemError
0x40000 (262144)
Memory unknown or unclassified error 메모리의 일반 실패입니다. —
kLcclMemAllocFail
0x40001 (262145)
Host malloc/calloc/realloc failed 호스트 할당 실패. —
kLcclMemDeviceAllocFail
0x40002 (262146)
Device (HaMemAlloc) allocation failed 디바이스 할당 실패. 디바이스 메모리 고갈이나 단편화입니다. 메모리 모델을 보십시오.
kLcclMemCopyFail
0x40003 (262147)
HaMemCpy failed 디바이스 복사 실패. —
kLcclMemFreeFail
0x40004 (262148)
HaMemFree failed 디바이스 해제 실패. —
kLcclMemShmMapFail
0x40005 (262149)
shm_open / ftruncate / mmap failed 공유 메모리를 만들거나 매핑하지 못했습니다. /dev/shm 용량(컨테이너 기본 64 MiB), 한 서버의 랭크들이 같은 LCCL_SHM_PATH를 받았는지, 디렉터리 권한을 확인합니다.
kLcclMemShmUnmapFail
0x40006 (262150)
munmap / shm_unlink failed 공유 메모리를 해제하지 못했습니다. —
kLcclMemSizeOverflow
0x40007 (262151)
Reallocation requested smaller size than current 재할당하려는 크기가 현재 크기보다 작습니다. —

토폴로지

코드 / 값 메시지 원인 해결
kLcclTopoError
0x50000 (327680)
Topology unknown or unclassified error 토폴로지의 일반 실패입니다. —
kLcclTopoLimitExceeded
0x50001 (327681)
Topology static limit exceeded 노드·링크·채널의 정적 한계를 넘었습니다. —
kLcclTopoNodeNotFound
0x50002 (327682)
Topology lookup did not find node/LPU/NET/CPU 노드·LPU·네트워크·CPU 조회 결과가 없습니다. 토폴로지 파일에 이 서버의 랭크가 잡은 카드가 없을 때도 이 코드입니다. 파일의 LPU.busId가 실제 카드의 PCI 주소와 같은지 확인합니다. 토폴로지 파일을 보십시오.
kLcclTopoXmlParseError
0x50003 (327683)
Topology XML parse error 토폴로지 문서를 해석하지 못했습니다. 토폴로지 JSON 파일도 같은 코드를 씁니다. 파일의 JSON 형식을 확인합니다.
kLcclTopoXmlVersionMismatch
0x50004 (327684)
Topology XML graph version mismatch 토폴로지 XML 그래프의 버전이 라이브러리와 다릅니다. —
kLcclTopoFileError
0x50005 (327685)
Topology file open / read / size failure 토폴로지 파일을 열거나 읽지 못했습니다. LCCL_TOPO_STRICT=1에서 LCCL_PREDEFINED_SYSINFO의 파일이 없을 때도 이 코드입니다. 경로와 파일 권한을 확인합니다.
kLcclTopoConfigInvalid
0x50006 (327686)
Topology config invalid 토폴로지 설정이 잘못됐습니다. 채널 수 문제, 토폴로지 파일 자체의 모순(중복된 busId, NIC.busId 누락 등)이 대표적입니다. 로그의 경고를 확인하고 토폴로지 파일을 점검합니다.
kLcclTopoLookupNotFound
0x50007 (327687)
Topology key/value or attribute lookup failed 속성 조회에 실패했습니다. —
kLcclTopoSchemaVersionMismatch
0x50008 (327688)
Topology JSON schemaVersion missing or unsupported 토폴로지 파일의 schemaVersion이 없거나(LCCL_TOPO_STRICT=1), 지원하지 않는 값이거나, 숫자가 아닙니다. 파일 최상위에 "schemaVersion": 1을 적습니다.
kLcclTopoPeerMismatch
0x50009 (327689)
Topology contradicts the local device (host hash / busId) 현재 반환하지 않는 예약 코드입니다. —

Net 플러그인

코드 / 값 메시지 원인 해결
kLcclNetError
0x60000 (393216)
Net plugin unknown or unclassified error 네트워크 백엔드의 일반 실패입니다. —
kLcclNetNotFound
0x60001 (393217)
Net plugin or named network not available ibverbs 백엔드를 초기화하지 못했습니다(RDMA 장치나 IP 인터페이스가 없을 때). 내부에서 처리되어 소켓으로 넘어가므로 보통 호출자에게는 반환되지 않습니다. —
kLcclNetInvalidDevice
0x60002 (393218)
Net device index out of range 디바이스 인덱스가 범위를 벗어났습니다. —
kLcclNetNoSlot
0x60003 (393219)
Net request/subtask slot pool exhausted 동시에 처리할 수 있는 네트워크 요청 수를 넘었습니다. —
kLcclNetThreadFail
0x60004 (393220)
Net helper pthread_create failed 네트워크 전송을 돕는 스레드를 만들지 못했습니다. —
kLcclNetReadFail
0x60005 (393221)
Net plugin read syscall failed 소켓 read가 실패했습니다. —
kLcclNetSendCountInvalid
0x60006 (393222)
Net iSendv/iRecvv called with n != 1 다중 버퍼 송수신은 지원하지 않습니다. —
kLcclNetTestNullRequest
0x60007 (393223)
Net test() called with NULL request null 요청으로 전송 상태를 조회했습니다. —
kLcclNetSizeMismatch
0x60008 (393224)
Net received size does not match expected 받은 크기가 기대와 다릅니다. 커뮤니케이터 생성이 이 코드로 실패하면 서로 다른 서버의 랭크끼리 LCCL_BUFFSIZE가 다른 것입니다. 생성 중에 나왔으면 모든 랭크에 같은 LCCL_BUFFSIZE를 줍니다. 연산 중에 나왔으면 송신 쪽과 수신 쪽이 같은 count와 데이터 타입으로 호출했는지 확인합니다.
kLcclNetCommNotInit
0x60009 (393225)
Net comm guard yielded no comm 네트워크 연결이 초기화되지 않았습니다. —
kLcclNetUnsupportedMemType
0x6000A (393226)
Net plugin does not support requested memory type 백엔드가 지원하지 않는 메모리 종류입니다. —
kLcclNetFlushUnsupported
0x6000B (393227)
Net flush operation not supported flush를 지원하지 않습니다. —
kLcclNetGdrUnsupported
0x6000C (393228)
Net GDR/RDMA feature not supported on this platform 이 플랫폼에서는 GDR/RDMA를 지원하지 않습니다. —
kLcclNetRemoteError
0x6000D (393229)
Net work completion reported a failure from the peer ibverbs 작업 완료가 상대 쪽 실패를 보고했습니다. 상대 서버와 RNIC 상태, 케이블을 확인하고 LCCL_IB_TIMEOUT, LCCL_IB_RETRY_CNT를 점검합니다.

Transport

코드 / 값 메시지 원인 해결
kLcclTransportError
0x70000 (458752)
Transport unknown or unclassified error 전송 계층의 일반 실패입니다. —
kLcclTransportNotFound
0x70001 (458753)
No transport matched the requested peer/operation 두 랭크 사이에 쓸 수 있는 전송이 없습니다(P2P, 공유 메모리, 네트워크 모두 불가). —
kLcclTransportShmInvalidArg
0x70002 (458754)
SHM transport got mismatched proxy info sizes 공유 메모리 전송이 서로 맞지 않는 연결 정보 크기를 받았습니다. —
kLcclTransportShmDestroyFail
0x70003 (458755)
SHM transport destroy of stream/fifo/event failed 공유 메모리 전송의 자원을 해제하지 못했습니다. —
kLcclTransportShmConnectFail
0x70004 (458756)
SHM transport connect/accept polling failed 공유 메모리 전송의 연결을 설정하지 못했습니다. —
kLcclTransportShmChannelGeometryUnknown
0x70005 (458757)
SHM transport could not read device DRAM channel count/stride 활성 장치에서 DRAM 채널 구성(채널 수와 간격)을 읽지 못했습니다. —
kLcclTransportNetDestroyFail
0x70006 (458758)
NET transport destroy of stream/fifo/event failed 네트워크 전송의 자원을 해제하지 못했습니다. —
kLcclTransportNetUnsupported
0x70007 (458759)
NET transport data path reached an unwired protocol/buffer mode 네트워크 전송이 지원하지 않는 프로토콜이나 버퍼 모드입니다. LPU에서 프로세스당 커뮤니케이터 한도를 넘는 커뮤니케이터 생성도 이 코드로 실패합니다. 생성이 실패했다면 쓰지 않는 커뮤니케이터를 파괴한 뒤 다시 만듭니다.
kLcclTransportShmUnsupported
0x70008 (458760)
SHM transport data path reached an unwired protocol 공유 메모리 전송이 지원하지 않는 프로토콜입니다. LPU에서 프로세스당 커뮤니케이터 한도를 넘는 커뮤니케이터 생성도 이 코드로 실패합니다. 생성이 실패했다면 쓰지 않는 커뮤니케이터를 파괴한 뒤 다시 만듭니다.
kLcclTransportP2pChannelMismatch
0x70009 (458761)
P2P peer interleaves its fifo across a different DRAM channel count P2P로 연결하려는 상대 장치의 DRAM 채널 수가 이 장치와 다릅니다. —
kLcclTransportBuffSizeMismatch
0x7000A (458762)
ranks disagree on buff_size (LCCL_BUFFSIZE must match across ranks) 랭크마다 LCCL_BUFFSIZE가 다릅니다. 값이 다르면 연결할 수 없어 거부합니다. 모든 랭크에 같은 LCCL_* 환경을 줍니다.
kLcclTransportShmLocalityMismatch
0x7000B (458763)
ranks disagree on LCCL_SHM_LOCALITY (must match across ranks) 랭크마다 공유 메모리 전송 설정이 다릅니다. 값이 다르면 연결할 수 없어 거부합니다. 모든 랭크에 같은 LCCL_* 환경을 줍니다.

Proxy

통신 경로 내부의 오류는 [Progress Thread] progressOps failed 경고와 함께 커뮤니케이터를 중단시킵니다. LPU에서는 실패한 연산이 원인이 된 코드를 그대로 돌려줍니다. 아래 코드는 대부분 내부 결함이나 자원 고갈을 뜻하므로, 로그를 수집해 문의하십시오.

코드 / 값 메시지 원인
kLcclProxyError
0x80000 (524288)
Proxy unknown or unclassified error 통신 경로 내부의 일반 실패입니다.
kLcclProxyResponseMismatch
0x80001 (524289)
Proxy response size or state does not match request 내부 응답의 크기나 상태가 요청과 맞지 않음.
kLcclProxyOpNotFound
0x80002 (524290)
Proxy could not find an op matching the given op_id 해당 id에 맞는 진행 중 연산이 없음.
kLcclProxyOpsNull
0x80003 (524291)
Proxy per-rank ops table is null 랭크별 연산 목록이 없음.
kLcclProxyEnqueueFail
0x80004 (524292)
Proxy failed to enqueue op into fifo 진행할 연산을 내부 대기열에 넣지 못함.
kLcclProxyConnInvalid
0x80005 (524293)
Proxy connector for peer/channel is invalid 해당 피어·채널의 연결이 유효하지 않음.
kLcclProxyMsgUnknown
0x80006 (524294)
Proxy message subcommand is unknown or unhandled 알 수 없는 내부 메시지.
kLcclProxyOpProgressFail
0x80007 (524295)
Proxy op state machine could not progress 현재 반환하지 않는 예약 코드입니다.
kLcclProxyThreadCreateFail
0x80008 (524296)
Proxy service pthread_create failed 통신 경로를 진행하는 서비스 스레드를 만들지 못함.
kLcclProxyPeerSocksNull
0x80009 (524297)
Proxy peer_socks not initialized 피어 연결 정보가 초기화되지 않음.

그룹

코드 / 값 메시지 원인 해결
kLcclGroupError
0x90000 (589824)
Group unknown or unclassified error 그룹의 일반 실패입니다. —
kLcclGroupBlockingMixed
0x90001 (589825)
Blocking and non-blocking communicators mixed in same group 현재 반환하지 않는 예약 코드입니다. 한 그룹에 블로킹과 논블로킹 커뮤니케이터를 섞으면 kLcclInvalidArgument와 Blocking and nonblocking communicators are not allowed in the same group. 경고가 나옵니다. 한 그룹에는 같은 모드의 커뮤니케이터만 둡니다.
kLcclGroupSetDeviceFail
0x90002 (589826)
HaSetDevice failed inside group dispatch 그룹 디스패치 중 디바이스 설정에 실패했습니다. —
kLcclGroupAsyncJobUnknown
0x90003 (589827)
Async job is in an unknown state 비동기 작업이 알 수 없는 상태에 도달했습니다. 결함입니다. 로그를 수집해 보고합니다.
kLcclGroupJoinFail
0x90004 (589828)
pthread_join on group thread failed 그룹 스레드 join에 실패했습니다. —
kLcclGroupCaptureMixed
0x90005 (589829)
Group has mix of HA-graph captured and uncaptured comms 그룹 안의 커뮤니케이터 일부만 그래프 캡처 상태입니다. —
kLcclGroupNotInGroup
0x90006 (589830)
LcclGroupEnd called without matching LcclGroupStart LcclGroupStart 없이 LcclGroupEnd를 호출했습니다. 시작과 끝의 짝이 맞는지 확인합니다.
kLcclGroupSimInfoInvalid
0x90007 (589831)
LcclSimInfo missing LCCL_SIM_INFO_INITIALIZER 현재 반환하지 않는 예약 코드입니다. —

Enqueue

코드 / 값 메시지 원인 해결
kLcclEnqueueError
0xA0000 (655360)
Enqueue/plan unknown or unclassified error 연산을 실행하기 전 준비 단계의 일반 실패입니다. 커널 인자를 만들다 실패한 경우가 여기에 속합니다. —
kLcclEnqueueNoAlgo
0xA0001 (655361)
No algorithm/protocol pair available for op 해당 연산에 쓸 알고리즘·프로토콜 쌍이 없습니다. LCCL_PROTO=LL처럼 LL만 허용했을 때가 대표적입니다. LCCL_PROTO를 기본값으로 되돌리거나 LCCL_PROTO=Simple처럼 Simple을 허용합니다. 지원 매트릭스를 보십시오.
kLcclEnqueueUnknownPattern
0xA0002 (655362)
Unknown LcclPattern or collective+algorithm combination 알 수 없는 집합 연산·알고리즘 조합입니다. 결함입니다. 로그를 수집해 보고합니다.
kLcclEnqueueRegBufInvalid
0xA0003 (655363)
Invalid LcclRegBufferType on queued task 현재 반환하지 않는 예약 코드입니다. 등록 버퍼 오류는 kLcclInvalidArgument로 보고됩니다. —
kLcclEnqueueSelfP2PUnmatched
0xA0004 (655364)
Self-rank send/recv lacks matching peer op 자기 랭크로 보내는 LcclSend에 짝이 되는 LcclRecv가 없습니다(반대도 같습니다). 자기 랭크와는 송수신하지 말고 자기 몫 데이터는 직접 복사합니다. 같은 그룹 안에서 짝을 맞춰도 지원되지 않습니다.
kLcclEnqueueDefault
0xA0005 (655365)
Enqueue dispatch fell through default branch 현재 반환하지 않는 예약 코드입니다. —

커널

코드 / 값 메시지 원인 해결
kLcclKernelError
0xB0000 (720896)
Kernel unknown or unclassified error 커널의 일반 실패입니다. —
kLcclKernelInvalidArgs
0xB0001 (720897)
Kernel args struct or pointers malformed 커널 인자 구조체나 포인터가 잘못됐습니다. 이 실패 뒤에는 그 커뮤니케이터를 쓸 수 없습니다. 0.0.5까지 이 코드로 실패하던 LPU의 Float32 리덕션과 바이트 수가 512의 배수가 아닌 LcclBroadcast·LcclSend/LcclRecv는 이제 호출 시점에 kLcclNotSupported로 거부됩니다. 버퍼 포인터와 크기를 확인하고, 커뮤니케이터를 파괴해 다시 만듭니다.
kLcclKernelSpinTimeout
0xB0002 (720898)
Launch watchdog deadline elapsed; host aborted a kernel stuck in a flag spin-wait 워치독 기한(LCCL_KERNEL_TIMEOUT_MS, 기본 5초)이 지나 멈춘 커널을 중단시켰습니다. 상대 랭크가 오지 않았거나 호출 순서·크기가 랭크마다 다를 때 나옵니다. LPU에서는 랭크들이 연산에 들어오는 시차가 이 시간을 넘을 때도 나옵니다. 중단된 커뮤니케이터는 다시 쓸 수 없습니다. 멈춘 랭크를 찾고, 모든 랭크가 같은 순서·같은 크기로 호출했는지 확인한 뒤 커뮤니케이터를 파괴해 다시 만듭니다.
kLcclKernelChannelMask
0xB0003 (720899)
Plan channel_mask did not match comm topology 현재 반환하지 않는 예약 코드입니다. —
kLcclKernelInternalError
0xB0004 (720900)
Unreachable branch hit inside kernel 현재 반환하지 않는 예약 코드입니다. —
kLcclKernelAborted
0xB0005 (720901)
Kernel spin-wait observed an externally requested abort 커널이 이 커뮤니케이터에 걸린 중단 신호를 보고 끝났습니다. LcclCommAbort를 불렀거나, 통신 경로 내부 오류나 앞선 커널 실패로 커뮤니케이터가 이미 중단된 상태입니다. 워치독이 중단시킨 호출은 kLcclKernelSpinTimeout을 받습니다. LcclCommAbort를 불렀다면 그 핸들은 더 쓰지 말고 새 커뮤니케이터를 만듭니다. 그렇지 않으면 앞서 실패한 호출이 반환한 코드(통신 경로 내부 오류라면 LcclCommGetAsyncError 값)가 처음 원인이니, 확인한 뒤 커뮤니케이터를 파괴해 다시 만듭니다.

함께 보기