에러 코드
모든 C++ 진입점은 LcclResult를 반환합니다. 기존 코드의 값은 릴리즈가 바뀌어도 달라지지 않고 하나의 코드가 다른 의미로 재사용되지도 않지만, 릴리즈에 따라 새 코드가 추가될 수 있습니다. 모르는 코드는 일반 실패로 처리하십시오.
분류와 처리 방법은 에러 처리에 있습니다. LcclGetErrorToString()이 코드를 로그용 문자열로 바꿔 줍니다.
코드를 찾는 방법
코드를 직접 보지 못하고 메시지만 보게 되는 경우가 많습니다.
| 보이는 모습 |
담긴 정보 |
Python 예외 RuntimeError: LcclAllReduce failed: Operation not supported |
함수 이름과 메시지. 코드 번호는 없습니다 |
로그의 ERROR ... -> <메시지> |
위와 같은 메시지. 코드 이름이 아니라 문장입니다 |
C++ 반환값, torch 예외 failed with LCCL result 720897 |
숫자. 16진수로 바꿔 보십시오(printf '%X\n' 720897 → B0001) |
그래서 아래 표마다 코드, 값, 그 코드의 메시지(LcclGetErrorToString()의 반환 문자열)를 함께 적었습니다. 메시지나 숫자로 이 페이지를 검색하십시오.
범위
값은 (서브시스템 << 16) | 번호 구조입니다. 16진수의 위 자리로 어느 계층에서 실패했는지 알 수 있습니다. 각 서브시스템의 기준값(kLcclSocketError 같은 …Error)은 그 계층의 일반 실패로 쓰입니다.
| 기준값 |
서브시스템 |
0x00000 |
일반 |
0x10000 |
커뮤니케이터 |
0x20000 |
소켓 |
0x30000 |
부트스트랩 |
0x40000 |
메모리 / 할당 |
0x50000 |
토폴로지 / 그래프 / XML |
0x60000 |
Net 플러그인 |
0x70000 |
Transport |
0x80000 |
Proxy (통신 경로 내부) |
0x90000 |
그룹 |
0xA0000 |
Enqueue (연산 준비) |
0xB0000 |
커널 / 디바이스 |
예약 코드
"현재 반환하지 않는 예약 코드입니다"라고 적힌 열두 개는 헤더에 있지만 라이브러리가 어디서도 반환하지 않습니다. 같은 상황은 다른 코드(kLcclInvalidArgument 등)로 보고됩니다. 앞으로 쓰일 수 있으니 switch에 default를 두십시오.
일반
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclSuccess
0 |
Success |
성공. |
— |
kLcclSystemError
1 |
Underlying system call failed |
하위 시스템 호출이 실패했습니다. ibverbs 호출 실패도 여기로 옵니다. LPU에서는 연산을 실행하는 중에 런타임이 실패를 보고했을 때(카드가 응답하지 않거나 리셋 중인 경우 등)도 이 코드이며, 이때 커뮤니케이터는 중단됩니다. |
로그에서 실패한 호출을 확인합니다. LPU의 연산이 이 코드를 반환했다면 커뮤니케이터를 파괴해 다시 만듭니다. 카드가 FATAL이면 먼저 카드를 복구합니다. |
kLcclInvalidArgument
2 |
Invalid argument |
잘못된 인자입니다. 대표적으로 null 버퍼, count == 0, 알 수 없는 데이터 타입·리덕션, 범위를 벗어난 root·peer, 초기화하지 않은 LcclConfig, 이미 파괴한 커뮤니케이터, LCCL_NET이 가리킨 백엔드 없음, 서로 겹친 LcclAllToAll 버퍼, LPU에서 LcclAllToAll·LcclReduceScatter가 512바이트 규칙을 어긴 크기, 512바이트 경계가 아닌 LcclAllGather를 그룹 안·논블로킹·제자리로 부른 경우가 있습니다. |
원인은 WARN 또는 ERROR 로그로 남습니다. count는 원소 단위이고 0일 수 없으며, 수신 버퍼 크기는 집합 연산의 규칙에 맞아야 합니다. |
kLcclNotSupported
3 |
Operation not supported |
(연산, 리덕션, 데이터 타입) 조합에 등록된 커널이 없습니다(정수·Float64의 Avg 포함. 호출 시점에 거부됩니다). 런타임이 "지원하지 않음"으로 응답했을 때도 이 코드입니다. LPU에서는 커널로 처리할 수 없는 호출(Float16·Bfloat16이 아닌 리덕션, 바이트 수가 512의 배수가 아닌 LcclBroadcast·LcclReduce·LcclGather·LcclScatter·LcclSend/LcclRecv, 크기 상한을 넘는 호출, 랭크가 2개 이상일 때 같은 그룹 안에서 짝을 맞춘 자기 랭크와의 LcclSend/LcclRecv, 랭크가 2개 이상이고 LCCL_BUFFSIZE가 4096의 배수가 아닐 때의 모든 집합 연산과 LcclSend/LcclRecv)도 호출 시점에 이 코드로 거부됩니다. LPU 커뮤니케이터의 랭크가 16개를 넘거나 hart가 lccl의 커널 라이브러리 형식을 읽지 못하면 커뮤니케이터 생성이, EVT0이 아닌 LPU에서는 집합 연산이 이 코드를 반환합니다. |
지원 매트릭스를 확인합니다. 아무것도 전송되지 않았습니다. |
kLcclInProgress
4 |
Work in progress |
오류가 아닙니다. 논블로킹 커뮤니케이터의 작업이 아직 끝나지 않았습니다. |
LcclCommGetAsyncError로 완료를 기다립니다. |
kLcclInternalError
5 |
Internal error: unreachable branch reached |
도달할 수 없어야 하는 분기에 도달했습니다. 커뮤니케이터 생성 중 ibverbs 연결 양 끝의 LCCL_IB_QPS_PER_CONNECTION 값이나 포트 종류(InfiniBand, RoCE)가 다를 때도 이 코드가 납니다. |
이 경우는 ERROR 로그에 원인이 남으므로 환경 변수대로 설정을 맞춥니다. 그 밖에는 결함입니다. 로그를 수집해 보고합니다. |
커뮤니케이터
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclCommError
0x10000 (65536) |
Communicator unknown or unclassified error |
커뮤니케이터의 일반 실패입니다. 같은 서버의 같은 LPU를 두 랭크가 잡았을 때(Duplicate LPU detected), 디바이스 조회가 실패했을 때, 통신 경로 구성이 실패했을 때 반환됩니다. |
랭크마다 서로 다른 LPU를 바인딩했는지 확인합니다. 그 밖에는 로그에서 실패 지점을 찾습니다. |
kLcclCommNotInit
0x10001 (65537) |
Communicator not initialized |
현재 반환하지 않는 예약 코드입니다. |
— |
kLcclCommInvalidArgs
0x10002 (65538) |
Communicator got invalid arguments |
LcclCommInitRank에 nranks < 1을 주었거나 랭크가 [0, nranks) 밖입니다. LcclCommInitAll의 ndev가 음수이거나 디바이스 수보다 클 때, devlist에 범위를 벗어나거나 중복된 디바이스 번호가 있을 때도 같습니다. 등록 함수(LcclCommRegister·LcclCommDeregister)가 버퍼·크기·핸들 인자를 거부할 때도 이 코드입니다. |
랭크는 0부터 nranks - 1까지입니다. 대개 런처의 off-by-one입니다. LcclCommInitAll의 디바이스 번호는 0부터 디바이스 수 - 1까지이고 서로 달라야 합니다. 등록 함수의 인자 규칙은 커뮤니케이터 API에서 확인합니다. |
kLcclCommNullPtr
0x10003 (65539) |
Communicator got nullptr arguments |
커뮤니케이터나 출력 포인터가 null입니다. LcclCommInitAll의 devlist가 null일 때도 같습니다. |
— |
kLcclCommConfigInvalid
0x10004 (65540) |
Communicator config invalid (missing LCCL_CONFIG_INITIALIZER or out-of-range field) |
현재 반환하지 않는 예약 코드입니다. 잘못된 LcclConfig는 kLcclInvalidArgument로 보고됩니다. |
LCCL_CONFIG_INITIALIZER에서 시작해 바꿀 필드만 설정합니다. |
kLcclCommRankInvalid
0x10005 (65541) |
Communicator rank outside [0, n_ranks) |
현재 반환하지 않는 예약 코드입니다. 랭크 범위 오류는 kLcclCommInvalidArgs나 kLcclInvalidArgument로 보고됩니다. |
— |
kLcclCommStateInvalid
0x10006 (65542) |
Communicator in unexpected state for this call |
논블로킹 작업이 끝나기 전에 같은 커뮤니케이터를 다시 호출했거나 LcclCommFinalize()를 두 번 호출했습니다. 서버 안의 랭크를 판정하지 못할 때 초기화에서도 반환됩니다. |
LcclCommGetAsyncError가 kLcclSuccess를 돌려줄 때까지 기다린 뒤 호출합니다. |
kLcclCommAlreadyDestroyed
0x10007 (65543) |
Communicator has already been destroyed |
현재 반환하지 않는 예약 코드입니다. 이미 파괴한 커뮤니케이터를 쓰면 kLcclInvalidArgument로 보고될 수 있지만 보장되지 않습니다. |
파괴한 핸들은 다시 쓰지 않습니다. |
kLcclCommSchedulerError
0x10008 (65544) |
Communicator channel/ring scheduler produced invalid plan |
점대점 연산의 실행 순서를 정하는 데 실패했습니다. |
결함입니다. 로그를 수집해 보고합니다. |
소켓
시작 단계의 소켓 에러는 거의 항상 랭크들이 고유 ID를 만든 프로세스의 주소에 도달하지 못한다는 뜻입니다. 주소로 연결이 되는지, 방화벽이 서버 사이 TCP를 막지 않는지, LCCL_SOCKET_IFNAME이 올바른 인터페이스를 가리키는지 확인하십시오. 어느 인터페이스를 골랐는지는 INFO 로그에만 남아 릴리즈 빌드에서는 보이지 않습니다. 다중 노드 실행을 보십시오.
| 코드 / 값 |
메시지 |
원인 |
kLcclSocketError
0x20000 (131072) |
Socket unknown or unclassified error |
소켓의 일반 실패입니다. |
kLcclSocketNullPtr
0x20001 (131073) |
Socket got nullptr arguments |
null 소켓 포인터. |
kLcclSocketInvalidData
0x20002 (131074) |
Socket got invalid data |
수신 데이터 검증 실패. |
kLcclSocketNotReady
0x20003 (131075) |
Socket not ready |
소켓이 아직 준비되지 않음. |
kLcclSocketNotAccept
0x20004 (131076) |
Socket failed to accept connection |
accept 실패. |
kLcclSocketTimeout
0x20005 (131077) |
Socket operation timed out |
연결이나 송수신이 대기 한도 안에 끝나지 않았습니다. |
kLcclSocketNotConnect
0x20006 (131078) |
Socket failed to connect |
connect가 실패했습니다(이미 쓴 오래된 고유 ID, 도달할 수 없는 네트워크, 연결 재설정 등). 아무도 listen하지 않는 주소면 즉시, 응답하지 않는 주소면 운영체제의 TCP 연결 시간 제한(Linux 기본값으로 약 2분)이 지난 뒤 실패합니다. ERROR 로그에 Connect to <주소> failed : <이유>가 남습니다. |
kLcclSocketNotListen
0x20007 (131079) |
Socket failed to listen |
listen 실패. |
kLcclSocketNotCreate
0x20008 (131080) |
Socket failed to create |
소켓 생성 실패. |
kLcclSocketAborted
0x20009 (131081) |
Socket operation aborted |
연산이 중단됨. |
kLcclSocketRecvFail
0x2000A (131082) |
Socket recv failed mid-stream |
스트림 중간에 recv 실패. |
kLcclSocketSendFail
0x2000B (131083) |
Socket send failed mid-stream |
스트림 중간에 send 실패. |
부트스트랩
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclBootstrapError
0x30000 (196608) |
Bootstrap unknown or unclassified error |
부트스트랩의 일반 실패입니다. |
— |
kLcclBootstrapNullptr
0x30001 (196609) |
Bootstrap got nullptr arguments |
부트스트랩 상태의 null 포인터. |
— |
kLcclBootstrapNoNetIf
0x30002 (196610) |
Bootstrap could not find a usable network interface |
쓸 수 있는 네트워크 인터페이스가 없습니다. LCCL_SOCKET_IFNAME이 어떤 인터페이스에도 매칭되지 않을 때도 이 코드입니다. |
LCCL_SOCKET_IFNAME이 실제 인터페이스 이름과 맞는지, 루프백이 아닌 인터페이스가 올라와 있는지 확인합니다. |
kLcclBootstrapWrongRecv
0x30003 (196611) |
Bootstrap received unexpected data |
받은 메시지가 받을 버퍼보다 큽니다. 로그에 Message truncated : received N bytes instead of M가 남습니다. |
랭크들이 같은 버전의 lccl을 쓰는지 확인합니다. |
kLcclBootstrapTruncated
0x30004 (196612) |
Bootstrap message truncated |
랑데부 중 교환한 메시지가 받을 버퍼보다 큽니다(Message truncated 경고). |
랭크들이 같은 버전의 lccl을 쓰는지 확인합니다. |
kLcclBootstrapRingFail
0x30005 (196613) |
Bootstrap ring construction failed |
랭크들이 서로의 정보를 교환하는 연결을 구성하지 못했습니다. |
— |
kLcclBootstrapUnexpectedConn
0x30006 (196614) |
Bootstrap saw unexpected pending connection |
예상하지 못한 연결이 대기 중입니다. |
nranks보다 많은 랭크가 접속했거나 이전 실행의 랭크가 남아 있는지 확인합니다. |
메모리
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclMemError
0x40000 (262144) |
Memory unknown or unclassified error |
메모리의 일반 실패입니다. |
— |
kLcclMemAllocFail
0x40001 (262145) |
Host malloc/calloc/realloc failed |
호스트 할당 실패. |
— |
kLcclMemDeviceAllocFail
0x40002 (262146) |
Device (HaMemAlloc) allocation failed |
디바이스 할당 실패. |
디바이스 메모리 고갈이나 단편화입니다. 메모리 모델을 보십시오. |
kLcclMemCopyFail
0x40003 (262147) |
HaMemCpy failed |
디바이스 복사 실패. |
— |
kLcclMemFreeFail
0x40004 (262148) |
HaMemFree failed |
디바이스 해제 실패. |
— |
kLcclMemShmMapFail
0x40005 (262149) |
shm_open / ftruncate / mmap failed |
공유 메모리를 만들거나 매핑하지 못했습니다. |
/dev/shm 용량(컨테이너 기본 64 MiB), 한 서버의 랭크들이 같은 LCCL_SHM_PATH를 받았는지, 디렉터리 권한을 확인합니다. |
kLcclMemShmUnmapFail
0x40006 (262150) |
munmap / shm_unlink failed |
공유 메모리를 해제하지 못했습니다. |
— |
kLcclMemSizeOverflow
0x40007 (262151) |
Reallocation requested smaller size than current |
재할당하려는 크기가 현재 크기보다 작습니다. |
— |
토폴로지
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclTopoError
0x50000 (327680) |
Topology unknown or unclassified error |
토폴로지의 일반 실패입니다. |
— |
kLcclTopoLimitExceeded
0x50001 (327681) |
Topology static limit exceeded |
노드·링크·채널의 정적 한계를 넘었습니다. |
— |
kLcclTopoNodeNotFound
0x50002 (327682) |
Topology lookup did not find node/LPU/NET/CPU |
노드·LPU·네트워크·CPU 조회 결과가 없습니다. 토폴로지 파일에 이 서버의 랭크가 잡은 카드가 없을 때도 이 코드입니다. |
파일의 LPU.busId가 실제 카드의 PCI 주소와 같은지 확인합니다. 토폴로지 파일을 보십시오. |
kLcclTopoXmlParseError
0x50003 (327683) |
Topology XML parse error |
토폴로지 문서를 해석하지 못했습니다. 토폴로지 JSON 파일도 같은 코드를 씁니다. |
파일의 JSON 형식을 확인합니다. |
kLcclTopoXmlVersionMismatch
0x50004 (327684) |
Topology XML graph version mismatch |
토폴로지 XML 그래프의 버전이 라이브러리와 다릅니다. |
— |
kLcclTopoFileError
0x50005 (327685) |
Topology file open / read / size failure |
토폴로지 파일을 열거나 읽지 못했습니다. LCCL_TOPO_STRICT=1에서 LCCL_PREDEFINED_SYSINFO의 파일이 없을 때도 이 코드입니다. |
경로와 파일 권한을 확인합니다. |
kLcclTopoConfigInvalid
0x50006 (327686) |
Topology config invalid |
토폴로지 설정이 잘못됐습니다. 채널 수 문제, 토폴로지 파일 자체의 모순(중복된 busId, NIC.busId 누락 등)이 대표적입니다. |
로그의 경고를 확인하고 토폴로지 파일을 점검합니다. |
kLcclTopoLookupNotFound
0x50007 (327687) |
Topology key/value or attribute lookup failed |
속성 조회에 실패했습니다. |
— |
kLcclTopoSchemaVersionMismatch
0x50008 (327688) |
Topology JSON schemaVersion missing or unsupported |
토폴로지 파일의 schemaVersion이 없거나(LCCL_TOPO_STRICT=1), 지원하지 않는 값이거나, 숫자가 아닙니다. |
파일 최상위에 "schemaVersion": 1을 적습니다. |
kLcclTopoPeerMismatch
0x50009 (327689) |
Topology contradicts the local device (host hash / busId) |
현재 반환하지 않는 예약 코드입니다. |
— |
Net 플러그인
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclNetError
0x60000 (393216) |
Net plugin unknown or unclassified error |
네트워크 백엔드의 일반 실패입니다. |
— |
kLcclNetNotFound
0x60001 (393217) |
Net plugin or named network not available |
ibverbs 백엔드를 초기화하지 못했습니다(RDMA 장치나 IP 인터페이스가 없을 때). 내부에서 처리되어 소켓으로 넘어가므로 보통 호출자에게는 반환되지 않습니다. |
— |
kLcclNetInvalidDevice
0x60002 (393218) |
Net device index out of range |
디바이스 인덱스가 범위를 벗어났습니다. |
— |
kLcclNetNoSlot
0x60003 (393219) |
Net request/subtask slot pool exhausted |
동시에 처리할 수 있는 네트워크 요청 수를 넘었습니다. |
— |
kLcclNetThreadFail
0x60004 (393220) |
Net helper pthread_create failed |
네트워크 전송을 돕는 스레드를 만들지 못했습니다. |
— |
kLcclNetReadFail
0x60005 (393221) |
Net plugin read syscall failed |
소켓 read가 실패했습니다. |
— |
kLcclNetSendCountInvalid
0x60006 (393222) |
Net iSendv/iRecvv called with n != 1 |
다중 버퍼 송수신은 지원하지 않습니다. |
— |
kLcclNetTestNullRequest
0x60007 (393223) |
Net test() called with NULL request |
null 요청으로 전송 상태를 조회했습니다. |
— |
kLcclNetSizeMismatch
0x60008 (393224) |
Net received size does not match expected |
받은 크기가 기대와 다릅니다. 커뮤니케이터 생성이 이 코드로 실패하면 서로 다른 서버의 랭크끼리 LCCL_BUFFSIZE가 다른 것입니다. |
생성 중에 나왔으면 모든 랭크에 같은 LCCL_BUFFSIZE를 줍니다. 연산 중에 나왔으면 송신 쪽과 수신 쪽이 같은 count와 데이터 타입으로 호출했는지 확인합니다. |
kLcclNetCommNotInit
0x60009 (393225) |
Net comm guard yielded no comm |
네트워크 연결이 초기화되지 않았습니다. |
— |
kLcclNetUnsupportedMemType
0x6000A (393226) |
Net plugin does not support requested memory type |
백엔드가 지원하지 않는 메모리 종류입니다. |
— |
kLcclNetFlushUnsupported
0x6000B (393227) |
Net flush operation not supported |
flush를 지원하지 않습니다. |
— |
kLcclNetGdrUnsupported
0x6000C (393228) |
Net GDR/RDMA feature not supported on this platform |
이 플랫폼에서는 GDR/RDMA를 지원하지 않습니다. |
— |
kLcclNetRemoteError
0x6000D (393229) |
Net work completion reported a failure from the peer |
ibverbs 작업 완료가 상대 쪽 실패를 보고했습니다. |
상대 서버와 RNIC 상태, 케이블을 확인하고 LCCL_IB_TIMEOUT, LCCL_IB_RETRY_CNT를 점검합니다. |
Transport
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclTransportError
0x70000 (458752) |
Transport unknown or unclassified error |
전송 계층의 일반 실패입니다. |
— |
kLcclTransportNotFound
0x70001 (458753) |
No transport matched the requested peer/operation |
두 랭크 사이에 쓸 수 있는 전송이 없습니다(P2P, 공유 메모리, 네트워크 모두 불가). |
— |
kLcclTransportShmInvalidArg
0x70002 (458754) |
SHM transport got mismatched proxy info sizes |
공유 메모리 전송이 서로 맞지 않는 연결 정보 크기를 받았습니다. |
— |
kLcclTransportShmDestroyFail
0x70003 (458755) |
SHM transport destroy of stream/fifo/event failed |
공유 메모리 전송의 자원을 해제하지 못했습니다. |
— |
kLcclTransportShmConnectFail
0x70004 (458756) |
SHM transport connect/accept polling failed |
공유 메모리 전송의 연결을 설정하지 못했습니다. |
— |
kLcclTransportShmChannelGeometryUnknown
0x70005 (458757) |
SHM transport could not read device DRAM channel count/stride |
활성 장치에서 DRAM 채널 구성(채널 수와 간격)을 읽지 못했습니다. |
— |
kLcclTransportNetDestroyFail
0x70006 (458758) |
NET transport destroy of stream/fifo/event failed |
네트워크 전송의 자원을 해제하지 못했습니다. |
— |
kLcclTransportNetUnsupported
0x70007 (458759) |
NET transport data path reached an unwired protocol/buffer mode |
네트워크 전송이 지원하지 않는 프로토콜이나 버퍼 모드입니다. LPU에서 프로세스당 커뮤니케이터 한도를 넘는 커뮤니케이터 생성도 이 코드로 실패합니다. |
생성이 실패했다면 쓰지 않는 커뮤니케이터를 파괴한 뒤 다시 만듭니다. |
kLcclTransportShmUnsupported
0x70008 (458760) |
SHM transport data path reached an unwired protocol |
공유 메모리 전송이 지원하지 않는 프로토콜입니다. LPU에서 프로세스당 커뮤니케이터 한도를 넘는 커뮤니케이터 생성도 이 코드로 실패합니다. |
생성이 실패했다면 쓰지 않는 커뮤니케이터를 파괴한 뒤 다시 만듭니다. |
kLcclTransportP2pChannelMismatch
0x70009 (458761) |
P2P peer interleaves its fifo across a different DRAM channel count |
P2P로 연결하려는 상대 장치의 DRAM 채널 수가 이 장치와 다릅니다. |
— |
kLcclTransportBuffSizeMismatch
0x7000A (458762) |
ranks disagree on buff_size (LCCL_BUFFSIZE must match across ranks) |
랭크마다 LCCL_BUFFSIZE가 다릅니다. 값이 다르면 연결할 수 없어 거부합니다. |
모든 랭크에 같은 LCCL_* 환경을 줍니다. |
kLcclTransportShmLocalityMismatch
0x7000B (458763) |
ranks disagree on LCCL_SHM_LOCALITY (must match across ranks) |
랭크마다 공유 메모리 전송 설정이 다릅니다. 값이 다르면 연결할 수 없어 거부합니다. |
모든 랭크에 같은 LCCL_* 환경을 줍니다. |
Proxy
통신 경로 내부의 오류는 [Progress Thread] progressOps failed 경고와 함께 커뮤니케이터를 중단시킵니다. LPU에서는 실패한 연산이 원인이 된 코드를 그대로 돌려줍니다. 아래 코드는 대부분 내부 결함이나 자원 고갈을 뜻하므로, 로그를 수집해 문의하십시오.
| 코드 / 값 |
메시지 |
원인 |
kLcclProxyError
0x80000 (524288) |
Proxy unknown or unclassified error |
통신 경로 내부의 일반 실패입니다. |
kLcclProxyResponseMismatch
0x80001 (524289) |
Proxy response size or state does not match request |
내부 응답의 크기나 상태가 요청과 맞지 않음. |
kLcclProxyOpNotFound
0x80002 (524290) |
Proxy could not find an op matching the given op_id |
해당 id에 맞는 진행 중 연산이 없음. |
kLcclProxyOpsNull
0x80003 (524291) |
Proxy per-rank ops table is null |
랭크별 연산 목록이 없음. |
kLcclProxyEnqueueFail
0x80004 (524292) |
Proxy failed to enqueue op into fifo |
진행할 연산을 내부 대기열에 넣지 못함. |
kLcclProxyConnInvalid
0x80005 (524293) |
Proxy connector for peer/channel is invalid |
해당 피어·채널의 연결이 유효하지 않음. |
kLcclProxyMsgUnknown
0x80006 (524294) |
Proxy message subcommand is unknown or unhandled |
알 수 없는 내부 메시지. |
kLcclProxyOpProgressFail
0x80007 (524295) |
Proxy op state machine could not progress |
현재 반환하지 않는 예약 코드입니다. |
kLcclProxyThreadCreateFail
0x80008 (524296) |
Proxy service pthread_create failed |
통신 경로를 진행하는 서비스 스레드를 만들지 못함. |
kLcclProxyPeerSocksNull
0x80009 (524297) |
Proxy peer_socks not initialized |
피어 연결 정보가 초기화되지 않음. |
그룹
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclGroupError
0x90000 (589824) |
Group unknown or unclassified error |
그룹의 일반 실패입니다. |
— |
kLcclGroupBlockingMixed
0x90001 (589825) |
Blocking and non-blocking communicators mixed in same group |
현재 반환하지 않는 예약 코드입니다. 한 그룹에 블로킹과 논블로킹 커뮤니케이터를 섞으면 kLcclInvalidArgument와 Blocking and nonblocking communicators are not allowed in the same group. 경고가 나옵니다. |
한 그룹에는 같은 모드의 커뮤니케이터만 둡니다. |
kLcclGroupSetDeviceFail
0x90002 (589826) |
HaSetDevice failed inside group dispatch |
그룹 디스패치 중 디바이스 설정에 실패했습니다. |
— |
kLcclGroupAsyncJobUnknown
0x90003 (589827) |
Async job is in an unknown state |
비동기 작업이 알 수 없는 상태에 도달했습니다. |
결함입니다. 로그를 수집해 보고합니다. |
kLcclGroupJoinFail
0x90004 (589828) |
pthread_join on group thread failed |
그룹 스레드 join에 실패했습니다. |
— |
kLcclGroupCaptureMixed
0x90005 (589829) |
Group has mix of HA-graph captured and uncaptured comms |
그룹 안의 커뮤니케이터 일부만 그래프 캡처 상태입니다. |
— |
kLcclGroupNotInGroup
0x90006 (589830) |
LcclGroupEnd called without matching LcclGroupStart |
LcclGroupStart 없이 LcclGroupEnd를 호출했습니다. |
시작과 끝의 짝이 맞는지 확인합니다. |
kLcclGroupSimInfoInvalid
0x90007 (589831) |
LcclSimInfo missing LCCL_SIM_INFO_INITIALIZER |
현재 반환하지 않는 예약 코드입니다. |
— |
Enqueue
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclEnqueueError
0xA0000 (655360) |
Enqueue/plan unknown or unclassified error |
연산을 실행하기 전 준비 단계의 일반 실패입니다. 커널 인자를 만들다 실패한 경우가 여기에 속합니다. |
— |
kLcclEnqueueNoAlgo
0xA0001 (655361) |
No algorithm/protocol pair available for op |
해당 연산에 쓸 알고리즘·프로토콜 쌍이 없습니다. LCCL_PROTO=LL처럼 LL만 허용했을 때가 대표적입니다. |
LCCL_PROTO를 기본값으로 되돌리거나 LCCL_PROTO=Simple처럼 Simple을 허용합니다. 지원 매트릭스를 보십시오. |
kLcclEnqueueUnknownPattern
0xA0002 (655362) |
Unknown LcclPattern or collective+algorithm combination |
알 수 없는 집합 연산·알고리즘 조합입니다. |
결함입니다. 로그를 수집해 보고합니다. |
kLcclEnqueueRegBufInvalid
0xA0003 (655363) |
Invalid LcclRegBufferType on queued task |
현재 반환하지 않는 예약 코드입니다. 등록 버퍼 오류는 kLcclInvalidArgument로 보고됩니다. |
— |
kLcclEnqueueSelfP2PUnmatched
0xA0004 (655364) |
Self-rank send/recv lacks matching peer op |
자기 랭크로 보내는 LcclSend에 짝이 되는 LcclRecv가 없습니다(반대도 같습니다). |
자기 랭크와는 송수신하지 말고 자기 몫 데이터는 직접 복사합니다. 같은 그룹 안에서 짝을 맞춰도 지원되지 않습니다. |
kLcclEnqueueDefault
0xA0005 (655365) |
Enqueue dispatch fell through default branch |
현재 반환하지 않는 예약 코드입니다. |
— |
커널
| 코드 / 값 |
메시지 |
원인 |
해결 |
kLcclKernelError
0xB0000 (720896) |
Kernel unknown or unclassified error |
커널의 일반 실패입니다. |
— |
kLcclKernelInvalidArgs
0xB0001 (720897) |
Kernel args struct or pointers malformed |
커널 인자 구조체나 포인터가 잘못됐습니다. 이 실패 뒤에는 그 커뮤니케이터를 쓸 수 없습니다. 0.0.5까지 이 코드로 실패하던 LPU의 Float32 리덕션과 바이트 수가 512의 배수가 아닌 LcclBroadcast·LcclSend/LcclRecv는 이제 호출 시점에 kLcclNotSupported로 거부됩니다. |
버퍼 포인터와 크기를 확인하고, 커뮤니케이터를 파괴해 다시 만듭니다. |
kLcclKernelSpinTimeout
0xB0002 (720898) |
Launch watchdog deadline elapsed; host aborted a kernel stuck in a flag spin-wait |
워치독 기한(LCCL_KERNEL_TIMEOUT_MS, 기본 5초)이 지나 멈춘 커널을 중단시켰습니다. 상대 랭크가 오지 않았거나 호출 순서·크기가 랭크마다 다를 때 나옵니다. LPU에서는 랭크들이 연산에 들어오는 시차가 이 시간을 넘을 때도 나옵니다. 중단된 커뮤니케이터는 다시 쓸 수 없습니다. |
멈춘 랭크를 찾고, 모든 랭크가 같은 순서·같은 크기로 호출했는지 확인한 뒤 커뮤니케이터를 파괴해 다시 만듭니다. |
kLcclKernelChannelMask
0xB0003 (720899) |
Plan channel_mask did not match comm topology |
현재 반환하지 않는 예약 코드입니다. |
— |
kLcclKernelInternalError
0xB0004 (720900) |
Unreachable branch hit inside kernel |
현재 반환하지 않는 예약 코드입니다. |
— |
kLcclKernelAborted
0xB0005 (720901) |
Kernel spin-wait observed an externally requested abort |
커널이 이 커뮤니케이터에 걸린 중단 신호를 보고 끝났습니다. LcclCommAbort를 불렀거나, 통신 경로 내부 오류나 앞선 커널 실패로 커뮤니케이터가 이미 중단된 상태입니다. 워치독이 중단시킨 호출은 kLcclKernelSpinTimeout을 받습니다. |
LcclCommAbort를 불렀다면 그 핸들은 더 쓰지 말고 새 커뮤니케이터를 만듭니다. 그렇지 않으면 앞서 실패한 호출이 반환한 코드(통신 경로 내부 오류라면 LcclCommGetAsyncError 값)가 처음 원인이니, 확인한 뒤 커뮤니케이터를 파괴해 다시 만듭니다. |
함께 보기