콘텐츠로 이동

릴리즈 노트

Legato Collective Communication Library(lccl)의 변경 사항입니다. lccl은 SDK의 다른 구성요소와 같은 버전으로 릴리즈됩니다. 스택 전체의 변경은 SDK 릴리즈 노트를 참고하십시오.


0.0.6

Python 3.10, Runtime(hart) 0.0.6이 필요합니다.

주요 변경

  • LcclAllReduce와 LcclAllGather가 임의의 count를 받습니다. LPU에서 count를 단위에 맞춰야 하던 제약이 사라집니다. 수신 버퍼는 결과 크기까지만 씁니다. LcclAllGather는 count가 512바이트 경계에 맞지 않으면 추가 복사를 거쳐 모으므로, 그룹 안, 논블로킹 커뮤니케이터, 제자리 호출에서는 kLcclInvalidArgument로 거부합니다.
  • C++ 공개 헤더가 lccl.h 하나가 되고 lccl 패키지에 들어갑니다. lccl을 설치한 site-packages의 lccl/include/lccl.h를 include하고, hart 패키지의 include/도 include 경로에 추가하십시오. collectives.h, group.h는 내부 헤더입니다. 빌드와 링크 방법은 C++ API를 보십시오.
  • LPU용 lccl 패키지. lccl이 +hw 버전으로 배포됩니다. hart도 같은 버전의 +hw로 설치하십시오. 설치할 패키지는 홈에 있습니다.
  • 커널이 libha_lccl.so 안에 들어 있습니다. 패키지로 설치해도 모든 연산이 커널을 찾고, 커널 파일은 따로 없습니다. 0.0.5에서는 랭크가 2개 이상이면 LcclAllReduce, LcclReduceScatter, LcclBroadcast가 커널 파일을 빌드한 머신의 경로에서 찾아, 패키지로 설치한 torch_ha에서는 커널을 띄우지 못했습니다.
  • LPU에서 LcclReduce, LcclGather, LcclScatter가 실행됩니다. LcclReduce는 Float16과 Bfloat16의 Sum, Prod, Avg를 받습니다. 0.0.5에서는 이 세 연산에 장치 커널이 없었습니다. torch.distributed 백엔드는 지금도 LPU에서 gather, scatter, reduce, all_to_all을 막습니다.
  • LPU 집합 연산을 장치 커널 실행 한 번으로 처리합니다. 랭크가 2개 이상인 LPU 커뮤니케이터는 집합 연산과 LcclSend/LcclRecv를 단계마다 커널을 새로 띄우지 않고 한 번 띄운 커널 안에서 끝냅니다. 커널 실행 횟수가 줄어 작은 크기의 연산이 빨라졌습니다.
  • 서버 사이 LPU Direct RDMA. ibverbs 전송에서 드라이버(2.6.0 이상), RNIC, PCIe 배치가 조건을 갖추면 RNIC이 LPU 메모리를 호스트 메모리로 옮기지 않고 직접 읽고 씁니다. 조건이 맞지 않는 연결은 전처럼 호스트 메모리를 거칩니다. LCCL_NET_RDMA_LEVEL, LCCL_NET_RDMA_READ, LCCL_GDR_FLUSH_DISABLE로 조절합니다. LPU Direct RDMA를 쓰는 프로세스는 LPU마다 LPU 메모리를 기본 1 GiB 할당해 프로세스가 끝날 때까지 유지합니다. 다중 노드 실행을 보십시오.

변경

  • 제거: LcclCommRingGranularity, LcclCommChannelGranularity와 이를 감싼 torch_ha 연산 torch.ops.lpu.lccl_ring_granularity, torch.ops.lpu.lccl_channel_granularity. 이 함수와 연산이 돌려주던 단위에 맞춰 count나 텐서 크기를 채우던 코드는 그 부분을 지우면 됩니다. 대체 함수나 연산은 없습니다. 바이트 수가 512의 배수여야 하는 연산은 아래 알려진 문제를 보십시오.
  • LPU에서 랭크가 2개 이상인 LcclReduceScatter는 recv_count의 바이트 수가 512의 배수가 아니면 커널을 띄우기 전에 kLcclInvalidArgument로 거부합니다. 이전에는 실행에서 kLcclKernelInvalidArgs로 실패했습니다.
  • import lccl이 PyTorch를 불러오지 않습니다. 확장 모듈이 곧 lccl이고 lccl.lccl 경로는 없어졌습니다. 공개 이름은 그대로입니다.
  • lccl이 같은 Python 환경에 설치된 hart를 찾아 쓰므로 LD_LIBRARY_PATH가 필요 없습니다. C++ 프로그램의 링크 방법도 바뀌었습니다. C++ API를 보십시오.
  • 한 프로세스에서 lccl과 torch_ha를 함께 쓸 때는 같은 릴리즈의 hart, lccl, torch_ha를 설치하십시오. Python API를 보십시오.
  • 0.0.6 랭크와 0.0.5 랭크로는 커뮤니케이터를 만들 수 없습니다. 여러 서버에서 실행한다면 모든 서버의 lccl(또는 torch_ha)을 함께 0.0.6으로 올리십시오.
  • 의존 패키지가 hart 하나로 줄어 pytest 등이 함께 설치되지 않습니다. 패키지에서 테스트 실행 파일을 뺐습니다.
  • NCCL, rdma-core, pybind11의 라이선스 고지를 패키지의 dist-info/licenses/에 담았습니다. 고지 내용은 홈에도 있습니다.
  • LPU 커뮤니케이터는 랭크 16개까지입니다. 넘으면 LcclCommInit*가 kLcclNotSupported로 실패합니다.
  • LPU에서 랭크가 2개 이상인 커뮤니케이터는 채널 1개를 씁니다. LCCL_MAX_NCHANNELS나 LCCL_MIN_NCHANNELS를 1보다 크게 주면 경고를 남기고 무시합니다. LCCL_MAX_NCHANNELS를 지정하지 않았을 때 커뮤니케이터를 만들 때마다 남던 경고는 없어졌습니다.
  • LPU에서 LCCL_KERNEL_TIMEOUT_MS의 기본값은 5000(5초)입니다. 장치 커널 실행 한 번마다 적용되고, 호출 스레드의 기본 스트림에 먼저 큐잉된 작업을 기다린 시간과 다른 랭크가 연산에 늦게 들어온 시간도 들어갑니다. 1~9999 밖의 값을 주면 경고를 남깁니다. 멈춘 커널이 드라이버의 12초 한도에 걸리면 카드를 리셋해야 하기 때문입니다.
  • LPU에서 커널로 처리할 수 없는 호출은 호출한 지점(그룹 안이면 LcclGroupEnd())에서 kLcclNotSupported로 거부합니다. Float16, Bfloat16이 아닌 리덕션, 바이트 수가 512의 배수가 아닌 LcclBroadcast, LcclReduce, LcclGather, LcclScatter, LcclSend/LcclRecv, 한 호출이 4 GiB(LcclAllReduce, LcclReduceScatter)나 8 GiB(그 밖의 연산)를 넘는 경우가 여기에 듭니다. 0.0.5에서 Float32 리덕션과 바이트 수가 512의 배수가 아닌 LcclBroadcast, LcclSend/LcclRecv는 실행 중에 kLcclKernelInvalidArgs로 실패하고 그 커뮤니케이터를 쓸 수 없게 했습니다.
  • EVT0이 아닌 LPU에서는 집합 연산이 kLcclNotSupported를 반환합니다.
  • LPU에서 랭크가 2개 이상이면 LCCL_BUFFSIZE가 4096의 배수여야 합니다. 그렇지 않으면 모든 집합 연산과 LcclSend/LcclRecv가 kLcclNotSupported를 반환합니다.
  • hart가 lccl에 든 커널 라이브러리의 형식을 읽지 못하면 LcclCommInit*가 kLcclNotSupported로 실패합니다. 같은 릴리즈의 lccl과 hart를 함께 설치하십시오.
  • 새 환경 변수: LCCL_DEVICE_LOOP_LAUNCH_BYTES(LcclAllReduce, LcclReduceScatter, LcclSend/LcclRecv의 장치 커널 실행 한 번이 처리하는 최대 바이트 수, 기본 256 MiB), LCCL_DMABUF_POOL_SIZE_PER_CHANNEL(LPU Direct RDMA에 쓰는 버퍼의 DRAM 채널당 크기, 기본 64 MiB). 환경 변수를 보십시오.
  • 토폴로지 파일(LCCL_PREDEFINED_SYSINFO)에서 PCI뿐 아니라 LPU와 NIC에도 linkspeed를 적을 수 있습니다. 없거나 null이면 부모의 값 대신 12 GB/s를 씁니다. 숫자 필드는 JSON 숫자만 받고, 구조가 깨진 파일은 일부만 읽지 않고 초기화 오류로 처리합니다. 0.0.5에서는 일부 경우에 초기화가 끝나지 않았습니다.
  • 토폴로지 파일의 PCI, LPU, NIC 항목은 busId가 없거나 PCI 주소 형식이 아니면 초기화가 kLcclTopoConfigInvalid로 실패합니다.

수정

  • 랭크가 1개인 LPU 커뮤니케이터에서 제자리가 아닌 LcclAllReduce, LcclAllGather, LcclReduceScatter, LcclBroadcast, LcclReduce가 결과를 첫 DRAM 채널에만 채우거나 Bad address로 실패하던 문제를 고쳤습니다.
  • 공유 메모리로 연결된 LPU 랭크 사이의 큰 LcclBroadcast가 가끔 멈추거나 틀린 값을 받던 문제를 고쳤습니다.
  • 토폴로지 파일에 socketId가 -1인 CPU가 있으면 서버 사이 실행에서 NIC을 찾지 못하던 문제를 고쳤습니다.
  • 토폴로지 파일을 쓸 때 PCI 주소가 없는 네트워크 장치(veth, bond 등)가 파일의 첫 CPU에 붙던 문제를 고쳤습니다. 이제 직접 탐색할 때처럼 이 서버에서 가장 작은 랭크가 쓰는 카드의 CPU에 붙습니다.

알려진 문제

문제 영향 우회 방법
LPU의 리덕션은 Float16, Bfloat16만 다른 타입의 리덕션은 kLcclNotSupported 데이터 타입 변경
LPU에서 LcclBroadcast, LcclReduce, LcclGather, LcclScatter, LcclSend/LcclRecv의 바이트 수가 512의 배수여야 함 어기면 kLcclNotSupported 바이트 수를 512의 배수로 맞춤
Max, Min 리덕션에 커널 없음 랭크 2개 이상에서 kLcclNotSupported Sum을 쓰거나 호스트에서 리덕션
같은 LPU에서 커뮤니케이터 둘의 연산을 동시에 실행하는 것은 지원하지 않음 — 한 LPU에서는 한 번에 한 커뮤니케이터의 연산만 실행
LPU에서 랭크들이 연산에 들어오는 시차가 LCCL_KERNEL_TIMEOUT_MS(기본 5초)에 들어감 시차가 크면 kLcclKernelSpinTimeout으로 실패하고 커뮤니케이터를 다시 만들어야 함 랭크들이 비슷한 시점에 연산을 호출하게 맞춤. 필요하면 9999 이하에서 값을 늘림
집합 연산이 스트림과 순서를 맺지 않음 호출 전에 큐잉한 작업이 먼저 끝난다는 보장이 없음 호출 전에 직접 동기화
P2P는 같은 프로세스 안에서만 랭크마다 프로세스를 쓰면 P2P 이득 없음 —
LcclCommGetAsyncError, LcclCommAbort에 Python 바인딩 없음 Python 프로세스가 비동기 실패를 확인하거나 abort할 수 없음 중요하다면 C++에서 구동
릴리즈 빌드는 INFO 이하 로그를 출력하지 않음 선택된 인터페이스, 채널 수, LPU Direct RDMA 사용 여부를 로그로 확인할 수 없음 comm.n_nodes, comm.n_channels 속성을 읽음. LPU Direct RDMA 사용 여부는 드라이버의 dmabuf_exports 노드에서 확인(다중 노드 실행)
전송 경로 실패나 워치독 타임아웃 시 커뮤니케이터 재생성 필요 연산 단위 복구 없음 모든 랭크에서 정리 후 재생성

0.0.5

2026-10-14. Python 3.10, Runtime(hart) 0.0.5가 필요합니다.

주요 변경

  • 같은 프로세스 안의 랭크 사이 P2P 전송. 드라이버가 두 카드 사이 메모리 매핑을 허용하면 LcclAllGather, LcclAllReduce, LcclReduceScatter의 데이터 이동이 호스트 공유 메모리를 거치지 않고 카드 사이 직접 DMA로 갑니다. 랭크마다 프로세스를 따로 쓰는 구성에서는 선택되지 않고 공유 메모리를 씁니다.
  • ibverbs 네트워크 전송(InfiniBand, RoCE). 서버 사이 통신에서 RDMA 장치가 있으면 소켓보다 먼저 ibverbs를 씁니다. 데이터는 호스트 메모리를 거칩니다. 설정용 LCCL_IB_* 변수가 추가되었습니다. 환경 변수를 보십시오.
  • Bfloat16 리덕션. LcclAllReduce(Sum, Prod, Avg)와 LcclReduceScatter(Sum)가 Bfloat16을 받습니다.
  • LPU에서 LcclBroadcast와 LcclAllToAll 실행. 이전에는 LPU에서 오동작했습니다. 한 서버의 LPU 2장과 4장에서 확인했습니다.
  • 버퍼 등록 API. LcclCommRegister, LcclCommDeregister와 LCCL_LOCAL_REGISTER. 네트워크 전송의 LcclSend/LcclRecv가 등록된 버퍼를 곧바로 쓰도록 만든 API이지만, 번들된 네트워크 전송(소켓, ibverbs)이 이를 쓰지 않아 현재는 호출이 성공할 뿐 효과가 없습니다.
  • 고정 토폴로지 JSON 계약. LCCL_PREDEFINED_SYSINFO 파일에 schemaVersion을 두고, 엄격 모드 LCCL_TOPO_STRICT를 추가했습니다. 다중 노드 실행을 보십시오.

신규

  • 에러 코드 6개: kLcclTopoSchemaVersionMismatch, kLcclTopoPeerMismatch, kLcclNetRemoteError, kLcclTransportP2pChannelMismatch, kLcclTransportBuffSizeMismatch, kLcclTransportShmLocalityMismatch. 기존 코드의 값은 바뀌지 않았습니다.
  • LcclCommChannelGranularity. (0.0.6에서 제거되었습니다. 0.0.6을 보십시오.)

변경

  • 토폴로지 파일에 rank, 디바이스 번호, 링을 더는 적지 않고 읽지도 않습니다. 파일은 하드웨어 배치만 기술하고 나머지는 LCCL이 실행 시점에 채웁니다.
  • 한 PCIe 스위치 아래에 LPU와 RNIC이 함께 있는 토폴로지 파일을 받습니다.

알려진 문제

문제 영향 우회 방법
LPU에서 LcclAllReduce의 count가 512바이트 × 채널 수 × 랭크 수의 배수, LcclAllGather의 count가 512바이트 × 채널 수의 배수여야 함 어기면 실행에서 kLcclKernelInvalidArgs. 단위는 서버마다 다름 LcclCommRingGranularity, LcclCommChannelGranularity로 단위를 조회해 맞춤. 0.0.6에서 해소
LPU에서 LcclReduceScatter의 recv_count가 단위에 맞지 않음 호출 시점에는 거부되지 않고 실행에서 kLcclKernelInvalidArgs로 실패하며 그 커뮤니케이터를 쓸 수 없게 됨 recv_count를 단위에 맞춤. 0.0.6에서 호출 시점에 kLcclInvalidArgument로 거부
LPU에서 LcclBroadcast, LcclSend/LcclRecv의 바이트 수가 512의 배수가 아님 실행에서 kLcclKernelInvalidArgs로 거부되고 그 커뮤니케이터를 쓸 수 없게 됨 바이트 수를 512의 배수로 맞춤
LPU에서 LcclReduce, LcclGather, LcclScatter에 장치 커널이 없음 거부되지 않고 접근 오류나 멈춤 호출하지 않음. LcclAllReduce, LcclAllGather 등으로 대체
LPU의 리덕션은 Float16, Bfloat16만 Float32 리덕션은 실행에서 kLcclKernelInvalidArgs 데이터 타입 변경
Max, Min 리덕션에 커널 없음 랭크 2개 이상에서 kLcclNotSupported Sum을 쓰거나 호스트에서 리덕션
집합 연산이 스트림과 순서를 맺지 않음, 비동기 실행 없음 호출 전에 큐잉한 작업을 기다리지 않음 호출 전에 직접 동기화
P2P는 같은 프로세스 안에서만, ibverbs는 호스트 메모리 경유 랭크마다 프로세스를 쓰면 P2P 이득 없음. 서버 사이에 LPU 메모리를 직접 RDMA하지 않음 —
ibverbs는 한 서버 안의 RNIC 2개 연결로만 확인 서버 사이 ibverbs 구성의 동작·성능은 확인하지 않음 LCCL_IB_DISABLE=1로 소켓 사용
LcclCommGetAsyncError, LcclCommAbort에 Python 바인딩 없음 Python 프로세스가 비동기 실패를 확인하거나 abort할 수 없음 중요하다면 C++에서 구동
릴리즈 빌드는 INFO 이하 로그를 출력하지 않음 선택된 인터페이스, 채널 수 등을 로그로 확인할 수 없음 comm.n_nodes, comm.n_channels 속성을 읽음
전송 경로 실패나 워치독 타임아웃 시 커뮤니케이터 재생성 필요 연산 단위 복구 없음 모든 랭크에서 정리 후 재생성

0.0.4

2026-08-28. Python 3.10, Runtime(hart) 0.0.4가 필요합니다.

주요 변경

  • LPU에서 장치 커널로 실행되는 연산이 늘었습니다. LcclAllReduce, LcclAllGather, LcclReduceScatter가 LPU 2장에서 장치 커널로 실행되고, LcclSend/LcclRecv도 LPU에서 실행됩니다.
  • 서버 사이 TCP 소켓 전송. 서로 다른 서버에 있는 랭크가 네트워크로 집합 연산을 합니다. 서버 2대에서 확인했습니다.
  • 미지원 조합이 거부됩니다. 등록된 커널이 없는 조합이 조용히 성공을 반환하던 문제를 고쳐, 이제 kLcclNotSupported로 실패합니다.
  • 행(hang) 방지 워치독. 한 랭크가 오지 않아 커널이 멈추면 LCCL_KERNEL_TIMEOUT_MS(기본 30초) 뒤에 커널을 중단시키고 kLcclKernelSpinTimeout을 반환합니다. 중단된 커널은 kLcclKernelAborted를 반환합니다.

신규

  • 리덕션 Prod와 Avg(LcclAllReduce).
  • 프로파일러 연동. 집합 연산과 점대점이 프로파일러 구간 lccl:<연산>으로 기록되고, 랭크와 워커 스레드 라벨이 붙습니다.
  • Python이 hart.mem_alloc()이 돌려준 정수 디바이스 주소를 버퍼로 받습니다.
  • 랭크가 1개인 커뮤니케이터의 집합 연산.
  • 에러 코드 5개: kLcclTransportShmChannelGeometryUnknown, kLcclTransportNetDestroyFail, kLcclTransportNetUnsupported, kLcclTransportShmUnsupported, kLcclKernelAborted.
  • LcclCommRingGranularity. (0.0.5에도 있고, 0.0.6에서 제거되었습니다. 0.0.6을 보십시오.)

변경

  • LcclAllToAll이 서로 겹치는 송수신 버퍼를 거부합니다.
  • 리덕션이 없는 집합 연산(broadcast, all-gather, gather, scatter)은 바이트 단위로 옮기므로 모든 LcclDataType을 받습니다.
  • 그룹 중첩이 스레드별로 깊이를 추적하며, 가장 바깥 구간이 닫힐 때 작업이 실행됩니다.

알려진 문제

문제 영향 우회 방법
LcclBroadcast와 LcclAllToAll이 LPU에서 실행되지 않음 LPU에서 호출하면 오동작 0.0.5 이상 사용
Bfloat16 리덕션 없음 Bfloat16 리덕션이 거부됨 0.0.5 이상 사용 또는 Float16
Max, Min 리덕션에 커널 없음 kLcclNotSupported Sum을 쓰거나 호스트에서 리덕션
P2P와 ibverbs 전송이 스텁 같은 서버는 공유 메모리, 서버 사이는 TCP 소켓 0.0.5 이상 사용
버퍼 등록 진입점 없음 등록 버퍼 고속 경로 없음 —
LcclCommGetAsyncError에 Python 바인딩 없음 Python 프로세스가 비동기 실패를 확인할 수 없음 중요하다면 C++에서 구동

0.0.3

2026-06-18. lccl의 첫 릴리즈입니다. 랭크 랑데부, 토폴로지와 링 탐색, 집합 연산 6개(LcclAllReduce, LcclReduce, LcclReduceScatter, LcclBroadcast, LcclGather, LcclScatter)를 제공합니다. LcclAllGather, LcclAllToAll, LcclSend, LcclRecv는 헤더에 있었지만 인자만 검사하고 데이터를 옮기지 않은 채 성공을 반환했고, 랭크가 1개인 커뮤니케이터의 집합 연산도 아무것도 하지 않았습니다.


버전 지원

버전 상태
0.0.6 현재
0.0.5 이전
0.0.4 이전
0.0.3 이전

lccl은 beta입니다. API가 NCCL을 따르지만 지원 범위가 아직 확장 중이고 릴리즈 사이에 공개 함수가 추가되거나 제거될 수 있습니다(0.0.6의 LcclCommRingGranularity 제거가 그 예입니다). 에러 코드 값은 지금까지 바뀐 적이 없고 다른 의미로 재사용되지도 않았지만, 릴리즈에 따라 새 코드가 추가될 수 있습니다.