콘텐츠로 이동

4. 분산

멀티 디바이스 실행은 lccl 백엔드를 쓰는 torch.distributed를 통합니다. 이 장은 아키텍처, 설정 방법, 일반적인 사용 패턴을 다룹니다.

Contents

Section Objective
4.1 아키텍처 c10d 백엔드 lccl과 torch.ops.lpu.lccl_* 커스텀 연산의 두 계층
4.2 디바이스 바인딩 랭크별 디바이스 선택과 인덱스 없는 할당의 해석
4.3 실행 설정 환경 변수, torchrun, 프로세스 그룹 초기화 순서
4.4 병렬화 패턴 텐서 병렬, 파이프라인 병렬, torch.compile 아래의 집합 연산
4.5 지원 범위 집합 연산과 dtype·리덕션 조합의 범위 확인
4.6 정확성 규칙 호출 순서, 생산자 동기화, 함께 종료하기
4.7 행(hang) 디버깅 랑데부 실패와 미참여 랭크를 가려내는 절차

4.1 아키텍처

하부 통신은 LPU 집합 통신 라이브러리 **LCCL**이 담당하고, torch 통합은 같은 communicator를 공유하는 두 계층으로 제공됩니다.

계층 진입점 용도
c10d 백엔드 lccl dist.all_reduce 등 표준 torch.distributed API 일반 사용. 기존 분산 코드가 그대로 동작
커스텀 연산 torch.ops.lpu.lccl_* 직접 호출 또는 컴파일된 그래프 torch.compile 트레이싱에서 graph break 없이 집합 연산을 캡처하는 fast path

torch_ha는 import torch 중에 "lccl"을 lpu 디바이스 타입의 torch.distributed 백엔드로 등록합니다. lpu 텐서를 쓰는 프로세스 그룹의 기본 백엔드가 됩니다.

커스텀 연산 계층은 프로세스 그룹이 만든 communicator를 그대로 넘겨받습니다 (torch.ops.lpu.lccl_comm_handle). 랑데부는 한 번이고, 두 계층이 같은 연결 위에서 동작합니다. 텐서를 받는 lccl_* 연산에는 Meta 커널이 함께 등록되어 있어 FakeTensor 트레이싱을 통과합니다.

4.2 디바이스 바인딩

한 프로세스가 여러 디바이스를 볼 수 있습니다. 랭크는 시작할 때 자기 디바이스를 한 번 선택하고, 이후에는 인덱스 없이 할당합니다.

1
2
3
4
torch.accelerator.set_device_index(rank)             # 랭크당 한 번

x = torch.randn(32, 1024, dtype=torch.bfloat16)
x = x.to("lpu")                                      # 선택한 디바이스로 해석됩니다

인덱스 없는 torch.device("lpu")는 호출 스레드에 바인딩된 디바이스로 해석됩니다 — CUDA와 같은 시맨틱입니다. 디바이스 선택·조회·동기화는 torch.accelerator API를 사용하십시오 — set_device_index, device_count, synchronize.

lccl 백엔드는 첫 집합 연산 때 커뮤니케이터를 만들면서, 프로세스 그룹 안의 랭크 r을 lpu:<r>에 바인딩합니다. 그래서 torch.distributed는 한 서버 안에서만 지원하며, dist.new_group으로 만든 그룹에서도 그룹 안의 랭크 r이 lpu:<r>을 써야 합니다. LCCL 지원 매트릭스 §규모를 보십시오.

4.3 실행 설정

MASTER_ADDR, MASTER_PORT, RANK, WORLD_SIZE 등 일반적인 torch.distributed 환경이 그대로 적용되고, 표준 런처가 동작합니다.

1
torchrun --nproc-per-node 2 your_script.py
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
import os

import torch
import torch.distributed as dist

# 백엔드는 랭크 r을 lpu:<r>에 바인딩합니다.
# 텐서도 같은 디바이스에 두도록 먼저 선택하십시오.
local_rank = int(os.environ["LOCAL_RANK"])
torch.accelerator.set_device_index(local_rank)

dist.init_process_group(backend="lccl")

x = torch.randn(32, 1024, dtype=torch.bfloat16).to("lpu")

dist.all_reduce(x, op=dist.ReduceOp.SUM)

dist.destroy_process_group()

4.4 병렬화 패턴

텐서 병렬(TP) — 핫 패스는 all-reduce와 all-gather이고, 디바이스 커널의 ring 구현으로 실행됩니다. 집합 연산은 텐서의 채널 인터리브 할당 전체에 대해 한 번 발행됩니다.

파이프라인 병렬(PP) — 스테이지 간 activation은 point-to-point send/recv로 이동합니다. 복사 경로라 dtype 제약이 없지만, 텐서의 바이트 수는 512의 배수여야 합니다(§4.5). 양방향 교환은 dist.batch_isend_irecv를 사용하십시오 — 백엔드가 coalescing을 지원하므로 두 방향이 하나의 플랜으로 융합되어 교착 없이 진행됩니다.

torch.compile 아래에서 — 컴파일된 그래프 안의 집합 연산은 커스텀 연산 계층으로 캡처할 수 있습니다.

1
2
3
4
group_name = dist.distributed_c10d._get_default_group().group_name
handle = torch.ops.lpu.lccl_comm_handle(group_name)

out = torch.ops.lpu.lccl_all_reduce(x, "sum", handle)

point-to-point를 직접 쓸 때의 양방향 교환은 torch.ops.lpu.lccl_group_start() / lccl_group_end()로 감싸십시오. c10d의 coalescing과 같은 역할입니다.

4.5 지원 범위

torch.distributed로 쓸 수 있는 dtype·리덕션 조합은 하부 LCCL이 구현한 것과 같습니다. 다만 lccl 백엔드는 LPU에서 reduce, gather, scatter, all_to_all을 [HA_LCCL_NO_HW_KERNEL]이 붙은 RuntimeError로 막습니다. 쓸 수 있는 집합 연산은 all_reduce, all_gather, reduce_scatter, broadcast, send/recv입니다. NCCL과 범위가 다르므로 집합 연산을 중심으로 설계하기 전에 LCCL 지원 매트릭스를 확인하십시오.

broadcast, send/recv, reduce_scatter는 텐서(reduce_scatter는 출력 텐서)의 바이트 수가 512의 배수가 아니면 랭크 수와 관계없이 RuntimeError를 냅니다. 메시지에 나온 원소 수의 배수로 패딩하고 결과를 잘라 쓰십시오. LCCL 지원 매트릭스 §개수와 크기를 보십시오.

지원 매트릭스에 없는 조합은 예외가 발생하며, 데이터는 손상되지 않습니다.

4.6 정확성 규칙

집합 통신 라이브러리에서 오는 규칙이며 PyTorch 래퍼가 완화해 주지 않습니다.

  • 모든 랭크가 같은 집합 연산을 같은 순서로 호출해야 합니다. 순서로 짝지어지므로, 빈 배치에서 하나를 건너뛴 랭크가 그룹의 동기화를 깨뜨리고 에러가 아니라 행(hang)을 만듭니다.
  • 집합 연산 전에 생산자를 동기화하십시오. 송신 버퍼가 아직 쓰이는 중이면 결과가 비결정적입니다. .cpu()로 읽거나 같은 스트림에서 호출하면 충분합니다.
  • 랭크를 함께 내리십시오. 다른 랭크가 아직 집합 연산을 호출하는 동안 한 랭크에서 프로세스 그룹을 파괴하면 나머지가 멈춥니다.

4.7 행(hang) 디버깅

분산 행은 거의 항상 둘 중 하나입니다. 랭크들이 만나지 못했거나, 한 랭크가 참여하지 않는 것입니다.

  1. 모든 랭크가 init_process_group에 도달했는지 확인하십시오. 아니라면 랑데부 문제입니다 — MASTER_ADDR, MASTER_PORT, 도달 가능성.
  2. 모두 초기화됐다면, 각 호출 전에 모든 랭크에서 집합 연산 이름과 순번을 로그로 남기십시오. 랭크 간에 처음 달라지는 지점이 버그입니다.

point-to-point 양방향 교환의 행은 대개 grouping 누락입니다. dist.batch_isend_irecv 또는 lccl_group_start/end로 감쌌는지 먼저 확인하십시오.

에러 코드 읽는 법을 포함한 전체 절차는 LCCL 문제 해결에 있습니다.


다음 단계