콘텐츠로 이동

1. 개요

이 가이드는 PyTorch 코드를 HyperAccel LPU에서 실행하는 방법을 다룹니다. torch_ha는 LPU를 PyTorch의 lpu 디바이스로 추가합니다. 텐서와 모델은 .to("lpu")로 옮기고, 모델 계산은 torch.compile(backend="legato")로 컴파일합니다. vllm_hyperaccel로 서빙한다면 torch_ha를 직접 다룰 일은 없습니다.

이 장을 먼저 읽으십시오. 이후 장들은 여기서 정의한 개념을 전제로 합니다.

Contents

Section Objective
1.1 백엔드가 하는 일 torch_ha가 PyTorch에 등록하는 디바이스, 할당자, 커널, 분산 백엔드
1.2 설계 배경 PrivateUse1 등록과 import 시점 자동 로드가 낳는 결과
1.3 핵심 개념 이후 장에서 반복해서 쓰는 용어 정리
1.4 첫 프로그램 최소 예제와 처음부터 알아 둘 세 가지 규칙
1.5 백엔드의 내부 구성 에러 메시지를 읽는 데 필요한 구성 요소와 책임

1.1 백엔드가 하는 일

torch_ha는 LPU를 PyTorch 디바이스로 만듭니다. 구체적으로 다음을 등록합니다.

  • 디바이스 — "lpu". torch.device("lpu")와 torch.accelerator로 다룹니다.
  • 할당자와 디바이스 가드 — 텐서가 LPU 메모리에 존재하고 .to("lpu")가 동작하게 합니다.
  • eager 연산 — 텐서 이동, view·slice 같은 연산과 실험적 eager 계산(bfloat16의 add, sub, mul, mm)을 지원합니다. 모델 계산에는 torch.compile(backend="legato")를 씁니다. 연산 §3.1을 보십시오.
  • 분산 백엔드 — torch.distributed용 "lccl".
  • Autocast — LPU에서는 사용하지 않습니다. torch.autocast("lpu") 안의 연산은 NotImplementedError를 내므로 명시적으로 캐스팅하십시오. 디바이스 시맨틱 §Autocast를 보십시오.

모두 import torch 때 등록됩니다. torch_ha를 import하거나 초기화 함수를 호출할 필요는 없습니다.

1.2 설계 배경

마주치게 될 대부분의 일을 설명하는 두 가지입니다.

백엔드는 PyTorch의 PrivateUse1 디바이스로 등록됩니다. PyTorch는 외부 백엔드용으로 이름을 바꿀 수 있는 디바이스 타입 PrivateUse1을 하나 제공합니다. torch_ha가 그것을 차지해 이름을 lpu로 바꾸므로, .to("lpu")와 torch.accelerator를 기본 디바이스처럼 쓸 수 있습니다. 동시에 **한 프로세스에 외부 백엔드를 하나만 로드할 수 있다**는 뜻이기도 합니다. PrivateUse1 슬롯은 프로세스마다 하나입니다.

등록은 import torch 중에 일어납니다. PyTorch는 import될 때 설치된 디바이스 백엔드를 불러오고, torch_ha는 이때 LPU를 등록합니다. 등록에 실패해도 PyTorch의 나머지 기능은 쓸 수 있도록 import torch는 성공하고, 에러는 로그에만 남습니다. 이때는 lpu 디바이스가 없으므로 처음 .to("lpu")를 호출할 때 알 수 없는 디바이스라며 실패합니다.

1.3 핵심 개념

개념 의미
lpu 디바이스 등록된 디바이스 문자열. torch.device("lpu"), tensor.to("lpu").
PrivateUse1 외부 백엔드를 위한 PyTorch 디스패치 키. 로드 시 lpu로 이름이 바뀝니다.
등록된 연산 eager 경로에 LPU 구현이 등록된 ATen 연산. 등록되었다고 디바이스에서 실행되지는 않습니다. 연산 지원 목록 참조.
백엔드 메타 텐서 스토리지가 디바이스 메모리에 어떻게 배치되어 있는지를 기술하는 정보.
텐서 kind 가중치가 사용하는 디바이스 레이아웃. nn.Linear와 nn.Embedding 가중치는 lpu로 이동할 때 자동으로 태깅됩니다.
lccl 백엔드 LPU 집합 통신을 위한 torch.distributed 백엔드 이름.

등록 실패는 조용합니다

백엔드 등록에 실패해도 import torch는 성공하며 실패는 로그에만 남습니다. 증상은 나중에 torch.device("lpu")가 알 수 없는 디바이스라며 실패하는 것입니다. 실제 원인은 import 시점의 로그에 있습니다. 문제 해결을 보십시오.

1.4 첫 프로그램

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
import torch

# import torch_ha 없음 — 등록은 `import torch` 중에 일어납니다.
x = torch.randn(64, 256, dtype=torch.bfloat16).to("lpu")
y = torch.randn(64, 256, dtype=torch.bfloat16).to("lpu")

z = x + y
print(z.device)          # lpu:0

# 값을 보려면 가져옵니다.
print(z.cpu())

eager 모드에서 디바이스로 계산되는 연산은 bfloat16의 add, sub, mul, mm이며, 피연산자는 연속(contiguous)이어야 합니다. 모델 계산은 연산 §3.1을 보십시오.

반복해서 만나게 될 세 가지를 미리 짚어 둡니다.

  1. 난수 텐서는 CPU에서 만든 뒤 옮기십시오. torch.randn(..., device="lpu") 대신 torch.randn(...).to("lpu")를 쓰십시오.
  2. 값을 읽으면 디바이스를 기다립니다. print(x), .cpu(), .item()은 앞선 작업이 끝나기를 기다린 뒤 값을 호스트로 복사합니다.
  3. 랭크마다 디바이스를 한 번 선택하십시오. 한 프로세스가 여러 디바이스를 볼 수 있고, 디바이스는 스레드 단위로 바인딩됩니다. 시작할 때 torch.accelerator.set_device_index()로 디바이스를 고르고, 이후에는 인덱스 없이 할당하십시오. 분산 §4.2를 보십시오.

1.5 백엔드의 내부 구성

사용하는 데는 필요하지 않지만 에러를 읽을 때 필요합니다.

사용자 코드가 PyTorch 디스패처를 거쳐 LPU 커널과 할당자를 지나 hart로, 분산 호출은 torch_ha.comm과 lccl을 거쳐 hart로 내려가는 구조

디스패처 아래의 torch_ha 구성 요소 — 연산 경로와 분산 경로 모두 hart에서 만납니다

구성 요소 책임
할당자 LPU 텐서를 hart에서 얻은 디바이스 메모리로 뒷받침합니다.
디바이스 가드 현재 디바이스가 PyTorch의 디바이스 컨텍스트 규칙을 따르게 합니다.
연산 등록 디스패처에 필수적인 연산은 직접 구현하고, 계산 연산은 코드 생성으로 등록합니다.
백엔드 메타 view 연산을 거쳐도 디바이스 레이아웃이 유지되게 합니다. reshape되거나 stride된 텐서도 자신이 어떻게 저장되어 있는지 압니다.
torch_ha.comm lccl을 torch.distributed 백엔드로 등록합니다.

여기서 따라오는 실무적 결론입니다.

  • 에러 메시지의 백엔드 이름은 대개 lpu입니다. 일부 저수준 메시지에 나오는 PrivateUse1도 같은 것입니다.
  • 레이아웃 에러는 스토리지를 재해석하는 연산(view, as_strided, reshape)에서 드러나지만, 실제 원인은 그 텐서가 어떻게 만들어졌는지인 경우가 많습니다.

다음 단계