콘텐츠로 이동

Torch Legato 입문

문서 상태

소유: CL팀 · 기준: torch_legato 0.0.5, Legato 0.18.0+public, PyTorch 2.10.0+cpu, Bertha EVT0 · 최종 확인: 2026-10-22

예제는 컴파일 진입까지 확인. 해당 Legato 패키지의 HW 백엔드 제한(LE0144)으로 바이너리 생성·LPU 실행·결과 정확도는 미검증.

무엇을 하는가

PyTorch는 배열 계산과 신경망 모델을 Python으로 작성하는 프레임워크다. torch_legato는 PyTorch 함수의 지원 연산을 Legato 커널로 변환하는 torch.compile 백엔드다. LPU는 이 커널을 실행하는 HyperAccel의 연산 장치다.

사용자는 덧셈 같은 계산을 PyTorch로 작성하고, 컴파일할 함수에 torch.compile(backend="legato")를 적용한다. 패키지 이름은 torch_legato, 백엔드 이름은 "legato"다. 커널을 직접 작성할 필요가 없는 지원 연산에 사용하는 경로다.

구성 요소

구성 요소 역할
PyTorch 계산 함수와 텐서 표현, 컴파일할 계산 추출
torch_ha PyTorch의 lpu 디바이스 등록, LPU 메모리 할당과 데이터 복사
torch_legato 추출된 계산을 지원하는 Legato 커널로 변환
Legato 커널 컴파일과 실행 관리

계산의 연결 관계를 그래프, LPU에서 실행할 계산 단위를 **커널**이라 한다. 컴파일 경로는 다음과 같다.

1
PyTorch 함수 → 계산 그래프 → Legato 커널 → LPU 바이너리 → LPU 실행

torch.compile은 컴파일된 호출 함수를 반환한다. 실제 컴파일은 입력을 넣어 처음 호출할 때 진행되므로 첫 호출에는 컴파일 비용이 포함된다. 이 경로에서는 백엔드가 내부적으로 legato.session을 관리한다. 사용자가 별도 세션을 열 필요는 없다.

첫 예제: 두 텐서 더하기

**텐서**는 다차원 배열이다. 여기서는 shape=[64, 256]인 2차원 배열 두 개를 더한다. shape는 각 차원의 원소 수, dtype=torch.bfloat16은 원소의 수치 형식(BF16)이다.

준비 조건:

  • SDK 설치와 사용 가능한 Bertha LPU.
  • torch_ha, torch_legato 및 호환되는 Legato 설치.
  • HW 백엔드가 포함된 Legato 패키지. LE0144 발생 시 패키지 제공 경로에 HW 지원 확인 필요.

전체 실행 파일 다운로드 후 해당 SDK 환경에서 실행한다.

1
python add.py

핵심 코드는 다음과 같다. a, b는 전체 실행 파일에서 준비하는 LPU 입력이다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
import torch
import torch_ha


def add(a, b):
    return a + b


compiled_add = torch.compile(
    add,
    backend="legato",
    dynamic=False,
    options={"legato.device": "bertha"},
)
with torch.no_grad():
    result = compiled_add(a, b)
  • "legato.device": "bertha": 필수 컴파일 대상 지정.
  • dynamic=False: 입력 크기를 기준으로 컴파일. 입력 크기 변경 시 재컴파일 가능.
  • torch.no_grad(): 기울기 계산을 사용하지 않는 추론 예제.

전체 파일에서는 CPU에 입력과 기준값을 만들고, LPU 메모리에 입력을 복사한다. LPU 입력은 torch.ops.lpu.empty_with_kind(..., "dram_word_interleaved", device="lpu:0")로 할당한다. 이는 예제 커널이 사용하는 메모리 배치다. lpu:0은 할당된 첫 번째 논리 디바이스다.

호출 후 result.cpu()로 결과를 CPU에 복사하고 torch.testing.assert_close로 전체 원소를 기준값과 비교한다. 입력을 작은 정수의 BF16 표현으로 구성하여 이 예제의 덧셈은 오차 허용 없이 비교한다. 모든 검사가 통과할 때의 출력:

1
PASS: torch_legato add [64, 256], BF16

위 출력은 성공 시 기대값이며, 문서 기준 환경에서는 HW 백엔드 제한으로 미확인 상태다.

적용 범위

이 예제는 [64, 256] BF16 덧셈을 대상으로 한다. 다른 연산·입력 크기·수치 형식의 지원이나 모델 전체의 실행을 보장하지 않는다. 지원 여부는 torch_legato의 연산 변환과 Legato의 컴파일 제약을 함께 만족해야 한다.

일반 Python 처리나 미지원 연산이 포함되면 그래프가 나뉘거나 컴파일·실행 오류가 발생할 수 있다. 모든 미지원 연산이 자동으로 CPU에서 실행된다고 가정하면 안 된다. 이 예제는 역전파와 성능을 검증하지 않는다.

다음 단계