Torch Legato 입문¶
문서 상태
소유: CL팀 · 기준: torch_legato 0.0.5, Legato 0.18.0+public, PyTorch 2.10.0+cpu, Bertha EVT0 · 최종 확인: 2026-10-22
예제는 컴파일 진입까지 확인. 해당 Legato 패키지의 HW 백엔드 제한(LE0144)으로 바이너리 생성·LPU 실행·결과 정확도는 미검증.
무엇을 하는가¶
PyTorch는 배열 계산과 신경망 모델을 Python으로 작성하는 프레임워크다.
torch_legato는 PyTorch 함수의 지원 연산을 Legato 커널로 변환하는
torch.compile 백엔드다. LPU는 이 커널을 실행하는 HyperAccel의 연산 장치다.
사용자는 덧셈 같은 계산을 PyTorch로 작성하고, 컴파일할 함수에
torch.compile(backend="legato")를 적용한다. 패키지 이름은 torch_legato,
백엔드 이름은 "legato"다. 커널을 직접 작성할 필요가 없는 지원 연산에 사용하는 경로다.
구성 요소¶
| 구성 요소 | 역할 |
|---|---|
| PyTorch | 계산 함수와 텐서 표현, 컴파일할 계산 추출 |
torch_ha |
PyTorch의 lpu 디바이스 등록, LPU 메모리 할당과 데이터 복사 |
torch_legato |
추출된 계산을 지원하는 Legato 커널로 변환 |
| Legato | 커널 컴파일과 실행 관리 |
계산의 연결 관계를 그래프, LPU에서 실행할 계산 단위를 **커널**이라 한다. 컴파일 경로는 다음과 같다.
1 | |
torch.compile은 컴파일된 호출 함수를 반환한다. 실제 컴파일은 입력을 넣어 처음
호출할 때 진행되므로 첫 호출에는 컴파일 비용이 포함된다.
이 경로에서는 백엔드가 내부적으로 legato.session을 관리한다.
사용자가 별도 세션을 열 필요는 없다.
첫 예제: 두 텐서 더하기¶
**텐서**는 다차원 배열이다. 여기서는 shape=[64, 256]인 2차원 배열 두 개를 더한다.
shape는 각 차원의 원소 수, dtype=torch.bfloat16은 원소의 수치 형식(BF16)이다.
준비 조건:
- SDK 설치와 사용 가능한 Bertha LPU.
torch_ha,torch_legato및 호환되는 Legato 설치.- HW 백엔드가 포함된 Legato 패키지.
LE0144발생 시 패키지 제공 경로에 HW 지원 확인 필요.
전체 실행 파일 다운로드 후 해당 SDK 환경에서 실행한다.
1 | |
핵심 코드는 다음과 같다. a, b는 전체 실행 파일에서 준비하는 LPU 입력이다.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | |
"legato.device": "bertha": 필수 컴파일 대상 지정.dynamic=False: 입력 크기를 기준으로 컴파일. 입력 크기 변경 시 재컴파일 가능.torch.no_grad(): 기울기 계산을 사용하지 않는 추론 예제.
전체 파일에서는 CPU에 입력과 기준값을 만들고, LPU 메모리에 입력을 복사한다.
LPU 입력은 torch.ops.lpu.empty_with_kind(..., "dram_word_interleaved", device="lpu:0")로
할당한다. 이는 예제 커널이 사용하는 메모리 배치다. lpu:0은 할당된 첫 번째 논리 디바이스다.
호출 후 result.cpu()로 결과를 CPU에 복사하고 torch.testing.assert_close로 전체
원소를 기준값과 비교한다. 입력을 작은 정수의 BF16 표현으로 구성하여 이 예제의
덧셈은 오차 허용 없이 비교한다. 모든 검사가 통과할 때의 출력:
1 | |
위 출력은 성공 시 기대값이며, 문서 기준 환경에서는 HW 백엔드 제한으로 미확인 상태다.
적용 범위¶
이 예제는 [64, 256] BF16 덧셈을 대상으로 한다. 다른 연산·입력 크기·수치 형식의
지원이나 모델 전체의 실행을 보장하지 않는다. 지원 여부는 torch_legato의 연산 변환과
Legato의 컴파일 제약을 함께 만족해야 한다.
일반 Python 처리나 미지원 연산이 포함되면 그래프가 나뉘거나 컴파일·실행 오류가 발생할 수 있다. 모든 미지원 연산이 자동으로 CPU에서 실행된다고 가정하면 안 된다. 이 예제는 역전파와 성능을 검증하지 않는다.
다음 단계¶
- LPU 디바이스 사용: 텐서의 장치 배치와 데이터 이동.
- 커널 작성 입문: 커널을 직접 작성하고
legato.session으로 실행하는 경로. - 컴파일 연동 참고: 연동 구조와 옵션에 관한 상세 자료. 입문 예제의 선행 단계는 아님.