API 레퍼런스¶
torch_ha는 별도의 Python API를 추가하지 않습니다. LPU를 PyTorch 디바이스로 등록하므로 평소처럼
PyTorch 코드를 쓰면 됩니다. 이 페이지들은 torch_ha가 무엇을 등록하고 각각이 LPU에서 어떻게 동작하는지를
다룹니다.
| 페이지 | 내용 |
|---|---|
| 연산 지원 목록 | eager 경로에 등록된 ATen 연산과 지원 여부 |
| 디바이스 API | torch.accelerator 사용법, 디바이스 문자열, 분산 백엔드 등록 |
| 커스텀 연산 | torch.ops.lpu의 레이아웃·양자화·디버깅·집합 연산 |
| VMM API | paged KV 캐시용 torch.ops.lpu.vmm_* |
| 환경 변수 | torch_ha가 읽는 변수와 하위 계층 변수 안내 |
| 지원 매트릭스 | 버전, dtype, 기능 |
디바이스 동작, 등록되지 않은 연산, 에러 보고 방식은 프로그래밍 가이드를 보십시오.
자주 쓰는 진입점¶
| 작업 | 예 | 레퍼런스 |
|---|---|---|
| 텐서 이동과 view | x.to("lpu"), x[i] |
연산 지원 목록. 디바이스 계산이 그대로 받는 view는 dim -3과 그 앞에서 자른 연속 슬라이스 가운데 슬라이싱의 조건을 만족하는 것입니다 |
| 모델 컴파일 | torch.compile(model, backend="legato", ...) |
Compile PyTorch Model with Legato |
| 디바이스 조회와 선택 | torch.accelerator.is_available() |
디바이스 API |
| 커스텀 연산 | torch.ops.lpu.get_storage_meta |
커스텀 연산 API |
| Paged KV 캐시 | torch.ops.lpu.vmm_create_kv_pool(...) |
VMM API |
| 분산 통신 | dist.init_process_group("lccl") |
분산 |
torch_ha를 import할 필요는 없습니다. import torch가 백엔드를 등록합니다.
동작 요약¶
| 속성 | 값 |
|---|---|
| 디바이스 문자열 | "lpu" |
| 내부 디스패치 키 | PrivateUse1 — 에러 메시지에는 lpu로 표시 |
| 등록 | import torch 때 자동. 실패하면 예외 대신 로그를 남김 |
| eager 연산 | 텐서 이동·view·slice와 실험적 계산 4개. 모델 계산은 torch.compile(backend="legato") |
| 등록되지 않은 연산 | 디스패치 에러. CPU로 자동 폴백하지 않음 |
| 주력 dtype | bfloat16 |
| 텐서 생성 | 값 팩토리는 device="lpu"나 명시적 인덱스로 생성. 난수 텐서는 CPU에서 만든 뒤 .to("lpu") |
| 동기화 | 호스트에서 값을 읽으면 기다림. 또는 torch.accelerator.synchronize() |
| 프로세스당 디바이스 | 여러 개. 랭크마다 torch.accelerator.set_device_index()로 하나를 선택 |
| 분산 백엔드 | "lccl" |