콘텐츠로 이동

API 레퍼런스

torch_ha는 별도의 Python API를 추가하지 않습니다. LPU를 PyTorch 디바이스로 등록하므로 평소처럼 PyTorch 코드를 쓰면 됩니다. 이 페이지들은 torch_ha가 무엇을 등록하고 각각이 LPU에서 어떻게 동작하는지를 다룹니다.

페이지 내용
연산 지원 목록 eager 경로에 등록된 ATen 연산과 지원 여부
디바이스 API torch.accelerator 사용법, 디바이스 문자열, 분산 백엔드 등록
커스텀 연산 torch.ops.lpu의 레이아웃·양자화·디버깅·집합 연산
VMM API paged KV 캐시용 torch.ops.lpu.vmm_*
환경 변수 torch_ha가 읽는 변수와 하위 계층 변수 안내
지원 매트릭스 버전, dtype, 기능

디바이스 동작, 등록되지 않은 연산, 에러 보고 방식은 프로그래밍 가이드를 보십시오.


자주 쓰는 진입점

작업 예 레퍼런스
텐서 이동과 view x.to("lpu"), x[i] 연산 지원 목록. 디바이스 계산이 그대로 받는 view는 dim -3과 그 앞에서 자른 연속 슬라이스 가운데 슬라이싱의 조건을 만족하는 것입니다
모델 컴파일 torch.compile(model, backend="legato", ...) Compile PyTorch Model with Legato
디바이스 조회와 선택 torch.accelerator.is_available() 디바이스 API
커스텀 연산 torch.ops.lpu.get_storage_meta 커스텀 연산 API
Paged KV 캐시 torch.ops.lpu.vmm_create_kv_pool(...) VMM API
분산 통신 dist.init_process_group("lccl") 분산

torch_ha를 import할 필요는 없습니다. import torch가 백엔드를 등록합니다.


동작 요약

속성 값
디바이스 문자열 "lpu"
내부 디스패치 키 PrivateUse1 — 에러 메시지에는 lpu로 표시
등록 import torch 때 자동. 실패하면 예외 대신 로그를 남김
eager 연산 텐서 이동·view·slice와 실험적 계산 4개. 모델 계산은 torch.compile(backend="legato")
등록되지 않은 연산 디스패치 에러. CPU로 자동 폴백하지 않음
주력 dtype bfloat16
텐서 생성 값 팩토리는 device="lpu"나 명시적 인덱스로 생성. 난수 텐서는 CPU에서 만든 뒤 .to("lpu")
동기화 호스트에서 값을 읽으면 기다림. 또는 torch.accelerator.synchronize()
프로세스당 디바이스 여러 개. 랭크마다 torch.accelerator.set_device_index()로 하나를 선택
분산 백엔드 "lccl"

함께 보기