디바이스 API¶
lpu 디바이스는 PyTorch 표준 API인 torch.accelerator로 조회하고 선택합니다. 이 페이지는 CUDA API와의 대응,
torch.ops.lpu 연산 네임스페이스, 디바이스 문자열, lccl 분산 백엔드를 정리합니다.
torch.accelerator¶
디바이스 조회, 선택, 동기화, 메모리 통계는 torch.accelerator로 하십시오.
| CUDA | torch.accelerator |
|---|---|
torch.cuda.is_available() |
torch.accelerator.is_available() |
torch.cuda.device_count() |
torch.accelerator.device_count() |
torch.cuda.set_device(i) |
torch.accelerator.set_device_index(i) |
torch.cuda.current_device() |
torch.accelerator.current_device_index() |
torch.cuda.device(i) |
torch.accelerator.device_index(i) |
torch.cuda.synchronize() |
torch.accelerator.synchronize() 또는 값 읽기로 동기화 |
torch.cuda.memory_allocated() 등 통계 |
torch.accelerator.memory_allocated() 등 |
torch.cuda.empty_cache() |
torch.accelerator.empty_cache() |
torch.cuda.Stream, torch.cuda.Event |
기본 스트림(torch.accelerator.current_stream())만 씀. torch.Stream("lpu")와 torch.Event는 아직 없음 |
set_device_index와 device_index는 인덱스, "lpu:1" 같은 문자열, torch.device를 받습니다.
인덱스 없는 torch.device("lpu")는 CUDA와 마찬가지로 호출 스레드가 선택한 디바이스로 해석됩니다.
분산 §4.2를 보십시오.
torch.autocast("lpu")는 사용하지 마십시오
컨텍스트 진입은 되지만 그 안의 연산은 eager와 torch.compile 모두에서 Autocastlpu 백엔드를 언급하는
NotImplementedError를 냅니다. 명시적으로 캐스팅하십시오.
디바이스 시맨틱 §Autocast를 보십시오.
torch.ops.lpu¶
ATen 커널과 함께 등록되는 커스텀 연산 네임스페이스입니다. 연산은 영역별 페이지에 있습니다.
| 연산 | 문서 |
|---|---|
레이아웃·메모리, 양자화 가중치, 디버깅, 집합 연산 fast path (empty_with_kind, lccl_* 등) |
커스텀 연산 |
paged KV 캐시 (vmm_*) |
VMM API |
디바이스 문자열¶
| 형태 | 동작 |
|---|---|
torch.device("lpu") |
✅ 스레드가 선택한 디바이스로 해석 |
torch.device("lpu", 1) |
✅ 명시적 인덱스가 적용됨 |
tensor.to("lpu") |
✅ |
tensor.lpu() |
.to("lpu") 사용 |
module.to("lpu") |
✅ |
torch.zeros(n, device="lpu"), torch.zeros(n, device="lpu:0") |
✅ 값 팩토리(zeros, ones, full, arange, empty)는 device="lpu"(현재 디바이스)나 명시적 인덱스로 동작 |
torch.randn(n, device="lpu:0") |
NotImplementedError(aten::normal_). torch.randn(n).to("lpu") 사용 |
PrivateUse1이 내부 디스패치 키입니다. 에러 메시지는 대개 lpu로 표시되지만,
일부 저수준 메시지에는 내부 키 이름이 나옵니다. lpu로 읽으십시오.
에러 처리를 보십시오.
분산¶
import torch 중에 등록됩니다.
1 2 | |
dist.init_process_group(backend="lccl")로 사용하십시오. 컴파일된 그래프용
torch.ops.lpu.lccl_* fast path와 같은 communicator를 씁니다.
분산 §4.1을 보십시오. 지원하는
집합 연산과 리덕션은 LCCL이 구현한 것이며, reduce, gather, scatter, all_to_all은 쓸 수 없습니다.
분산 §4.5를 보십시오.
LCCL 지원 매트릭스를 보십시오.
예제¶
torch.accelerator.current_device_index¶
호출 스레드가 지금 쓰는 디바이스 인덱스를 확인합니다.
예제
1 2 3 4 | |
torch.accelerator.device_count¶
프로세스가 보는 디바이스 수를 확인합니다.
예제
1 2 3 4 | |
torch.accelerator.device_index¶
스코프 안에서만 디바이스를 바꾸고, 나갈 때 이전 디바이스로 되돌립니다.
예제
1 2 3 4 | |
torch.accelerator.is_available¶
디바이스가 하나 이상 있는지 확인합니다.
예제
1 2 3 4 | |
torch.accelerator.set_device_index¶
호출 스레드의 현재 디바이스를 선택합니다. 이후 인덱스 없는 "lpu"가 이 디바이스로
해석됩니다.
예제
1 2 3 4 | |
torch.accelerator.synchronize¶
디바이스에 넣은 작업이 끝날 때까지 기다립니다.
예제
1 2 3 4 5 | |