콘텐츠로 이동

디바이스 API

lpu 디바이스는 PyTorch 표준 API인 torch.accelerator로 조회하고 선택합니다. 이 페이지는 CUDA API와의 대응, torch.ops.lpu 연산 네임스페이스, 디바이스 문자열, lccl 분산 백엔드를 정리합니다.


torch.accelerator

디바이스 조회, 선택, 동기화, 메모리 통계는 torch.accelerator로 하십시오.

CUDA torch.accelerator
torch.cuda.is_available() torch.accelerator.is_available()
torch.cuda.device_count() torch.accelerator.device_count()
torch.cuda.set_device(i) torch.accelerator.set_device_index(i)
torch.cuda.current_device() torch.accelerator.current_device_index()
torch.cuda.device(i) torch.accelerator.device_index(i)
torch.cuda.synchronize() torch.accelerator.synchronize() 또는 값 읽기로 동기화
torch.cuda.memory_allocated() 등 통계 torch.accelerator.memory_allocated() 등
torch.cuda.empty_cache() torch.accelerator.empty_cache()
torch.cuda.Stream, torch.cuda.Event 기본 스트림(torch.accelerator.current_stream())만 씀. torch.Stream("lpu")와 torch.Event는 아직 없음

set_device_index와 device_index는 인덱스, "lpu:1" 같은 문자열, torch.device를 받습니다. 인덱스 없는 torch.device("lpu")는 CUDA와 마찬가지로 호출 스레드가 선택한 디바이스로 해석됩니다. 분산 §4.2를 보십시오.

torch.autocast("lpu")는 사용하지 마십시오

컨텍스트 진입은 되지만 그 안의 연산은 eager와 torch.compile 모두에서 Autocastlpu 백엔드를 언급하는 NotImplementedError를 냅니다. 명시적으로 캐스팅하십시오.

디바이스 시맨틱 §Autocast를 보십시오.


torch.ops.lpu

ATen 커널과 함께 등록되는 커스텀 연산 네임스페이스입니다. 연산은 영역별 페이지에 있습니다.

연산 문서
레이아웃·메모리, 양자화 가중치, 디버깅, 집합 연산 fast path (empty_with_kind, lccl_* 등) 커스텀 연산
paged KV 캐시 (vmm_*) VMM API

디바이스 문자열

형태 동작
torch.device("lpu") ✅ 스레드가 선택한 디바이스로 해석
torch.device("lpu", 1) ✅ 명시적 인덱스가 적용됨
tensor.to("lpu") ✅
tensor.lpu() .to("lpu") 사용
module.to("lpu") ✅
torch.zeros(n, device="lpu"), torch.zeros(n, device="lpu:0") ✅ 값 팩토리(zeros, ones, full, arange, empty)는 device="lpu"(현재 디바이스)나 명시적 인덱스로 동작
torch.randn(n, device="lpu:0") NotImplementedError(aten::normal_). torch.randn(n).to("lpu") 사용

PrivateUse1이 내부 디스패치 키입니다. 에러 메시지는 대개 lpu로 표시되지만, 일부 저수준 메시지에는 내부 키 이름이 나옵니다. lpu로 읽으십시오. 에러 처리를 보십시오.


분산

import torch 중에 등록됩니다.

1
2
torch.distributed.Backend.register_backend(
    "lccl", ..., devices=["lpu"])

dist.init_process_group(backend="lccl")로 사용하십시오. 컴파일된 그래프용 torch.ops.lpu.lccl_* fast path와 같은 communicator를 씁니다. 분산 §4.1을 보십시오. 지원하는 집합 연산과 리덕션은 LCCL이 구현한 것이며, reduce, gather, scatter, all_to_all은 쓸 수 없습니다. 분산 §4.5를 보십시오. LCCL 지원 매트릭스를 보십시오.


예제

torch.accelerator.current_device_index

호출 스레드가 지금 쓰는 디바이스 인덱스를 확인합니다.

예제
1
2
3
4
import torch

torch.accelerator.set_device_index(1)
assert torch.accelerator.current_device_index() == 1

torch.accelerator.device_count

프로세스가 보는 디바이스 수를 확인합니다.

예제
1
2
3
4
import torch

n = torch.accelerator.device_count()
print(f"{n} LPU device(s)")

torch.accelerator.device_index

스코프 안에서만 디바이스를 바꾸고, 나갈 때 이전 디바이스로 되돌립니다.

예제
1
2
3
4
import torch

with torch.accelerator.device_index(1):
    x = torch.zeros(4, device="lpu")    # lpu:1에 할당

torch.accelerator.is_available

디바이스가 하나 이상 있는지 확인합니다.

예제
1
2
3
4
import torch

device = "lpu" if torch.accelerator.is_available() else "cpu"
x = torch.randn(4, 4).to(device)

torch.accelerator.set_device_index

호출 스레드의 현재 디바이스를 선택합니다. 이후 인덱스 없는 "lpu"가 이 디바이스로 해석됩니다.

예제
1
2
3
4
import torch

torch.accelerator.set_device_index(0)
x = torch.randn(4).to("lpu")    # lpu:0

torch.accelerator.synchronize

디바이스에 넣은 작업이 끝날 때까지 기다립니다.

예제
1
2
3
4
5
import torch

x = torch.randn(64, 64, dtype=torch.bfloat16).to("lpu")
y = x @ x
torch.accelerator.synchronize()

함께 보기