콘텐츠로 이동

지원 매트릭스

torch_ha 0.0.6에서 검증된 항목입니다. 여기 없는 항목은 아직 검증 전입니다.

범례 — ✅ 지원 · 🟡 제한적 · ❌ 사용할 수 없음

❌는 동작하지 않음이 확인된 항목입니다. 검증 범위 밖의 항목은 알려진 제약에 정리했습니다.


플랫폼

항목 상태 비고
PyTorch 2.10.0 ✅ 최소값이 아니라 정확한 버전
다른 PyTorch 버전 ❌ 아래 경고 참조
Python 3.10 ✅
Linux, x86_64 ✅
Windows, macOS ❌ 배포 wheel 없음
Runtime (hart) 0.0.6 ✅
집합 통신 (lccl) 0.0.6 ✅

PyTorch 버전은 정확한 값입니다

백엔드는 PyTorch의 디스패처와 structured 커널 코드 생성에 등록하는데, 이는 릴리즈 간 ABI가 안정적이지 않은 내부 표면입니다. 다른 PyTorch 버전에서는 버전 불일치 메시지 대신 등록이 실패하고, 디바이스가 없는 것처럼 보이게 됩니다.

프로세스당 외부 백엔드는 하나입니다

torch_ha가 PyTorch의 PrivateUse1 디스패치 키를 차지합니다. 같은 키를 쓰는 다른 패키지와는 프로세스를 분리하십시오.

연산

경로 상태 비고
torch.compile(backend="legato") ✅ 모델 계산 경로. 커버리지는 이 표가 아니라 legato resolver가 결정 — Compile PyTorch Model with Legato
eager — torch.compile 경로를 위한 연산 ✅ 할당·복사·view·slice 등 26개
eager — 실험적 계산 🟡 bfloat16의 add, sub, mul, mm. 미리 빌드된 shape과 연속(contiguous) 피연산자에서 동작
eager — 그 밖의 등록된 계산 연산 ❌ NotImplementedError
등록되지 않은 연산 ❌ 디스패치 에러

목록은 연산 지원 목록에 있습니다.

데이터 타입

dtype 연산 저장 비고
bfloat16 ✅ ✅ 주력
float16 ❌ ✅ 그대로 옮기면 경고가 한 번 나고 float16으로 저장됨. 계산 전에 .to("lpu", torch.bfloat16)로 변환
float32 🟡 ✅ eager 계산 없음. torch.compile 경로는 legato resolver가 결정
int32, int64 🟡 ✅ 인덱싱, 비교, 리덕션 출력
bool 🟡 ✅ 비교 연산의 출력
float64 ❌ ❌ 디바이스 레이아웃 dtype 변환이 거부
int8, uint8 🟡 ✅ torch.ops.lpu.quant_weight_*로 양자화 가중치 처리

디바이스 기능

기능 상태 비고
텐서·모듈의 .to("lpu") ✅
torch.save / torch.load 🟡 map_location="cpu"로 로드하면 일부 가중치(nn.Linear·nn.Embedding 등)가 잘못된 값으로 로드됨. 백엔드가 있는 장비에서 map_location 없이 로드 — 디바이스 시맨틱 §2.5
view, 슬라이싱, reshape 🟡 레이아웃이 view를 거쳐 전파됨. 디바이스 계산이 그대로 받는 슬라이스는 디바이스 시맨틱 §슬라이싱
nn.Linear, nn.Embedding 자동 가중치 레이아웃 ✅ lpu로 이동할 때 적용
한 프로세스에서 여러 디바이스 ✅ torch.accelerator.set_device_index — 분산 §4.2
LPU 백엔드를 쓰는 torch.compile ✅ backend="legato"
동기화 ✅ 값 읽기 또는 torch.accelerator.synchronize()
메모리 통계 ✅ torch.accelerator.memory_stats() 등
lpu에 직접 텐서 생성 🟡 값 팩토리(zeros, ones, full, arange, empty)는 device="lpu"(현재 디바이스)나 명시적 인덱스로 동작. 난수 텐서는 CPU에서 만든 뒤 이동
Autocast ❌ torch.autocast("lpu") 안의 연산은 eager와 torch.compile 모두에서 Autocastlpu 백엔드를 언급하는 NotImplementedError를 냄. 명시적으로 캐스팅
PyTorch를 통한 스트림·이벤트 🟡 스트림은 hart에 있지만, PyTorch에서는 현재 기본 스트림(torch.accelerator.current_stream())만 쓰며 사용자 스트림 생성(torch.Stream("lpu"))과 이벤트(torch.Event) 기록은 아직 제공되지 않습니다.
pinned 호스트 메모리와 비동기 복사 ❌ pin_memory()(DataLoader(pin_memory=True) 포함)는 NotImplementedError를 냄. non_blocking=True는 받지만 복사는 항상 블로킹
Paged KV 캐시 (vmm_*) ✅ vLLM 플러그인이 사용 — VMM API

분산

기능 상태 비고
dist.init_process_group("lccl") ✅
torchrun과 표준 환경 변수 ✅
all-reduce, all-gather ✅ 디바이스 커널 (텐서 병렬 핫 패스)
send / recv ✅ 파이프라인 병렬. dtype 제약이 없는 복사 경로
dist.batch_isend_irecv ✅ coalescing 지원 — 양방향 교환에 사용
torch.ops.lpu.lccl_* fast path ✅ 컴파일된 그래프용 — 분산 §4.1
그 외 집합 연산·리덕션 조합 🟡 LCCL 지원 매트릭스 참조
DistributedDataParallel ❌ 추론 전용

워크로드

워크로드 상태
LLM 추론 (디코더 전용 트랜스포머) ✅ 목표
vLLM을 통한 LLM 서빙 ✅
비전과 멀티모달 🟡 지금까지 브링업한 모델의 텍스트 경로만
학습과 파인튜닝 ❌ 추론 전용

알려진 제약

  • 모델 계산은 torch.compile(backend="legato") 경로를 사용합니다. eager에서 디바이스로 계산되는 연산은 bfloat16의 add, sub, mul, mm이며, 출력을 포함한 모든 피연산자가 연속(contiguous)이어야 합니다. 비연속 view는 먼저 .contiguous()를, 디바이스 계산이 그대로 받지 않는 슬라이스(디바이스 시맨틱 §슬라이싱)는 .clone()을 호출하십시오.
  • multinomial·exponential_은 에러 없이 고정값을 돌려줍니다. 디바이스 난수 생성이 없어 dry-run용 스텁만 등록되어 있습니다.
  • 등록되지 않은 연산은 디스패치 에러로 실패합니다. CPU로 넘어가면 모델이 호스트 속도로 돌아도 알아차리기 어려우므로 의도된 설계입니다.
  • PyTorch 버전이 정확해야 하며, 불일치가 버전 에러가 아니라 디바이스가 없는 것으로 나타납니다.
  • 등록 실패는 예외가 아니라 로그입니다. 어느 쪽이든 import torch는 성공합니다.
  • is_available()은 디바이스가 하나 이상 있으면 True를 반환합니다. device_count() > 0과 같습니다.
  • torch.autocast("lpu")는 사용하지 마십시오. 컨텍스트 진입은 되지만 그 안의 연산은 eager와 torch.compile 모두에서 Autocastlpu 백엔드를 언급하는 NotImplementedError를 냅니다. 명시적으로 캐스팅하십시오.
  • PyTorch에서는 현재 기본 스트림(torch.accelerator.current_stream())만 씁니다. 스트림은 런타임 계층에 있지만 사용자 스트림 생성(torch.Stream("lpu"))과 이벤트(torch.Event) 기록은 아직 제공되지 않습니다.
  • LPU는 추론 전용입니다. 학습, 파인튜닝, DistributedDataParallel은 지원 범위 밖입니다.
  • Windows와 macOS는 대상 플랫폼이 아닙니다.
  • float16은 저장만 됩니다. float16 텐서를 그대로 LPU로 옮기면 경고가 한 번 출력되고 float16으로 복사됩니다. 계산 전에 .to("lpu", torch.bfloat16)로 변환하십시오.

함께 보기