지원 매트릭스¶
torch_ha 0.0.6에서 검증된 항목입니다. 여기 없는 항목은 아직 검증 전입니다.
범례 — ✅ 지원 · 🟡 제한적 · ❌ 사용할 수 없음
❌는 동작하지 않음이 확인된 항목입니다. 검증 범위 밖의 항목은 알려진 제약에 정리했습니다.
플랫폼¶
| 항목 | 상태 | 비고 |
|---|---|---|
| PyTorch 2.10.0 | ✅ | 최소값이 아니라 정확한 버전 |
| 다른 PyTorch 버전 | ❌ | 아래 경고 참조 |
| Python 3.10 | ✅ | |
| Linux, x86_64 | ✅ | |
| Windows, macOS | ❌ | 배포 wheel 없음 |
Runtime (hart) 0.0.6 |
✅ | |
집합 통신 (lccl) 0.0.6 |
✅ |
PyTorch 버전은 정확한 값입니다
백엔드는 PyTorch의 디스패처와 structured 커널 코드 생성에 등록하는데, 이는 릴리즈 간 ABI가 안정적이지 않은 내부 표면입니다. 다른 PyTorch 버전에서는 버전 불일치 메시지 대신 등록이 실패하고, 디바이스가 없는 것처럼 보이게 됩니다.
프로세스당 외부 백엔드는 하나입니다
torch_ha가 PyTorch의 PrivateUse1 디스패치 키를 차지합니다. 같은 키를 쓰는
다른 패키지와는 프로세스를 분리하십시오.
연산¶
| 경로 | 상태 | 비고 |
|---|---|---|
torch.compile(backend="legato") |
✅ | 모델 계산 경로. 커버리지는 이 표가 아니라 legato resolver가 결정 — Compile PyTorch Model with Legato |
eager — torch.compile 경로를 위한 연산 |
✅ | 할당·복사·view·slice 등 26개 |
| eager — 실험적 계산 | 🟡 | bfloat16의 add, sub, mul, mm. 미리 빌드된 shape과 연속(contiguous) 피연산자에서 동작 |
| eager — 그 밖의 등록된 계산 연산 | ❌ | NotImplementedError |
| 등록되지 않은 연산 | ❌ | 디스패치 에러 |
목록은 연산 지원 목록에 있습니다.
데이터 타입¶
| dtype | 연산 | 저장 | 비고 |
|---|---|---|---|
bfloat16 |
✅ | ✅ | 주력 |
float16 |
❌ | ✅ | 그대로 옮기면 경고가 한 번 나고 float16으로 저장됨. 계산 전에 .to("lpu", torch.bfloat16)로 변환 |
float32 |
🟡 | ✅ | eager 계산 없음. torch.compile 경로는 legato resolver가 결정 |
int32, int64 |
🟡 | ✅ | 인덱싱, 비교, 리덕션 출력 |
bool |
🟡 | ✅ | 비교 연산의 출력 |
float64 |
❌ | ❌ | 디바이스 레이아웃 dtype 변환이 거부 |
int8, uint8 |
🟡 | ✅ | torch.ops.lpu.quant_weight_*로 양자화 가중치 처리 |
디바이스 기능¶
| 기능 | 상태 | 비고 |
|---|---|---|
텐서·모듈의 .to("lpu") |
✅ | |
torch.save / torch.load |
🟡 | map_location="cpu"로 로드하면 일부 가중치(nn.Linear·nn.Embedding 등)가 잘못된 값으로 로드됨. 백엔드가 있는 장비에서 map_location 없이 로드 — 디바이스 시맨틱 §2.5 |
| view, 슬라이싱, reshape | 🟡 | 레이아웃이 view를 거쳐 전파됨. 디바이스 계산이 그대로 받는 슬라이스는 디바이스 시맨틱 §슬라이싱 |
nn.Linear, nn.Embedding 자동 가중치 레이아웃 |
✅ | lpu로 이동할 때 적용 |
| 한 프로세스에서 여러 디바이스 | ✅ | torch.accelerator.set_device_index — 분산 §4.2 |
LPU 백엔드를 쓰는 torch.compile |
✅ | backend="legato" |
| 동기화 | ✅ | 값 읽기 또는 torch.accelerator.synchronize() |
| 메모리 통계 | ✅ | torch.accelerator.memory_stats() 등 |
lpu에 직접 텐서 생성 |
🟡 | 값 팩토리(zeros, ones, full, arange, empty)는 device="lpu"(현재 디바이스)나 명시적 인덱스로 동작. 난수 텐서는 CPU에서 만든 뒤 이동 |
| Autocast | ❌ | torch.autocast("lpu") 안의 연산은 eager와 torch.compile 모두에서 Autocastlpu 백엔드를 언급하는 NotImplementedError를 냄. 명시적으로 캐스팅 |
| PyTorch를 통한 스트림·이벤트 | 🟡 | 스트림은 hart에 있지만, PyTorch에서는 현재 기본 스트림(torch.accelerator.current_stream())만 쓰며 사용자 스트림 생성(torch.Stream("lpu"))과 이벤트(torch.Event) 기록은 아직 제공되지 않습니다. |
| pinned 호스트 메모리와 비동기 복사 | ❌ | pin_memory()(DataLoader(pin_memory=True) 포함)는 NotImplementedError를 냄. non_blocking=True는 받지만 복사는 항상 블로킹 |
Paged KV 캐시 (vmm_*) |
✅ | vLLM 플러그인이 사용 — VMM API |
분산¶
| 기능 | 상태 | 비고 |
|---|---|---|
dist.init_process_group("lccl") |
✅ | |
torchrun과 표준 환경 변수 |
✅ | |
| all-reduce, all-gather | ✅ | 디바이스 커널 (텐서 병렬 핫 패스) |
| send / recv | ✅ | 파이프라인 병렬. dtype 제약이 없는 복사 경로 |
dist.batch_isend_irecv |
✅ | coalescing 지원 — 양방향 교환에 사용 |
torch.ops.lpu.lccl_* fast path |
✅ | 컴파일된 그래프용 — 분산 §4.1 |
| 그 외 집합 연산·리덕션 조합 | 🟡 | LCCL 지원 매트릭스 참조 |
DistributedDataParallel |
❌ | 추론 전용 |
워크로드¶
| 워크로드 | 상태 |
|---|---|
| LLM 추론 (디코더 전용 트랜스포머) | ✅ 목표 |
| vLLM을 통한 LLM 서빙 | ✅ |
| 비전과 멀티모달 | 🟡 지금까지 브링업한 모델의 텍스트 경로만 |
| 학습과 파인튜닝 | ❌ 추론 전용 |
알려진 제약¶
- 모델 계산은
torch.compile(backend="legato")경로를 사용합니다. eager에서 디바이스로 계산되는 연산은bfloat16의add,sub,mul,mm이며, 출력을 포함한 모든 피연산자가 연속(contiguous)이어야 합니다. 비연속 view는 먼저.contiguous()를, 디바이스 계산이 그대로 받지 않는 슬라이스(디바이스 시맨틱 §슬라이싱)는.clone()을 호출하십시오. multinomial·exponential_은 에러 없이 고정값을 돌려줍니다. 디바이스 난수 생성이 없어 dry-run용 스텁만 등록되어 있습니다.- 등록되지 않은 연산은 디스패치 에러로 실패합니다. CPU로 넘어가면 모델이 호스트 속도로 돌아도 알아차리기 어려우므로 의도된 설계입니다.
- PyTorch 버전이 정확해야 하며, 불일치가 버전 에러가 아니라 디바이스가 없는 것으로 나타납니다.
- 등록 실패는 예외가 아니라 로그입니다. 어느 쪽이든
import torch는 성공합니다. is_available()은 디바이스가 하나 이상 있으면True를 반환합니다.device_count() > 0과 같습니다.torch.autocast("lpu")는 사용하지 마십시오. 컨텍스트 진입은 되지만 그 안의 연산은 eager와torch.compile모두에서Autocastlpu백엔드를 언급하는NotImplementedError를 냅니다. 명시적으로 캐스팅하십시오.- PyTorch에서는 현재 기본 스트림(
torch.accelerator.current_stream())만 씁니다. 스트림은 런타임 계층에 있지만 사용자 스트림 생성(torch.Stream("lpu"))과 이벤트(torch.Event) 기록은 아직 제공되지 않습니다. - LPU는 추론 전용입니다. 학습, 파인튜닝,
DistributedDataParallel은 지원 범위 밖입니다. - Windows와 macOS는 대상 플랫폼이 아닙니다.
float16은 저장만 됩니다.float16텐서를 그대로 LPU로 옮기면 경고가 한 번 출력되고 float16으로 복사됩니다. 계산 전에.to("lpu", torch.bfloat16)로 변환하십시오.