콘텐츠로 이동

릴리즈 노트

Torch Backend for HyperAccel(torch_ha)의 변경 사항입니다. 스택 전체의 변경은 SDK 릴리즈 노트를 참고하십시오.


0.0.6

0.0.4 이후의 변경입니다. PyTorch 2.10.0과 Python 3.10이 필요합니다.

신규

  • paged KV 캐시 연산 vmm_reserve, vmm_init_blocks, vmm_deinit, vmm_map_blocks, vmm_unmap_blocks, vmm_map_blocks_batch, vmm_unmap_blocks_batch. 런타임 VMM API를 거쳐 HW 페이지를 관리합니다. VMM API를 보십시오.
  • KV 비용 연산 vmm_kv_pool_bytes, vmm_kv_pool_units, vmm_kv_cost_table. 스케줄러가 디바이스 없이 요청이 풀에 들어가는지 계산합니다. VMM API를 보십시오.
  • 커스텀 연산 API 레퍼런스 페이지. 양자화 가중치 연산 quant_weight_pack, quant_weight_converted_size, quant_weight_stamp_, quant_weight_meta와 레이아웃·디버깅·집합 연산 fast path를 한곳에 정리했습니다.
  • eager 커널 경로. bfloat16의 add, sub, mul, mm을 torch.compile 없이 디바이스 커널로 실행합니다. 상태는 torch.ops.lpu.eager_status()로 확인합니다. 연산 §3.1을 보십시오.
  • torch.accelerator 메모리 통계. memory_stats(), memory_allocated(), memory_reserved(), get_memory_info() 등이 실제 사용량을 돌려줍니다. 디바이스 시맨틱 §2.7을 보십시오.

변경

  • 1 MiB 이상의 fill_·zero_가 디바이스 memset 커널로 실행됩니다. HA_FILL_KERNEL, HA_FILL_KERNEL_MIN_BYTES로 끄거나 기준 크기를 바꿉니다. 환경 변수를 보십시오.
  • 같은 디바이스 안의 copy_가 조건이 맞으면 디바이스 copy 커널로 실행됩니다.
  • dtype을 바꾸는 복사(예: fp16_tensor.to("lpu", torch.bfloat16))가 동작합니다. 변환은 호스트에서 합니다. float16 텐서를 그대로 LPU로 옮기면 경고를 한 번 출력합니다.
  • KV 풀(vmm_create_kv_pool)의 0 초기화가 정해진 크기의 호스트 버퍼 단위로 나눠 이루어집니다. 풀 전체 크기의 호스트 메모리가 더 이상 필요하지 않습니다.
  • 텐서 kind 추론이 단일 진입점으로 통합되어, 텐서가 어떤 경로로 이동했는지에 따라 레이아웃이 달라지지 않습니다.
  • HaTensorKind 서수가 컴파일러·커널 언어와 공유하는 wire format으로 고정되었고, 타입 정의가 그 의미의 단일 출처가 되었습니다.
  • 인터리브 레이아웃 계열의 패딩 복사가 N차원 텐서와 뷰를 다루게 되어, 가중치 이동의 형태 제약이 한 부류 사라졌습니다.

0.0.4 — 2026-07-15

버전: 0.0.4rc4. PyTorch 2.10.0과 Python 3.10 – 3.12 필요.

주요 변경

  • 자동 가중치 레이아웃. 모듈이 lpu로 이동할 때 nn.Linear와 nn.Embedding 가중치가 필요한 디바이스 레이아웃으로 태깅됩니다. 별도 호출이 필요 없습니다.
  • 연산 커버리지 대폭 확대. LLM 추론을 종단 간으로 브링업하면서 늘어났습니다.
  • 모델 초기화 속도 개선. 가중치 로딩이 더 이상 시작 시간을 지배하지 않습니다.

신규

  • lpu로 이동할 때 nn.Linear, nn.Embedding 가중치에 디바이스 레이아웃 자동 태깅.
  • 활성화, 단항 수학, 인덱싱, 정렬, 비교, 리덕션 계열 전반에 걸친 연산 추가. 현재 목록은 연산 지원 목록에 있습니다.
  • KV 캐시 가상 메모리 연산 — reserve, init, alloc, map, unmap과 그 배치 형태.
  • 디바이스 레이아웃 메타데이터 확인용 torch.ops.lpu.set_storage_meta_ / get_storage_meta.

변경

  • 가중치 로드 경로가 MPU가 아닌 인터리브 narrow 복사를 스테이징해, 느린 모델 초기화가 해결되었습니다.
  • indirection kind 휴리스틱이 런타임의 N차원 복사 계약과 일치하게 되었습니다.

폐기 예정

  • launch_model. 런타임의 일반 실행 경로로 이관되었으며 향후 릴리즈에서 제거됩니다.

수정

  • 호스트 텐서 전송으로 인한 fill, zero, arange의 segfault.
  • nn 가중치 이동 중의 zero-element 복사.

알려진 문제

문제 영향 우회 방법
연산 커버리지가 ATen의 부분집합 등록되지 않은 연산을 쓰는 모델이 디스패치 에러로 실패 이전 전에 모델의 연산을 열거. 연산 참조
미등록 연산의 CPU 폴백 없음 이전 작업이 반복적이 됨 등록된 연산으로 다시 쓰거나 그 단계를 명시적으로 CPU로
등록 실패가 예외가 아니라 로그 실패한 백엔드가 미설치와 구별되지 않음 import 시점 로그를 읽을 것
is_available()이 항상 True 디바이스 probe가 아님 실패는 첫 할당에서 드러남
Autocast가 스텁 torch.autocast("lpu")가 해석되지만 아무것도 바꾸지 않음 명시적으로 캐스팅
동기화·메모리 통계·스트림 API 없음 시간 측정과 메모리 확인이 CUDA와 다름 값을 읽어 동기화. haprof로 프로파일
lpu에 직접 텐서 생성 미지원 torch.zeros(..., device="lpu") 실패 CPU에서 만든 뒤 .to("lpu")
디바이스에서 실행되는 집합 연산이 둘뿐 나머지에 대해 멀티 디바이스 처리량이 하드웨어를 반영하지 않음 LCCL 매트릭스 참조
학습 미지원 추론 전용 —

버전 지원

버전 상태 PyTorch
0.0.6 현재 2.10.0

torch_ha는 beta입니다. PyTorch의 내부 디스패치 표면에 등록하므로 릴리즈마다 정확한 PyTorch 버전 하나를 대상으로 합니다. 불일치는 버전 에러가 아니라 lpu 디바이스가 존재하지 않는 형태로 나타납니다.

폐기 예정 진입점은 폐기를 결정한 릴리즈에서 공지하며, 제거 전에 최소 두 번의 후속 릴리즈 동안 유지됩니다.