콘텐츠로 이동

지원 매트릭스

hart 0.0.6에서 검증된 항목입니다. 여기 없는 것은 검증되지 않았습니다.

범례 — ✅ 지원 · 🟡 제한적 · ❌ 미지원 · 📅 예정

OS·커널·드라이버·펌웨어를 포함한 스택 전체 조합은 SDK 지원 매트릭스에 있습니다. 이 페이지는 런타임 자체가 지원하는 범위를 다룹니다.


플랫폼

항목 상태 비고
Linux, x86_64 ✅
Python 3.10 – 3.12 ✅
PyTorch 2.10.0 ✅ 선택. 프레임워크 통합에만 필요
Windows, macOS ❌

디바이스 버전

디바이스 버전 상태 비고
BERTHA_CLOUD_EVT0 ✅ DRAM 워드 크기 64 B
BERTHA_CLOUD_EVT1 ✅ DRAM 워드 크기 64 B
BERTHA_EDGE_EVT0 ✅ DRAM 워드 크기 32 B

메모리 기능

기능 상태 비고
연속 할당 ✅
DRAM 채널 인터리브 할당 ✅
3D shape 할당 ✅
비동기 할당·해제 ✅
호스트↔디바이스 복사 ✅
같은 디바이스 내 D2D ✅
디바이스 간 D2D 🟡 디바이스 쌍에 따라 다름. 미지원 시 HaMemCpyNotSupported 반환
HaMemCpyNd의 호스트↔호스트 복사 ✅ 전부 호스트에서 수행
파일→디바이스 로드(HaMemLoadFileAsync) ✅
HaBuildDeviceTensorLayout의 비연속 stride ❌ HaNotSupported 반환. 향후 호환을 위해 파라미터만 존재
해제 메모리 반환 ✅ 해제로 빈 세그먼트는 조건에 따라 바로 반환되거나 풀에 보관됨. 보관된 세그먼트는 device_mem_trim()(C++: HaDeviceMemTrim())으로 반환

텐서 레이아웃 종류

HaTensorKind 상태 필요한 rank
DramWordInterleaved ✅ >= 1
SinglePassInterleaved ✅ >= 1
SingleChannel ✅ >= 1
RowInterleaved ✅ >= 2
MaxRowsInterleaved ✅ >= 2
MPUTensor ✅ >= 2
KvCacheKey / KvCacheValue ✅ 정확히 5

종류별 정렬 제약은 메모리 모델에 있습니다.

가상 메모리 (VMM)

VMM API의 지원 범위입니다. 아래 표는 현재 하드웨어 리비전(엔지니어링 샘플) 기준입니다.

기능 상태 비고
KV 풀 할당·해제 (HaVmmAllocatePool, HaVmmFreePool) ✅ 풀은 세그먼트 하나
HW 페이지 초기화 (HaVmmInitBlocks) ✅ pool_base·pool_bytes 필수
요청별 페이지 매핑·반환 (HaVmmMapBlocksBatchFromPool, HaVmmMapBlocksBatchFromPools, HaVmmUnmapBlocksBatchFromPool) ✅ 토큰 수 기준, block_size 1
Python 바인딩 (hart.hart.ha_vmm_*) 📅 PyTorch vmm_* 연산을 사용

실행과 동기화

기능 상태 비고
동기 커널 실행 ✅
비동기 커널 실행 ✅
Legato 커널 실행 ✅ 동기·비동기 모두
스트림 ✅ 디바이스당 10개
이벤트, 스트림 간 대기 포함 ✅

관측

런타임 실행의 프로파일링은 HyperAccel Profiler(hapti)로 수행합니다. 수집 범위는 profiler 지원 매트릭스를 참고하십시오.

기능 상태 비고
디바이스 메모리 사용량 조회 ✅ device_mem_get_stats()(C++: HaDeviceMemGetStats())
디바이스 사용률 조회 ❌

제한

리소스 제한
프로세스당 디바이스 8개
디바이스당 스트림 10개 (기본 스트림 제외, 드라이버 API로 만든 스트림 포함)
디바이스당 실행기 워커 스레드 8개, 설정 불가
소형/대형 할당 풀 경계 1 MB

알려진 제약

  • 모든 할당을 해제해도 빈 세그먼트는 풀에 보관됩니다. 다른 할당이 남아 있으면 빈 세그먼트를 조건에 따라 바로 반환하지만, 남은 할당이 없으면 다음 할당을 위해 보관합니다. 보관된 세그먼트는 device_mem_trim()(C++: HaDeviceMemTrim())을 호출하거나 디바이스를 리셋해야 반환됩니다.
  • 디바이스 리셋은 해당 디바이스의 모든 핸들을 무효화합니다. 할당, 스트림, 이벤트가 모두 대상입니다. 낡은 스트림·이벤트 핸들과 디바이스 포인터는 에러로 거부되지만, 리셋 이후 새 할당이 같은 주소를 받으면 이전 포인터가 새 할당을 가리키게 되므로 리셋 전에 관련 리소스를 정리하십시오.
  • 런타임에서 디바이스 사용률을 조회할 수 없습니다. 메모리 사용량은 device_mem_get_stats()(C++: HaDeviceMemGetStats())로 조회할 수 있습니다.
  • 실행기 스레드 수와 소형/대형 할당 풀 경계(1 MB)는 조정할 수 없습니다. Huge 단계 임계값과 Small 풀 분할 기준은 환경 변수로 지정할 수 있습니다.

함께 보기