지원 매트릭스
hart 0.0.6에서 검증된 항목입니다. 여기 없는 것은 검증되지 않았습니다.
범례 — ✅ 지원 · 🟡 제한적 · ❌ 미지원 · 📅 예정
OS·커널·드라이버·펌웨어를 포함한 스택 전체 조합은
SDK 지원 매트릭스에 있습니다. 이 페이지는 런타임 자체가
지원하는 범위를 다룹니다.
플랫폼
| 항목 |
상태 |
비고 |
| Linux, x86_64 |
✅ |
|
| Python 3.10 – 3.12 |
✅ |
|
| PyTorch 2.10.0 |
✅ |
선택. 프레임워크 통합에만 필요 |
| Windows, macOS |
❌ |
|
디바이스 버전
| 디바이스 버전 |
상태 |
비고 |
BERTHA_CLOUD_EVT0 |
✅ |
DRAM 워드 크기 64 B |
BERTHA_CLOUD_EVT1 |
✅ |
DRAM 워드 크기 64 B |
BERTHA_EDGE_EVT0 |
✅ |
DRAM 워드 크기 32 B |
메모리 기능
| 기능 |
상태 |
비고 |
| 연속 할당 |
✅ |
|
| DRAM 채널 인터리브 할당 |
✅ |
|
| 3D shape 할당 |
✅ |
|
| 비동기 할당·해제 |
✅ |
|
| 호스트↔디바이스 복사 |
✅ |
|
| 같은 디바이스 내 D2D |
✅ |
|
| 디바이스 간 D2D |
🟡 |
디바이스 쌍에 따라 다름. 미지원 시 HaMemCpyNotSupported 반환 |
HaMemCpyNd의 호스트↔호스트 복사 |
✅ |
전부 호스트에서 수행 |
파일→디바이스 로드(HaMemLoadFileAsync) |
✅ |
|
HaBuildDeviceTensorLayout의 비연속 stride |
❌ |
HaNotSupported 반환. 향후 호환을 위해 파라미터만 존재 |
| 해제 메모리 반환 |
✅ |
해제로 빈 세그먼트는 조건에 따라 바로 반환되거나 풀에 보관됨. 보관된 세그먼트는 device_mem_trim()(C++: HaDeviceMemTrim())으로 반환 |
텐서 레이아웃 종류
HaTensorKind |
상태 |
필요한 rank |
DramWordInterleaved |
✅ |
>= 1 |
SinglePassInterleaved |
✅ |
>= 1 |
SingleChannel |
✅ |
>= 1 |
RowInterleaved |
✅ |
>= 2 |
MaxRowsInterleaved |
✅ |
>= 2 |
MPUTensor |
✅ |
>= 2 |
KvCacheKey / KvCacheValue |
✅ |
정확히 5 |
종류별 정렬 제약은 메모리 모델에 있습니다.
가상 메모리 (VMM)
VMM API의 지원 범위입니다. 아래 표는 현재 하드웨어 리비전(엔지니어링 샘플) 기준입니다.
| 기능 |
상태 |
비고 |
KV 풀 할당·해제 (HaVmmAllocatePool, HaVmmFreePool) |
✅ |
풀은 세그먼트 하나 |
HW 페이지 초기화 (HaVmmInitBlocks) |
✅ |
pool_base·pool_bytes 필수 |
요청별 페이지 매핑·반환 (HaVmmMapBlocksBatchFromPool, HaVmmMapBlocksBatchFromPools, HaVmmUnmapBlocksBatchFromPool) |
✅ |
토큰 수 기준, block_size 1 |
Python 바인딩 (hart.hart.ha_vmm_*) |
📅 |
PyTorch vmm_* 연산을 사용 |
실행과 동기화
| 기능 |
상태 |
비고 |
| 동기 커널 실행 |
✅ |
|
| 비동기 커널 실행 |
✅ |
|
| Legato 커널 실행 |
✅ |
동기·비동기 모두 |
| 스트림 |
✅ |
디바이스당 10개 |
| 이벤트, 스트림 간 대기 포함 |
✅ |
|
관측
런타임 실행의 프로파일링은 HyperAccel Profiler(hapti)로 수행합니다. 수집 범위는
profiler 지원 매트릭스를 참고하십시오.
| 기능 |
상태 |
비고 |
| 디바이스 메모리 사용량 조회 |
✅ |
device_mem_get_stats()(C++: HaDeviceMemGetStats()) |
| 디바이스 사용률 조회 |
❌ |
|
제한
| 리소스 |
제한 |
| 프로세스당 디바이스 |
8개 |
| 디바이스당 스트림 |
10개 (기본 스트림 제외, 드라이버 API로 만든 스트림 포함) |
| 디바이스당 실행기 워커 스레드 |
8개, 설정 불가 |
| 소형/대형 할당 풀 경계 |
1 MB |
알려진 제약
- 모든 할당을 해제해도 빈 세그먼트는 풀에 보관됩니다. 다른 할당이 남아 있으면 빈 세그먼트를 조건에 따라 바로
반환하지만, 남은 할당이 없으면 다음 할당을 위해 보관합니다. 보관된 세그먼트는
device_mem_trim()(C++:
HaDeviceMemTrim())을 호출하거나 디바이스를 리셋해야 반환됩니다.
- 디바이스 리셋은 해당 디바이스의 모든 핸들을 무효화합니다. 할당, 스트림,
이벤트가 모두 대상입니다. 낡은 스트림·이벤트 핸들과 디바이스 포인터는 에러로 거부되지만,
리셋 이후 새 할당이 같은 주소를 받으면 이전 포인터가 새 할당을 가리키게 되므로 리셋 전에
관련 리소스를 정리하십시오.
- 런타임에서 디바이스 사용률을 조회할 수 없습니다. 메모리 사용량은
device_mem_get_stats()(C++: HaDeviceMemGetStats())로 조회할 수 있습니다.
- 실행기 스레드 수와 소형/대형 할당 풀 경계(1 MB)는 조정할 수 없습니다. Huge 단계 임계값과 Small 풀 분할 기준은
환경 변수로 지정할 수 있습니다.
함께 보기