API 레퍼런스¶
hart는 같은 런타임을 두 가지 인터페이스로 제공합니다. C++ API가 정의이고 Python
API는 그것을 바인딩합니다.
| 인터페이스 | 진입 방법 | 레퍼런스 |
|---|---|---|
| C++ | #include "ha_runtime_api.h" |
C++ API — 헤더에서 자동 생성 |
| Python | import hart |
Python API |
이 레퍼런스에서는 C++과 Python API의 함수, 인자와 반환값을 설명합니다. 실행·동기화 등 API의 동작과 사용 방법은 프로그래밍 가이드를 참고하십시오.
이름 대응¶
Python 이름은 C++ 이름에서 Ha 접두사를 떼고 snake_case로 바꾼 것입니다.
| C++ | Python |
|---|---|
HaGetDeviceCount() |
get_device_count() |
HaSetDevice() |
set_device() |
HaMemAlloc() |
mem_alloc() |
HaMemCpyAsync() |
mem_cpy_async() |
HaLaunchKernel(binary_path, …) |
launch_kernel_with_binary_path() |
HaLaunchKernel(kernel, …) |
launch_kernel_with_handle() |
HaStreamSynchronize() |
stream_synchronize() |
예외는 C++ API와의 차이에 정리되어 있습니다.
Python의 Weight Converter API는 hart.weight_converter 모듈에서 제공되며, 위 이름 변환 규칙을 따르지 않습니다.
예를 들어 HaWeightConvert()는 convert(), HaWeightGetConvertedSize()는 get_converted_size()에
대응합니다. 타입 이름에서도 HaWeight 접두사가 빠집니다(HaWeightTensor → Tensor). 디버그용
show()는 Python에서만 제공됩니다. 자세한 내용은
Python Weight Converter API를 참고하십시오.
공개 헤더¶
runtime/shared/public/ 밖의 모든 것은 내부용이며 예고 없이 바뀔 수 있습니다.
직접 include하는 헤더입니다.
| 헤더 | 내용 |
|---|---|
ha_runtime_api.h |
HaVmm*를 제외한 모든 Ha* 진입점 |
ha_driver_api.h |
드라이버 API(ha_drv_*) 진입점. Driver API 참고 |
ha_driver_types.h |
드라이버 API 타입(HaDrv*)과 커널 인자 목록 HaLaunchArgs. ha_driver_api.h와 ha_runtime_api.h가 include |
ha_types.h |
HaDevicePtr, HaLayout, HaTensorKind, HaDataType, HaDeviceAttr, HaDeviceVersion, 메모리 통계 구조체, TLB 설정 구조체, 스트림·이벤트·라이브러리·커널 핸들, 커널 라이브러리 형식(HaLibraryData). ha_error_code.h를 include |
ha_error_code.h |
에러 코드 HaError |
ha_error.h |
HaError를 문자열로 바꾸는 HaErrorName(), HaErrorToString(). 에러 코드 참고 |
ha_callback_params.h |
API 호출 계측용 인자 구조체. Callback Params 참고 |
ha_vmm.h |
VMM 진입점과 블록 풀 타입. VMM 참고 |
weight_converter/ha_weight_converter.h, weight_converter/ha_weight_converter_types.h |
가중치 변환 진입점과 타입. Weight Converter 참고 |
영역별 진입점¶
| 영역 | 진입점 |
|---|---|
| 디바이스 | HaGetDeviceCount, HaSetDevice, HaGetDevice, HaGetDeviceAttribute, HaDeviceSynchronize, HaResetDevice, HaResetAllDevices, HaIsRuntimeConstructed |
| 메모리 | HaMemAlloc, HaMemAlloc3D, HaMemAllocAsync, HaMemFree, HaMemFreeAsync, HaMemCpy, HaMemCpyAsync, HaMemCpyNd, HaMemCpyNdAsync, HaMemLoadFileAsync, HaMemDumpForEachChannel, HaBuildDeviceTensorLayout, HaDeviceMemGetStats, HaDeviceMemResetPeakStats, HaDeviceMemTrim, HaHostMemAlloc, HaHostMemFree, HaHostMemGetStats, HaHostMemResetPeakStats, HaHostMemTrim |
| 실행 | HaLibraryLoadData, HaLibraryGetKernel, HaLaunchKernel, HaLaunchKernelAsync, HaLaunchArgsAddTensor, HaLaunchArgsAddScalar, HaLaunchArgsAddArray, HaLaunchArgsSetTensor, HaLaunchArgsSetScalarBits, HaLaunchArgsSetArray |
| 스트림 | HaStreamCreate, HaStreamDestroy, HaStreamSynchronize, HaStreamQuery, HaStreamWaitEvent, HaStreamGetDevice |
| 이벤트 | HaEventCreate, HaEventDestroy, HaEventRecord, HaEventSynchronize, HaEventQuery |
| TLB | HaInitTlb, HaAllocTlbPage, HaDeallocTlbPage, HaConfigureTlb, HaSetPageTableRange, HaFlushTlb |
| VMM | HaVmmReserveBlocks, HaVmmAllocatePool, HaVmmInitBlocks, HaVmmMapBlocksBatchFromPool, HaVmmMapBlocksBatchFromPools, HaVmmUnmapBlocksBatchFromPool, HaVmmFreePool, HaVmmDeinit |
| 샘플링 | HaSetSamplingParams, HaSetSamplingParamsAsync |
| 가중치 변환 | HaWeightGetConvertedSize, HaWeightConvert |
공통 의미¶
API 전반에 적용되는 속성입니다. 진입점별 상세는 생성된 레퍼런스에 있습니다.
| 속성 | 값 |
|---|---|
| 반환 타입 | 모든 C++ 진입점이 HaError. 출력은 포인터 파라미터로 전달 |
| 실패 시 출력 | 기록되지 않음. 직접 초기화할 것 |
| 예외 | C++ 경계를 넘지 않음. Python은 RuntimeError를 발생. C++ 예외를 던지는 것은 HaLaunchArgs 생성자(메모리 부족 시 std::bad_alloc)와 Weight Converter의 HaWeightTensor 생성자뿐 |
| 디바이스 선택 | 스레드별 현재 디바이스. 대부분의 진입점에 디바이스 인자가 없음. Weight Converter는 디바이스를 사용하지 않음 |
| 기본 스트림 | HA_STREAM_DEFAULT(nullptr, Python은 0)는 스레드별 기본 스트림 |
| 스트림 제한 | 디바이스당 10개 |
| 비동기 완료 | 큐잉만 수행. 완료는 스트림이나 이벤트로 확인 |
| 런타임 생성 | 첫 호출 시 지연 생성. HaIsRuntimeConstructed()만 생성하지 않음 |