콘텐츠로 이동

API 레퍼런스

hart는 같은 런타임을 두 가지 인터페이스로 제공합니다. C++ API가 정의이고 Python API는 그것을 바인딩합니다.

인터페이스 진입 방법 레퍼런스
C++ #include "ha_runtime_api.h" C++ API — 헤더에서 자동 생성
Python import hart Python API

이 레퍼런스에서는 C++과 Python API의 함수, 인자와 반환값을 설명합니다. 실행·동기화 등 API의 동작과 사용 방법은 프로그래밍 가이드를 참고하십시오.


이름 대응

Python 이름은 C++ 이름에서 Ha 접두사를 떼고 snake_case로 바꾼 것입니다.

C++ Python
HaGetDeviceCount() get_device_count()
HaSetDevice() set_device()
HaMemAlloc() mem_alloc()
HaMemCpyAsync() mem_cpy_async()
HaLaunchKernel(binary_path, …) launch_kernel_with_binary_path()
HaLaunchKernel(kernel, …) launch_kernel_with_handle()
HaStreamSynchronize() stream_synchronize()

예외는 C++ API와의 차이에 정리되어 있습니다.

Python의 Weight Converter API는 hart.weight_converter 모듈에서 제공되며, 위 이름 변환 규칙을 따르지 않습니다. 예를 들어 HaWeightConvert()는 convert(), HaWeightGetConvertedSize()는 get_converted_size()에 대응합니다. 타입 이름에서도 HaWeight 접두사가 빠집니다(HaWeightTensor → Tensor). 디버그용 show()는 Python에서만 제공됩니다. 자세한 내용은 Python Weight Converter API를 참고하십시오.


공개 헤더

runtime/shared/public/ 밖의 모든 것은 내부용이며 예고 없이 바뀔 수 있습니다. 직접 include하는 헤더입니다.

헤더 내용
ha_runtime_api.h HaVmm*를 제외한 모든 Ha* 진입점
ha_driver_api.h 드라이버 API(ha_drv_*) 진입점. Driver API 참고
ha_driver_types.h 드라이버 API 타입(HaDrv*)과 커널 인자 목록 HaLaunchArgs. ha_driver_api.h와 ha_runtime_api.h가 include
ha_types.h HaDevicePtr, HaLayout, HaTensorKind, HaDataType, HaDeviceAttr, HaDeviceVersion, 메모리 통계 구조체, TLB 설정 구조체, 스트림·이벤트·라이브러리·커널 핸들, 커널 라이브러리 형식(HaLibraryData). ha_error_code.h를 include
ha_error_code.h 에러 코드 HaError
ha_error.h HaError를 문자열로 바꾸는 HaErrorName(), HaErrorToString(). 에러 코드 참고
ha_callback_params.h API 호출 계측용 인자 구조체. Callback Params 참고
ha_vmm.h VMM 진입점과 블록 풀 타입. VMM 참고
weight_converter/ha_weight_converter.h, weight_converter/ha_weight_converter_types.h 가중치 변환 진입점과 타입. Weight Converter 참고

영역별 진입점

영역 진입점
디바이스 HaGetDeviceCount, HaSetDevice, HaGetDevice, HaGetDeviceAttribute, HaDeviceSynchronize, HaResetDevice, HaResetAllDevices, HaIsRuntimeConstructed
메모리 HaMemAlloc, HaMemAlloc3D, HaMemAllocAsync, HaMemFree, HaMemFreeAsync, HaMemCpy, HaMemCpyAsync, HaMemCpyNd, HaMemCpyNdAsync, HaMemLoadFileAsync, HaMemDumpForEachChannel, HaBuildDeviceTensorLayout, HaDeviceMemGetStats, HaDeviceMemResetPeakStats, HaDeviceMemTrim, HaHostMemAlloc, HaHostMemFree, HaHostMemGetStats, HaHostMemResetPeakStats, HaHostMemTrim
실행 HaLibraryLoadData, HaLibraryGetKernel, HaLaunchKernel, HaLaunchKernelAsync, HaLaunchArgsAddTensor, HaLaunchArgsAddScalar, HaLaunchArgsAddArray, HaLaunchArgsSetTensor, HaLaunchArgsSetScalarBits, HaLaunchArgsSetArray
스트림 HaStreamCreate, HaStreamDestroy, HaStreamSynchronize, HaStreamQuery, HaStreamWaitEvent, HaStreamGetDevice
이벤트 HaEventCreate, HaEventDestroy, HaEventRecord, HaEventSynchronize, HaEventQuery
TLB HaInitTlb, HaAllocTlbPage, HaDeallocTlbPage, HaConfigureTlb, HaSetPageTableRange, HaFlushTlb
VMM HaVmmReserveBlocks, HaVmmAllocatePool, HaVmmInitBlocks, HaVmmMapBlocksBatchFromPool, HaVmmMapBlocksBatchFromPools, HaVmmUnmapBlocksBatchFromPool, HaVmmFreePool, HaVmmDeinit
샘플링 HaSetSamplingParams, HaSetSamplingParamsAsync
가중치 변환 HaWeightGetConvertedSize, HaWeightConvert

공통 의미

API 전반에 적용되는 속성입니다. 진입점별 상세는 생성된 레퍼런스에 있습니다.

속성 값
반환 타입 모든 C++ 진입점이 HaError. 출력은 포인터 파라미터로 전달
실패 시 출력 기록되지 않음. 직접 초기화할 것
예외 C++ 경계를 넘지 않음. Python은 RuntimeError를 발생. C++ 예외를 던지는 것은 HaLaunchArgs 생성자(메모리 부족 시 std::bad_alloc)와 Weight Converter의 HaWeightTensor 생성자뿐
디바이스 선택 스레드별 현재 디바이스. 대부분의 진입점에 디바이스 인자가 없음. Weight Converter는 디바이스를 사용하지 않음
기본 스트림 HA_STREAM_DEFAULT(nullptr, Python은 0)는 스레드별 기본 스트림
스트림 제한 디바이스당 10개
비동기 완료 큐잉만 수행. 완료는 스트림이나 이벤트로 확인
런타임 생성 첫 호출 시 지연 생성. HaIsRuntimeConstructed()만 생성하지 않음

함께 보기