콘텐츠로 이동

C++ API

C++ 레퍼런스는 공개 헤더의 Doxygen 주석을 바탕으로 작성합니다.

1
2
#include "ha_runtime_api.h"
#include "ha_types.h"

CMake 패키지 hart의 타깃을 링크하십시오. 라이브러리 파일 이름은 빌드 변형에 따라 달라지므로 직접 지정하지 마십시오.

1
2
find_package(hart REQUIRED COMPONENTS hw)
target_link_libraries(your_target PRIVATE hart::ha_hart)

레퍼런스 본문은 영어입니다

아래 페이지의 본문은 헤더 주석을 옮긴 것이라 대부분 영어로 제공합니다. 번역본을 따로 두면 헤더가 바뀔 때마다 어긋나기 때문입니다. 개념 설명과 사용법은 한국어 프로그래밍 가이드를 보십시오.


섹션

런타임 API (Ha*)

페이지 내용
Device 디바이스 탐색, 선택, 속성 조회, 리셋
Memory 할당, 전송, 텐서 레이아웃, 디바이스 메모리 통계, 호스트 메모리
Execution 커널 라이브러리 로드, 커널 실행과 인자 목록(HaLaunchArgs)
Streams 비동기 작업의 순서 있는 큐
Events 스트림 표식과 스트림 간 순서
TLB 정적 KV 캐시 TLB 초기화와 페이지 관리, TLB 설정과 무효화
VMM Bertha DC EVT0 KV 캐시용 가상 메모리: 풀 할당, 주소 예약, 요청별 페이지 매핑
Sampling 토큰 샘플링 파라미터
Types 열거형, 타입 별칭, 구조체
Callback Params API 호출 계측용 인자 구조체

Weight Converter API

페이지 내용
Weight Converter 가중치 텐서를 디바이스 메모리 레이아웃으로 변환

드라이버 API (ha_drv_*)

디바이스를 다루는 모든 함수가 디바이스 핸들을 받는 디바이스 핸들 기반 API입니다. 공통 규칙은 개요에 있습니다.

페이지 내용
Device 디바이스 부트스트랩, 핸들 열기·닫기, 속성 조회, 리셋
Memory 디바이스 메모리 할당과 해제, 1-D/N-D 복사, 디바이스 메모리 통계, 호스트 메모리
Execution 커널 라이브러리, 커널 로드·실행·해제
Streams & Events 스트림·이벤트 생성과 파괴, 작업 큐잉, 호스트 대기
TLB 정적 KV 캐시 TLB와 page-table TLB 구성
Types 열거형, 핸들 타입, 구조체

헤더와 CMake 타깃

용도에 따라 include할 공개 헤더와 링크할 CMake 타깃이 정해집니다. 런타임 API를 쓰는 애플리케이션은 hart::ha_hart만 링크하면 드라이버 API 라이브러리도 함께 링크됩니다.

애플리케이션은 ha_runtime_api.h를 include하고 hart::ha_hart를 링크하며, Edge나 자체 런타임은 ha_driver_api.h를 include하고 hart::ha_umd_core를 링크하는 구조. 두 헤더 모두 ha_types.h를 include하고 hart::ha_hart는 hart::ha_umd_core를 함께 링크함

공개 헤더와 CMake 타깃의 관계

헤더 용도 CMake 타깃
ha_runtime_api.h 런타임 API(Ha*) hart::ha_hart
ha_driver_api.h 드라이버 API(ha_drv_*) hart::ha_umd_core (hart::ha_hart에 포함)
ha_driver_types.h 드라이버 API 타입(HaDrv*)과 커널 인자 목록 HaLaunchArgs. ha_driver_api.h와 ha_runtime_api.h가 include —
ha_types.h 공통 타입, TLB 구조체, 커널 라이브러리 형식. 위 두 헤더가 include —
ha_error_code.h 에러 코드(HaError). ha_types.h가 include —
ha_error.h HaError를 문자열로 바꾸는 lpu::runtime::HaErrorName()·HaErrorToString(). 에러 코드 참고 hart::ha_hart
ha_callback_params.h API 호출 계측용 인자 구조체 hart::ha_hart
weight_converter/ha_weight_converter.h, weight_converter/ha_weight_converter_types.h Weight Converter API hart::ha_weight_converter
ha_vmm.h KV 캐시 가상 메모리(HaVmm*). ha_runtime_api.h가 include하지 않으므로 직접 include hart::ha_hart

읽는 법

모든 진입점에 공통으로 적용되며 개별 페이지에서 반복하지 않는 두 가지입니다.

  • out 파라미터는 호출이 실패하면 기록되지 않습니다. 파라미터 표에서 out으로 표시된 값은 HaSuccess 이후에만 유효합니다.
  • 기본값이 있는 HaStream_t 파라미터는 스레드별 기본 스트림을 뜻합니다. 시그니처의 HaStream_t stream = HA_STREAM_DEFAULT는 "스트림 없음"이 아니라 호출 스레드의 기본 스트림입니다.

비동기 동작, 메모리 소유권, 에러 분류처럼 여러 진입점에 걸치는 내용은 여기서 반복하지 않고 프로그래밍 가이드에서 한 번만 설명합니다.


범위

runtime/shared/public/ 아래의 헤더와 Weight Converter 공개 헤더(설치 경로 include/weight_converter/)만 지원 대상 API입니다. 소스 트리의 다른 헤더는 내부용이며 호환성 보장 대상이 아니므로 include하지 마십시오. Driver API(ha_driver_api.h)는 디바이스 핸들을 직접 지정해 호출하는 통합 개발자를 위해 별도로 수록합니다.