C++ API¶
C++ 레퍼런스는 공개 헤더의 Doxygen 주석을 바탕으로 작성합니다.
1 2 | |
CMake 패키지 hart의 타깃을 링크하십시오. 라이브러리 파일 이름은 빌드 변형에 따라 달라지므로 직접
지정하지 마십시오.
1 2 | |
레퍼런스 본문은 영어입니다
아래 페이지의 본문은 헤더 주석을 옮긴 것이라 대부분 영어로 제공합니다. 번역본을 따로 두면 헤더가 바뀔 때마다 어긋나기 때문입니다. 개념 설명과 사용법은 한국어 프로그래밍 가이드를 보십시오.
섹션¶
런타임 API (Ha*)¶
| 페이지 | 내용 |
|---|---|
| Device | 디바이스 탐색, 선택, 속성 조회, 리셋 |
| Memory | 할당, 전송, 텐서 레이아웃, 디바이스 메모리 통계, 호스트 메모리 |
| Execution | 커널 라이브러리 로드, 커널 실행과 인자 목록(HaLaunchArgs) |
| Streams | 비동기 작업의 순서 있는 큐 |
| Events | 스트림 표식과 스트림 간 순서 |
| TLB | 정적 KV 캐시 TLB 초기화와 페이지 관리, TLB 설정과 무효화 |
| VMM | Bertha DC EVT0 KV 캐시용 가상 메모리: 풀 할당, 주소 예약, 요청별 페이지 매핑 |
| Sampling | 토큰 샘플링 파라미터 |
| Types | 열거형, 타입 별칭, 구조체 |
| Callback Params | API 호출 계측용 인자 구조체 |
Weight Converter API¶
| 페이지 | 내용 |
|---|---|
| Weight Converter | 가중치 텐서를 디바이스 메모리 레이아웃으로 변환 |
드라이버 API (ha_drv_*)¶
디바이스를 다루는 모든 함수가 디바이스 핸들을 받는 디바이스 핸들 기반 API입니다. 공통 규칙은 개요에 있습니다.
| 페이지 | 내용 |
|---|---|
| Device | 디바이스 부트스트랩, 핸들 열기·닫기, 속성 조회, 리셋 |
| Memory | 디바이스 메모리 할당과 해제, 1-D/N-D 복사, 디바이스 메모리 통계, 호스트 메모리 |
| Execution | 커널 라이브러리, 커널 로드·실행·해제 |
| Streams & Events | 스트림·이벤트 생성과 파괴, 작업 큐잉, 호스트 대기 |
| TLB | 정적 KV 캐시 TLB와 page-table TLB 구성 |
| Types | 열거형, 핸들 타입, 구조체 |
헤더와 CMake 타깃¶
용도에 따라 include할 공개 헤더와 링크할 CMake 타깃이 정해집니다. 런타임 API를 쓰는 애플리케이션은
hart::ha_hart만 링크하면 드라이버 API 라이브러리도 함께 링크됩니다.
공개 헤더와 CMake 타깃의 관계
| 헤더 | 용도 | CMake 타깃 |
|---|---|---|
ha_runtime_api.h |
런타임 API(Ha*) |
hart::ha_hart |
ha_driver_api.h |
드라이버 API(ha_drv_*) |
hart::ha_umd_core (hart::ha_hart에 포함) |
ha_driver_types.h |
드라이버 API 타입(HaDrv*)과 커널 인자 목록 HaLaunchArgs. ha_driver_api.h와 ha_runtime_api.h가 include |
— |
ha_types.h |
공통 타입, TLB 구조체, 커널 라이브러리 형식. 위 두 헤더가 include | — |
ha_error_code.h |
에러 코드(HaError). ha_types.h가 include |
— |
ha_error.h |
HaError를 문자열로 바꾸는 lpu::runtime::HaErrorName()·HaErrorToString(). 에러 코드 참고 |
hart::ha_hart |
ha_callback_params.h |
API 호출 계측용 인자 구조체 | hart::ha_hart |
weight_converter/ha_weight_converter.h, weight_converter/ha_weight_converter_types.h |
Weight Converter API | hart::ha_weight_converter |
ha_vmm.h |
KV 캐시 가상 메모리(HaVmm*). ha_runtime_api.h가 include하지 않으므로 직접 include |
hart::ha_hart |
읽는 법¶
모든 진입점에 공통으로 적용되며 개별 페이지에서 반복하지 않는 두 가지입니다.
out파라미터는 호출이 실패하면 기록되지 않습니다. 파라미터 표에서out으로 표시된 값은HaSuccess이후에만 유효합니다.- 기본값이 있는
HaStream_t파라미터는 스레드별 기본 스트림을 뜻합니다. 시그니처의HaStream_t stream = HA_STREAM_DEFAULT는 "스트림 없음"이 아니라 호출 스레드의 기본 스트림입니다.
비동기 동작, 메모리 소유권, 에러 분류처럼 여러 진입점에 걸치는 내용은 여기서 반복하지 않고 프로그래밍 가이드에서 한 번만 설명합니다.
범위¶
runtime/shared/public/ 아래의 헤더와 Weight Converter 공개 헤더(설치 경로 include/weight_converter/)만
지원 대상 API입니다. 소스 트리의 다른 헤더는 내부용이며 호환성 보장 대상이 아니므로 include하지 마십시오.
Driver API(ha_driver_api.h)는 디바이스 핸들을 직접 지정해 호출하는 통합 개발자를
위해 별도로 수록합니다.