콘텐츠로 이동

릴리즈 노트

HyperAccel Runtime(hart)의 변경 사항입니다. 스택 전체의 변경은 SDK 릴리즈 노트를 참고하십시오.


0.0.6 — 2026-11-16

버전: 0.0.6. Python 3.10 이상 필요.

주요 마이그레이션 (Breaking Changes)

커널 실행 인자를 HaLaunchArgs 하나로 통일

커널 인자를 포인터 배열로 넘기던 방식이 인자 목록 객체 하나로 바뀌었습니다. 인자마다 종류와 데이터 타입을 함께 기록하므로, 커널이 기대하는 형식과 다르면 값이 조용히 잘못 읽히는 대신 실행이 HaKernelInvalidArgument로 거부됩니다. 자세한 사용법은 C++와 Python 레퍼런스를 참고하십시오.

구분 이전 0.0.6
C++ 실행 HaLaunchKernel(path, args, args_count)
HaLaunchKernelAsync(path, args, args_count, stream)
HaLaunchKernel(path, args)
HaLaunchKernelAsync(path, args, stream)
args는 HaLaunchArgs 객체
C++ 인자 목록 생성·해제 0.0.5의 ha_launch_args.h:
HaLaunchArgsCreate() / HaLaunchArgsAddTensor() / HaLaunchArgsGet() / HaLaunchArgsDestroy()
헤더 제거
HaLaunchArgs 객체를 직접 생성해 실행 함수에 넘김
소멸할 때 자동으로 해제되며 이동만 가능
C++ 인자 추가 값의 주소를 포인터 배열에 나열 HaLaunchArgsAddTensor() / HaLaunchArgsAddScalar() / HaLaunchArgsAddArray()
C++ 호출 계측 구조체 HaLaunchKernelParams / HaLaunchKernelAsyncParams의 args, args_count 필드 제거
Python 실행 launch_kernel*()에 list 전달 launch_kernel*()에 hart.HaLaunchArgs 전달. list를 넘기면 TypeError
Python 인자 LegatoTensorArg, LegatoScalarArg, LegatoArrayArg, LegatoTupleArg, LegatoArgKind, LegatoDataType add_tensor() / add_scalar() / add_array()
Python 반복 실행 인자 레코드의 필드를 직접 수정 set_tensor() / set_scalar_bits() / set_array() (C++: HaLaunchArgsSet*())
  • 인자는 추가할 때 호출 스레드의 현재 디바이스를 기준으로 검사하므로, 먼저 HaSetDevice()를 호출해야 합니다.
  • 헤더 위치는 다음과 같습니다. ha_runtime_api.h를 include하면 모두 포함됩니다. - 인자 함수(HaLaunchArgsAdd*(), HaLaunchArgsSet*()): ha_runtime_api.h - HaLaunchArgs: ha_driver_types.h - HaLaunchArgRoute: ha_types.h
  • HaDataType에 Float64(Python: FLOAT64)가 추가되었습니다.

드라이버 API 개편

디바이스 핸들 기반의 공개 API로 재정비되었습니다. 모든 호출에 디바이스 핸들을 명시하며, 커널은 핸들 기반으로 로드·실행되고, 데이터 전송과 실행은 스트림에 비동기로 큐잉됩니다. 상세한 사용법은 드라이버 API 가이드 및 레퍼런스를 참고하십시오.

이전 0.0.6
ha_drv_t HaDrvDev
ha_drv_ctl(HA_CTL_CLOSE) / ha_drv_ctl(HA_CTL_RESET) ha_drv_close() / ha_drv_reset()
ha_drv_get_attrs() ha_drv_get_attr() (속성을 하나씩 읽음)
ha_drv_default_stream() 스트림 인자에 HA_STREAM_DEFAULT (호출 스레드의 기본 스트림)
ha_drv_submit_launch() ha_drv_kernel_load_from_file() / ha_drv_kernel_load_from_library()로 로드, ha_drv_kernel_launch()로 실행, ha_drv_kernel_release()로 해제
ha_drv_kernel_launch()의 포인터 배열 인자 const HaLaunchArgs &. 인자는 지정한 디바이스를 기준으로 검사하는 ha_drv_launch_args_add_*() / ha_drv_launch_args_set_*()로 채움
ha_drv_memcpy_nd() stream 인자 추가. ha_drv_memcpy()와 함께 HA_STREAM_DEFAULT를 포함한 모든 스트림에서 비동기
ha_drv_wait()의 HA_WAIT_QUERY / HA_WAIT_SYNC 이벤트 인자와 out_synced_seq 추가. 대기 종류는 HA_WAIT_STREAM_* / HA_WAIT_EVENT_* / HA_WAIT_DEVICE_SYNC

추가된 함수는 다음과 같습니다.

함수 설명
ha_drv_deinit() ha_drv_init()으로 초기화한 디바이스와 그 스트림, 이벤트, 커널, 메모리를 모두 해제
ha_drv_is_ready() 핸들이 유효하고 디바이스가 해제되지 않았는지 확인
ha_drv_get_device_id() 핸들을 열 때 쓴 하드웨어 디바이스 인덱스 조회
ha_drv_stream_post() 복사, 지연 해제, 파일 로드, 마커, 샘플링, 이벤트 작업을 스트림에 큐잉
ha_drv_init_tlb() KV 캐시 구성으로 TLB 초기화 (EVT0)
ha_drv_configure_tlb() TLB 설정. 설정할 때마다 TLB 캐시를 무효화 (EVT1)
ha_drv_set_page_table_range() 페이지 테이블의 기준 주소와 크기 설정 (EVT1)
ha_drv_flush_tlb() TLB 캐시 전체 무효화 (EVT1)

그 밖에 함께 추가·변경된 항목은 다음과 같습니다.

구분 내용
지원 추가 드라이버 이벤트(HA_OBJ_EVENT). 이전에는 HaDeviceUnsupported를 반환
추가된 에러 코드 HaDeviceBusy
HaKernelInvalidHandle
타입 헤더 ha_driver_types.h로 분리. ha_driver_api.h가 include
타입 이름 HaDrv* 규칙으로 변경: HaDrvDev, HaDrvDevAttr, HaDrvObjKind, HaDrvWaitKind, HaDrvEvent, HaDrvKernel, HaDrvStreamOp*, HaDrvHostMem*

그 밖의 API 변경

항목 이전 0.0.6 (대체 방법)
kernel id 실행 C++: HaLaunchKernel(kernel_id, …)
Python: launch_kernel()
제거. 바이너리 경로나 커널 핸들로 실행(실행 모델)
디바이스 속성 이름 C++: kHaDevAttrPciBus 등 HaDeviceAttr::PciBus처럼 범위 지정 이름(enum class)
Python 이름은 그대로
TLB 타입 헤더 #include "ha_tlb_types.h" #include "ha_types.h". ha_runtime_api.h를 include하면 함께 포함됨
VMM 헤더 #include "vmm.h" #include "ha_vmm.h"
프로파일러 훅 HaProfiler*, HaProfileEvent 등 공개 API에서 제거. HyperAccel Profiler 사용

신규 기능

커널 라이브러리와 핸들 실행

커널을 파일 경로 대신 이름으로 찾아 실행할 수 있습니다. 커널 라이브러리를 등록하고 이름으로 커널 핸들을 얻어 실행하며, 커널은 디바이스마다 첫 실행 때 그 디바이스의 칩 세대에 맞는 빌드로 로드됩니다. 자세한 내용은 실행 모델을 참고하십시오.

구분 추가된 항목
런타임 API HaLibraryLoadData(), HaLibraryGetKernel()
HaLaunchKernel(HaKernel_t, …), HaLaunchKernelAsync(HaKernel_t, …)
Python library_load_data(), library_get_kernel()
launch_kernel_with_handle(), launch_kernel_async_with_handle()
드라이버 API ha_drv_library_load_data(), ha_drv_library_get_kernel(), ha_drv_library_kernel_name()
ha_drv_kernel_load_from_library()
타입 HaLibrary_t, HaKernel_t
에러 코드 HaKernelNoBinaryForDevice(라이브러리에 디바이스 칩용 빌드가 없음)
HaKernelLoadFailed(커널 메모리 부족 이외의 이유로 로드 실패)
호출 계측 구조체 HaLibraryLoadDataParams 추가
HaLaunchKernelParams / HaLaunchKernelAsyncParams(by_id, kernel_id 대신 kernel, kernel_name)

디바이스 메모리 통계

현재 디바이스의 메모리 사용량을 조회하는 API가 추가되었습니다. 런타임 풀이 할당 중인 양과 보관 중인 양, 각 최대값, 디바이스 전체의 여유 DRAM을 한 번에 조회하며, 최대값을 초기화하거나, 풀이 보관 중인 메모리 가운데 쓰이지 않는 부분을 반환할 수도 있습니다. 자세한 내용은 메모리 모델의 사용량 확인과 반환을 참고하십시오.

구분 추가된 항목
런타임 API HaDeviceMemGetStats(), HaDeviceMemResetPeakStats(), HaDeviceMemTrim()
구조체 HaDeviceMemStats
Python device_mem_get_stats(), device_mem_reset_peak_stats(), device_mem_trim()
드라이버 API ha_drv_device_mem_get_stats(), ha_drv_device_mem_reset_peak_stats(), ha_drv_device_mem_trim()
환경 변수 HA_DEVICE_MEM_STATS_PRINT=1(조회할 때 표준 에러에도 출력)
HA_MEM_STATS_PRINT=1(호스트와 디바이스 통계 출력을 함께 켬)

호스트 메모리 관리자

디바이스와 무관한 프로세스 단위 호스트 메모리 관리자가 추가되었습니다. 해제한 메모리를 재사용하고, 프로세스가 확보하는 호스트 메모리에 한도를 적용합니다. 자세한 내용은 메모리 모델의 호스트 메모리와 드라이버 API 메모리 모델의 호스트 메모리를 참고하십시오.

구분 추가된 항목
런타임 API HaHostMemAlloc(), HaHostMemFree(), HaHostMemGetStats(), HaHostMemResetPeakStats(), HaHostMemTrim()
Python host_mem_alloc(), host_mem_free(), host_mem_get_stats(), host_mem_reset_peak_stats(), host_mem_trim()
드라이버 API ha_drv_host_mem_alloc(), ha_drv_host_mem_free(), ha_drv_host_mem_get_stats(), ha_drv_host_mem_reset_peak_stats(), ha_drv_host_mem_trim()
에러 코드 HaHostMemLimitExceeded(설정한 한도 때문에 할당이 거부됨)
시스템 메모리 부족은 이전처럼 HaMemoryAllocationFailed
환경 변수 HA_HOST_MEM_MAX_BYTES(프로세스가 확보하는 호스트 메모리 상한)
HA_MEMCPYND_STAGING_MAX_BYTES(다차원 복사 스테이징 버퍼 상한)
HA_HOST_MEM_STATS_PRINT=1(조회할 때 표준 에러에도 출력)

디바이스 속성 Version 추가

디바이스 속성(HaDeviceAttr)에 칩 세대를 나타내는 Version이 추가되었습니다. 값은 HaDeviceVersion입니다.

언어 호출
Python get_device_attribute(HaDeviceAttr.VERSION, device_id)
C++ HaGetDeviceAttribute(&value, HaDeviceAttr::Version, device_id)

변경 사항

  • Small 풀이 블록을 나눌 때의 최소 남은 크기를 HA_SMALL_POOL_MIN_SPLIT_REMAINDER_KB로 지정할 수 있습니다. 기본값은 512 KiB입니다.
  • HaError가 별도 헤더 ha_error_code.h로 옮겨졌습니다. ha_types.h가 이 헤더를 include하므로 기존 코드는 고칠 필요가 없습니다.

수정 사항

  • Core route의 코어 번호 검사 — 디바이스에 없는 코어 번호를 지정해도 실행이 성공하고 그 인자만 조용히 빠지던 문제를 고쳤습니다. 이제 인자를 추가할 때와 실행할 때 모두 HaKernelInvalidArgument로 거부됩니다.
  • 인자 목록의 스레드 안전성 — 한 인자 목록을 여러 스레드에서 함께 쓰면 동작이 정의되지 않던 문제를 고쳤습니다. 이제 인자 추가·교체와 실행이 겹쳐도 안전합니다. 단, 다른 스레드가 쓰는 동안 목록을 이동하거나 소멸시키면 안 됩니다.

0.0.5 — 2026-10-14

버전: 0.0.5. Python 3.10 이상 필요.

신규 기능

KV 캐시용 가상 메모리 API

Bertha DC EVT0 KV 캐시를 위한 가상 메모리 API(vmm.h)가 추가되었습니다. 하드웨어 TLB를 감싸며, 호출 순서는 메모리 모델의 가상 메모리 및 HW 페이지 관리를, 함수별 설명은 VMM API를 참고하십시오.

구분 추가된 항목
풀 HaVmmAllocatePool(), HaVmmFreePool()
구조체 HaVmmBlockSegment, HaVmmPool
초기화·해체 HaVmmInitBlocks(), HaVmmDeinit()
주소 예약 HaVmmReserveBlocks() (블록 간 VA 간격을 out_block_stride_bytes로 반환)
요청별 페이지 매핑 HaVmmMapBlocksBatchFromPool(), HaVmmMapBlocksBatchFromPools(), HaVmmUnmapBlocksBatchFromPool()

Legato 인자 배열 보조 API

Legato 커널의 인자 배열을 만드는 C++ 보조 API(ha_launch_args.h)가 추가되었습니다.

  1. HaLaunchArgsCreate()로 목록을 만듭니다.
  2. HaLaunchArgsAddTensor()로 Tensor 인자를 추가합니다. 인자를 기록할 블록은 HaLaunchArgRoute로 지정합니다.
  3. HaLaunchArgsGet()으로 포인터 배열과 개수를 꺼내 HaLaunchKernel(path, args, args_count)에 넘깁니다.
  4. HaLaunchArgsDestroy()로 목록을 해제합니다.

그 밖의 추가

  • HaDeviceSynchronize() — 현재 디바이스의 모든 스트림이 끝날 때까지 기다립니다. 기본 스트림은 스레드마다 따로 있어, HaStreamSynchronize(HA_STREAM_DEFAULT)로는 다른 스레드의 작업을 기다릴 수 없을 때 씁니다.
  • Weight Converter API — 가중치 텐서를 대상 아키텍처의 디바이스 메모리 레이아웃으로 변환합니다. C++는 weight_converter/ha_weight_converter.h와 CMake 타깃 hart::ha_weight_converter를, Python은 hart.weight_converter 모듈을 사용합니다(C++, Python).

변경 사항

  • Legato 커널 실행 통합 — Legato 커널도 launch_kernel_with_binary_path()(C++: HaLaunchKernel())로 실행합니다. launch_legato_kernel()과 launch_legato_kernel_async()는 제거되었습니다.
  • PyTorch KV 캐시 연산 — vmm_init_blocks, vmm_map_blocks_batch, vmm_unmap_blocks_batch 등이 TLB 함수를 직접 호출하지 않고 VMM API를 거칩니다. TLB를 직접 다루는 vmm_init_tlb, vmm_alloc_tlb_page, vmm_dealloc_tlb_page는 그대로입니다.
  • stream_query() — Python에서 작업이 진행 중이면 예외 대신 False를, 끝났으면 True를 반환합니다. 예외는 런타임 오류일 때만 발생합니다.
  • 프로파일링 범위 — 비동기 진입점과 HaMemCpyNd()에도 프로파일링이 적용되어, 스트림 기반 파이프라인의 트레이스에서 해당 구간이 비어 보이던 문제가 사라집니다.
  • 로그 레벨 — 릴리스 빌드에서 HA_LOG_LEVEL이 Warn(3) 미만이면 Warn으로 올라갑니다. Trace·Debug·Info(0~2)는 개발 빌드에서만 유효합니다.
  • 펌웨어 버전 표기 — 드라이버·펌웨어 규약에 맞춰 3개 필드를 갖습니다.
  • 라이브러리 구성 — 내부 라이브러리 구성이 바뀌었습니다. 애플리케이션은 계속 CMake 타깃 hart::ha_hart를 링크하며, 소스를 고칠 필요는 없습니다.

0.0.4 — 2026-07-15

버전: 0.0.4rc4. Python 3.10 – 3.12 필요.

주요 변경

  • 스트림과 이벤트 — 데이터 전송과 커널 실행을 모두 비동기로 큐잉할 수 있게 되어, 전송과 연산을 겹쳐 실행할 수 있습니다.
  • 커널 수준 프로파일링 — 하드웨어 카운터와 호스트-디바이스 correlation id를 지원합니다.
  • 디바이스 간 복사 — 다른 디바이스나 peer 디바이스로 직접 복사할 수 있습니다.

신규 기능

구분 추가된 항목
스트림 HaStreamCreate(), HaStreamDestroy(), HaStreamSynchronize(), HaStreamQuery(), HaStreamWaitEvent(), HaStreamGetDevice()
이벤트 HaEventCreate(), HaEventDestroy(), HaEventRecord(), HaEventSynchronize(), HaEventQuery()
비동기 연산 HaMemAllocAsync(), HaMemFreeAsync(), HaMemCpyAsync(), HaMemLoadFileAsync(), HaLaunchKernelAsync(), launch_legato_kernel_async()
프로파일러 진입점 correlation push/pop, 레코드 링 설정과 소비, 시그널 로그 읽기, 호스트·디바이스 클럭 페어링
디바이스 간 복사 디바이스 간 및 peer HaMemCpy()
TLB 구조체 TLBInitInfo, TLBAllocInfo 등을 hart.hart 확장 모듈에서 사용 가능

변경 사항

  • 복사 경로 재작업 — HaMemCpyNd()가 양쪽에서 인접한 차원을 합치므로, 논리적으로는 다차원이지만 물리적으로 연속인 복사가 한 번의 전송으로 줄어듭니다. 뷰를 직접 평탄화할 필요가 없습니다.
  • 데이터 타입 정의 — SDK 공용 타입 계층으로 옮겨져, HaDataType 값이 컴파일러와 일치합니다.
  • 디바이스별 소유 — 하드웨어 추상화 계층 에이전트를 디바이스마다 따로 둡니다.
  • paged KV 캐시 — 페이지 단위를 줄여 메모리 오버헤드가 줄었습니다.
  • 모델 초기화 — 빠른 가중치 복사 경로를 사용해 Llama 로드 시간이 줄었습니다.

폐기 예정

  • launch_model — 일반 실행 경로로 옮겨졌으며 이후 릴리즈에서 제거됩니다. HaLaunchKernel()이나 Legato 실행 진입점을 사용하십시오.

수정 사항

  • 마지막이 아닌 스텝에서 생성이 시작되어 chunked prefill 결과가 잘못되던 문제를 고쳤습니다.
  • EVT1·Edge RTL 변경 이후 V1 벡터 유닛의 repetition penalty 동작이 달라졌던 문제를 고쳤습니다.
  • Legato top/core 빌더 패턴이 잘못된 인자 레이아웃을 만들던 문제를 고쳤습니다.

알려진 문제

문제 영향 우회 방법
디바이스 메모리·사용률을 조회할 수 없음 monitor 모드 연동이 런타임에서 값을 읽지 못함 드라이버 인터페이스 사용
해제한 디바이스 메모리가 바로 반환되지 않음 최대 사용량이 프로세스가 끝날 때까지 유지될 수 있음 오래 쓰는 버퍼는 시작할 때 한 번 할당

0.0.3 — 2026-06-18

신규 기능

  • 디바이스 스캔 API — 첫 할당 때 암묵적으로 하던 디바이스 탐색을 명시적으로 호출합니다.
  • DRAM 채널별 메모리 덤프 — HaMemDumpForEachChannel()(Python: dump_for_each_channel())로 레이아웃이 의도한 위치에 놓였는지 확인합니다.
  • HaFlushTlb() — HaConfigureTlb()와 별개로 TLB만 무효화합니다.
  • 런타임 API 콜백 — 런타임 API 호출 시점에 콜백을 받을 수 있습니다.

변경 사항

  • HaMemCpyNd() — 호스트↔호스트 복사를 병렬로 처리하고, SinglePassInterleaved 복사는 데이터를 모은 뒤 한 번에 전송합니다.
  • 샘플링 파라미터 — 스텝마다 다시 설정하지 않고 캐싱합니다.
  • 커널 캐싱 — 실행별 상태를 캐싱된 커널과 분리해, 디바이스에 캐싱된 커널을 다른 인자로 다시 쓸 수 있습니다.
  • SRAM 스크래치 버퍼 — 디바이스별 ABI 스크래치 버퍼를 다시 할당하지 않고 재사용합니다.
  • 메모리 계층 — 자주 호출되는 경로의 오버헤드를 줄였습니다.

수정 사항

  • 메모리 풀의 하위 할당이 페이지 경계에 정렬되지 않던 문제를 고쳤습니다.
  • 비슷한 크기를 반복해서 할당·해제할 때 소형 메모리 풀이 스래싱하던 문제를 고쳤습니다.
  • 여러 스레드에서 쓸 때 스레드 컨텍스트와 DRAM 채널 처리가 어긋나던 문제를 고쳤습니다.
  • Multi-head attention의 여러 정확성 결함을 고쳤습니다.

0.0.2 — 2026-01-13

런타임이 별도 버전을 갖는 컴포넌트로 분리된 첫 릴리즈입니다.


버전 지원

버전 출시일 상태
0.0.6 2026-11-16 현재
0.0.5 2026-10-14 대체됨
0.0.4 2026-07-15 대체됨
0.0.3 2026-06-18 대체됨
0.0.2 2026-01-13 대체됨

hart는 beta 단계입니다.

  • Ha* C++ API와 hart Python API는 마이너 버전 안에서 소스 호환을 유지할 예정이지만, 런타임 전체는 아직 안정성을 보장하는 단계가 아닙니다.
  • 에러 코드는 안정적이며, 다른 의미로 다시 쓰이지 않습니다.
  • 폐기 예정 진입점은 폐기를 결정한 릴리즈에서 공지하며, 제거하기 전까지 최소 두 번의 후속 릴리즈 동안 유지합니다.