3. 메모리 모델¶
드라이버 API의 메모리 함수는 반환 시점이 서로 다릅니다.
- 할당과 해제는 호출 안에서 끝납니다:
ha_drv_malloc,ha_drv_malloc_3d,ha_drv_free는 반환 시점에 할당·해제를 마칩니다. 세 함수는stream인자를 사용하지 않으므로 그 스트림의 작업 순서를 따르지 않습니다. 스트림에 앞서 큐잉한 작업이 끝난 뒤 해제하려면 스트림 작업HA_STREAM_OP_FREE를 사용합니다. - 데이터 전송은 큐잉한 뒤 바로 반환합니다:
ha_drv_memcpy와ha_drv_memcpy_nd는HA_STREAM_DEFAULT를 포함한 모든 스트림에서 비동기로 동작합니다. 반환은 전송 명령이 스트림에 들어갔다는 뜻일 뿐입니다.
따라서 호출하는 쪽에서 다음 두 가지를 지켜야 합니다.
- 디바이스가 아직 사용하는 메모리를
ha_drv_free로 해제하지 마십시오. 그 메모리를 쓰는 작업이 끝났음을ha_drv_wait로 확인한 뒤 해제하거나,HA_STREAM_OP_FREE로 스트림 순서에 맞춰 해제합니다. - 전송에 넘긴 호스트 버퍼는
ha_drv_wait로 완료를 확인할 때까지 해제하거나 수정하지 마십시오. 스테이징을 거치는ha_drv_memcpy_nd호스트→디바이스 복사의 원본만 예외입니다(3.2절).
Contents¶
| Section | Objective |
|---|---|
| 3.1 할당과 해제 (Allocation & Deallocation) | 동기 할당·해제와 스트림 순서를 따르는 비동기 해제 |
| 3.2 데이터 전송 (Transfer) | 1차원 복사, N차원 텐서 복사, 디바이스 간 직접 전송(P2P) |
| 3.3 파일 직접 로드 (Direct File Load) | 파일 디스크립터(FD)에서 디바이스 메모리로의 직접 DMA 적재 |
| 3.4 TLB 관리 (TLB) | 정적 KV 캐시 TLB와 페이지 테이블(Page-table) TLB 진입점 |
| 3.5 호스트 메모리 (Host Memory) | 프로세스 호스트 메모리 관리자를 통한 할당과 한도 |
3.1 할당과 해제 (Allocation & Deallocation)¶
할당 (Allocation)¶
ha_drv_malloc과 ha_drv_malloc_3d는 동기 방식입니다.
1 2 3 4 5 6 7 8 9 | |
해제 (Deallocation)¶
즉시 해제는 ha_drv_free를 사용하며, 스트림에 앞서 큐잉한 작업이 끝난 뒤 해제하려면 HA_STREAM_OP_FREE 스트림
작업을 큐잉합니다. HA_STREAM_OP_FREE는 CUDA의 cudaFreeAsync처럼 스트림 순서를 따릅니다. 메모리는 이 작업 뒤에
호출한 스트림 동기화(HA_WAIT_STREAM_SYNC 또는 HA_WAIT_DEVICE_SYNC)가 성공하거나 스트림을 파괴할 때 풀로
돌아갑니다. 다른 디바이스에서 할당한 메모리를 해제할 때는 free.owner에 그 디바이스의 핸들을 지정합니다.
1 2 3 4 5 6 7 8 | |
| API | 동기 여부 | 동작 |
|---|---|---|
ha_drv_malloc() |
Sync | 디바이스 메모리 할당. stream 인자는 사용하지 않음 |
ha_drv_malloc_3d() |
Sync | 3D Shape 규격 기반 디바이스 메모리 할당. stream 인자는 사용하지 않음 |
ha_drv_free() |
Sync | 디바이스 메모리 즉시 해제. stream 인자는 사용하지 않음 |
ha_drv_stream_post() + HA_STREAM_OP_FREE |
Async | 스트림 작업 순서를 따르는 비동기 해제 |
사용량 확인과 반환 (Memory Statistics & Trim)¶
해제된 디바이스 메모리는 런타임 풀로 돌아가 재사용되며, 빈 세그먼트도 조건에 따라 풀에 보관되므로 드라이버가 보는
여유 메모리가 바로 늘지 않을 수 있습니다.
디바이스의 메모리 상태는 ha_drv_device_mem_get_stats()로
확인하며, 풀 카운터와 드라이버가 보고하는 디바이스 전체의 여유 DRAM(free_bytes)을 함께 돌려줍니다. 할당된 블록이
없는 풀 세그먼트는 ha_drv_device_mem_trim()으로
드라이버에 반환합니다. HA_STREAM_OP_FREE로 해제한 메모리는 그 작업 뒤의 동기화가 끝나야 풀로 돌아오므로, 반환
전에 먼저 동기화하십시오. 최대값은 ha_drv_device_mem_reset_peak_stats()로 다시 셉니다.
3.2 데이터 전송 (Transfer)¶
1차원 전송 (1-D Transfer)¶
ha_drv_memcpy는 호스트↔디바이스 또는 디바이스↔디바이스 1차원 전송을 스트림에 큐잉합니다. 호스트↔디바이스
복사에서 디바이스 쪽이 DRAM 채널에 인터리브 할당된 메모리이면, 드라이버가 채널 조각마다 작업을 나눠 큐잉합니다.
1 2 3 4 5 | |
다차원 텐서 전송 (Multi-dimensional Transfer)¶
ha_drv_memcpy_nd는 HaLayout 구조체로 기술한 N차원 복사를 하위 전송으로 나눠 스트림에 큐잉합니다. 전송
조각이 작고 많은 호스트↔디바이스 복사는 드라이버가 할당하는 호스트 스테이징 버퍼를 거칩니다.
- 호스트 → 디바이스: 반환 시점에 원본 호스트 버퍼가 스테이징 버퍼로 이미 복사되어 있습니다.
- 디바이스 → 호스트: 이 복사 뒤의 스트림 동기화(
ha_drv_wait)가 끝날 때 목적지 호스트 버퍼에 결과가 반영됩니다.
스테이징 버퍼는 그 동기화 시점이나 스트림 파괴, 디바이스 리셋 때 해제됩니다. 동기화되지 않은 스테이징 버퍼의 합계가
HA_MEMCPYND_ASYNC_STAGING_MAX_UNSYNCED_BYTES를 넘으면 새 스테이징 복사는 자기 스트림을 먼저 동기화한 뒤 진행하고,
HA_MEMCPYND_STAGING_MAX_BYTES나 HA_HOST_MEM_MAX_BYTES를 넘으면 HaHostMemLimitExceeded로 거부됩니다. 각 변수의
기본값은 환경 변수를 참고하십시오.
1 2 3 4 5 6 7 8 9 10 11 12 | |
디바이스 간 전송 (Peer Transfer)¶
ha_drv_memcpy와 ha_drv_memcpy_nd의 디바이스→디바이스 복사는 목적지로 다른 디바이스의 주소를 받을 수
있습니다(P2P). 이때 dev에는 원본을 가진 디바이스의 핸들을 넘깁니다. P2P 지원 여부는 HA_DEV_ATTR_P2P_SUPPORTED
속성으로 확인합니다. ha_drv_memcpy_nd로 P2P 전송을 할 때는 개별 전송이 드라이버의 최소 전송 크기를 충족해야 하며,
미달하면 HaMemCpyNotSupported를 반환합니다.
| API | 동기 여부 | 동작 |
|---|---|---|
ha_drv_memcpy() |
Async | 1차원 복사 작업을 스트림에 큐잉 |
ha_drv_memcpy_nd() |
Async | N차원 레이아웃 복사 작업을 스트림에 큐잉(필요 시 호스트 스테이징 적용) |
ha_drv_get_attr() + HA_DEV_ATTR_P2P_SUPPORTED |
Sync | 디바이스 간 직접 복사(P2P) 지원 여부 확인 |
주의: 호스트 버퍼 수명
비동기 전송에 전달한 호스트 버퍼는 대상 스트림을 동기화(ha_drv_wait)하기 전까지 해제하거나 재사용해서는
안 됩니다. 반환 시점에는 디바이스 전송이 아직 진행 중일 수 있습니다.
3.3 파일 직접 로드 (Direct File Load)¶
호스트 메모리를 거치지 않고 파일 디스크립터(File Descriptor)에서 디바이스 메모리로 데이터를 직접 DMA 적재합니다.
HA_STREAM_OP_LOAD_FILE 스트림 작업으로 큐잉하며, 파일 디스크립터는 DMA가 끝날 때까지 열려 있어야 합니다.
1 2 3 4 5 6 | |
3.4 TLB 관리 (TLB)¶
TLB 함수는 런타임 TLB API와 같은 기능을 디바이스 핸들(HaDrvDev) 단위로 제공합니다.
| API | 동작 |
|---|---|
ha_drv_init_tlb() |
정적 KV 캐시 지오메트리(Geometry)로 TLB 초기화 |
ha_drv_alloc_tlb_page() / ha_drv_dealloc_tlb_page() |
요청 단위 Key/Value 페이지 할당 및 반환 |
ha_drv_configure_tlb() |
Page-table TLB 구조 설정 |
ha_drv_set_page_table_range() |
페이지 테이블 주소 범위 및 크기 설정 |
ha_drv_flush_tlb() |
TLB 캐시 전체 플러시 및 무효화 |
3.5 호스트 메모리 (Host Memory)¶
드라이버 API는 디바이스와 무관한 프로세스 단위 호스트 메모리 관리자를 제공합니다. 디바이스를 열지 않아도 되므로
ha_drv_init 이전에도 호출할 수 있습니다. 할당마다 용도 태그(HaDrvHostMemTag)를 지정하며, 관리자는 태그별 통계를 유지하고 프로세스
전체 한도를 적용합니다. ha_drv_memcpy_nd가 사용하는 호스트 스테이징 버퍼도 같은
관리자에서 할당되므로 이 한도에 함께 포함됩니다.
| API | 동작 |
|---|---|
ha_drv_host_mem_alloc() |
태그와 플래그를 지정해 64바이트 정렬 호스트 메모리 할당 |
ha_drv_host_mem_free() |
할당한 호스트 메모리 해제 |
ha_drv_host_mem_get_stats() |
프로세스 전체 호스트 메모리 통계(현재·피크 할당량, OS에서 확보한 양, 할당·해제 횟수) 조회 |
ha_drv_host_mem_reset_peak_stats() |
피크 통계를 현재 값에서 다시 시작 |
ha_drv_host_mem_trim() |
재사용용으로 보관 중인 해제된 메모리를 가능한 만큼 OS에 반환 |
해제한 메모리는 풀에 남아 이후 할당에 재사용됩니다. 한도를 넘는 할당이 들어오면 관리자는 통째로 빈 풀
세그먼트를 먼저 OS에 반환하고, 그래도 부족하면 HaHostMemLimitExceeded로 할당을 거부합니다. HA_HOST_MEM_FLAG_NO_POOL을 지정한 할당은
풀을 거치지 않고 해제 즉시 OS로 반환됩니다. 보관 중인 해제 메모리를 직접 돌려주려면 ha_drv_host_mem_trim()을
호출합니다. 살아 있는 할당이 남은 풀 세그먼트는 그대로 유지되며, 아직 해제되지 않은 버퍼에는 영향이 없습니다.
| 환경 변수 | 효과 |
|---|---|
HA_HOST_MEM_MAX_BYTES |
프로세스가 OS에서 확보하는 호스트 메모리의 상한(바이트). 미설정이거나 음수이면 한도 없음 |
fork 이후 사용 금지
호스트 메모리 관리자는 fork에 안전하지 않습니다. 자식 프로세스는 부모에게서 물려받은 호스트 메모리를 사용해서는 안 되며, 물려받은 통계도 신뢰할 수 없습니다.
다음 단계¶
- 스트림과 이벤트 — 스트림 작업과 대기
- Driver API: Memory · Driver API: TLB — 함수별 시그니처