콘텐츠로 이동

3. 메모리 모델

드라이버 API의 메모리 함수는 반환 시점이 서로 다릅니다.

  • 할당과 해제는 호출 안에서 끝납니다: ha_drv_malloc, ha_drv_malloc_3d, ha_drv_free는 반환 시점에 할당·해제를 마칩니다. 세 함수는 stream 인자를 사용하지 않으므로 그 스트림의 작업 순서를 따르지 않습니다. 스트림에 앞서 큐잉한 작업이 끝난 뒤 해제하려면 스트림 작업 HA_STREAM_OP_FREE를 사용합니다.
  • 데이터 전송은 큐잉한 뒤 바로 반환합니다: ha_drv_memcpy와 ha_drv_memcpy_nd는 HA_STREAM_DEFAULT를 포함한 모든 스트림에서 비동기로 동작합니다. 반환은 전송 명령이 스트림에 들어갔다는 뜻일 뿐입니다.

따라서 호출하는 쪽에서 다음 두 가지를 지켜야 합니다.

  1. 디바이스가 아직 사용하는 메모리를 ha_drv_free로 해제하지 마십시오. 그 메모리를 쓰는 작업이 끝났음을 ha_drv_wait로 확인한 뒤 해제하거나, HA_STREAM_OP_FREE로 스트림 순서에 맞춰 해제합니다.
  2. 전송에 넘긴 호스트 버퍼는 ha_drv_wait로 완료를 확인할 때까지 해제하거나 수정하지 마십시오. 스테이징을 거치는 ha_drv_memcpy_nd 호스트→디바이스 복사의 원본만 예외입니다(3.2절).

Contents

Section Objective
3.1 할당과 해제 (Allocation & Deallocation) 동기 할당·해제와 스트림 순서를 따르는 비동기 해제
3.2 데이터 전송 (Transfer) 1차원 복사, N차원 텐서 복사, 디바이스 간 직접 전송(P2P)
3.3 파일 직접 로드 (Direct File Load) 파일 디스크립터(FD)에서 디바이스 메모리로의 직접 DMA 적재
3.4 TLB 관리 (TLB) 정적 KV 캐시 TLB와 페이지 테이블(Page-table) TLB 진입점
3.5 호스트 메모리 (Host Memory) 프로세스 호스트 메모리 관리자를 통한 할당과 한도

3.1 할당과 해제 (Allocation & Deallocation)

할당 (Allocation)

ha_drv_malloc과 ha_drv_malloc_3d는 동기 방식입니다.

1
2
3
4
5
6
7
8
9
HaDevicePtr buf = 0;
// DRAM 채널에 인터리브(Interleaving) 방식으로 할당
ha_drv_malloc(dev, &buf, size_bytes, /*is_interleaved=*/true, HA_STREAM_DEFAULT);

HaShape shape{/*w=*/4096, /*h=*/64, /*c=*/1};
HaDevicePtr shaped = 0;
size_t nbytes = 0;
// 3D Shape 규격 기반 할당
ha_drv_malloc_3d(dev, &shaped, shape, /*is_interleaved=*/true, HA_STREAM_DEFAULT, &nbytes);

해제 (Deallocation)

즉시 해제는 ha_drv_free를 사용하며, 스트림에 앞서 큐잉한 작업이 끝난 뒤 해제하려면 HA_STREAM_OP_FREE 스트림 작업을 큐잉합니다. HA_STREAM_OP_FREE는 CUDA의 cudaFreeAsync처럼 스트림 순서를 따릅니다. 메모리는 이 작업 뒤에 호출한 스트림 동기화(HA_WAIT_STREAM_SYNC 또는 HA_WAIT_DEVICE_SYNC)가 성공하거나 스트림을 파괴할 때 풀로 돌아갑니다. 다른 디바이스에서 할당한 메모리를 해제할 때는 free.owner에 그 디바이스의 핸들을 지정합니다.

1
2
3
4
5
6
7
8
// 1. 즉시 해제: 이 메모리를 쓰는 스트림 작업이 모두 끝난 뒤 호출해야 합니다. 스트림 인자는 사용하지 않습니다.
ha_drv_wait(dev, HA_STREAM_DEFAULT, nullptr, HA_WAIT_STREAM_SYNC, -1, nullptr);
ha_drv_free(dev, buf, HA_STREAM_DEFAULT);

// 2. 스트림 순서 해제: 앞서 큐잉한 작업 뒤에 해제되고, 이후 동기화 시점에 풀로 돌아갑니다.
HaDrvStreamOp free_op{HA_STREAM_OP_FREE, {}};
free_op.free.ptr = shaped;
ha_drv_stream_post(dev, stream, &free_op, nullptr);
API 동기 여부 동작
ha_drv_malloc() Sync 디바이스 메모리 할당. stream 인자는 사용하지 않음
ha_drv_malloc_3d() Sync 3D Shape 규격 기반 디바이스 메모리 할당. stream 인자는 사용하지 않음
ha_drv_free() Sync 디바이스 메모리 즉시 해제. stream 인자는 사용하지 않음
ha_drv_stream_post() + HA_STREAM_OP_FREE Async 스트림 작업 순서를 따르는 비동기 해제

사용량 확인과 반환 (Memory Statistics & Trim)

해제된 디바이스 메모리는 런타임 풀로 돌아가 재사용되며, 빈 세그먼트도 조건에 따라 풀에 보관되므로 드라이버가 보는 여유 메모리가 바로 늘지 않을 수 있습니다. 디바이스의 메모리 상태는 ha_drv_device_mem_get_stats()로 확인하며, 풀 카운터와 드라이버가 보고하는 디바이스 전체의 여유 DRAM(free_bytes)을 함께 돌려줍니다. 할당된 블록이 없는 풀 세그먼트는 ha_drv_device_mem_trim()으로 드라이버에 반환합니다. HA_STREAM_OP_FREE로 해제한 메모리는 그 작업 뒤의 동기화가 끝나야 풀로 돌아오므로, 반환 전에 먼저 동기화하십시오. 최대값은 ha_drv_device_mem_reset_peak_stats()로 다시 셉니다.

3.2 데이터 전송 (Transfer)

1차원 전송 (1-D Transfer)

ha_drv_memcpy는 호스트↔디바이스 또는 디바이스↔디바이스 1차원 전송을 스트림에 큐잉합니다. 호스트↔디바이스 복사에서 디바이스 쪽이 DRAM 채널에 인터리브 할당된 메모리이면, 드라이버가 채널 조각마다 작업을 나눠 큐잉합니다.

1
2
3
4
5
ha_drv_memcpy(dev, buf, reinterpret_cast<HaDevicePtr>(host_in), n, HaMemCpyDirection::HostToDevice, stream);
ha_drv_memcpy(dev, reinterpret_cast<HaDevicePtr>(host_out), buf, n, HaMemCpyDirection::DeviceToHost, stream);

// 스트림을 동기화해야 전송 완료가 보장됩니다.
ha_drv_wait(dev, stream, nullptr, HA_WAIT_STREAM_SYNC, -1, nullptr);

다차원 텐서 전송 (Multi-dimensional Transfer)

ha_drv_memcpy_nd는 HaLayout 구조체로 기술한 N차원 복사를 하위 전송으로 나눠 스트림에 큐잉합니다. 전송 조각이 작고 많은 호스트↔디바이스 복사는 드라이버가 할당하는 호스트 스테이징 버퍼를 거칩니다.

  • 호스트 → 디바이스: 반환 시점에 원본 호스트 버퍼가 스테이징 버퍼로 이미 복사되어 있습니다.
  • 디바이스 → 호스트: 이 복사 뒤의 스트림 동기화(ha_drv_wait)가 끝날 때 목적지 호스트 버퍼에 결과가 반영됩니다.

스테이징 버퍼는 그 동기화 시점이나 스트림 파괴, 디바이스 리셋 때 해제됩니다. 동기화되지 않은 스테이징 버퍼의 합계가 HA_MEMCPYND_ASYNC_STAGING_MAX_UNSYNCED_BYTES를 넘으면 새 스테이징 복사는 자기 스트림을 먼저 동기화한 뒤 진행하고, HA_MEMCPYND_STAGING_MAX_BYTES나 HA_HOST_MEM_MAX_BYTES를 넘으면 HaHostMemLimitExceeded로 거부됩니다. 각 변수의 기본값은 환경 변수를 참고하십시오.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
HaLayout dev_layout = HA_LAYOUT_INIT;
dev_layout.scope = HaMemScope::Device;
dev_layout.dtype = HaDataType::Bytes;
dev_layout.ndim = 1;
dev_layout.shape[0] = n;
dev_layout.strides[0] = 1;

HaLayout host_layout = dev_layout;
host_layout.scope = HaMemScope::Host;

ha_drv_memcpy_nd(dev, buf, &dev_layout, reinterpret_cast<HaDevicePtr>(host_in), &host_layout, stream);
ha_drv_wait(dev, stream, nullptr, HA_WAIT_STREAM_SYNC, -1, nullptr);

디바이스 간 전송 (Peer Transfer)

ha_drv_memcpy와 ha_drv_memcpy_nd의 디바이스→디바이스 복사는 목적지로 다른 디바이스의 주소를 받을 수 있습니다(P2P). 이때 dev에는 원본을 가진 디바이스의 핸들을 넘깁니다. P2P 지원 여부는 HA_DEV_ATTR_P2P_SUPPORTED 속성으로 확인합니다. ha_drv_memcpy_nd로 P2P 전송을 할 때는 개별 전송이 드라이버의 최소 전송 크기를 충족해야 하며, 미달하면 HaMemCpyNotSupported를 반환합니다.

API 동기 여부 동작
ha_drv_memcpy() Async 1차원 복사 작업을 스트림에 큐잉
ha_drv_memcpy_nd() Async N차원 레이아웃 복사 작업을 스트림에 큐잉(필요 시 호스트 스테이징 적용)
ha_drv_get_attr() + HA_DEV_ATTR_P2P_SUPPORTED Sync 디바이스 간 직접 복사(P2P) 지원 여부 확인

주의: 호스트 버퍼 수명

비동기 전송에 전달한 호스트 버퍼는 대상 스트림을 동기화(ha_drv_wait)하기 전까지 해제하거나 재사용해서는 안 됩니다. 반환 시점에는 디바이스 전송이 아직 진행 중일 수 있습니다.

3.3 파일 직접 로드 (Direct File Load)

호스트 메모리를 거치지 않고 파일 디스크립터(File Descriptor)에서 디바이스 메모리로 데이터를 직접 DMA 적재합니다. HA_STREAM_OP_LOAD_FILE 스트림 작업으로 큐잉하며, 파일 디스크립터는 DMA가 끝날 때까지 열려 있어야 합니다.

1
2
3
4
5
6
HaDrvStreamOp load{HA_STREAM_OP_LOAD_FILE, {}};
load.load_file = {fd, /*off=*/0, buf, len};
ha_drv_stream_post(dev, stream, &load, nullptr);

ha_drv_wait(dev, stream, nullptr, HA_WAIT_STREAM_SYNC, -1, nullptr);
close(fd);   // 동기화 완료 확인 후 파일 디스크립터를 닫습니다

3.4 TLB 관리 (TLB)

TLB 함수는 런타임 TLB API와 같은 기능을 디바이스 핸들(HaDrvDev) 단위로 제공합니다.

API 동작
ha_drv_init_tlb() 정적 KV 캐시 지오메트리(Geometry)로 TLB 초기화
ha_drv_alloc_tlb_page() / ha_drv_dealloc_tlb_page() 요청 단위 Key/Value 페이지 할당 및 반환
ha_drv_configure_tlb() Page-table TLB 구조 설정
ha_drv_set_page_table_range() 페이지 테이블 주소 범위 및 크기 설정
ha_drv_flush_tlb() TLB 캐시 전체 플러시 및 무효화

3.5 호스트 메모리 (Host Memory)

드라이버 API는 디바이스와 무관한 프로세스 단위 호스트 메모리 관리자를 제공합니다. 디바이스를 열지 않아도 되므로 ha_drv_init 이전에도 호출할 수 있습니다. 할당마다 용도 태그(HaDrvHostMemTag)를 지정하며, 관리자는 태그별 통계를 유지하고 프로세스 전체 한도를 적용합니다. ha_drv_memcpy_nd가 사용하는 호스트 스테이징 버퍼도 같은 관리자에서 할당되므로 이 한도에 함께 포함됩니다.

API 동작
ha_drv_host_mem_alloc() 태그와 플래그를 지정해 64바이트 정렬 호스트 메모리 할당
ha_drv_host_mem_free() 할당한 호스트 메모리 해제
ha_drv_host_mem_get_stats() 프로세스 전체 호스트 메모리 통계(현재·피크 할당량, OS에서 확보한 양, 할당·해제 횟수) 조회
ha_drv_host_mem_reset_peak_stats() 피크 통계를 현재 값에서 다시 시작
ha_drv_host_mem_trim() 재사용용으로 보관 중인 해제된 메모리를 가능한 만큼 OS에 반환

해제한 메모리는 풀에 남아 이후 할당에 재사용됩니다. 한도를 넘는 할당이 들어오면 관리자는 통째로 빈 풀 세그먼트를 먼저 OS에 반환하고, 그래도 부족하면 HaHostMemLimitExceeded로 할당을 거부합니다. HA_HOST_MEM_FLAG_NO_POOL을 지정한 할당은 풀을 거치지 않고 해제 즉시 OS로 반환됩니다. 보관 중인 해제 메모리를 직접 돌려주려면 ha_drv_host_mem_trim()을 호출합니다. 살아 있는 할당이 남은 풀 세그먼트는 그대로 유지되며, 아직 해제되지 않은 버퍼에는 영향이 없습니다.

환경 변수 효과
HA_HOST_MEM_MAX_BYTES 프로세스가 OS에서 확보하는 호스트 메모리의 상한(바이트). 미설정이거나 음수이면 한도 없음

fork 이후 사용 금지

호스트 메모리 관리자는 fork에 안전하지 않습니다. 자식 프로세스는 부모에게서 물려받은 호스트 메모리를 사용해서는 안 되며, 물려받은 통계도 신뢰할 수 없습니다.


다음 단계