Python VMM API¶
KV 캐시 가상 메모리는 C++ VMM API와 PyTorch
torch.ops.lpu.vmm_* 연산으로 사용합니다. 두 API가
HW 페이지를 관리하며, Python에서는 PyTorch 연산을 호출하십시오.
KV 캐시 가상 메모리는 C++ VMM API와 PyTorch
torch.ops.lpu.vmm_* 연산으로 사용합니다. 두 API가
HW 페이지를 관리하며, Python에서는 PyTorch 연산을 호출하십시오.