콘텐츠로 이동

HyperAccel SDK

HyperAccel SDK는 하이퍼엑셀 LPU에서 LLM을 돌리는 데 필요한 소프트웨어를 한데 묶은 것입니다. 런타임, PyTorch 백엔드, 커널 컴파일러, vLLM 플러그인이 함께 나오고, 지금 버전은 0.0.6입니다. 컴파일러 legato와 드라이버는 버전 번호가 따로입니다. 버전 대응은 릴리즈에 있습니다.

모델 코드를 LPU에 맞게 고칠 필요는 없습니다. PyTorch에서는 장치 이름을 lpu로 바꾸면 되고, vLLM에서는 vllm serve를 그대로 씁니다.

LPU 카드

칩 Bertha
메모리 LPDDR5X 128 GiB
호스트 연결 PCIe Gen5 x16
여러 장 모델을 층 단위로 나눠 2장이나 4장에 올립니다 (파이프라인 병렬)

LLM이 답을 만들 때는 토큰 하나마다 가중치 전체를 메모리에서 한 번씩 읽습니다. 그래서 토큰 생성 속도는 연산 장치보다 메모리에서 얼마나 빨리 읽어 오느냐에 더 크게 좌우되고, LPU는 이 읽기에 맞춰 설계한 칩입니다.

SDK 구성

위에서 아래로, 사용자 코드에 가까운 것부터 적었습니다.

층 패키지 하는 일
모델 서빙 vllm_hyperaccel vLLM 하드웨어 플러그인. vLLM을 고치지 않고 LPU를 붙입니다
PyTorch torch_ha, torch_legato PyTorch에 lpu 장치를 더하고, torch.compile 백엔드를 줍니다
커널 legato, legato_kernels Python으로 LPU 커널을 쓰는 언어(Legato)와 그 컴파일러, LLM 연산 커널 모음
런타임 hart 장치 메모리, 커널 실행, 스트림과 이벤트
카드 간 통신 lccl 여러 장 사이의 집합 통신
도구 hapti, ha_intercept, ha_telemetry, halogger 프로파일링, 호출 추적, OpenTelemetry 내보내기, 로그
드라이버 ha 커널 모듈 호스트에 설치합니다. 카드마다 /dev/ha0, /dev/ha1 … 장치 파일을 만듭니다

드라이버만 호스트에 깔고, 나머지는 컨테이너 이미지로 받습니다. 둘 다 하이퍼엑셀이 발급한 계정으로 로그인해 받습니다.

0.0.6 지원 범위

운영체제 Ubuntu 22.04, 24.04 (x86_64)
Python 3.10
PyTorch 2.10
vLLM 0.28
모델 Qwen3-8B, Qwen3-30B-A3B, Gemma-4-31B, EXAONE-4.5-33B, Llama-2-7B. 자세한 조건은 vLLM 지원 모델
정밀도 BF16. 모델에 따라 FP8, INT4 가중치

어디부터 읽을까

하려는 일 시작할 문서
처음 설치하고 한 번 돌려 보기 빠른 설치, 빠른 시작
모델을 API 서버로 띄우기 vLLM
PyTorch 코드를 LPU에서 돌리기 Torch
연산을 직접 짜기 Compiler, 커널
쿠버네티스로 여러 서버 운영하기 클라우드 네이티브
버전과 받는 곳 릴리즈
구성요소별 예제 찾기 튜토리얼