HyperAccel SDK¶
HyperAccel SDK는 하이퍼엑셀 LPU에서 LLM을 돌리는 데 필요한 소프트웨어를 한데 묶은 것입니다. 런타임, PyTorch 백엔드, 커널 컴파일러, vLLM 플러그인이 함께 나오고, 지금 버전은 0.0.6입니다. 컴파일러 legato와 드라이버는 버전 번호가 따로입니다. 버전 대응은 릴리즈에 있습니다.
모델 코드를 LPU에 맞게 고칠 필요는 없습니다. PyTorch에서는 장치 이름을 lpu로 바꾸면 되고,
vLLM에서는 vllm serve를 그대로 씁니다.
LPU 카드¶
| 칩 | Bertha |
| 메모리 | LPDDR5X 128 GiB |
| 호스트 연결 | PCIe Gen5 x16 |
| 여러 장 | 모델을 층 단위로 나눠 2장이나 4장에 올립니다 (파이프라인 병렬) |
LLM이 답을 만들 때는 토큰 하나마다 가중치 전체를 메모리에서 한 번씩 읽습니다. 그래서 토큰 생성 속도는 연산 장치보다 메모리에서 얼마나 빨리 읽어 오느냐에 더 크게 좌우되고, LPU는 이 읽기에 맞춰 설계한 칩입니다.
SDK 구성¶
위에서 아래로, 사용자 코드에 가까운 것부터 적었습니다.
| 층 | 패키지 | 하는 일 |
|---|---|---|
| 모델 서빙 | vllm_hyperaccel |
vLLM 하드웨어 플러그인. vLLM을 고치지 않고 LPU를 붙입니다 |
| PyTorch | torch_ha, torch_legato |
PyTorch에 lpu 장치를 더하고, torch.compile 백엔드를 줍니다 |
| 커널 | legato, legato_kernels |
Python으로 LPU 커널을 쓰는 언어(Legato)와 그 컴파일러, LLM 연산 커널 모음 |
| 런타임 | hart |
장치 메모리, 커널 실행, 스트림과 이벤트 |
| 카드 간 통신 | lccl |
여러 장 사이의 집합 통신 |
| 도구 | hapti, ha_intercept, ha_telemetry, halogger |
프로파일링, 호출 추적, OpenTelemetry 내보내기, 로그 |
| 드라이버 | ha 커널 모듈 |
호스트에 설치합니다. 카드마다 /dev/ha0, /dev/ha1 … 장치 파일을 만듭니다 |
드라이버만 호스트에 깔고, 나머지는 컨테이너 이미지로 받습니다. 둘 다 하이퍼엑셀이 발급한 계정으로 로그인해 받습니다.
0.0.6 지원 범위¶
| 운영체제 | Ubuntu 22.04, 24.04 (x86_64) |
| Python | 3.10 |
| PyTorch | 2.10 |
| vLLM | 0.28 |
| 모델 | Qwen3-8B, Qwen3-30B-A3B, Gemma-4-31B, EXAONE-4.5-33B, Llama-2-7B. 자세한 조건은 vLLM 지원 모델 |
| 정밀도 | BF16. 모델에 따라 FP8, INT4 가중치 |
어디부터 읽을까¶
| 하려는 일 | 시작할 문서 |
|---|---|
| 처음 설치하고 한 번 돌려 보기 | 빠른 설치, 빠른 시작 |
| 모델을 API 서버로 띄우기 | vLLM |
| PyTorch 코드를 LPU에서 돌리기 | Torch |
| 연산을 직접 짜기 | Compiler, 커널 |
| 쿠버네티스로 여러 서버 운영하기 | 클라우드 네이티브 |
| 버전과 받는 곳 | 릴리즈 |
| 구성요소별 예제 찾기 | 튜토리얼 |