빠른 설치¶
LPU 카드가 꽂힌 리눅스 서버 한 대에 드라이버를 깔고, SDK에서 카드가 보이는 것까지 확인합니다. SDK 설치는 여기 한 곳에서만 다룹니다. 각 구성요소 문서에는 설치 절차를 따로 두지 않습니다.
필요한 것¶
| 서버 | x86_64, Ubuntu 22.04 또는 24.04 |
| 카드 | LPU 1장 이상 |
| 권한 | 드라이버 설치에 root |
| 컨테이너 | Docker 25 이상 또는 containerd |
| 계정 | 하이퍼엑셀이 발급한 아이디와 비밀번호, hyperaccel-keyring 파일 |
드라이버와 이미지는 모두 public.hyperaccel.net에서 이 계정으로 로그인해 받습니다.
1. 카드 확인¶
1 | |
20fb는 하이퍼엑셀의 PCI 벤더 번호입니다. 꽂힌 카드 수만큼 줄이 나와야 합니다.
아무것도 나오지 않으면 드라이버 이전의 문제입니다. 카드 장착, 전원, BIOS의 PCIe 설정을 먼저 보십시오.
2. 드라이버와 툴킷¶
호스트에 한 번 설치합니다. 컨테이너 안에는 설치하지 않습니다.
1 2 3 4 5 6 7 8 9 10 11 | |
hyperaccel-lpu는 커널 드라이버(hyperdriver-dkms)와 컨테이너 툴킷(ha-container-toolkit)을 함께 설치합니다.
드라이버는 DKMS로 등록되어 커널을 올려도 다시 빌드되고, 부팅할 때 자동으로 올라옵니다.
툴킷은 컨테이너가 카드를 이름(hyperaccel.ai/lpu)으로 요청할 수 있게 해 줍니다. 컨테이너 지원을 보십시오.
설치가 끝나면 카드마다 장치 파일이 생깁니다.
1 2 | |
hyperaccel-smi는 카드별 상태(온도, 전력, 메모리 사용량, 펌웨어 버전)를 보여 줍니다.
Secure Boot를 켠 서버는 드라이버 설치를 보십시오.
지원 환경, 설치 확인, 업그레이드와 제거처럼 드라이버 설치를 더 자세히 알고 싶다면 드라이버 설치와 설정을 보십시오.
3. SDK 이미지¶
SDK는 컨테이너 이미지로 받습니다. 같은 계정으로 로그인합니다.
1 | |
| 이미지 | 쓰는 곳 |
|---|---|
public.hyperaccel.net/hyperaccel-public/hyperaccel-sdk:v0.0.6 |
PyTorch, 커널 |
public.hyperaccel.net/hyperaccel-public/vllm-hyperaccel:0.0.6 |
vLLM 서빙 |
이미지 태그 규칙은 릴리즈에 있습니다.
4. SDK에서 카드 확인¶
1 2 3 | |
꽂힌 카드 수가 나오면 설치가 끝났습니다. 이어서 빠른 시작으로 가십시오.
CDI를 쓰지 않는 환경에서는 --device hyperaccel.ai/lpu=all 대신 --device /dev/ha0 --device /dev/ha1처럼 장치 파일을 하나씩 넘깁니다.
막혔을 때¶
| 증상 | 볼 곳 |
|---|---|
lspci -d 20fb:에 아무것도 없음 |
카드 장착, 전원, BIOS |
apt update에서 401 |
/etc/apt/auth.conf.d/hyperaccel.conf의 아이디, 비밀번호 |
/dev/ha*가 없음 |
sudo dmesg \| grep -i ha로 모듈 로드 실패 이유 확인. 커널 로그에서 인식 결과 확인 |
docker pull에서 unauthorized |
docker login public.hyperaccel.net, 이미지 이름의 hyperaccel-public/ |
PermissionError: /dev/ha0 |
장치 파일 권한. 디바이스 노드 확인 |
get_device_count()가 0 |
--device를 빠뜨렸거나 CDI가 꺼져 있음 |