콘텐츠로 이동

빠른 설치

LPU 카드가 꽂힌 리눅스 서버 한 대에 드라이버를 깔고, SDK에서 카드가 보이는 것까지 확인합니다. SDK 설치는 여기 한 곳에서만 다룹니다. 각 구성요소 문서에는 설치 절차를 따로 두지 않습니다.

필요한 것

서버 x86_64, Ubuntu 22.04 또는 24.04
카드 LPU 1장 이상
권한 드라이버 설치에 root
컨테이너 Docker 25 이상 또는 containerd
계정 하이퍼엑셀이 발급한 아이디와 비밀번호, hyperaccel-keyring 파일

드라이버와 이미지는 모두 public.hyperaccel.net에서 이 계정으로 로그인해 받습니다.

1. 카드 확인

1
lspci -d 20fb:

20fb는 하이퍼엑셀의 PCI 벤더 번호입니다. 꽂힌 카드 수만큼 줄이 나와야 합니다. 아무것도 나오지 않으면 드라이버 이전의 문제입니다. 카드 장착, 전원, BIOS의 PCIe 설정을 먼저 보십시오.

2. 드라이버와 툴킷

호스트에 한 번 설치합니다. 컨테이너 안에는 설치하지 않습니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
sudo apt install -y dkms linux-headers-$(uname -r)

# apt가 하이퍼엑셀 저장소에 로그인할 계정
sudo tee /etc/apt/auth.conf.d/hyperaccel.conf > /dev/null <<'EOF'
machine public.hyperaccel.net login <아이디> password <비밀번호>
EOF
sudo chmod 600 /etc/apt/auth.conf.d/hyperaccel.conf

sudo apt install -y ./hyperaccel-keyring_<버전>_all.deb    # 계정과 함께 받은 파일. 저장소 주소와 서명 키 등록
sudo apt update
sudo apt install -y hyperaccel-lpu

hyperaccel-lpu는 커널 드라이버(hyperdriver-dkms)와 컨테이너 툴킷(ha-container-toolkit)을 함께 설치합니다. 드라이버는 DKMS로 등록되어 커널을 올려도 다시 빌드되고, 부팅할 때 자동으로 올라옵니다. 툴킷은 컨테이너가 카드를 이름(hyperaccel.ai/lpu)으로 요청할 수 있게 해 줍니다. 컨테이너 지원을 보십시오.

설치가 끝나면 카드마다 장치 파일이 생깁니다.

1
2
ls /dev/ha*
hyperaccel-smi

hyperaccel-smi는 카드별 상태(온도, 전력, 메모리 사용량, 펌웨어 버전)를 보여 줍니다. Secure Boot를 켠 서버는 드라이버 설치를 보십시오.

지원 환경, 설치 확인, 업그레이드와 제거처럼 드라이버 설치를 더 자세히 알고 싶다면 드라이버 설치와 설정을 보십시오.

3. SDK 이미지

SDK는 컨테이너 이미지로 받습니다. 같은 계정으로 로그인합니다.

1
docker login public.hyperaccel.net
이미지 쓰는 곳
public.hyperaccel.net/hyperaccel-public/hyperaccel-sdk:v0.0.6 PyTorch, 커널
public.hyperaccel.net/hyperaccel-public/vllm-hyperaccel:0.0.6 vLLM 서빙

이미지 태그 규칙은 릴리즈에 있습니다.

4. SDK에서 카드 확인

1
2
3
docker run --rm --device hyperaccel.ai/lpu=all --entrypoint python3 \
  public.hyperaccel.net/hyperaccel-public/hyperaccel-sdk:v0.0.6 \
  -c "import hart; print(hart.get_device_count())"

꽂힌 카드 수가 나오면 설치가 끝났습니다. 이어서 빠른 시작으로 가십시오.

CDI를 쓰지 않는 환경에서는 --device hyperaccel.ai/lpu=all 대신 --device /dev/ha0 --device /dev/ha1처럼 장치 파일을 하나씩 넘깁니다.

막혔을 때

증상 볼 곳
lspci -d 20fb:에 아무것도 없음 카드 장착, 전원, BIOS
apt update에서 401 /etc/apt/auth.conf.d/hyperaccel.conf의 아이디, 비밀번호
/dev/ha*가 없음 sudo dmesg \| grep -i ha로 모듈 로드 실패 이유 확인. 커널 로그에서 인식 결과 확인
docker pull에서 unauthorized docker login public.hyperaccel.net, 이미지 이름의 hyperaccel-public/
PermissionError: /dev/ha0 장치 파일 권한. 디바이스 노드 확인
get_device_count()가 0 --device를 빠뜨렸거나 CDI가 꺼져 있음