콘텐츠로 이동

설치

드라이버 ha.ko를 설치하는 절차입니다. 드라이버는 deb 패키지 hyperdriver-dkms로 배포됩니다. 설치하면 모듈이 부팅 때 자동으로 적재되고, udev 규칙과 운영 도구(hyperaccel-smi, ha-hotreset, ha-fw-update, ha-led, ha-wipe)가 함께 설치됩니다. 설치가 끝나면 LPU 디바이스마다 /dev/haN과 /sys/class/ha/haN/이 생깁니다. 설치한 뒤에는 설치 확인을 따라 정상 동작 여부를 확인하십시오.


설치 전에

필요한 것

항목 요구 사항
권한 root
실행 중인 커널 드라이버가 빌드되는 커널
실행 중인 커널의 헤더 미리 설치하십시오
dkms 의존성으로 설치됩니다
python3 의존성으로 설치됩니다
pciutils 의존성으로 설치됩니다
  • python3는 hyperaccel-smi, ha-fw-update, ha-led, ha-wipe가 씁니다. ha-fw-update에는 Python 3.7 이상이 필요합니다.
  • pciutils의 lspci와 setpci는 ha-hotreset이 씁니다. ha-fw-update와 ha-wipe도 카드를 리셋할 때 ha-hotreset을 거칩니다.
  • 설치하는 장비에서 ha.ko를 빌드하므로 컴파일러(gcc)와 make가 필요합니다. dkms 패키지가 이 둘을 의존성으로 함께 설치합니다.

디바이스가 보이는지 확인

1
lspci -nn -d 20fb:

카드마다 한 줄이 나와야 합니다. 아무것도 나오지 않으면 드라이버를 설치해도 디바이스 노드가 생기지 않습니다. 카드 장착과 전원을 먼저 확인하십시오.

Secure Boot

Secure Boot가 켜진 장비는 등록된 키로 서명한 모듈만 적재합니다. 상태는 mokutil --sb-state로 확인합니다.

dkms가 자체 키로 ha.ko에 서명하므로 그 키를 한 번 등록해야 합니다. Secure Boot 키 등록을 보십시오.


deb 패키지로 설치

hyperdriver-dkms 패키지는 드라이버 소스를 DKMS로 설치합니다. Ubuntu와 Debian에서 씁니다.

항목 값
패키지 이름 hyperdriver-dkms
아키텍처 all
의존성 dkms, linux-headers-generic 또는 linux-headers-amd64, python3

CDI 스펙은 이 패키지가 아니라 HyperAccel 컨테이너 툴킷(ha-container-toolkit)이 만듭니다. 컨테이너 지원을 보십시오.

절차

HyperAccel apt 저장소에서 hyperaccel-lpu를 설치해도 이 패키지가 함께 설치됩니다. 저장소 등록은 빠른 설치를 보십시오. 받아 둔 deb 파일로 직접 설치하려면 다음을 실행합니다.

1
2
3
sudo apt install linux-headers-$(uname -r)
sudo apt install ./hyperdriver-dkms_<버전>_all.deb
lsmod | grep -w ha

의존성의 헤더 패키지는 메타 패키지라 실행 중인 커널의 헤더가 아닐 수 있습니다. 설치 스크립트에는 실행 중인 커널의 헤더가 필요하므로 그 헤더를 먼저 설치하십시오. 없으면 다음을 출력하고 설치가 실패합니다.

1
2
hyperdriver-dkms: kernel headers for <커널 버전> not found.
  install them, e.g. apt install linux-headers-<커널 버전>

설치 스크립트가 하는 일

  1. 실행 중인 커널의 헤더가 있는지 확인합니다.
  2. 새 버전이 실행 중인 커널에서 빌드되는지 임시 DKMS 트리에서 먼저 확인합니다. 빌드되지 않으면 설치된 드라이버를 건드리지 않고 설치를 실패로 끝냅니다. deb 패키지 업그레이드를 보십시오.
  3. 등록된 이전 버전을 모두 지우고 새 버전을 DKMS에 등록합니다.
  4. 실행 중인 커널용 ha.ko를 빌드하고 설치합니다.
  5. 설치된 다른 커널(재부팅을 기다리는 커널 등) 중 헤더가 있는 커널에도 ha.ko를 빌드합니다. 헤더가 없는 커널은 경고만 남깁니다.
  6. 모듈을 다시 적재하고 udev 규칙을 적용합니다.

5단계의 경고는 다음과 같습니다.

1
hyperdriver-dkms: no headers for installed kernel <커널 버전> - ha.ko will be MISSING if you boot it.

그 커널로 부팅할 계획이면 부팅하기 전에 그 커널의 헤더를 설치하고 sudo dkms autoinstall -k <커널 버전>을 실행하십시오. dkms status -m ha에 그 커널이 installed로 나오면 됩니다.

적재를 확인하십시오

설치 스크립트는 6단계의 modprobe ha가 실패해도 설치를 끝냅니다. Secure Boot 키를 등록하지 않은 장비가 그렇습니다. 설치 뒤 lsmod | grep -w ha로 모듈이 적재되었는지 확인하십시오.


Secure Boot 키 등록

dkms는 빌드할 때마다 같은 자체 키로 ha.ko에 서명합니다. 이 키를 MOK(Machine Owner Key)로 한 번 등록하면, 새 커널용으로 다시 빌드한 모듈도 적재됩니다.

키 파일의 위치는 배포판마다 다릅니다.

1
2
3
4
# Ubuntu
sudo mokutil --import /var/lib/shim-signed/mok/MOK.der
# 그 밖의 배포판
sudo mokutil --import /var/lib/dkms/mok.pub
  1. mokutil이 일회용 비밀번호를 정하라고 합니다.
  2. 재부팅하면 MOK 관리 안내가 표시됩니다. 약 10초 안에 키를 누르고 Enroll MOK 항목을 고른 뒤 비밀번호를 입력합니다.
  3. 부팅 때 모듈이 자동으로 적재되므로, 부팅이 끝나면 lsmod | grep -w ha로 확인합니다.

Ubuntu에서는 설치 중에 dkms가 이미 창을 띄워 이 비밀번호를 받았을 수 있습니다. 그러면 mokutil이 키가 이미 등록 요청에 있다고 알리므로 재부팅만 하면 됩니다.


설치되는 파일

경로 내용
ha.ko DKMS가 커널마다 설치합니다
/usr/src/ha-<버전>/ DKMS 소스
/etc/modules-load.d/ha.conf 부팅 때 ha 모듈을 적재하는 설정
/lib/udev/rules.d/99-ha.rules udev 규칙
/usr/bin/hyperaccel-smi, /usr/bin/ha-hotreset, /usr/bin/ha-fw-update, /usr/bin/ha-led, /usr/bin/ha-wipe 운영 도구

적재될 ha.ko의 실제 경로는 modinfo -n ha로 확인할 수 있습니다. 도구 사용법은 hyperaccel-smi, ha-hotreset, ha-fw-update, ha-led, ha-wipe를 보십시오.


부팅 때 자동 적재

패키지가 /etc/modules-load.d/ha.conf를 설치합니다. 내용은 ha 한 줄이고, 부팅할 때 ha 모듈을 적재하게 합니다. 부팅한 커널에 맞는 ha.ko가 없으면 적재되지 않습니다. 커널 업데이트는 커널을 업데이트할 때를 보십시오.


모듈 파라미터

설치 절차는 모듈 파라미터를 설정하지 않으므로 모듈은 기본값으로 적재됩니다. 값을 바꾸려면 /etc/modprobe.d/ 아래에 설정 파일을 만드십시오.

1
2
# /etc/modprobe.d/ha.conf
options ha <파라미터>=<값>

이 파일은 모듈을 적재할 때 읽히므로, 모듈을 다시 적재하거나 재부팅해야 적용됩니다. RHEL 계열과 Fedora처럼 dracut으로 초기 램디스크를 만드는 배포판에서 재부팅으로 적용하려면 초기 램디스크도 다시 만들어야 할 수 있습니다. 옵션 파일로 정하기를 보십시오. 일부 파라미터는 실행 중에도 바꿀 수 있습니다. 바꾸는 방법은 파라미터 설정과 사용법을, 파라미터 목록은 파라미터 레퍼런스를 보십시오. 제거 절차는 이 파일을 지우지 않습니다.


디바이스 노드 권한과 udev 규칙

설치되는 udev 규칙(99-ha.rules)은 다음과 같습니다.

1
2
3
SUBSYSTEM=="ha", MODE="0666"
SUBSYSTEM=="ha", ACTION=="add", RUN+="/bin/chmod a+rw /sys/class/ha/%k/bypass_range_check"
SUBSYSTEM=="ha", ACTION=="change", RUN+="/bin/chmod a+rw /sys/class/ha/%k/bypass_range_check"
줄 하는 일
1 /dev/haN을 모든 로컬 사용자가 읽고 쓸 수 있게 합니다(0666)
2–3 디버그용 노드 bypass_range_check를 모든 사용자가 읽고 쓸 수 있게 합니다

bypass_range_check는 sysfs를 보십시오.

기본 규칙은 접근을 열어 둡니다

  • 로컬 사용자 누구나 /dev/haN을 열어 디바이스를 쓸 수 있습니다.
  • 누구나 bypass_range_check에 1을 써서 그 디바이스의 메모리 접근 범위 검사를 끌 수 있습니다.

여러 사용자가 쓰는 장비에서는 아래처럼 디바이스 노드를 그룹으로 제한하고, bypass_range_check 줄 두 개를 빼서 root만 bypass_range_check를 쓸 수 있게 하십시오.

접근 제한하기

규칙 예시입니다. 그룹 이름 hyperaccel은 예시입니다.

1
SUBSYSTEM=="ha", MODE="0660", GROUP="hyperaccel"

규칙을 고친 뒤 그룹을 만들고 규칙을 다시 적용합니다.

1
2
3
4
sudo groupadd -f hyperaccel
sudo usermod -aG hyperaccel <사용자>
sudo udevadm control --reload-rules
sudo udevadm trigger --subsystem-match=ha
  • 그룹에 추가한 사용자는 다시 로그인해야 그룹 권한을 얻습니다.
  • 이미 바뀐 bypass_range_check 권한은 모듈을 다시 적재하거나 재부팅하면 기본값(root만 쓰기)으로 돌아갑니다.

고칠 파일은 /etc/udev/rules.d/99-ha.rules입니다. /lib/udev/rules.d/99-ha.rules를 그 경로로 복사해 고치십시오. /etc/udev/rules.d/에 있는 같은 이름의 파일이 우선하며, 패키지 업그레이드는 이 파일을 바꾸지 않습니다.


함께 보기