콘텐츠로 이동

업그레이드와 제거

설치한 드라이버를 새 버전으로 바꾸고, 커널 업데이트에 대응하고, 드라이버를 제거하는 절차입니다. 새 버전 설치는 그 버전을 실행 중인 커널에서 쓸 수 있는지 먼저 확인하고, 쓸 수 없으면 설치된 드라이버를 그대로 둡니다. 다만 디바이스를 쓰는 프로세스가 남아 있으면 커널에서 이전 모듈이 계속 실행되기 때문에, 업그레이드 전에 워크로드를 멈추고 업그레이드 뒤에 실행 중인 버전을 확인해야 합니다.


업그레이드 전에

워크로드를 멈춥니다

/dev/haN을 연 프로세스가 하나라도 있으면 모듈을 내릴 수 없습니다. 이 상태로 업그레이드하면 새 버전은 디스크에 설치되지만, 재부팅하거나 모듈을 다시 적재할 때까지 커널에서는 이전 버전이 계속 실행됩니다.

1
2
sudo lsof /dev/ha*
lsmod | grep -w ha

lsof가 아무것도 출력하지 않고, lsmod의 ha 줄 세 번째 열(사용 횟수)이 0이어야 합니다. 사용 횟수는 컨테이너 안의 프로세스를 포함해 디바이스를 연 모든 프로세스를 셉니다. lsof가 없으면 sudo fuser -v /dev/ha*로 같은 내용을 볼 수 있습니다.

지금 버전을 기록합니다

1
cat /sys/module/ha/version

펌웨어가 새 드라이버와 맞는지 확인합니다

카드 펌웨어의 명령 프로토콜이 새 드라이버가 요구하는 최소 버전보다 낮으면, 업그레이드한 드라이버는 그 카드를 인식하지 않고 /dev/haN을 만들지 않습니다. 지금 펌웨어의 프로토콜은 커널 로그의 ABI protocol v<N>에서 <N>으로 확인합니다.

1
sudo dmesg | grep 'ABI protocol'

<N>을 지원 환경의 펌웨어 조건과 비교하십시오. 조건에 못 미치면 드라이버를 업그레이드하기 전에 HyperAccel 지원에 문의하십시오.

업그레이드 순서

  1. 펌웨어가 새 드라이버와 맞는지 확인합니다.
  2. 디바이스를 쓰는 워크로드를 멈춥니다.
  3. deb 패키지를 업그레이드합니다.
  4. 실행 중인 버전을 확인합니다.
  5. 애플리케이션이 쓰는 SDK도 이 드라이버와 함께 배포된 버전으로 맞춥니다.
  6. 워크로드를 다시 시작합니다.

deb 패키지 업그레이드

1
2
sudo apt install linux-headers-$(uname -r)
sudo apt install ./hyperdriver-dkms_<새 버전>_all.deb

설치 스크립트는 새 버전을 임시 DKMS 트리에서 빌드해 본 뒤에 이전 버전을 바꿉니다. 그때까지 이전 버전은 등록되고 적재된 상태로 남습니다. 빌드에 실패하면 다음을 출력하고 설치가 실패하며, 이전 드라이버는 모든 커널에서 그대로 남습니다.

1
2
3
hyperdriver-dkms: ha/<새 버전> failed to stage or build for kernel <커널 버전>.
  <커널 버전>: loaded <적재된 버전>, installed <설치된 버전>
  build log: <로그 경로>

두 번째 줄은 실행 중인 커널에 지금 적재된 버전(loaded)과 다음에 적재될 버전(installed)입니다. 드라이버가 없으면 none으로 나옵니다.

설치에 실패한 패키지는 설정되지 않은 상태로 남습니다. 이 상태가 풀릴 때까지 다른 apt 작업도 이 패키지의 설정을 먼저 다시 시도하다 실패하므로, 다음 중 하나로 정리하십시오.

  • 원인을 해결한 뒤 sudo dpkg --configure -a를 실행합니다. 헤더가 없어 실패했으면 실행 중인 커널의 헤더를 설치하고, 빌드에 실패했으면 빌드 로그를 확인하고, 실행 중인 커널이 지원 환경에 있는지 확인하십시오.
  • 이전 버전 deb를 다시 설치합니다. 이전 버전으로 되돌리기를 보십시오.

2.4.0 이하 패키지에서 업그레이드할 때

이전 드라이버를 남기는 동작은 업그레이드 전에 설치되어 있던 패키지에도 있어야 적용됩니다. 2.4.0 이하 패키지는 업그레이드가 시작될 때 자신의 드라이버를 먼저 제거합니다. 그래서 새 버전 빌드가 실패하면 드라이버가 없는 상태가 되고, 실패 메시지의 installed가 none으로 나옵니다. 이런 장비에서는 업그레이드 전에 실행 중인 커널의 헤더를 반드시 설치하고, 그 커널이 지원 환경에 있는지 확인하십시오.

설치는 끝났지만 디바이스를 쓰는 프로세스 때문에 이전 모듈을 내리지 못했으면 다음 경고가 나옵니다. 워크로드를 멈추고 모듈을 다시 적재하거나 재부팅하십시오.

1
2
3
4
hyperdriver-dkms: WARNING - installed <새 버전>, but the kernel is still running <이전 버전>.
  the device was in use, so the old driver could not be unloaded.
  free the device (stop workloads) and reload, or reboot:
    modprobe -r ha && modprobe ha

실행 중인 버전 확인

1
2
cat /sys/module/ha/version
modinfo -F version ha

첫 명령은 커널에 지금 적재된 버전을, 둘째 명령은 실행 중인 커널에 설치된 모듈 파일의 버전을 보여 줍니다. 두 값이 다르면 이전 모듈이 아직 적재되어 있는 것입니다. 워크로드를 멈춘 뒤 모듈을 다시 적재하거나 재부팅하십시오. RHEL 계열과 Fedora처럼 dracut으로 초기 램디스크를 만드는 배포판에서는 재부팅하기 전에 sudo dracut -f --regenerate-all로 초기 램디스크를 다시 만드십시오. 그러지 않으면 초기 램디스크에 든 다른 버전의 ha.ko가 적재될 수 있습니다.

나머지 확인은 설치 확인을 따르십시오.


모듈 다시 적재

1
2
sudo modprobe -r ha
sudo modprobe ha
  • modprobe: FATAL: Module ha is in use.가 나오면 아직 디바이스를 쓰는 프로세스가 있습니다. 워크로드를 멈춥니다를 보십시오.
  • 모듈을 내리면 모든 /dev/haN과 /sys/class/ha/haN/이 사라지고, 다시 적재하면 새로 생깁니다. 번호(haN)는 다시 적재할 때 새로 정해지므로 카드는 PCI 주소로 구분하십시오. 여러 디바이스를 보십시오.
  • /etc/modprobe.d/에 둔 모듈 파라미터는 다시 적재할 때 적용됩니다.
  • 모듈을 다시 적재해도 카드는 리셋되지 않습니다. 멈춘 카드를 되살리는 방법은 FATAL과 복구를 보십시오.

커널을 업데이트할 때

새 커널이 설치될 때 DKMS가 그 커널용 ha.ko를 빌드합니다. 그 커널의 헤더가 함께 설치되어 있어야 합니다. 패키지를 설치하거나 업그레이드할 때는 설치된 커널 중 헤더가 있는 모든 커널용으로 빌드합니다.

패키지를 설치할 때 이미 설치되어 있던 다른 커널(재부팅을 기다리는 커널 등) 중 헤더가 없던 커널로 부팅하려면, 부팅하기 전에 그 커널의 헤더를 설치하고 그 커널용으로 빌드하십시오.

1
2
sudo dkms autoinstall -k <커널 버전>
dkms status -m ha

dkms status에 그 커널이 installed로 나오면 됩니다.

  • DKMS는 16K·64K 페이지 커널에서는 빌드를 건너뜁니다. 드라이버는 4K 페이지 커널만 지원합니다. 지원 환경을 보십시오.
  • Secure Boot가 켜진 장비에서도 dkms가 같은 키로 새 모듈에 서명하므로, 키를 한 번 등록해 두었다면 다시 등록할 필요가 없습니다. Secure Boot 키 등록을 보십시오.

이전 버전으로 되돌리기

1
sudo apt install --allow-downgrades ./hyperdriver-dkms_<이전 버전>_all.deb

2.4.0 이하 버전으로 되돌릴 때

2.4.0 이하 버전의 deb는 설치된 드라이버를 먼저 지운 뒤 빌드합니다. 그 버전이 실행 중인 커널에서 빌드되지 않으면 드라이버가 없는 상태가 됩니다. 되돌리기 전에 그 버전이 실행 중인 커널에서 빌드되는지 릴리즈 노트에서 확인하십시오.

되돌린 뒤에도 실행 중인 버전을 확인하십시오.


제거

먼저 디바이스를 쓰는 워크로드를 멈추십시오. 워크로드를 멈춥니다를 보십시오.

1
sudo apt purge hyperdriver-dkms

제거 스크립트가 모듈을 내리고 등록된 모든 DKMS 버전을 지운 뒤, 패키지가 설치한 파일을 지웁니다. apt remove도 같은 방식으로 드라이버를 제거합니다.

DKMS 등록만 지울 때

1
2
dkms status -m ha
sudo dkms remove ha/<버전> --all

dkms remove는 그 버전의 모듈만 지웁니다. 자동 적재 설정, udev 규칙, 도구는 남습니다. 드라이버를 모두 지우려면 위의 제거 절차를 쓰십시오.

제거 뒤 남는 것

  • /etc/modprobe.d/에 직접 만든 모듈 파라미터 설정 파일
  • 규칙을 고치려고 직접 만든 /etc/udev/rules.d/99-ha.rules
  • 내리지 못한 모듈. 디바이스를 쓰는 프로세스가 있었으면 파일은 지워져도 모듈은 적재된 채로 남습니다. 프로세스를 끝내고 sudo rmmod ha를 실행하거나 재부팅하십시오.
  • RHEL 계열과 Fedora처럼 dracut으로 초기 램디스크를 만드는 배포판에서, 드라이버를 설치한 뒤 초기 램디스크를 다시 만든 적이 있으면(커널 업데이트 등) 그 안에 든 ha.ko와 자동 적재 설정. 그대로 두면 재부팅할 때 드라이버가 다시 적재되므로, 제거한 뒤 sudo dracut -f --regenerate-all을 실행하십시오.

제거 확인

1
2
3
4
5
lsmod | grep -w ha
ls /dev/ha*
ls /etc/modules-load.d/ha.conf
dkms status -m ha
modinfo ha

lsmod와 dkms status는 아무것도 출력하지 않고, 나머지는 파일이나 모듈을 찾지 못해야 합니다.


함께 보기