콘텐츠로 이동

파라미터 레퍼런스

ha.ko가 받는 모듈 파라미터의 정의입니다. 파라미터마다 타입, 권한, 기본값, 유효 범위, 0의 뜻, 바꾼 값이 적용되는 시점을 적습니다. 값을 바꾸는 방법과 자주 쓰는 설정은 파라미터 설정과 사용법에 있고, 각 기능이 왜 그렇게 동작하는지는 운영 가이드의 기능 페이지에 있습니다.


한눈에 보기

파라미터 타입 권한 기본값 내용
ha_tw_wide_access bool 0644 1 (Y) 디바이스 메모리를 32바이트 AVX store로 쓰기
ha_hdma_completion string 0444 auto DMA 엔진의 완료를 받는 방식. auto, irq(인터럽트), poll(폴링)
ha_auto_reset bool 0644 0 (N) FATAL이 된 디바이스를 드라이버가 자동으로 리셋
ha_aer_enable bool 0444 0 (N) PCIe AER 오류 보고 사용
ha_ready_timeout_ms uint 0644 3000 리셋 뒤 펌웨어가 준비를 알릴 때까지 기다리는 시간(ms)
ha_devcmd_ceiling_ms uint 0644 12000 디바이스 명령 응답을 기다리는 상한(ms)
ha_wd_hang_ms uint 0644 8000 워치독이 명령 대기를 stall로 보는 문턱(ms)
ha_wd_hdma_hang_ms uint 0644 4000 워치독이 DMA 대기를 stall로 보는 문턱(ms)
ha_wd_poll_ms uint 0644 500 워치독 점검 주기(ms)
ha_wd_preempt bool 0644 0 (N) stall로 판정한 대기를 끊음
ha_sysmon_poll_ms uint 0644 200 텔레메트리 폴링 주기(ms)
ha_sysmon_fail_limit uint 0644 15 응답 없는 디바이스의 텔레메트리 폴링을 멈추기까지의 연속 실패 횟수
ha_tw_pin_wait_ms uint 0644 12000 디바이스 간 복사가 상대 카드의 창을 기다리는 상한(ms)
ha_host_mem_max_mb uint 0644 1024 카드가 직접 읽고 쓰는 호스트 메모리의 할당 합에 대한 상한(MiB)
ha_abi_prefetch bool 0644 1 (Y) 디바이스 커널 인자 블록(ABI) 복사를 앞선 디바이스 커널 실행과 겹치게 앞당김
ha_hdma_min_bytes uint 0644 0 호스트와 디바이스 사이의 복사를 DMA 엔진으로 보내는 최소 크기(바이트)
ha_hdma_cpu_latency_us int 0444 0 DMA 엔진이 복사하는 동안 거는 CPU wake-up latency 요청(µs)

권한 열의 뜻은 다음과 같습니다.

  • 0644: 실행 중에 root가 /sys/module/ha/parameters/에서 바꿀 수 있습니다. 언제부터 적용되는지는 파라미터마다 다르며 각 절에 적었습니다.
  • 0444: 모듈을 적재할 때만 정할 수 있습니다. 바꾸려면 모듈을 다시 적재해야 합니다.

모든 파라미터는 모듈 전체에 적용됩니다. 카드마다 다른 값을 줄 수 없습니다.


디바이스 구성

ha_tw_wide_access

타입 bool
권한 0644
기본값 1 (Y)
적용 시점 다음 디바이스 메모리 쓰기부터

켜면 드라이버가 DMA 엔진의 ring 같은 디바이스 메모리를 쓸 때, CPU가 지원하면 32바이트 AVX store를 씁니다. 끄면 64비트 store를 씁니다.

일부 하이퍼바이저는 BAR 접근을 가로채 명령을 에뮬레이트합니다. 이런 하이퍼바이저는 AVX store를 해석하지 못해 첫 ring 쓰기에서 VM이 멈춥니다. BAR를 게스트에 직접 매핑하는 passthrough VM은 이 설정이 필요 없습니다.

언제 바꾸는가: 기본값을 쓰십시오. 하이퍼바이저가 BAR 접근을 가로채 에뮬레이트하는 VM에서만 0으로 설정하고, 첫 쓰기부터 적용되도록 옵션 파일에 넣으십시오. 옵션 파일은 파라미터 설정과 사용법을 참고하십시오.

ha_hdma_completion

타입 string
권한 0444 (적재할 때만)
기본값 auto
값 auto, irq, poll
그 밖의 값 모듈 적재가 실패하고 ha: `<값>' invalid for parameter `ha_hdma_completion'이 남습니다

DMA 엔진의 전송 완료를 드라이버가 어떤 방식으로 알아챌지 정합니다.

  • auto: 베어메탈로 확인될 때만 엔진별 MSI-X 인터럽트로 받습니다. x86은 CPU에 hypervisor 플래그가 없을 때, arm64는 커널이 하이퍼바이저 권한 수준(EL2)에서 돌 때 베어메탈로 봅니다. 이 조건에 들지 않으면(VM 게스트, 커널이 EL1에서 도는 arm64 서버) poll과 같습니다.
  • irq: 늘 MSI-X 인터럽트로 받습니다.
  • poll: 엔진이 호스트 메모리에 남기는 완료 표시를 드라이버가 짧은 간격으로 확인합니다. VM 게스트에서는 엔진의 인터럽트가 게스트에 닿지 않으므로 이 방식을 씁니다. 복사 결과는 같지만, 완료를 기다리는 동안 계속 깨어나 확인하므로 인터럽트보다 CPU를 더 씁니다.

적재할 때 카드마다 HDMA completion: MSI-X (ha_hdma_completion=auto)처럼 고른 방식이 커널 로그에 남습니다. /sys/module/ha/parameters/ha_hdma_completion은 설정한 값(auto 등)만 보여 주므로, 실제로 고른 방식은 이 줄로 확인합니다.

1
sudo dmesg | grep 'HDMA completion'

언제 바꾸는가: 보통은 auto를 씁니다. auto의 판단이 틀릴 때만 바꿉니다.

  • VM에서 DMA 복사마다 ll: engine stopped but its completion MSI-X never arrived가 남으며 실패하면, VM 게스트 안에서 poll로 둡니다. 하이퍼바이저가 hypervisor 플래그를 숨긴 x86 게스트나, 중첩 가상화로 게스트 안에서 다시 하이퍼바이저를 돌리도록 설정된 arm64 게스트에서 생깁니다.
  • arm64 베어메탈 서버에서 HDMA completion: polling (ha_hdma_completion=auto)가 나오면 커널이 EL1에서 도는 것입니다. 베어메탈에서는 인터럽트가 닿으므로 irq로 두면 완료를 인터럽트로 받아, 폴링에 드는 CPU를 쓰지 않습니다. VM 게스트에서 irq를 쓰면 모든 DMA 복사가 실패합니다.

예를 들어 /etc/modprobe.d/ha.conf에 options ha ha_hdma_completion=poll을 적고 모듈을 다시 적재합니다. 옵션 파일로 정하기를 보십시오.


복구

ha_auto_reset

타입 bool
권한 0644
기본값 0 (N)
적용 시점 디바이스가 FATAL로 바뀌는 순간의 값을 씁니다

켜면, 디바이스가 FATAL 상태(health가 faulted)가 될 때 드라이버가 그 디바이스를 스스로 리셋합니다. 먼저 펌웨어를 다시 초기화하고, 그것이 실패하면 부모 포트가 root port이거나 부모 포트에서 Surprise Down 오류가 마스킹되어 있을 때만 SBR(Secondary Bus Reset)로 넘어갑니다. 리셋을 시작할 때 dmesg에 auto-TDR:로 시작하는 줄이 남습니다.

  • 끈 경우(기본값): FATAL 디바이스는 누군가 리셋할 때까지 FATAL로 남습니다. 애플리케이션이 SDK의 리셋 기능으로 리셋하거나, 운영자가 ha-hotreset으로 리셋합니다.
  • 회수 범위: 자동 리셋도 수동 리셋과 같이 그 디바이스에서 진행 중이던 작업과 할당을 모두 회수합니다. 그 디바이스를 쓰던 애플리케이션은 디바이스를 다시 열어야 합니다.
  • 실패하면: 자동 리셋이나 SDK로 요청한 리셋이 실패하면 자동 리셋을 다시 시도하지 않습니다. health는 faulted로 남습니다. 이후 리셋이 성공하거나 디바이스가 다시 준비 상태로 돌아오면 자동 리셋이 다시 동작합니다.
  • 펌웨어 업데이트 중: 업데이트가 진행 중이거나 결과를 확인하지 못한 동안에는 자동 리셋을 하지 않습니다. 쓰는 중인 플래시를 망가뜨리지 않기 위해서입니다. 이때 건너뛴 디바이스는 FATAL로 남습니다. 업데이트가 끝난 뒤에도 health가 faulted이면 직접 리셋하되, ha-fw-update가 종료 코드 4로 끝났거나 종료 코드를 알리지 못하고 끝났거나 fw_update: no answer from firmware가 남았다면 리셋하지 마십시오. 이때는 플래시가 일부만 기록되었을 수 있고, 디바이스가 FATAL인 동안에는 업데이트를 다시 실행할 수도 없으므로 HyperAccel에 문의하십시오. 응답을 받지 못했을 때를 보십시오.
  • 이미 FATAL인 디바이스: 이 파라미터를 켜기 전에 FATAL이 된 디바이스는 직접 리셋하십시오.

언제 바꾸는가: 사람이 개입하지 않고 hang에서 복구해야 하는 장비에서 켭니다. ha_wd_preempt를 켤 때는 함께 켜십시오. 리셋의 효과와 순서는 FATAL과 복구를 보십시오.

ha_aer_enable

타입 bool
권한 0444 (적재할 때만)
기본값 0 (N)

켜면 카드를 드라이버에 붙일 때마다 dmesg에 AER reporting enabled: the kernel's fatal remedy is a parent-bridge SBR 경고를 남기고, 커널 6.4 미만(RHEL 계열은 9.4 미만)에서는 이 디바이스의 PCIe AER(Advanced Error Reporting) 오류 보고를 켭니다. 커널 6.4 이상과 RHEL 9.4 이상에서는 드라이버가 디바이스의 오류 보고 설정을 바꾸지 않으며, 보고 여부는 커널과 플랫폼의 AER 설정을 따릅니다.

AER로 보고된 fatal 오류를 복구할 때 커널은 부모 브리지에 SBR을 겁니다. 이 SBR은 드라이버가 직접 걸 때 적용하는 조건(부모가 root port이거나 Surprise Down이 마스킹됨)을 거치지 않습니다. 그래서 Surprise Down이 마스킹되지 않은 경로에서는 플랫폼이 이 링크 끊김을 복구할 수 없는 오류로 보고 호스트를 재부팅시킬 수 있습니다. 기본값이 0인 이유입니다.

꺼 두어도 커널의 PCIe 오류 복구는 동작할 수 있습니다

부모 포트가 오류를 검출한 경우, DPC(Downstream Port Containment)가 동작한 경우, 같은 브리지 아래 다른 디바이스에 fatal 오류가 난 경우에는 이 파라미터와 무관하게 커널이 이 디바이스의 복구 절차를 진행합니다.

언제 바꾸는가: 그 호스트에서 부모 브리지 SBR이 안전하다는 것(경로의 포트에서 Surprise Down이 마스킹됨)을 확인했고 커널의 AER 복구를 쓰려는 경우에만 켜십시오. 자세한 내용은 FATAL과 복구를 보십시오.

ha_ready_timeout_ms

타입 uint (ms)
권한 0644
기본값 3000
유효 범위 0~14400000. 14400000보다 큰 값은 14400000으로 씁니다
0의 뜻 펌웨어를 한 번만 확인하고 기다리지 않습니다
적용 시점 다음 리셋부터. 이미 기다리는 리셋은 기다리기 시작할 때의 값을 씁니다

리셋 뒤 펌웨어가 준비 완료를 알릴 때까지 드라이버가 기다리는 시간입니다. SDK로 요청한 리셋, 자동 리셋, 커널이 건 리셋에 모두 적용됩니다.

  • 시간이 다 되면: 커널 로그에 device came back but firmware did not report ready (<err>); reset reported as failed가 남습니다. 커널이 건 리셋이면 firmware did not report ready after host reset (<err>); ...가 남습니다. 펌웨어가 준비될 때까지 애플리케이션의 요청은 거절됩니다.
  • 부작용: 모듈 언로드는 진행 중인 자동 리셋을 기다리므로, 값을 크게 하면 언로드도 그만큼 늦어질 수 있습니다.

언제 바꾸는가: 이 메시지가 남았는데 잠시 뒤 fw_version에 버전이 나오면, 펌웨어가 준비되는 데 이 시간보다 오래 걸린다는 뜻이므로 값을 올리십시오. 그 밖에는 기본값을 쓰십시오.


hang 감지와 워치독

드라이버는 디바이스에 보낸 명령의 응답과 DMA 전송의 완료를 기다립니다. 아래 파라미터는 그 대기의 상한과, 대기와 별도로 돌며 오래 끝나지 않는 대기를 찾아내는 워치독을 정합니다. 동작 원리와 진단 절차는 hang 감지와 워치독을 보십시오.

ha_devcmd_ceiling_ms

타입 uint (ms)
권한 0644
기본값 12000
유효 범위 하한 100. 그보다 작은 값은 100으로 씁니다
0의 뜻 따로 없습니다. 하한 100으로 씁니다. 대기가 무한해지지 않습니다
적용 시점 바꾼 뒤에 시작하는 대기부터

드라이버가 디바이스 펌웨어에 보낸 명령 묶음의 응답을 기다리는 최대 시간입니다. 이 시간 안에 응답이 없으면 드라이버는 디바이스가 응답하지 않는 것(hang)으로 판정합니다. devcmd_timeouts를 1 올리고, last_hang에 그 시점의 진행 상황과 판정을 남기고, dmesg에 Devcmd no response after <N> ms (device hang): ... 줄과 진단 덤프를 남깁니다. 기다리던 작업은 오류로 끝납니다. 애플리케이션이 제출한 작업을 기다리다 이 판정이 나면 디바이스는 FATAL 상태(health가 faulted)가 되고, ha_auto_reset이 켜져 있으면 자동 리셋이 이어집니다.

  • 오래 걸리는 명령: 디바이스 메모리 채우기(memset)나 펌웨어 업데이트처럼 오래 걸리는 명령은 드라이버가 예상 소요 시간에 여유를 둔 추가 시간을 이 상한과 ha_wd_hang_ms에 똑같이 더합니다. 그런 작업 때문에 이 값을 늘릴 필요는 없습니다.
  • 리셋: 자동 리셋이나 SDK의 리셋 기능으로 리셋할 때, 펌웨어 재초기화의 응답도 이 상한까지 기다립니다. 그 안에 응답이 없으면 조건이 맞을 때 SBR로 넘어갑니다. 조건은 ha_auto_reset을 보십시오.
  • 시간 제한 없이 요청된 대기: 이 상한으로 끝나지 않습니다. 대신 이 시간이 지나면 dmesg에 Devcmd waiting <N> ms with no timeout requested ... 경고를 남기기 시작해 10초마다 반복합니다.

언제 바꾸는가: 정상 워크로드의 명령 하나가 기본 상한보다 오래 걸려 hang으로 판정될 때 늘립니다. 늘린 만큼 응답 없는 디바이스를 hang으로 판정하는 시점도 늦어집니다. 줄이는 것은 권장하지 않습니다. 펌웨어도 자체 시간 초과로 명령 실패를 보고하는데, 이 값을 그보다 짧게 잡으면 펌웨어가 원인을 보고하기 전에 드라이버가 먼저 hang으로 판정합니다. 바꿀 때는 ha_wd_hang_ms + ha_wd_poll_ms보다 크게 두십시오.

ha_wd_hang_ms

타입 uint (ms)
권한 0644
기본값 8000
0의 뜻 명령 대기 감시를 끕니다
적용 시점 다음 워치독 점검부터. 이미 진행 중인 대기에도 새 문턱을 씁니다

워치독이 디바이스 명령 응답 대기를 stall로 판정하는 문턱입니다. 워치독은 대기 중인 작업과 별도로 카드마다 돌면서, 대기가 이 시간을 넘으면 dmesg에 watchdog: devcmd wait stalled (devcmd=<N> ms hdma=<N> ms) - no completion within the threshold를 남깁니다. stall 하나에 한 번만 남깁니다. 대기 상한(ha_devcmd_ceiling_ms)에 닿기 전에, 그리고 시간 제한 없이 요청된 대기에서도 멈춤을 관측하기 위한 것입니다.

기본값에서는 보고만 하고 대기는 그대로 둡니다. 대기를 끊으려면 ha_wd_preempt를 켭니다. 오래 걸리는 명령에 드라이버가 더하는 추가 시간은 이 문턱에도 똑같이 더해집니다.

이 값 + ha_wd_poll_ms가 ha_devcmd_ceiling_ms 이상이면 이 감시는 발화할 수 없습니다. 드라이버는 값을 바꾸지 않고 경고를 남깁니다(파라미터 사이의 관계).

ha_wd_hdma_hang_ms

타입 uint (ms)
권한 0644
기본값 4000
0의 뜻 DMA 대기 감시를 끕니다
적용 시점 다음 워치독 점검부터

워치독이 DMA 전송의 완료 대기를 stall로 판정하는 문턱입니다. 호스트–디바이스, 디바이스–디바이스 데이터 복사는 카드의 DMA 엔진이 처리합니다. 판정하면 ha_wd_hang_ms와 같은 형식의 watchdog: hdma wait stalled ... 줄을 남깁니다.

DMA 전송 하나의 완료 대기 상한은 5초이며 파라미터로 바꿀 수 없습니다. 5초 안에 끝나지 않으면 그 전송은 실패하고 hdma_timeouts가 올라갑니다. 그래서 이 값 + ha_wd_poll_ms가 5000 이상이면 이 감시는 발화할 수 없고, 드라이버가 경고를 남깁니다.

ha_wd_poll_ms

타입 uint (ms)
권한 0644
기본값 500
유효 범위 하한 50. 그보다 작은 값은 50으로 씁니다
0의 뜻 워치독을 끄지 않습니다. 50으로 씁니다
적용 시점 바꾼 뒤 첫 점검까지는 이전 주기를 따르고, 그다음부터 새 주기를 씁니다

워치독이 각 카드의 대기 시간을 점검하는 주기입니다. 워치독을 끄려면 이 값이 아니라 두 문턱(ha_wd_hang_ms, ha_wd_hdma_hang_ms)을 0으로 둡니다. 문턱 + 이 값이 각 대기 상한보다 작아야 합니다.

ha_wd_preempt

타입 bool
권한 0644
기본값 0 (N)
적용 시점 다음 stall 판정부터

켜면, 워치독이 stall을 판정했을 때 보고에 그치지 않고 그 대기를 끊습니다. 새로 stall로 판정된 쪽(명령 대기나 DMA 대기)만 끊습니다. 끊긴 대기는 디바이스가 응답하지 않은 것과 같은 오류로 끝나며, 애플리케이션 작업을 실행하던 중이었다면 디바이스가 FATAL이 되어 리셋할 때까지 그대로 남습니다. 시간 제한 없이 요청된 대기를 끊었을 때는 그 요청만 실패하고 디바이스는 FATAL이 되지 않습니다. 경우별 동작은 hang 감지와 워치독을 보십시오.

  • ha_auto_reset과 함께 쓰십시오: ha_auto_reset이 꺼져 있으면 FATAL이 된 디바이스가 수동 리셋을 기다립니다. 이때 dmesg에 watchdog: preempting without ha_auto_reset으로 시작하는 경고가 남습니다.
  • 시간 제한 없는 대기도 끊습니다: 기본값에서는 시간 제한 없이 요청된 대기는 끝날 때까지 이어집니다. 켜면 그런 대기도 문턱에서 끊깁니다. 워치독은 오래 걸리는 정상 작업과 응답 없는 디바이스를 시간만으로 구별하지 못합니다.
  • 펌웨어 업데이트 중에는 끊지 않습니다.

언제 바꾸는가: 응답하지 않는 디바이스를 대기 상한보다 빨리 정리하고 자동으로 복구하려는 장비에서 ha_auto_reset=1과 함께 켭니다.


텔레메트리

ha_sysmon_poll_ms

타입 uint (ms)
권한 0644
기본값 200
유효 범위 50~2500. 범위 밖 값은 가까운 끝값으로 씁니다
0의 뜻 폴링을 끄지 않습니다. 가장 빠른 주기(50)로 씁니다
적용 시점 다음 폴링부터. 이미 예약된 폴링은 이전 주기를 씁니다

드라이버가 펌웨어에서 온도, 전력, 레일 전압·전류, 사용률을 가져오는 주기입니다. sysfs의 temp, temp_avg, temp_blocks, power_mw, rails, util과 hwmon 값이 이 주기로 갱신되며, 주기보다 자주 읽으면 같은 샘플이 나옵니다. 마지막 샘플이 5초보다 오래되면 이 노드들은 unknown이 됩니다. 상한 2500 ms는 폴링이 한 번 늦어도 노드가 unknown으로 바뀌지 않도록 둔 값입니다.

언제 바꾸는가: 텔레메트리 왕복을 줄이려면 늘리고, 변화를 더 촘촘히 보려면 줄입니다. 늘리면 응답 없는 디바이스의 폴링을 멈추는 판정(ha_sysmon_fail_limit)도 그만큼 늦어집니다. 값의 갱신 방식은 텔레메트리를 보십시오.

ha_sysmon_fail_limit

타입 uint
권한 0644
기본값 15
0의 뜻 응답이 없어도 폴링을 멈추지 않습니다
적용 시점 다음 폴링부터

텔레메트리 폴링이 연속으로 이 횟수만큼 실패하면 그 카드의 폴링을 멈춥니다. 한 번의 폴링에서 펌웨어로부터 값을 하나도 받지 못하면 실패로 셉니다. 응답하지 않는 디바이스를 계속 읽으면 PCIe Completion Timeout이 나고, firmware-first 방식으로 오류를 처리하는 플랫폼은 이를 이유로 서버 전체를 리셋할 수 있기 때문입니다.

  • 멈추면 dmesg에 sys_mon: no response for <N> consecutive polls (<M> ms) - suspending telemetry polling. ...이 남고, 펌웨어에서 가져오는 텔레메트리 노드는 unknown이 됩니다.
  • 폴링 주기마다 한 번씩 실패를 세므로, 멈추기까지는 대략 ha_sysmon_fail_limit × ha_sysmon_poll_ms(기본값에서 약 3초)에 폴링마다의 응답 대기 시간을 더한 만큼 걸립니다.
  • 디바이스를 리셋하면 폴링을 다시 시작하고 sys_mon: resuming telemetry polling을 남깁니다. 이미 멈춘 폴링은 이 파라미터를 바꿔도 다시 시작하지 않습니다.

언제 바꾸는가: 기본값을 쓰십시오. firmware-first 플랫폼에서는 0을 쓰지 마십시오.


여러 디바이스

ha_tw_pin_wait_ms

타입 uint (ms)
권한 0644
기본값 12000
유효 범위 0~14400000. 14400000보다 큰 값은 14400000으로 씁니다
0의 뜻 남은 창이 없으면 기다리지 않고 바로 실패합니다
적용 시점 바꾼 뒤에 시작하는 대기부터. 이미 기다리는 요청은 시작할 때의 값을 씁니다

디바이스 간 복사(D2D)는 상대 카드의 변환 창(translation window)을 점유해 그 카드의 메모리에 접근합니다. 한 카드에서 동시에 점유할 수 있는 창의 수에는 한도가 있어서, 한도에 닿으면 새 복사는 창이 풀리기를 기다립니다. 이 파라미터는 그 대기의 상한입니다.

상한이 지나면 그 복사는 실패하고 dmesg에 TW pin: <n>/<한도> slots pinned for <N>ms, giving up (...) 경고가 남습니다. 같은 경고가 짧은 시간에 반복되면 일부만 남습니다. 창이 풀리면 다시 시도할 수 있는 일시적 실패입니다.

언제 바꾸는가: 한 카드로 디바이스 간 복사가 몰려 대기 끝에 실패가 날 때 늘립니다. 기다리지 않고 바로 실패를 받으려면 0으로 둡니다. 디바이스 간 복사는 여러 디바이스를 보십시오.

ha_host_mem_max_mb

타입 uint (MiB)
권한 0644
기본값 1024
0의 뜻 상한이 없습니다
적용 시점 다음 할당부터. 이미 할당된 메모리는 그대로 둡니다

애플리케이션은 드라이버에서 호스트 메모리를 할당받아, 카드가 그 메모리를 직접 읽고 쓰게 할 수 있습니다. 커널은 이 메모리를 회수하거나 스왑하지 않습니다. 할당은 카드와 같은 NUMA 노드에서 하되, 그 메모리가 카드가 닿는 주소 범위보다 위에 있으면 4 GiB 아래(ZONE_DMA32)에서 합니다. 이 파라미터는 모든 카드와 프로세스가 잡아 둔 이 메모리의 합에 대한 상한입니다.

  • 합이 상한을 넘게 되는 할당은 실패합니다. 이미 할당된 메모리에는 영향이 없습니다.
  • 프로세스가 놓은 메모리라도, 그 메모리를 쓰던 카드가 작업 중이거나 리셋 중이거나 FATAL이거나 마지막 리셋이 실패했으면 해제가 미뤄지고, 해제될 때까지 합에 들어갑니다.
  • 할당한 메모리는 그 프로세스의 memory cgroup 사용량에 들어갑니다.
  • 이 메모리를 쥔 프로세스가 있으면, 그 프로세스가 /dev/haN을 닫았더라도 ha 모듈을 내릴 수 없습니다. modprobe -r ha가 모듈이 사용 중이라며 실패합니다.

언제 바꾸는가: 기본값을 쓰십시오. 한 호스트에서 이 메모리를 쓰는 작업 여러 개를 함께 돌려 할당이 상한에 걸리면 늘립니다. 디바이스 노드는 모든 사용자가 열 수 있으므로, 0으로 두면 일반 사용자가 호스트의 4 GiB 아래 메모리를 모두 써 버릴 수 있습니다.


성능

ha_abi_prefetch

타입 bool
권한 0644
기본값 1 (Y)
적용 시점 다음 판정부터. 켜면 이미 대기열에 있는 작업에도 적용됩니다

같은 스트림에서 앞선 디바이스 커널이 실행되는 동안, 다음 작업이 쓸 디바이스 커널 인자 블록(ABI)을 호스트 메모리에서 디바이스 메모리로 미리 복사하는 성능 최적화입니다. 복사를 디바이스 커널 실행과 겹쳐 전체 시간을 줄이려는 것입니다.

  • 결과는 순서대로 실행한 것과 같습니다. 앞선 작업이 그 복사의 목적지를 아직 읽거나 쓸 수 있으면 앞당기지 않고 원래 순서대로 실행합니다. 앞당기지 못하는 것은 오류가 아닙니다.
  • 0이면 모든 복사를 제출 순서대로 실행합니다. 이 최적화가 없던 때의 동작입니다.
  • 효과는 sysfs abi_prefetch_stats에서 봅니다. issued는 앞당겨 시작한 복사 수, consumed는 앞당긴 결과를 실제로 쓴 수입니다. 나머지 필드는 sysfs 레퍼런스를 보십시오.

언제 바꾸는가: 앞당기기 없이 동작이나 성능을 비교하고 싶을 때 끕니다.

ha_hdma_min_bytes

타입 uint
권한 0644
기본값 0
적용 시점 다음에 시작하는 복사부터

호스트와 디바이스 사이의 복사(H2D, D2H, 파일 로드)를 DMA 엔진으로 보낼지, CPU 복사(PIO)로 처리할지 정하는 크기입니다.

  • 0이면 모든 크기의 복사를 DMA 엔진으로 보냅니다.
  • N이면 N 바이트보다 작은 복사를 PIO로 처리합니다. PIO는 큰 복사에서 DMA 엔진보다 훨씬 느립니다.

언제 바꾸는가: 보통은 기본값 0을 씁니다. 2 GiB보다 크게 두면 ha-wipe가 시작하지 않습니다.

ha_hdma_cpu_latency_us

타입 int
권한 0444
기본값 0
적용 시점 모듈을 적재할 때

DMA 엔진이 복사하는 동안과 마지막 복사가 끝난 뒤 10 ms 동안, 드라이버가 모든 CPU에 거는 wake-up latency 요청입니다. 복사를 기다리는 스레드가 깊은 C-state에서 늦게 깨어나 엔진이 쉬는 것을 막습니다. 복사 결과와 순서는 바뀌지 않고, 처리량과 복사 중의 CPU 전력만 바뀝니다.

  • 0이면 C1을 포함한 모든 C-state(CPU 절전 상태)를 막습니다. 복사하는 동안 유휴 CPU가 절전 상태에 들어가지 않고 대기 루프를 실행합니다.
  • N이면 깨어나는 데 걸리는 시간(exit latency)이 N µs 이하인 C-state만 허용합니다.
  • -1이면 요청을 걸지 않습니다. -1보다 작은 값은 0으로 바꾸고 커널 로그에 경고를 남깁니다.
  • 복사하지 않을 때는 제약이 없어 사용자 공간이 건 /dev/cpu_dma_latency 값이 그대로 쓰입니다. 둘이 겹치면 더 엄격한 값이 쓰입니다.
  • 적재할 때 커널 로그에 ha: HDMA copies hold a <N> us CPU wake-up latency request while they run이, -1이면 ha: HDMA copies hold no CPU wake-up latency request (ha_hdma_cpu_latency_us=-1)가 남습니다.

언제 바꾸는가: 복사 중의 CPU 전력을 줄여야 할 때 N이나 -1로 둡니다. 복사 처리량이 낮아질 수 있습니다.


함께 보기