8. 문제 해결¶
관측되는 증상으로 색인한 실패 목록입니다. 트레이스백의 문자열을 그대로 검색하십시오.
Contents¶
| Section | Objective |
|---|---|
| 시작하기 전에 | 버전과 등록 상태를 확인하는 첫 점검 |
| 디바이스 | lpu 디바이스 미등록, 백엔드 라이브러리 로드 실패 |
| 연산 | 미등록 연산, eager 계산 실패, 직접 생성한 난수 텐서, view·reshape 실패 |
| 결과 | CPU와 다른 결과, 0으로 채워진 출력 |
| 성능 | 느린 추론과 늘지 않는 멀티 디바이스 처리량 |
| 분산 | 랑데부 정지, kLcclNotSupported, 집합 연산 정지 |
| Paged KV 캐시 | KV 캐시 초기화 실패 |
| 지원 요청 | 문의할 때 첨부할 정보 |
시작하기 전에¶
1 2 3 4 | |
1 | |
등록 실패가 기록되는 곳은 import 시점의 로그입니다. 에러 처리를 보십시오.
디바이스¶
lpu 디바이스가 존재하지 않음¶
증상 — torch.device("lpu")나 .to("lpu")가 알 수 없는 디바이스 타입이라며
실패합니다.
원인 — 백엔드가 등록되지 않았습니다. 등록은 import torch 중에 일어나고 실패는
예외가 아니라 로그로 남으므로, 패키지가 설치되지 않은 것과 똑같아 보입니다.
조치
1 | |
로그가 실제 원인을 알려 줍니다. 흔한 원인은 libha_backend.so나 그 의존 라이브러리를
찾지 못하는 경우(아래 항목)와 PyTorch 버전 불일치입니다.
TORCH_DEVICE_BACKEND_AUTOLOAD=0이 설정되어 있으면 등록이 아예 일어나지 않고 로그도 남지 않으므로, 이 변수를 지우십시오.
Failed to load torch_ha aten backend: Could not load this library¶
증상 — import torch 중 로그에 Failed to load torch_ha aten backend: Could not
load this library: …/torch_ha/libha_backend.so가 남고, 이후 lpu 디바이스가
없습니다.
원인 — libha_backend.so가 의존하는 hart 패키지의 공유 라이브러리
(libha_runtime.so, libha_umd.so, libha_weight_converter.so)를 찾지 못했습니다.
libha_backend.so는 이 라이브러리들을 RUNPATH의 $ORIGIN/../hart, 즉 같은
site-packages 안에서 torch_ha 옆에 설치된 hart 디렉터리에서만 찾습니다.
hart가 다른 위치(다른 site-packages, 사용자 디렉터리 등)에 설치되어 있으면
Python에서 import hart는 되더라도 동적 링커는 그 라이브러리를 찾지 못합니다.
조치 — 어떤 라이브러리가 빠졌는지 먼저 확인하십시오.
1 | |
hart를 torch_ha와 같은 site-packages에 설치하는 것이 기본 해결책입니다.
그럴 수 없다면 hart 패키지 디렉터리를 LD_LIBRARY_PATH에 추가하십시오.
1 | |
PYTHONPATH는 Python의 모듈 검색에만 쓰이고 동적 링커에는 전달되지 않으므로 이
문제를 해결하지 못합니다. LD_LIBRARY_PATH는 프로세스가 시작될 때 읽히므로 셸에서
설정한 뒤 새 프로세스를 띄우십시오.
import torch가 triton 네임스페이스 관련 메시지로 실패¶
증상 — Only a single TORCH_LIBRARY can be used to register the namespace
triton. 대개 테스트 세션의 두 번째 import에서 발생합니다.
원인 — 앞선 import torch가 도중에 실패해 Python이 모듈을 제거했고, 다시
import하면서 C++ 레지스트리가 여전히 들고 있는 등록을 재실행했습니다.
조치 — 첫 실패가 진짜 원인입니다. 새 프로세스에서 torch만 import해 로그에 나오는 첫 실패를 찾으십시오.
연산¶
Could not run 'aten::<op>' with arguments from the 'lpu' backend¶
원인 — LPU 디바이스에 그 연산이 등록되어 있지 않습니다. 일부 저수준 메시지에는
백엔드 이름이 내부 키 이름인 PrivateUse1로 나올 수 있습니다 — 같은 것입니다.
조치 — 연산 지원 목록을 확인하십시오.
컴파일되는 연산으로 다시 작성하거나, .cpu()로 옮겼다가 되돌리는 방식으로 명시적으로
처리하십시오.
하나씩 발견하지 말고 미리 열거하십시오. 스니펫은 연산에 있습니다.
LPU host-pointer fallback … is unsupported 또는 No eager kernel took this op¶
원인 — 디바이스 커널이 없는 계산 연산을 eager로 실행했습니다. eager에서 디바이스로 계산되는 연산은
bfloat16의 add, sub, mul, mm이며, 미리 빌드된 shape과 연속(contiguous) 피연산자에서 실행됩니다.
피연산자가 연속이 아니면 <이름> is not contiguous, 디바이스 계산이 그대로 받지 않는 슬라이스이면
operand <i> is neither a whole tensor nor a view laid out and addressed as one이 나옵니다.
조치 — 모델 계산은 torch.compile(backend="legato")로 실행하십시오. 위 네 연산인데 실패한다면
No eager kernel took this op -- 뒤의 이유와 torch.ops.lpu.eager_status()를 확인하십시오. 앞의 경우는
transpose, permute, expand나 x[::2]처럼 간격이 있는 슬라이스 같은 비연속 view에 .contiguous()를 호출하고, 뒤의
경우, 즉 디바이스 계산이 그대로 받지 않는 슬라이스(디바이스 시맨틱 §슬라이싱)에는
.clone()을 호출하십시오.
연산 §3.1을 보십시오.
lpu에 직접 만든 난수 텐서가 실패¶
증상 — torch.randn(..., device="lpu")나 torch.rand(..., device="lpu")가 NotImplementedError(aten::normal_ / aten::uniform_)를 냅니다.
원인 — 난수 연산(aten::normal_ 등)은 lpu에서 eager로 실행되지 않습니다.
조치 — 난수 텐서는 CPU에서 만들어 옮기십시오 —
torch.randn(32, 128, dtype=torch.bfloat16).to("lpu"). 값 팩토리(zeros, ones, full, arange,
empty)는 device="lpu"(현재 디바이스)나 명시적 인덱스로 그대로 쓸 수 있습니다.
잘 되던 텐서에서 view나 reshape가 실패¶
원인 — 백엔드가 텐서 스토리지에 디바이스 레이아웃을 실어 둡니다. 레이아웃이 표현할 수 없는 방식으로 스토리지를 재해석하는 연산은 그 view에서 실패하지만, 원인은 텐서가 어떻게 만들어졌는지입니다.
조치 — 텐서가 생성된 지점까지 거슬러 올라가십시오. nn.Linear나
nn.Embedding의 일부로 이동한 가중치는 특정 레이아웃을 갖지만, 모듈에 속하지 않은 가중치
텐서에 직접 .to("lpu")한 것은 그렇지 않습니다.
디바이스 시맨틱을 보십시오.
결과¶
결과가 CPU와 다름¶
원인 — 대개 결함이 아니라 dtype입니다. 디바이스의 bfloat16을 호스트의
float32와 비교하는 것은 dtype을 재는 것입니다. 리덕션 순서도 다르고 깊은 모델에서
누적됩니다.
조치
- 비교 전에 양쪽 dtype을 맞추십시오.
- dtype에 맞는 허용 오차를 쓰십시오.
bfloat16이면 대략1e-2입니다. - 그보다 차이가 크면 최종 logits이 아니라 계층별로 비교하십시오. 처음 벌어지는 계층이 보고할 대상입니다.
출력이 전부 0¶
원인 — 어떤 연산이 에러 없이 빈 결과를 만들어 버퍼가 쓰이지 않은 경우가 많습니다.
조치 — 확인 시점에 .cpu()로 읽고, 각 단계에서 shape이 예상과 같은지
확인하십시오.
성능¶
추론이 기대보다 훨씬 느림¶
이 순서로 확인하십시오.
- 동기화 지점 없는 시간 측정.
model(x)는 디바이스가 끝나기 전에 반환합니다.out.cpu()까지 포함해 재거나haprof로 프로파일하십시오. - 첫 회차 비용. 커널 바이너리는 디바이스별 첫 사용 시 로드됩니다. 측정 전에 워밍업하십시오.
- 루프 안의 CPU 왕복. 모든
.cpu(),.item(),print가 동기화이자 전송입니다. 토큰 루프 안에 하나만 있어도 나머지를 압도합니다. - 커버리지 우회로 CPU에 남겨 둔 단계. 명시적 폴백은 일단 동작하면 잊기 쉽습니다.
멀티 디바이스 처리량이 늘지 않음¶
원인 — 대개 집합 연산 병목입니다. 병렬화 전략이 핫 패스에서 쓰는 집합 연산이 하부 라이브러리에서 어떻게 실행되는지 확인하십시오.
조치 — 분산과 LCCL 지원 매트릭스를 보십시오.
분산¶
init_process_group이 멈춤¶
원인 — 랭크들이 모두 랑데부에 도달하지 못했거나 world_size가 서로 다릅니다.
조치 — 모든 랭크에서 MASTER_ADDR, MASTER_PORT, RANK, WORLD_SIZE를
확인하고 랭크 0에 도달 가능한지 확인하십시오. 전체 절차는
LCCL 문제 해결에 있습니다.
집합 연산이 kLcclNotSupported를 발생¶
원인 — 해당 연산, 리덕션, dtype 조합에 커널이 없습니다. 랭크가 2개 이상이면 MAX, MIN은
어떤 연산에도 커널이 없고, reduce_scatter는 SUM만 됩니다. 리덕션이 있는 집합 연산은
float16과 bfloat16만 받으며 float32도 거부됩니다.
조치 — LCCL 지원 매트릭스를 보십시오.
모든 랭크가 집합 연산에서 멈춤¶
원인 — 랭크들이 서로 다른 순서로 집합 연산을 호출했습니다. 순서로 짝지어지므로, 빈 배치에서 하나를 건너뛴 랭크가 그룹의 동기화를 깨뜨립니다.
조치 — 모든 랭크에서 집합 연산 이름과 순번을 로그로 남기십시오. 처음 달라지는 지점이 버그입니다.
Paged KV 캐시¶
vmm_init_blocks가 HaMemoryAllocationFailed로 실패¶
증상 — torch.ops.lpu.vmm_init_blocks가
HaVmmInitBlocks failed: err=…로 실패하며, 코드는 HaMemoryAllocationFailed의 숫자 값입니다.
원인 — 풀이 요청 하나의 KEY·VALUE 페이지보다 작습니다. 요청당 최대 토큰 수는
max_num_blocks_per_row × block_size이며, 풀은 이 토큰 수의 KEY와 VALUE를 모두 담아야 합니다.
조치 — vmm_create_kv_pool의 토큰 예산(num_blocks)을 키우거나 요청당 최대 토큰 수를
줄이십시오. 호출 순서는 Paged KV 캐시 §5.3을 보십시오.
지원 요청¶
아래를 첨부해 HyperAccel 지원팀에 문의하십시오.
- 예외와 전체 트레이스백
- import 시점부터 stderr에 출력된 로그
torch.__version__과 SDK 버전- 최소 재현 코드, 그리고 CPU에서도 재현되는지 여부