7. 에러 처리¶
torch_ha의 에러는 일반적인 PyTorch 예외로 도착합니다. 이 장은 그것을 읽는 방법과
실제 메시지가 어디에 있는지를 다룹니다.
Contents¶
| Section | Objective |
|---|---|
7.1 lpu와 PrivateUse1은 같은 것입니다 |
에러 메시지에 나오는 두 백엔드 이름의 관계 |
| 7.2 실패의 형태 | 연산 미등록, 디바이스 미등록, 컴파일 실패, 런타임 실패의 구분 |
| 7.3 등록 실패는 로그로 남습니다 | import 시점 등록 실패를 확인하는 방법 |
| 7.4 런타임 실패 | 디스패처 아래에서 온 RuntimeError와 HAL 에러 코드 읽기 |
| 7.5 비동기성과 에러가 드러나는 지점 | 트레이스백이 가리키는 동기화 지점과 실제 원인의 차이 |
| 7.6 실패 보고 | 보고할 때 첨부할 정보 |
7.1 lpu와 PrivateUse1은 같은 것입니다¶
백엔드는 PyTorch의 PrivateUse1 디스패치 키를 차지하고 이름을 lpu로 바꿉니다.
디스패치 에러는 바뀐 이름을 씁니다.
1 2 | |
일부 저수준 메시지에는 내부 키 이름인 PrivateUse1이 그대로 나올 수 있습니다.
lpu로 읽으십시오.
7.2 실패의 형태¶
| 형태 | 모습 | 참고 |
|---|---|---|
| 연산 미등록 | aten:: 연산과 lpu 백엔드를 언급하는 NotImplementedError |
연산 |
| 디바이스 미등록 | lpu가 알 수 없는 디바이스 타입이라는 에러 |
§7.3 |
| 컴파일 실패 | torch.compile(backend="legato")의 검증·컴파일 에러 (UnsupportedOpError, VerificationError 등) |
Compile PyTorch Model with Legato |
| 런타임 실패 | 디스패처 아래에서 온 RuntimeError — 할당, 레이아웃, 커널 |
§7.4 |
7.3 등록 실패는 로그로 남습니다¶
torch_ha는 import torch 중에 자신을 등록합니다. 등록에 실패하면 그 실패는
예외가 아니라 로그로 남습니다. PyTorch의 자동 로드에서 예외가 빠져나가면
import torch 전체가 실패하고 이후 import 시도에서 무관한 실패로 번지기
때문입니다.
결과적으로 등록에 실패한 백엔드는 설치되지 않은 백엔드와 똑같아 보입니다.
import torch는 성공하고 나중에 torch.device("lpu")가 실패합니다.
빠른 상태 확인은 두 줄이면 됩니다.
1 2 | |
lpu가 알 수 없는 디바이스라면 무엇보다 먼저 로그를 읽으십시오
실제 원인은 import 시점에 기록됐습니다. 등록 단계의 실패는 Python 로거 (loguru)를 통해 stderr로 남으며, 기본 설정에서 바로 보입니다.
7.4 런타임 실패¶
디스패처 아래에서 온 에러는 하부 메시지를 담은 RuntimeError로 올라옵니다.
메시지는 HAL 에러 코드를 이름과 설명이 붙은 형태로 담습니다 —
err=<값> (HaMemoryAllocationFailed): Memory allocation failed 처럼 코드가
스스로를 설명합니다.
| 메시지가 언급하는 것 | 원인 | 참고 |
|---|---|---|
| 할당, 메모리 부족 | 디바이스 메모리 고갈 또는 단편화 | hart 메모리 모델 |
| 정렬, 레이아웃, stride | 하드웨어가 표현할 수 없는 텐서 레이아웃 | 디바이스 시맨틱 |
NotImplementedError: LPU host-pointer fallback … |
디바이스 커널이 없는 eager 계산 연산을 호출했거나, 레이아웃 때문에 한 번에 복사할 수 없는 텐서를 복사했음 — 계산은 torch.compile 경로를 사용 |
연산 §3.1 |
No eager kernel took this op -- … |
eager AOT 커널이 연산을 받지 못했음 — -- 뒤의 이유와 torch.ops.lpu.eager_status()를 확인 |
연산 §3.1 |
kLccl… |
집합 연산 실패 | LCCL 에러 코드 |
의도한 디바이스가 아니라 lpu:0에 텐서가 놓여 있다면, 그 스레드가 디바이스를
선택하기 전에 할당한 것입니다. 선택은 스레드 단위입니다 —
분산 §4.2를 보십시오.
각 메시지의 자세한 의미는 그 메시지를 만든 계층의 문서(위 표의 참고 열)에 있습니다.
SW 문제인지 디바이스 문제인지 빠르게 판별하기
로그나 에러 텍스트에서 에러 코드를 회수해 분류할 수 있습니다.
1 2 3 4 | |
7.5 비동기성과 에러가 드러나는 지점¶
디바이스 실행은 호스트에 대해 비동기이므로, 실패가 원인이 된 호출이 아니라 나중
호출에서 보고될 수 있습니다. 대개 다음 동기화 지점, 즉 .cpu()나 .item()입니다.
트레이스백은 원인이 아니라 동기화 지점을 가리킵니다
out.cpu()에서 발생한 RuntimeError는 몇 줄 앞의 연산에서 비롯된 경우가
많습니다. 좁히려면 의심되는 단계마다 읽기를 넣어 각자 동기화 지점을 갖게
하십시오.
1 2 | |
실패 지점을 찾은 뒤에는 제거하십시오. 각각이 왕복 비용을 냅니다.
7.6 실패 보고¶
아래를 포함하십시오.
- 정확한 예외와 트레이스백
- import 시점부터 stderr에 출력된 로그
torch.__version__과 SDK 버전- 최소 재현 코드, 그리고 CPU에서도 재현되는지 여부