2. 디바이스 시맨틱¶
lpu 디바이스가 어떻게 동작하는지, 그리고 PyTorch 사용자의 기대와 어디서 달라지는지
다룹니다.
Contents¶
| Section | Objective |
|---|---|
| 2.1 텐서 이동 | .to("lpu"), .cpu(), 모듈 이동과 팩토리 함수 사용법 |
| 2.2 가중치 레이아웃 | 텐서 kind의 종류, 이동 시 자동으로 붙는 규칙, 슬라이싱 |
| 2.3 데이터 타입 | 지원 dtype과 autocast 동작 |
| 2.4 디바이스 컨텍스트 매니저 | torch.accelerator.device_index의 동작과 디바이스 선택 방법 |
| 2.5 직렬화 | torch.save / torch.load와 체크포인트 이식성 |
| 2.6 동기화 | 비동기 실행과 동기화 지점, 시간 측정 |
| 2.7 메모리 | 해제된 버퍼의 회수 시점, empty_cache, 메모리 통계, fill 경로 |
| 2.8 현재 제약 | Stream·Event, pinned 호스트 메모리와 비동기 복사 |
2.1 텐서 이동¶
1 2 3 | |
.to("lpu")와 .to(torch.device("lpu"))가 동작합니다. 모듈 이동도 됩니다.
1 | |
팩토리 함수
값 팩토리(zeros, ones, full, arange, empty)는 device="lpu"(현재
디바이스)나 명시적 인덱스로 동작합니다. 예:
torch.zeros(32, 128, dtype=torch.bfloat16, device="lpu"). with torch.device("lpu"):
블록도 현재 디바이스로 해석됩니다.
난수 텐서(torch.randn, torch.rand)는 CPU에서 만들어 옮기십시오.
2.2 가중치 레이아웃¶
디바이스 메모리에는 레이아웃이 있고, 어떤 레이아웃이 빠른지는 소비하는 커널이 텐서를 어떻게 읽는지에 달려 있습니다. 백엔드는 이 레이아웃을 **텐서 kind**로 부르고, 각 LPU 텐서의 스토리지에 하나씩 기록해 둡니다.
| kind | 배치 방식 | 주 용도 |
|---|---|---|
dram_word_interleaved |
DRAM 워드 단위로 모든 채널에 번갈아 배치. 랭크 제한 없음 | 기본값. 활성화, 중간 결과, 1차원 텐서 |
mpu_tensor |
MPU가 읽는 타일 패턴(Value 패턴). 랭크 2 이상 | 행렬 곱의 가중치 피연산자 |
mpu_tensor_transposed |
mpu_tensor의 전치 패턴(Key 패턴). 하드웨어가 전치된 view로 읽음. 랭크 2 이상 |
W.t()로 소비되는 가중치 (nn.Linear) |
single_pass_interleaved |
채널마다 전체의 1/N을 연속된 한 덩어리로 배치 | 행 단위로 모으는 테이블 (nn.Embedding) |
row_interleaved |
한 행씩 채널에 번갈아 배치 | 행 단위 접근 |
max_rows_interleaved |
MAC 재사용 창 크기만큼의 여러 행을 한 단위로 채널에 배치 | 입력 활성화 |
kind가 정해지는 방식¶
텐서를 lpu로 옮길 때 kind는 다음 순서로 정해집니다.
nn.Linear가중치 →mpu_tensor_transposed. 모듈을lpu로 옮기거나lpu위에서 dtype을 바꿀 때 가중치를 이 kind로 다시 할당합니다. 논리 shape(out, in)은 그대로이므로state_dict왕복에는 영향이 없습니다. bias는 일반 텐서로 옮겨지며, 처음 옮길 때 이를 알리는 경고가 한 번 출력됩니다.nn.Embedding가중치 →single_pass_interleaved.requires_grad와 관계없이 적용됩니다.- 나머지 전부 →
dram_word_interleaved. 팩토리 함수로 만든 텐서도 여기에 해당합니다.
모듈에 속하지 않은 가중치 텐서에 직접 .to("lpu")를 호출하면 1·2번 규칙이 적용되지 않습니다.
모듈 단위로 옮기십시오.
kind를 직접 지정해 할당하려면 torch.ops.lpu.empty_with_kind를 사용하십시오.
위 6개 이름을 받으며, 사용법은
커스텀 연산 API에 있습니다. legato 커널에 넘길 텐서의 kind와
커널 파라미터 kind의 대응은 Legato 문서를 보십시오.
레이아웃은 텐서가 아니라 스토리지를 따라다닙니다
view 연산(view, reshape, as_strided, 슬라이싱)은 같은 스토리지 위에 새 텐서를
만들고, 백엔드가 레이아웃을 전파합니다. 레이아웃이 표현할 수 없는 방식으로
스토리지를 재해석하는 연산은 여러분이 원인이라고 생각하는 연산이 아니라 그 view에서
실패합니다.
슬라이싱¶
PyTorch와 같이, 텐서를 슬라이스하면(x[i], x[a:b] 같은 기본 인덱싱과 select, narrow, split, chunk)
원본과 스토리지를 공유하는 view가 반환되며 데이터는
복사되지 않습니다.
디바이스 계산은 현재 원본이 연속(contiguous) 텐서라고 가정하며, 다음 조건을 모두 만족하는 슬라이스는 그대로 받습니다.
- 배치 차원만 자릅니다. 뒤에서 세 번째 차원(dim
-3)이나 그 앞의 차원에서만 슬라이스하고, 마지막 두 차원(-2,-1)은 자르지 않습니다. - 결과가 연속입니다. 슬라이스한 view의
is_contiguous()가True여야 합니다. - 인터리브 라운드 경계에서 시작하고 끝납니다.
dram_word_interleaved(기본 kind),row_interleaved,max_rows_interleaved에서는 슬라이스의 시작과 끝이 인터리브 라운드(모든 채널에 데이터를 한 번씩 배치하는 단위) 경계에 있어야 합니다. 배치 원소 하나(x[i],M × K요소)가 라운드의 배수이면 모든x[i],x[a:b]가 이 조건을 만족합니다.single_pass_interleaved는 텐서 전체만 그대로 받습니다.
다음 예는 shape이 (B, M, K)인 연속 텐서 x가 위의 라운드 조건을 만족한다고 가정합니다.
| 식 | 자르는 차원 | 디바이스 계산 |
|---|---|---|
x[i], x[a:b], x.select(0, i), x.narrow(0, a, n), x.split(n), x.chunk(n) |
-3 |
그대로 받음 |
x[:, a:b], x.narrow(1, a, n) |
-2 |
.contiguous() 필요 |
x[..., a:b], x.narrow(2, a, n) |
-1 |
.contiguous() 필요 |
shape이 (N, B, M, K)이면 라운드 조건을 만족할 때 x[i], x[a:b], x[i, a:b]처럼 결과가 연속인 슬라이스를 그대로 받습니다.
x[:, a:b]는 배치 차원을 자르지만 결과가 연속이 아니므로 .contiguous() 후 계산합니다. MPU kind
(mpu_tensor, mpu_tensor_transposed)에서는 마지막 두 차원이 타일을 꽉 채우는 크기여야 합니다.
그 밖의 슬라이스도 올바른 view입니다. copy_, .cpu(), fill_로 읽고 쓸 수 있으며 이때 호스트를 거쳐
복사될 수 있습니다. 계산에 쓰려면, 결과가 연속이 아니면 .contiguous()를, 연속이면 .clone()을 호출해 같은 kind의
전체 텐서를 만든 뒤 넘기십시오.
2.3 데이터 타입¶
| dtype | 상태 |
|---|---|
bfloat16 |
주력 |
float16 |
저장과 전송만 지원. bfloat16으로 자동 변환되지 않으며, 그대로 옮기면 Python 경고(UserWarning)가 프로세스당 한 번 출력됨. 계산 전에 .to("lpu", torch.bfloat16)로 변환 |
float32 |
저장과 전송 지원. torch.compile 경로의 계산 지원은 legato resolver가 결정 |
int32, int64 |
인덱싱, 비교, 리덕션 출력용으로 지원 |
bool |
비교 연산의 출력 |
float64 |
LPU로 옮기기 전에 bfloat16 또는 float32로 변환 |
int8, uint8 |
저장과 전송. 양자화 가중치는 torch.ops.lpu.quant_weight_*로 처리 |
int16 |
저장과 전송 |
이 하드웨어의 LLM 추론은 bfloat16으로 동작합니다. float32는 저장과 전송이 되며, 디바이스 계산은
legato resolver가 지원하는 연산에서 동작합니다. CPU와 비교할 때는 양쪽을 bfloat16으로 맞추십시오.
Autocast¶
명시적으로 캐스팅하십시오
torch.autocast("lpu")는 사용하지 마십시오. 컨텍스트 진입은 되지만 그 안의 연산은 eager와
torch.compile 모두에서 Autocastlpu 백엔드를 언급하는 NotImplementedError를 냅니다.
명시적으로 캐스팅하십시오.
1 | |
2.4 디바이스 컨텍스트 매니저¶
torch.accelerator.device_index(i)는 블록 안에서 호출 스레드의 현재 디바이스를 i로 바꾸고,
블록을 나갈 때 이전 디바이스로 되돌립니다.
1 2 | |
랭크마다 디바이스를 한 번 고정하는 일반적인 경우에는
torch.accelerator.set_device_index()를 사용하십시오.
분산 §4.2를 보십시오.
2.5 직렬화¶
torch.save와 torch.load가 LPU 텐서에 대해 동작합니다.
LPU에서 저장한 체크포인트를 map_location 없이 백엔드가 등록되지 않은 장비에서 로드하면
실패합니다. map_location="cpu"는 디바이스 레이아웃을 변환하지 않으므로, 기본이 아닌 kind의
가중치(nn.Linear·nn.Embedding 가중치 등)는 잘못된 값으로 로드됩니다. LPU 체크포인트는 백엔드가
있는 장비에서 map_location 없이 로드하거나, 아래처럼 .cpu()로 저장하십시오.
1 | |
2.6 동기화¶
LPU는 GPU와 마찬가지로 호스트에 대해 비동기로 실행됩니다. 명시적으로 기다리려면
torch.accelerator.synchronize()를 호출하십시오.
이미 사용하고 있는 동기화 지점도 그대로 동작합니다. 호스트에서 값을 읽는
동작(.cpu(), .item(), print)이 값이 준비될 때까지 블로킹합니다.
동기화 지점 없는 시간 측정은 아무것도 재지 않습니다
1 2 3 | |
시계를 멈추기 전에 완료를 강제하십시오. out.cpu()면 충분합니다. 또는 올바른
fence에서 디바이스 시간을 읽는 haprof를 쓰십시오.
2.7 메모리¶
메모리 캐싱은 hart 런타임이 직접 지원합니다. hart의 memory pool은 CUDA의 caching allocator와 같은 방식으로
세그먼트를 블록으로 나눠 할당하고, 해제된 블록을 풀에 보관해 다시 씁니다. 그래서 torch_ha는 별도의
캐싱 계층 없이 이 풀을 그대로 쓰며, 스트림 순서대로 할당하고 해제합니다. PyTorch에서 쓸 때는 다음만
유의하십시오.
- 해제된 버퍼는 동기화한 뒤에 재사용됩니다. 텐서를 해제하면 버퍼는 스트림에 해제 요청으로 남아 있다가, 동기화가 끝난 뒤에야 풀로 돌아갑니다. CUDA처럼 같은 스트림의 다음 할당이 바로 재사용하지 않습니다. 할당이 메모리 부족으로 실패하면 할당자가 디바이스를 한 번 동기화해 이런 버퍼를 회수하고 다시 시도합니다.
torch.accelerator.empty_cache()는 풀 메모리를 디바이스에 돌려줍니다. 모든 디바이스를 동기화해 해제 대기 중인 버퍼를 풀로 돌려보낸 뒤, 쓰이는 블록이 없는 세그먼트를 디바이스에 반환합니다. 늘어난 여유 메모리는get_memory_info()로 확인하십시오.- 메모리 통계는
torch.accelerator로 읽습니다.memory_stats(),memory_allocated(),memory_reserved(),max_memory_allocated(),reset_peak_memory_stats(),get_memory_info()가 hart 풀과 드라이버에서 읽은 값을 돌려줍니다. 해제한 버퍼는 동기화 전까지 풀로 돌아가지 않으므로 그때까지memory_allocated()에도 포함됩니다. fill_은 크기에 따라 경로가 다릅니다.fill_·zero_는 1 MiB 이상인 텐서를 디바이스의 memset 커널로 채웁니다. 그보다 작은 텐서와 커널이 다룰 수 없는 view는 호스트에서 값을 채운 스테이징 버퍼를 디바이스로 복사합니다. 기준 크기는HA_FILL_KERNEL_MIN_BYTES로 바꾸고,HA_FILL_KERNEL=0이면 커널을 쓰지 않습니다. 환경 변수를 보십시오.- 같은 디바이스 안의
copy_는 디바이스 copy 커널로 실행됩니다. 두 텐서의 kind, dtype, shape, stride가 같고 배치가 커널 조건에 맞을 때입니다. 그 밖의 복사는 기존 경로를 씁니다.
풀이 세그먼트를 나누고 보관하는 방식은 hart 메모리 모델을 보십시오.
2.8 현재 제약¶
| 기능 | 상태 |
|---|---|
Stream / Event (torch.Stream, torch.Event) |
스트림은 런타임 계층에 있지만, PyTorch에서는 현재 기본 스트림(torch.accelerator.current_stream())만 쓰며 사용자 스트림 생성(torch.Stream("lpu"))과 이벤트(torch.Event) 기록은 아직 제공되지 않습니다. |
pinned 호스트 메모리(pin_memory())와 비동기 복사(non_blocking=True) |
pin_memory()(DataLoader(pin_memory=True) 포함)는 NotImplementedError를 냅니다. non_blocking=True는 받아들여지지만 복사는 항상 블로킹입니다. |
스트림과 이벤트 제어는 한 계층 아래 런타임에 있습니다. hart를 보십시오.
다음 단계¶
- 연산 — 무엇이 디바이스로 디스패치되는가
- 분산 — 디바이스를 여러 개 쓰기
- Paged KV 캐시 — 가상 메모리로 KV 캐시 블록을 매핑하기