Bertha 레이아웃¶
Bertha 텐서는 보통 legato.get_model().tensor_type(dtype, shape, kind)로 선언합니다.
kind 문자열에 따라 Bertha 메모리 객체와 Bertha layout map이 함께 정해집니다.
이 페이지는 현재 Bertha 구현이 지원하는 레이아웃 kind를 설명합니다. 범용 Legato layout map은 레이아웃과 메모리 종류를 참고하십시오.
지원하는 종류 문자열¶
Bertha.tensor_type이 받는 kind 문자열은 다음과 같습니다
(백엔드 제한은 대상 세대 참고).
"shared_memory"와"shared_dram""row_major""value_dram"과"mpu_dram""key_dram"과"transposed_mpu_dram""mpu_weight""mpu_weight_sram": 코어 SRAM에 상주하는 MPU 형식 weight"mpu_packed_buffer""sliced_dram""instruction_table": 명령어 테이블에 포함되는 호스트 상수
1 2 3 4 5 | |
"shared_memory"는 "shared_dram"과 같은
shared DRAM word 분산 레이아웃을 가리키는 alias입니다.
Row-major 레이아웃¶
코어 로컬 SRAM에 row-major 인덱싱으로 저장하는 텐서에는 "row_major"를 사용하십시오.
이 kind는 예전 이름인 "row_major_sram"을 대체합니다.
row-major 레이아웃은 논리 인덱스를 flatten된 row-major offset에 대응시킵니다.
1 | |
2차원 텐서에서는 d0 * s1 + d1과 같습니다.
"row_major_dram"은 Bertha 생성자가 더 이상 받지 않습니다.
shared DRAM 텐서에는 "shared_dram"을 쓰고,
사용자 정의 row-major DRAM 타입이 필요하면
legato.types.tensor(...)로 범용 layout map을 명시적으로 정의하십시오.
Shared DRAM 레이아웃¶
일반적인 shared DRAM 텐서에는 "shared_dram" 또는 "shared_memory"를 사용하십시오.
두 kind 모두 설정된 채널들에 걸친 word 분산 DRAM 레이아웃을 씁니다.
EVT0의 기본값은 word 크기 64바이트, DRAM 채널 8개입니다.
구현에서는 다음 값을 계산합니다.
- row-major로 flatten한 원소 인덱스
- 64바이트 word 안에서 원소의 위치
- word 인덱스로부터 구한 DRAM 채널
- 선택된 채널 안에서의 로컬 word offset
이 레이아웃은 표준 Legato 텐서 이동 연산으로 shared memory에서 load하거나 shared memory에 store하는 텐서에 유용합니다.
Sliced DRAM¶
텐서를 설정된 DRAM 채널(EVT0 기본값 8개)에 걸쳐
같은 크기의 연속된 slice로 나눠야 할 때는 "sliced_dram"을 사용하십시오.
제약은 다음과 같습니다.
- 레이아웃을 만들 때
shape을 알 수 있어야 합니다. - 전체 물리 원소 수가
params.num_memory_channels로 나누어떨어져야 합니다. - Bertha 채널 크기가 dtype 비트 폭으로 나누어떨어져야 합니다.
- 동적 차원은
(-1, max_dim)처럼 최대 물리 차원을 알 수 있을 때만 허용됩니다.
1 2 3 4 5 | |
Key와 Value DRAM alias¶
"key_dram"과"transposed_mpu_dram"은 같은 key 방식 kind를 선택합니다."value_dram"과"mpu_dram"은 같은 value 방식 kind를 선택합니다.
key/value cache 저장 공간이나 matmul 피연산자처럼 텐서의 역할을 드러내는 이름을 사용하십시오. 두 kind 모두 rank 2 이상, dtype 폭 4·8·16비트 중 하나, 선택한 백엔드가 받아들이는 shape을 요구합니다. 레이아웃 구성과 제약 검사는 SDK가 수행하도록 하십시오.
채널 주소 간격은 params.dram_channel_stride_bytes(EVT0 기본값 64 GiB)로 설정합니다.
bytes_per_channel은 채널 용량입니다.
설정을 덮어쓸 때는 선택한 디바이스/런타임 구성과 일치시켜야 합니다.
Weight 레이아웃¶
"mpu_buffer"를 통해 받는 weight에는 "mpu_weight"를 사용하고,
코어 SRAM에 유지하는 호환 weight에는 "mpu_weight_sram"을 사용하십시오.
이 kind들은 rank 2 이상, dtype 폭 4·8·16비트 중 하나를 요구합니다.
| 텐서 kind | 메모리 | 레이아웃 계열 |
|---|---|---|
"mpu_weight" |
MPU 버퍼 | mpu_weight |
"mpu_weight_sram" |
코어 SRAM | mpu_weight |
executor 할당에서 사용하는 layout-family tag가 포함되도록 Bertha kind로 타입을 만드십시오. MPU 형식 SRAM weight는 matmul RHS로 사용할 수 있지만, matmul LHS나 VPU 산술·reduction·정규화 입력으로 사용하면 거부됩니다. 컴파일러는 compact row-major SRAM weight를 MPU에 맞게 준비하며, 텐서는 SRAM에 그대로 유지됩니다.
EVT0에서 value 방식 소스 [K, N]을 SRAM으로 수신하면 논리 shape이 유지되고,
key 방식 소스 [N, K]은 [K, N]으로 수신됩니다.
이 규약을 표현하려면 Bertha 텐서 kind를 사용하십시오.
사용자 정의 범용 레이아웃이 weight 피연산자의 요구 사항까지 만족한다는 보장은 없습니다.
1 2 3 4 5 6 7 | |
컴파일러는 논리 텐서 shape을 유지하면서 SRAM weight를 matmul·convolution· depthwise convolution에 맞게 준비합니다. 애플리케이션에서는 SDK의 타입 검사와 할당·변환 helper를 사용하십시오. Weight 저장 공간 요구 사항을 참고하십시오.
mm_weight_quant / addmm_weight_quant에는 SDK weight converter가 만든
opaque 버퍼를 "mpu_packed_buffer"로 전달하십시오.
rank 1과 i8 원소 타입이 필요하며, shape은 [C, M]이 아니라 변환된 바이트 수입니다.
모든 consumer가 사용할 때까지 변환된 내용을 바꾸지 마십시오.
메모리 배치(Placement)¶
Bertha.tensor_type은 레이아웃 kind를 다음과 같이 메모리 객체에 대응시킵니다.
- Shared DRAM 메모리:
"sliced_dram","shared_dram","shared_memory", key 방식 alias"key_dram"과"transposed_mpu_dram", value 방식 alias"value_dram"과"mpu_dram". - MPU 버퍼 메모리:
"mpu_weight"와"mpu_packed_buffer". - 코어 SRAM 메모리:
"row_major"와"mpu_weight_sram".
메모리 배치와 레이아웃은 함께 정해집니다.
사용자 정의 범용 layout map만 필요한 경우에는 Bertha kind 문자열 대신
legato.types.tensor(...)와 legato.language.types.layout.map(...)을 사용하십시오.
디바이스 텐서 종류 (empty_with_kind)¶
위의 kind 문자열은 컴파일 시점 어노테이션입니다.
호스트 쪽에서 만든 디바이스 상주 입력 텐서는 torch.ops.lpu.empty_with_kind가 부여한
자체 레이아웃 kind를 가지며, 이 kind는 파라미터의 어노테이션 kind와 일치해야 합니다.
empty_with_kind 이름 ↔ 어노테이션 kind 대응표와
생성 → 채우기 → launch 전체 흐름은
PyTorch 연동을 참고하십시오.
동적 shape¶
Bertha 텐서 kind에서도 범용 Legato 텐서 타입과 같은 동적 shape 문법을 씁니다.
1 2 3 4 5 | |
"sliced_dram"처럼 컴파일 시점에 텐서의 물리 크기가 필요한 레이아웃에서는
최대 차원을 물리 차원으로 사용합니다.
Physical alignment와 shared load¶
제약은 **물리 원소 수**를 기준으로 적용됩니다.
기본 EVT0 shared DRAM에서는 물리 행이 64바이트 단위로 정렬되며,
이는 BF16 원소 32개 또는 FP32 원소 16개에 해당합니다.
SRAM 행은 128바이트 word를 씁니다.
compact한 DRAM 행은 SRAM으로 receive할 때 padding이나 재구성이 필요할 수 있으며,
실행 가능한 예제들은 양쪽 모두와 호환되는 폭을 사용합니다.
정렬에 맞지 않는 물리 크기를 명시한 타입에는 LE0301이 보고됩니다.
이때 나오는 상세 정렬 메시지는 dtype별 원소 수 배수와 바이트 길이를 구분해서 보여 줍니다.
예를 들어 128바이트 SRAM word 하나는 BF16 원소 64개 또는 FP32 원소 32개에 해당합니다.
컴파일 diagnostics 예제를 참고하십시오.
Top에서 요청하는 shared DRAM load는 DRAM line 전체를 포함해야 합니다. line 크기는 설정된 채널 수 × DRAM word 크기이며, 기본 EVT0에서는 8 × 64바이트 = 512바이트입니다. BF16 폭 64인 행 10개는 1280바이트라서 이 조건을 만족하지 못하지만, 12개는 1536바이트라서 만족합니다. 물리 첫 번째 차원에만 padding을 더해도 논리 전송 범위는 바뀌지 않습니다. 요청과 backing 할당이 모두 유효해야 하며, 다른 전송 경로의 조건은 다를 수 있습니다.
view는 부모의 물리 pitch를 그대로 유지합니다. matmul과 softmax의 lowering은 이 pitch를 사용하되, 연산은 논리 원소에만 수행합니다. 호스트에서는 실제로 padding된 backing 텐서를 컴파일된 레이아웃에 맞춰 만든 뒤 그 텐서의 논리 view를 넘기십시오. 물리 저장 공간을 참고하십시오.