콘텐츠로 이동

레이아웃과 메모리 종류

Legato 텐서 타입은 논리 shape과 물리적 배치(메모리에 실제로 놓이는 방식)를 함께 기술합니다. 범용 텐서 타입은 layout map으로 레이아웃을 직접 지정할 수 있고, 백엔드에 맞춘 텐서 타입은 백엔드가 정의한 메모리/레이아웃 kind를 문자열로 지정합니다.

범용 layout map

layout map은 논리 인덱스가 메모리 offset에 어떻게 대응되는지를 기술합니다.

1
2
3
4
5
6
7
8
import legato.language.types.layout as layout

tensor_type = legato.types.tensor(
    legato.types.float("float32"),
    [10, 10],
    None,
    layout.map("(d0, d1)[s0, s1] -> (d0 * s1 + d1)"),
)

레이아웃 식에 쓰는 기호는 다음과 같습니다.

  • d0, d1, ...: 각 차원의 인덱스 (d0는 0번 차원에서의 위치)
  • s0, s1, ...: 각 차원의 크기를 나타내는 shape 심볼

Bertha 텐서 종류

Bertha 커널에서는 legato.get_model().tensor_type(dtype, shape, kind)를 권장합니다.
종류는 미리 정의된 메모리/레이아웃 조합을 선택합니다.

현재 구현이 지원하는 주요 종류는 다음과 같습니다.

  • "shared_memory"와 "shared_dram"
  • "row_major"
  • 같은 value 방식 DRAM 레이아웃을 가리키는 "value_dram"과 "mpu_dram"
  • 같은 key 방식 DRAM 레이아웃을 가리키는 "key_dram"과 "transposed_mpu_dram"
  • "mpu_weight"
  • "sliced_dram"
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
@legato.compile(backend=get_bertha)
def kernel(
    x: legato.get_model().tensor_type(
        legato.types.float("bfloat16"),
        ((-1, 10), 256),
        "shared_dram",
    ),
    out: legato.get_model().tensor_type(
        legato.types.float("bfloat16"),
        [10, 128],
        "shared_dram",
    ),
):
    ...

Bertha 텐서를 코어 로컬 SRAM에 row-major 레이아웃으로 두어야 할 때는 "row_major"를 사용하십시오. 예전 이름 "row_major_sram"은 "row_major"로 대체되었고, "row_major_dram"은 더 이상 유효한 Bertha 종류가 아닙니다.

Bertha 고유의 레이아웃 세부 사항과 alias 쌍은 Bertha 레이아웃를 참고하십시오.

동적 shape

동적 차원은 (-1, max_dim)으로 씁니다.

1
2
3
4
dynamic_sram_type = legato.types.tensor(
    legato.types.float("bfloat16"),
    ((-1, 10), 512),
)

런타임 차원은 텐서에서 읽어 view나 할당에 사용할 수 있습니다.

1
2
dim0 = legato.tensor.get_dimension(input_tensor, 0)
tmp = legato.tensor.allocate(dynamic_sram_type, (dim0,))

결과 shape이 고정이면 dynamic_shape=None을 넘기십시오. 동적 할당에는 동적 차원마다 런타임 인덱스를 하나씩 주십시오. 고정 차원에는 shape 피연산자를 추가하지 마십시오. 상수 shape 피연산자는 fill을 고정 결과로 특수화해서 나중에 피연산자 개수 불일치를 일으킬 수 있습니다.

언어는 동적 할당을 표현할 수 있지만, 런타임 지원은 메모리 경로에 따라 다릅니다. 각 예제가 어느 단계까지 검증되었는지는 텐서 메모리 패턴에 적혀 있습니다.

View

view는 새 논리 인덱싱 영역을 가진 alias(같은 메모리를 가리키는 다른 이름)를 만듭니다. 데이터를 복사하지 않습니다.

1
2
3
4
front = legato.tensor.view(
    tensor,
    (legato.range(0, 5), legato.range(0, 256)),
)

view는 흔히 memcpy와 함께 써서 텐서의 일부를 메모리 종류 사이에서 복사합니다.