레이아웃과 메모리 종류¶
Legato 텐서 타입은 논리 shape과 물리적 배치(메모리에 실제로 놓이는 방식)를 함께 기술합니다. 범용 텐서 타입은 layout map으로 레이아웃을 직접 지정할 수 있고, 백엔드에 맞춘 텐서 타입은 백엔드가 정의한 메모리/레이아웃 kind를 문자열로 지정합니다.
범용 layout map¶
layout map은 논리 인덱스가 메모리 offset에 어떻게 대응되는지를 기술합니다.
1 2 3 4 5 6 7 8 | |
레이아웃 식에 쓰는 기호는 다음과 같습니다.
d0,d1, ...: 각 차원의 인덱스 (d0는 0번 차원에서의 위치)s0,s1, ...: 각 차원의 크기를 나타내는 shape 심볼
Bertha 텐서 종류¶
Bertha 커널에서는 legato.get_model().tensor_type(dtype, shape, kind)를 권장합니다.
종류는 미리 정의된 메모리/레이아웃 조합을 선택합니다.
현재 구현이 지원하는 주요 종류는 다음과 같습니다.
"shared_memory"와"shared_dram""row_major"- 같은 value 방식 DRAM 레이아웃을 가리키는
"value_dram"과"mpu_dram" - 같은 key 방식 DRAM 레이아웃을 가리키는
"key_dram"과"transposed_mpu_dram" "mpu_weight""sliced_dram"
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | |
Bertha 텐서를 코어 로컬 SRAM에 row-major 레이아웃으로 두어야 할 때는
"row_major"를 사용하십시오.
예전 이름 "row_major_sram"은 "row_major"로 대체되었고,
"row_major_dram"은 더 이상 유효한 Bertha 종류가 아닙니다.
Bertha 고유의 레이아웃 세부 사항과 alias 쌍은 Bertha 레이아웃를 참고하십시오.
동적 shape¶
동적 차원은 (-1, max_dim)으로 씁니다.
1 2 3 4 | |
런타임 차원은 텐서에서 읽어 view나 할당에 사용할 수 있습니다.
1 2 | |
결과 shape이 고정이면 dynamic_shape=None을 넘기십시오.
동적 할당에는 동적 차원마다 런타임 인덱스를 하나씩 주십시오.
고정 차원에는 shape 피연산자를 추가하지 마십시오.
상수 shape 피연산자는 fill을 고정 결과로 특수화해서
나중에 피연산자 개수 불일치를 일으킬 수 있습니다.
언어는 동적 할당을 표현할 수 있지만, 런타임 지원은 메모리 경로에 따라 다릅니다. 각 예제가 어느 단계까지 검증되었는지는 텐서 메모리 패턴에 적혀 있습니다.
View¶
view는 새 논리 인덱싱 영역을 가진 alias(같은 메모리를 가리키는 다른 이름)를 만듭니다. 데이터를 복사하지 않습니다.
1 2 3 4 | |
view는 흔히 memcpy와 함께 써서 텐서의 일부를 메모리 종류 사이에서 복사합니다.