타입¶
Legato는 타입이 있는 언어입니다. 타입 어노테이션은 스칼라 폭, 텐서 원소 타입, 텐서 shape, 컴파일 시점 값을 기술합니다.
스칼라 타입¶
1 2 3 4 5 | |
cast나 어노테이션으로 달리 지정하지 않으면,
Python 정수 리터럴은 signless(부호 정보가 없는) 정수 타입이 되고
Python 부동소수점 리터럴은 float32가 됩니다.
값을 특정 Legato 타입으로 바꿔야 할 때는 legato.language.arith.cast를 사용하십시오.
1 2 3 4 | |
텐서 타입¶
범용 텐서 타입은 legato.types.tensor를 사용합니다.
1 | |
백엔드 전용 텐서 타입은 legato.get_model().tensor_type을 사용합니다.
1 2 3 4 5 | |
세 번째 인자는 백엔드 고유의 종류입니다.
Bertha에서 흔히 쓰는 종류는
"shared_dram", "row_major", "mpu_weight", "sliced_dram"입니다.
"value_dram"과 "mpu_dram"은 같은 value 방식 DRAM 레이아웃을 선택하고,
"key_dram"과 "transposed_mpu_dram"은 같은 key 방식 DRAM 레이아웃을 선택합니다.
"instruction_table"은 데이터가 디바이스 메모리에 있지 않고
커널의 instruction table에 직접 삽입되는 작은 호스트 상수 테이블을 표시합니다.
launch 시점에는 CPU torch.Tensor를 받습니다
(instruction table (호스트) 인자 참고).
Shape 문법¶
shape에는 다음이 올 수 있습니다.
[10, 512]같은 고정 차원,-1같은 제한 없는 동적 차원,(-1, 10)같은 상한이 있는 동적 차원.
1 2 3 4 5 | |
런타임 차원을 읽으려면 legato.tensor.get_dimension(tensor, index)를 사용하십시오.
1 2 | |
논리 shape과 물리 크기¶
차원을 (logical, physical) 쌍으로 쓰면 실제 데이터 크기(논리 크기)와 메모리에 저장되는 크기(물리 크기, pitch)를 함께 나타냅니다.
예를 들어 (4, (70, 256))은 원소 70개짜리 행 4개를, 행마다 256칸을 차지하도록 저장한다는 뜻입니다.
(-1, max_dim)은 크기가 런타임에 정해지되 최대 max_dim인 동적 차원입니다.
단일 값 차원과 쌍으로 쓴 차원이 섞여 있으면 **튜플**을 사용하십시오.
타입이 다른 원소가 섞인 Python 리스트는 유효한 Legato에서 유효한 리스트 값이 아닙니다.
이렇게 선언한다고 padding 공간이 자동으로 할당되지는 않습니다. 런타임 텐서의 실제 저장 공간과 stride는 선언한 물리 차원과 일치해야 합니다. 호스트/디바이스 설정은 물리 저장 공간를 참고하십시오.
튜플, 리스트, range¶
튜플 타입과 리스트 타입은 컴파일 시점 값과 구조화된 인자에 유용합니다.
1 2 3 4 5 | |
legato.range(start, end, step)은 반복문과 텐서 view에 쓰는 range 값을 만듭니다.
1 2 3 | |
Constexpr¶
값을 컴파일 시점에 알아야 할 때는 타입을 legato.types.constexpr(...)로 감싸십시오.
1 2 3 4 | |
constexpr 값은 컴파일 특수화에 참여합니다. 같은 컴파일된 함수를 다른 constexpr 값으로 호출하면 서로 다른 캐시된 artifact이 만들어질 수 있습니다.
인터프리터 값과 디바이스 값¶
Legato 코드는 두 세계에서 동작합니다.
- 인터프리터(interpreter) 값은 컴파일러가 IR을 생성하는 동안 알 수 있는 값이고,
- 컴파일된 값은 IR로 표현되어 디바이스가 계산하는 값입니다.
legato.static.fold 같은 static helper 함수는 인터프리터 값에만 쓸 수 있습니다. 반면, 텐서 연산과 메모리 이동은 컴파일된 값을 대상으로 합니다.