메모리 연산¶
Legato는 데이터 이동을 명시적으로 만듭니다. 전형적인 커널은 top executor에서 load를 발행하고, 코어 컨텍스트에서 텐서를 receive하고, 계산한 뒤, 결과를 목적지 텐서로 다시 복사합니다.
핵심 연산¶
request_load¶
1 | |
devices는 executor나 메모리 하나, executor/메모리의 리스트,
또는 동적 Bertha load 요청을 위한 컴파일된 bit mask일 수 있습니다.
target_name은 receive 쪽이 사용하는 대상 버퍼를 가리킵니다.
1 2 3 | |
receive¶
1 | |
받을 데이터의 타입과 shape을 기술하는 텐서 값이 이미 있을 때는
receive를 사용하십시오.
1 2 | |
receive_type¶
1 | |
받을 값이 기존 텐서 값이 아니라 타입으로 기술될 때는 receive_type을 사용하십시오.
dynamic_shape은 shape이 완전히 정적이면 None이고,
동적 차원이 있으면 인덱스류 값의 튜플입니다.
1 2 3 4 5 6 | |
Bertha에서는 request_load가 반환하는 SSA 핸들을 그대로 넘기지 말고
정적 receive 인덱스를 사용하십시오.
receive(tensor, index, target)은 receive를 그 소스 텐서와 연결하고,
receive_type(type, index, ...)은 대상 스트림에서 receive slot을 선택합니다.
예를 들어 receive_type으로 소비하는 가중치 요청 두 개는 slot 0과 1을 씁니다.
대상 이름은 양쪽에서 일치해야 합니다.
Causal Attention 예제이 두 형태를 모두 보여 줍니다.
Load Compute Store¶
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | |
Copy, Move, Memcpy¶
legato.tensor.copy(value, target)은 소스의 수명(Lifetime)을 유지하면서 텐서를 복사합니다.legato.tensor.move(value, target)은 소유권을 옮기고 소스 값을 무효화합니다.legato.tensor.memcpy(dst, src)는 기존 목적지 텐서나 view에 데이터를 복사합니다.legato.tensor.borrow_tuple_element(values, index)는 튜플 원소를 복사하지 않고 반환합니다. 텐서 결과는 값을 만든 쪽의 저장소에 대한 alias이므로, 쓰기는 두 값 모두를 통해 보이고, 빌린 값을 더 이상 쓰지 않을 때까지 원래 저장소는 살아 있습니다. 인덱스는 컴파일 시점에 정해지는, 튜플 범위 안의 음이 아닌 정수여야 합니다.
memcpy는 테스트와 예제에서 흔히 쓰는 store 연산입니다.
EVT0의 int32 scalar store¶
코어에서 flags[row, 0] = step으로 int32 scalar를 shared_dram 텐서에 저장할 수 있습니다.
이 경로는 해당 원소를 포함한 64바이트 DRAM word 전체를 씁니다.
나머지 60바이트의 값은 정해지지 않습니다.
각 flag에 별도 word를 예약하고, 이웃 원소를 보존해야 할 때는 텐서 view와 memcpy를 쓰십시오.
이 연산만으로 호스트/디바이스 polling이나 원격 메모리 가시성이 보장되지는 않습니다.
1 2 3 4 5 | |
동적 shape¶
동적 차원은 텐서 타입에서 (-1, max_dim)으로 나타냅니다.
런타임 크기는 legato.tensor.get_dimension으로 읽어
할당이나 receive 연산에 넘길 수 있습니다.
1 2 3 4 5 6 | |
EVT1 전송¶
EVT1 백엔드에서 shared DRAM의 request와 receive는 런타임 행 수와 물리 차원이 padding된 텐서도 지원합니다. 전송 크기는 런타임 행 수를 기준으로 DRAM line 단위로 올림하고, 행 이외의 나머지 차원은 물리 크기(padding 포함)만큼 그대로 복사합니다. 이 지원 범위는 request/receive 경로에 해당하며, 목적지 SRAM 텐서의 물리 크기는 여전히 컴파일 시점에 정해져 있어야 합니다.
EVT1에서는 legato.tensor.memcpy(output, value)로 코어 SRAM에 있는 결과를 word interleaved 레이아웃의 shared_dram에 써넣을 수도 있습니다.
BF16 출력에 대해 rank 1부터 6까지 수치 검증되어 있습니다. 입력과 출력의 저장 kind를 호환되게 유지하십시오.
소스·목적지 크기와 서로 맞고 전송 정렬 조건을 만족하도록 해야합니다.
EVT1 검증 범위 표에
EVT0 예제와 구분해 정리되어 있습니다.
권장 사항¶
- load와 receive의 순서를 분명하게 유지하십시오.
"sram","mpu_buffer"같은 명시적인 대상 이름을 사용하십시오.- MPU 가중치나 동적 shape 값에는
receive_type을 사용하십시오. - 텐서 일부를 store할 때는
view와memcpy를 함께 쓰는 것을 권장합니다.