인자 바인딩¶
컴파일된 커널을 Python에서 호출할 때 상황을 말씀드리겠습니다.
각 인자를 wrapper로 감싸면 그 데이터를 디바이스의 어디에 배치할지 launcher에 알려 줄 수 있습니다.
배치 위치는 top executor, 코어별 분산(코어마다 값 하나씩 scatter),또는 둘 다가 될 수 있습니다.
이때 쓰는 wrapper가 legato.Arg와 legato.Args이고, 배치 위치를 가리키는 디바이스 marker는 legato.model.bertha가 제공합니다.
1 2 3 4 5 6 7 | |
두 축: param_kinds와 marker¶
param_kinds(데코레이터 참고)와 디바이스 marker는
"top"과 "core"라는 단어를 공유하지만,
서로 다른 것을 기술하므로 혼용해서 사용하면 안 됩니다.
param_kinds는 "컴파일 시점"의 정보이고 IR에 새겨집니다.
커널 본문 안에서 파라미터 심볼이 어디에서 참조되는지, 즉 어느 executor 범위가 그것을 사용하는지를 말합니다.- 디바이스 marker는 "런타임"의 정보이고 호출 지점에 있습니다.
launcher가 인자의 데이터를 어디에 어떻게 배치하는지를 말합니다.
launch(커널 실행 시작) 시점에 Legato는 둘이 일치하는지 교차 검사합니다.
예를 들어 커널이 코어에서만 사용하는 파라미터는 top에 binding할 수 없습니다.
디바이스 marker¶
marker는 legato.model.bertha에 있습니다.
top과 all_cores는 그대로 사용하고, core는 코어 인덱스를 받습니다.
| marker | placement |
|---|---|
bertha.top |
top executor. |
bertha.all_cores |
모든 코어. 코어별 scatter 대상. |
bertha.core(*idx), 예: core(0, 1, 2) |
코어의 특정 부분집합. |
core(...)는 all_cores와 같은 "core" 종류로 보고되며,
차이는 나열된 코어만 binding된다는 점입니다.
launch 시점에 부분집합 밖의 코어는
garbage slot(의미 없는 값으로 채운 자리)으로 채워져,
모든 코어가 같은 인자 개수를 유지합니다.
legato.Arg¶
Arg(value, target)은 단일 값을 디바이스 대상에 binding합니다.
대상은 marker 하나이거나 marker의 튜플입니다.
1 2 3 | |
(top, all_cores)처럼 marker를 튜플로 묶은 다중 marker 대상은
값 하나를 여러 executor에 한 번에 binding합니다.
이는 universal 파라미터에서만 유효합니다.
한 executor에 고정된 파라미터는 다중 executor placement를 받을 수 없습니다.
core(0, 1, 2)는 다중 marker 대상이 아니라는 점에 유의하십시오.
이는 코어의 부분집합을 지정하는 단일 core 종류 대상입니다.
legato.Args¶
Args(values, target)은 코어 분산(core-distributed) wrapper입니다.
코어별 값의 시퀀스를 담고, 이 값들은 코어마다 하나씩 scatter됩니다.
이는 값이 코어마다 하나씩 대응되는 단일 논리 커널 인자입니다.
각 코어의 커널 인스턴스는 그 파라미터 하나를 통해 자기 값을 봅니다.
1 2 | |
코어별 scatter 대상만 유효합니다. 즉 all_cores 또는 core(...) 부분집합입니다.
top이나 다중 marker 대상을 넘기면 생성 시점에 ValueError가 발생합니다.
그 이유는 단일 executor(또는 다중 executor) 대상이 파라미터 하나로 여러 값을 받을 수 없기 때문입니다.
데이터를 단일 또는 다중 executor에 배치하려면 대신 Arg를 사용하십시오 (필요하면 인자를 따로 복제합니다).
core(...) 부분집합을 쓸 때는 값의 개수가 나열된 코어 수와 같아야 합니다.
bare 인자¶
wrapper 없이 넘긴 인자는 bare 인자입니다.
이는 universal 파라미터에서만 유효합니다
(param_kinds를 전혀 선언하지 않은 커널도 포함되며,
이 경우 모든 파라미터가 암묵적으로 universal이 됩니다).
launcher는 bare 인자를 자동으로 배치합니다.
무엇이 무엇에 binding되는가¶
param_kinds(열)가 어떤 wrapper 형태(행)를 받을 수 있는지 제한합니다.
아래에서 ✅는 컴파일되고, ❌는 launch 시점에 RuntimeError가 발생하며,
⛔는 Args를 생성하는 동안 ValueError가 발생합니다.
| 인자 형태 | universal / 미선언 |
top |
core |
|---|---|---|---|
bare value |
✅ | ❌ | ❌ |
Arg(t, top) |
❌ | ✅ | ❌ |
Arg(t, all_cores) |
❌ | ❌ | ✅ |
Arg(t, core(...)) |
❌ | ❌ | ✅ 부분집합 |
Arg(t, (top, all_cores)) |
✅ | ❌ | ❌ |
Arg(t, (top, core(...))) |
✅ | ❌ | ❌ |
Args(vs, all_cores) |
❌ | ❌ | ✅ scatter |
Args(vs, core(...)) |
❌ | ❌ | ✅ 부분집합 scatter |
Args(vs, top) |
⛔ | ⛔ | ⛔ |
Args(vs, (top, all_cores)) |
⛔ | ⛔ | ⛔ |
표의 바탕이 되는 규칙은 다음과 같습니다.
- bare 값은
universal(또는 미선언) 파라미터만 받습니다. - 단일 종류 대상은 파라미터의 종류와 정확히 일치해야 합니다.
universal파라미터는 단일 executor 대상을 거부합니다.
이유는 여러 executor에 걸쳐 사용되므로 하나에 고정하면 모호하기 때문입니다.
bare로 넘기거나, 완전한 다중 executor 대상을 주십시오. (top, all_cores)같은 다중 executor 튜플은universal파라미터에서만, 그리고Arg에서만 유효합니다.core(*idx)는all_cores처럼 동작하지만("core"종류 대상) 나열된 코어만 binding합니다.
binding되지 않은 코어는 launch 시점에 garbage로 채워집니다.Args는 코어별 scatter 전용입니다(all_cores또는core(...)부분집합).
instruction table (호스트) 인자¶
instruction table은 cpu parameter를 전달하기 위한 작은 버퍼입니다. 이 버퍼에는 host memory에 있는 값들이 올라가게 됩니다. 주로 포인터, 상수 등을 전달하기 위해 쓰이지만, 여기서는 이곳에 tensor를 얹는 방법에 대해 이야기합니다. Instruction table은 매우 작기 때문에, 너무 큰 tensor를 instruction table로 전달하는건 지양해야 하며, 그 경우 컴파일 오류가 날 수 있습니다.
"instruction_table" 종류로 어노테이션된 파라미터,
즉 legato.get_model().tensor_type(dtype, shape, "instruction_table")은
디바이스에 상주하는 텐서가 아닙니다.
그 원소 데이터는 커널의 instruction table heap에 그대로 삽입되므로,
launcher는 디바이스 포인터가 아니라
인자의 호스트 원본 바이트를 읽습니다
(hart의 LegatoTensorArg가 아니라 LegatoArrayArg가 됩니다).
따라서 넘기는 값은 CPU torch.Tensor여야 합니다.
1 2 3 4 5 6 7 8 9 | |
- 값은
torch.Tensor여야 합니다.
텐서가 아닌 값(예: Pythonlist/int)은TypeError를 발생시킵니다. - CPU에 상주해야 합니다. 디바이스(CPU가 아닌) 텐서는
ValueError를 발생시킵니다.
instruction table 인자는 디바이스 메모리가 아니라 호스트 상수 데이터이기 때문입니다. - 바이트는 텐서 자체의 dtype으로 little-endian으로 읽히며, 이 dtype은 어노테이션의 dtype 및 shape과 일치해야 합니다 (아래의 텐서 타입 검사가 여전히 적용됩니다).
- placement wrapper(
Arg/Args/ bare)와 routing은 다른 인자와 똑같이 동작합니다.
유일한 차이는 디바이스 포인터 대신 호스트 바이트라는 점입니다.
EVT1은 instruction table 텐서의 scalar 읽기와 그 값의 정수 cast를 지원합니다.
여기에는 DRAM view에 사용하는 index도 포함됩니다.
instruction table의 정수 index와 DRAM 채널 수로 행 수가 나누어떨어지는
sliced_dram weight 테이블을 사용한 tensor.gather도 지원합니다.
instruction table 텐서 view는 지원하지 않습니다.
위의 CPU 상주 입력 요구 사항은 두 세대에 모두 적용됩니다.
디바이스 상의 레이아웃은 instruction table ABI를 참고하십시오.
launch 시점 검증¶
wrapper는 호출할 때마다 벗겨지므로, 컴파일러는 언제나 원본 값만 봅니다.
launch 직전에 두 가지 검사가 실행됩니다.
- 대상 검사: 각 wrapper의 디바이스 대상을 위 표에 따라 파라미터의
param_kinds와 교차 검사합니다. - 텐서 타입 검사: 모든 값의 dtype, 랭크, 정적 차원을 파라미터 어노테이션과 비교합니다.
Args는 모든 값을 검사하며, 동적 차원(-1로 선언)은 코어별 값 사이에서 일치해야 합니다.
디바이스에 상주하는 텐서의 레이아웃 종류도 어노테이션의 메모리 종류와 교차 검사합니다.
empty_with_kind↔ 어노테이션kind대응표는 종류 선택를 참고하십시오.
예제¶
a를 universal, b를 top, out을 core로 선언한 커널은
호출 지점에서 각 인자를 그에 맞게 binding합니다.
a, b, out은 디바이스에 상주하는 텐서입니다.
전체 커널과 디바이스 텐서 설정은
단순 Matmul을 참고하십시오.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | |
흔한 실수¶
top이나core파라미터에 bare 값을 넘기는 것.legato.Arg(..., target)으로 감싸십시오.universal파라미터를 단일 executor에 고정하는 것(예:Arg(t, bertha.top)). bare로 넘기거나,(bertha.top, bertha.all_cores)같은 다중 executor 대상을 주십시오.Args를top이나 튜플 대상과 함께 쓰는 것.Args는 코어별 scatter 전용이며, 이 경우 생성 시점에 실패합니다.- 두 축을 혼동하는 것.
param_kinds는 커널 본문을, marker는 런타임 placement를 기술합니다.