컴파일러 세션¶
legato.session(...)은 세션 안에서 호출되는 @legato.compile 커널에 적용할 컴파일 옵션을 설정합니다.
커널은 호출 시점에 JIT 컴파일되므로 반드시 세션 안에서 호출해야 하며, 세션 밖에서 컴파일된 커널을 호출하면 런타임 에러가 발생합니다.
1 2 | |
세션이 제어하는 것¶
세션은 다음 옵션을 현재 Python 컨텍스트에 저장합니다.
output_type: 어떤 컴파일러 artifact를 만들지.output_path: artifact와 컴파일러 로그를 어디에 기록할지.launch: 컴파일된 커널을 호출할 때 디바이스에서 launch까지 할지 (기본값True).
실행하기를 참고하십시오.
컴파일된 커널이 호출되면 Legato는 IR을 만들기 전에 이 옵션을 읽습니다.
옵션에 따라 어떤 컴파일러 패스가 실행되고 어떤 파일이 기록되는지가 정해집니다.
출력 타입¶
output_type은 None이거나 legato.OutputType enum 값 중 하나여야 합니다.
"binary" 같은 문자열은 거부됩니다.
| 출력 타입 | 확장자 | 컴파일러 동작 |
|---|---|---|
legato.OutputType.MLIR |
.mlir |
core/백엔드 패스 전의 프론트엔드 MLIR을 출력(emit)합니다. |
legato.OutputType.CORE_IR |
.mlir |
core 패스를 실행하고 Core IR을 출력합니다. |
legato.OutputType.BACKEND_IR |
.mlir |
core 패스와 백엔드 패스를 실행한 뒤 백엔드 IR을 출력합니다. |
legato.OutputType.ASM |
.asm |
패스를 실행하고 어셈블리로 변환합니다. |
legato.OutputType.BINARY |
.bin |
패스를 실행하고 바이너리로 변환합니다. |
None |
.mlir 또는 .bin |
output_path에 따라 Legato 기본값을 사용합니다. 아래를 참고하십시오. |
출력 경로¶
output_path를 지정하면
Legato는 컴파일된 함수의 이름을 딴 디렉터리 아래에 artifact를 기록합니다.
1 2 | |
함수 이름이 multiply_add이면 출력 파일은 다음 위치에 기록됩니다.
1 | |
최종 artifact 이름에는 커널 특수화 해시가 들어가고, 그 옆에 짝이 되는 .log 파일이 기록됩니다.
해시는 constexpr 인자가 바뀌면 달라지므로, constexpr 특수화가 다르면 artifact도 따로 만들어집니다.
output_type과 output_path가 모두 None이면 Legato는 자체 캐시 디렉터리와 로그 디렉터리를 사용합니다.
이 모드에서는 같은 특수화에 대해 이미 캐시된 artifact가 있으면 코드 생성을 건너뛸 수 있습니다.
기본 동작¶
legato.session(output_type=None, output_path="some-dir")는
바이너리 artifact를 요청합니다.
컴파일한 뒤 바로 실행하는 보통의 예제에 유용합니다.
legato.session(output_type=None, output_path=None)은 내부 캐시 경로를 사용하고,
패스 대상을 기본값인 바이너리로 둡니다.
실행하기¶
기본값(launch=True)에서는 세션 안에서 컴파일된 커널을 호출하면 컴파일과 디바이스 launch를 모두 수행합니다.
1 2 | |
launcher를 호출하지 않고 요청한 artifact만 만들려면 launch=False를 넘기십시오.
이는 lowering만 하는 흐름과, 선택 사항인 hart 런타임이 없는 환경에 유용합니다.
launch할 수 있는 것은 OutputType.BINARY뿐입니다. 텍스트 IR 출력 타입(MLIR, CORE_IR, BACKEND_IR, ASM)은 launch할 것이 없으므로 launch가 아무 효과도 내지 않습니다.
예제: 바이너리 출력¶
simple_matmul을 바이너리 artifact로 컴파일합니다. a, b, out은 디바이스에 상주하는 텐서입니다.
전체 커널과 디바이스 텐서 설정은 단순 Matmul을 참고하십시오.
1 2 3 4 5 6 | |
예제: Core IR 확인 (보안 binary 에서는 불가능)¶
core 컴파일러 패스 이후의 결과를 확인하고 싶을 때는 CORE_IR을 사용하십시오.
1 2 3 4 5 6 7 | |
흔한 실수¶
OutputType.MLIR출력이 성공한 것을 백엔드가 지원한다는 증거로 여기는 것. 이후 단계의 출력은 프론트엔드 IR만으로는 거치지 않는 executor, 메모리, 백엔드 검사를 실행합니다.
컴파일 diagnostics 예제를 참고하십시오.with legato.session(...):없이 컴파일된 커널을 호출하는 것.output_type에legato.OutputType대신 문자열을 넘기는 것.- 함수 하나에 artifact가 하나만 생긴다고 기대하는 것. constexpr 특수화마다 해시가 다른 artifact 이름이 만들어집니다.