콘텐츠로 이동

컴파일러 세션

legato.session(...)은 세션 안에서 호출되는 @legato.compile 커널에 적용할 컴파일 옵션을 설정합니다. 커널은 호출 시점에 JIT 컴파일되므로 반드시 세션 안에서 호출해야 하며, 세션 밖에서 컴파일된 커널을 호출하면 런타임 에러가 발생합니다.

1
2
with legato.session(output_type=legato.OutputType.BINARY, output_path="simple_matmul"):
    simple_matmul(input_tensor, weight_tensor, output_tensor)

세션이 제어하는 것

세션은 다음 옵션을 현재 Python 컨텍스트에 저장합니다.

  • output_type: 어떤 컴파일러 artifact를 만들지.
  • output_path: artifact와 컴파일러 로그를 어디에 기록할지.
  • launch: 컴파일된 커널을 호출할 때 디바이스에서 launch까지 할지 (기본값 True).
    실행하기를 참고하십시오.

컴파일된 커널이 호출되면 Legato는 IR을 만들기 전에 이 옵션을 읽습니다.
옵션에 따라 어떤 컴파일러 패스가 실행되고 어떤 파일이 기록되는지가 정해집니다.

출력 타입

output_type은 None이거나 legato.OutputType enum 값 중 하나여야 합니다.
"binary" 같은 문자열은 거부됩니다.

출력 타입 확장자 컴파일러 동작
legato.OutputType.MLIR .mlir core/백엔드 패스 전의 프론트엔드 MLIR을 출력(emit)합니다.
legato.OutputType.CORE_IR .mlir core 패스를 실행하고 Core IR을 출력합니다.
legato.OutputType.BACKEND_IR .mlir core 패스와 백엔드 패스를 실행한 뒤 백엔드 IR을 출력합니다.
legato.OutputType.ASM .asm 패스를 실행하고 어셈블리로 변환합니다.
legato.OutputType.BINARY .bin 패스를 실행하고 바이너리로 변환합니다.
None .mlir 또는 .bin output_path에 따라 Legato 기본값을 사용합니다. 아래를 참고하십시오.

출력 경로

output_path를 지정하면 Legato는 컴파일된 함수의 이름을 딴 디렉터리 아래에 artifact를 기록합니다.

1
2
with legato.session(output_type=legato.OutputType.CORE_IR, output_path="multiply_add"):
    multiply_add(a, b, c)

함수 이름이 multiply_add이면 출력 파일은 다음 위치에 기록됩니다.

1
multiply_add/multiply_add/

최종 artifact 이름에는 커널 특수화 해시가 들어가고, 그 옆에 짝이 되는 .log 파일이 기록됩니다.
해시는 constexpr 인자가 바뀌면 달라지므로, constexpr 특수화가 다르면 artifact도 따로 만들어집니다.

output_type과 output_path가 모두 None이면 Legato는 자체 캐시 디렉터리와 로그 디렉터리를 사용합니다. 이 모드에서는 같은 특수화에 대해 이미 캐시된 artifact가 있으면 코드 생성을 건너뛸 수 있습니다.

기본 동작

legato.session(output_type=None, output_path="some-dir")는 바이너리 artifact를 요청합니다. 컴파일한 뒤 바로 실행하는 보통의 예제에 유용합니다.

legato.session(output_type=None, output_path=None)은 내부 캐시 경로를 사용하고, 패스 대상을 기본값인 바이너리로 둡니다.

실행하기

기본값(launch=True)에서는 세션 안에서 컴파일된 커널을 호출하면 컴파일과 디바이스 launch를 모두 수행합니다.

1
2
with legato.session(output_type=legato.OutputType.BINARY, output_path="simple_matmul", launch=True):
    simple_matmul(a, legato.Arg(b, bertha.top), legato.Arg(out, bertha.core(0)))

launcher를 호출하지 않고 요청한 artifact만 만들려면 launch=False를 넘기십시오. 이는 lowering만 하는 흐름과, 선택 사항인 hart 런타임이 없는 환경에 유용합니다.
launch할 수 있는 것은 OutputType.BINARY뿐입니다. 텍스트 IR 출력 타입(MLIR, CORE_IR, BACKEND_IR, ASM)은 launch할 것이 없으므로 launch가 아무 효과도 내지 않습니다.

예제: 바이너리 출력

simple_matmul을 바이너리 artifact로 컴파일합니다. a, b, out은 디바이스에 상주하는 텐서입니다.
전체 커널과 디바이스 텐서 설정은 단순 Matmul을 참고하십시오.

1
2
3
4
5
6
with legato.session(output_type=legato.OutputType.BINARY, output_path="simple_matmul"):
    simple_matmul(
        a,                          # universal -> bare
        legato.Arg(b, bertha.top),
        legato.Arg(out, bertha.core(0)),
    )

예제: Core IR 확인 (보안 binary 에서는 불가능)

core 컴파일러 패스 이후의 결과를 확인하고 싶을 때는 CORE_IR을 사용하십시오.

1
2
3
4
5
6
7
# 컴파일만 수행: CPU 텐서가 타입이 지정된 피연산자를 기술하며, 디바이스 launch는 일어나지 않습니다.
with legato.session(output_type=legato.OutputType.CORE_IR, output_path="simple_matmul", launch=False):
    simple_matmul(
        torch.randn(10, 256, dtype=torch.bfloat16),
        legato.Arg(torch.randn(256, 128, dtype=torch.bfloat16), bertha.top),
        legato.Arg(torch.empty(10, 128, dtype=torch.bfloat16), bertha.core(0)),
    )

흔한 실수

  • OutputType.MLIR 출력이 성공한 것을 백엔드가 지원한다는 증거로 여기는 것. 이후 단계의 출력은 프론트엔드 IR만으로는 거치지 않는 executor, 메모리, 백엔드 검사를 실행합니다.
    컴파일 diagnostics 예제를 참고하십시오.
  • with legato.session(...): 없이 컴파일된 커널을 호출하는 것.
  • output_type에 legato.OutputType 대신 문자열을 넘기는 것.
  • 함수 하나에 artifact가 하나만 생긴다고 기대하는 것. constexpr 특수화마다 해시가 다른 artifact 이름이 만들어집니다.