콘텐츠로 이동

3. 연산

LPU에서 어떤 연산이 실행되는지, 실행되지 않는 연산은 어떻게 실패하는지, 모델이 쓰는 연산을 미리 확인하는 방법을 다룹니다. 연산별 지원 여부는 연산 지원 목록에 있습니다.

Contents

Section Objective
3.1 두 실행 경로 eager 경로(실험적 eager AOT 커널 포함)와 torch.compile 경로의 역할 구분
3.2 지원하는 eager 연산 torch.compile 경로를 위한 연산과 실험적 eager 계산
3.3 등록되지 않은 연산 등록되지 않은 연산이 실패하는 방식과 미리 확인하는 방법
3.4 수치 차이 CPU 결과와 비교할 때의 dtype·허용 오차 기준
3.5 커스텀 연산 torch.ops.lpu 네임스페이스의 레이아웃·디버깅 연산
3.6 필요한 연산이 없을 때 보고할 내용

3.1 두 실행 경로

PyTorch 연산은 두 경로 중 하나로 LPU에서 실행됩니다.

경로 패키지 내용
Eager 디스패치 torch_ha 할당, 복사, view, 직렬화 같은 연산을 처리합니다. 계산은 eager AOT 커널이 있는 일부 연산만 디바이스에서 실행됩니다
torch.compile(backend="legato") torch_legato legato resolver가 있는 연산을 Legato 커널로 컴파일해 실행합니다. 모델 계산은 이 경로를 씁니다

eager 경로에서 디바이스 커널로 계산되는 연산은 아래 eager AOT 커널이 처리하는 연산입니다. 그 밖의 계산 연산을 eager로 호출하면 NotImplementedError가 발생합니다. 단, multinomial과 exponential_은 에러 없이 고정값을 반환합니다(연산 지원 목록).

모델 계산은 torch.compile(backend="legato")로 컴파일해 실행합니다. 어떤 연산이 컴파일되는지는 이 문서가 아니라 legato resolver가 결정합니다. Compile PyTorch Model with Legato를 보십시오.

Eager AOT 커널 (실험적)

torch.compile 없이도 일부 계산을 디바이스 커널로 실행하는 실험적 기능입니다. 미리 빌드해 둔 커널 중 연산·dtype·shape이 맞는 것을 골라 실행합니다. 대상은 bfloat16의 add, sub, mul, mm이고, 커널을 빌드할 때 정한 shape만 지원합니다.

디바이스 계산은 현재 연속(contiguous) 피연산자를 받습니다. 출력을 포함한 모든 피연산자가 연속이어야 합니다(mm의 가중치는 연속 가중치를 전치한 w.t()도 받습니다). view는 디바이스 계산이 그대로 받는 슬라이스여야 합니다(디바이스 시맨틱 §슬라이싱). transpose, permute, expand나 x[::2]처럼 간격(step)이 있는 슬라이스 등 비연속 view는 먼저 .contiguous()로 연속 텐서를 만드십시오(호스트 복사를 거칩니다). 디바이스 계산이 그대로 받지 않는 슬라이스는 .clone()을 호출하십시오.

맞는 커널이 없으면 NotImplementedError가 나고, 메시지의 No eager kernel took this op -- <이유> 부분에 이유가 적힙니다. 이 기능을 쓸 수 있는 상태인지는 eager_status()로 확인합니다.

1
2
3
4
import torch

ready, reason = torch.ops.lpu.eager_status()[:2]
print(ready, reason or "-")

같은 방식의 커널이 1 MiB 이상의 fill_과 같은 디바이스 안의 copy_도 처리합니다. 이 두 연산은 커널이 맞지 않으면 에러 없이 기존 경로로 실행됩니다. 디바이스 시맨틱 §2.7을 보십시오.

3.2 지원하는 eager 연산

eager 경로에서 지원하는 연산은 두 가지입니다.

구분 내용
torch.compile 경로를 위한 연산 할당, 복사·전송, view·slice, 값 채우기. 큰 fill_과 디바이스 안의 copy_만 eager 커널을 쓰고 나머지는 커널 없이 동작합니다. 텐서 레이아웃에 따른 제약이 있습니다
실험적 eager 계산 bfloat16의 add, sub, mul, mm (§3.1)

그 밖의 등록된 계산 연산은 eager 디바이스 커널이 없습니다. 전체 목록과 분류는 연산 지원 목록에 있습니다.

3.3 등록되지 않은 연산

LPU 등록도 PyTorch 합성(composite) 구현도 없는 연산은 디스패치 에러를 냅니다. 합성 연산(transpose, permute, select, split, matmul 등)은 연산 지원 목록의 연산으로 분해됩니다. CPU에서 대신 실행하는 경로(CPU fallback)는 제공하지 않습니다.

등록되지 않은 연산은 디스패치 에러로 실패합니다

에러에는 연산 이름과 백엔드 이름이 나옵니다.

1
2
NotImplementedError: Could not run 'aten::<op>' with arguments from the
'lpu' backend.

CPU로 자동으로 넘어가면 모델이 호스트 속도로 돌아도 알아차리기 어렵기 때문에 의도한 동작입니다. 대신 빠진 연산을 실행할 때마다 하나씩 만나게 되므로, 아래 방법으로 미리 확인하십시오.

등록된 연산이라도 디바이스에서 실행되지 않는 연산은 NotImplementedError로 실패합니다. 메시지에는 피연산자의 sizes, strides, dtype, kind가 적힙니다. eager AOT 커널 대상 연산이면 No eager kernel took this op -- <이유> 부분에 커널이 받지 못한 이유가 붙습니다.

필요한 연산을 미리 파악하기

모델을 디바이스에서 돌리기 전에 dry-run으로 확인해 보십시오. dry-run은 그래프를 캡처해 노드를 legato 경로와 extern으로 나누기만 하고 legato 커널은 컴파일하지 않습니다. resolver가 없는 노드는 eager로 실행되는 extern으로 분류됩니다. 캡처한 그래프는 입력이 있는 디바이스에서 eager로 실행되므로 모델과 입력은 CPU에 두십시오. lpu에 두면 디바이스 커널이 없는 계산 연산에서 NotImplementedError가 납니다.

1
2
3
4
5
6
compiled = torch.compile(
    model,
    backend="legato",
    options={"legato.device": "bertha", "legato.frontend.dry_run": True},
)
compiled(example_input)   # model과 example_input은 CPU에 둠

dry-run이 통과해도 모든 연산이 디바이스에서 실행된다는 뜻은 아닙니다. extern으로 분류된 계산 연산은 실제 실행에서 실패할 수 있습니다.

어떤 노드가 extern으로 분류됐는지는 아직 따로 알려 주지 않습니다. resolver가 조건을 보고 거부한 노드만 디버그 로그에 남고, resolver가 없는 노드는 로그에도 남지 않습니다. 정확한 목록이 필요하면 legato resolver 등록 목록과 대조하거나 팀에 문의하십시오.

디바이스 커널이 없는 연산 우회하기

방법 언제
컴파일되는 연산으로 바꿔 쓰기 다른 연산의 조합으로 같은 계산을 쓸 수 있을 때
그 단계만 CPU에서 계산 핫 패스가 아닐 때. x.cpu()로 옮겨 계산한 뒤 .to("lpu")
연산 추가 요청 핫 패스이고 바꿔 쓸 수 없을 때

CPU로 옮기는 부분은 코드와 프로파일에 그대로 드러나므로, 나중에 찾아 고치기 쉽습니다.

3.4 수치 차이

디바이스 결과는 CPU 결과와 비트 단위로 같지 않을 수 있습니다.

  • 리덕션 순서가 다릅니다. 합과 평균은 마지막 자리에서 달라질 수 있고, 층이 깊을수록 차이가 쌓입니다.
  • LPU는 bfloat16으로 계산합니다. bfloat16 LPU 결과를 float32 CPU 결과와 비교하면 백엔드 차이가 아니라 dtype 차이를 보게 됩니다.

기준값과 비교하려면 양쪽 dtype을 맞추고 그에 맞는 허용 오차를 쓰십시오.

1
2
3
4
5
# model_lpu는 torch.compile(backend="legato")로 컴파일한 모델입니다.
ref = model_cpu(x_cpu.to(torch.bfloat16))
out = model_lpu(x_cpu.to("lpu").to(torch.bfloat16)).cpu()

torch.testing.assert_close(out, ref, rtol=1e-2, atol=1e-2)

dtype으로 설명되지 않을 만큼 차이가 크면, 최종 logits 대신 층별 출력을 비교해 처음 어긋나는 층을 찾으십시오. 문제 해결을 보십시오.

3.5 커스텀 연산

torch_ha는 torch.ops.lpu 네임스페이스에 자체 연산을 추가합니다.

연산 용도
torch.ops.lpu.empty_with_kind 디바이스 레이아웃(kind)을 지정해 텐서를 할당
torch.ops.lpu.set_storage_meta_ / get_storage_meta 텐서 스토리지의 레이아웃 메타데이터 확인·설정
torch.ops.lpu.eager_status eager AOT 커널을 쓸 수 있는 상태인지 확인 (§3.1)

대부분 계산용이 아니라 레이아웃 지정과 확인용입니다. 양자화 가중치, 집합 연산을 포함한 전체 목록과 시그니처는 커스텀 연산 API에 있습니다. KV 캐시용 vmm_* 연산은 Paged KV 캐시와 VMM API를 보십시오.

3.6 필요한 연산이 없을 때

아래를 담아 보고하십시오.

  1. 디스패치 에러에 나온 정확한 연산과 오버로드
  2. 모델과 그것을 호출하는 지점
  3. 핫 패스인지, CPU로 옮길 수 있는지

다음 단계