콘텐츠로 이동

Python Streams API

함수 시그니처 비고
stream_create () -> int 현재 디바이스에 생성. 디바이스당 최대 10개
stream_destroy (stream: int) -> None 큐잉된 작업을 기다린 뒤 파괴. 그 작업이 실패하면 스트림을 파괴한 뒤 예외 발생
stream_synchronize (stream: int = HA_STREAM_DEFAULT) -> None 블로킹
stream_query (stream: int = HA_STREAM_DEFAULT) -> bool 완료되면 True, 진행 중이면 False. 런타임 오류일 때만 예외 발생
stream_wait_event (stream: int, event: int) -> None 디바이스 측 의존성. 즉시 반환
stream_get_device (stream: int) -> int

HA_STREAM_DEFAULT는 0이며 호출 스레드의 기본 스트림으로 해석됩니다.


예제

stream_create

디바이스당 명시적 스트림은 최대 10개입니다.

파이프라인에 필요한 만큼 시작할 때 만들어 재사용하십시오. 요청마다 만들면 한도에 걸립니다. 스레드별 기본 스트림은 이 한도에 포함되지 않습니다.

예제
1
2
3
4
import hart

hart.set_device(0)
streams = [hart.stream_create() for _ in range(pipeline_depth)]

stream_destroy

큐잉된 작업을 기다린 뒤 스트림을 파괴합니다. 그 작업이 실패해도 스트림은 파괴되며, 실패는 stream_synchronize()가 발생시켰을 예외로 이 호출에서 한 번만 보고됩니다.

예제
1
2
3
4
5
6
import hart

try:
    hart.stream_destroy(stream)  # 큐잉된 작업을 기다린 뒤 파괴
except RuntimeError:
    pass  # 큐잉된 작업이 실패함. 스트림은 이미 파괴됨

stream_get_device

스트림이 어느 디바이스에 속하는지 확인합니다.

예제
1
2
3
import hart

device_id = hart.stream_get_device(stream)

stream_query

블로킹하지 않는 폴링입니다. 진행 중인 상태는 예외가 아니라 False로 돌아오고, 예외는 런타임 오류일 때만 발생합니다.

예제
1
2
3
4
5
6
7
import hart

stream = hart.stream_create()
hart.mem_cpy_async(dev, host, size, hart.HaMemCpyDirection.HostToDevice, stream)

while not hart.stream_query(stream):  # True: 큐잉된 것이 전부 완료됨
    do_unrelated_host_work()

stream_synchronize

비동기 호출의 결과를 호스트에서 쓰기 전에 거쳐야 하는 동기화 지점입니다.

파이프라인 전체를 담은 스트림에 동기화를 걸면 호스트가 그만큼 멈춥니다. 한 지점만 기다리려면 이벤트를 기록하고 그것을 기다리십시오.

예제
1
2
3
4
5
6
7
import hart

hart.mem_cpy_async(dev_in, host_in, n, hart.HaMemCpyDirection.HostToDevice, stream)
hart.launch_kernel_async_with_binary_path(kernel_path, args, stream)

hart.stream_synchronize(stream)
use(host_out)  # only valid below this line

stream_wait_event

디바이스 측 의존성. 즉시 반환하므로 호스트는 계속 큐잉합니다.

기록되지 않는 이벤트를 기다리면 대기 스트림이 영원히 막힙니다.

예제
1
2
3
4
5
6
7
import hart

hart.launch_kernel_async_with_binary_path(producer_path, args, producer)
hart.event_record(done, producer)

hart.stream_wait_event(consumer, done)  # 즉시 반환
hart.launch_kernel_async_with_binary_path(consumer_path, args2, consumer)

함께 보기