빠른 시작
빠른 설치를 마친 서버에서 네 가지를 해 봅니다.
텐서를 카드로 옮기고, 커널을 카드에서 돌리고, vLLM으로 문장을 생성하고, 서버로 띄워 OpenAI SDK로 부릅니다.
텐서를 카드로 옮기기
lpu는 PyTorch의 cuda와 같은 자리에 있는 장치 이름입니다.
| tensor.py |
|---|
| import torch
x = torch.randn(4, 256, dtype=torch.bfloat16)
y = x.to("lpu") # 카드로 복사. 카드가 여러 장이면 "lpu:1"처럼 번호를 붙입니다
print(y.device) # lpu:0
print(torch.equal(y.cpu(), x)) # 다시 CPU로 가져와 비교: True
|
SDK 이미지에서 실행합니다. import torch_ha는 쓰지 않아도 됩니다. PyTorch가 시작할 때 lpu 장치를 찾아 붙입니다.
| docker run --rm --device hyperaccel.ai/lpu=all -v $PWD:/work -w /work --entrypoint python3 \
public.hyperaccel.net/hyperaccel-public/hyperaccel-sdk:v0.0.6 tensor.py
|
모델 계산을 카드에서 돌리는 방법은 Torch를 보십시오.
커널을 카드에서 돌리기
SDK 이미지에는 Legato로 쓴 행렬곱 예제가 들어 있습니다. 컴파일해서 카드에서 돌리고 CPU 결과와 비교합니다.
| docker run --rm --device hyperaccel.ai/lpu=all --entrypoint python3 \
public.hyperaccel.net/hyperaccel-public/hyperaccel-sdk:v0.0.6 /opt/legato-examples/legato_example.py
|
마지막 줄에 legato DSL matmul OK가 나오면 됩니다. 커널을 직접 쓰는 방법은 첫 커널 실행에 있습니다.
vLLM으로 문장 생성하기
vLLM의 Python API를 그대로 씁니다. LPU용 설정은 플러그인이 알아서 고르므로 코드에 장치 이름이 나오지 않습니다.
| generate.py |
|---|
| from vllm import LLM, SamplingParams
llm = LLM(model="Qwen/Qwen3-8B", max_model_len=2048, enable_prefix_caching=False, async_scheduling=False)
params = SamplingParams(temperature=0, max_tokens=64)
prompts = [
"대한민국의 수도는",
"LLM 추론에서 KV 캐시가 하는 일은",
]
for out in llm.generate(prompts, params):
print(out.prompt + out.outputs[0].text)
|
max_model_len은 요청 하나가 쓸 수 있는 토큰 수(입력과 출력의 합)입니다.
enable_prefix_caching=False와 async_scheduling=False는 지금 판에서 꼭 넣습니다. vLLM은 두 기능을 기본으로 켜지만 LPU에서는 꺼야 합니다.
generate에 넘긴 문장들은 한 번에 묶여 처리됩니다.
서빙 이미지에서 실행합니다.
| docker run --rm --device hyperaccel.ai/lpu=all -v $PWD:/work -w /work \
-v ~/.cache/huggingface:/root/.cache/huggingface \
public.hyperaccel.net/hyperaccel-public/vllm-hyperaccel:0.0.6 python3 generate.py
|
Hugging Face 캐시를 연결해 두면 모델을 한 번만 내려받습니다.
서버로 띄우고 OpenAI SDK로 부르기
같은 모델을 OpenAI 호환 서버로 띄웁니다.
| docker run -d --name qwen3 --device hyperaccel.ai/lpu=all -p 8000:8000 \
-v ~/.cache/huggingface:/root/.cache/huggingface \
public.hyperaccel.net/hyperaccel-public/vllm-hyperaccel:0.0.6 \
vllm serve Qwen/Qwen3-8B --max-model-len 2048 --no-enable-prefix-caching --no-async-scheduling
docker logs -f qwen3 # Application startup complete 가 보이면 준비 완료
|
OpenAI Python SDK(pip install openai)에서 주소만 바꾸면 됩니다.
| chat.py |
|---|
| from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
resp = client.chat.completions.create(
model="Qwen/Qwen3-8B",
messages=[{"role": "user", "content": "서울에서 부산까지 KTX로 얼마나 걸려?"}],
max_tokens=128,
extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(resp.choices[0].message.content)
|
enable_thinking을 끄면 Qwen3가 답하기 전에 생각 과정을 길게 쓰지 않습니다.
stream=True를 주면 토큰이 생기는 대로 받습니다. 다른 언어의 OpenAI SDK도 같은 방식으로 붙습니다.
다음
구성요소별 예제는 튜토리얼에 모아 두었습니다.