在 reComputer RK3576 上使用 NPU 加速本地运行 DeepSeek-R1 大语言模型，支持 5 种模型变体选择。
把 reComputer RK3576 变成一个本地 AI 聊天助手。DeepSeek-R1 完全运行在你的设备上——无需云端、无需 API 费用、数据不出网络。
| 场景 | 说明 |
|---|---|
| 边缘聊天机器人 | 无需云端依赖即可构建面向客户的对话服务 |
| 本地代码助手 | 在离线网络中获取编程帮助 |
| 文档问答 | 处理敏感文档无需上传到云端 |
| IoT 指令解析 | 将自然语言转换为设备控制指令 |
OpenAI 兼容的对话补全 API（支持流式输出）
{"model":"rkllm-model","messages":[{"role":"user","content":"Hello"}],"max_tokens":512,"stream":false}列出可用模型
拉取 Docker 镜像需要网络连接
一键将 DeepSeek-R1 大语言模型部署到 reComputer RK3576。
| 设备 | 用途 |
|---|---|
| reComputer RK3576 | 使用 NPU 加速运行 DeepSeek-R1 |
部署后你将获得：
前提条件： RK3576 设备可通过 SSH 访问 + 已安装 Docker
将 LLM 容器部署到 RK3576 设备。
通过 SSH 一键部署到 RK3576。
http://<设备IP>:8001/v1/chat/completions 访问| 问题 | 解决方案 |
|---|---|
| SSH 连接失败 | 检查 IP 地址、用户名、密码 |
| 未检测到 NPU | 确认设备为 RK3576 且已加载 RKNPU 内核模块 |
| 内存不足（7B 模型） | 7B 变体需要 8GB+ 内存，请改用 1.5B 变体 |
| 镜像拉取缓慢 | 检查网络连接，镜像大小 1-4GB 取决于变体 |
发送一条消息测试 LLM。
| 问题 | 解决方案 |
|---|---|
| 连接被拒绝 | 等待 30-60 秒让模型加载 |
| 超时 | 7B 模型加载时间较长，请等待最多 2 分钟 |
| 空响应 | 查看容器日志：docker logs ai_lab_llm |
DeepSeek-R1 已在你的 RK3576 设备上运行。
curl http://<设备IP>:8001/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "rkllm-model", "messages": [{"role": "user", "content": "你好！"}], "max_tokens": 256}'
import openai
client = openai.OpenAI(base_url="http://<设备IP>:8001/v1", api_key="dummy")
response = client.chat.completions.create(
model="rkllm-model",
messages=[{"role": "user", "content": "你好！"}],
max_tokens=256
)
print(response.choices[0].message.content)