想先在自己的瑞芯微主机上试一遍主流模型，再决定做什么产品的团队。
- 给现有摄像头或 NVR 加物体识别——NVR 把图片发给检测接口，拿回人、车等 80 类物体的框。
- 内网或断网环境的对话助手——现有 OpenAI 客户端把地址改成设备 IP，对话不出内网。
- 截图与图片初判——上传一张图，用自然语言问里面有什么。
不适用：需要成品应用界面的场合，这里提供的是接口；对话与看图只能跑在 reComputer RK3576 系列上。
在 reComputer RK3576/RK3588 上一站式试用主流 AI 模型——目标检测、对话、图片理解，全部本地运行。
想先在自己的瑞芯微主机上试一遍主流模型，再决定做什么产品的团队。
不适用：需要成品应用界面的场合，这里提供的是接口；对话与看图只能跑在 reComputer RK3576 系列上。
一台瑞芯微主机就够了，模型跑在主机自带的 NPU 上。做实时视频检测时再接一个 USB 摄像头。你的应用通过局域网调用主机上的接口。
只有目标检测的实时视频要用摄像头，一个 USB 摄像头插在主机上即可。
三个预设相互独立，可以同时装在同一台 RK3576 主机上，分别占用 8000 / 8001 / 8002 端口。
| 预设 | 模型档位 | reComputer RK3576 系列 | reComputer RK3588 系列 | 内存建议 |
|---|---|---|---|---|
| 目标检测 | YOLO 11 Nano / Small / Medium | 支持 | 支持 | — |
| 大模型对话 | DeepSeek-R1 1.5B / 7B，共 5 个量化档 | 支持 | — | 1.5B 需 4GB，7B 需 8GB 以上 |
| 视觉对话 | Qwen2.5-VL 3B | 支持 | — | 8GB 以上 |
每个预设占 3–10GB 磁盘，取决于所选模型。
你的应用在局域网内通过 HTTP 直接调用瑞芯微主机，图片与对话内容不发往云端；对话与看图兼容 OpenAI，现有 SDK 改个地址就能接。数据接口见下方「能拿到什么数据」。
下表是三个预设在 reComputer RK3576 系列上提供的能力与限制。
| 预设 | 能做到 | 限制 |
|---|---|---|
| 目标检测 | 图片或实时视频里识别 80 类常见物体 | 只认这 80 类，新类别要换模型 |
| 大模型对话 | 本地文字对话，OpenAI 兼容 | 7B 档需 8GB 以上内存，1.5B 档响应更快 |
| 视觉对话 | 看图描述、对图片提问 | 需 8GB 以上内存，首次加载要 1–2 分钟 |
速度随模型档位变化：检测选 Nano 最快、Medium 最准。首次启动要下载 1–4GB 镜像并加载模型。
部署完就靠这几个接口接数据。
| 接口 | 内容 | 说明 |
|---|---|---|
| HTTP 8000 | 图片检测，返回类别、置信度与框坐标 | 可设置置信度阈值 |
| HTTP 8000 | MJPEG 视频流，画面带检测框 | 需接 USB 摄像头 |
| HTTP 8001 | OpenAI 兼容对话接口 | 支持流式输出 |
| HTTP 8002 | OpenAI 兼容视觉接口 | 文字加图片输入，带交互式接口文档 |
所有请求都在局域网内完成，图片与对话内容不发往云端。
核对方案与产品清单，再照部署指南装。
部署前确认：主机能 SSH 登录并已装 Docker，首次部署需要联网拉镜像。
一台 reComputer RK3576 系列或 RK3588 系列主机。1.5B 对话 4GB 内存即可，7B 对话和视觉对话要 8GB 以上。每个预设再预留 3–10GB 磁盘。
目前不能。在 reComputer RK3588 系列上只提供目标检测预设，大模型对话与视觉对话只支持 reComputer RK3576 系列。
部署完成后能断网使用，首次部署需要联网拉取 1–4GB 的镜像。推理全部在主机的 NPU 上完成，图片和对话内容不发往任何云端。
取决于你选的模型档位。检测里 Nano 最快、Medium 最准；对话里 1.5B 响应最快、7B 推理能力更强。首次启动要加载模型，视觉对话要等 1–2 分钟才就绪。
检测是 REST 接口，上传图片拿回类别、置信度和框坐标。对话与看图是 OpenAI 兼容接口，现有 OpenAI SDK 把地址改成设备 IP 即可。视觉对话接口自带交互式文档，可以直接在浏览器里试。
预设里只能在给定档位间切换。检测模型固定识别 80 类常见物体，要识别自有类别，需要自行训练并转换成瑞芯微 NPU 格式后替换。
能。三个预设相互独立，分别用 8000、8001、8002 端口，可以同时部署在一台 RK3576 主机上。
模型权重各自保留原始许可。YOLO 11 权重由 Ultralytics 以 AGPL-3.0 发布，DeepSeek-R1 与 Qwen2.5-VL 各有自己的许可条款。闭源商用前按所选模型的许可确认，或替换成许可兼容的模型。