这个 Lab 能帮你做什么
在 reComputer RK3576 / RK3588 上一站式试用主流开源 AI 模型。选一个预设、一键部署，就能开始调用 API ——全部在本地设备运行，不用上云。
| 预设 | 模型 | 你将获得 | 适配硬件 |
|---|
| 目标检测 | YOLO 11（极速版 / 均衡版 / 精确版） | 在图片或实时视频中识别 80 种常见物体 | RK3576 或 RK3588 |
| 大模型对话 | DeepSeek-R1（1.5B / 7B，多种量化） | OpenAI 兼容的本地对话 API | RK3576（7B 建议 8GB 内存） |
| 视觉对话 | Qwen2.5-VL | 看图说话、对图片提问 | RK3576（8GB+） |
输出接口
| 预设 | 端点 | 方法 | 说明 |
|---|
| 目标检测 | :8000/api/models/yolo11/predict | POST | 上传图片，返回检测框 |
| 目标检测 | :8000/api/video_feed | GET | 带检测框叠加的 MJPEG 视频流 |
| 大模型对话 | :8001/v1/chat/completions | POST | OpenAI 兼容对话接口（支持流式） |
| 视觉对话 | :8002/v1/chat/completions | POST | OpenAI 兼容视觉接口（文本 + 图片） |
| 视觉对话 | :8002/docs | GET | 交互式 API 文档（Swagger UI） |
快速开始 —— 目标检测：
curl -X POST http://<device-ip>:8000/api/models/yolo11/predict \
-F "file=@photo.jpg" -F "conf=0.5"
快速开始 —— 对话（LLM 或 VLM）：
curl http://<device-ip>:8001/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"rkllm-model","messages":[{"role":"user","content":"你好！"}],"max_tokens":256}'
核心价值
- 一套平台，三种模型 —— 不用搭三套环境，就能试检测、对话、看图三类能力
- 默认全本地 —— 图片和对话都不离开设备
- 标准 API —— REST + OpenAI 兼容接口，现有客户端可直接接入
- NPU 加速 —— 瑞芯微 NPU 在低功耗硬件上高效完成推理
集成场景
| 场景 | 选用预设 | 怎么配合 |
|---|
| 安防摄像头入侵检测 | 目标检测 | NVR 调用推理 API，识别人员/车辆并告警 |
| 离线网络中的对话助手 | 大模型对话 | OpenAI 客户端直接指向本地接口 |
| 文档筛查 / 图片初判 | 视觉对话 | 上传截图，用自然语言提问 |
| 机器人感知 + 对话 | 目标检测 + 大模型对话 | 检测结果交给 LLM 推理，同一台设备完成 |
技术规格
| 规格 | 数值 |
|---|
| 目标检测延迟 | ~30ms/帧（RK3576） · ~20ms（RK3588） |
| 大模型速度 | 取决于变体——1.5B 最快，7B 推理最强 |
| 内存要求 | 1.5B LLM 需 4GB · 7B LLM 与视觉对话需 8GB+ |
| 磁盘要求 | 每个预设 3–10GB，取决于所选模型 |
| 支持硬件 | reComputer RK3576（全部预设） · reComputer RK3588 / ROCK 5T（仅目标检测） |
使用须知
- 三个预设相互独立——可以同时部署在同一台 RK3576 上（分别用 8000 / 8001 / 8002 端口）
- 首次启动会下载 Docker 镜像（1–4GB）并加载模型，请预留几分钟
- 目标检测无摄像头也可用（图片上传始终可用）
- 大模型对话和视觉对话仅支持 RK3576——RK3588 暂未提供 RKLLM NPU 支持
- 所有对话和检测都留在本地，不会发送到任何云端
