预设: RK3576 视觉语言模型 {#rk3576_vlm}

一键将 Qwen2.5-VL 视觉语言模型部署到 reComputer RK3576。

部署后你将获得：

• 同时理解图片和文本的多模态 AI
• 本地运行的 OpenAI 兼容视觉 API
• 图片描述、视觉问答等功能，全部在设备端完成
• /docs 路径提供交互式 API 文档

前提条件： RK3576 设备（8GB+ 内存）可通过 SSH 访问 + 已安装 Docker

步骤 1: 部署 Qwen2.5-VL {#deploy_vlm type=docker_deploy required=true config=devices/rk3576.yaml}

将视觉语言模型容器部署到 RK3576 设备。

部署目标: 远程部署 {#rk3576_remote type=remote config=devices/rk3576.yaml default=true}

通过 SSH 一键部署到 RK3576。

接线

1. 将 RK3576 连接到与电脑相同的网络
2. 填写设备 IP、SSH 用户名和密码
3. 点击 部署

部署完成

1. VLM 容器已在 RK3576 上运行
2. 视觉对话 API：http://<设备IP>:8002/v1/chat/completions
3. API 文档：http://<设备IP>:8002/docs

故障排查

步骤 2: 试试视觉对话 {#verify_vlm type=image_text_chat}

发送图片或文字测试 VLM。

模式: 图片理解 {#vision_mode config=devices/vlm_chat.yaml default=true}

上传一张图片并提问。

故障排查

模式: 文本对话 {#text_mode config=devices/vlm_text.yaml}

仅用文本与模型对话。

故障排查

部署完成

Qwen2.5-VL 已在你的 RK3576 设备上运行。

文本对话示例

curl -X POST http://<设备IP>:8002/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "rkllm-vision", "messages": [{"role": "user", "content": "你好！"}], "max_tokens": 256}'

图片理解示例

curl -X POST http://<设备IP>:8002/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "rkllm-vision",
    "messages": [{
      "role": "user",
      "content": [
        {"type": "text", "text": "这张图片里有什么？"},
        {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
      ]
    }],
    "max_tokens": 256
  }'

Python 示例

import openai
client = openai.OpenAI(base_url="http://<设备IP>:8002/v1", api_key="dummy")
response = client.chat.completions.create(
    model="rkllm-vision",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": "描述这张图片"},
            {"type": "image_url", "image_url": {"url": "https://example.com/photo.jpg"}}
        ]
    }],
    max_tokens=256
)
print(response.choices[0].message.content)