这个方案能帮你做什么
把一台边缘设备变成真正能“听、想、说”的语音终端：插上支持硬件回声消除的麦克风阵列和音箱，设备就会持续收音、理解讲话并立即回复。用户在回复播放期间重新开口，当前声音会马上停下并进入新一轮对话，不必等它说完。
这不是只能按住按钮说一句话的网页 Demo。麦克风和音箱由设备上的常驻 agent 直接管理，适合机器人、服务台、展台、智能家居终端和自助设备长期运行。
核心价值
| 好处 | 具体说明 |
|---|
| 自然打断 | 播放回复时仍持续监听；检测到用户讲话后取消当前生成、清空播放队列并开启新一轮 |
| 可选开放词表唤醒词 | 可要求先说任意简短中文或英文唤醒词；识别成功后播放短提示音 |
| 对话模型可插拔 | 可以连接 Qwen API、其他 OpenAI 兼容接口，或切换到受支持的本地模型 |
| 四个平台共用一套体验 | RK3576、RK3588、Orin Nano、Orin NX 使用同一套双工协议和 agent 配置 |
| 音频数据可留在本地 | Qwen3-ASR 和 Matcha-TTS 都在设备上运行；全本地套餐连对话文本也不离开设备 |
适用场景
| 场景 | 怎么用 |
|---|
| 服务台与展台 | 访客直接提问；发现答非所问时可立刻打断重问 |
| 机器人语音入口 | 把连续对话接到机器人动作或业务工具，不需要改变底层语音接口 |
| 智能家居终端 | 在房间里远场说话，由 AEC 麦克风抑制音箱回声，避免设备被自己的回复误触发 |
| 产品原型 | 先用云端模型快速验证，再迁移到 RK1828 或 Orin NX 本地模型 |
使用须知
核心硬件设备
| 设备 | 说明 | 必需 |
|---|
| RK3576、RK3588、Orin Nano 或 Orin NX | 运行语音识别、语音合成和对话 agent | ✓ 必选其一 |
| reSpeaker XVF3800 或同类 AEC 麦克风阵列 | 输出已经做过回声消除的采集通道 | ✓ 必选 |
| USB 或 3.5mm 音箱 | 播放回复 | ✓ 必选 |
| RK1828 / RM182X | 在 RK3588 上运行本地 Qwen3-4B | 仅 RK 本地套餐 |
AEC 与打断边界
- 软件不会凭空替代声学回声消除。普通 USB 麦克风可能把音箱声音再次送入识别，造成误打断或自激循环。
- reSpeaker XVF3800 的 2 通道和 6 通道固件会自动识别，并选择经过处理的通道；其他麦克风默认取第 1 个输入通道，部署后需要实测。
- 不建议在播放期间把麦克风静音；这样虽然没有回声，却也无法打断。
可选唤醒词
部署时选择“唤醒词后响应”即可启用镜像内置的开放词表 sherpa-onnx 检测器，
输入任意简短中文或英文唤醒词，Agent 会在本地编译，并在检测成功后播放一声
短促的 880 Hz 提示音。“持续监听”仍是默认方式，保持原有免唤醒体验。
网络要求
- 首次部署会下载镜像和模型产物，需要稳定网络并预留足够磁盘空间。
- 云端套餐持续需要联网；全本地套餐在产物缓存完成后可以断网运行。
- Qwen 云端默认使用北京地域 OpenAI 兼容地址；其他地域或供应商请替换接口地址和模型 ID。
方案对比
| 套餐 | 对话模型 | 支持设备 | 适合谁 |
|---|
| 云端或兼容接口 | Qwen API 或任意 OpenAI 兼容模型 | RK3576 / RK3588 / Orin Nano / Orin NX | 最快获得完整对话体验 |
| 全本地对话 | RK1828 Qwen3-4B 或 Orin NX Qwen3.5-4B | RK3588 + RK1828 / Orin NX 16GB | 隐私、离线和固定成本场景 |
技术组合
- 语音识别：Qwen3-ASR
- 语音合成：Matcha-TTS
- 双工控制：单条持久连接、持续收音、播放队列取消和对话截断
- 对话接口：OpenAI-compatible Chat Completions
