产品要能听、能说,但音频不能发到云端语音接口。
- 语音控制机器人——口令转成文字交给你的控制程序,回复再念出来。
- 信息亭与服务终端——访客开口提问,直接听到回答。
- 工业语音指令——操作员不碰屏幕就能触发动作。
- 共用一台语音主机——局域网里多台设备把音频发给同一台边缘主机。
不适用:想要开箱即用的完整语音助手。本服务只负责听和说,对话逻辑或大模型需要你自己接。
产品要能听、能说,但音频不能发到云端语音接口。
不适用:想要开箱即用的完整语音助手。本服务只负责听和说,对话逻辑或大模型需要你自己接。
三样东西:音频来源、一台跑识别与合成的边缘主机、通过局域网调用它的你的应用。音频和文字都留在这台主机上。只有首次部署需要联网,用来下载镜像和模型。
服务从你的程序接收音频,自己不占用麦克风。
播放也由你的程序负责:服务返回音频流或 WAV 文件。如果要让用户能打断回复,需要带硬件回声消除的麦克风,做法见「对话式语音 AI」可部署方案。
一台主机负责识别和合成。主机决定速度,也决定能覆盖哪些语言。
| 主机 | 语音配置 | 内存 | 磁盘 |
|---|---|---|---|
| reComputer J40 系列(Orin NX 16GB) | 中英;或 Qwen3 支持 52 种语言与声音克隆 | 2 GB | 7.5 GB |
| reComputer J30 系列(Orin Nano) | 与 J40 相同 | 8 GB 版及以上 | 7.5 GB |
| reComputer RK3588 | 中英;或 Qwen3 支持 52 种语言 | 6 GB | 4.4 GB |
| reComputer RK3576 | 中英;或 Qwen3 支持 52 种语言 | 4 GB | 4.4 GB |
| Pi 5(8GB) | 中英,CPU 运行 | 2 GB | 2.8 GB |
语音配置在部署时选择,之后可以在设备设置里更换。
你的程序经局域网直接调用语音主机,程序可以跑在主机本机,也可以在别的设备上。
要做成完整助手,把三次调用串起来:识别、你的对话模型或规则、合成。数据接口见下方「能拿到什么数据」。
口径:客户端标记说完,到第一帧合成音频。链路里不含对话模型,也不含静音判定的等待。
| 用户能得到什么 | 典型值 | 设备 |
|---|---|---|
| 识别完成到第一帧合成语音(中英配置,不含 VAD 与对话模型) | 58 ms p50 | reComputer J40 系列(Orin NX 16GB) |
| 识别错误率,同一配置 | CER 10.5% p50 | reComputer J40 系列(Orin NX 16GB) |
| 识别完成到第一帧合成语音(Qwen3 多语种,不含 VAD 与对话模型) | 162 ms p50 | reComputer J40 系列(Orin NX 16GB) |
同样口径下,reComputer RK3588 为 528 ms,reComputer RK3576 为 1020 ms。J40 上换用 Qwen3 识别,错误率降到 CER 5.3%。
实际产品还要加上轮次检测等待的静音时长,以及所接对话模型的响应时间。J30、J40、RK3588、RK3576 都能同时跑两路会话;Jetson 上两路同时合成时,合成速度跟不上实时。
所有接口都由语音主机的 8621 端口提供。
| 接口 | 送进去什么 | 拿回什么 |
|---|---|---|
ws://<host>:8621/asr/stream | 16 位 PCM 音频 | 陆续返回的识别文字,带是否结束的标记 |
POST http://<host>:8621/asr | WAV 文件 | 识别文字 |
POST http://<host>:8621/tts/stream | JSON 格式的文字 | 可直接播放的 PCM 音频流 |
POST http://<host>:8621/tts | JSON 格式的文字 | 一个 WAV 文件 |
GET http://<host>:8621/health | — | 识别与合成是否就绪 |
对接点在你的应用里。 把对话模型、规则引擎或机器人指令层放在识别结果和合成请求之间。
可复用的单元是「本地识别 + 本地合成,外面包一层固定的 HTTP 与 WebSocket 接口」。两者之间放什么由你决定。
| 层 | 移植时你要做的 |
|---|---|
| 四类加速器上的识别与合成 | 直接复用 |
| 8621 端口上的接口 | 直接复用 |
| 语音配置、发音人与语速 | 在设备设置里选 |
| 对话模型、规则或机器人指令 | 你的产品就长在这里 |
| 麦克风采集、播放、打断 | 在你的应用里做,或从「对话式语音 AI」起步 |
核对方案与产品清单,再照部署指南装。
部署前确认:能 SSH 登录主机,首次启动能联网,磁盘空间够所选配置使用。
能,首次部署之后。首次启动会下载镜像和模型,之后识别和合成完全在主机上运行。
不会。音频和文字都在语音主机上处理,经局域网返回给你的程序,不经过任何云端语音接口。
reComputer J40 系列上,中英配置从说完到第一帧语音 58 ms,识别错误率 CER 10.5%。同一台上换 Qwen3 识别为 162 ms、CER 5.3%。这些数字不含静音判定等待和对话模型。
reComputer J30、J40、RK3588、RK3576 都能同时跑两路会话。Jetson 上两路同时合成时速度跟不上实时,要两路都保持流畅,选 J40 或 Qwen3 识别 + Matcha 合成的配置。
服务本身不带麦克风,音频由你的程序送进来。距离和抗噪取决于你选的麦克风。如果用户需要打断回复,选带硬件回声消除的,例如 reSpeaker XVF3800。
把音频流送进听写 WebSocket,文字交给你的对话模型或指令逻辑,再把回复文字发给合成接口。局域网里任何能发 HTTP 或 WebSocket 的程序都能这样接。
能。语音配置在部署时选,之后可在设备设置里改;发音人和语速也是设置项。Jetson 上的 Qwen3 配置支持 52 种语言和声音克隆。
服务代码以 MIT 许可发布。各语音模型保留各自的许可条款,出货前请逐个确认所用配置里模型的条款。