智能工牌私有化语音转写与说话人分离

reSpeaker Clip 的录音在你自己的主机上转成文字并分清说话人,录音不上云。

将佩戴式录音工牌的音频同步至本地 reComputer(Jetson Orin NX 或 RK3576)边缘主机,在现场完成文字转写与说话人分离,录音与文本全程不上云。

Seeed Lab高级90min音频与声音智能

reComputer J40 系列上的转写列表:三段双人中文录音,时长 22 秒、16 秒、26 秒,转写分别用时 0.7 秒、1.2 秒、1.2 秒(音频:FLEURS,CC BY 4.0;AISHELL-1,Apache 2.0)

转写详情:16 秒、三轮对话的中文录音按 S1 / S2 / S1 分开并带时间戳,转写用时 1.2 秒,本次未开启摘要;第一句多识别出一个「面」字(音频:AISHELL-1,Apache 2.0)

可复用现场模板

录音要转成文字、但录音不能离开现场的地方。

门店与柜台服务

店员佩戴 Clip,回到主机附近后录音自动同步,店长在结果页查看当天对话。

访谈与会议记录

采访结束把 Clip 放在主机旁,同步完成后得到分好说话人的文字稿。

诊室、法务与内部会议

录音不能出场地的场合,转写全部在你自己的主机上完成。

一个 Clip 只能绑定一台主机,不能同时绑定手机 App。开启 AI 摘要并使用云端服务时,转写文字会发给该服务(录音本身不发送)。

实现什么效果

装上之后,在主机的结果页上看到和操作的东西。

转写列表

  • 每条录音显示时间、时长和说话人数
  • 按编号或设备筛选,也可上传 WAV

转写详情

  • 按说话人分段,每段带时间戳
  • 点一句从该处开始播放
  • 可下载、重新转写或删除
实测数据

录音以 WAV 文件上传到主机,从上传到完成转写与说话人分离计时;音频来自 FLEURS(CC BY 4.0)与 AISHELL-1(Apache 2.0)公开数据集,核心模型采用阿里达摩院 SenseVoice-Small(中英日韩粤多语言)+ CAM++ 说话人分离。

1. 现场即时交互出稿(单工牌 30 秒对话)

录音场景与样本音频时长处理总耗时说话人分离选型机型现场体验
中文两人服务对话(FLEURS)26.1 秒1.21 秒2 人 / 5 轮对话reComputer J40 系列(J4012)瞬时出稿,对话刚结束后台即见文字
中文两人长对话(FLEURS)30.5 秒1.17 秒2 人 / 4 轮对话reComputer J40 系列(J4012)175 倍超实时,文字上屏无感知延迟
中文两人对话(AISHELL-1)16.5 秒1.25 秒2 人 / 3 轮对话reComputer J30 系列(J3011)主流性价比配置,体验与 J40 基本一致
日语接客录音(FLEURS)34.0 秒1.71 秒2 段完整日文reComputer J40 系列(J4012)多语种快速解析,客诉秒级回溯
中文两人对话(FLEURS)30.5 秒4.61 秒2 人 / 4 轮对话reComputer RK3576 系列(8 GB)5 秒内出结果,适合非紧急咨询归档

2. 集中交班回传并发承载(10 枚工牌同时上传,含 10 分钟音频)

选型机型推荐并发工牌数10 枚工牌总转写耗时最长排队等待延迟调度可靠性机制推荐业务场景
reComputer J40 系列<br>(Orin NX 16GB)10 ~ 50 枚约 3.5 秒< 3.5 秒(完全无感)超实时毫秒级队列消化:单上下文 CUDA Graph 锁保护,不爆显存、杜绝 429 报错,并发任务毫秒级出队综合商超、连锁大店、政务大厅等大批量工牌晚间集中交班
reComputer J30 系列<br>(Orin Nano 8GB)5 ~ 20 枚约 4.1 秒< 4.1 秒(完全无感)同上,GPU 满载吞吐 29.5 QPS,显存仅占 486 MB,运行极其稳定8~15 人标准门店、独立专卖店
reComputer RK3588 系列<br>(RK3588 8GB)5 ~ 15 枚约 14.5 秒约 5.0 秒(3 并行流水线)多核心硬件真并发:3 个独立 NPU 核心各承载 1 个 Worker 真正并行处理中型工作站、多工位分布式回传
reComputer RK3576 系列<br>(RK3576 8GB)1 ~ 3 枚约 46 秒约 46 秒(单流按序)单 Worker 轻量运行:峰值内存仅 442 MB(W4A16 压缩模型),单路按顺序处理,建议错峰同步独立诊室、心理咨询室、小微柜台(低成本单设备交替)

多语言转写延迟测试、说话人分离准确率与 RK3576 资源占用,详见 工程 Wiki · 智能工牌私有化语音转写。

如何部署

核对方案与产品清单,再照部署指南装。

部署方案

Clip + reComputer

录音经蓝牙从 Clip 同步到 reComputer J40(Jetson Orin NX)或 reComputer RK3576,在主机上转写并分出说话人。可选 Wi-Fi 加速同步和 AI 摘要。

2 步 · 约 90min

主机
recomputer_j40
recomputer_rk3576
Clip
respeaker_clip
USB 无线网卡(可选)可选
USB 无线网卡

集成接口

http

结果页和 HTTP 接口;/healthz 返回服务是否就绪。

/healthz · Port: 8631 · Method: GET
mqtt

转写完成时在主机上发布的通知消息。

Port: 1883 · Topic: clip-pt/<host-id>/transcript/<transcript-id>/ready

使用说明

bluetooth

主机通过蓝牙连接 Clip;Clip 不能同时绑定手机 App。

wifi

Wi-Fi 加速同步为可选功能:主机会连上 Clip 自己开的热点。主机用网线上网时用自带 Wi-Fi 即可;主机靠 Wi-Fi 上网时,再加一个 USB 无线网卡。

联系我们
获取可部署方案与产品选型支持。
下一步