语音控制 SO-ARM 机械臂

对着 SO-ARM101 机械臂说话。说唤醒词加一句指令,机械臂经音箱回话并做出对应动作。语音、语言模型和臂控都跑在一台 reComputer J40(Orin NX 16GB)上,不调用云端接口。

SenseCraft中级30min音频与声音智能

reSpeaker Flex XVF3800——收唤醒词和指令的四麦阵列

SO-ARM 语音控制概念渲染图

可复用现场模板

桌面机械臂,人用语音指挥,不用示教器,也不写代码。

  • 展会与展厅——访客说一句指令,看机械臂做出反应。
  • 机器人与 AI 教学——一个项目同时学语音、大模型和机械臂。
  • 机械臂项目的语音入口——其他程序经局域网读取实时关节状态。
  • 免手操作研究——探索语音控制在辅助场景里的用法。

不适用:依赖前几句上下文的多步对话、精确轨迹、按视觉找物体抓取。每句指令单独处理,这套机械臂也没有相机。

如何实现

语音控制 SO-ARM 的设备构成:reSpeaker Flex 经 USB 接 reComputer J40,J40 经 USB 驱动 SO-ARM101、驱动音箱播放回复,并经 HTTP 向局域网应用提供关节状态

一张桌上四样东西:SO-ARM101 机械臂、reSpeaker Flex 麦克风阵列、一只音箱,以及跑全部软件的 reComputer J40。机械臂和麦克风都经 USB 接到 J40。首次启动下载完镜像和模型后,整套不再需要联网。

拾音

  • reSpeaker Flex XVF3800 是四麦远场阵列,负责收唤醒词和指令。部署前先插好,容器启动时自动选中它。
  • 任意音箱播放回复。机械臂先回话再动作,所以音箱是必需的。

唤醒词是 "Hey Jarvis"。太容易误触发或叫不醒时,可以在设备设置里调灵敏度和冷却时间。

实现什么效果

以下是 reComputer J40 + SO-ARM101 + reSpeaker Flex 这套配置部署后能做到的事。

能用什么

  • 唤醒词、一句指令、语音回话,然后执行动作。
  • 默认带 10 个动作:归位、准备抓取、张开与闭合夹爪、抬头、低头、挥手、点头、摇头、跳舞。
  • 说法不必逐字一致:语言模型按意图匹配。
  • 新动作靠手把手示教:关扭矩、摆姿势、逐帧记录、起名并写触发短语。保存后约 30 秒生效。
  • 部署页面以 5 Hz 显示实时关节数值。

限制

  • 每句指令单独处理。 每轮结束会清空对话历史,「再做一次」这类说法没有上下文。
  • 说「点头」可能只回话不动作。 改说「做一个点头动作」可以绕开。
  • 保存修改后约 30 秒内,唤醒词不响应。

能拿到什么数据

机械臂容器在 J40 的 8765 端口提供实时状态。

接口返回什么
GET http://<jetson-ip>:8765/observation六个关节与夹爪的最新位置,扁平 JSON
GET http://<jetson-ip>:8765/observation/schema观测字段的类型与取值范围

校准后关节值是归一化的:身体关节 -100 到 100,夹爪 0 到 100。同一局域网里的任何程序都能轮询——数字孪生、演示录制、安全监控。

移植到你的业务系统

可复用的单元是「唤醒词 → 本地语音识别 → 本地语言模型选动作 → 机械臂执行 → 语音回话」。动作库和提示词是数据,不是代码。

层移植时你要做的
麦克风选择、唤醒词、语音识别与合成直接复用
J40 上的本地语言模型服务直接复用
动作库在设备设置里示教或编辑
回话风格与触发短语在设备设置里编辑
机械臂驱动换成 SO-ARM101 以外的臂时重写

不适用的形态

  • 需要视觉的任务——找到并抓起指定物体。见「语音抓取机械臂」可部署方案,它加了腕部深度相机。
  • 依赖前几轮的多步长指令。

如何部署

核对方案与产品清单,再照部署指南装。

部署方案

语音控制你的 SO-ARM

将语音容器部署到 Jetson 控制 SO-ARM,姿态与提示词可在设备配置里改。

3 步 · 约 30min

机械臂
so_arm
麦克风
respeaker_flex
计算单元
recomputer_j40
软件大脑
recomputer_j40

常见问题

能,首次启动之后。首次启动会下载约 10 GB 镜像和模型;之后语音、语言模型和臂控都在 J40 上运行,不调用在线接口。

没有找到你要的答案?
联系我们
获取可部署方案与产品选型支持。
下一步