桌面机械臂,人用语音指挥,不用示教器,也不写代码。
- 展会与展厅——访客说一句指令,看机械臂做出反应。
- 机器人与 AI 教学——一个项目同时学语音、大模型和机械臂。
- 机械臂项目的语音入口——其他程序经局域网读取实时关节状态。
- 免手操作研究——探索语音控制在辅助场景里的用法。
不适用:依赖前几句上下文的多步对话、精确轨迹、按视觉找物体抓取。每句指令单独处理,这套机械臂也没有相机。
对着 SO-ARM101 机械臂说话。说唤醒词加一句指令,机械臂经音箱回话并做出对应动作。语音、语言模型和臂控都跑在一台 reComputer J40(Orin NX 16GB)上,不调用云端接口。
桌面机械臂,人用语音指挥,不用示教器,也不写代码。
不适用:依赖前几句上下文的多步对话、精确轨迹、按视觉找物体抓取。每句指令单独处理,这套机械臂也没有相机。

一张桌上四样东西:SO-ARM101 机械臂、reSpeaker Flex 麦克风阵列、一只音箱,以及跑全部软件的 reComputer J40。机械臂和麦克风都经 USB 接到 J40。首次启动下载完镜像和模型后,整套不再需要联网。
唤醒词是 "Hey Jarvis"。太容易误触发或叫不醒时,可以在设备设置里调灵敏度和冷却时间。
SO-ARM101 是带夹爪的六关节机械臂,一根 USB 串口线接到主机。
新套件在语音控制前要做三件一次性的事:找到 USB 端口、分配电机 ID、校准。部署指南里每一步都有链接。
一个容器驱动一条机械臂。多条臂就要多个容器和多个 USB 口。
**reComputer J40 系列(Orin NX 16GB)**同时跑三个服务:语音识别与合成、本地 Qwen3-4B 语言模型、机械臂 Agent。
数据接口见下方「能拿到什么数据」。
以下是 reComputer J40 + SO-ARM101 + reSpeaker Flex 这套配置部署后能做到的事。
能用什么
限制
机械臂容器在 J40 的 8765 端口提供实时状态。
| 接口 | 返回什么 |
|---|---|
GET http://<jetson-ip>:8765/observation | 六个关节与夹爪的最新位置,扁平 JSON |
GET http://<jetson-ip>:8765/observation/schema | 观测字段的类型与取值范围 |
校准后关节值是归一化的:身体关节 -100 到 100,夹爪 0 到 100。同一局域网里的任何程序都能轮询——数字孪生、演示录制、安全监控。
可复用的单元是「唤醒词 → 本地语音识别 → 本地语言模型选动作 → 机械臂执行 → 语音回话」。动作库和提示词是数据,不是代码。
| 层 | 移植时你要做的 |
|---|---|
| 麦克风选择、唤醒词、语音识别与合成 | 直接复用 |
| J40 上的本地语言模型服务 | 直接复用 |
| 动作库 | 在设备设置里示教或编辑 |
| 回话风格与触发短语 | 在设备设置里编辑 |
| 机械臂驱动 | 换成 SO-ARM101 以外的臂时重写 |
核对方案与产品清单,再照部署指南装。
将语音容器部署到 Jetson 控制 SO-ARM,姿态与提示词可在设备配置里改。
3 步 · 约 30min
能,首次启动之后。首次启动会下载约 10 GB 镜像和模型;之后语音、语言模型和臂控都在 J40 上运行,不调用在线接口。
不会。识别、语言模型和合成都在 J40 的容器里运行。不需要云账号,也没有调用费用。
默认 10 个动作不要求逐字说对,语言模型按意图匹配。每句指令单独处理,不记前几轮。说「点头」可能只回话不动作,改说「做一个点头动作」可以绕开。
一个容器经一个 USB 串口驱动一条臂。多条臂需要多个容器和多个串口。
reSpeaker Flex 是四麦远场阵列,启动时自动选用处理过的通道。唤醒词太容易误触发或叫不醒时,在设备设置里调阈值和冷却时间。
关扭矩、手动摆好姿势、逐帧记录、起名并写触发短语,然后保存。修改约 30 秒生效。回话风格也在同一个设置页里改。
轮询 J40 上 8765 端口的 GET /observation,拿到最新关节和夹爪位置。同一局域网里的数字孪生、录制工具或安全监控可以直接读。
已分配电机 ID 并校准好的 SO-ARM101、插好的 reSpeaker Flex、一只音箱,以及首次启动时能联网的 J40。三步一次性的机械臂准备在部署指南里有链接。