桌面机械臂，有人说出物体名字，它就把东西拿过来。
- 展厅与展会——访客说出桌上某个物体，机械臂去取。
- 机器人研发与教学——语音、视觉、抓取规划和臂控在一套能跑的系统里。
- 取物递送原型——做辅助或服务型机械臂的起点。
- 增加新物体——可识别的物体列表改配置即可，不用重新训练。
不适用：透明物体、宽于 0.100 m 夹爪开口的物体、杂乱料箱，以及需要承诺成功率的产线抓放。
说一句 "Hey Jarvis, grab the water bottle"，reBot B601-DM 机械臂用腕部深度相机找到物体、抓起并带回，约 11 秒。语音、语言模型、目标检测和抓取规划都跑在一台 reComputer J40（Orin NX 16GB）上，不调用云端接口。
桌面机械臂，有人说出物体名字，它就把东西拿过来。
不适用：透明物体、宽于 0.100 m 夹爪开口的物体、杂乱料箱，以及需要承诺成功率的产线抓放。
四样东西：reBot B601-DM 机械臂、装在手腕上的奥比中光 Gemini 2 深度相机、reSpeaker USB 麦克风加一只音箱，以及跑全部软件的 reComputer J40。它们都经 USB 接到 J40。首次启动下载完模型后，整套不再需要联网。
每台设备抓取前都要做一次手眼标定。 约 30 分钟：打印标定板，让机械臂在板上方扫约 16 个位姿，保存结果。标定前语音、检测和面板都能用，只是抓取指令不会让臂动。
唤醒词是 "Hey Jarvis"，之后说要抓什么，例如 "grab the box"、"grab the banana"。
**reComputer J40 系列（Orin NX 16GB）**用一个 compose 文件跑三个服务：
| 服务 | 做什么 |
|---|---|
| 语音 | 流式语音识别与语音合成 |
| 语言模型 | 本地 Qwen3.5-4B，把一句话变成抓取请求 |
| 机械臂 Agent | 唤醒词、相机、目标检测、抓取规划、臂控和实时面板 |
预留约 10 GB 空闲磁盘。首次启动在约 1.4 GB 容器镜像之外，还要下载约 8.5 GB 模型。
数据接口见下方「能拿到什么数据」。
以下是部署指南给出的典型值，配置为 reComputer J40 + reBot B601-DM + 腕部 Gemini 2，已完成手眼标定。
| 用户能得到什么 | 典型值 | 设备 |
|---|---|---|
| 语音指令到物体带回 | 约 11 秒 | reComputer J40 系列（Orin NX 16GB） |
| 能抓的物体种类 | 5 类——纸盒、不透明水杯、直立不透明瓶、香蕉、橙子 | reComputer J40 系列（Orin NX 16GB） |
限制
所有接口都由 J40 提供。
| 接口 | 承载什么 |
|---|---|
http://<jetson-ip>:8776 | 实时面板：腕部相机画面与机械臂状态 |
GET http://<jetson-ip>:8776/api/state | 机械臂位姿、夹爪状态和最近一次抓取结果，JSON |
GET http://<jetson-ip>:8776/api/frame.jpg | 腕部相机最新彩色帧 |
GET http://<jetson-ip>:8775/observation | 机械臂 x / y / z 位置，以及夹爪是否夹着东西 |
http://<jetson-ip>:8000 | 本地语言模型服务 |
其他系统读状态，不必自己驱动机械臂。 录制工具、数字孪生或产线监控可以在局域网里轮询观测接口。
可复用的单元是「唤醒词 → 本地识别 → 语言模型确定物体 → 腕部相机检测 → 规划并执行抓取 → 语音播报结果」。
| 层 | 移植时你要做的 |
|---|---|
| 语音、唤醒词与本地语言模型 | 直接复用 |
| 检测器的物体列表 | 改配置，不用重新训练 |
| 盒形、圆柱、细长、圆球四类抓取路线 | 形状相近的物体直接复用 |
| 手眼标定 | 每台设备重做 |
| 机械臂驱动 | 换成 reBot B601-DM 以外的臂时重写 |
核对方案与产品清单，再照部署指南装。
根据现场条件选择参数，自动匹配推荐硬件套餐与安装指南；也可以让 AI 助手为你核算推荐或一键部署。
语音+LLM+机械臂一键部署到 Jetson Orin NX，现场标定后解锁抓取。
3 步 · 约 60min
能，首次启动之后。首次启动下载约 8.5 GB 模型和 1.4 GB 镜像；之后语音、语言模型、检测和抓取都在 J40 上运行，不调用在线接口。
不会。识别、语言模型、合成和检测都在 J40 上完成。相机画面只通过面板在局域网内提供。
reComputer J40 上从语音指令到把物体带回约 11 秒。能抓纸盒、不透明水杯、直立不透明瓶、香蕉和橙子。透明瓶子和宽于 0.100 m 的物体抓不了。
一次放一个物体，在臂前 25–30 cm，正前方或稍偏一侧。它说找不到时，把物体往中间挪一点，再说一次指令。
形状相近的可以。检测器的物体词表是运行时输入，加物体改配置即可，不用重新训练。抓取仍按盒形、圆柱、细长、圆球四类路线之一执行。
相机装在手腕上的位置每台都不同，抓取需要毫米级的几何关系。标定只做一次，用打印的标定板约 30 分钟。标定板尺寸量错 1 mm，抓取位置会偏约 1 cm。
轮询 8775 端口拿机械臂位置和夹爪状态，或轮询 8776 端口拿完整状态和最新相机帧。同一局域网里的程序都能直接读。
唤醒词默认是 "Hey Jarvis"。语言模型是跑在 8000 端口的本地 Qwen3.5-4B。替换任一项需要修改 J40 上的 compose 配置。