自带视觉大脑的智能机械臂

给机械臂装上视觉大脑,免工控机,手机连热点即控,AI 智能体一键接管。

一台 reCamera 同时搞定机械臂的眼睛和大脑。装上机械臂即可直驱 7 个关节电机,免去外挂工控机与杂乱连线;手机直连热点即可操控,AI 智能体通过原生接口闭环接管。

SenseCraft中级30min视觉与视频智能AI Agent 就绪源码

可复用现场模板

免外挂工控机的一体化具身操作与示范采集平台。

  • 移动端无线直连遥控与工位点动 — 手机直连摄像头 Wi-Fi 热点打开 Web 驾驶舱,双手虚拟摇杆或笛卡尔坐标点动控制,现场无需路由器与额外 PC。
  • 具身智能科研教学与示教采集 — 支持重力补偿拖拽示教,以 50 Hz 周期采集关节轨迹并导出标准 Parquet 示教片段。
  • 上位机与 AI 智能体协同抓取 — 端侧 TPU 实时识别目标与 ArUco 姿态,上位机经 MCP 服务(rebot-companion)下发闭环控制指令(点选抓取目前已在仿真环境闭环)。

如何实现

装配 B4 CAN 底板的标准版 reCamera(SG2002 RISC-V SoC)同时承担机械臂控制器与腕部视觉传感器两项职责。设备内部运行 armd 守护进程(50 Hz 关节控制、Web 控制台、安全租约看门狗)以及 rebot-vision 视觉进程(H.264 视频推流、TPU YOLO 与 CPU ArUco 解算)。上位机 AI 智能体通过 14 个原生 MCP 工具实现闭环操作。

控制端与智能体

  • 自建 Wi-Fi 热点 — 开机自动广播 reCamera-Arm-Teleop(IP 192.168.16.1),手机连接后直接在浏览器中打开 Web 驾驶舱操控。
  • 原生 MCP 协议集成 — 提供 14 个高层动作工具(get_state、snapshot、detect、move_to、gripper、grasp 等),无缝对接 Claude Desktop 与 Claude Code。
  • 示范轨迹录制 — 配合重力补偿拖拽示教,以 50 Hz 周期录制关节角度与执行动作至 Parquet 格式。

实现什么效果

装配 B4 CAN 底板的 reCamera(SG2002)+ reBot B601-DM(达妙电机)实测数据:

性能指标实测数据硬件 / 说明
armd 守护进程静态二进制大小4.1 MBRISC-V Linux 静态编译二进制
armd 运行时内存驻留3.7 MB实际 RSS 内存占用
7 电机 50 Hz 闭环 CPU 占用7.0 %SG2002 单核 CPU 占用率
端侧 TPU YOLOv11 单帧推理47 ms / 帧硬件 TPU(5 FPS 采样时全片负载 34 %)
CPU ArUco 标记位姿解算37–57 msCPU 单线程(640×360 分辨率)
示教轨迹采集频率50 Hz30 秒拖拽示教录制 1509 帧 Parquet 数据

能拿到什么数据

reCamera 设备对外暴露的接口(端口 8765、8001、8090):

接口地址协议用途说明
http://<camera-ip>:8765HTTP / HTML多点触控网页驾驶舱(双虚拟摇杆、笛卡尔点动、手眼标定)
ws://<camera-ip>:8765/api/v1/wsWebSocket双向机械臂控制通道(遥测数据、控制指令、租约管理)
ws://<camera-ip>:8001/WebSocket / H.264腕部摄像头实时视频流(来自 rebot-vision)
http://<camera-ip>:8090HTTP / REST按需端侧视觉接口(TPU YOLO 检测与 CPU ArUco 位姿)
rebot-mcpMCP (stdio)本地运行的 Model Context Protocol 服务,提供 14 个控制工具

移植到你的业务系统

reCamera + reBot 架构的可扩展模块划分:

系统层级模块接口定制与移植成本
视觉识别层rebot-vision替换 /userdata/rebot-teleop/models 下的 YOLO 权重或扩展自定义算子
执行器总线armd SocketCAN修改 URDF 运动学参数并配置电机 CAN 协议映射(原生支持达妙,适配总线舵机)
智能体控制rebot-mcp在 MCP 服务中扩展工序特定工具函数,或接入自定义大模型 Agent 决策流

如何部署

核对方案与产品清单,再照部署指南装。

现场设备选型清单与部署方案

根据现场条件选择参数,自动匹配推荐硬件套餐与安装指南;也可以让 AI 助手为你核算推荐或一键部署。

方案自助咨询与部署
部署方案

reCamera + reBot B601-DM

在摄像头上安装 rebot-teleop 应用,在电脑上安装 AI 智能体服务(MCP),最后在控制台里检查遥控并完成手眼标定。

3 步 · 约 30min

部署指南 →
AI 摄像头
recamera_2002
机械臂
rebot_arm_b601

常见问题

不需要。装载 B4 CAN 底板的标准版 reCamera(SG2002 RISC-V SoC)直接板载运行 armd 守护进程,通过 1 Mbit/s SocketCAN 直驱机械臂的 7 个达妙总线电机。

没有找到你要的答案?
联系我们
获取可部署方案与产品选型支持。
下一步