需要从一个普通摄像头画面里估出远近,先把深度效果跑出来再做应用的团队。
- 机器人与移动平台原型——用单目摄像头估计前方物体远近,给避障、抓取做前期验证。
- 展会与客户演示——一路画面同时显示原图、彩色深度图和三维点云。
- 重复部署与验证——同一套镜像一键装到多台 Jetson 上,环境一致。
不适用:需要毫米级测距或安全认证的场合;这是单目模型估计出的深度,不是激光雷达或双目实测。
需要从一个普通摄像头画面里估出远近,先把深度效果跑出来再做应用的团队。
不适用:需要毫米级测距或安全认证的场合;这是单目模型估计出的深度,不是激光雷达或双目实测。
两样设备:一个 USB 摄像头,一台 Jetson 主机。深度估计在主机的 GPU 上完成,结果以视频流发到局域网,任何能播 RTSP 的播放器或平台预览页都能看。
一个 USB 摄像头插在 Jetson 上,默认按 640×480 采集。
深度模型、推理引擎和推流服务都在这台机器上,打包成一个 Docker 容器。
| 项目 | 内容 |
|---|---|
| 主机 | reComputer J40 系列(Jetson Orin NX) |
| 模型 | Depth Anything V3 Metric Large |
| 前提 | Docker 与 NVIDIA 容器运行时已安装,SSH 可登录 |
| 首次部署 | 在设备上生成推理引擎,约 8 分钟;之后重启复用,不再生成 |
结果是一路 RTSP 视频流,同一画面拼着原图、彩色深度图和三维点云,播放器在局域网内直接从 Jetson 拉流。平台预览步骤里填入流地址即可在网页里看,断开重连不用重新部署。数据接口见下方「能拿到什么数据」。
下表是本设计在 reComputer J40 系列上提供的能力与限制。
| 能做到 | 限制 |
|---|---|
| USB 摄像头画面实时估出深度,输出彩色深度图与三维点云 | 单目模型估计,远近关系可用,不能替代激光雷达测距 |
| 结果以 RTSP 视频流发出,普通播放器可看 | 默认推流 6 fps,适合观看与演示,不是控制回路的数据接口 |
| 容器开机自启,重启不重新生成推理引擎 | 首次部署要在设备上生成推理引擎,约 8 分钟 |
部署完就靠这个出口看结果。
| 出口 | 内容 | 说明 |
|---|---|---|
| RTSP 8554,路径 /depth | 原图、彩色深度图、三维点云拼成的一路画面 | 默认 6 fps、1500 kbps,可在部署时调 |
画面在局域网内传输。要把深度数据接进自己的程序,需要在容器里的 ROS 2 节点上自行取数,本设计默认不开放数据接口。
一台 reComputer J40 系列主机,加一个 USB 摄像头。主机上要装好 Docker 与 NVIDIA 容器运行时,并能 SSH 登录。容器内存上限设为 4GB。
部署流程约 10 分钟。第一次要在设备上为这块 GPU 生成推理引擎,约 8 分钟;引擎存在本地,之后重启直接复用。
部署完成后可以断网运行,首次部署要联网拉镜像。深度估计在 Jetson 的 GPU 上完成,视频流只在局域网内发出,不上传云端。
这是单目模型对画面的估计,适合看远近关系、做原型和演示。需要可靠测距或安全相关判断时,应配激光雷达、双目或 ToF 等实测传感器。
默认出口是 RTSP 视频流,用于观看。容器内是 ROS 2 流程,深度图与点云在 ROS 2 节点上,要取原始数据需要订阅这些节点,或在容器里自行加一个数据接口。
先用 VLC 打开 rtsp://设备IP:8554/depth 确认流是否存在。看到的是原始画面说明推流源不是推理输出;日志里读不到帧时把摄像头编号改成 auto 或 1 再部署。
推流帧率、码率、画面尺寸和点云点数都能在部署参数里改。换其他 Depth Anything 模型需要替换模型文件,并在设备上重新生成推理引擎。
部署脚本随本设计提供,模型权重保留 Depth Anything 发布方的许可条款。闭源商用前确认所用权重的许可,或换成许可兼容的模型。