arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

不加新传感器,AI给三维场景找回米制尺度:深度误差降54.2%

作者:arXivDaily编辑部 论文中文资料arXiv 2610.16945 cs · cs.CV

论文导读

南洋理工大学、卡内基梅隆大学、清华大学等机构提出UniMetric,用多个常见物体的合理高度区间,给三维场景找回米制尺度。在九种几何模型、十二个固定评测子集上,平均深度相对误差降低54.2%。校准不需要新增传感器,也不训练额外的专用模型,同一缩放系数同时应用到场景与相机移动。

三维形状对了,尺寸还可能差一大截

一个模型能把走廊、椅子和汽车恢复成三维点,并不代表它知道这些点之间的一格究竟是多少米。比例关系看着合理,整个房间仍可能被缩小很多倍。相机的移动距离也会跟着使用错误单位。

图:室内与道路案例同时展示原图、参考深度、校准前后结果及相机轨迹。

UniMetric不重画这份场景,先补一个整体的缩放系数。论文评测覆盖694段序列、51339帧,包含车辆、路侧、室内移动机器人与近距离机械臂场景。它比较的是固定子集上九种模型校准前后的结果,没有用真实答案先把预测尺度对齐。

平均深度Abs Rel降低54.2%,三维重建的Chamfer距离降低83.8%,相机轨迹误差降低65.6%。这些是跨评测条件的相对下降,不是说每个位置现在都量得准确,也不是每一个模型与子集组合都改进同样幅度。

椅子和门都不精确,但能约束同一个房间

一把椅子多高,单看图片不容易给出精确答案。但它有一个合理区间;门、汽车或画面里的其他常见物体,也各自提供粗略参考。一个缩放让椅子高度说得通,却可能让门变得过小,多个物体一起就能排除一些候选尺度。

图:物体高度区间、像素到点的映射与共同尺度求解组成校准流程。

方法先让视觉语言模型找出熟悉、没有严重截断的物体,给出高度区间与可信度,再把它们对应到原始几何模型恢复的点上。支撑面的方向用于测量高度,避免直接把倾斜相机的竖直轴当成物体真正的上下方向。

随后,各次观察都转换为“这个场景允许多大缩放”的区间。区间有共同交集时选择可共同满足的尺度;没有交集时,按可靠性得到一个折中值。最后统一缩放点的位置与相机平移,不更改原来的转动、相机内参或相对场景形状。

这里仍在利用已训练模型的知识。论文“不需要训练”指校准框架无需另做任务专用训练,不代表没有视觉语言模型、分割模型或几何模型参与。实验中的物体先验主要由Seed1.8提供,再经过分割与几何测量连接起来。

多看几次能改善估计,错误形状不会自动修好

为了单独检查高度先验的影响,研究团队做了一组相对高度完全准确的受控实验。把每段最多一次观察增加到50次后,四个子集的平均绝对相对尺度误差降到约1.09%至2.18%。这些观察包括同一物体的重复视角,不是50个完全独立物体。

图:受控实验中,曲线比较观察数量增加时的尺度误差与相应距离误差。

这组实验先排除了几何测量误差,检查“尺寸猜测一起使用”是否有效;正式MetricBench评测才把真实几何模型的误差也带进来。两个实验回答的问题不同,不能把受控实验中的低误差直接写成所有真实场景的测量精度。

正式结果中,三维重建在108个模型与子集组合中的107个改善,但仍有一个近距离机械臂子集略变差。相机轨迹也不是全部改善,原本几乎静止的外置相机,误差已经很小时,一个全局缩放未必提供帮助。

代码页面还说明,项目代码暂没有确认完整的根许可证,公开可见不等于获得开放许可;数据页面的在线查看器当前也无法加载。已经可核对的算法贡献是用多个不精确参考校准同一个尺度,保留了原场景结构,同时把“像不像”与“到底有多大”分开检验。

参考资料

https://arxiv.org/abs/2610.16945

https://arxiv.org/html/2610.16945

https://arxiv.org/pdf/2610.16945

https://github.com/yanglei18/UniMetric

https://huggingface.co/datasets/yanglei18/MetricBench

https://arxiv.org/src/2610.16945

↑