Mono-SF: Multi-View Geometry Meets Single-View Depth for Monocular Scene Flow Estimation of Dynamic Traffic Scenes
Robert Bosch GmbH（罗伯特·博世有限公司）；Goethe University Frankfurt（法兰克福歌德大学）；NTNU Trondheim（特隆赫姆挪威科技大学）
现有的3D场景流估计方法提供了场景的3D几何形状和3D运动，并且例如在自动驾驶的背景下获得了很多关注。这些方法传统上是基于立体图像的时间序列。在本文中，我们提出了一种新的单目三维场景流估计方法，称为单SF。Mono-SF通过结合多视图几何和单视图深度信息来联合估计场景的3D结构和运动。Mono-SF基于多视点几何的原理，在连续图像中扭曲参考图像方面，认为场景流应该是一致的。为了以统计方式整合单视图深度，提出了称为ProbDepthNet的卷积神经网络。ProbDepthNet根据单个图像而不是单个深度值来估计像素深度分布。此外，作为ProbDepthNet的一部分，提出了一种新的回归问题重新校准技术，以确保良好校准的分布。我们的实验表明，Mono-SF优于最先进的单眼基线，消融研究支持Mono-SF方法和ProbDepthNet设计。
2019-08-17 cs.CV
Shadow Estimation Method for "The Episolar Constraint: Monocular Shape from Shadow Correspondence"
Washington University in St Louis（圣路易斯华盛顿大学）；University of Kentucky（肯塔基大学）
阴影恢复是许多视觉算法的重要步骤。目前的方法，与时间推移序列的工作是有限的简单的阈值算法。我们表明，这些方法只能非常仔细地调整参数，并不工作，以及在许多个月的跨度采取的长期时间推移序列。我们引入了一个无参数的期望最大化方法，同时估计阴影，阴影，表面法线，和天窗。这种方法比以前的方法更准确，适用于非常短和非常长的序列，并且对非线性相机响应的影响具有鲁棒性。最后，我们证明，通过该算法得到的阴影掩模大大提高了性能的太阳为基础的光度立体相比，早期的阴影掩模估计。
2013-04-15 cs.CV
Object Pose Estimation from Monocular Image using Multi-View Keypoint Correspondence
Indian Institute of Science（印度科学学院）
了解2D图像中对象的几何形状和姿态对于广泛的现实世界应用来说是一个基本的必要条件。在深度神经网络的驱动下，最近的方法为物体姿态估计带来了显著的改进。然而，由于缺乏关键点/姿态标注的真实图像，因此它们无法有效地利用对象的3D结构信息。在这项工作中，我们提出了一种数据高效的方法，利用类内对象的几何规则性的姿态估计。首先，我们从简单的2D RGB图像中学习物体部分的姿态不变局部描述符。这些描述符，以及从固定的3D模板模型的渲染获得的关键点，然后用于生成给定的单眼真实图像的关键点对应图。最后，姿态估计网络使用这些对应映射来预测对象的3D姿态。该流水线被进一步扩展到多视图方法，该方法从3D模板模型的多个视图生成的对应集合中吸收关键点信息。多视角信息的融合显著提高了系统的几何理解能力，从而提高了姿态估计性能。此外，使用对应框架负责姿势不变的关键点描述符的学习也允许我们有效地缓解数据稀缺问题。这使我们的方法能够在多个真实图像视点估计数据集上实现最先进的性能，例如Pascal 3D+和ObjectNet 3D。为了鼓励可重复的研究，我们已经发布了我们提出的方法的代码。
2018-09-03 cs.CV
Monocular Vision based Crowdsourced 3D Traffic Sign Positioning with Unknown Camera Intrinsics and Distortion Coefficients
Advanced Research Lab, NavInfo Europe（NavInfo欧洲先进研究实验室）
自动驾驶车辆和驾驶员辅助系统利用3D语义地标的地图来改进决策。然而，扩展映射过程以及定期更新这些地图需要巨大的成本。众包地图这些地标，如交通标志的位置提供了一个有吸引力的替代方案。众包地图绘制的最新方法使用地面实况相机参数，这些参数可能并不总是已知的，或者可能随时间而变化。在这项工作中，我们展示了一种方法来计算3D交通标志的位置，而不知道相机的焦距，主点，和失真系数先验。我们验证了我们提出的方法在KITTI的交通标志的公共数据集。仅使用单目彩色摄像机和GPS，我们实现了平均单行程的相对和绝对定位精度分别为0.26米和1.38米。
2020-07-09 cs.CV cs.LG cs.RO
Accurate 3D Reconstruction of Dynamic Scenes from Monocular Image Sequences with Severe Occlusions
University of Kaiserslautern（凯泽斯劳滕大学）；DFKI（德国人工智能研究中心）
本文介绍了一种精确的解决方案，密集的正交非刚性运动恢复结构（NRSfM）的场景中严重的闭塞，或同样，不准确的对应关系。我们将形状先验项纳入变分优化框架。它允许在每像素级别上惩罚时变结构的不规则性，如果诸如遮挡张量的对应质量指示符可用的话。我们做了一个现实的假设，几个非遮挡视图的场景是足以估计一个初始形状之前，虽然整个观察到的场景可能会表现出非刚性变形。合成和真实图像数据上的实验表明，所提出的框架显着优于国家的最先进的方法对应关系的建立，结合国家的最先进的NRSfM方法。连同对优化方法的深刻见解，提供了异构平台的实施细节。
2017-12-20 cs.CV
Relative Pose from Deep Learned Depth and a Single Affine Correspondence
SZTAKI（匈牙利科学院计算机与自动化研究所）；University of Debrecen（德布勒森大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种新的方法，将深度学习的非度量单目深度与仿射对应（AC）相结合，以从单个对应关系中估计两个校准相机的相对姿态。考虑到深度信息和仿射特征，推导了两个新的摄像机位姿约束。建议的求解器是可用的1点RANSAC方法。因此，鲁棒估计的处理时间在对应的数量上是线性的，并且因此比使用传统方法快几个数量级。建议的1AC + D求解器进行了测试，合成数据和110395公开可用的真实图像对，我们使用了现成的单目深度网络，以提供最大规模的深度每像素。所提出的1AC + D导致与传统方法类似的精度，同时显著更快。在解决大规模问题时，例如，对于运动恢复结构（SfM）流水线的姿态图初始化，与成对几何验证中获得的加速相比，获得AC和单眼深度的开销可以忽略不计，即，相对位姿估计这是使用最先进的全局SfM算法在1DSfM数据集的场景上演示的。源代码：www. example. com
2020-07-20 cs.CV
End-to-end Learning Improves Static Object Geo-localization in Monocular Video
Colorado State University（科罗拉多州立大学）；Uber Advanced Technologies Group（优步先进技术集团）
从自动驾驶汽车的移动摄像头中准确估计静态物体（如交通灯）的位置是一个具有挑战性的问题。在这项工作中，我们提出了一个系统，通过学习联合优化系统的组件，提高静态对象的本地化。我们的系统由执行以下操作的网络组成：1）从单个图像进行5DoF对象姿态估计，2）帧对之间的对象关联，以及3）多对象跟踪，以产生场景内静态对象的最终地理定位。我们使用公开的数据集来评估我们的方法，由于数据的可用性，我们将重点放在交通灯上。对于每个组件，我们与当代的替代品进行比较，并显示出显着改善的性能。我们还表明，通过组成模型的联合训练，端到端系统性能得到进一步提高。
2021-01-03 cs.CV
Cross-View Urban Traffic Dataset: Drone-Supervised Ground Truth for Monocular Bird's-Eye View Localization
OTH Regensburg（雷根斯堡应用技术大学）
提出一个由同步自行车视角和无人机视角视频构建的跨视角城市交通数据集，支持跨视角身份匹配和鸟瞰图预测任务，提供身份级对齐和标准化评估。
2026-06-05 cs.AI cs.CV
Edge SLAM: Edge Points Based Monocular Visual SLAM
TCS Research & Innovation（塔塔咨询服务研究与创新中心）
近年来，由于视觉社区的高度关注，视觉SLAM显示了显着的进展，但低纹理环境仍然存在挑战。基于特征的视觉SLAM不产生可靠的相机和结构估计，由于在低纹理环境中的功能不足。此外，现有的视觉SLAM产生部分重建时，3D-2D对应的数量是不够的增量相机估计使用光束法平差。本文提出了边缘SLAM，基于特征的单目视觉SLAM，缓解上述问题。我们提出的边缘SLAM管道检测边缘点从图像和跟踪使用光流的点对应。我们进一步完善这些点的对应关系，使用三个视图之间的几何关系。由于我们的边缘点跟踪，我们使用一个强大的方法进行光束法平差的两个视图初始化。我们提出的SLAM还确定了在现有重建中估计新相机变得不可靠的潜在情况，并且我们采用了一种新方法来使用局部优化技术可靠地估计新相机。我们提出了一个广泛的评估我们提出的SLAM管道与最流行的开放数据集和比较与国家的最先进的实验结果表明，我们的边缘SLAM是强大的，并可靠地工作，以及纹理和纹理较少的环境相比，现有的国家的最先进的SLAM。
2019-01-14 cs.CV
MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation
Institute of Intelligent Vehicles, School of Automotive Studies, Tongji University（同济大学汽车学院智能车辆研究所）
三维空间中的目标定位是单目三维目标检测中一个具有挑战性的方面。6DoF位姿估计的最新进展表明，预测图像和物体3D模型之间的密集2D-3D对应图，然后通过透视n点（Perspective-n-Point，简称PSPs）算法估计物体位姿，可以实现显著的定位精度。然而，这些方法依赖于使用对象几何形状的地面真实值进行训练，这在真实的户外场景中很难获得。为了解决这个问题，我们提出了MonoRUn，这是一种新的检测框架，它以自监督的方式学习密集的对应关系和几何形状，并具有简单的3D限界框注释。为了回归像素相关的3D对象坐标，我们采用了具有不确定性意识的区域重建网络。对于自监督训练，预测的3D坐标被投影回图像平面。提出了一种鲁棒KL损失，以最小化不确定加权重投影误差。在测试阶段，我们通过将网络不确定性传播到所有下游模块来利用网络不确定性。更具体地说，利用不确定性驱动的Pestro算法来估计对象姿态及其协方差。大量的实验表明，我们提出的方法优于当前国家的最先进的方法KITTI基准。
2021-03-24 cs.CV
Mobile Traffic Camera Calibration from Road Geometry for UAV-Based Traffic Surveillance
Embedded Intelligence Lab（嵌入式智能实验室）
本文提出一种轻量级管道，将单目倾斜无人机交通视频转换为局部度量鸟瞰视图表示，利用可见道路几何估算道路平面的homography，以实现车辆轨迹的估计和动态3D立方体的可视化。
2026-05-12 cs.CV
Visual Descriptor Learning from Monocular Video
University of Bonn（波恩大学）
对应性估计是计算机视觉中研究最广泛但仅部分解决的领域之一，在目标和环境的跟踪、映射、识别中有许多应用。在本文中，我们提出了一种新的方法来估计RGB图像上的密集对应关系，其中视觉描述符通过训练完全卷积网络从视频示例中学习。大多数深度学习方法通过使用大量昂贵的标记数据训练网络来解决这个问题，或者使用RGB-D视频通过强大的3D生成模型来执行标记。我们的方法使用对比度损失从RGB视频中学习，其中相对标记是从光流中估计的。我们展示了在渲染视频的定量分析，地面实况信息可用的功能。该方法不仅在相同背景的测试数据上表现良好，而且还可以推广到新背景的情况。学习的描述符是唯一的，由网络确定的表示是全局的。我们进一步展示了该方法对现实世界视频的适用性。
2020-04-15 cs.CV
Real-time 3D Traffic Cone Detection for Autonomous Driving
ETH-Zurich（苏黎世联邦理工学院）
基于单目摄像机的道路场景语义场景理解研究取得了很大进展。然而，它主要与某些类别有关，如汽车和行人。这项工作研究交通锥，在自动驾驶汽车的背景下，交通控制的对象类至关重要。使用来自单目相机的图像的3D目标检测本质上是不适定问题。在这项工作中，我们利用交通锥的独特结构，并提出了一个流水线的方法来解决这个问题。具体来说，我们首先通过定制的2D对象检测器检测图像中的圆锥体;然后，通过我们的深度结构回归网络检测交通圆锥体上关键点的空间排列，其中交叉比是投影不变的事实被用于网络正则化;最后，通过经典的Perspective n-Point算法恢复圆锥体的3D位置。大量的实验表明，我们的方法可以准确地检测交通锥和估计他们的位置在三维世界中实时的。所提出的方法也被部署在一个实时的，关键系统。它在低功耗的Jetson TX 2上高效运行，提供准确的3D位置估计，允许赛车在交通锥指示的看不见的轨道上自动绘制和驾驶。凭借强大而准确的感知，我们的赛车在2018年意大利和德国举行的学生方程式比赛中获胜，最高时速为54公里。完整的管道、映射和导航的可视化可以在我们的项目页面上找到。
2019-06-05 cs.CV
STS: Surround-view Temporal Stereo for Multi-view 3D Detection
MEGVII Technology（旷视科技）；Peking University（北京大学）；Beihang University（北京航空航天大学）
学习准确的深度对于多视图3D目标检测是必不可少的。最近的方法主要是从单目图像中学习深度，由于单目深度学习的不适定性，这些方法面临固有的困难。在这项工作中，我们提出了一种新的环绕视图时间立体（STS）技术，该技术利用帧之间的几何对应关系来促进准确的深度学习，而不是使用单一的单目深度方法。具体地说，我们把本车周围所有摄像机的视野作为一个统一的视图，即环绕视图，并对其进行时间立体匹配，得到的STS不同帧之间的几何对应关系被利用，并结合单目深度产生最终的深度预测。nuScenes上的综合实验表明，STS大大提高了3D检测能力，特别是对于中距离和长距离物体。在使用ResNet-50主干的BEVDepth上，STS分别将mAP和NDS提高了2.6%和1.4%。当使用更大的主干和更大的图像分辨率时，观察到一致的改善，证明了其有效性
2022-08-22 cs.CV
MoRe: Monocular Geometry Refinement via Graph Optimization for Cross-View Consistency
University of Maryland, College Park（马里兰大学学院公园分校）；DEVCOM Army Research Laboratory（陆军研究实验室）
MoRe通过图优化改进单目几何以提升跨视角一致性与尺度对齐，增强3D重建与新视角合成性能。
2025-11-27 cs.CV
FreeReg: Image-to-Point Cloud Registration Leveraging Pretrained Diffusion Models and Monocular Depth Estimators
LISMARS；Hubei Luojia Laboratory（湖北珞珈实验室）；Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）；Texas A&M University（德克萨斯农工大学）
针对图像与点云跨模态特征匹配难的问题，提出FreeReg方法，借助预训练扩散模型的扩散特征和单目深度估计的几何特征实现无任务特定训练的精准配准，在多个基准上性能显著优于现有最优方法。
2024-04-13 cs.CV
Triangulation Learning Network: from Monocular to Stereo 3D Object Detection
Tsinghua University（清华大学）；Microsoft Research（微软研究院）
本文研究了从立体图像中检测三维目标检测的问题，其关键在于如何有效地利用立体信息。与以前使用像素级深度图的方法不同，我们提出采用3D锚显式地构建立体图像中感兴趣区域之间的对象级对应关系，深度神经网络从中学习在3D空间中检测和三角测量目标对象。我们还引入了一个具有成本效益的通道重新加权策略，增强了代表性的功能，削弱了嘈杂的信号，以促进学习过程。所有这些都灵活地集成到一个使用单目图像的固体基线探测器中。我们证明了单目基线和立体三角测量学习网络在具有挑战性的KITTI数据集上的3D目标检测和定位方面优于现有的最先进技术。
2019-06-04 cs.CV
MapAnything: Evaluating Monocular Metric Depth Models for 3D Urban Asset Localization
ScaDS.AI (University of Leipzig)（ScaDS.AI（莱比锡大学））；University of Leipzig（莱比锡大学）；Kühne Logistics University（库赫内物流大学）；Wrocław University of Economics（沃拉夫经济大学）
本文提出MapAnything框架，通过单目图像自动映射城市物体和事件，利用度量深度估计模型计算物体坐标，验证其在复杂城市环境中的精度，展示其在交通标志和道路损坏等实际应用中的有效性。
2026-07-17 cs.CV
M^3: Dense Matching Meets Multi-View Foundation Models for Monocular Gaussian Splatting SLAM
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Zhejiang University（浙江大学）；Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
本文提出M^3，结合多视角基础模型与单目高斯点云SLAM，通过引入匹配头提升密集对应关系，增强跟踪稳定性，在多种基准上取得优异的位姿估计和场景重建性能。
2026-03-17 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；KU Leuven（鲁汶大学）
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景，即使在无监督的情况下，基于学习的方法也提供了有希望的结果，但对于动态和可变形场景，几乎没有文献涉及同样的问题。在这项工作中，我们提出了一个无监督的单目框架密集的深度估计的动态场景，共同重建刚性和非刚性的部分，而不明确建模的相机运动。使用密集的对应关系，我们推导出一个训练目标，旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中，密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果，证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外，该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
A Spatiotemporal Correspondence Approach to Unsupervised LiDAR Segmentation with Traffic Applications
University of Florida（佛罗里达大学）；Auburn University（奥本大学）
针对交通场景室外LiDAR点云无监督语义分割问题，提出基于时空对应、结合聚类与伪标签学习的方法，在多个基准上取得媲美全监督方法的性能，可支撑通用点云表示学习。
2023-08-23 cs.CV
Can we unify monocular detectors for autonomous driving by using the pixel-wise semantic segmentation of CNNs?
University of Alcalá (UAH)（阿尔卡拉大学）
自动驾驶是一个具有挑战性的话题，需要复杂的感知任务解决方案，例如道路，车道，交通标志或信号灯，车辆和行人的识别。通过多年的研究，计算机视觉已经能够使用单目检测器来处理这些任务，这些单目检测器可以以相对较低的处理时间提供显着的检测率。然而，最近出现的卷积神经网络（CNN）已经彻底改变了计算机视觉领域，并且使得在接近实时的时间内（甚至在可以在车辆上携带的硬件上）执行全像素语义分割的方法成为可能。在本文中，我们建议使用完整的图像分割作为一种方法，以简化和统一的自动驾驶汽车的感知模块中所需的检测任务，分析主要问题，如计算时间和检测性能。
2016-07-04 cs.CV
OCTraN: 3D Occupancy Convolutional Transformer Network in Unstructured Traffic Scenarios
PES University（PES大学）
针对单目深度估计投影到3D后误差随距离二次增长、LiDAR成本高的问题，提出采用迭代注意力和卷积的OCTraN架构，搭配自监督训练流程实现低成本精准3D占用感知。
2023-07-20 cs.CV
Object Gaussian for Monocular 6D Pose Estimation from Sparse Views
University of Birmingham（伯明翰大学）；NVIDIA（英伟达）
本文提出SGPose框架，利用三维高斯泼溅在仅约十个稀疏视图和随机初始化条件下回归稠密2D-3D对应关系，摆脱对CAD模型和SfM几何的依赖，在Occlusion LM-O等基准上超越现有方法。
2024-09-04 cs.CV
DCPI-Depth: Explicitly Infusing Dense Correspondence Prior to Unsupervised Monocular Depth Estimation
Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Shanghai Institute of Intelligent Science and Technology（上海智能科学技术研究院）；State Key Laboratory of Intelligent Autonomous Systems（智能自主系统国家重点实验室）；Frontiers Science Center for Intelligent Autonomous Systems（智能自主系统前沿科学中心）
DCPI-Depth通过显式注入密集对应先验，提出三项创新（上下文-几何一致性损失、微分属性相关性损失、双向流协同调整），在无监督单目深度估计中实现最先进性能，尤其在弱纹理和动态区域表现优异。
2025-01-21 cs.CV cs.RO
Tightly-Coupled, Speed-aided Monocular Visual-Inertial Localization in Topological Map
提出一种基于拓扑地图的紧耦合速度辅助单目视觉惯性定位算法，利用IESKF融合图像对应与车速，在隧道等场景中优于现有方法。
2024-11-08 cs.CV cs.RO
SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations
Shanghai Jiao Tong University（上海交通大学）
本文提出SemAlign3D方法，利用单目深度估计和LVM特征构建3D对象类别表示，并通过梯度下降对齐实现RGB图像间语义对应，在SPair-71k数据集上显著提升匹配精度。
2025-03-28 cs.CV
The Earth ain't Flat: Monocular Reconstruction of Vehicles on Steep and Graded Roads from a Moving Camera
Robotics Research Center, KCIS, IIIT Hyderabad（印度海得拉巴国际信息技术研究所 KCIS 机器人研究中心）；Montreal Institute of Learning Algorithms (MILA), Universite de Montreal（蒙特利尔大学蒙特利尔学习算法研究所）
对其他交通参与者的准确定位是自动驾驶系统中的一项重要任务。最先进的系统采用RGB相机和LiDAR等传感模式的组合来定位交通参与者，但大多数此类演示仅限于平坦的道路。我们证明，据我们所知，单目物体定位和形状估计的表面上，不共享同一平面与移动单目相机的第一个结果。我们近似路面的局部平面补丁，并使用语义线索从车辆在场景中初始化一个本地的战斗调整一样的过程，同时估计的姿态和形状的车辆，以及当地的地面上的车辆的立场以及方向。我们在KITTI和SYNTHIA-SF基准测试中针对各种道路平面配置评估了所提出的方法。所提出的方法显着提高了国家的最先进的任意形状的道路上的单目物体定位。
2018-03-06 cs.CV cs.LG cs.RO
Monocular Human Shape and Pose with Dense Mesh-borne Local Image Features
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；M2S（M2S实验室）
我们提出了改进基于图卷积的方法，用于从单目输入进行人体形状和姿态估计，使用像素对齐的局部图像特征。给定单个输入彩色图像，现有的基于图卷积网络（GCN）的用于人类形状和姿态估计的技术使用单个卷积神经网络（CNN）生成的全局图像特征，该全局图像特征等同地附加到所有网格顶点以初始化GCN阶段，该GCN阶段将模板T姿态网格变换为目标姿态。相比之下，我们第一次提出了使用每个顶点的局部图像特征的想法。这些特征是通过利用使用DensePose生成的像素到网格对应关系从CNN图像特征映射中采样的。我们对标准基准测试的定量和定性结果表明，使用局部特征改善了全局特征，并导致了与最先进技术相比具有竞争力的性能。
2021-11-11 cs.CV
Scale Estimation of Monocular SfM for a Multi-modal Stereo Camera
Nagoya University（名古屋大学）；National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本文提出了一种新的方法来估计单目SfM的多模态立体相机的绝对尺度。在计算机视觉和机器人学领域，单目SfM的尺度估计已经被广泛研究以简化系统。本文解决了立体相机系统的尺度估计问题，其中两个相机捕获不同的光谱图像（例如，RGB和FIR），其特征点难以使用描述符直接匹配。此外，由于低分辨率和缺乏热场景纹理，FIR图像之间的匹配点的数量可能相对较小。为了应对这些困难，所提出的方法估计的尺度参数使用批量优化，基于极线约束的少数特征之间的不可见光图像的对应关系。通过合成和真实图像实验验证了该方法的精度和数值稳定性。
2018-10-28 cs.CV
3D Object Aided Self-Supervised Monocular Depth Estimation
Soochow University（苏州大学）
单目深度估计在机器人视觉、自动驾驶和3D场景理解等领域得到了积极研究。给定一系列彩色图像，基于运动恢复结构（SfM）框架的无监督学习方法可以同时预测深度和相机相对姿态。然而，场景中动态移动的对象违反了静态世界的假设，导致动态对象的深度不准确。在这项工作中，我们提出了一种新的方法来解决这样的动态物体运动，通过单目3D目标检测。具体来说，我们首先检测图像中的3D对象，并建立动态像素与检测到的对象姿态的每像素对应关系，同时将与刚性背景对应的静态像素与相机运动建模。通过这种方式，可以通过有意义的几何模型来学习每个像素的深度。此外，目标被检测为具有绝对尺度的长方体，用于消除单目视觉中固有的尺度模糊问题。在KITTI深度数据集上的实验表明，该方法在深度估计方面达到了最先进的性能。此外，深度、相机运动和对象姿态的联合训练也提高了单目3D目标检测性能。据我们所知，这是第一个允许单目3D目标检测网络以自我监督的方式进行微调的工作。
2022-12-04 cs.CV
Visualizing Skiers' Trajectories in Monocular Videos
University of Udine（乌迪内大学）
针对高山滑雪轨迹分析需求，提出可处理单目视频的SkiTraVis算法，通过分离滑雪者与相机运动实现运动视角下的轨迹可视化，经职业赛事视频验证可用于转播增强与教练辅助。
2023-04-11 cs.CV
Learning Deeply Supervised Good Features to Match for Dense Monocular Reconstruction
University of Adelaide（阿德莱德大学）；ARC Centre of Excellence for Robotic Vision（澳大利亚研究理事会机器人视觉卓越中心）
视觉SLAM（同时定位与地图构建）方法通常依赖于手工制作的视觉特征或原始RGB值来建立图像之间的对应关系。这些特征虽然适用于稀疏映射，但由于孔径问题，在执行密集重建时通常会导致无纹理区域中的模糊匹配。在这项工作中，我们探讨了使用学习功能的匹配任务，在密集的单目重建。我们提出了一种新的卷积神经网络（CNN）架构，以及一个深度监督的特征学习方案，用于从图像中对视觉描述符进行逐像素回归，最适合于密集的单目SLAM。特别是，我们的学习方案最大限度地减少了多视图匹配的成本-体积损失相对于在网络内的多个阶段的回归功能，明确学习上下文功能，适合于由移动单目相机沿极线捕获的图像之间的密集匹配。我们将从我们的模型中学习到的特征整合到实时密集单目SLAM框架内进行深度估计，其中光度误差被我们学习到的描述符误差所取代。我们对几个具有挑战性的室内数据集进行了广泛的评估，结果表明，在DTAM等著名的密集SLAM系统的密集重建中，准确性大大提高，而不会影响其实时性能。
2018-11-20 cs.CV
Semi-Dense 3D Semantic Mapping from Monocular SLAM
Southeast University（东南大学）；IFSTTAR（法国国家交通、规划与网络科技研究院）
计算机视觉中的几何和外观捆绑已被证明是机器人在各种应用中的一种有前途的解决方案。立体相机和RGB-D传感器被广泛用于以密集的方式实现快速3D重建和轨迹跟踪。然而，它们缺乏在不同规模的环境之间无缝切换的灵活性，即，室内和室外场景。此外，在3D映射中仍然很难获取语义信息。我们通过结合最先进的深度学习方法和基于单目摄像机视频流的半密集同步定位和映射（SLAM）来解决这一挑战。在我们的方法中，2D语义信息被转移到3D映射通过空间一致性的连接关键帧之间的对应关系。该方法不需要对序列中的每一帧进行语义分割，从而可以获得合理的计算时间。我们在室内/室外数据集上评估了我们的方法，并导致了2D语义标签在基线单帧预测上的改进。
2016-11-13 cs.CV
MonoCT: Overcoming Monocular 3D Detection Domain Shift with Consistent Teacher Models
DeepScenario（深度场景公司）；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
针对跨场景单目3D检测的域偏移问题，提出MonoCT无监督域自适应方法，通过GDE模块、PLS模块和DM策略生成高质量伪标签，在6个基准上性能显著优于现有SOTA方法且多视角泛化性好。
2025-03-17 cs.CV
A Novel Illumination-Invariant Loss for Monocular 3D Pose Estimation
Australian National University（澳大利亚国立大学）
从给定的2D图像识别已知物体的3D姿态的问题在计算机视觉中具有重要的应用。我们提出的方法注册一个已知的对象的3D模型在一个给定的2D照片的对象有许多优点，比现有的方法。它不需要事先训练，相机参数的知识，图像和模型之间的显式点对应或匹配特征。与估计部分3D姿态的技术（如在传送带上的交通或机器部件的俯视图中）不同，我们的方法估计对象的完整3D姿态。它适用于在变化和未知的照明条件下从给定视图获得的单个静态图像。为此，我们推导出一种新的光照不变的距离测量之间的2D照片和投影的3D模型，然后最小化，以找到最佳的姿势参数。车辆姿态检测在真实照片的结果。
2013-11-28 cs.CV
EPro-PnP: Generalized End-to-End Probabilistic Perspective-n-Points for Monocular Object Pose Estimation
Stanford University（斯坦福大学）；Tongji University（同济大学）；Amazon.com Inc（亚马逊公司）；Alibaba Group (U.S.)（阿里巴巴集团（美国））；Fudan University（复旦大学）；Alibaba Group（阿里巴巴集团）
本文提出概率 PnP 层 EPro-PnP，通过在 SE(3) 上预测可微位姿分布并用 KL 散度学习 2D-3D 对应，提升了 LineMOD 与 nuScenes 上的位姿估计性能。
2023-12-17 cs.CV
BLASt3R: Bundle Adjustment of Any Image Set with Multi-View Matching and Monocular Priors
NAVER LABS Europe（NAVER欧洲实验室）
BLASt3R提出结合多视图匹配与单目先验的正则化BA框架，支持在线VSLAM和离线无序图像重建，在性能速度权衡上优于基线，其未标定VSLAM方法性能超此前所有标定方法。
2026-09-07 cs.CV
Gradient-based Uncertainty for Monocular Depth Estimation
Ulm University（乌尔姆大学）；Otto von Guericke University Magdeburg（奥托·冯·格里克马格德堡大学）
本文提出一种基于梯度的单目深度估计事后不确定性方法，利用图像水平翻转一致性构造辅助损失，无需真值或重训练，在KITTI和NYU Depth V2上达到最先进水平。
2022-08-03 cs.CV
Epipolar Geometry based Learning of Multi-view Depth and Ego-Motion from Monocular Sequences
TCS Research & Innovation（塔塔咨询服务研究与创新中心）
近年来，预测单眼深度和自我运动的深度方法由于其从单眼图像产生密集深度的能力而得到了发展。它们背后的主要思想是通过将一个视图扭曲成另一个视图来优化图像序列上的光度一致性，类似于直接视觉里程计方法。一个主要缺点是这些方法从单个视图推断深度，这可能无法有效地捕获像素之间的关系。此外，简单地最小化光度损失并不能确保适当的像素对应性，这是准确的深度和姿态估计的关键因素。相比之下，我们提出了一个2视图深度网络来从连续帧中推断场景深度，从而学习像素间的关系。为了确保更好的对应关系，从而更好的几何理解，我们建议将极线约束，使学习更几何声音。我们使用使用Nist'er的五点算法获得的基本矩阵来强制执行有意义的几何约束，而不是将其用作训练标签。与最先进的方法相比，这使我们能够使用更少的可训练参数。所提出的方法产生更好的深度图像和姿态估计，从而以更好的方式捕获场景结构和运动。这样的几何约束学习即使在简单地最小化光度误差将失败的情况下也能成功地执行。
2019-01-07 cs.CV cs.RO
Reality's Canvas, Language's Brush: Crafting 3D Avatars from Monocular Video
Huawei London Research Center（华为伦敦研究中心）；Technical University of Munich（慕尼黑工业大学）
本文提出完全可微分管线ReCaLaB，仅从单一RGB视频学习高保真3D人类虚拟化身，结合可变形NeRF与文本提示控制位姿、纹理等，并利用扩散模型生成未见运动视频，在图像质量上超越以往单目方法。
2024-03-24 cs.CV
DevNet: Self-supervised Monocular Depth Learning via Density Volume Construction
University of Oxford（牛津大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
单目图像的自监督深度学习通常依赖于时间上相邻的图像帧之间的2D逐像素光度关系。然而，它们既没有充分利用3D逐点几何对应，也没有有效地解决由遮挡或照明不一致引起的光度扭曲中的模糊性。为了解决这些问题，这项工作提出了密度体积构造网络（DevNet），这是一种新型的自监督单目深度学习框架，可以考虑3D空间信息，并利用相邻摄像头截头之间更强的几何约束。我们的DevNet不是直接从单个图像中回归像素值，而是将相机截头体划分为多个平行平面，并预测每个平面上的逐点遮挡概率密度。通过沿对应射线积分密度来生成最终深度图。在训练过程中，引入了新的正则化策略和损失函数来减轻光度模糊性和过拟合。在没有明显增加模型参数大小或运行时间的情况下，DevNet在KITTI-2015室外数据集和NYU-V2室内数据集上的表现优于几个代表性基线。特别是，在深度估计任务中，DevNet在KITTI-2015和NYU-V2上的均方根偏差降低了约4%。代码可在https://github.com/gitkaichenzhou/DevNet上获得。
2022-10-02 cs.CV
DynOMo: Online Point Tracking by Dynamic Online Monocular Gaussian Reconstruction
Technical University of Munich（慕尼黑工业大学）；Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
本文提出DynOMo，利用在线3D高斯泼溅从单目未标定相机同时进行动态场景重建与2D/3D点跟踪，无需对应监督即可实现与现有方法相当的性能。
2025-03-12 cs.CV
HDM-Net: Monocular Non-Rigid 3D Reconstruction with Learned Deformation Model
DFKI（德国人工智能研究中心）；University of Kaiserslautern（凯泽斯劳滕大学）
变形物体的单目稠密三维重建是计算机视觉中的一个困难不适定问题。当前的技术要么需要密集的对应关系并依赖于运动和变形线索，要么假设预先给定的至少单个帧的高度准确的重建（称为模板）并以非刚性跟踪的方式操作。密集点轨迹的精确计算通常需要多个帧并且可能在计算上是昂贵的。模板的可用性是一个非常强的先决条件，它将系统操作限制在预定义的环境和场景中。在这项工作中，我们提出了一种新的混合方法，单目非刚性重建，我们称之为混合变形模型网络（HDM-Net）。在我们的方法中，变形模型是由一个深度神经网络学习的，具有特定领域的损失函数的组合。我们训练网络的多个状态的非刚性变形结构与已知的形状在休息。HDM-Net学习不同的重建线索，包括纹理相关的表面变形，阴影和轮廓。我们展示了HDM-Net对训练数据集中未呈现的状态的泛化能力，这些状态具有不可见的纹理和新的光照条件。噪声数据的实验和与其他方法的比较表明，所提出的方法的鲁棒性和准确性，并建议在介入诊断和增强现实的新技术的可能的应用场景。
2019-08-05 cs.CV
CARLA Drone: Monocular 3D Object Detection from a Different Perspective
DeepScenario；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出CDrone无人机视角数据集和GroundMix数据增强方法，扩展单目3D检测评估视角，显著提升轻量级检测器在多种数据集上的精度。
2024-10-21 cs.CV
KBody: Towards general, robust, and aligned monocular whole-body estimation
UC Berkeley（加州大学伯克利分校）
本文提出 KBody，通过预测与优化、虚拟关节、姿态形状解耦及非对称距离场，实现通用、鲁棒且像素对齐的单目全身人体模型拟合。
2024-06-15 cs.CV
Estimation of Appearance and Occupancy Information in Birds Eye View from Surround Monocular Images
Ola Electric AI（奥拉电动人工智能部门）
自动驾驶需要对场景中不同智能体的位置和外观进行有效推理，这有助于目标检测、目标跟踪和路径规划等下游任务。在过去的几年里，将经典自动驾驶堆栈中不同的基于任务的模块结合到端到端（E2 E）可训练学习系统中的方法激增。这些方法用具有共享潜在空间嵌入的单个连续模块来替换感知、预测和传感器融合模块，从中提取场景的人类可解释的表示。最流行的表示之一是鸟瞰图（BEV），它从自上而下的角度表达了不同交通参与者在自我车辆框架中的位置。然而，BEV不捕获参与者的色彩外观信息。为了克服这一限制，我们提出了一种新的表示，捕捉各种交通参与者的外观和占用信息从一个阵列的单目摄像机覆盖360度视场（FOV）。我们使用所有相机图像的学习图像嵌入来生成场景的BEV，该BEV在任何时刻捕获场景的外观和占用，这可以帮助下游任务，例如对象跟踪和执行基于语言的命令。我们测试了我们的方法对CARLA生成的合成数据集的有效性。代码、数据集和结果可以在https://rebrand.ly/APP OCC-results上找到。
2022-11-08 cs.CV cs.RO
MonoNeRF: Learning a Generalizable Dynamic Radiance Field from Monocular Videos
Tsinghua University（清华大学）
针对单目动态 NeRF 泛化困难，本文提出 MonoNeRF，通过 Neural ODE 轨迹建模与基于流的特征聚合实现跨场景端到端学习。
2023-08-14 cs.CV
MonoHuman: Animatable Human Neural Field from Monocular Video
SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
提出MonoHuman框架，通过共享双向形变模块和正向对应搜索模块，利用双向约束和关键帧信息，实现了在任意新颖姿态下渲染视角一致且高保真的可动画化人体化身。
2023-04-04 cs.CV cs.GR
Real-time Accident Anticipation for Autonomous Driving Through Monocular Depth-Enhanced 3D Modeling
University of Macau（澳门大学）；University of Electronic Science and Technology of China（电子科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；New York University（纽约大学）；Central South University（中南大学）；Beihang University（北京航空航天大学）；University of Hawaii（夏威夷大学）
本文提出AccNet框架，利用单目深度进行3D场景建模，并结合BA-LEA损失函数与多任务学习，在多个事故预测基准上显著提升了实时事故预测精度。
2024-09-02 cs.AI cs.CV
Motion Aware ViT-based Framework for Monocular 6-DoF Spacecraft Pose Estimation
Interdisciplinary Centre for Security, Reliability and Trust (SnT) University of Luxembourg（安全、可靠性与信任跨学科研究中心（SnT）卢森堡大学）
提出一种将运动感知热图与光流集成到ViT编码器的框架，用于单目6自由度航天器姿态估计，在SPADES-RGB上训练并在SPARK-2024上验证，性能优于单图像基线且泛化良好。
2025-09-07 cs.CV
R4Dyn: Exploring Radar for Self-Supervised Monocular Depth Estimation of Dynamic Scenes
Technical University of Munich（慕尼黑工业大学）；BMW Group（宝马集团）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google（谷歌）
提出 R4Dyn，将雷达作为自监督单目深度估计的弱监督与推理输入，并通过滤波和扩展处理噪声与稀疏性，在 nuScenes 上将汽车等动态对象深度估计提升 37%。
2021-11-29 cs.CV cs.LG cs.RO
Learning-based Monocular 3D Reconstruction of Birds: A Contemporary Survey
University of Alberta（阿尔伯塔大学）；Demant A/S（戴蒙特公司）；Canadian Forest Service, Natural Resources Canada（加拿大自然资源部加拿大林务局）
在自然界中，动物的集体行为，如飞鸟，是由同一物种的个体之间的相互作用所主导的。然而，研究鸟类的这种行为是一个复杂的过程，人类无法使用传统的视觉观察技术，如自然界中的焦点采样。对于鸟类等社会性动物来说，群体形成的机制可以帮助生态学家理解社会线索与其视觉特征之间的关系（例如，姿势和形状）。但是，恢复飞行鸟类的不同姿态和形状是一个极具挑战性的问题。解决这一瓶颈的一个广泛采用的解决方案是从2D图像到3D对应中提取姿态和形状信息。3D视觉的最新进展导致了一些令人印象深刻的工作的3D形状和姿态估计，每个有不同的利弊，据我们所知，这项工作是第一次尝试提供一个概述的最新进展，在3D鸟类重建的基础上单目视觉，给计算机视觉和生物学研究人员的概述现有的方法，并比较它们的特点。
2022-07-28 cs.CV
BirdSLAM: Monocular Multibody SLAM in Bird's-Eye View
IIIT Hyderabad（海得拉巴国际信息技术学院）；TCS Innovation Labs（塔塔咨询服务公司创新实验室）
在本文中，我们提出了BirdSLAM，一种新颖的同时定位与地图构建（SLAM）系统，用于仅配备单目摄像头的自动驾驶平台的挑战性场景。BirdSLAM通过使用正交（鸟瞰）视图作为执行定位和映射的配置空间来解决其他单目SLAM系统所面临的挑战（例如单目重建中的尺度模糊性、动态对象定位和特征表示中的不确定性）。通过仅假设自我摄像头在地面上方的高度，BirdSLAM利用单视图计量线索来准确定位鸟瞰视图中的自我车辆和所有其他交通参与者。我们证明，我们的系统优于以前的工作，严格使用更多的信息，并通过消融分析突出每个设计决策的相关性。
2020-11-15 cs.AI cs.CV cs.LG
