ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras
Instituto de Investigación en Ingeniería de Aragón (I3A), Universidad de Zaragoza（萨拉戈萨大学阿拉贡工程研究所（I3A））；Oculus Research
我们提出了ORB-SLAM 2一个完整的SLAM系统的单眼，立体和RGB-D相机，包括地图重用，闭环和重新定位功能。该系统可在各种环境中在标准CPU上实时工作，从小型手持室内序列到工业环境中的无人机飞行和城市周围的汽车驾驶。我们的后端基于单目和立体观测的光束法平差，可以使用度量尺度进行精确的轨迹估计。我们的系统包括一个轻量级的定位模式，利用视觉里程计跟踪未映射的区域和匹配的地图点，允许零漂移定位。对29个流行的公共序列的评估表明，我们的方法达到了最先进的精度，在大多数情况下是最准确的SLAM解决方案。我们发布源代码，不仅是为了SLAM社区的利益，也是为了为其他领域的研究人员提供开箱即用的SLAM解决方案。
2017-06-19 cs.CV cs.RO
A Monocular Event-Camera Motion Capture System
University of Zurich（苏黎世大学）
针对多视角运动捕捉系统不适用于狭窄空间的问题，该研究提出单目事件相机运动捕捉系统，采用主动闪烁LED标记（通过频率唯一识别），结合PnP求解物体位姿，实现毫米级精度与毫秒级延迟，可用于操控小型敏捷四旋翼。
2025-02-17 cs.CV cs.RO
GenDepth: Generalizing Monocular Depth Estimation for Arbitrary Camera Parameters via Ground Plane Embedding
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
本文提出 GenDepth，通过地平面深度的相机参数嵌入与对抗性领域对齐，并结合多样化合成数据，提升单目度量深度估计对任意车载相机设置的泛化能力。
2023-12-10 cs.CV cs.RO
MV-FCOS3D++: Multi-View Camera-Only 4D Object Detection with Pretrained Monocular Backbones
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
在这份技术报告中，我们介绍了我们的解决方案，称为MV-FCOS 3D ++，用于Waymo开放数据集挑战赛2022中的仅摄像头3D检测轨道。对于多视图仅相机3D检测，基于鸟瞰视图或3D几何表示的方法可以利用来自相邻视图之间的重叠区域的立体提示，并且直接执行3D检测而无需手工制作的后处理。然而，它缺乏对2D主干的直接语义监督，这可以通过预训练简单的基于单眼的检测器来补充。我们的解决方案是一个多视图框架，4D检测遵循这种模式。它基于一个简单的单目检测器FCOS 3D ++，仅使用Waymo的对象注释进行预训练，并将多视图特征转换为3D网格空间以检测其上的3D对象。设计了一种用于单帧理解和时间立体匹配的双路径颈部，以结合多帧信息。我们的方法最终使用单个模型实现了49.75%的mAPL，并在WOD挑战中获得第二名，在训练期间没有任何基于LiDAR的深度监督。该代码将在https://github.com/Tai-Wang/Depth-from-Motion上发布。
2022-07-26 cs.CV cs.RO
MonoNeRF: Learning Generalizable NeRFs from Monocular Videos without Camera Pose
University of California, San Diego（加州大学圣地亚哥分校）；FAIR, Meta AI（Meta人工智能基础研究实验室）
本文提出 MonoNeRF，一种无需深度或相机位姿标注、从单目视频学习可泛化神经辐射场的自编码器框架，可同时支持深度估计、位姿估计和单图像新视角合成。
2023-06-04 cs.CV cs.LG cs.RO
Self-localization on a 3D map by fusing global and local features from a monocular camera
Meijo University（名古屋大学）
本研究提出结合CNN与视觉Transformer的方法，提升单目相机在动态障碍物环境下的3D地图自定位精度。
2025-12-18 cs.CV cs.RO
CubeSLAM: Monocular 3D Object SLAM
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出了一种在静态和动态环境下的单图像三维长方体目标检测和多视点目标SLAM方法，并证明了这两部分可以相互促进。首先针对单幅图像的目标检测，从二维包围盒和消失点采样生成高质量的长方体建议。基于与图像边缘的对准，进一步对提议进行评分和选择。其次，提出了多视角光束法平差与新的目标测量，共同优化相机，目标和点的位姿。物体可以提供长距离的几何和尺度约束，以改善相机姿态估计并减少单目漂移。而不是处理动态区域的离群值，我们利用对象表示和运动模型的约束，以提高相机的姿态估计。在SUN RGBD和KITTI上的三维检测实验表明，与现有方法相比，该方法具有更好的准确性和鲁棒性。在公开的TUM、KITTI里程计和我们自己收集的数据集上，我们的SLAM方法实现了最先进的单目相机姿态估计，同时提高了3D目标检测的准确性。
2019-04-05 cs.CV cs.RO
Monocular Direct Sparse Localization in a Prior 3D Surfel Map
RAM-LAB（RAM实验室）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们介绍了一种方法来跟踪单目相机的姿态在先验surfel地图。通过绘制顶点和法线映射，从先前的冲浪地图，在图像帧中的稀疏跟踪点的全局平面信息。跟踪点的全局平面信息和非全局平面信息涉及框架对系统的全局和局部约束。我们的方法制定了所有的限制，在一个本地窗口的帧内的直接光度误差的形式。最后的优化利用这些约束，以提供全局6自由度相机位姿的绝对尺度的准确估计。大量的仿真和真实世界的实验表明，我们的单目方法可以提供准确的摄像机定位结果在各种条件下。
2020-02-23 cs.CV cs.RO
SynDistNet: Self-Supervised Monocular Fisheye Camera Distance Estimation Synergized with Semantic Segmentation for Autonomous Driving
Valeo DAR Kronach（法雷奥DAR克罗纳赫）；Technische Universität Ilmenau（伊尔默瑙工业大学）；Technische Universität Braunschweig（布伦瑞克工业大学）；Valeo Vision Systems（法雷奥视觉系统）
用于单目深度估计的最先进的自监督学习方法通常遭受尺度模糊。当应用于复杂投影模型的距离估计时，例如在鱼眼和全向相机中，它们不能很好地推广。本文介绍了一种新的多任务学习策略，以改善鱼眼和针孔相机图像的自监督单目距离估计。我们对这项工作的贡献是三方面的：首先，我们引入了一种新的距离估计网络架构，使用基于自注意力的编码器，再加上强大的语义特征指导，可以在一个阶段的方式训练的解码器。其次，我们集成了一个广义的鲁棒损失函数，它显着提高了性能，同时消除了需要超参数调整与重投影损失。最后，我们减少了文物所造成的动态对象违反静态世界的假设，使用语义掩蔽策略。我们显着改善后的RMSE的鱼眼由25%的RMSE减少以前的工作。由于鱼眼相机的工作很少，我们评估了所提出的方法KITTI使用针孔模型。我们在自监督方法中实现了最先进的性能，而无需外部尺度估计。
2020-11-14 cs.CV cs.RO
Unsupervised Learning of 3D Scene Flow from Monocular Camera
Shanghai Jiao Tong University（上海交通大学）
场景流表示3D空间中的点的运动，其是表示2D图像中的像素的运动的光流的对应物。然而，在真实场景中很难获得场景流的地面真值，目前的研究都是基于合成数据进行训练。因此，如何基于真实世界的数据，用无监督的方法对场景流网络进行训练就显得尤为重要。提出了一种新的场景流无监督学习方法，该方法利用单目摄像机拍摄的连续两帧图像进行训练，而不需要场景流的真实值。该方法实现了用真实数据训练场景流网络的目的，弥补了训练数据和测试数据之间的差距，拓宽了可用于训练的数据范围。本文场景流的无监督学习主要包括两部分：（i）深度估计和摄像机姿态估计，（ii）基于四种不同损失函数的场景流估计。深度估计和摄像机姿态估计获得两个连续帧之间的深度图和摄像机姿态，这为下一个场景流估计提供了进一步的信息。之后，我们使用深度一致性损失，动静态一致性损失，Chamfer损失和Laplacian正则化损失对场景流网络进行无监督训练。据我们所知，这是第一个文件，实现了无监督学习的三维场景流从单目相机。在KITTI上的实验结果表明，与传统的迭代最近点法（ICP）和快速全局配准法（FGR）相比，本文提出的场景流无监督学习方法具有更好的性能。源代码可在https://github.com/IRMVLab/3DUnMonoFlow上获得。
2022-06-08 cs.CV cs.RO
EVIMO2: An Event Camera Dataset for Motion Segmentation, Optical Flow, Structure from Motion, and Visual Inertial Odometry in Indoor Scenes with Monocular or Stereo Algorithms
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）；University of Maryland, College Park（马里兰大学帕克分校）
介绍了一种新的事件相机数据集EVIMO2，它通过在更复杂的场景中提供来自更好的相机的更多数据来改进流行的EVIMO数据集。与其前身一样，EVIMO2以每像素地面真实深度和分割以及相机和对象姿势的形式提供标签。所有序列都使用来自物理相机的数据，许多序列具有多个独立移动的对象。通常，这样的标记数据在物理事件相机数据集中不可用。因此，EVIMO2将作为现有算法的一个具有挑战性的基准，并为新算法的开发提供丰富的训练集。特别是，EVIMO2是适合于支持运动和对象分割，光流，运动恢复结构和视觉（惯性）里程计在单眼或立体配置的研究。EVIMO 2包含来自三个640 $\times$ 480事件相机、一个2080 $\times$ 1552经典彩色相机的41分钟数据、来自两个六轴惯性测量单元的惯性测量以及来自Vicon运动捕捉系统的毫米精度物体姿态。数据集的173个序列被分为三类。3.75独立移动的家居物品22.55分钟，静态场景22.55分钟，浅层场景中的基本运动14.85分钟。一些序列是在弱光条件下记录的，而传统的相机无法做到。深度和分段对于事件相机以60 Hz提供，对于经典相机以30 Hz提供。可以使用开源代码重新生成掩码，速率高达200 Hz。本技术报告简要介绍了EVIMO2。完整的文件可在网上查阅。单个序列的视频可以在下载页面上进行采样。
2022-05-06 cs.CV cs.RO
Real-time 3D Pose Estimation with a Monocular Camera Using Deep Learning and Object Priors On an Autonomous Racecar
Department of Mechanical and Process Engineering（机械与过程工程系）
我们提出了一个完整的流水线，允许目标检测，并同时估计这些多个对象的情况下，使用一个单一的图像的姿态。介绍了一种新的“关键点回归”方案，该方案利用关于对象的形状和大小的先验信息来回归并找到特定的特征点。此外，关于对象的先验3D信息被用于匹配2D-3D对应关系，并准确地估计高达15米距离的对象位置。详细讨论的结果和管道的深入分析。该管道在低功率Jetson TX 2上高效运行，并作为感知管道的一部分部署在以54 km/hr的最高速度巡航的实时的【形】自动驾驶汽车上。
2018-09-27 cs.CV cs.RO
Estimating Metric Poses of Dynamic Objects Using Monocular Visual-Inertial Fusion
Hong Kong University of Science and Technology（香港科技大学）；Tencent Inc（腾讯公司）
单目3D对象跟踪系统通常仅具有最大比例的姿态估计结果，而没有被跟踪对象的任何先验知识。在本文中，我们提出了一种新的想法来恢复度量尺度的任意动态对象，通过优化世界帧中的对象的轨迹，没有运动假设。通过在时域中引入一个额外的约束，我们的单目视觉惯性跟踪系统可以获得连续的六个自由度（6-DoF）的姿态估计没有尺度模糊。我们的方法既不需要固定的多相机也不需要深度传感器设置来实现尺度可观测性，相反，单目传感套件内的IMU为相机本身和跟踪对象提供尺度信息。我们建立在我们的单目视觉惯性系统（VINS）的顶部，以获得准确的状态估计的单目相机在世界帧的建议系统。整个系统由二维目标跟踪器、基于目标区域的视觉光束法平差（BA）、VINS和基于相关分析的尺度估计器组成。与地面实况的实验比较证明了我们的3D跟踪性能的跟踪精度，而移动增强现实（AR）演示显示了潜在应用的可行性。
2018-08-21 cs.CV cs.RO
Camera Height Doesn't Change: Unsupervised Training for Metric Monocular Road-Scene Depth Estimation
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
本文提出FUMET无监督训练框架，利用道路车辆尺寸聚合尺度信息并约束相机高度一致性，使单目深度网络无需额外监督即可实现度量级深度估计，在KITTI和Cityscapes上达到最先进精度。
2024-10-01 cs.CV cs.RO
The Earth ain't Flat: Monocular Reconstruction of Vehicles on Steep and Graded Roads from a Moving Camera
Robotics Research Center, KCIS, IIIT Hyderabad（印度海得拉巴国际信息技术研究所 KCIS 机器人研究中心）；Montreal Institute of Learning Algorithms (MILA), Universite de Montreal（蒙特利尔大学蒙特利尔学习算法研究所）
对其他交通参与者的准确定位是自动驾驶系统中的一项重要任务。最先进的系统采用RGB相机和LiDAR等传感模式的组合来定位交通参与者，但大多数此类演示仅限于平坦的道路。我们证明，据我们所知，单目物体定位和形状估计的表面上，不共享同一平面与移动单目相机的第一个结果。我们近似路面的局部平面补丁，并使用语义线索从车辆在场景中初始化一个本地的战斗调整一样的过程，同时估计的姿态和形状的车辆，以及当地的地面上的车辆的立场以及方向。我们在KITTI和SYNTHIA-SF基准测试中针对各种道路平面配置评估了所提出的方法。所提出的方法显着提高了国家的最先进的任意形状的道路上的单目物体定位。
2018-03-06 cs.CV cs.LG cs.RO
Monocular Vision based Crowdsourced 3D Traffic Sign Positioning with Unknown Camera Intrinsics and Distortion Coefficients
Advanced Research Lab, NavInfo Europe（NavInfo欧洲先进研究实验室）
自动驾驶车辆和驾驶员辅助系统利用3D语义地标的地图来改进决策。然而，扩展映射过程以及定期更新这些地图需要巨大的成本。众包地图这些地标，如交通标志的位置提供了一个有吸引力的替代方案。众包地图绘制的最新方法使用地面实况相机参数，这些参数可能并不总是已知的，或者可能随时间而变化。在这项工作中，我们展示了一种方法来计算3D交通标志的位置，而不知道相机的焦距，主点，和失真系数先验。我们验证了我们提出的方法在KITTI的交通标志的公共数据集。仅使用单目彩色摄像机和GPS，我们实现了平均单行程的相对和绝对定位精度分别为0.26米和1.38米。
2020-07-09 cs.CV cs.LG cs.RO
Monocular Camera Based Fruit Counting and Mapping with Semantic Data Association
GRASP Lab, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）；School of Earth and Space Exploration, Arizona State University（亚利桑那州立大学地球与空间探索学院）；Australian Centre for Field Robotics, The University of Sydney（悉尼大学澳大利亚野外机器人中心）
我们提出了一个便宜，轻便，快速的水果计数管道，使用一个单目摄像头。我们的流水线仅依赖于单目相机，实现了与最先进的水果计数系统相当的计数性能，该系统利用昂贵的传感器套件，包括芒果数据集上的LiDAR和GPS/INS。我们的单目摄像机管道从使用深度神经网络的水果检测组件开始。然后，它使用语义运动恢复结构（SFM），通过估计水果在3D中的地标位置，并使用这些地标来识别重复计数的情况下，将这些检测转换为水果计数。开发一个低成本和轻量级的水果计数系统有很多好处，包括适用于发展中国家的农业，在那里，货币限制或非结构化的环境需要更便宜的硬件解决方案。
2019-03-18 cs.RO
Estimation of Absolute Scale in Monocular SLAM Using Synthetic Data
IBM Research - Zurich（IBM苏黎世研究院）
针对单目SLAM中的尺度估计问题，通过估计连续图像帧的摄像机中心之间的绝对距离来实现。这些估计将提高经典（非深度）SLAM系统的整体性能，并允许从单个单目相机恢复度量特征位置。我们提出了几种网络架构，导致规模估计精度的提高，在国家的art.Also，我们利用一种可能性，训练神经网络只与来自计算机图形模拟器的合成数据。我们的关键见解是，仅使用合成训练输入，我们可以实现与从真实数据中获得的相似的规模估计精度。这一事实表明，完全注释的模拟数据是现有基于深度学习的SLAM系统的可行替代方案，该系统在真实（未标记）数据上进行训练。我们的无监督领域自适应的实验也表明，模拟和真实数据之间的视觉外观的差异不影响尺度估计结果。我们的方法使用低分辨率图像（0.03MP），这使得它适用于使用单目相机的实时SLAM应用。
2019-09-02 cs.CV cs.RO
C2Dex: Contact-Consistent Reconstruction and Retargeting for Dexterous Manipulation from Monocular Video
Nanjing University（南京大学）；China Mobile Research Institute（中国移动研究院）
C2Dex是基于单目视频的灵巧操作框架，通过聚合物体侧稳定接触实现HOI重建与手物几何保留，在DexYCB、TACO上的轨迹成功率显著优于基线，且真实机器人复现可行。
2026-09-09 cs.CV cs.RO
MonoCInIS: Camera Independent Monocular 3D Object Detection using Instance Segmentation
TRACE vzw（TRACE非营利组织）；KU Leuven（鲁汶大学）；ETHZ（苏黎世联邦理工学院）；Toyota Motor Europe（丰田汽车欧洲公司）
单目3D目标检测最近已经显示出有希望的结果，然而仍然存在挑战性的问题。其中之一是缺乏对不同相机内部参数的不变性，这可以在不同的3D对象数据集上观察到。几乎没有努力利用异构3D对象数据集的组合。与一般的直觉相反，我们表明，更多的数据并不能自动保证更好的性能，而是，方法需要有一定程度的“相机独立性”，以受益于大型和异构的训练数据。本文提出了一种基于实例分割的类别级姿态估计方法，该方法利用摄像机无关的几何推理来处理不同数据集的摄像机视点和本征值的变化。实例的每个像素预测对象尺寸、在2D图像空间中投影的3D对象参考点以及可选的局部视角。摄像机固有函数仅在学习的网络外部使用，以将预测的2D参考点提升到3D。我们超越相机独立的方法在具有挑战性的KITTI3D基准，并显示与相机相关的方法相比的关键优势。
2021-10-01 cs.AI cs.CV cs.RO
End-to-end Learning for Inter-Vehicle Distance and Relative Velocity Estimation in ADAS with a Monocular Camera
Nanjing University of Science and Technology（南京理工大学）；Australian National University（澳大利亚国立大学）；Motovis Australia Pty Ltd（澳大利亚Motovis私人有限公司）
车辆间距离和相对速度估计是任何ADAS（高级驾驶员辅助系统）的两个基本功能。在本文中，我们提出了一种基于单目摄像头的车辆间距离和相对速度估计方法的基础上，端到端的深度神经网络的训练。该方法的主要创新点在于融合了任意两个时间连续的单目帧所提供的多种视觉线索，包括深度特征线索、场景几何线索以及时间光流线索。我们还提出了一种以车辆为中心的采样机制，以减轻运动场（即光流）中的透视失真的影响。我们实现了一个轻量级的深度神经网络的方法。进行了大量的实验，证实了我们的方法优于其他国家的最先进的方法，在估计精度，计算速度和内存占用方面的优越性能。
2020-06-09 cs.CV cs.LG cs.RO
Blending of Learning-based Tracking and Object Detection for Monocular Camera-based Target Following
National Institute of Technology, Rourkela（鲁尔克拉国立技术学院）；University of Alberta（阿尔伯塔大学）
深度学习最近开始应用于视频流中通用对象的视觉跟踪。对于机器人应用的目的，这是非常重要的目标跟踪器恢复其轨道，如果它是由于严重或长期的闭塞或运动模糊的目标丢失。我们提出了一个实时的方法，融合了通用的目标跟踪器和目标检测模块与目标重新识别模块。我们的工作重点是提高性能的卷积递归神经网络为基础的对象跟踪器的情况下，感兴趣的对象属于类别的\emph{familiar}对象。我们提出的方法足够轻巧，可以以85-90 FPS的速度跟踪对象，同时在具有挑战性的基准测试中获得有竞争力的结果。
2020-08-21 cs.CV cs.RO
3D Mapping Using a Lightweight and Low-Power Monocular Camera Embedded inside a Gripper of Limbed Climbing Robots
Department of Aerospace Engineering, Graduate School of Engineering, Tohoku University（工程研究生院航空航天工程系，东大）
针对肢体攀爬机器人空间探索中RGB-D相机体积大、功耗高的问题，本文提出融合单目视觉约束与肢体正向运动学的SLAM方法，通过因子图优化联合估计夹爪位姿和全局公制尺度，实现实时三维地形建图与自主抓取。
2025-11-08 cs.RO
Indirect Object-to-Robot Pose Estimation from an External Monocular RGB Camera
NVIDIA（英伟达）
我们提出了一个机器人抓取系统，使用一个单一的外部单目RGB相机作为输入。通过组合两个神经网络的输出来间接计算物体到机器人的姿态：一个估计物体到相机的姿态，另一个估计机器人到相机的姿态。这两个网络都完全基于合成数据进行训练，依靠域随机化来弥合模拟与真实之间的差距。由于后者网络执行在线摄像机校准，因此摄像机可以在执行过程中自由移动，而不会影响抓取质量。实验结果分析了摄像机的位置，图像分辨率和姿势细化的情况下，抓住几个家庭对象的效果。我们还提出了一套新的28纹理的家用玩具杂货店的对象，已被选定为其他研究人员访问的结果。为了帮助研究的可重复性，我们提供了3D扫描纹理模型，以及用于姿态估计的预训练权重。
2020-08-26 cs.RO
Driving among Flatmobiles: Bird-Eye-View occupancy grids from a monocular camera for holistic trajectory planning
Renault S.A.S（雷诺股份有限公司）；Sorbonne universités, Université de technologie de Compiègne, CNRS, Heudiasyc（索邦大学，贡比涅技术大学，法国国家科学研究中心，Heudiasyc实验室）；Monash University（莫纳什大学）
基于摄像头的端到端驾驶神经网络带来了将摄像头图像映射到驾驶控制命令的低成本系统的希望。这些网络之所以吸引人，是因为它们取代了费力的手工构建模块，但它们的黑匣子性质使它们在失败的情况下难以深入研究。最近的工作已经表明了使用显式中间表示的重要性，它具有增加网络决策的可解释性和准确性的好处。尽管如此，这些基于相机的网络在相机视图中推理，其中尺度不是均匀的，因此不直接适合于运动预测。在本文中，我们介绍了一种新的单目摄像机的整体端到端的轨迹规划网络与鸟瞰图（BEV）的中间表示，在二进制占领网格地图（OGM）的形式。为了简化从摄像机图像预测BEV中的OGM，我们引入了一种新的方案，其中首先将OGM预测为摄像机视图中的语义掩模，然后使用两个平面之间的单应性在BEV中变形。允许这种变换应用于3D对象（如车辆）的关键要素在于仅预测它们在相机视图中的足迹，因此尊重单应性所暗示的平坦世界假设。
2020-08-10 cs.AI cs.CV cs.RO
Obstacle Avoidance Using a Monocular Camera
Stanford University（斯坦福大学）
基于简单数码相机的防撞系统将有助于将小型无人机安全地集成到拥挤的低空环境中。在这项工作中，我们提出了一个小型无人机避障系统，使用单目摄像机与混合神经网络和路径规划控制器。该系统由一个视觉网络，用于估计深度从相机图像，一个高级控制网络，碰撞预测网络，和应急策略。该系统是在一个模拟的无人机上进行评估，在一个受约束的飞行模式中航行的障碍课程。结果表明，该系统实现了低碰撞率，同时保持操作相关的飞行速度。
2021-01-25 cs.AI cs.RO
Tightly-Coupled, Speed-aided Monocular Visual-Inertial Localization in Topological Map
提出一种基于拓扑地图的紧耦合速度辅助单目视觉惯性定位算法，利用IESKF融合图像对应与车速，在隧道等场景中优于现有方法。
2024-11-08 cs.CV cs.RO
Self-Supervised Depth and Ego-Motion Estimation for Monocular Thermal Video Using Multi-Spectral Consistency Loss
KAIST（韩国科学技术院）
热像仪可以在恶劣的光线条件下（如夜景，隧道和灾难场景）稳健地捕获热辐射图像。然而，尽管有这个优点，但到目前为止，热成像相机的深度和自我运动估计研究都没有得到积极的探索。在本文中，我们提出了一个自监督学习方法的深度和自我运动估计从热图像。所提出的方法利用多光谱的一致性，包括温度和光度一致性损失。温度一致性损失提供了一个基本的自我监督信号，通过重建裁剪和彩色热图像。此外，我们设计了一个可微的前向变形模块，可以将估计的深度图和相对姿态的坐标系从热成像相机转换到可见光相机。基于所提出的模型，光度一致性损失可以提供补充的自我监督网络。用所提出的方法训练的网络在低光甚至零光条件下从单目热视频鲁棒地估计深度和姿态。据我们所知，这是第一个工作，同时估计深度和自我运动从单目热视频在一个自我监督的方式。
2022-07-07 cs.CV cs.RO
Multi-object Monocular SLAM for Dynamic Environments
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；TCS Innovation Labs（塔塔咨询服务公司创新实验室）；Mila（米拉研究所）；Universite de Montreal（蒙特利尔大学）
在本文中，我们解决了从单目相机的多体SLAM的问题。术语多体，意味着我们跟踪相机的运动，以及场景中其他动态参与者的运动。动态场景中最典型的挑战是不可观测性：不可能从移动的单目相机中明确地三角测量移动物体。现有方法解决了问题的受限变体，但是解决方案遭受相对尺度模糊性（即，对于场景中的每一对运动存在一族无限多的解）。我们通过利用单视图计量、深度学习的进步和类别级形状估计来解决这个相当棘手的问题。我们提出了一个多姿态图优化配方，以解决相对和绝对的比例因子模糊。这种优化有助于我们减少真实世界数据集（如KITTI）上多个物体轨迹的平均误差。据我们所知，我们的方法是第一个实用的单目多体SLAM系统进行动态多目标和自我定位在一个统一的框架在度量尺度。
2020-05-11 cs.CV cs.RO
PLG-IN: Pluggable Geometric Consistency Loss with Wasserstein Distance in Monocular Depth Estimation
TOYOTA Central R&D Labs., INC.（丰田中央研发实验室）
我们提出了一个新的目标惩罚几何不一致，以提高单目相机图像的深度和姿态估计性能。我们的目标是使用两个点云之间的Wasserstein距离，估计从图像与不同的相机姿势。Wasserstein距离可以在两个点云之间施加软且对称的耦合，这适当地保持几何约束并导致可微目标。通过将我们的目标添加到其他最先进的方法中，我们可以有效地惩罚几何不一致性，并获得高度准确的深度和姿态估计。我们提出的方法使用KITTI数据集进行评估。
2020-08-06 cs.CV cs.RO
MonoVisual3DFilter: 3D tomatoes' localisation with monocular cameras using histogram filters
Faculty of Engineering, University of Porto（波尔图大学工程学院）；INESC TEC – Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência（INESC TEC – 系统与计算机工程、技术与科学研究所）；Khalifa University of Science, Technology, and Research（哈利法科技研究大学）
针对农业场景中RGB-D相机露天应用受限的问题，提出基于直方图滤波器的MonoVisual3DFilter单目3D番茄定位算法，仿真与实验室测试均取得较低定位误差，具备真实环境应用潜力。
2024-10-03 cs.CV cs.RO
Monocular Urban Localization using Street View
MINES ParisTech（巴黎高等矿业学院）；PSL（巴黎文理研究大学）；Institut VEDECOM（VEDECOM研究所）
本文提出了一种度量全球定位在城市环境中，只有一个单目摄像机和谷歌街景数据库。我们充分利用丰富的来源，从街景，并从其拓扑度量结构的好处，建立一个由粗到精的定位，即一个拓扑位置识别过程，然后通过局部束平差的度量姿态估计。我们的方法在3公里的城市环境中进行了测试，并证明了亚米精度和鲁棒性的观点变化，照明和遮挡。据我们所知，这是第一个简单地用单个摄像机和街景来研究全球城市定位的工作。
2016-06-16 cs.CV cs.RO
Online Initialization and Extrinsic Spatial-Temporal Calibration for Monocular Visual-Inertial Odometry
Peking University（北京大学）
提出了一种基于优化的单目视觉-惯性里程计（VIO）在线初始化方法。该方法可以在线标定相机和IMU之间的相对变换（空间）和时间偏移（时间），并在初始化阶段估计度量尺度、速度、重力、陀螺仪偏差和加速度计偏差的初始值。为了补偿时间偏移的影响，我们的方法包括两个短期运动插值算法的相机和IMU姿态估计。此外，它包括一个三步过程，逐步估计参数从粗到细。首先，通过最小化相机和IMU之间的旋转差来估计外部旋转、陀螺仪偏差和时间偏移。其次，度量尺度，重力和外部平移近似估计通过使用补偿的相机姿势和忽略加速度计的偏差。第三，这些值通过考虑加速度计偏差和重力大小来细化。为了进一步优化系统状态，引入了一种考虑时间偏移的非线性优化算法，用于全局和局部优化。在公开数据集上的实验结果表明，该方法可以准确地估计出传感器的初始值、外参数以及传感器位姿。
2020-04-12 cs.CV cs.RO
Depth3DLane: Fusing Monocular 3D Lane Detection with Self-Supervised Monocular Depth Estimation
Eindhoven University of Technology（埃因霍温理工大学）；TNO（荷兰国防研究院）
Depth3DLane提出双通路框架，融合自监督单目深度估计与语义特征，无需深度真值和相机标定即可实现准确的单目3D车道检测，并在OpenLane上取得有竞争力的性能。
2025-07-18 cs.CV cs.RO
Detecting and avoiding frontal obstacles from monocular camera for micro unmanned aerial vehicles
Heriot Watt University（赫瑞瓦特大学）
在文献中，有几种方法试图使无人机自主飞行，即，通过提取诸如直线的透视线索。然而，它只适用于定义良好的人造环境，除了许多其他线索，需要足够的纹理信息。我们的主要目标是检测和避免正面障碍物从单目摄像机使用四旋翼Ar.无人机2通过利用光流作为运动视差，无人机被允许以1 m/s的速度飞行，高度范围从地面以上1至4米。由于光流具有一定的局限性，即受光照条件和孔径的影响，因此探测和避开前方障碍物是一个非常具有挑战性的问题。
2016-04-03 cs.RO
Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
The Hatter Department of Marine Technologies, University of Haifa, 3498838, Israel（海洋技术系，海法大学）；Computer Science, University of Haifa, 3498838, Israel（计算机科学，海法大学）
本文提出一种轻量单目SLAM系统，结合稀疏关键点估计与密集边缘重建，通过扩展卡尔曼滤波解决尺度模糊问题，实现低功耗实时制图与导航。
2025-11-23 cs.RO
PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with Point and Line Features
The University of Hong Kong（香港大学）
本文提出PL-EVIO，一种融合事件角点、事件线与图像点特征的实时单目事件视觉惯性里程计，通过互补约束提升精度与鲁棒性，并在基准、四旋翼闭环飞行和户外实验中验证优势。
2023-09-26 cs.CV cs.RO
Fast, Robust, Continuous Monocular Egomotion Computation
University of Pennsylvania（宾夕法尼亚大学）
我们提出了强大的方法来估计相机egomotion在嘈杂的，真实世界的单目图像序列中的未知观察者旋转和平移的一般情况下，两个视图和一个小的基线。这是一个困难的问题，因为透视相机运动方程的非凸成本函数，并因为从噪声光流估计和场景非刚性引起的非高斯噪声。为了解决这个问题，我们引入了预期残差似然方法（ERL），估计噪声光流数据的置信权重使用的残差的流场的似然分布下的一系列反事实的模型参数。我们表明，ERL是有效的，在许多设置中识别离群值和恢复适当的置信度权重。我们比较ERL的一种新的配方的角度摄像机运动方程使用提升内核，最近提出的联合参数和置信度权重估计具有良好的经验性质的优化框架。我们将这些策略纳入运动估计管道，避免陷入局部最小值。我们发现，ERL优于具有挑战性的KITTI数据集上的提升内核方法和基线单眼自运动估计策略，同时几乎没有增加运行时成本超过基线自运动方法。
2016-02-16 cs.CV cs.RO
A comparative evaluation of learned feature descriptors on hybrid monocular visual SLAM methods
Institute of Computing, State University of Campinas - Unicamp（坎皮纳斯州立大学计算研究所）
经典的视觉同时定位与地图构建（VSLAM）算法在机器人运动或环境过于复杂的情况下容易失效。使用深度神经网络来增强VSLAM算法最近取得了令人鼓舞的结果，我们称之为混合方法。在本文中，我们比较了不同的学习特征描述符的混合单目VSLAM方法的性能。为此，我们提出了一组实验来评估不同的环境下，相机运动，相机传感器噪声的算法的鲁棒性。在KITTI和Euroc MAV数据集上进行的实验证实，学习的特征描述符可以创建更强大的VSLAM系统。
2021-03-31 cs.CV cs.RO
Object-Scene-Camera Decomposition and Recomposition for Data-Efficient Monocular 3D Object Detection
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi'an Jiaotong University（西安交通大学）；Intelligent Transportation Thrust of the Systems Hub（系统枢纽智能交通事业部）；Hong Kong University of Science and Technology (GZ)（香港科技大学（广州））；Amazon Alexa AI（亚马逊Alexa AI）
本文提出了一种在线分解与重组数据处理方案，通过生成多样化的物体-场景-相机组合数据，提升单目3D物体检测模型的性能。
2026-02-24 cs.CV cs.RO
Real-Time Hybrid Mapping of Populated Indoor Scenes using a Low-Cost Monocular UAV
University of Oxford（牛津大学）
近年来，无人机（UAV）已被用于许多应用，从城市搜索和救援到农业测量，再到自主地下矿山勘探。然而，在狭窄的室内空间（特别是靠近人类的空间）部署无人机仍然是一个挑战。当需要有限的有效载荷时，一种解决方案是使用微型无人机，这对人类构成的风险较小，并且在坠毁后更换的成本通常较低。然而，微型无人机只能携带有限的传感器套件，例如单目相机而不是立体对或LiDAR，这使得密集映射和无标记多人3D人体姿态估计等任务变得复杂，这些任务需要在人们周围的紧密环境中操作。单目的方法，这样的任务存在，密集的单目映射方法已经成功地部署无人机应用。然而，尽管最近有许多关于基于标记和无标记的多UAV单人运动捕捉的工作，但无标记单相机多人3D人体姿态估计仍然是一种早期阶段的技术，我们不知道现有的尝试将其部署在空中环境中。在本文中，我们提出了什么是因此，据我们所知，第一个系统，同时进行映射和多人的三维人体姿态估计从单目摄像机安装在一个单一的无人机。特别是，我们展示了如何松散地耦合最先进的单目深度估计和单目3D人体姿态估计方法，以实时的重建填充室内场景的混合地图。我们通过对大规模ScanNet和GTA-IM数据集的广泛实验来验证我们的组件级设计选择。为了评估我们的系统级性能，我们还构建了一个新的牛津混合映射数据集的人口室内场景。
2022-03-04 cs.CV cs.RO
Vehicle Pose and Shape Estimation through Multiple Monocular Vision
Tsinghua University（清华大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
在本文中，我们提出了一个准确的方法来估计车辆的姿态和形状从场外多视图图像。这些图像是由单目相机拍摄的，有很小的重叠。我们利用最先进的卷积神经网络（CNN）来提取车辆的语义关键点，并引入交叉投影优化（CPO）方法来估计3D姿态。在迭代CPO过程中，一个自适应的形状调整方法，称为层次线框约束（HWC）实现的形状估计。我们的方法进行评估，在模拟和真实世界的场景下进行性能验证。实验结果表明，该算法在车辆姿态和形状估计方面优于现有的单目和立体方法。该方法为车外车辆定位和跟踪提供了一种新的鲁棒解决方案，可应用于智能交通的大规模监控摄像机网络。
2018-11-11 cs.CV cs.RO
Direct Monocular Odometry Using Points and Lines
Carnegie Mellon University（卡内基梅隆大学）
大多数用于单目相机的视觉里程计算法通过特征匹配或像素强度的直接对准来关注点，而忽略了常见但重要的几何实体：边缘。在本文中，我们提出了一个里程计算法，结合点和边缘，以受益于直接和基于特征的方法的优点。它在纹理较少的环境中工作得更好，并且通过增加收敛盆对照明变化和快速运动更加鲁棒。我们保持一个深度图的关键帧，然后在跟踪部分，相机的姿态恢复通过最小化的光度误差和几何误差的匹配边缘的概率框架。在匹配部分，利用边缘来提高匹配速度和匹配精度。在各种公共数据集上，我们的算法比最先进的单目测距方法实现了更好或相当的性能。在一些具有挑战性的纹理较少的环境中，我们的算法减少了状态估计误差超过50%。
2017-03-19 cs.CV cs.RO
EnforceNet: Monocular Camera Localization in Large Scale Indoor Sparse LiDAR Point Cloud
Blacksesame Technologies（黑芝麻科技）
姿态估计是机器人应用（诸如自主车辆、UAV和大规模增强现实）的基本构建块。对于那些应用来说，大规模生产也是一个阻碍因素，因为最先进的厘米级姿态估计通常需要长的映射过程和昂贵的定位传感器，例如LiDAR和高精度GPS/IMU等。为了克服成本障碍，我们提出了一种基于神经网络的解决方案，以在具有可比厘米-水平精度。我们通过引入一种新的网络模块来实现它，我们称之为电阻模块，以加强网络更好地泛化，预测更准确，收敛更快。这些结果是基准的几个数据集，我们收集的大型室内停车场场景。我们计划开放数据和代码，让社区加入推动这一领域发展的努力。
2019-07-16 cs.CV cs.RO eess.IV
Topological Mapping and Navigation using a Monocular Camera based on AnyLoc
Graduate School of Science and Engineering, Hosei University（Hosei大学工学研究院）；Future Robotics Technology Center (fuRo), Chiba Institute of Technology（Chiba技术大学未来机器人技术中心）；Faculty of Science and Engineering, Hosei University（Hosei大学工学学院）
基于AnyLoc的单目相机实现高效拓扑映射与导航，通过关键节点简化路径规划，提升导航成功率并降低计算成本。
2026-01-03 cs.RO
Marine vessel tracking using a monocular camera
University of West Florida（西佛罗里达大学）
本文提出了一种仅利用GPS数据进行摄像机标定的新方法。通过利用限界框的位置和大小来估计距离，实现了一种跟踪视频中在平面上移动的对象的新方法，实现了距相机每100 m距离的平均预测误差为5.55 m。该解决方案可以在边缘实时运行，在低功耗物联网环境中实现高效推理，同时还能够跟踪多个不同的船只。
2021-08-23 cs.AI cs.CV cs.LG
CMRNet++: Map and Camera Agnostic Monocular Visual Localization in LiDAR Maps
University of Freiburg（弗莱堡大学）；Università di Milano - Bicocca（米兰比可卡大学）
本地化是自主机器人的关键和关键推动因素。虽然深度学习在许多计算机视觉任务中取得了重大进展，但它仍然没有对改善度量视觉定位能力产生相当大的影响。主要障碍之一是现有的基于卷积神经网络（CNN）的姿势回归方法无法推广到以前看不见的地方。我们最近推出的CMRNet通过在LiDAR地图中实现地图独立的单目定位，有效地解决了这一限制。在本文中，我们现在通过引入CMRNet++更进一步，CMRNet++是一个更加强大的模型，不仅可以有效地推广到新的地方，而且与相机参数无关。我们通过将深度学习与几何技术相结合，并将度量推理移出学习过程来实现这种能力。通过这种方式，网络的权重不会与特定的相机绑定。CMRNet++在三个具有挑战性的自动驾驶数据集上进行了广泛的评估，KITTI、Argoverse和Lyft5的研究表明，CMRNet++的性能远远优于CMRNet和其他基线。更重要的是，我们首次展示了深度学习方法在全新环境中准确定位的能力，无需任何重新训练或微调，并且独立于相机参数。
2020-05-22 cs.CV cs.LG cs.RO
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras
Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人部门）
我们提出了一种新的方法，同时学习的深度，自我运动，对象运动，和相机的本质从单目视频，仅使用相邻视频帧的一致性作为监督信号。与之前的工作类似，我们的方法通过对帧应用可微扭曲并将结果与相邻帧进行比较来学习，但它提供了几项改进：我们直接使用训练期间预测的深度图，以几何和可微的方式解决遮挡问题。我们引入随机层归一化，一种新的强大的正则化，我们占对象运动相对于场景。据我们所知，我们的工作是第一个以无监督的方式从视频中学习相机内部参数，包括镜头失真，从而使我们能够从任意未知来源的视频中提取准确的深度和运动。我们评估了我们在Cityscapes，KITTI和EuRoC数据集上的结果，建立了深度预测和里程计的新技术水平，并定性地证明了可以从YouTube视频集合中学习深度预测。
2019-04-10 cs.CV cs.GR cs.LG
CAROM -- Vehicle Localization and Traffic Scene Reconstruction from Monocular Cameras on Road Infrastructures
Arizona State University（亚利桑那州立大学）；Exponent（Exponent公司）
本文提出CAROM框架，利用道路基础设施单目摄像头实现车辆定位与交通场景重建，并通过包含GPS、路侧视频和无人机视频的基准数据集验证，在50米和120米范围内定位误差分别约为0.8米和1.7米。
2023-05-31 cs.RO
Ground-VIO: Monocular Visual-Inertial Odometry with Online Calibration of Camera-Ground Geometric Parameters
Wuhan University（武汉大学）
针对车辆场景中单目VIO精度低的问题，提出利用地面特征与相机-地面几何在线标定的Ground-VIO方法，显著提升里程计精度，性能媲美甚至优于立体VIO。
2023-06-18 cs.RO
Monocular Camera Mapping with Pose-Guided Optimization: Enhancing Marking-Level HD Map Accuracy
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（港科大深港协同创新研究院）
标记级高清地图（HD地图）对于自动驾驶汽车（AV）具有重要意义，特别是在大规模、外观变化的场景中，AV依赖标记进行定位和车道安全驾驶。在本文中，我们提出了一个姿势指导的优化框架，使用简单的传感器设置（一个或多个单目摄像机）自动构建具有准确标记位置的标记级高清地图。我们优化的标记角的位置，以适应标记分割的结果，同时优化的逆透视映射（IPM）矩阵的相应的相机，以获得准确的转换，从前视图图像的鸟瞰图（BEV）。在定量评估中，所构建的高清地图几乎达到厘米级精度。优化的IPM矩阵的精度与手动校准的精度相似。该方法还可以通过增加可识别标记的类型来推广到在更广泛的意义上构建HD地图。补充材料和视频可在http://liuhongji.site/V2HDM-Mono/上获得。
2023-03-07 cs.RO
GVDepth: Zero-Shot Monocular Depth Estimation for Ground Vehicles based on Probabilistic Cue Fusion
University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb大学电子工程与计算学院）
针对地面车辆单目深度估计泛化难的问题，提出规范表示解耦相机参数，并设计概率融合架构结合尺寸与位置线索，在五个自动驾驶数据集上实现零样本准确度量深度估计。
2025-09-25 cs.AI cs.CV cs.RO
VR-SLAM: A Visual-Range Simultaneous Localization and Mapping System using Monocular Camera and Ultra-wideband Sensors
Nanyang Technological University（南洋理工大学）
在这项工作中，我们提出了一个同时定位与地图构建（SLAM）系统使用单目摄像机和超宽带（UWB）传感器。我们的系统被称为VRSLAM，是一个多阶段的框架，它利用了每个传感器的优势并补偿了它们的弱点。首先，我们引入了一个UWB辅助的7自由度（比例因子，3D位置和3D方向）的全球对齐模块初始化的视觉里程计（VO）系统中定义的UWB锚的世界帧。该模块松散融合的规模VO和测距数据使用二次约束二次规划（QCQP）或非线性最小二乘（NLS）算法的基础上是否有一个良好的初始猜测。其次，我们提供了一个伴随的理论分析，包括推导和解释的费舍尔信息矩阵（FISHER）及其行列式。第三，我们提出了UWB辅助光束法平差（UBA）和UWB辅助姿态图优化（UPGO）模块，以提高短期里程精度，减少长期漂移以及纠正任何对齐和比例误差。大量的仿真和实验表明，我们的解决方案优于UWB/摄像头和以前的方法，可以快速恢复跟踪失败，而不依赖于视觉重新定位，并可以毫不费力地获得一个全球地图，即使没有循环关闭。
2023-03-20 cs.RO
Monocular Camera and Single-Beam Sonar-Based Underwater Collision-Free Navigation with Domain Randomization
University of Electronic Science and Technology of China（电子科技大学）；Dartmouth College（达特茅斯学院）
水下导航提出了几个挑战，包括非结构化的未知环境，缺乏可靠的定位系统（例如，GPS），能见度差。此外，用于水下机器人的高质量障碍物检测传感器稀缺且昂贵;许多传感器（如RGB-D相机和LiDAR）只能在空中工作。尽管存在这些挑战，为了实现可靠的无地图水下导航，我们提出了一种低成本的端到端导航系统，基于单目摄像机和固定的单波束回声测深仪，有效地导航水下机器人的航点，同时避免附近的障碍物。我们所提出的方法是基于近端策略优化（PPO），它需要作为输入当前的相对目标信息，估计的深度图像，回声探测器读数，和以前执行的动作，并输出3D机器人动作在一个规范化的规模。端到端的训练是在模拟中完成的，我们采用域随机化（改变水下条件和能见度）来学习一个鲁棒的策略来对抗噪声和能见度条件的变化。仿真和现实世界的实验表明，我们提出的方法对于在未知水下环境中导航低成本水下机器人是成功的且有弹性的。该实现在https://github.com/dartmouthrobotics/deeprl-uw-robot-navigation上公开提供。
2022-12-08 cs.RO
