Vision-Based Mobile Robotics Obstacle Avoidance With Deep Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）
避障问题是移动机器人自主导航的一个基本而又具有挑战性的问题。在本文中，我们考虑在简单的3D环境中，机器人必须完全依赖于一个单目摄像机的避障问题。特别是，我们有兴趣解决这个问题，而不依赖于本地化，映射，或规划技术。现有的研究大多将避障问题视为两个独立的问题，即障碍物检测和控制。受Atari游戏中深度强化学习和理解Go中高度复杂情况的最新优势的启发，我们将避障问题作为数据驱动的端到端深度学习方法来解决。我们的方法将原始图像作为输入，并生成控制命令作为输出。我们表明，离散的行动空间优于连续控制命令在迷宫般的环境中的预期平均奖励。此外，我们展示了如何通过生成对抗网络结合预测深度图来加速学习并提高策略的鲁棒性。
2021-03-08 cs.CV cs.LG cs.RO
Wheeled Robots Path Planing and Tracking System Based on Monocular Visual SLAM
Tongji Universty（同济大学）
仓库物流机器人将在不同的仓库环境中工作。为了使机器人能够在不修改现有仓库的情况下更快地感知环境和规划路径，我们使用单目摄像机来实现高效的机器人集成系统。地图绘制和路径规划是本文提出的两个主要任务.采用直接法视觉里程计进行定位，计算出环境中主要障碍物的三维位置。我们用已占用的栅格地图描述地形，将三维点投影到机器人运动平面上，从而确定每个栅格的可达性。基于地形信息，采用优化的A* 算法进行路径规划。最后，根据机器人的定位和规划，控制机器人进行路径跟踪，并研制了一台路径跟踪机器人样机。仿真和实验结果验证了该方法的有效性和可靠性。
2018-07-17 cs.RO eess.IV
SLAM in the Field: An Evaluation of Monocular Mapping and Localization on Challenging Dynamic Agricultural Environment
DFKI - German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文展示了一个系统，能够结合稀疏，间接，单目视觉SLAM，离线和实时多视图立体视觉（MVS）重建算法。这种组合克服了在农业环境中使用的自动驾驶车辆或机器人遇到的许多障碍，例如过度重复的模式，需要非常详细的重建以及由不平坦的道路引起的突然移动。此外，单目SLAM的使用使得我们的系统更容易与现有设备集成，因为我们不依赖于LiDAR（其昂贵且耗电）或立体相机（其校准对外部扰动敏感，例如相机被移位）。据我们所知，本文提出了单目SLAM的第一个评估结果，我们的工作进一步探索了无监督深度估计在这个特定的应用场景，通过模拟RGB-D SLAM解决规模模糊，并显示我们的方法产生重建，有助于各种农业任务。此外，我们强调，我们的实验提供了有意义的见解，以改善农业环境下的单眼SLAM系统。
2020-11-06 cs.CV cs.RO
From Monocular SLAM to Autonomous Drone Exploration
Technische Universität München（慕尼黑工业大学）；Oculus Research（奥库鲁斯研究院）；RWTH Aachen University（亚琛工业大学）
微型飞行器（MAV）在其有效载荷和动力能力方面受到很大限制。为了实现自主导航，因此需要使用尽可能小、低重量和低功耗的传感设备的算法。在本文中，我们提出了一种方法，自主MAV导航和探索使用低成本的消费级四轴飞行器配备了单目摄像头。我们的基于视觉的导航系统建立在LSD-SLAM的基础上，LSD-SLAM可以实时估计MAV的轨迹和半密集的环境重建。由于LSD-SLAM仅确定高梯度像素处的深度，因此不直接观察到无纹理区域，使得不能直接应用假定密集地图信息的先前探索方法。我们提出了一个障碍物映射和探索的方法，考虑到我们的半密集单目SLAM系统的属性。在实验中，我们展示了我们的基于视觉的自主导航和探索系统与鹦鹉Bebop MAV。
2018-03-12 cs.CV cs.RO
Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
The Hatter Department of Marine Technologies, University of Haifa, 3498838, Israel（海洋技术系，海法大学）；Computer Science, University of Haifa, 3498838, Israel（计算机科学，海法大学）
本文提出一种轻量单目SLAM系统，结合稀疏关键点估计与密集边缘重建，通过扩展卡尔曼滤波解决尺度模糊问题，实现低功耗实时制图与导航。
2025-11-23 cs.RO
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
在这项工作中，我们考虑的问题，学习的感知模型，单目机器人导航，使用很少的注释图像。使用视觉Transformer（ViT）预训练的无标签的自我监督的方法，我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割，并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT，并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率，甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理，我们部署在差分驱动移动机器人执行两项任务：车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
Robust Monocular Flight in Cluttered Outdoor Environments
Carnegie Mellon University（卡内基梅隆大学）
最近，在生物启发的轻型微型飞行器（MAV）的开发方面取得了许多进展。虽然自主导航对于大型无人机来说是相当直接的，因为可以使用昂贵的传感器和监控设备，但是对于在混乱的非结构化环境中在低空运行的MAV来说，用于避障的鲁棒方法仍然是一项具有挑战性的任务。由于有效载荷和功率的限制，这种系统必须具有自主导航和飞行能力，主要使用被动传感器，如相机。在本文中，我们描述了一个强大的系统，使自主导航的小型敏捷四旋翼在低空通过自然森林环境。我们提出了一种直接的深度估计方法，该方法能够实时的产生精确的、半密集的深度图。此外，一种新的抗风控制方案，使稳定的路点跟踪，即使在强风的存在。我们证明了我们的系统的性能，通过大量的实验，在一个杂乱的户外环境中的真实图像和现场测试。
2016-04-16 cs.RO
Optical-Flow based Self-Supervised Learning of Obstacle Appearance applied to MAV Landing
Delft University of Technology（代尔夫特理工大学）；Universiti Sains Malaysia（马来西亚理科大学）
单目光流被广泛应用于微型飞行器视觉导航中的障碍物检测。然而，这种方法需要大量的移动，这降低了导航效率，甚至可能在狭窄的空间中引入风险。在本文中，我们介绍了一种新的设置自监督学习（SSL），其中光流线索作为一个支架，学习的视觉外观的障碍物在环境中。我们将其应用到着陆任务，其中最初的“表面粗糙度”估计从光流场，以检测障碍物。随后，学习线性回归函数，其将由纹理基元分布表示的外观特征映射到粗糙度估计。在学习之后，MAV可以通过分析静止图像来检测障碍物。这使得MAV可以在不移动的情况下搜索着陆点。我们首先演示了这一原理与离线测试，涉及从机载相机捕获的图像，然后在飞行中演示的原则。虽然表面粗糙度是全局图像中整个流场的属性，但外观学习甚至允许障碍物的像素级分割。
2017-08-17 cs.RO
Uncertainty Estimation of Dense Optical-Flow for Robust Visual Navigation
Australian National University（澳大利亚国立大学）；University of Technology Sydney（悉尼科技大学）
提出了一种新的稠密光流算法来解决地面或空中机器人的单目同时定位与地图构建（SLAM）问题。密集的光流可以有效地提供车辆的自我运动，同时能够避免与潜在障碍物的碰撞。现有的工作没有充分利用光流的不确定性--至多是各向同性高斯密度模型。我们估计了光流的完全不确定度，并提出了一种新的八点算法的基础上的统计马氏距离。结合姿态图优化，所提出的方法证明了增强的鲁棒性和准确性的公共自动驾驶汽车数据集（KITTI）和航空单目数据集。
2021-09-30 cs.RO
EpiTransfer: Sparse, Training-Free Long-Range Depth Estimation from Temporal Monocular Aerial Frames
Virginia Tech（弗吉尼亚理工大学）
本文提出一种免训练的极线转移深度估计方法，利用两幅单目图像和位姿合成虚拟立体对，在室内外场景中达到与直接三角化相当的精度，并显著优于未微调的学习式基线。
2026-09-29 cs.CV cs.RO
GeoGS-SLAM: Geometry-Only Gaussian Splatting for Dense Monocular SLAM
School of Instrument Science and Opto-electronics Engineering, Beihang University（仪器科学与光电工程学院，北京航空航天大学）
研究针对密集视觉 SLAM 问题，提出仅几何高斯点云法（GeoGS）及基于此的 GeoGS-SLAM 系统。该方法仅保留空间参数减少基元参数，专注几何重建，通过有效训练框架和地图更新策略，提升在线映射效率与几何重建质量。
2026-07-09 cs.RO
A Map-free Deep Learning-based Framework for Gate-to-Gate Monocular Visual Navigation aboard Miniaturized Aerial Vehicles
Dalle Molle Institute for Artificial Intelligence (IDSIA)（达勒·莫勒人工智能研究所）；USI-SUPSI（瑞士意大利语区大学与瑞士应用科学大学联盟）；Integrated Systems Laboratory (IIS)（集成系统实验室）；ETHZ（苏黎世联邦理工学院）
本文提出一种无地图单目视觉纳米无人机方案，结合轻量深度学习门检测与视觉伺服控制，以极低算力实现30 Hz闭环飞行，并在实地测试中成功高速穿越多个门。
2025-03-07 cs.AI cs.RO
Bootstrap Perception Under Hardware Depth Failure for Indoor Robot Navigation
New York University（纽约大学）；City College of New York（纽约市立学院）
本文提出一种在硬件深度故障情况下用于室内机器人导航的 bootstrap 感知系统，通过自参照性质校准单目深度，提升障碍物感知覆盖率。
2026-03-30 cs.RO
Bayesian Scale Estimation for Monocular SLAM Based on Generic Object Detection for Correcting Scale Drift
Centro de Investigación en Matemáticas（数学研究中心）
这项工作提出了一种新的在线算法，用于估计局部尺度校正，以应用于单目SLAM系统的输出，并获得尽可能忠实的3D地图和相机轨迹的度量重建。在贝叶斯框架内，它整合了基于深度学习的通用对象检测器的观察结果和尺度漂移演变的先验知识。对于每个观测类，使用类对象高度的预定义先验。这允许定义观察的可能性。由于单目SLAM系统固有的尺度漂移，我们集成了一个粗略的模型尺度漂移的动态。定量评估系统的KITTI数据集，并与不同的方法进行比较。结果表明，我们的建议在相对平移误差方面的优越性能相比，其他单目系统。
2017-11-07 cs.RO
Learning Monocular Reactive UAV Control in Cluttered Natural Environments
Institute for Computer Graphics and Vision（计算机视觉研究所）；Graz University of Technology（格拉茨技术大学）
本文使用单目相机和模仿学习训练控制器，使小型四旋翼飞行器能在自然森林环境中以1.5m/s速度自主避障导航。
2012-11-07 cs.CV cs.LG cs.RO
Robust Monocular Localization of Drones by Adapting Domain Maps to Depth Prediction Inaccuracies
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
通过联合训练基于深度学习的深度预测和基于贝叶斯滤波的姿态推理，我们提出了一种新的单目定位框架。所提出的跨模态框架在模型可扩展性和对环境变化的容忍度方面显著优于仅深度学习的预测。具体来说，即使使用轻量级深度预测器进行极差的深度估计，我们也几乎没有显示姿态准确性的下降。与标准深度学习相比，即使没有明确的领域自适应，我们的框架也能在极端光照变化中保持高姿态准确度。通过公开表示地图和中间特征地图（如深度估计），我们的框架还允许更快的更新和重用中间预测用于其他任务，如避障，从而提高资源效率。
2022-10-27 cs.AI cs.CV cs.LG
Initialization of Monocular Visual Navigation for Autonomous Agents Using Modified Structure from Small Motion
School of Aerospace Engineering, Georgia Institute of Technology（佐治亚理工学院航空航天工程学院）
本文提出一种基于因子图优化并扩展小运动结构方法的单目vSLAM初始化流程，用于解决空间机器人检查轨迹中的弱透视、平面退化和动态光照问题，并在模拟卫星检查序列上验证了其优于现有方法。
2024-10-07 cs.CV cs.RO
MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
Horizon Robotics
MonoDream通过轻量级VLA框架和潜在全景梦境任务，提升单目视觉-语言导航的性能，缩小与全景方法的差距。
2025-11-27 cs.CV cs.RO
Loosely-Coupled Semi-Direct Monocular SLAM
我们提出了一种新的半直接的单目同时定位与地图构建（SLAM）的方法，结合了直接和基于特征的方法的互补优势。所提出的流水线松散地耦合直接里程计和基于特征的SLAM以执行三个级别的并行优化：（1）光度束调整（BA），其联合优化局部结构和运动，（2）几何BA，其细化关键帧姿势和相关联的特征图点，以及（3）姿势图优化，以在存在环路闭合的情况下实现全局地图一致性。这通过将基于特征的操作限制于来自直接测距模块的边缘化关键帧来实时实现。对两个基准数据集的详尽评估表明，我们的系统在整体准确性和鲁棒性方面优于最先进的单目测距和SLAM系统。
2019-01-06 cs.CV cs.RO
LiDAR-Guided Monocular 3D Object Detection for Long-Range Railway Monitoring
SETLabs Research GmbH（SETLabs研究公司）；Technical University of Munich（慕尼黑技术大学）；Institute of Visual Computing（视觉计算研究所）
针对铁路长距离感知需求，提出一种仅用单目图像并结合LiDAR训练数据的深度学习3D检测方法，在OSDaR23数据集上验证了250米内目标检测的有效性。
2025-04-25 cs.CV cs.LG
Self-Supervised Monocular Scene Flow Estimation
TU Darmstadt（达姆施塔特工业大学）
场景流估计在三维环境感知中受到越来越多的关注。单目场景流估计-从两个时间上连续的图像中获得3D结构和3D运动-是一个高度不适定的问题，迄今为止缺乏实用的解决方案。我们提出了一种新的单目场景流方法，产生竞争力的准确性和实时性能。通过采取逆问题的观点，我们设计了一个单一的卷积神经网络（CNN），成功地估计深度和3D运动，同时从经典的光流成本量。我们采用具有3D损失函数和遮挡推理的自监督学习来利用未标记的数据。我们验证我们的设计选择，包括代理损失和增强设置。我们的模型实现了国家的最先进的无监督/自监督学习方法的单目场景流的准确性，并产生竞争力的结果的光流和单目深度估计子任务。半监督微调监督微调进一步提高了准确性，并实时产生有希望的结果。
2020-04-15 cs.CV cs.LG cs.RO
Multi-Stage CNN-Based Monocular 3D Vehicle Localization and Orientation Estimation
University of Detroit Mercy（底特律慈悲大学）
本文的目的是设计一个三维目标检测模型，从单目摄像机拍摄的二维图像相结合的估计鸟瞰图和对象的特征的深层表示。该模型有一个预训练的ResNet-50网络作为其后端网络，还有三个分支。该模型首先建立一个鸟瞰视图高程图，以估计场景中对象的深度，并通过使用该深度估计对象的3D边界框。我们已经在两个主要的数据集上训练和评估了它：语法数据集和KIITI数据集。
2020-11-24 cs.CV cs.LG cs.RO
Monocular Depth Estimation with Self-supervised Instance Adaptation
University of Oxford（牛津大学）
自监督学习的最新进展表明，可以从原始视频数据中学习精确的单目深度重建，而无需使用任何3D地面实况进行监督。然而，在机器人应用中，场景的多个视图可能可用或不可用，这取决于机器人的动作，在单目和多视图重建之间切换。为了解决这种混合设置，我们提出了一种新的方法，扩展了任何现成的自我监督单目深度重建系统，在测试时使用多个图像。我们的方法建立在一个标准的先验学习来执行单目重建，但在测试时使用自我监督，以进一步提高重建精度时，多个图像是可用的。当用于更新模型的正确组件，这种方法是非常有效的。在标准KITTI基准上，我们的自监督方法始终优于所有以前的方法，对于三种常见设置（单眼，立体和单眼+立体），绝对误差平均减少25%，并且与完全监督的最先进方法相比，准确性非常接近。
2020-04-13 cs.CV cs.LG
Unsupervised Monocular Depth Learning in Dynamic Scenes
Google Research（谷歌研究院）；Robotics at Google（谷歌机器人）；Waymo LLC（Waymo有限责任公司）
我们提出了一种方法，用于联合训练的深度，自我运动，和密集的3D翻译领域的对象相对于场景的估计，与单目光度一致性的唯一来源的监督。我们表明，这显然是严重欠定的问题，可以通过施加以下先验知识的3D翻译领域：他们是稀疏的，因为大部分的场景是静态的，他们往往是恒定的刚性移动对象。我们表明，这种正则化本身就足以训练单眼深度预测模型，超过了在以前的工作中实现的动态场景的准确性，包括需要语义输入的方法。代码位于https://github.com/google-research/google-research/tree/master/depth_and_motion_learning。
2020-11-07 cs.CV cs.GR cs.LG
Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth
Clemson University（克莱姆森大学）；City University of New York（纽约市立大学）
传统的自监督单目深度预测方法是基于静态环境假设的，这导致了由于对象运动引入的失配和遮挡问题而导致的动态场景中的精度下降。现有的动态对象聚焦方法只能部分解决训练损失水平上的不匹配问题。在本文中，我们相应地提出了一种新的多帧单目深度预测方法来解决这些问题，在预测和监督损失水平。我们的方法称为DynamicDepth，是一种通过自监督循环一致性学习方案训练的新框架。提出了一种动态对象运动解纠缠（DOMD）模块来解纠缠对象运动，以解决失配问题。此外，新的遮挡感知成本体积和重投影损失的设计，以减轻对象运动的遮挡效应。在Cityscapes和KITTI数据集上进行的大量分析和实验表明，我们的方法明显优于最先进的单目深度预测方法，特别是在动态对象领域。代码可在https://github.com/AutoAILab/DynamicDepth上获得
2022-07-23 cs.AI cs.CV cs.LG
Lightweight Monocular Depth Estimation via Token-Sharing Transformer
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；MOBIS（摩比斯）
针对Transformer参数大、计算成本高难以部署在嵌入式设备的问题，提出面向嵌入式设备优化的Token-Sharing Transformer轻量化单目深度估计架构，通过全局令牌共享实现高吞吐量高精度预测，在NYU Depth v2数据集上性能与速度优于现有方法。
2023-06-09 cs.AI cs.CV cs.LG
Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR
Clemson University（克莱姆森大学）；The City University of New York（纽约市立大学）；Carnegie Mellon University（卡内基梅隆大学）
自监督单目深度预测提供了一种具有成本效益的解决方案来获得每个像素的3D位置。然而，现有的方法通常会导致不满意的精度，这是至关重要的自主机器人。在本文中，我们提出了FusionDepth，这是一种新型的两阶段网络，通过利用低成本稀疏（例如4束）LiDAR来推进自监督单目密集深度学习。与现有的主要以耗时的迭代后处理方式使用稀疏LiDAR的方法不同，我们的模型融合了单目图像特征和稀疏LiDAR特征来预测初始深度图。然后，进一步设计了一个高效的前馈精化网络，以实时校正伪3D空间中这些初始深度图中的误差。大量的实验表明，我们提出的模型在自监督单目深度预测和完成任务方面明显优于所有最先进的自监督方法以及基于稀疏激光雷达的方法。凭借准确的密集深度预测，我们的模型在KITTI排行榜上的下游任务单目3D目标检测中比最先进的基于稀疏LiDAR的方法（伪LiDAR ++）的性能高出68%以上。代码可在https://github.com/AutoAILab/FusionDepth上获得
2021-11-29 cs.CV cs.LG
Center3D: Center-based Monocular 3D Object Detection with Joint Depth Understanding
Technische Universität Darmstadt（达姆施塔特工业大学）
在3D空间中定位对象并理解其相关的3D属性是具有挑战性的，因为只有单目RGB图像。这种情况由于透视投影期间深度信息的丢失而变得复杂。我们提出了Center 3D，一个阶段的锚免费的方法，有效地估计3D位置和深度，只使用单目RGB图像。通过利用2D和3D中心之间的差异，我们能够一致地估计深度。Center 3D使用分类和回归的组合来理解隐藏的深度信息，比单独使用每种方法更强大。我们的方法采用了两种联合方法：（1）LID：一种分类主导的方法与顺序线性递增离散化。(2)DepJoint：一种回归主导的方法，具有用于深度估计的多个本征变换。在中等对象的KITTI数据集上进行评估，Center 3D将BEV中的AP从$29.7\%$改进为$42.8\%$，将3D中的AP从$18.6\%$改进为$39.1\%$。与最先进的检测器相比，Center 3D在实时单目目标检测中实现了最佳的速度-精度权衡。
2020-05-27 cs.CV cs.LG
Shift R-CNN: Deep Monocular 3D Object Detection with Closed-Form Geometric Constraints
Arnia Software（阿尼亚软件公司）；LG Electronics（LG电子）；Politehnica University of Bucharest（布加勒斯特理工大学）
我们提出了Shift R-CNN，这是一种用于单目3D目标检测的混合模型，它将深度学习与几何的力量相结合。我们采用更快的R-CNN网络来回归初始2D和3D对象属性，并使用相机投影矩阵将其与逆2D到3D几何映射问题的最小二乘解决方案相结合。然后，数学系统的封闭形式解以及适应的Faster R-CNN的初始输出通过最终的ShiftNet网络，该网络使用我们新提出的体积位移损失来细化结果。我们的新的、几何约束的深度学习方法用于单目3D目标检测，在KITTI 3D目标检测基准测试中获得了最佳结果，是所有不使用任何预训练网络进行深度估计的单目方法中最好的。
2019-05-23 cs.CV cs.LG
Fully Convolutional Networks for Monocular Retinal Depth Estimation and Optic Disc-Cup Segmentation
青光眼是一种严重的眼部疾病，其筛查和诊断通过检查视神经乳头（ONH）来进行。彩色眼底图像（CFI）是用于眼部筛查的最常见的模态。在CFI中，中心R
2019-02-04 cs.LG eess.IV stat.ML
