Uncertainty-Aware Self-Supervised Learning of Spatial Perception Tasks
Dalle Molle Institute for Artificial Intelligence (IDSIA)(达莱·莫勒人工智能研究所(IDSIA));USI-SUPSI(提契诺大学-瑞士南方应用科学与艺术大学)
我们提出了一个通用的自监督学习方法的空间感知任务,如估计一个物体相对于机器人的姿态,从板载传感器读数。该模型从训练片段中学习,依赖于:连续状态估计,可能不准确并受里程漂移影响;以及检测器,偶尔提供关于目标姿势的监督。我们在三个不同的具体场景中展示了一般方法:一个模拟的机器人手臂,视觉上估计感兴趣的对象的姿态;一个小的差分驱动机器人使用7个红外传感器来定位附近的墙壁;一个全向移动机器人,定位自己在环境中从相机图像。定量结果表明,该方法在所有三种情况下都能很好地工作,并且明确地考虑不确定性会产生统计上显着的性能改善。
2021-07-18 cs.RO
Perception-aware Exploration for Consumer-grade UAVs
Autonomous Intelligent Systems group, Computer Science Institute VI – Intelligent Systems and Robotics, University of Bonn(波恩大学计算机科学研究所VI – 智能系统与机器人学自主智能系统组)
本文提出了一种适用于消费级无人机的多无人机探索方法,通过选择视点对估计深度并规划轨迹,实现安全环境探索与地图重建。
2026-04-13 cs.RO
PL-EVIO: Robust Monocular Event-based Visual Inertial Odometry with Point and Line Features
The University of Hong Kong(香港大学)
本文提出PL-EVIO,一种融合事件角点、事件线与图像点特征的实时单目事件视觉惯性里程计,通过互补约束提升精度与鲁棒性,并在基准、四旋翼闭环飞行和户外实验中验证优势。
2023-09-26 cs.CV cs.RO
Robust, Perception Based Control with Quadrotors
University of Pennsylvania(宾夕法尼亚大学)
传统上,机器人系统中的控制器和状态估计器是独立设计的。控制器的设计往往假设完美的状态估计。然而,诸如视觉惯性里程计(VIO)的状态估计方法随时间漂移并且可能导致系统行为不当。虽然状态估计误差可以借助于GPS或运动捕获来校正,但是这些互补传感器并不总是可用或可靠的。最近的工作表明,这个问题可以通过使用感知误差的数据驱动表征来合成鲁棒控制器来处理,并且可以使用鲁棒性约束来约束系统对状态估计误差的响应。我们调查的应用程序,这种强大的感知为基础的方法,四旋翼模型使用VIO的状态估计,并证明使用这种技术在仿真和硬件的优点和缺点。此外,为了使调整更容易,我们引入了一个新的成本函数中使用的控制合成,它允许一个现有的控制器和“robustify”它。据我们所知,这是第一个强大的基于感知的控制器实现在真正的硬件,以及一个利用数据驱动的感知模型。我们认为这是迈向安全、强大的机器人的重要一步,这些机器人明确地解释了感知和控制之间的内在依赖性。
2020-09-18 cs.RO
VeloBins: Learning Velocity and Its Uncertainty via Bins and Error-Conditioned Gaussian Labels for Aerial Inertial Odometry
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对空中惯性里程计的速度估计问题,提出VeloBins将速度回归转为分箱分类,无需单独不确定性解码器,在四类空中数据集上降低了多种误差,实现了最优性能。
2026-09-01 cs.RO
Aerial Manipulation with Contact-Aware Onboard Perception and Hybrid Control
Department of Aerospace Engineering, Pennsylvania State University(宾夕法尼亚州立大学航空航天工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出了一种无需外部运动捕捉的机载感知与混合控制方法,实现了接触丰富任务的精准运动跟踪和稳定接触力控制。
2026-03-04 cs.RO
TRACE: Learned Proprioceptive Odometry for Legged Robots under Unreliable Contact Conditions
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本研究提出TRACE模型,通过引入足部感知交叉注意力模块等技术,结合策略随机化与部分现实微调,提升四足机器人在不可靠接触条件下的本体里程计性能,降低位置漂移并改善仿真到现实的迁移效果。
2026-08-07 cs.AI cs.RO
Kilometer-Scale GNSS-Denied UAV Navigation via Heightmap Gradients: A Winning System from the SPRIN-D Challenge
Faculty of Electrical Engineering, Czech Technical University in Prague(捷克技术大学布拉格分校电子工程系)
针对GNSS拒止环境下无人机长距离飞行中的漂移问题,提出一种利用高程图梯度模板匹配进行漂移校正的轻量级定位方法,并在SPRIN-D挑战中实现9公里航点导航。
2026-05-25 cs.RO
StreamRig: Exploiting Intra-Rig Geometry for Streaming Multi-Camera Odometry
StreamRig提出冻结并流式框架,利用多相机刚性几何在冻结3D基础模型上构建因果流式里程计,通过两阶段训练实现零样本真实世界评估,在四个数据集上降低漂移并保持低推理成本。
2026-10-01 cs.CV cs.RO
Radar-on-Lidar: metric radar localization on prior lidar maps
Zhejiang University(浙江大学)
雷达和激光雷达由两种不同的距离传感器提供,在移动机器人或自动驾驶上的各种感知任务中各有优缺点。在本文中,蒙特卡洛系统被用来定位机器人与旋转雷达传感器上的二维激光雷达地图。我们首先训练一个条件生成对抗网络,将原始雷达数据转换为激光雷达数据,并从生成器获取可靠的雷达点。然后,一个有效的雷达里程计包括在蒙特卡洛系统。结合里程计的初始猜测,提出了一种测量模型,以匹配雷达数据和先前的激光雷达地图,以进行最终的2D定位。我们证明了所提出的本地化框架的有效性在公共多会话数据集。实验结果表明,该系统可以实现高精度的长期定位在户外场景。
2020-10-12 cs.RO
PERAL: Perception-Aware Motion Control for Passive LiDAR Excitation in Spherical Robots
Centre for Advanced Robotics Technology Innovation (CARTIN), School of Electrical and Electronic Engineering, Nanyang Technological University(先进机器人技术创新中心(CARTIN)、电气与电子工程学院、南洋理工大学)
PERAL框架通过建模球形机器人差速驱动与传感器姿态的耦合,叠加有界非周期振荡实现被动LiDAR激励,在不增加硬件的情况下提升垂直扫描多样性,实验证明其地图完整度达96%、轨迹误差降低27%,并优于静态倾斜、主动旋转和固定水平基线。
2025-09-18 cs.RO
Drift-Corrected Monocular VIO and Perception-Aware Planning for Autonomous Drone Racing
Department of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(电气工程系,韩国科学技术院(KAIST))
本文提出了一种校正VIO漂移的方法,结合YOLO门检测器和卡尔曼滤波器,以提升无人机竞速中的视觉惯性里程计精度与感知规划性能。
2025-12-23 cs.RO
LynxScenes: A Large-Scale Real-World Benchmark for Outdoor Wheel-Legged Robot Perception, Navigation, Imagination and Reconstruction
研究推出LynxScenes大规模真实世界轮腿式机器人数据集与基准,支持四项核心任务,还提出伪闭环评估器,评估发现户外机器人导航仍存挑战,相关资源将公开发布。
2026-10-20 cs.RO
Dual Pose-Graph Semantic Localization for Vision-Based Autonomous Drone Racing
Robotics Group (ARG-SnT), University of Luxembourg -- SnT, Luxembourg(机器人组(ARG-SnT),卢森堡大学——SnT,卢森堡)
本文提出双图姿态图架构,融合里程计与语义检测以实现稳健定位。通过临时图累积关键帧间观测并优化为单个约束,再推广至持久主图,提升信息丰富度并保持实时性能。
2026-04-16 cs.RO
Perception-aware receding horizon trajectory planning for multicopters with visual-inertial odometry
UC Berkeley(加州大学伯克利分校)
视觉惯性里程计(VIO)被广泛用于多旋翼飞行器的状态估计,但它可能在视觉特征较少的环境中或在过于激进的飞行中表现不佳。在这项工作中,我们提出了一个感知感知防撞轨迹规划多旋翼机,可用于任何基于特征的VIO算法。我们的方法是能够飞行的车辆以快速的目标位置,避免在一个未知的静止环境中的障碍物,同时实现良好的VIO状态估计精度。该规划器对一组最小加加速度轨迹进行采样,并在其中找到无碰撞轨迹,然后根据它们到达目标的速度和感知质量对其进行评估。运动模糊的功能和他们的位置被认为是感知质量。我们对特征的运动模糊的新颖考虑使得能够在具有不同光照水平的环境下自动适应轨迹的侵略性。来自评估的最佳轨迹由车辆跟踪,并且当从相机接收到新图像时以滚动水平线的方式更新。只对VIO做了一般性的假设,这样规划器就可以与各种现有的系统一起使用。该方法可以在小型嵌入式计算机上实时运行。我们通过室内和室外环境中的实验验证了我们提出的方法的有效性。与感知不可知的规划器相比,所提出的规划器在相机的视图中保留了更多的特征,并且使飞行不那么具有攻击性,从而使VIO更准确。它还减少了VIO故障,这发生在感知不可知的规划器,但不建议的规划器。所提出的规划飞行通过密集的障碍物的能力也得到了验证。实验视频可以在https://youtu.be/qO3LZIrpwtQ上找到。
2022-08-01 cs.RO
Monocular 3D Occupancy Perception for Robots on Sidewalks via Hybrid 2D-3D Learning
University of California, Los Angeles(加州大学洛杉矶分校);Zhejiang University(浙江大学);Coco Robotics(Coco机器人);Massachusetts Institute of Technology(麻省理工学院)
提出WalkOCC框架,通过混合射线行进单目3D占用感知,结合LiDAR-RGB配对数据与大规模无配对单目图像学习,提升人行道机器人导航的预测精度和泛化能力。
2026-09-30 cs.RO
BEV-ODOM2: Enhanced BEV-based Monocular Visual Odometry with PV-BEV Fusion and Dense Flow Supervision for Ground Robots
Tsinghua University(清华大学)
针对现有BEV方法中位姿训练稀疏监督和透视投影信息丢失的问题,提出BEV-ODOM2框架,通过密集BEV光流监督和PV-BEV融合,在四个数据集上实现40%的RTE提升,并支持边缘实时部署。
2026-09-29 cs.RO
EAROL: Environmental Augmented Perception-Aware Planning and Robust Odometry via Downward-Mounted Tilted LiDAR
School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学)
针对开顶场景下无人机定位漂移与感知-规划耦合问题,提出EAROL框架,采用下装倾斜LiDAR(20°),集成紧耦合LIO系统与分层轨迹优化算法,硬件创新增强约束与环境感知,实验显著提升定位精度与感知覆盖率,为灾后搜救提供鲁棒方案。
2025-08-20 cs.RO
Design of an Adaptive Lightweight LiDAR to Decouple Robot-Camera Geometry
University at Buffalo(布法罗大学);University of Florida(佛罗里达大学);Amazon Robotics(亚马逊机器人公司)
针对微型机器人传感器位姿与机器人位姿耦合、抖动难以实时补偿的问题,提出MEMS反射镜轻量化LiDAR,通过可移动扫描独立改变视场,并在仿真和UAV硬件上验证其运动补偿能力。
2024-03-01 cs.RO
Salient Sparse Visual Odometry With Pose-Only Supervision
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
本文提出一种仅用位姿监督的混合视觉里程计框架,通过自监督单应性预训练和随机图像块显著点检测提升光流学习与泛化能力,在标准数据集和极端场景中取得有竞争力的性能。
2024-04-06 cs.CV cs.RO
Motion Inspired Unsupervised Perception and Prediction in Autonomous Driving
Waymo LLC(Waymo有限责任公司)
现代自动驾驶系统中基于学习的感知和预测模块通常依赖于昂贵的人工注释,并且被设计为仅感知少数预定义的对象类别。这种闭集范式不足以满足安全关键的自动驾驶任务,其中自动驾驶车辆需要在高度动态的世界中处理任意多种类型的交通参与者及其运动行为。为了解决这个困难,本文开创了一个新颖而具有挑战性的方向,即,训练感知和预测模型,以理解开放集移动对象,无需人工监督。我们提出的框架使用自学习流来触发自动Meta标记管道,以实现自动监督。Waymo Open Dataset上的3D检测实验表明,我们的方法明显优于经典的无监督方法,甚至与有监督场景流的方法相比具有竞争力。我们进一步表明,我们的方法在开集3D检测和轨迹预测方面产生了非常有希望的结果,证实了它在缩小完全监督系统的安全差距方面的潜力。
2022-10-14 cs.CV cs.LG cs.RO
Keep off the Grass: Permissible Driving Routes from Radar with Weak Audio Supervision
University of Oxford(牛津大学);Aalborg University(奥尔堡大学)
可靠的室外部署的移动机器人需要在给定的环境中允许的行驶路线的鲁棒识别。如果存在某些环境因素,例如雨,雾,黑暗,LiDAR和基于视觉的感知系统的性能会显着恶化。基于FMCW扫描雷达的感知系统在任何环境条件下都能保持完整的性能,并且比其他传感器具有更长的距离。学习以完全监督的方式基于驾驶性能来分割雷达扫描是不可行的,因为手动逐箱标记每个雷达扫描既困难又耗时。因此,我们通过基于音频的分类器来弱监督基于雷达的分类器的训练,该分类器能够预测机器人下方的地形类型。通过结合里程计,GPS和来自音频分类器的地形标签,我们能够构建机器人在环境中的地形标记轨迹,然后用于标记雷达扫描。使用课程学习过程,然后我们训练雷达分割网络,以概括超出初始标签,并检测环境中所有允许的驾驶路线。
2020-09-22 cs.CV cs.RO
SCENES: Subpixel Correspondence Estimation With Epipolar Supervision
University of Oxford(牛津大学);Australian National University(澳大利亚国立大学)
针对局部特征匹配跨数据集泛化需强标签微调的问题,提出用极线损失替代对应损失,并以自举位姿实现弱监督亚像素对应估计。
2024-01-19 cs.AI cs.CV cs.LG
Super4DR: 4D Radar-centric Self-supervised Odometry and Gaussian-based Map Optimization
Super4DR通过基于4D雷达的自监督里程计和高斯地图优化,在恶劣天气中实现更准确的定位与地图重建。
2026-09-01 cs.RO
4D Radar Perception Algorithms for Autonomous Driving: A Review
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Jingwei Hirain Technologies Co., Inc.(北京经纬恒润科技股份有限公司)
本综述系统梳理4D毫米波雷达感知算法,涵盖从信号处理到动态场景理解的任务演变,比较不同学习范式,总结数据集并展望未来方向。
2026-09-18 cs.CV cs.RO eess.SP
Robust Dead Reckoning: Calibration, Covariance Estimation, Fusion and Integrity Monitoring
Opel Automobile GmbH(欧宝汽车有限公司)
为了高精度地直接测量系统状态和局部环境,需要昂贵的传感器。然而,使用数据融合技术和数字地图也可以实现高度准确的系统状态和环境感知。多传感器状态估计的一个关键任务是将不同的传感器测量投影到同一个时间、空间和物理域,估计它们的协方差矩阵,并剔除错误的测量。本文提出了一种通用的方法来鲁棒估计车辆运动(里程)。我们将很快介绍我们的校准过程,包括传感器对准,偏移/缩放误差,协方差/相关性和时间延迟的估计。提出了一种改进的轮径估计算法。此外,将显示用于鲁棒里程计的方法,因为里程计估计在已知协方差下被融合,而离群值使用卡方检验来检测。利用我们强大的里程计,当地的环境意见可以相关联和融合。此外,我们的鲁棒里程计可以用来检测和排除错误的位置估计。
2018-01-06 cs.RO
CAO-RONet: A Robust 4D Radar Odometry with Exploring More Information from Low-Quality Points
Faculty of Robot Science and Engineering, Northeastern University(东北大学机器人科学与工程学院)
针对4D雷达低质量点影响里程计任务的问题,提出CAO-RONet框架,通过局部补全、上下文感知关联和基于窗口的优化器实现鲁棒自我运动估计,性能提升约50%且精度媲美LiDAR里程计。
2025-03-03 cs.RO
Interruption-Aware Cooperative Perception for V2X Communication-Aided Autonomous Driving
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学合作 Medianet 创新中心);Shanghai AI Laboratory(上海人工智能实验室);The University of Warwick(华威大学)
针对V2X通信中断导致协同消息缺失的问题,本文提出V2X-INCOP,利用历史信息、多尺度时空预测、知识蒸馏和课程学习恢复缺失感知,并在三个公开数据集上验证其有效性。
2024-02-28 cs.AI cs.CV cs.RO
A Comparative Analysis of Visual Odometry in Virtual and Real-World Railways Environments
本文针对铁路环境中数据采集困难的问题,利用 Unreal Engine 构建虚拟环境,对比分析了 SLAM 算法在虚拟与现实铁路场景中的性能,验证了图形仿真在推进铁路感知任务中的可行性与潜力。
2024-03-25 cs.CV cs.RO
KISS-IMU: Self-supervised Inertial Odometry with Motion-balanced Learning and Uncertainty-aware Inference
Electrical and Computer Engineering, Inha University(信息电子工程学院,印斯大学)
提出KISS-IMU自监督框架,通过运动平衡训练和不确定性加权推理消除对真值依赖,仅用LiDAR作为轻量监督信号,实现鲁棒惯性里程计。
2026-06-29 cs.RO
Do we need scan-matching in radar odometry?
Örebro University(厄勒布鲁大学)
本文比较了4D雷达里程计中多普勒/IMU直接积分、卡尔曼滤波融合与3D点云配准方法,发现仅用多普勒和IMU数据即可达到相似或更优精度,在1.8和4.5公里轨迹上平均位置误差低至0.3%,证明无需扫描匹配即可实现特征稀疏环境下的长距离6自由度自运动估计。
2023-10-27 cs.RO
AEOS: Active Environment-aware Optimal Scanning Control for UAV LiDAR-Inertial Odometry in Complex Scenes
School of Electrical and Electronic Engineering(电子工程学院);Nanyang Technological University(南洋理工大学);Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
针对无人机LiDAR窄视场导致的定位退化问题,受猫头鹰启发提出AEOS框架,融合模型预测控制与强化学习实现自适应扫描控制,显著提升复杂场景下LIO里程计精度。
2025-09-11 cs.RO
Ground-VIO: Monocular Visual-Inertial Odometry with Online Calibration of Camera-Ground Geometric Parameters
Wuhan University(武汉大学)
针对车辆场景中单目VIO精度低的问题,提出利用地面特征与相机-地面几何在线标定的Ground-VIO方法,显著提升里程计精度,性能媲美甚至优于立体VIO。
2023-06-18 cs.RO
Unsupervised Learning of Lidar Features for Use in a Probabilistic Trajectory Estimator
University of Toronto Institute for Aerospace Studies (UTIAS)(多伦多大学航空航天研究所)
我们在高斯变分推理设置中提出了无监督参数学习,该设置将移动机器人的经典轨迹估计与丰富传感器数据的深度学习相结合,所有这些都在单个学习目标下。该框架是现有系统辨识方法的扩展,该方法优化了观测数据的似然性,我们利用批量轨迹估计和深度学习的现代进步对其进行了改进。虽然该框架适用于任何形式的参数学习和传感器模态,但我们展示了3D激光雷达测距深度网络在特征和不确定性学习中的应用。我们的框架只从机载激光雷达数据中学习,不需要任何形式的地面实况监督。我们证明了我们的激光雷达里程计比现有的方法更好,这些方法使用深度网络学习完整的估计器,并且可以与KITTI里程计数据集上最先进的基于ICP的方法相媲美。我们还展示了来自Oxford RobotCar数据集的激光雷达数据的结果。
2021-02-22 cs.RO
Multi-Radar Inertial Odometry for 3D State Estimation using mmWave Imaging Radar
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对恶劣环境下机器人三维状态估计问题,提出基于双成像雷达与消费级IMU融合的惯性里程计方法,通过处理多普勒速度不确定性并采用固定滞后平滑优化,实现高精度三维运动估计。
2024-03-15 cs.RO
BEV-DWPVO: BEV-based Differentiable Weighted Procrustes for Low Scale-drift Monocular Visual Odometry on Ground
Zhejiang University(浙江大学)
提出BEV-DWPVO单目视觉里程计系统,利用地面假设和鸟瞰图特征将位姿估计从6自由度降至3自由度,通过可微加权Procrustes求解器实现低尺度漂移,在NCLT、Oxford和KITTI数据集上优于现有方法。
2025-02-27 cs.RO
Self-Supervised Geometry-Guided Initialization for Robust Monocular Visual Odometry
Frontier Research Center, Toyota Motor Corporation (TMC)(丰田汽车公司前沿研究中心);Toyota Research Institute (TRI)(丰田研究院)
针对DROID-SLAM在大幅运动和动态场景中的优化失效问题,提出用冻结预训练单目深度估计器的自监督几何先验初始化稠密BA,无需微调主干即在KITTI和DDAD上显著提升鲁棒性。
2025-09-28 cs.CV cs.RO
Unsupervised Learning of Depth Estimation and Visual Odometry for Sparse Light Field Cameras
School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney(悉尼大学航空航天、机械与机电工程学院);Sydney Institute for Robotics and Intelligent Systems(悉尼机器人与智能系统研究院)
虽然出现了令人兴奋的多种新型成像设备,可以大大提高机器人的感知能力,但校准和解释这些相机的挑战限制了它们在机器人领域的应用。在这项工作中,我们概括了技术,从无监督学习,让机器人自主解释新类型的相机。我们考虑新兴的稀疏光场(LF)相机,其捕获描述穿过平面的光线的集合的4D LF函数的子集。我们介绍了一个广义的稀疏LF编码,允许无监督学习的里程和深度。我们证明了所提出的方法优于单目和传统的技术处理4D图像,产生更准确的里程计和深度图,并提供这些与度量尺度。我们期望我们的技术推广到广泛的LF和稀疏LF相机,并使无人监督的重新校准,以应对在机器人的生命周期内相机行为的变化。这项工作代表了在机器人应用中简化新型成像设备集成的第一步。
2021-03-21 cs.CV cs.RO
RAM-VO: Less is more in Visual Odometry
Laboratory of Robotics and Cognitive Systems (LaRoCS)(机器人与认知系统实验室(LaRoCS));Institute of Computing, University of Campinas(坎皮纳斯大学计算研究所)
建造能够在没有人类监督的情况下操作的车辆需要确定代理的姿态。视觉里程计(VO)算法仅使用来自输入图像的视觉变化来估计自运动。最新的VO方法广泛使用卷积神经网络(CNN)实现深度学习技术,这在处理高分辨率图像时会增加大量成本。此外,在VO任务中,更多的输入数据并不意味着更好的预测;相反,架构可能会过滤掉无用的信息。因此,实现计算高效和轻量级的架构是必不可少的。在这项工作中,我们提出了RAM-VO,视觉里程计任务的递归注意力模型(RAM)的扩展。RAM-VO改进了信息的视觉和时间表示,并实现了近端策略优化(PPO)算法来学习鲁棒的策略。结果表明,RAM-VO可以使用大约300万个参数从单目输入图像执行具有六个自由度的回归。此外,在KITTI数据集上的实验表明,RAM-VO仅使用5.7%的可用视觉信息就取得了有竞争力的结果。
2021-07-07 cs.AI cs.CV cs.LG
Geometric Consistency for Self-Supervised End-to-End Visual Odometry
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术研究所);Montreal Institute of Learning Algorithms (MILA)(蒙特利尔学习算法研究所);Universite de Montreal(蒙特利尔大学)
随着基于深度学习的方法在解决计算机视觉中的挑战性问题方面的成功,最近已经提出了各种各样的深度架构用于视觉里程计(VO)估计的任务。大多数这些建议的解决方案依赖于监督,这需要获取精确的地面实况相机姿态信息,使用昂贵的运动捕捉系统或高精度IMU/GPS传感器钻机收集。在这项工作中,我们提出了一个无监督的深度视觉里程计学习的范例。我们表明,使用一个嘈杂的老师,这可能是一个标准的VO管道,并通过设计一个损失项,强制几何一致性的轨迹,我们可以训练准确的深度模型VO不需要地面实况标签。我们利用几何形状作为一个自我监督的信号,并提出了“复合变换约束(CTC)”,自动生成监督信号的训练和执行几何一致性的VO估计。我们还提出了一种方法,从而获得VO估计的不确定性的特征。为了评估我们的VO管道,我们提出了详尽的消融研究,证明了端到端的自我监督方法训练单眼VO深度模型的有效性。我们表明,利用几何中的概念并将其纳入循环神经网络的训练中,可以与监督式深度VO方法进行性能竞争。
2018-04-11 cs.CV cs.RO
Development and Testing for Perception Based Autonomous Landing of a Long-Range QuadPlane
Graduate Student, Mechanical Engineering Department(机械工程系研究生);Undergraduate Student, Mechanical Engineering Department(机械工程系本科生);Associate Professor, Mechanical Engineering Department(机械工程系副教授);Assistant Professor, Mechanical Engineering Department(机械工程系助理教授)
本文提出了一种轻量级四旋翼系统,用于高效的基于视觉的自主着陆和视觉惯性里程计,适用于长距离四旋翼任务。
2025-12-11 cs.CV cs.RO
Certifiably-Correct Mapping for Safe Navigation Despite Odometry Drift
University of Michigan(密歇根大学)
本文提出可证明正确建图框架,通过基于里程计误差缩小安全区域,确保VIO/SLAM漂移下障碍物地图局部准确可靠,并修改安全飞行走廊和符号距离场方法,经仿真和实验验证有效提升导航安全性。
2025-04-25 cs.RO cs.SY eess.SY
Robot Perception enables Complex Navigation Behavior via Self-Supervised Learning
Queensland University of Technology(昆士兰科技大学)
学习机器人系统中的视觉控制策略是实现长期行为自主性的一个基本问题。然而,最近的监督学习为基础的视觉和运动感知系统,往往是单独建立有限的能力,而被限制到一些行为技能,如被动视觉里程计(VO)或移动机器人视觉定位。在这里,我们提出了一种方法来统一这些成功的机器人感知系统的主动目标驱动的导航任务,通过强化学习(RL)。我们的方法在时间上结合了紧凑的运动和视觉感知数据(使用自我监督从单个图像序列直接获得),以实现复杂的目标导向导航技能。我们使用新的交互式CityLearn框架在两个真实驾驶数据集KITTI和Oxford RobotCar上展示了我们的方法。结果表明,我们的方法可以准确地推广到极端的环境变化,如昼夜周期,成功率高达80%,而仅视觉导航系统的成功率为30%。
2020-06-16 cs.LG cs.RO
Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry
Key Laboratory of Machine Perception (MOE), School of EECS, Peking University(北京大学信息科学技术学院机器感知与智能教育部重点实验室);PKU-SenseTime Machine Vision Joint Lab(北京大学-商汤科技机器视觉联合实验室)
我们提出了一个自监督学习框架,视觉里程计(VO),结合了连续帧的相关性,并利用对抗学习。先前的方法将自监督VO处理为局部运动恢复结构运动恢复结构(SfM)问题,其通过最小化扭曲图像和捕获图像之间的光度损失来从单个图像恢复深度并从图像对恢复相对姿态。由于单视点深度估计是一个不适定问题,而光度损失不能区分扭曲图像的失真伪影,因此估计的深度是模糊的,姿态是不准确的。与以前的方法相比,我们的框架学习了帧到帧相关性的紧凑表示,并通过合并顺序信息进行更新。更新的表示用于深度估计。此外,我们处理VO作为一个自我监督的图像生成任务,并利用生成对抗网络(GAN)。生成器学习估计深度和姿态以生成变形的目标图像。该方法利用高层次的结构感知来评估生成图像的质量,克服了以往方法中像素丢失的问题。在KITTI和Cityscapes数据集上的实验表明,该方法在保留细节的情况下获得了更准确的深度,并且预测姿势的性能明显优于最先进的自监督方法。
2019-08-23 cs.CV cs.LG cs.RO
The Multi Vehicle Stereo Event Camera Dataset: An Event Camera Dataset for 3D Perception
GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室)
基于事件的相机是一种新的被动传感模式,与传统相机相比具有许多优点,包括极低的延迟、异步数据采集、高动态范围和非常低的功耗。最近,在应用算法以使用事件来执行各种3D感知任务(诸如特征跟踪、视觉里程计和立体深度估计)方面有很多兴趣和发展。然而,目前缺乏传统相机用于测试和开发的大量标记数据。在本文中,我们提出了一个大的数据集与同步立体对事件为基础的相机系统,进行手持钻机,飞行的六旋翼机,驾驶在汽车顶部,并安装在摩托车上,在各种不同的照明水平和环境。从每个摄像头,我们提供事件流,灰度图像和IMU读数。此外,我们利用IMU、刚性安装的激光雷达系统、室内和室外运动捕捉以及GPS的组合,为每个摄像头提供高达100 Hz的精确姿态和深度图像。为了进行比较,我们还提供了同步的灰度图像和IMU读数从基于帧的立体相机系统。
2018-02-19 cs.RO
XVO: Generalized Visual Odometry via Cross-Modal Self-Training
Boston University(波士顿大学)
本研究提出半监督跨模态自训练方法XVO,利用多模态辅助任务和无约束行车视频训练通用单目VO模型,无需相机参数与微调即可在多基准数据集实现SOTA性能与跨场景迁移。
2023-10-08 cs.AI cs.CV cs.RO
PLS-Calib: A Partial Least Squares Framework for Event Camera and Odometry Calibration under Ground Motion Constraints
针对地面约束机器人的传感器校准难题,提出PLS-Calib框架,利用PLS回归建模传感器流相关性,结合极性感知事件表示,在合成与真实数据集上验证其校准鲁棒性和精度优于现有最优方法。
2026-08-05 cs.CV cs.RO
M2P2: A Multi-Modal Passive Perception Dataset for Off-Road Mobility in Extreme Low-Light Conditions
George Mason University(乔治·马歇尔大学)
本文提出M2P2多模态被动感知数据集,含热像、事件相机等传感器,实现在极端低光下仅靠被动感知进行越野移动,并通过实验验证可行性。
2025-04-22 cs.RO
Data-centric Design of Learning-based Surgical Gaze Perception Models in Multi-Task Simulation
Department of Electrical, Computer, and Systems Engineering, Case Western Reserve University(电气、计算机与系统工程系,凯斯西储大学)
本研究探讨了在多任务模拟中,基于学习的手术注视感知模型的设计,通过主动-被动注视数据集分析,评估了不同注视来源对注意力模型学习的影响,并提出了可扩展的群众源注视监督方法。
2026-05-19 cs.HC cs.RO
Self-Improving Semantic Perception for Indoor Localisation
ETH Zürich(苏黎世联邦理工学院)
我们提出了一种新的机器人系统,可以提高其在部署过程中的感知。与从大型数据集学习语义并部署固定模型的既定方法相反,我们提出了一个框架,在该框架中,语义模型在机器人上不断更新以适应部署环境。通过将持续学习与自我监督相结合,我们的机器人系统在部署过程中在线学习,无需外部监督。我们进行了真实世界的实验,机器人定位在3D平面图。我们的实验展示了机器人的语义感知如何在部署过程中得到改善,以及这如何转化为改进的本地化,即使是在完全不同的环境中。我们进一步研究了这种持续学习环境所带来的灾难性遗忘的风险。我们发现记忆重放是减少遗忘的有效措施,并展示了机器人系统即使在不同环境之间切换时也可以改善。平均而言,与部署固定模型相比,我们的系统在分割方面提高了60%,在定位准确性方面提高了10%,并且在适应进一步环境的同时保持了这一改进。
2021-09-15 cs.CV cs.RO
ActiveScale: Scaling Active Perception for Robots across Model, Data, and Hardware
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对固定视点下机器人操作信息缺失问题,提出ActiveScale框架,通过模型、数据、硬件协同设计,实现VLA模型主动感知,提升任务成功率。
2026-09-22 cs.LG cs.RO
Towards Visual Ego-motion Learning in Robots
Massachusetts Institute of Technology(麻省理工学院)
在过去的十年中,已经提出了许多基于模型的视觉里程计(VO)算法,通常限于相机光学器件的类型,或观察到的底层运动流形。我们设想机器人能够学习和执行这些任务,在最低限度的监督设置,因为他们获得更多的经验。为此,我们提出了一个完全可训练的解决方案,以视觉自我运动估计不同的相机光学。我们提出了一个视觉自我运动学习架构,通过混合密度网络(MDN)映射观察到的光流向量的自我运动密度估计。通过将该体系结构建模为条件变分自编码器(C-VAE),我们的模型能够为自我运动引起的场景流提供内省推理和预测。此外,我们提出的模型是特别适合自举自我运动学习的机器人在自我运动估计的监督,一个特定的摄像头传感器可以从标准的导航为基础的传感器融合策略(GPS/INS和车轮测距融合)。通过实验,我们展示了我们所提出的方法的实用性,使自主机器人的视觉自我运动估计的自监督学习的概念。
2017-05-29 cs.AI cs.CV cs.RO