Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception
University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
针对自动驾驶多模态感知的标注难题，提出统一自监督预训练策略 NS-MAE，利用 NeRF 编码外观与几何，通过共享公式优化 LiDAR 与相机模态，实现高效掩码重建，在标签高效微调下显著提升 3D 感知性能。
2024-10-11 cs.AI cs.CV cs.RO
CoCam4D: Geometry-Aware Cooperative 4D Perception for Camera-Only Autonomous Driving
University of Petroleum and Energy Studies（石油与能源大学）；Valeo Brain（法雷奥研究院）；Indian Statistical Institute（印度统计研究所）
CoCam4D是一种显式建模几何不确定性的协作感知贝叶斯框架，采用VGGT生成带不确定性的3D高斯表示，通过共享DOPs实现纯视觉协作感知，在OPV2V+和DAIR-V2X-C上分别提升11.48%和10.62%性能。
2026-10-09 cs.CV cs.RO
Towards Trustworthy and Explainable AI for Perception Models: From Concept to Prototype Vehicle Deployment
Institute for Automotive Engineering, RWTH Aachen University（汽车工程研究所，亚琛工业大学）
本文提出一个结合鲁棒性、可解释性和不确定性校准的Transformer感知模块，并部署于原型车辆，通过实时可视化验证可信AI的可行性。
2026-05-22 cs.AI cs.RO
Taming Perception Jitter: Uncertainty-Aware LiDAR Object Detection for Reliable Motion Classification
Technical University of Munich（慕尼黑工业大学）；Institute for Automotive Engineering, Munich Institute of Robotics and Machine Intelligence, School of Engineering and Design（汽车工程研究所，慕尼黑机器人与机器智能研究所，工程与设计学院）
提出一种部署友好的策略，通过不确定性估计和统计检验减少静态物体的虚假动态预测，在真实驾驶中显著降低误报和不必要停车。
2026-06-08 cs.CV cs.RO
End-to-end Uncertainty-based Mitigation of Adversarial Attacks to Automated Lane Centering
Northwestern University（西北大学）；University of California, Irvine（加利福尼亚大学欧文分校）
在高级驾驶辅助系统（ADAS）和自动驾驶车辆的开发中，基于深度神经网络（DNN）的机器学习技术已被广泛用于车辆感知。与传统方法相比，这些技术在平均感知准确度上提供了显着的改进，然而，已经被证明容易受到对抗攻击的影响，其中输入中的小扰动可能导致感知结果中的显着错误并导致系统故障。大多数解决这种对抗攻击的现有工作只关注传感和感知模块。在这项工作中，我们提出了一个端到端的方法，解决了整个感知，规划和控制模块的对抗攻击的影响。特别是，我们选择了一个目标ADAS应用，OpenPilot中的自动车道居中系统，量化了对抗攻击下的感知不确定性，并基于不确定性分析设计了相应的鲁棒规划和控制模块。我们使用公共数据集和生产级自动驾驶模拟器来评估我们提出的方法。实验结果表明，该方法能有效地减轻对抗攻击的影响，与原OpenPilot相比，性能提高了55%~ 90%.
2021-02-27 cs.CR cs.LG cs.RO
Driving Through Uncertainty: Risk-Averse Control with LLM Commonsense for Autonomous Driving under Perception Deficits
University at Buffalo（布法罗大学）；University of Notre Dame（诺特尔大学）
本文提出LLM-RCO框架，利用大语言模型整合人类驾驶常识，以提升自动驾驶在感知缺陷下的风险规避与适应性控制能力。
2025-12-12 cs.AI cs.LG cs.RO
Hyper-V2X: Hypernetworks for Estimating Epistemic and Aleatoric Uncertainty in Cooperative Bird's-Eye-View Semantic Segmentation
CARISSMA Institute for Electric, COnnected, and Secure Mobility (C-ECOS), Technische Hochschule Ingolstadt（CARISSMA电动、连接与安全移动研究所（C-ECOS）、因戈尔施塔特技术大学）；University of Applied Sciences Aschaffenburg（阿施发堡应用科学大学）
本文提出Hyper-V2X框架，通过超网络估计协作V2X感知中的epistemic和aleatoric不确定性，采用部分权重生成方案和V2X上下文嵌入模块，条件化贝叶斯超网络生成随机鸟瞰图分割的权重分布，提升感知可靠性。
2026-05-20 cs.CV cs.RO
Defensive Perception: Estimation and Monitoring of Neural Network Performance under Deployment
ZF Friedrichshafen AG（采埃孚股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对自动驾驶语义分割网络部署中的域漂移风险，提出基于 Monte Carlo Dropout 认知不确定性的防御性感知包络，实现性能估计、监测告警与安全触发。
2023-08-11 cs.AI cs.CV cs.LG
Motion Inspired Unsupervised Perception and Prediction in Autonomous Driving
Waymo LLC（Waymo有限责任公司）
现代自动驾驶系统中基于学习的感知和预测模块通常依赖于昂贵的人工注释，并且被设计为仅感知少数预定义的对象类别。这种闭集范式不足以满足安全关键的自动驾驶任务，其中自动驾驶车辆需要在高度动态的世界中处理任意多种类型的交通参与者及其运动行为。为了解决这个困难，本文开创了一个新颖而具有挑战性的方向，即，训练感知和预测模型，以理解开放集移动对象，无需人工监督。我们提出的框架使用自学习流来触发自动Meta标记管道，以实现自动监督。Waymo Open Dataset上的3D检测实验表明，我们的方法明显优于经典的无监督方法，甚至与有监督场景流的方法相比具有竞争力。我们进一步表明，我们的方法在开集3D检测和轨迹预测方面产生了非常有希望的结果，证实了它在缩小完全监督系统的安全差距方面的潜力。
2022-10-14 cs.CV cs.LG cs.RO
The Impact of Class Uncertainty Propagation in Perception-Based Motion Planning
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Toyota Research Institute（丰田研究院）
本文研究了感知驱动运动规划中不确定性传播对性能的影响，通过比较不同校准方法在复杂场景中的表现，验证了上游不确定性传播的优越性。
2026-02-17 cs.RO
uPLAM: Robust Panoptic Localization and Mapping Leveraging Perception Uncertainties
University of Freiburg（弗莱堡大学）；University of Technology Nürnberg（纽伦堡工业大学）
本文提出uPLAM框架，通过像素级不确定性估计融合现代全景CNN感知与经典概率定位建图方法，引入基于不确定性的地图聚合和粒子滤波定位技术，提升了地图精度与定位准确性，并发布了Freiburg Panoptic Driving数据集。
2024-03-20 cs.RO
Gaussian Mixture-Based Inverse Perception Contract for Uncertainty-Aware Robot Navigation
Department of Computer Science, Columbia University（计算机科学系，哥伦比亚大学）；Department of Computer Science and Engineering, Texas A&M University（计算机科学与工程系，德克萨斯大学）
本文提出基于高斯混合的逆感知合同，通过联合椭球置信集表示不确定性，提升机器人导航的安全性和适应性。
2026-03-04 cs.RO
Uncertainty-Informed Active Perception for Open Vocabulary Object Goal Navigation
Center for Robotics, University of Bonn（波恩大学机器人中心）；MAVLab, TU Delft（代尔夫特理工大学MAVLab）；Lamarr Institute for Machine Learning and Artificial Intelligence（机器学习与人工智能拉马尔研究所）
针对目标导航中提示措辞引起的语义不确定性问题，提出不确定性感知的主动感知流程，利用概率传感器模型和不确定性感知多臂老虎机规划器，实现与最先进方法相当的成功率。
2025-07-13 cs.RO
Robot Perception enables Complex Navigation Behavior via Self-Supervised Learning
Queensland University of Technology（昆士兰科技大学）
学习机器人系统中的视觉控制策略是实现长期行为自主性的一个基本问题。然而，最近的监督学习为基础的视觉和运动感知系统，往往是单独建立有限的能力，而被限制到一些行为技能，如被动视觉里程计（VO）或移动机器人视觉定位。在这里，我们提出了一种方法来统一这些成功的机器人感知系统的主动目标驱动的导航任务，通过强化学习（RL）。我们的方法在时间上结合了紧凑的运动和视觉感知数据（使用自我监督从单个图像序列直接获得），以实现复杂的目标导向导航技能。我们使用新的交互式CityLearn框架在两个真实驾驶数据集KITTI和Oxford RobotCar上展示了我们的方法。结果表明，我们的方法可以准确地推广到极端的环境变化，如昼夜周期，成功率高达80%，而仅视觉导航系统的成功率为30%。
2020-06-16 cs.LG cs.RO
Self-supervised perception for tactile skin covered dexterous hands
FAIR at Meta（Meta的FAIR）；Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）
针对磁性触觉皮肤传感器缺乏通用模型等问题，研究提出预训练编码器Sparsh-skin，通过自蒸馏自监督学习生成触觉嵌入，在多项基准任务中显著提升样本效率与任务性能。
2025-05-16 cs.RO
Perception-aware Path Planning
University of Perugia（佩鲁贾大学）；University of Zurich（苏黎世大学）
在本文中，我们给了双重扭曲的不确定性下的规划问题。国家的最先进的规划者寻求通过只考虑场景的几何结构来最小化定位的不确定性。在本文中，我们认为，运动规划的视觉控制的机器人应该感知意识的机器人也应该有利于纹理丰富的地区，以尽量减少本地化的不确定性，在一个目标达成的任务。因此，我们描述了如何最佳地结合光度信息（即，纹理）的场景，除了几何的一个，计算路径规划过程中的基于视觉的定位的不确定性。为了避免基于特征的定位系统的警告（即，依赖于特征类型和用户定义的阈值），我们使用密集的直接方法。这允许我们直接从图像中每个像素的强度值计算定位不确定性。我们还描述了如何在线计算轨迹，也考虑到没有关于地图的先验知识的情况。所提出的框架是通用的，可以很容易地适应不同的机器人平台和场景。我们的方法的有效性证明了在模拟和真实世界的环境中使用的视觉控制的微型飞行器与广泛的实验。
2017-02-10 cs.RO
Navigation with RF Cues: Embodied Perception Action under Multipath Uncertainty
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对无地图智能工厂巡检，提出基于射频与视觉融合的不确定性感知导航框架，构建Habitat Sionna RT基准，在未见场景中SR提升18.2%、SPL提升11.5%。
2026-10-07 cs.RO
Perception-and-Energy-aware Motion Planning for UAV using Learning-based Model under Heteroscedastic Uncertainty
Keio University（庆应义塾大学）
针对GNSS拒止环境，本文提出联合优化无人机能耗与LiDAR感知质量的运动规划器，并用学习模型刻画随水平速度变化的能耗和异方差不确定性，仿真验证其可平衡能效与定位精度。
2023-09-25 cs.AI cs.RO
EASE: Embodied Active Event Perception via Self-Supervised Energy Minimization
CSSE Department, Auburn University（计算机科学与工程系，阿伯杜大学）
针对现有事件感知依赖预定义动作和标注的问题，提出EASE自监督框架，通过自由能最小化统一感知与控制，利用预测误差和熵实现无标注事件分割、跟踪与总结，在仿真和真实环境中验证了隐私保护与可扩展性。
2025-06-20 cs.CV cs.RO
Where Am I Now? Dynamically Finding Optimal Sensor States to Minimize Localization Uncertainty for a Perception-Denied Rover
University of Maryland, College Park（马里兰大学帕克分校）
本文提出 DyFOS 主动感知方法，通过定位不确定性预测流水线和概率神经网络动态寻找最优传感器状态，在避开障碍与遮挡的同时最小化感知受限巡视器的定位不确定性，性能与暴力搜索相当且速度更快。
2023-09-25 cs.AI cs.RO
UCON: Uncertainty-aware Navigation with Historical Re-association in Dynamic Environments
Dalian University of Technology（大连理工大学）
UCON通过历史重关联和不确定性扇区嵌入轨迹优化，解决动态环境导航中的感知不稳定与不确定性优化不匹配问题，实现稳定感知与鲁棒避障。
2026-09-25 cs.RO
Perception Matters: Enhancing Embodied AI with Uncertainty-Aware Semantic Segmentation
University of Freiburg（弗赖堡大学）；University of Technology Nuremberg（纽伦堡工业大学）
针对具身智能物体搜索任务中感知模型过时、忽略时序聚合、感知过度自信的问题，提出通过校准聚合与目标判定中的感知概率和不确定性适配序列任务，可零额外训练成本集成到现有预训练搜索模型中，实验验证了其有效性。
2025-01-14 cs.CV cs.RO
Credibility-Aware Learning and Control for Safe USV Navigation under Perception Uncertainty
School of Information Engineering, Henan University of Science and Technology（河南科技大学信息工程学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；School of Logistics Engineering, Shanghai Maritime University（上海 Maritime University物流工程学院）；Shenzhen Technology University（深圳科技大学）；School of Computer Science, Wuhan University（武汉大学计算机学院）；School of Software Engineering, Tongji University（同济大学软件工程学院）
提出一种集成可信感知学习、几何安全屏蔽和连续规则感知嵌入的强化学习框架，以解决动态海洋环境中USV导航的安全性和COLREGs合规性问题。
2026-09-01 cs.RO
PourIt!: Weakly-supervised Liquid Perception from a Single Image for Visual Closed-Loop Robotic Pouring
Fudan University（复旦大学）
针对机器人液体感知依赖像素级标注数据的问题，提出弱监督框架PourIt!，通过图像级标签训练二分类模型生成CAM，结合特征对比策略提升液体检测精度，实现三维点云恢复与视觉闭环倾倒控制，并构建了专用数据集验证方法有效性。
2023-07-21 cs.RO
UNSEEN: Uncertainty-aware Navigation via Sparse Estimation in Unknown Environments
University of Trento（特伦托大学）
提出UNSEEN框架，仅用前视相机通过稀疏地图与位姿不确定性估计，联合优化任务进度与估计精度，在未知环境中实现鲁棒导航，相比现有方法定位误差降低9.8%，估计精度提升45%。
2026-06-23 cs.RO
Self-supervised Geometric Perception
MIT（麻省理工学院）；CMU（卡内基梅隆大学）；Intel Labs（英特尔实验室）
我们提出了自监督几何感知（SGP），这是第一个学习用于对应匹配的特征描述符的通用框架，而无需任何地面真实几何模型标签（例如，相机姿势、刚性变换）。我们的第一个贡献是将几何感知公式化为优化问题，该优化问题在给定大的视觉测量语料库的情况下联合优化特征描述符和几何模型（例如，图像、点云）。在这种优化公式下，我们展示了视觉研究的两个重要流，即鲁棒模型拟合和深度特征学习，对应于优化未知变量的一个块，同时固定另一个块。这种分析自然会导致我们的第二个贡献-SGP算法，执行交替最小化，以解决联合优化。SGP迭代地执行两个元算法：一个教师执行鲁棒的模型拟合给定的学习特征以生成几何伪标签，一个学生在伪标签的噪声监督下执行深度特征学习。作为第三个贡献，我们将SGP应用于大规模真实数据集上的两个感知问题，即MegaDepth上的相对相机姿态估计和3DMatch上的点云配准。我们证明，SGP实现了最先进的性能，与使用地面真实标签训练的监督预言机相当或更好。
2021-03-04 cs.CV cs.LG cs.RO
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
University of Michigan（密歇根大学）；Research Center of Jueying Intelligence（绝影智能研究中心）
提出NS-MAE自监督预训练框架，利用NeRF神经渲染与掩码多模态重建学习可迁移表征，并验证其在多种3D感知任务和模态模型上的迁移效果。
2023-12-06 cs.AI cs.CV cs.LG
Uncertainty-aware Perception Models for Off-road Autonomous Unmanned Ground Vehicles
GE Research（通用电气研究院）；Motional（Motional公司）；GE Digital（通用电气数字部门）
越野无人驾驶地面车辆（UGV）正在开发用于军事和商业用途，以在偏远地区提供关键物资，帮助测绘和监视，并在有争议的环境中协助作战人员。由于越野环境的复杂性以及地形、照明条件、昼夜和季节变化的可变性，用于感知环境的模型必须处理大量的输入可变性。当前用于训练越野自主导航感知模型的数据集缺乏季节、位置、语义类别以及一天中的时间的多样性。我们测试了一个假设，即由于输入分布漂移，在单个数据集上训练的模型可能无法推广到其他越野导航数据集和新位置。此外，我们研究了如何结合多个数据集来训练一个基于语义分割的环境感知模型，我们表明，训练模型来捕获不确定性可以显着提高模型性能。我们扩展的Masksembles方法的不确定性量化的语义分割任务，并将其与蒙特卡洛辍学和标准基线。最后，我们在一个新的测试环境中对从UGV平台收集的数据进行测试的方法。我们表明，开发的感知模型与不确定性量化可以可行地部署在UGV上，以支持在线感知和导航任务。
2022-09-22 cs.CV cs.LG cs.RO
TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same
University of Illinois at Chicago（伊利诺伊大学香槟分校）；Intel Labs（英特尔实验室）
TRIAGE通过分解不确定性为概率和epistemic组件，改进机器人操作和自适应感知的性能和效率。
2026-03-09 cs.LG cs.RO
Safe Perception-Based Control under Stochastic Sensor Uncertainty using Conformal Prediction
University of Pennsylvania（宾夕法尼亚大学）；University of Southern California（南加州大学）
针对感知映射误差与未知分布随机噪声导致的系统安全风险，提出基于共形预测的感知控制框架，结合自触发控制与测量鲁棒控制屏障函数设计采样控制器，实现不依赖感知映射和噪声分布的概率安全保证，并在F1/10th赛车上验证有效。
2023-08-25 cs.LG cs.RO cs.SY
Prospect Theory in Physical Human-Robot Interaction: A Pilot Study of Probability Perception
本研究通过物理耦合任务探讨人类在不确定性下的行为差异，发现两种决策模式并提出累积前景理论作为更准确的行为模型。
2025-12-09 cs.RO
SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency
Facebook AI Research（Facebook AI研究院）；Carnegie Mellon University（卡内基梅隆大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；UC Berkeley（加州大学伯克利分校）
在本文中，我们将探讨如何在互联网图像的数据和模型的基础上构建，并使用它们来适应机器人视觉，而无需任何额外的标签。我们提出了一个框架，称为自我监督的主动学习主动学习（SEAL）。它利用在互联网图像上训练的感知模型来学习主动探索策略。该探索策略收集的观察结果使用3D一致性进行标记，并用于改进感知模型。我们构建并利用3D语义地图，以完全自我监督的方式学习动作和感知。语义图是用来计算一个内在的动机奖励训练的探索政策，并使用时空3D一致性和标签传播标记的代理观察。我们证明了SEAL框架可以用于关闭动作感知循环：它通过在训练环境中移动来提高预先训练的感知模型的目标检测和实例分割性能，并且改进的感知模型可以用于改进对象目标导航。
2021-12-02 cs.AI cs.CV cs.LG
Consensus-Driven Uncertainty for Robotic Grasping based on RGB Perception
Stevens Institute of Technology（斯蒂文斯理工学院）
提出一种训练轻量级深度网络的方法，通过真实图像姿态估计和模拟抓取生成数据，预测基于图像姿态估计的抓取能否成功，并发现多物体联合训练有益。
2025-06-26 cs.CV cs.RO
Learning How to Trade-Off Safety with Agility Using Deep Covariance Estimation for Perception Driven UAV Motion Planning
Istanbul Technical University（伊斯坦布尔理工大学）；Turkish-German University（土耳其-德国大学）
针对敏捷无人机导航任务，研究了如何利用预测模型选择基于感知不确定性估计的运动规划策略。虽然有各种各样的运动规划和感知算法，这样的任务，感知的不确定性的影响是没有明确地处理在许多当前的运动算法，这导致在现实生活中的情况下，测量往往是嘈杂的，由于外部干扰的性能损失。我们开发了一个新的框架嵌入感知不确定性的高层次运动规划管理，以选择最好的可用运动规划方法，目前估计的感知不确定性。我们使用深度神经网络（CovNet）来估计视觉输入的不确定性，该深度神经网络明确预测当前测量的协方差。接下来，我们训练一个高级机器学习模型，用于在给定协方差的当前估计以及UAV状态的情况下预测最低成本的运动规划算法。我们证明了现实生活中的数据和无人机竞赛模拟，我们的方法，命名为不确定性驱动的运动规划切换器（UDS）产生的最安全和最快的轨迹之间比较的替代品。此外，我们表明，开发的方法学习如何权衡安全与敏捷性切换到运动规划，导致更敏捷的轨迹时，估计的协方差是高的，反之亦然。
2020-12-11 cs.RO cs.SY eess.SY
Safe Adaptive Cruise Control Under Perception Uncertainty: A Deep Ensemble and Conformal Tube Model Predictive Control Approach
University of Michigan（密歇根大学）
本文融合Deep Ensemble与Conformal Prediction量化RGB感知不确定性，并设计Conformal Tube MPC自适应巡航控制器，在高保真仿真及OOD场景中实现概率安全的速度跟踪与车距保持。
2024-12-05 cs.AI cs.RO cs.SY
Introspective Robot Perception using Smoothed Predictions from Bayesian Neural Networks
DLR（德国航空航天中心）
这项工作的重点是改善不确定性估计领域的对象分类从RGB图像，并证明了它的好处，在两个机器人应用程序。我们采用（BNN），并评估两个实用的推理技术，以获得更好的不确定性估计，即混凝土辍学（CDP）和克罗内克因子拉普拉斯近似（Kronecker）。我们使用更可靠的不确定性估计作为条件随机场（CRF）内的一元潜力，这是能够将上下文信息以及性能提高。此外，所获得的不确定性被利用来实现领域自适应在半监督的方式，这需要较少的人工努力，在注释数据。我们在两个与机器人感知任务相关的公共基准数据集上评估了我们的方法。
2021-09-27 cs.AI cs.RO
Co-GLANCE: Uncertainty-Aware Active Perception for Heterogeneous Robot Teaming
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出Co-GLANCE系统，通过蒸馏视觉语言模型实现实时遮挡分割与机器人分配，结合共形预测与选择性弃权提供统计保证的不确定性量化，驱动主动感知，在真实场景中遮挡分割和分配准确率分别提升25%和36%，推理延迟降低350倍。
2026-06-07 cs.AI cs.LG cs.MA
Bridging Learned Visual Perception and Symbolic Belief-Space Planning
Technion - Israel Institute of Technology（以色列理工学院）
本文提出VLM作为概率接地器的新范式，将视觉-语言模型的谓词接地不确定性建模为符号状态上的概率分布，实现信念空间规划，在模拟家庭机器人环境中提升了鲁棒性和任务成功率。
2026-09-16 cs.AI cs.RO
Uncertainty-aware Self-supervised 3D Data Association
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Honda Research Institute（本田研究院）
3D对象跟踪器通常需要在大量带注释的数据上进行训练，这是昂贵且耗时的。相反，我们建议通过3D对象跟踪器的自监督度量学习来利用大量未标记的数据集，重点是数据关联。通过跨帧的自动目标检测和关联，廉价地获得未标记数据的大规模注释。我们展示了如何以原则性的方式使用这些自监督注释来学习对3D跟踪有效的点云嵌入。我们估计并将不确定性纳入自监督跟踪中，以学习更强大的嵌入，而不需要任何标记数据。我们设计嵌入来区分帧间的对象，并使用不确定性感知的自我监督训练来学习它们。最后，我们展示了他们跨帧执行准确数据关联的能力，以实现有效和准确的3D跟踪。项目视频和代码在https://jianrenw.github.io/Self-Supervised-3D-Data-Association。
2020-08-18 cs.CV cs.RO
SPIRIT: Perceptive Shared Autonomy for Robust Robotic Manipulation under Deep Learning Uncertainty
SPIRIT通过结合深度学习的不确定性估计与触觉遥控，实现安全稳健的机器人操作，提升性能与可靠性。
2026-03-05 cs.AI cs.RO
Uncertainty Quantification of Set-Membership Estimation in Control and Perception: Revisiting the Minimum Enclosing Ellipsoid
Princeton University（普林斯顿大学）；LAAS-CNRS（法国国家科学研究中心LAAS实验室）；Toulouse School of Economics (TSE)（图卢兹经济学院）；School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）
针对集合成员估计集合难以处理的问题，本文改进基于平方和松弛的最小包围椭球层次框架，通过约束剪枝、广义松弛Chebyshev中心和非欧几何处理实现紧致过近似，并在系统辨识与位姿估计中验证。
2024-08-02 cs.RO math.OC
Competency-Aware Planning for Probabilistically Safe Navigation Under Perception Uncertainty
Department of EECS, UC Berkeley（电子工程与计算机科学系，伯克利大学）
本文提出PaRCE方法，通过估计模型对输入图像的整体和局部熟悉度，提升在感知不确定性下的导航安全性与效率。
2025-07-26 cs.AI cs.CV cs.RO
On Domain-Specific Pre-Training for Effective Semantic Perception in Agricultural Robotics
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；La Sapienza University of Rome（罗马第一大学）
农业机器人有望实现更高效和可持续的粮食、饲料和纤维农业生产。作物和杂草的感知是农业机器人的核心组成部分，其目的是以自动方式监测田地并评估植物及其生长阶段。语义感知主要依赖于使用监督方法的深度学习，这需要时间和合格的工人来标记相当大量的数据。在本文中，我们研究了在不影响最终分割性能的情况下减少标签数量的问题。对于在现场操作的机器人来说，以监督的方式预训练网络已经是一种流行的方法，可以减少所需标记图像的数量。我们研究了使用目标域的数据以自我监督的方式进行预训练的可能性。为了更好地利用这些数据，我们提出了一套特定于域的增强策略。我们评估了我们在语义分割和叶实例分割上的预训练，这是我们领域中的两个重要任务。实验结果表明，与常用的预训练相比，使用特定于领域的数据与我们的数据增强策略配对的预训练会带来更好的性能。此外，预训练的网络获得了与具有较少标记数据的完全监督网络相似的性能。
2023-03-22 cs.CV cs.LG cs.RO
Perception Beyond the Visible: Incompleteness-Aware Scene Understanding for Robot Autonomy
该研究针对机器人自主中感知系统仅建模可见区域等假设失效问题，提出感知完整性感知场景理解愿景，通过多类技术应对三大挑战，旨在开发支持动态开放世界可靠自主的场景表征。
2026-10-14 cs.CV cs.RO
SGTM 2.0: Autonomously Untangling Long Cables using Interactive Perception
University of California, Berkeley（加州大学伯克利分校）；Toyota Research Institute（丰田研究院）
电缆在家庭、医院和工业仓库中很常见，并且容易缠结。本文通过引入新的不确定性量化指标和与电缆相互作用以减少感知不确定性的行动，扩展了自主解开长电缆的先前工作。我们提出了滑动和抓取缠结操作2.0（SGTM 2.0），一个系统，自主解开电缆约3米长的双边机器人使用估计的不确定性，在每一步通知行动。通过交互式地减少不确定性，用于缠结操作的滑动和抓取2.0（SGTM 2.0）减少了必须进行的状态重置移动的数量，显著加快了运行时间。实验表明，SGTM 2.0可以在1或2个上手结和8字形结的电缆上实现83%的解缠成功率，在这些配置中实现70%的端接检测成功率，在解缠准确性方面优于SGTM 1.0 43%，在完全展开速度方面优于SGTM 1.0 200%。补充材料、可视化和视频可以在sites.google.com/view/sgtm2上找到。
2022-09-27 cs.AI cs.LG cs.RO
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
在这项工作中，我们考虑的问题，学习的感知模型，单目机器人导航，使用很少的注释图像。使用视觉Transformer（ViT）预训练的无标签的自我监督的方法，我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割，并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT，并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率，甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理，我们部署在差分驱动移动机器人执行两项任务：车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
Self-Supervised Domain Calibration and Uncertainty Estimation for Place Recognition
Polytechnique Montréal（蒙特利尔综合理工学院）
近年来，基于深度学习的视觉位置识别技术已经成为最先进的技术，但不能很好地推广到视觉上与训练集不同的环境。因此，为了实现最佳性能，有时需要根据目标环境对网络进行微调。为此，我们提出了一种自监督域校准过程的基础上强大的姿态图优化同时定位与地图构建（SLAM）作为监督信号，而不需要GPS或手动标记。此外，我们利用该过程来提高位置识别匹配的不确定性估计，这在安全关键应用中是重要的。我们表明，我们的方法可以提高一个国家的最先进的技术在目标环境中的性能不同于它的训练集，我们可以获得不确定性估计。我们相信，这种方法将有助于从业者在现实世界的应用中部署强大的位置识别解决方案。我们的代码可公开获取：https://github.com/MISTLab/vpr-calibration-and-uncertainty
2023-03-14 cs.CV cs.RO
Breaking the Epistemic Trap: Active Perception Under Compound Uncertainty
School of Electrical Engineering and Robotics（电气工程与机器人学学院）
针对强化学习在安全关键领域中因状态-动力学耦合不确定性导致的失败，提出基于互信息的复合不确定性系数和主动信息寻求策略的适应性安全架构。
2026-06-29 cs.RO cs.SY eess.SY
Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对多模态基础模型在机器人感知与规划中的不确定性问题，提出解耦、量化并缓解感知与决策不确定性的框架，通过保形预测、FMDP量化及靶向干预，降低变异性40%、提升成功率5%，增强系统可靠性。
2025-04-17 cs.AI cs.CV cs.LG
Active Perception using Light Curtains for Autonomous Driving
Carnegie Mellon University（卡内基梅隆大学）
大多数现实世界的3D传感器（如LiDAR）对整个环境进行固定扫描，同时与处理传感器数据的识别系统解耦。在这项工作中，我们提出了一种使用光幕进行3D对象识别的方法，光幕是一种资源高效的可控传感器，可以在环境中用户指定的位置测量深度。至关重要的是，我们建议使用基于深度学习的3D点云检测器的预测不确定性来引导主动感知。给定神经网络的不确定性，我们使用最大化信息增益的原则推导出放置光幕的优化目标。然后，我们开发了一种新的和有效的优化算法，以最大限度地提高这一目标，通过编码到一个约束图的设备的物理约束和优化与动态规划。我们展示了如何训练3D检测器通过顺序放置不确定性引导光幕来检测场景中的对象，以连续提高检测精度。代码和细节可以在项目网页上找到：http://siddancha.github.io/projects/active-perception-light-curtains。
2020-08-05 cs.CV cs.LG cs.RO
Occupancy Grids: A Stochastic Spatial Representation for Active Robot Perception
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
在本文中，我们提供了一个新的框架，机器人感知，真实世界的建模和导航，使用一个随机的镶嵌表示的空间信息称为占领网格的概述。Occupational Grid是一个多维随机场模型，它维护空间网格中每个单元的占用状态的概率估计。贝叶斯估计机制，采用随机传感器模型允许增量更新的占领网格使用多视图，多传感器数据，多个地图的组成，决策，并纳入机器人和传感器位置的不确定性。我们提出了潜在的随机制定的占领网格框架，并讨论其应用程序的各种机器人獠牙。这些包括基于范围的映射，多传感器集成，路径规划和避障，处理机器人位置的不确定性，纳入预编译的地图，恢复的几何表示，以及其他相关的问题。实验结果表明，Occupational Grid方法生成密集的世界模型，在传感器不确定性和误差下是鲁棒的，并且允许显式处理不确定性。它支持开发强大而灵活的传感器解释方法，增量发现程序以及来自多个来源的信息组合。此外，结果表明，机器人任务可以通过直接在Occupational Grid上执行的操作来解决，并且这些操作与在图像处理域中执行的操作具有很强的相似性。
2013-03-27 cs.AI cs.RO
OctoSense: Self-Supervised Learning for Multimodal Robot Perception
提出OctoSense传感器平台和数据集，通过“晚融合”掩码自编码器实现多模态自监督学习，在多种退化条件下鲁棒预测光流、深度、语义分割和自运动。
2026-06-26 cs.CV cs.RO
Predictive Control for Driving under Uncertain Road Geometry Estimated from Onboard Vision
Institute for Dynamic Systems and Control, ETH Zurich（动态系统与控制研究所，苏黎世联邦理工学院）
研究自动驾驶车辆在未知道路行驶时的控制问题，提出基于感知的控制框架，通过约束非线性优化识别道路曲率参数模型，结合场景模型预测控制传播曲率不确定性，经模拟和实际数据验证，该框架能让车辆更严格遵守道路边界。
2026-07-29 cs.RO cs.SY eess.SY
