Decision-Aware Uncertainty Evaluation of Vision-Language Model-Based Early Action Anticipation for Human-Robot Interaction
本文提出了一种系统评估基于视觉语言模型的短期动作识别在人机交互中的不确定性方法,通过引入时间前缀评估协议和校准度量标准,揭示了部分观测下的误校准模式和失败模式,为信心门控的人机交互模块提供了可靠性证据。
2026-03-12 cs.RO
Mutual Adaptation in Human-Robot Co-Transportation with Human Preference Uncertainty
George Mason University(乔治·马歇尔大学);University of California, Riverside(加州大学河滨分校)
针对人机协同运输中人类偏好参数不确定及适应策略平衡问题,提出统一框架,通过建模偏好概率分布、时变固执度及协调规划模型,结合位姿优化策略,实现相互适应以提升任务性能。
2026-06-18 cs.RO
Modeling Human Temporal Uncertainty in Human-Agent Teams
Human Experience and Agent Teamwork Lab(人类体验与智能体团队合作实验室);Harvey Mudd College(哈维穆德学院)
自动化调度是一个非常有用的工具,可以促进机器人和人类队友之间高效、直观的互动。然而,目前的差距自动调度是,它不是很好地理解如何最好地表示人类队友引入的时间不确定性。本文试图通过设计一个在线人机协作包装游戏来解决这个问题,我们使用这个游戏来构建一个来自人群工作者的人类时间不确定性模型。我们的结论是,重尾分布是人类时间不确定性的最佳模型,对数正态分布实现了我们的实验数据的最佳拟合。我们讨论了这些结果以及我们的协作在线游戏将如何通知和促进未来的探索调度,以提高人类机器人的流畅性。
2020-10-09 cs.AI cs.RO
VR-DAgger: Immersive VR for Dexterous Data Collection and Uncertainty-Guided On-Policy Correction
Robotics Systems Lab(机器人系统实验室);ETH Zürich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);ETH Augmented Reality Research Lab(ETH增强现实研究实验室);ETH Mobility Initiative(ETH移动性倡议);ANYbotics AG(ANYbotics公司);Swiss Federal Railways(瑞士联邦铁路)
提出VR-DAgger框架,通过VR应用进行灵巧遥操作和数据收集,利用MC Dropout不确定性评分选择关键失败片段进行在线校正,在灵巧操作任务上相比行为克隆提升高达23个百分点,并减少约40%的样本收集时间。
2026-05-28 cs.RO
Adaptive Task Allocation in Multi-Human Multi-Robot Teams under Team Heterogeneity and Dynamic Information Uncertainty
Purdue University(普渡大学);College of Mechanical and Electrical Engineering, Beijing University of Chemical Technology(北京化工大学机电工程学院)
针对多人类多机器人团队任务分配中团队异质性、动态执行和信息不确定性问题,提出基于分层强化学习的ATA-HRL框架,结合初始任务分配、条件任务重分配和辅助状态表示学习,并通过大规模环境监测案例验证其有效性。
2025-03-11 cs.RO
Robust Robot-assisted Tele-grasping Through Intent-Uncertainty-Aware Planning
Colorado School of Mines(科罗拉多矿业学院);Duke University(杜克大学)
在遥操作中,研究主要集中在目标接近,我们处理更具挑战性的对象操作任务,通过推进共享控制技术。由于特定操作任务的精细运动约束要求,适当地操作对象是具有挑战性的。虽然这些运动约束是任务成功的关键,但在观察模糊的人体运动时,它们往往是微妙的。非具体化问题和人类和机器人手之间的物理差异带来了额外的不确定性,进一步夸大了对象操作任务的复杂性。此外,还缺乏规划和建模技术,可以有效地结合人类和机器人代理的运动输入,同时考虑人类意图的模糊性。为了克服这一挑战,我们建立了一个多任务机器人抓取模型,并开发了一个意图不确定性感知的抓取规划器,以生成鲁棒的抓取姿势,给出了模糊的人类意图推理输入。有了这些经过验证的建模和规划技术,预计将扩展远程操作机器人的功能和采用实际的远程操作场景。
2020-05-19 cs.RO
Integrating Uncertainty-Aware Human Motion Prediction into Graph-Based Manipulator Motion Planning
University at Buffalo(布法罗大学);Texas A&M University(德克萨斯农工大学)
针对人机协作场景下机械臂安全高效运动规划问题,提出融合不确定性感知人体运动预测与图神经网络的规划框架,通过量化预测不确定性、构建工作空间元素关联图实现前瞻性规划,实验验证了其在提升协作流畅性和安全性上的效果。
2024-05-16 cs.RO
Adaptive Safety-critical Control with Uncertainty Estimation for Human-robot Collaboration
Queen’s University Belfast(贝尔法斯特女王大学)
针对人机协作中人类行为不确定带来的安全风险,提出融合 TVIBLF 与 AECBF 的自适应安全关键控制框架及二次惩罚最短路径方法,确保机器人在意外情况下仍满足安全约束并稳定切换跟踪与避碰模式。
2023-08-19 cs.RO
Uncertainty Estimation for Safe Human-Robot Collaboration using Conservation Measures
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们提出了一种在线和数据驱动的不确定性量化方法,以实现安全的人机协作应用程序的开发。系统的安全性和风险评估与测量的准确性密切相关:独特的参数通常无法通过已知模型直接访问,因此必须进行测量。然而,由于传感器的有限性能,甚至未知的环境干扰或人类,测量通常会受到不确定性的影响。在这项工作中,我们量化这些测量的不确定性,利用守恒措施,这是定量的,系统特定的属性是恒定的,随着时间的推移,空间,或其他状态空间维度。我们的方法的关键思想在于在运行时参考守恒方程的传入数据的即时数据评估。特别是,我们估计违反先验已知的,特定领域的守恒性质,并考虑它们作为测量不确定性的后果。我们在人机协作的背景下验证了我们的方法,从而突出了我们对在真实世界条件下成功开发安全机器人系统的贡献的重要性,例如,在工业环境中。此外,我们展示了如何获得的不确定性值可以直接映射到任意的安全限制(例如,ISO 13849),允许在运行时监控安全标准的遵守情况。
2022-09-01 cs.RO
Uncertainty-Aware Velocity Correction for Proprioceptive Vehicle Localization using Evidential Mamba
AImotion Bavaria, Technische Hochschule Ingolstadt(巴伐利亚AImotion公司,英戈尔施塔特技术应用大学);Technische Universität München(慕尼黑工业大学)
针对智能车辆在GNSS信号缺失时定位难题,提出EVC-Mamba架构,利用车载传感器数据转化为虚拟速度传感器校正IMU漂移,经曼巴模型捕捉动态、证据深度学习量化不确定性,实现高精度定位且支持实时车载部署。
2026-07-08 cs.LG cs.RO
Replanning Human-Robot Collaborative Tasks with Vision-Language Models via Semantic and Physical Dual-Correction
本文提出一种通过语义和物理双校正机制提升人机协作任务中机器人重新规划能力的框架,结合视觉语言模型与物理反馈纠正,提高任务执行的成功率和可行性。
2026-07-14 cs.RO
GloPro: Globally-Consistent Uncertainty-Aware 3D Human Pose Estimation & Tracking in the Wild
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院)
GloPro首次融合视觉线索与运动模型,预测包含形状、姿态和根姿态的3D人体网格不确定性分布,在严重遮挡下仍能实时实现高精度全局一致的人体轨迹估计与跟踪。
2023-09-20 cs.CV cs.RO
Understanding the Uncertainty Loop of Human-Robot Interaction
LMU Munich(慕尼黑大学);Honda Research Institute Europe(本田欧洲研究院)
最近,人机交互领域越来越受欢迎,因为机器人在日常任务中支持人类的可能性范围很广。支持机器人的一种形式是社交辅助机器人,其专门用于与人类通信,例如,作为服务机器人或私人伴侣。当它们通过人工智能理解人类时,这些机器人会在某个时候对人类的当前状态做出错误的假设,并给出意想不到的反应。在人与人的对话中,意外的反应经常发生。然而,目前还不清楚这些机器人应该如何行动,如果他们知道人类没有预料到他们的反应,甚至显示出他们的反应的不确定性摆在首位。为此,我们探讨了不同形式的潜在的不确定性,在人类机器人对话和类人如何可以,通过语言和非语言的线索,沟通这些不确定性。
2023-03-14 cs.HC cs.RO
Uncertainty-aware Probabilistic 3D Human Motion Forecasting via Invertible Networks
The State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing, China(虚拟现实技术与系统国家重点实验室,北京航空航天大学);Department of Computer Science, Durham University(计算机科学系,杜伦大学);Zhongguancun Laboratory, Beijing, China(中关村实验室,北京)
本文提出ProbHMI,通过可逆网络在解耦隐空间中进行概率动力学建模并显式预测未来隐分布,从而在三维人体运动预测中实现有效的不确定性量化,兼顾确定性预测与多样化预测性能。
2025-07-19 cs.CV cs.RO
CUPS: Improving Human Pose-Shape Estimators with Conformalized Deep Uncertainty
Massachusetts Institute of Technology(麻省理工学院)
CUPS提出一种结合深度不确定性与共形预测的方法,用于从RGB视频估计3D人体姿态和形状,在多个数据集上达到最先进性能并具备概率保证。
2024-12-11 cs.CV cs.RO
Uncertainty-Aware Motion Planning for Autonomous Driving in Mixed Traffic Environment
Central South University(中南大学);City University of Macau(澳门城市大学)
提出不确定性感知运动规划(UAMP),通过量化人类意图不确定性并引入不确定性校准值学习,提升自动驾驶在混合交通中的安全性和舒适性。
2026-06-08 cs.AI cs.RO
Human-in-the-Loop SLAM
College of Information and Computer Sciences(信息与计算机科学学院)
构建大规模、全球一致的地图是一个具有挑战性的问题,在访问受限、特征稀疏的环境中,或者使用新手用户收集的数据时,这一问题变得更加困难。对于这种情况下,国家的最先进的映射算法产生全球不一致的地图,我们引入了一个系统的方法,将稀疏的人类校正,我们的术语人在环同时定位与地图构建(HitL-SLAM)。给定姿态图SLAM的初始因子图,HitL-SLAM接受近似的、潜在错误的和秩不足的人类输入,经由期望最大化(EM)推断预期校正,在姿态图上反向传播所提取的校正,并且最终联合优化包括人类输入作为人类校正因子项的因子图,以产生全局一致的大规模地图。因此,我们贡献了一个EM公式,用于推断潜在的排名不足的人类校正映射,和人类校正因子扩展的因素图的姿态图SLAM,导致在一个原则性的方法来联合优化的姿态图,同时占多种形式的人类校正。我们目前的实证结果显示HitL-SLAM在生成全球准确和一致的地图的有效性,即使在给定的差的初始估计的地图。
2017-11-23 cs.HC cs.RO
Multimodal Uncertainty Reduction for Intention Recognition in Human-Robot Interaction
TU Darmstadt(达姆施塔特工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Goethe University(歌德大学)
辅助机器人可以通过支持日常生活活动来提高老年人的生活质量和个人独立性。为了保证人与机器人之间安全直观的交互,需要自动识别人类意图。由于人类多模态地传达他们的意图,使用多个模态进行意图识别不仅可以增加对单个模态失败的鲁棒性,而且特别地减少了关于要预测的意图的不确定性。这是可取的,特别是在机器人和潜在的脆弱的人类之间的直接交互的情况下,最小的不确定性,以及关于这种实际的不确定性的知识是必要的。因此,在现有的方法相比,在这项工作中,多模态意图识别的新方法,重点是通过分类器融合的不确定性降低。对于四个考虑的模态语音,手势,注视方向和场景对象的个人意图分类器进行训练,所有这些输出的概率分布在所有可能的意图。通过使用贝叶斯方法独立意见池组合这些输出分布,可以减少关于要识别的意图的不确定性。该方法在一个7自由度的机器人手臂的协作人机交互任务进行评估。结果表明,融合分类器,结合多种形式优于各自的基础分类器,提高精度,鲁棒性,减少不确定性。
2019-07-04 cs.HC cs.LG cs.RO
DD-MDN: Human Trajectory Forecasting with Diffusion-Based Dual Mixture Density Networks and Uncertainty Self-Calibration
Faculty of Engineering, University of Applied Sciences Aschaffenburg(亚琛应用科学大学工程学院);Intelligent Embedded Systems Lab, University of Kassel(卡塞尔大学智能嵌入式系统实验室)
DD-MDN通过结合扩散模型和双混合密度网络,实现高精度的人体轨迹预测,具备自校准的不确定性建模和对短观察期的鲁棒性。
2026-02-11 cs.CV cs.RO
Uncertainty Aware-Predictive Control Barrier Functions: Safer Human Robot Interaction through Probabilistic Motion Forecasting
University of Verona, Department of Engineering for Innovation Medicine(威尼斯大学创新医学工程学院)
本文提出UA-PCBFs框架,将概率人手运动预测及不确定性估计与控制屏障函数结合,以动态安全裕度提升人机交互流畅性,并经真实实验证明可减少安全空间侵犯。
2025-08-28 cs.AI cs.RO
Uncertainty Comes for Free: Human-in-the-Loop Policies with Diffusion Models
本文提出一种利用扩散模型生成过程计算不确定性度量的方法,使机器人策略仅在必要时请求人类协助,减少持续监督需求,并支持高效数据收集以提升自主性能。
2025-10-09 cs.LG cs.RO
On Trustworthy Decision-Making Process of Human Drivers from the View of Perceptual Uncertainty Reduction
Beijing University of Technology(北京工业大学);McGill University(麦吉尔大学)
人类是在具有不确定性的驾驶任务中做出决策的专家。已经做出了许多努力来在行为水平上对人类驾驶员的决策过程进行建模。然而,有限的研究解释了人类驾驶员如何在不确定的环境中主动做出可靠的顺序决策来完成交互式驾驶任务。本文认为,人类驾驶员专注地寻找行动,以减少他们对环境感知的不确定性,即,感知的不确定性,使他们能够轻松做出值得信赖的决定。本文提供了一个概念验证框架,以经验表明,人类驾驶员的感知不确定性降低时,执行交互式任务的不确定性。我们首先介绍一种可解释的人工智能方法(即,SHapley加法解释,SHAP)来确定人类驾驶员做出决策的显著特征。然后,我们使用基于熵的措施来量化驾驶员在整个决策过程中对这些排名显著特征的感知变化,反映不确定性的变化。我们提出的方法进行了验证和验证,在高速公路入口匝道合并的情况下,拥挤的交通使用INTERACTION数据集。实验结果支持,人类司机有意寻求信息,以减少他们的感知的显着特征的数量和排名的不确定性,他们的感知环境,使一个值得信赖的决定。
2022-10-15 cs.RO cs.SY eess.SY
Knowing When to Ask: Resolving Uncertainty in Human-Robot Joint Planning via Explicit Dialogue and Implicit Intent Cues
Department of Electrical and Computer Engineering, George Washington University(电气与计算机工程系,乔治华盛顿大学);Department of Mechanical and Aerospace Engineering, George Washington University(机械与航空航天工程系,乔治华盛顿大学);Department of Electrical and Computer Engineering, Northeastern University(电气与计算机工程系,东北大学)
本文提出一种双模式人机联合规划系统,通过缓解不确定性与推断意图,提升人机协作效率。
2026-08-11 cs.HC cs.RO
Uncertainty-based Arbitration of Human-Machine Shared Control
本文提出基于自动化不确定性的机人类共享控制仲裁方法,通过调整自主级别提升任务完成的容错能力,实验显示共享控制方法在任务完成误差容忍度上提升超5倍。
2015-11-18 cs.RO cs.SY eess.SY
Simultaneous Human-robot Matching and Routing for Multi-robot Tour Guiding under Time Uncertainty
Robotics Institute University of Michigan(密歇根大学机器人研究所);DEVCOM GVSC US Army(美国陆军作战能力发展司令部地面车辆系统中心)
本文提出了一种在部分已知的不确定环境中(如博物馆)进行多机器人导游的框架。在建议的集中式多机器人规划器,同时匹配和路由问题(SMRP)制定匹配的人与机器人导游根据他们选择的兴趣点(POI),并根据不确定的空间和时间的估计产生的机器人的路线和时间表。一个大的邻域搜索算法,有效地找到次优的低成本解决方案的SMRP。的可扩展性和最优性的多机器人规划计算评估下不同数量的人,机器人和POI。测试的最大案例涉及50个机器人,250个人类和50个POI。为了验证该系统在不确定室内环境中的导游性能,基于人工智能开发了一个具有照片级真实感的多机器人仿真平台。结果表明,所提出的集中式旅游规划是可扩展的,在不同的环境约束下的计划,使一个平稳的权衡,并可以导致鲁棒性能与不准确的不确定性估计(在一定的利润率)。
2022-01-25 cs.MA cs.RO
Learning from Human Directional Corrections
University of Pennsylvania(宾夕法尼亚大学);Northwestern University(西北大学);Purdue University(普渡大学)
本文提出了一种新的方法,使机器人学习的目标函数逐步从人类的方向校正。现有的方法从人类幅度校正中学习;由于人类需要仔细选择每个校正的幅度,这些方法很容易导致过度校正和学习效率低下。所提出的方法只需要人为的方向修正--修正只指示输入变化的方向,而不指示其大小。我们只假设每个校正,无论其大小,在一个方向,改善机器人的当前运动相对于一个未知的目标函数的点。满足这一假设的允许修正占输入空间的一半,而不是幅度修正必须位于一个收缩的水平集。对于每个方向校正,所提出的方法更新的目标函数的估计的基础上的切割平面的方法,它具有几何解释。我们已经建立了理论结果,以显示收敛的学习过程。所提出的方法已在数值示例、两款人机游戏的用户研究以及真实世界的四旋翼实验中进行了测试。结果证实了所提出的方法的收敛性,并进一步表明,该方法是显着更有效的(更高的成功率),高效/轻松(需要更少的人工校正),并可能更容易(更少的早期浪费的试验)比最先进的机器人学习框架。
2022-08-05 cs.LG cs.RO cs.SY
Compliant Residual DAgger: Improving Real-World Contact-Rich Manipulation with Human Corrections
CR-DAgger通过合规干预接口和残差策略提升现实接触密集操作任务的性能,以64%的提升率改进基线策略。
2025-12-25 cs.LG cs.RO
Toward Reliable Human Pose Forecasting with Uncertainty
EPFL(洛桑联邦理工学院)
该研究针对人体姿态预测领域缺乏统一基准和不确定性分析不足的问题,开发了开源评估库并提出两类不确定性建模方法,实现短期预测性能提升及更优的不确定性估计。
2024-04-12 cs.CV cs.HC cs.RO
TATIC: Task-Aware Temporal Learning for Human Intent Inference from Physical Corrections in Human-Robot Collaboration
Department of Mechanical Engineering, Texas A&M University(机械工程系,德克萨斯农工大学);Department of Civil and Environmental Engineering, Texas A&M University(土木与环境工程系,德克萨斯农工大学)
TATIC通过结合扭矩接触力估计和任务感知的时序卷积网络,实现从物理修正中推断任务级意图和连续运动参数,提升人机协作中的意图识别与运动适应能力。
2026-03-10 cs.RO cs.SY eess.SY
Limits of Probabilistic Safety Guarantees when Considering Human Uncertainty
California Institute of Technology(加州理工学院)
当自动驾驶机器人与人类互动时,例如在自动驾驶过程中,明确的安全保障至关重要,以避免可能危及生命的事故。许多数据驱动的方法已经探索了学习人类代理轨迹的概率边界(即包含概率为$δ$的轨迹的置信度管),然后可以使用概率$1-δ$来保证安全性。然而,几乎所有现有的作品都考虑了$δ\geq 0.001$。本文的目的是认为:(1)在安全关键的应用程序中,有必要提供安全保证与$δ< 10^{-8}$,和(2)目前的学习为基础的方法是装备不良,以计算准确的置信区间在这样低的$δ$。使用人类驾驶数据(从highD数据集),以及合成生成的数据,我们表明,目前的不确定性模型使用不准确的分布假设来描述人类行为和/或需要不可行的数据量,以准确地学习$δ\leq 10^{-8}$的置信区间。这两个问题导致不可靠的置信界限,如果部署在安全关键系统上,可能会产生危险的影响。
2021-03-25 cs.MA cs.RO cs.SY
Uncertainty, Vagueness, and Ambiguity in Human-Robot Interaction: Why Conceptualization Matters
Knowledge Technology Group, Department of Informatics, University of Hamburg(汉堡大学信息学院知识技术组)
本文探讨了人机交互中不确定性、模糊性和歧义的概念差异与联系,提出一致的概念基础以提升理论发展和方法设计。
2026-03-10 cs.AI cs.HC cs.RO
Active Uncertainty Reduction for Human-Robot Interaction: An Implicit Dual Control Approach
Princeton University(普林斯顿大学)
准确预测人类行为的能力对于机器人在交互式环境中的自主性的安全性和效率至关重要。不幸的是,机器人通常无法获得这些预测可能依赖的关键信息,例如人们的目标,注意力和合作意愿。对偶控制理论通过将预测模型的未知参数视为随机隐藏状态并使用系统操作期间收集的信息在运行时推断其值来解决这一挑战。虽然能够最佳地和自动地权衡探索和开发,但对于一般的交互式运动规划,双重控制在计算上是难以处理的,这主要是由于机器人轨迹优化和人类意图推理之间的基本耦合。在本文中,我们提出了一种新的算法方法,使主动减少不确定性的互动运动规划的基础上隐式双控制范式。我们的方法依赖于基于采样的随机动态规划的近似,从而导致一个模型预测控制问题,可以很容易地解决的实时梯度为基础的优化方法。由此产生的政策,以保持双控制效果的一类广泛的预测人类模型的连续和分类的不确定性。我们的方法的有效性与模拟驾驶的例子证明。
2022-06-05 cs.LG cs.RO cs.SY