Causal versus Marginal Shapley Values for Robotic Lever Manipulation Controlled using Deep Reinforcement Learning
Norwegian University of Science and Technology (NTNU)(挪威科技大学 (NTNU))
我们调查的影响,包括领域知识的机器人系统的因果关系时产生的解释。为此,我们比较了可解释人工智能的两种方法,流行的KernelSHAP和最近的因果SHAP,在使用深度强化学习训练的深度神经网络上使用机器人操纵器控制杠杆的任务。KernelSHAP的一个主要缺点是它的解释只表示特征对模型输出的直接影响,而不考虑特征通过影响其他特征对输出的间接影响。因果SHAP使用部分因果排序来改变KernelSHAP的抽样程序,以纳入这些间接影响。这种部分因果排序定义了特征之间的因果关系,我们使用关于杠杆控制任务的领域知识来指定这一点。我们表明,使解释方法来解释间接影响,并结合一些领域的知识,可以导致更好地符合人类直觉的解释。这对于现实世界的机器人任务特别有利,其中有相当大的因果关系在起作用,此外,所需的领域知识通常是方便可用的。
2021-11-04 cs.LG cs.RO
AVL-JEPA: Preventing Causal Dynamics Information Collapse In Joint Embedding Predictive Architecture World Models
Central South University(中南大学);Yanshan University(燕山大学)
针对JEPA世界模型丢弃动作因果动态信息的问题,提出动作锚定视觉不变潜在(AVL)方法,通过动作锚点和视觉不变路径防止信息坍缩,在四个机器人任务上显著提升扰动下的成功率。
2026-11-18 cs.RO
CAGE: Causal Attention Enables Data-Efficient Generalizable Robotic Manipulation
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出 CAGE 机器人操作策略,融合 DINOv2、LoRA、因果 Perceiver 与扩散动作头,仅用 50 个演示即可显著提升视觉变化下的泛化与任务表现。
2024-12-06 cs.RO
CADeT: Causal-Aware Deformation Transmission for Indirect Robotic Manipulation of Soft Tissue
University of Leeds(利兹大学)
针对机器人辅助微创手术中软组织间接操作的模糊性问题,提出因果感知变形传递框架CADeT,结合结构因果模型与主动感知,实现模式识别与形状控制,验证中优于基线。
2026-10-01 cs.RO
Efficient Causal Discovery for Robotics Applications
University of Lincoln(林肯大学);University of Padua(帕多瓦大学)
本文提出了一种名为F-PCMCI的快速准确的因果分析方法,能够在有限计算资源下实时重构人机交互场景的因果模型,从而提升机器人与人类的交互质量。
2023-10-24 cs.AI cs.RO
Improving Generalization Ability of Robotic Imitation Learning by Resolving Causal Confusion in Observations
DATA61 of CSIRO(CSIRO DATA61)
针对机器人模仿学习泛化性差的问题,本研究提出显式学习观测与动作的因果关系,简化了特征解耦要求,构建可嵌入主流架构的因果学习框架,经仿真验证能显著提升域偏移下的性能。
2025-07-30 cs.LG cs.RO
Real-time Robotics Situation Awareness for Accident Prevention in Industry
Technological University of Uruguay(乌拉圭技术大学)
本研究提出基于移动机器人与YOLOv8/v5的人机交互方法,利用目标分割实时分析工业场景,通过文本转语音预警未佩戴安全装备等危险情况,有效提升工人安全。
2024-09-04 cs.RO
A Human-Centered Approach for Bootstrapping Causal Graph Creation
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出以人为本的增强现实框架,让人在变量选择、关系建立、干预、反事实解释和图评估中参与因果发现,并以机械臂拾取放置任务验证其潜力。
2024-03-03 cs.RO
CausalWorld: A Robotic Manipulation Benchmark for Causal Structure and Transfer Learning
ETH Zürich(苏黎世联邦理工学院);MPI Tübingen(图宾根马克斯·普朗克研究所);Mila, University of Montreal(蒙特利尔大学Mila)
尽管最近强化学习(RL)的成功,它仍然是一个挑战,代理人学习的技能转移到相关的环境。为了促进解决这个问题的研究,我们提出了因果结构和迁移学习在机器人操作环境中的一个基准Causal World。该环境是一个开源机器人平台的模拟,因此提供了仿真到现实迁移的可能性。任务包括从一组给定的块构建3D形状-灵感来自儿童如何学习构建复杂的结构。Causal World的关键优势在于,它提供了具有共同因果结构和潜在因素的此类任务的组合家族(包括,例如,机器人和物体质量、颜色、尺寸)。用户(或代理)可以干预所有因果变量,这允许对不同任务(或任务分布)的相似程度进行细粒度控制。因此,可以容易地定义期望难度水平的训练和评估分布,以特定形式的泛化为目标(例如,仅改变外观或物体质量)。此外,这种常见的参数化有助于通过在初始任务和目标任务之间进行插值来定义课程。虽然用户可以定义自己的任务分布,但我们提出了八种有意义的分布作为具体的基准,从简单到非常具有挑战性,所有这些都需要长期规划以及精确的低级运动控制。最后,我们为这些任务的一个子集提供了不同的培训课程和相应的评估协议的基线结果,验证了该基准中任务的可行性。
2020-11-24 cs.LG cs.RO stat.ML
PREVENT: Proactive Risk Evaluation and Vigilant Execution of Tasks for Mobile Robotic Chemists using Multi-Modal Behavior Trees
Department of Chemistry and Material Innovation Factory, University of Liverpool(化学系和材料创新工厂,利物浦大学);Center for Life Science Automation, University of Rostock(生命科学自动化中心,罗斯托克大学)
针对移动机器人化学家缺乏工作流感知导致异常中断的问题,提出基于多模态行为树的PREVENT系统,通过分层感知机制实现高效决策,在模拟风险场景中完全避免误报漏报,并提升部署准确率。
2025-10-24 cs.RO
Implementing a Robot Intrusion Prevention System (RIPS) for ROS 2
Universidad Rey Juan Carlos(胡安卡洛斯国王大学);EIF
本文针对自主机器人系统面临的安全威胁,基于 ROS 2 设计并实现了机器人入侵防御系统 RIPS,提出专用规则语言和威胁模型,并通过真实社交机器人实验验证了其有效性。
2024-12-26 cs.CR cs.RO
Autonomous Robotic Arm Manipulation for Planetary Missions using Causal Machine Learning
Cranfield University(克兰菲尔德大学);School of Aerospace, Transport and Manufacturing, Cranfield University(克兰菲尔德大学航空、运输与制造学院)
本文提出在模拟行星环境中结合因果机器学习与强化学习,使机械臂无需先验知识或预收集数据即可通过交互识别物体的质量、摩擦系数等因果因素。
2024-03-01 astro-ph.EP astro-ph.IM cs.LG
FARM: Reading Failure Signals from the Internal Predictive States of a Frozen Robotic World Model
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Harbin Institute of Technology(哈尔滨工业大学)
FARM通过仅训练一个33,985参数的读取器,从冻结的VLA-JEPA世界模型预测状态中解码失败信号,实现低延迟、可迁移的因果执行监控,并在多任务基准上取得最优性能。
2026-09-11 cs.RO
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Learning Low-Level Causal Relations using a Simulated Robotic Arm
Comenius University Bratislava(布拉迪斯拉发考门斯基大学);Faculty of Mathematics, Physics and Informatics, Comenius University Bratislava(布拉迪斯拉发考门斯基大学数学、物理与信息学院);University of Hamburg(汉堡大学)
本文利用模拟机械臂的感觉运动数据学习前向与逆向模型,并通过特征归因分析揭示低层因果关系,为状态降维和高层因果可解释性提供基础。
2024-12-24 cs.AI cs.LG cs.RO
RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics
Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学);YXGN Robotics(YXGN机器人);China University of Mining and Technology(中国矿业大学);Shenzhen Technology University(深圳技术大学);Huazhong University of Science and Technology(华中科技大学);Xiamen University(厦门大学)
RoboStream通过时空融合令牌和因果时空图实现持久记忆,解决机器人长时间任务中的几何锚定和状态追踪问题,提升长期任务表现。
2026-07-13 cs.RO
Causal Counterfactuals for Improving the Robustness of Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院)
本文提出完整因果RL框架CausalCF,融合Causal Curiosity的干预机制与改造后的CoPhy反事实推理,并在CausalWorld机器人任务中验证其可提升RL鲁棒性。
2023-06-05 cs.AI cs.LG cs.RO
Message Flow Analysis with Complex Causal Links for Distributed ROS 2 Systems
Polytechnique Montréal(蒙特利尔综合理工学院)
分布式机器人系统在很大程度上依赖于网络订阅通信范式和支持它的中间件框架,如机器人操作系统(ROS),以有效地实现模块化计算图。ROS2执行器是一个处理ROS2消息的高级任务调度器,它是一个性能瓶颈。我们扩展了ros2_tracing,一个框架与仪器和工具的实时跟踪的ROS 2,跨分布式ROS 2系统的消息流的分析和可视化。我们的方法检测输入和输出消息之间的一对多和多对多的因果联系,包括通过简单的用户级注释的间接因果联系。我们验证我们的方法在合成和真实的机器人系统,并证明其低运行时开销。此外,可以进一步利用底层中间执行表示数据库来提取附加度量和高级结果。这可以为进一步研究和改进ROS 2执行器以及优化任何ROS 2系统提供有价值的时间和调度信息。源代码可在https://github.com/christophebedard/ros2-message-flow-analysis上获得。
2023-01-02 cs.RO
Exploring Causality for HRI: A Case Study on Robotic Mental Well-being Coaching
University of Cambridge(剑桥大学);Politecnico di Milano(米兰理工大学);Indian Institute of Technology Madras(马德拉斯印度理工学院);Bogazici University(博阿齐奇大学)
本文以工作场所中为期四周的自适应机器人心理健康辅导为案例,采用宏观与微观因果分析,探究机器人依据面部效价、言语时长等多模态行为进行自适应对提升幸福感的作用。
2025-03-04 cs.AI cs.CY cs.HC
Causality-Aware Transformer Networks for Robotic Navigation
University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学);Commonwealth Scientific and Industrial Research Organisation(英联邦科学与工业研究组织)
针对现有视觉导航方法忽略具身智能特性、泛化性不足的问题,提出带因果理解模块的因果感知Transformer网络,无任务特定归纳偏置、可端到端训练,在多环境多任务中性能优于基准。
2024-10-05 cs.AI cs.LG cs.RO
ROS-Causal: A ROS-based Causal Analysis Framework for Human-Robot Interaction Applications
University of Lincoln(林肯大学);University of Padua(帕多瓦大学);National Research Council of Italy(意大利国家研究委员会)
本文提出ROS-Causal框架,基于ROS实现人机空间交互中的机载数据采集与因果发现,填补现有因果发现方法在ROS生态缺失的空白,并通过模拟器验证其有效性。
2024-03-21 cs.AI cs.RO
ROPES: Robotic Pose Estimation via Score-Based Causal Representation Learning
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学);Rensselaer Polytechnic Institute(伦塞拉尔理工学院)
本文提出ROPES,一种基于评分因果表示学习的无监督机器人姿态估计方法,通过干预识别可控潜在因子,无需标记数据即可高保真解耦,为CRL提供实用测试平台。
2025-10-23 cs.LG cs.RO
Learning Control Policies for Fall prevention and safety in bipedal locomotion
Stanford University(斯坦福大学);Georgia Institute of Technology(佐治亚理工学院)
从意外的外部干扰中恢复的能力是双足运动的基本运动技能。有效的应对措施不仅包括恢复平衡和保持稳定的能力,还包括在身体无法恢复平衡时以安全的方式摔倒的能力。对于与双足运动相关联的机器人,例如人形机器人和帮助人类行走的辅助机器人设备,设计能够提供这种稳定性和安全性的控制器可以防止对机器人的损坏或防止与伤害相关的医疗费用。这是一项具有挑战性的任务,因为它涉及到为具有接触的高维、非线性和欠驱动系统生成高度动态运动。尽管在使用基于模型的方法和优化方法方面取得了先前的进步,但诸如需要广泛的领域知识、相对较大的计算时间和对动态变化的有限鲁棒性等挑战仍然使其成为一个开放的问题。在这篇论文中,为了解决这些问题,我们开发了基于学习的算法,能够合成两种不同类型的机器人的推恢复控制策略:人形机器人和辅助机器人设备,协助双足运动。我们的工作可以分为两个密切相关的方向:1)学习安全跌倒和跌倒预防策略的人形机器人和2)学习跌倒预防策略的人类使用机器人辅助设备。为了实现这一目标,我们引入了一组深度强化学习(DRL)算法来学习控制策略,从而在使用这些机器人时提高安全性。
2022-01-04 cs.AI cs.RO
PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training
Microsoft(微软)
长期以来,机器人技术一直是一个充满复杂系统架构的领域,其模块和连接,无论是传统的还是基于学习的,都需要大量的人类专业知识和先验知识。受大型预训练语言模型的启发,这项工作引入了一种用于预训练通用表示的范例,该通用表示可以作为给定机器人上多个任务的起点。我们提出了感知-动作因果Transformer(PACT),一个基于生成变换器的架构,旨在以自我监督的方式直接从机器人数据中构建表示。通过对状态和动作随时间的自回归预测,我们的模型隐式地编码特定机器人的动力学和行为。我们的实验评估集中在移动代理领域,我们表明,这种机器人特定的表示可以作为一个单一的起点,以实现不同的任务,如安全导航,定位和映射。我们评估了两个形状因子:一个轮式机器人,使用激光雷达传感器作为感知输入(MuSHR),和一个模拟代理,使用第一人称RGB图像(生境)。我们发现,在较大的预训练模型之上微调特定于任务的小型网络,与同时为所有任务从头开始训练单个模型相比,其性能显着更好,并且与为每个任务独立训练单独的大型模型的性能相当。通过在任务之间共享一个公共的高质量表示,我们可以降低整体模型容量,并加快此类系统的实时部署。
2022-09-23 cs.AI cs.CV cs.LG
Enhancing Causal Discovery from Robot Sensor Data in Dynamic Scenarios
University of Lincoln(林肯大学);University of Padua(帕多瓦大学)
从传感器数据的时间序列中识别动态系统的主要特征并学习其因果关系是许多实际机器人应用中的关键问题。在本文中,我们提出了一个扩展的国家的最先进的因果发现方法,PCMCI,嵌入一个额外的特征选择模块的基础上转移熵。从一组预先确定的变量开始,新算法通过只考虑其主要特征而忽略那些被认为对理解系统演化不必要的特征来重建所观察系统的因果模型。我们首先验证的方法上的玩具问题和合成数据的大脑网络,其中地面实况模型是可用的,然后在现实世界的机器人场景中使用大规模的时间序列数据集的人类轨迹。实验表明,我们的解决方案在准确性和计算效率方面优于以前的最先进技术,可以更好,更快地从机器人传感器数据中发现有意义的模型。
2023-02-20 cs.RO
ROBOSHACKLES: A Safety Dataset for Human-Injury Prevention in Embodied Foundation Models
Institute of Al for Industries, Chinese Academy of Sciences(工业人工智能研究所,中国科学院);University of Science and Technology of China(中国科学技术大学)
为解决机器人伤害人类数据难以安全收集的问题,提出基于真实观测的安全数据构建流水线,生成包含1万条视频的ROBOSHACKLES数据集,涵盖直接和间接伤害类别,评估发现现有模型在安全关键场景下100%产生不安全动作。
2026-08-21 cs.RO
Elly: A Real-Time Failure Recovery and Data Collection System for Robotic Manipulation
Stanford Robotics Lab(斯坦福机器人实验室)
即使是最强大的自主行为也可能失败。本研究的目标是在自主任务执行期间从故障中恢复和收集数据,以便将来可以预防这些故障。我们提出了用于实时的【形】故障恢复和数据汇集的触觉干预。Elly是一个允许自动机器人行为和人类干预之间无缝转换的系统,同时从人类的恢复策略中收集感官信息。该系统和我们的设计选择进行了实验验证的单臂任务-安装灯泡在插座-和双手任务-拧瓶盖上的瓶子-使用两个7自由度的机械手配备4指夹具。在这些示例中,Elly在总共40次运行期间实现了超过80%的任务完成。
2022-08-25 cs.RO
CAnDOIT: Causal Discovery with Observational and Interventional Data from Time-Series
University of Lincoln(林肯大学);University of Padua(帕多瓦大学)
本文提出CAnDOIT方法,结合观测和干预时间序列数据重构因果模型,解决隐藏因素下仅靠观测数据难以识别因果关系的问题,并在合成数据和机器人操作基准上验证其能有效提升因果分析准确性。
2024-10-11 cs.AI cs.LG cs.RO
RADAR: Closed-Loop Robotic Data Generation via Semantic Planning and Autonomous Causal Environment Reset
Southern University of Science and Technology(南方科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Spatialtemporal AI(时空人工智能)
RADAR通过语义规划和自主因果环境重置实现闭环机器人数据生成,具备高适应性和可扩展性,在仿真和现实部署中均表现出卓越的性能。
2026-07-16 cs.AI cs.CV cs.RO
Experimental Evaluation of ROS-Causal in Real-World Human-Robot Spatial Interaction Scenarios
School of Computer Science, University of Lincoln, UK(林肯大学计算机科学学院);Dept. of Information Engineering, University of Padua, Italy(帕多瓦大学信息工程系);National Research Council of Italy(意大利国家研究理事会)
本研究评估了ROS-Causal框架在真实人类-机器人空间交互场景中的性能,通过模拟和实验室实验验证其在因果发现和机器人部署中的有效性。
2026-02-16 cs.AI cs.RO
Prediction of Human Trajectory Following a Haptic Robotic Guide Using Recurrent Neural Networks
School of Integrated Technology(融合技术学院);Yonsei Institute of Convergence Technology(延世大学融合技术研究院);Yonsei University(延世大学)
社交智能是使机器人能够与人协作的重要要求。特别是,人类路径预测是机器人的基本能力,因为它防止与人类的潜在碰撞,并允许机器人安全地进行更大的运动。在本文中,我们提出了一种方法,用于预测的轨迹的人以下的触觉机器人指南,而不使用的视线,这是有价值的辅助机器人,帮助视障人士。我们应用基于循环神经网络的深度学习方法,使用多模态数据:(1)人类轨迹,(2)机器人引导的运动,(3)从人类和机器人之间的物理交互测量的触觉输入数据,(4)人类深度数据。我们通过室内实验收集了实际的人体轨迹和多模态响应数据。我们的模型在仅使用机器人数据和观察到的人类轨迹时表现优于基线结果,并且在使用额外的触觉和深度数据时显示出更好的结果。
2019-03-04 cs.RO
Solving Robotics Tasks with Prior Demonstration via Exploration-Efficient Deep Reinforcement Learning
Unicontrol;Maersk McKinney Møller Institute, University of Southern Denmark(马士基麦金尼·莫勒研究所,南丹麦大学)
本文提出DRLR框架,通过改进动作选择模块和使用SAC策略,有效缓解引导误差和防止过拟合,成功应用于真实机器人任务。
2026-01-08 cs.LG cs.RO
Learning Causal Structure Distributions for Robust Planning
School of Informatics, Computing and Engineering, Indiana University(信息学、计算与工程学院,印第安纳大学);Nuro, Inc.(Nuro公司)
本文提出一种估计因果结构分布以指导编码器-多解码器概率模型潜在空间表示的方法,通过学习功能关系并考虑结构不确定性,构建了更鲁棒的机器人动力学模型,在显著降低计算资源的同时改善了下游规划,并在仿真和真实环境中验证了其对损坏输入与环境变化的适应性。
2025-08-08 cs.AI cs.LG cs.RO
CURE: Simulation-Augmented Auto-Tuning in Robotics
University of South Carolina(南卡罗来纳大学);Texas A&M University(德克萨斯农工大学);Carnegie Mellon University(卡内基梅隆大学)
CURE通过识别因果相关配置选项并利用仿真学习因果模型,缩减搜索空间,实现机器人配置的快速自动调优,并验证了其在物理机器人和仿真间的可迁移性。
2025-02-25 cs.AI cs.RO
NeuroCERIL: Robotic Imitation Learning via Hierarchical Cause-Effect Reasoning in Programmable Attractor Neural Networks
University of Maryland(马里兰大学);Syracuse University(雪城大学)
模仿学习允许社交机器人在没有大量手动编程的情况下从人类教师那里学习新技能,但机器人模仿学习系统很难像人类学习者那样概括演示的技能。当代模仿学习的神经计算方法以数据密集型训练为代价实现了有限的泛化,并且经常产生难以理解和调试的不透明模型。在这项研究中,我们探讨了开发纯神经控制器的社会机器人,学习模仿推理的潜在意图的演示行为的可行性。我们提出了NeuroCERIL,一个受大脑启发的神经认知架构,它使用一种新的假设演绎推理程序来产生可推广的和人类可读的解释。这种方法将自下而上的溯因推理与自上而下的预测验证相结合,并捕获了与广泛的认知领域相关的人类因果推理的重要方面。我们的实验结果表明,NeuroCERIL可以学习各种程序技能,在一个模拟的机器人模仿学习域。我们还表明,它的因果推理过程是计算效率高,它的记忆使用是由高度短暂的短期记忆,很像人类的工作记忆。我们的结论是,NeuroCERIL是一个可行的类人模仿学习的神经模型,可以提高人类与机器人的协作,并有助于人类认知的神经计算基础的调查。
2022-11-11 cs.AI cs.RO
Can Causal Models Enhance Robot Navigation? Online Causal Adaptation for Real-Robot Navigation
Chalmers University of Technology(查尔姆斯理工大学)
研究因果模型在真实机器人导航中的迁移问题,提出离线评估和在线自适应两种应用方式,实验表明因果模型在复杂场景下能显著提升导航性能。
2026-06-16 cs.RO
OPAL: Encoding Causal Understanding of Physical Systems for Robot Learning
该研究提出新型视觉-语言-动作架构OPAL,通过拓扑注意力为流匹配引入拓扑约束建模动作序列,在10项操作任务上零样本性能优于现有方法,还降低42%推理算力,为机器人学习嵌入因果理解提供新路径。
2025-07-29 cs.AI cs.RO
PREVENT-JACK: Context Steering for Swarms of Long Heavy Articulated Vehicles
Fraunhofer Institute for Transportation and Infrastructure Systems IVI(交通与基础设施系统研究所)
本文提出PREVENT-JACK方法,通过融合六个局部行为,解决长重载 articulated 车辆群组的死锁和碰撞问题,通过15000次模拟验证了大群组和密集场景下的性能影响。
2026-04-23 cs.MA cs.RO
ST-$π$: Structured SpatioTemporal VLA for Robotic Manipulation
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院);School of Computing, National University of Singapore(新加坡国立大学计算机学院);School of Computing, Macquarie University(麦考瑞大学计算机学院)
本文提出ST-$π$模型,通过结构化时空视觉语言模型和动作专家,解决机器人操作中精细时空推理问题,同时引入结构化时空标注数据集进行训练。
2026-04-20 cs.CV cs.RO
Causal Reinforcement Learning for Optimisation of Robot Dynamics in Unknown Environments
Cranfield University(克兰菲尔德大学)
针对机器人在未知环境中因缺乏交互动力学认知而难以自主操作的问题,提出一种新颖的因果强化学习架构,通过学习物体视觉特征与交互动力学的因果关系优化决策,在城市场景中使学习时间降低24.5%以上。
2024-09-20 cs.LG cs.RO
Causal Discovery of Dynamic Models for Predicting Human Spatial Interactions
University of Lincoln(林肯大学);University of Padua(帕多瓦大学)
利用机器人在人类共享的环境中进行活动,无论是仓库、购物中心还是医院,都要求这些机器人理解附近代理和对象之间的潜在物理交互。特别是,对后者之间的因果关系进行建模可以帮助预测未观察到的人类行为,并预测特定机器人干预的结果。在本文中,我们提出了一个因果发现方法的应用程序来模拟人与机器人的空间交互,试图了解人类的行为,从现实世界中的传感器数据在两种可能的情况下:人类与环境的互动,和人类与障碍物的互动。新的方法和实际的解决方案进行了讨论,利用,第一次,一个国家的最先进的因果关系发现算法在一些具有挑战性的人类环境中,在许多服务机器人场景的潜在应用。为了证明从现实世界的数据集获得的因果模型的效用,我们提出了因果和非因果预测方法之间的比较。我们的研究结果表明,因果模型正确地捕捉所考虑的场景的潜在相互作用,并提高其预测精度。
2023-02-20 cs.AI cs.RO
RoCoDA: Counterfactual Data Augmentation for Data-Efficient Robot Learning from Demonstrations
Georgia Institute of Technology(佐治亚理工学院);Apptronik, Inc.(Apptronik公司)
针对机器人模仿学习泛化难、数据成本高的问题,提出融合因果不变性与SE(3)等变性的RoCoDA反事实数据增强框架,在五项操作任务上实现了优于现有方法的策略性能、泛化性与样本效率。
2025-05-20 cs.AI cs.CV cs.LG
Intelligent Agent-Based Stimulation for Testing Robotic Software in Human-Robot Interactions
University of Bristol(布里斯托大学);University of the West of England(西英格兰大学)
机器人软件测试的挑战超出了传统的软件测试。需要为并发运行的多个程序和硬件生成有效、真实和有趣的测试,并将其部署到有人员的动态环境中。我们调查使用的信念-欲望-意图(BDI)代理作为测试生成模型,在域中的人-机器人交互(HRI)的模拟。这些模型提供了合理的代理,因果关系和推理机制,用于规划,模拟智能和自适应机器人,以及由人类指导的智能测试环境。我们引入了强化学习(RL),使用基于覆盖反馈的奖励函数来自动探索BDI模型。我们的方法进行评估,使用协同制造的例子,在测试中的机器人软件是间接刺激通过一个模拟的人类同事。我们得出结论,BDI代理提供了直观的模型,在HRI域的测试生成。我们的研究结果表明,RL可以完全自动化BDI模型探索,导致非常有效的覆盖导向测试生成。
2016-07-13 cs.RO cs.SE
Counterfactual Explanation and Causal Inference in Service of Robustness in Robot Control
The University of Edinburgh(爱丁堡大学)
我们提出了一个架构,用于训练生成模型的反事实条件的形式,'我们可以修改事件A导致B而不是C?”,在机器人控制中的应用。使用“对抗训练”范例,训练基于图像的深度神经网络模型,以对原始图像进行小而逼真的修改,以产生用户定义的效果。这些修改可以在基于图像的鲁棒控制的设计过程中使用,以确定控制器通过修改输入空间而不是通过自适应返回到工作状态的能力。与传统的控制设计方法相比,鲁棒性在拒绝噪声的能力方面被量化,我们探索了可能导致违反某些要求的反事实空间,从而提出了一种在某些机器人应用中可能更具表现力的替代模型。因此,我们提出了反事实的产生作为一种方法来解释的黑盒子模型和自主机器人控制的潜在运动路径的设想。首先,我们使用众所周知的MNIST和CelebFaces属性数据集在一组分类任务中演示了这种方法。然后,解决多维回归,我们证明了我们的方法,在一个物理机器人达到任务,并在导航任务与机器人在数字孪生模拟。
2020-09-22 cs.AI cs.RO
Robotic Fire Risk Detection based on Dynamic Knowledge Graph Reasoning: An LLM-Driven Approach with Graph Chain-of-Thought
针对机器人火灾感知与响应不足,提出IOG框架,结合知识图谱和大语言模型,从实时图像生成风险图,实现早期火灾检测与可解释应急决策,经仿真和实测验证有效。
2025-09-07 cs.AI cs.RO
Rebellion and Disobedience as Useful Tools in Human-Robot Interaction Research -- The Handheld Robotics Case
University of Bristol(布里斯托大学)
这份立场文件讨论了人类与机器人交互(HRI)中的反叛和不服从(RaD)的效用。一般来说,我们看到使用控制和精心设计的反叛和不服从的两个主要机会:i)照亮洞察合作的有效性(或缺乏)和ii)防止错误和正确的用户行为时,在用户自己的利益。通过使用一个密切的互动方式,手持机器人,我们讨论了使用的反叛和不服从,可以适用于其他情况下的HRI的效用的用例。
2022-05-08 cs.AI cs.RO cs.SY
Addressing Non-Intervention Challenges via Resilient Robotics utilizing a Digital Twin
多机器人系统面临着减少人为干预的挑战,因为它们经常部署在危险的环境中。因此,有必要包括一种评估机器人故障率的方法,以减少对昂贵的人工干预的需求。这个问题的解决方案包括能够共同工作以确保任务弹性的机器人。为了防止这种干预,机器人应该能够共同努力,以确保任务的弹性。然而,机器人平台通常缺乏与来自不同供应商的其他平台的内置互连性。这项工作旨在通过双向数字孪生实现功能来解决这个问题。双胞胎使人类操作员能够向多机器人舰队发送信息和从多机器人舰队接收信息。这个数字孪生考虑了任务弹性以及自主和人类主导的决策,以实现多机器人舰队的弹性。这创造了不同机器人的合作、确证和协作,以利用机器人的能力并支持故障机器人的恢复。
2022-11-27 cs.HC cs.RO
Singularity-Avoidance Control of Robotic Systems with Model Mismatch and Actuator Constraints
RWTH Aachen University(亚琛工业大学);ZHAW Zürich University of Applied Sciences(苏黎世应用科技大学)
针对具有模型失配和执行器约束的机器人系统,提出基于高斯过程回归与控制障碍函数的学习控制策略,以防止进入奇异性区域,并通过2自由度平面机器人高保真仿真验证了有效性。
2024-11-12 cs.RO cs.SY eess.SY
Code-as-Monitor: Constraint-aware Visual Programming for Reactive and Proactive Robotic Failure Detection
School of Software, Beihang University(北京航空航天大学软件学院);School of Computer Science, Peking University(北京大学计算机学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Galbot(盖尔博特(Galbot))
针对闭环机器人系统难同时实现反应式与主动式开集故障检测的问题,提出Code-as-Monitor范式,将两类任务统一为时空约束满足问题,结合约束元素与VLM生成代码实现监控,在仿真与真实场景中均提升了检测成功率与效率,还可集成开环策略构建闭环系统。
2025-03-21 cs.AI cs.CV cs.LG
Enabling Basic Normative HRI in a Cognitive Robotic Architecture
Tufts University(塔夫茨大学)
人类协作活动以社会和道德规范为基础,人类有意识和无意识地使用这些规范来指导和约束他们的决策和行为,从而加强他们的互动,防止情感和身体伤害。这种类型的基于范数的处理对于许多人机交互场景中的机器人也是至关重要的(例如,在辅助生活设施中帮助老年人和残疾人,或在工厂甚至空间站中帮助人类完成装配任务时)。在本立场文件中,我们将简要描述如何使用集成认知架构中的几个组件来实现规范的人机交互所需的过程,特别是在协作任务中,行动和情况可能被视为威胁,因此需要改变行动过程以减轻感知到的威胁。
2016-02-11 cs.AI cs.HC cs.RO
Causal Action Influence Aware Counterfactual Data Augmentation
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
针对离线机器人学习中数据稀缺易致策略学习非因果关系的问题,提出CAIAC反事实数据增强方法,通过量化因果影响交换轨迹间动作无关状态部分生成合成数据,提升离线算法抗分布偏移鲁棒性。
2024-12-12 cs.AI cs.LG cs.RO