SCoUT: Scalable Communication via Utility-Guided Temporal Grouping in Multi-Agent Reinforcement Learning
SCoUT通过效用引导的时间分组在多智能体强化学习中实现可扩展通信,通过软智能体分组和组感知批评者减少复杂性,提升通信学习精度。
2026-03-05 cs.AI cs.MA
Robust Multi-agent Counterfactual Prediction
Facebook AI Research(Facebook人工智能研究);Facebook Core Data Science(Facebook核心数据科学)
我们考虑的问题,使用记录的数据来预测会发生什么,如果我们改变了“游戏规则”的多智能体系统。这项任务很困难,因为在许多情况下,我们观察到个人采取的行动,但不是他们的私人信息或他们的全部奖励功能。此外,智能体是有策略的,所以当规则改变时,它们也会改变自己的行为。现有方法(例如结构估计、反向强化学习)通过构建游戏模型、添加代理行为来自给定目标的优化的假设,然后反转观察到的动作来做出反事实预测学习代理的底层效用函数(又名类型)。一旦知道了主体类型,做出反事实预测就等于解决了反事实环境的平衡问题。这种方法强加了大量的假设,如被观察的代理人的合理性,分析师的环境模型/代理人的效用函数的参数形式的正确性,以及其他各种条件,使点识别成为可能。我们提出了一种方法来分析反事实结论对违反这些假设的敏感性。我们将这种方法称为鲁棒多代理反事实预测(RMAC)。我们运用我们的技术来调查的鲁棒性反事实索赔的经典环境中的市场设计:拍卖,学校的选择,和社会的选择。重要的是,我们表明RMAC可以用于点识别是不可能的制度(例如,那些有多个平衡或非内射映射类型分布的结果)。
2019-04-03 cs.AI cs.GT cs.MA
Counterfactual Credit Policy Optimization for Multi-Agent Collaboration
Beihang University(北航);Peking University(北京大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对多智能体大语言模型协作中信用分配难题,提出CCPO框架,通过反事实信用估计和验证器锚定的自评估两种分配器,将团队奖励转化为个体学习信号,提升数学推理任务表现。
2026-06-12 cs.AI
Safety-Contract Graph Multi-Agent Reinforcement Learning for Autonomous Network Security Response
Oxaala Tecnologias(Oxaala技术公司);Universidade Federal da Bahia(巴西巴伊亚联邦大学)
提出安全合约图MARL框架ACD$^3$-GAT,通过约束优化、图编码和反事实筛选,在CAGE Challenge 4中将停机违规率从100%降至0.3%或13.8%,实现安全与性能的平衡。
2026-06-15 cs.AI cs.CR cs.LG
Multi-Agent Reinforcement Learning with Graph Convolutional Neural Networks for optimal Bidding Strategies of Generation Units in Electricity Markets
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
在电力市场环境下,寻找发电机组的最优报价策略将获得更高的利润。然而,由于系统的不确定性,这是一个具有挑战性的问题,这是由于未知的其他发电机组的策略。分布式优化,其中每个实体或代理单独决定其出价,已成为最先进的,但它不能克服系统的不确定性的挑战。深度强化学习是在不确定环境中学习最优策略的一种很有前途的方法。然而,它是不能够在学习过程中集成的空间系统拓扑结构的信息。提出了一种基于深度强化学习(DRL)和图卷积神经网络(GCN)的分布式学习算法。事实上,所提出的框架可以帮助代理人更新他们的决策,从环境中获得反馈,以便它可以克服的不确定性的挑战。在该算法中,节点之间的状态和连接是GCN的输入,它可以使代理知道系统的结构。这些关于系统拓扑结构的信息有助于代理人改进他们的投标策略并增加利润。我们评估所提出的算法在IEEE 30节点系统在不同的情况下。此外,为了研究所提出的方法的泛化能力,我们测试IEEE 39节点系统的训练模型。仿真结果表明,该算法比DRL算法具有更强的泛化能力,在改变系统拓扑结构时,可以获得更高的收益。
2022-08-11 cs.AI cs.LG cs.MA
Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory
School of EECS, Peking University(北京大学电子信息工程学院)
深度强化学习(RL)近年来取得了突出的成果,导致方法和应用数量急剧增加。最近的工作是探索学习超越单代理的情况下,并考虑多代理的情况下。然而,他们面临着许多挑战,并正在寻求帮助,从传统的博弈论算法,这反过来,显示出光明的应用前景结合现代算法和提高计算能力。本文首先介绍了单智能体强化学习和多智能体强化学习的基本概念和算法,然后从三个方面对相关算法进行了综述。博弈论中的解决方案概念给了算法以灵感,这些算法试图评估代理或在多代理系统中找到更好的解决方案。虚拟自我游戏的流行对多智能体强化学习算法产生了很大的影响。反事实遗憾最小化是解决不完全信息游戏的重要工具,当与深度学习相结合时显示出巨大的力量。
2020-01-31 cs.AI cs.GT cs.LG
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin(都柏林圣三一学院)
本文探讨反事实解释在强化学习中应用不足的原因,分析监督学习与RL的差异与挑战,重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International(斯坦福国际研究院)
我们提出了一种新的生成方法,用于根据表征代理行为的结果变量为强化学习(RL)代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间,共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间,通过梯度驱动的更新,以及潜在的插值对情况下,从一个池的例子。其中包括提高生成示例的可能性的更新,这提高了生成的反事实的可验证性。从三个强化学习环境中的实验,我们表明,这些方法产生的反事实是更合理的,接近他们的查询相比,纯粹的结果驱动或基于案例的基线。最后,我们表明,一个潜在的联合训练,以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
Explaining Reinforcement Learning: A Counterfactual Shapley Values Approach
School of Engineering Mathematics and Technology, University of Bristol(布里斯托大学工程数学与技术学院);School of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
提出反事实 Shapley 值(CSV)方法,结合反事实分析与 Shapley 值量化状态维度对动作选择的贡献,并在多个 RL 环境中验证其可解释性效果。
2024-08-06 cs.AI
Counterfactual Rollouts for Offline Contrastive Goal-Conditioned Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Syracuse University(雪城大学)
该研究针对离线对比目标条件强化学习中存在的虚假动作-结果关联问题,提出CauCRL算法,通过反事实转换与回滚训练提升了混淆目标到达任务的成功率。
2026-10-14 cs.AI cs.LG
Offline Learning of Counterfactual Predictions for Real-World Robotic Reinforcement Learning
University of Alberta(阿尔伯塔大学)
我们认为现实世界的强化学习(RL)的机器人操作任务,涉及视觉技能和接触丰富的技能。我们的目标是训练一个政策,映射多模态的感官观察(视觉和力)的机械手的关节速度下的实际考虑。我们建议使用离线样本来学习一组通用的价值函数(GVF),这些函数从视觉输入中做出反事实的预测。我们表明,结合离线学习的反事实预测与在线策略学习中的力反馈,可以有效的强化学习只给终端(成功/失败)奖励。我们认为,学习的反事实预测形成了一个紧凑的和信息丰富的表示,使样本效率,并提供辅助奖励信号,引导在线探索接触丰富的国家。在模拟和现实世界的设置进行了各种实验进行评估。真实世界的机器人训练记录可以通过https://sites.google.com/view/realrl找到。
2022-02-25 cs.AI cs.RO
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin(都柏林圣三一大学)
RACCER是首个面向强化学习的反事实解释方法,通过定义RL特有属性并采用启发式树搜索,生成可达且结果确定的反事实,实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics(中央财经大学);iFLYTEK(科大讯飞);Zhejiang University(浙江大学);Amazon(亚马逊);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验,从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是,我们提出了一个多智能体深度强化学习模型,其结构模仿人类心理的反事实思维过程,以提高智能体的竞争能力。为此,我们的模型生成了几个可能的行动(意图行动)与一个并行的政策结构,并估计这些意图行动的奖励和遗憾的基础上,其当前的理解环境。我们的模型采用了一个基于ESTA的框架,将估计的遗憾与其内部政策联系起来。在迭代过程中,我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性,我们进行了广泛的实验,在两个不同的环境与现实世界的应用程序。实验结果表明,反事实思维实际上可以使智能体在保持高执行效率的同时,通过与对手进行比较,从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
反事实的解释,处理“为什么不呢?“场景,可以为AI代理的行为提供有见地的解释。在这项工作中,我们专注于为在Atari等视觉输入环境中运行的深度强化学习(RL)代理生成反事实解释。我们介绍了反事实状态解释,这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说,反事实状态说明了Atari游戏图像需要什么样的最小变化,以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查,如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人,我们比较与基线方法的基础上最近的邻居解释,使用图像从实际的游戏。我们的研究结果表明,反事实状态的解释有足够的保真度,以实际的游戏图像,使非专家更有效地确定一个有缺陷的RL代理相比,最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
显着图经常被用来支持解释深度强化学习(RL)代理的行为。然而,对显着图在实践中如何使用的回顾表明,所得出的解释往往是不可证伪的,并且可能是高度主观的。我们引入了一种基于反事实推理的实证方法来测试显着性图产生的假设,并评估它们与RL环境的语义相对应的程度。我们使用Atari游戏,深度RL的常见基准,来评估三种类型的显着性图。我们的研究结果表明,在何种程度上可以评估现有的雅达利游戏的索赔,并建议显着图最好被视为一种探索性的工具,而不是一个解释性的工具。
2020-02-20 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg(奥格斯堡大学);Oregon State University(俄勒冈州立大学)
反事实解释是解释人工智能模型的常用工具。对于强化学习(RL)代理,他们回答“为什么不呢?或者“如果?“的问题,通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性,因为它们的状态空间很大,而且它们的决策是总体政策的一部分,其中包括长期决策。然而,专注于反事实解释的研究,特别是对于具有视觉输入的RL代理,是稀缺的,并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务,如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法,通过将问题描述为域转移问题来生成RL代理的反事实解释,该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的,我们证明,它优于只有以前的方法在几个计算指标。此外,我们在用户研究中表明,我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Counterfactual Explanations for Continuous Action Reinforcement Learning
University of Virginia(弗吉尼亚大学)
针对连续动作强化学习可解释性不足的问题,提出一种基于最小偏差替代动作序列的反事实解释生成方法,经两个RL领域验证有效,助力提升RL的可解释性与可信度。
2025-05-19 cs.AI cs.LG
Counterfactual experience augmented off-policy reinforcement learning
Wuhan University of Science and Technology(武汉科技大学);College of Science(理学院);Intelligent Automobile Engineering Research Institute(智能汽车工程研究院);School of Automobile and Traffic Engineering(汽车与交通工程学院)
针对强化学习分布外与探索低效问题,提出CEA算法,利用变分自编码器和反事实推理扩展经验池,并在多类环境中优于SOTA方法。
2025-03-18 cs.AI cs.LG stat.ML
COLLATOR: Compositional Multi-Agent Orchestration with Counterfactual Reinforcement Learning
LEMON通过反事实强化学习生成可执行的多智能体编排规范,整合任务特定角色、定制职责、容量级别和依赖结构,提升多智能体系统解决方案质量和执行效率。
2026-09-30 cs.AI
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin(柏林自由大学);Universität der Bundeswehr München(慕尼黑联邦国防军大学)
本文针对序列反事实解释中强化学习策略存在动作偏置的问题,提出利用分类器输出概率设计更具信息量的奖励函数,以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Do No Harm: A Counterfactual Approach to Safe Reinforcement Learning
ISEE AI
针对约束违反不可避免时惩罚程度不明的问题,本文提出基于所学策略相对默认安全策略反事实伤害的约束,仅惩罚智能体造成的违规并保持最优控制问题可行,实验表明其优于当代约束RL方法。
2024-05-19 cs.AI cs.LG
ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning
University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Jiangxi Science and Technology Normal University(江西科技师范大学);Shenzhen University(深圳大学)
ASCT通过对抗树搜索将训练时的多步搜索转化为局部动作信用,提升智能体强化学习的信用分配,在HotpotQA上优于现有方法,并减少计算开销。
2026-09-29 cs.AI
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团)
本文提出反事实软强化学习方法CoSo,通过动态评估token对动作的因果影响来优化VLM智能体的在线探索,并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
Accelerating the Learning of TAMER with Counterfactual Explanations
Ulm University(乌尔姆大学)
从人类反馈中交互式学习的能力将使智能体能够在新的环境中工作。例如,即使是新手用户也可以自然地和交互地训练服务机器人完成新任务。人在回路强化学习(HRL)结合了人的反馈和强化学习(RL)技术。最先进的交互式学习技术遭受缓慢的学习速度,从而导致人类的令人沮丧的体验。我们通过扩展HRL框架TAMER评估反馈的可能性,以提高人类的反馈与两种不同类型的反事实的解释(行动和状态为基础)来解决这个问题。我们的实验表明,我们的扩展提高了学习的速度。
2022-07-27 cs.AI cs.LG
Reasoning about Counterfactuals to Improve Human Inverse Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
为了与机器人进行良好的合作,我们必须能够理解它们的决策。人类自然地推断其他代理人的信念和愿望,通过推理他们的可观察行为的方式类似于逆强化学习(IRL)。因此,机器人可以通过提供对人类学习者的IRL有信息的演示来传达他们的信念和愿望。一个信息演示是一个与学习者的期望有很大不同的机器人会做什么,因为他们目前的理解机器人的决策。然而,标准的IRL并不模拟学习者现有的期望,因此不能进行这种反事实推理。我们建议将学习者目前对机器人决策的理解纳入我们的人类IRL模型中,以便机器人可以选择最大限度地提高人类理解的演示。我们还提出了一种新的措施,估计人类预测机器人在看不见的环境中的行为的实例的难度。一项用户研究发现,我们的测试难度测量与人类的表现和信心有很好的相关性。有趣的是,在选择演示时考虑人类的信念和反事实会降低人类在简单测试中的表现,但会提高难度测试的表现,从而为如何最好地利用这些模型提供见解。
2022-08-03 cs.AI cs.HC cs.RO
Learn-Explain-Reinforce: Counterfactual Reasoning and Its Guidance to Reinforce an Alzheimer's Disease Diagnosis Model
Korea University(高丽大学)
现有的疾病诊断模型的研究集中在诊断模型学习的性能改善或训练的诊断模型的视觉解释。我们提出了一种新的学习-解释-强化(LEAR)框架,该框架将诊断模型学习、视觉解释生成(解释单元)和由视觉解释指导的训练诊断模型强化(强化单元)统一起来。对于视觉解释,我们生成一个反事实映射,将输入样本转换为预期的目标标签。例如,反事实映射可以定位正常大脑图像中的假设异常,这可能导致其被诊断患有阿尔茨海默病(AD)。我们认为,生成的反事实地图代表了关于目标任务的数据驱动和模型诱导的知识,即,使用结构MRI进行AD诊断,这可以是加强训练诊断模型泛化的重要信息来源。为此,我们设计了一个基于注意力的功能细化模块的指导下的反事实地图。解释和强化单元是相互的,并且可以迭代地操作。通过对ADNI数据集的定性和定量分析,我们所提出的方法得到了验证。通过消融研究和与现有方法的比较,证明了其可理解性和保真度。
2021-08-21 cs.AI cs.CV
Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
Technion - Israel Institute of Technology(以色列理工学院)
针对现有可解释强化学习局部解释无法展现动作结果的问题,提出可视化对比所选动作与反事实动作结果的COViz方法,实验显示其与奖励分解法整合可显著提升用户对智能体偏好的理解表现。
2023-12-18 cs.AI cs.LG
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)(数学和计算机科学中心(CWI));Eindhoven University of Technology(埃因霍温理工大学)
该研究针对帕累托条件强化学习的帕累托条件网络,提出命令空间反事实解释方法CF-ZOO,通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
BlackBoxToBlueprint: Extracting Interpretable Logic from Legacy Systems using Reinforcement Learning and Counterfactual Analysis
IIIT Hyderabad
本文提出BlackBoxToBlueprint流水线,用强化学习探索黑盒遗留系统的决策边界,结合反事实状态转移、K-Means聚类和决策树提取可解释规则,并在三类虚拟系统上验证了其有效性。
2025-06-30 cs.AI cs.LG
Class-Aware Reinforcement Learning for Counterfactual Explanation Generation
Institute of Business Administration Karachi(卡拉奇工商管理学院);Commonwealth Bank of Australia(澳大利亚联邦银行);Stanford University(斯坦福大学);University of New South Wales(新南威尔士大学)
本研究提出类别感知强化学习方法,将实例预测类别纳入RL状态表示,经7个不同领域数据集对比实验,该方法收敛更快、奖励优化更好、有效反事实解释更多,凸显类别感知的重要性。
2026-07-31 cs.AI cs.LG
CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning
提出CRAFT方法,通过反事实令牌重要性、非对称控制器和极化KL惩罚三个支柱,解决自蒸馏强化学习中信用分配信号的双重局限性,提升智能体性能。
2026-06-28 cs.AI cs.LG
Causal Counterfactuals for Improving the Robustness of Reinforcement Learning
Trinity College Dublin(都柏林圣三一学院)
本文提出完整因果RL框架CausalCF,融合Causal Curiosity的干预机制与改造后的CoPhy反事实推理,并在CausalWorld机器人任务中验证其可提升RL鲁棒性。
2023-06-05 cs.AI cs.LG cs.RO
Explaining Reinforcement Learning Policies through Counterfactual Trajectories
Boston University(波士顿大学);UC Berkeley(加州大学伯克利分校);Harvey Mudd College(哈维穆德学院)
为了让人类能够自信地决定在哪里使用RL代理来执行现实任务,人类开发人员必须验证代理在测试时表现良好。一些策略可解释性方法通过在一组代理推出中捕获策略的决策来促进这一点。然而,即使是训练时间行为的最具信息量的轨迹也可能对代理的分布外行为没有什么洞察力。相比之下,我们的方法传达代理如何执行下分布偏移通过显示代理的行为在一个更广泛的轨迹分布。我们通过引导代理到更多样化的看不见的状态并显示代理的行为来生成这些轨迹。在用户研究中,我们证明了我们的方法使用户能够在两个代理验证任务中的一个上获得比基线方法更好的分数。
2022-03-19 cs.AI cs.HC cs.LG
FAST-Q: Fast-track Exploration with Adversarially Balanced State Representations for Counterfactual Action Estimation in Offline Reinforcement Learning
Games24x7 India(Games24x7印度)
FAST-Q利用梯度反转学习构建平衡状态表示,支持离线反事实探索与多目标Q值分解,解决了离线强化学习中分布外动作Q值高估问题,显著提升了推荐效果并降低成本。
2025-04-30 cs.AI cs.LG
Learning Spatiotemporal Sensitivity in Video LLMs via Counterfactual Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本文提出CRPO方法,通过反事实强化学习提升视频大语言模型对时空动态的敏感性,通过构建反事实视频并引入反事实关系奖励,有效抑制了依赖静态线索的简略策略,从而在DyBench基准测试中提升了模型的时空敏感性。
2026-09-29 cs.AI cs.CV
Policy-Conditioned Counterfactual Credit for Verifiable Reinforcement Learning of Long-Horizon Language Agents
stu.ahu.edu.cn(安徽大学)
提出CVT-RL算法,通过策略条件反事实贡献估计和可验证奖励约束,解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题,在多个任务上提升成功率并降低作弊率。
2026-06-03 cs.AI cs.LG
Beyond the Known: Decision Making with Counterfactual Reasoning Decision Transformer
Applied AI Institute, Deakin University, Australia(应用人工智能研究所,德肯大学,澳大利亚);School of IT, Deakin University, Australia(信息学院,德肯大学,澳大利亚)
本文提出CRDT框架,通过生成和利用反事实经验增强DT在数据有限、动态变化及未见场景中的决策与轨迹拼接能力,并在Atari和D4RL上验证其优于传统DT。
2025-05-14 cs.AI cs.LG
Transfer learning with causal counterfactual reasoning in Decision Transformers
causaLens;King’s College London(伦敦国王学院)
适应环境突发事件变化的能力是强化学习中的一个重要挑战。事实上,将先前获得的知识转移到具有看不见的结构特性的环境中可以大大提高构建新的最优策略的灵活性和效率。在这项工作中,我们研究了环境动态变化下的迁移学习问题。在这项研究中,我们在离线强化学习设置中应用因果推理,将学习到的策略转移到新的环境中。具体来说,我们使用决策Transformer(DT)架构来提取新环境的新策略。DT通过在源环境的事实和反事实模拟上执行策略部署来收集数据。我们表明,这种机制可以引导一个成功的政策目标环境,同时保留大部分的奖励。
2021-10-27 cs.AI cs.LG stat.ML
An Introduction to Causal Reinforcement Learning
Columbia University(哥伦比亚大学);Graduate School of Data Science(数据科学研究生院)
本文提出将因果推断与强化学习统一在结构因果模型框架下,引入广义策略学习、模仿学习和反事实学习等新任务,形成因果强化学习(CRL)领域。
2026-06-24 cs.AI
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题,本文提出EARL库用于生成反事实解释,并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Counterfactual Policy Evaluation for Decision-Making in Autonomous Driving
fortiss GmbH(fortiss有限公司);Technische Universität München(慕尼黑工业大学)
基于学习的方法,如强化和模仿学习,在自动驾驶的决策中越来越受欢迎。然而,学习策略往往不能推广,不能很好地处理新的情况。以“如果其他代理人的行为不同,策略是否会表现良好?“可以说明一项政策是否在培训期间出现过类似情况,并能很好地概括。在这项工作中,介绍了一个反事实的政策评估,利用反事实的世界-世界中,其他人的行为是非实际的。如果一个策略能够很好地处理所有的反事实世界,那么它要么在训练过程中遇到过类似的情况,要么它概括得很好,被认为足够适合在现实世界中执行。此外,通过执行反事实的政策评估,因果关系和改变车辆的行为对周围车辆的影响变得明显。为了验证所提出的方法,我们学习的政策,使用强化学习车道合并的情况。在应用阶段,只有在执行了反事实策略评估之后,并且如果发现策略足够安全,才执行策略。我们表明,所提出的方法显着降低了碰撞率,同时保持了较高的成功率。
2020-11-12 cs.AI cs.LG cs.RO
SAFE-RL: Saliency-Aware Counterfactual Explainer for Deep Reinforcement Learning Policies
WMG at the University of Warwick(华威大学WMG学院)
针对深度强化学习策略在高维视觉输入和时间依赖性下难以生成反事实解释的问题,提出SAFE-RL框架,利用显著性图识别关键像素并驱动深度生成模型,生成更合理且信息丰富的反事实解释。
2024-04-28 cs.AI cs.LG
Counterfactual Data Augmentation using Locally Factored Dynamics
University of Toronto(多伦多大学);Vector Institute(向量研究所)
许多动态过程,包括机器人控制和强化学习(RL)中的常见场景,都涉及一组相互作用的子过程。虽然子过程不是独立的,但它们之间的相互作用通常是稀疏的,并且在任何给定时间步的动态通常可以分解为局部独立的因果机制。这种局部因果结构可以被利用来提高序列预测和离线强化学习的样本效率。我们通过引入局部因果模型(LCM)来正式化这一点,该模型是通过状态空间的一个子集进行调节而从全局因果模型中诱导出来的。我们提出了一种方法来推断这些结构的面向对象的状态表示,以及一种新的算法,用于反事实数据增强(CoDA)。CoDA使用局部结构和经验重放来生成在全局模型中因果有效的反事实经验。我们发现,CoDA显着提高了RL代理在本地因素的任务,包括批量约束和目标条件设置的性能。
2020-12-03 cs.AI cs.LG cs.RO
Counterfactuals Modulo Temporal Logics
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文将Lewis反事实条件理论向时间维度扩展,提出更宽松的世界相似性概念与新增反事实算子,研究距离最小化的反事实条件,构建融合时间与反事实算子的逻辑并给出相关判定过程,支持无限序列的符号化反事实推理。
2023-06-15 cs.AI cs.LO
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中,我们介绍和评估的远端解释模型的无模型强化学习代理,可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链,其形式为“A促成B,B促成C”。使用的见解,从分析240个解释中产生的人类代理实验,我们定义了一个远端解释模型,可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链,并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中,我们发现,与两种基线解释模型相比,我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
Null Counterfactual Factor Interactions for Goal-Conditioned Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California San Diego(加州大学圣地亚哥分校);MBZUAI(马克斯·普朗克人工智能研究所);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本文针对目标条件强化学习在以对象为中心领域中的稀疏奖励问题,提出基于零反事实交互定义的 HInt 事后重新标记方法和 NCII 交互推断模型,显著提升交互推断准确率并将样本效率提高最多 4 倍。
2025-05-06 cs.AI cs.LG
TalkToAgent: A Human-centric Explanation of Reinforcement Learning Agents with Large Language Models
Department of Chemical and Biological Engineering, Seoul National University, Republic of Korea(化学与生物工程系,首尔国立大学);Davidson School of Chemical Engineering, Purdue University, United States(化学工程大卫森学院,普渡大学)
TalkToAgent提出多智能体LLM框架,通过五个专门智能体自动映射用户查询至XRL工具,提供交互式自然语言解释,并在四水箱基准上验证了高准确性和有效解释。
2025-09-08 cs.AI cs.HC
Counterfactual States for Atari Agents via Generative Deep Learning
Oregon State University(俄勒冈州立大学)
尽管深度强化学习代理在许多领域都取得了令人印象深刻的成果,但它们的决策很难向人类解释。为了解决这个问题,过去的工作主要集中在解释为什么在给定的状态下选择一个动作。另一种有用的解释是反事实解释,它涉及“如果?“场景。在这项工作中,我们引入了反事实状态的概念,以帮助人类更好地了解Atari游戏图像中需要改变(最低限度)的代理选择不同的动作。我们引入了一种新的方法来从生成式深度学习架构中创建反事实状态。此外,我们评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的用户研究结果表明,我们生成的反事实状态是有用的,帮助非专家参与者获得更好地了解代理的决策过程。
2019-09-27 cs.AI cs.HC cs.LG
ReLAX: Reinforcement Learning Agent eXplainer for Arbitrary Predictive Models
Stony Brook University(石溪大学);Sapienza University of Rome(罗马第一大学);The Xi’an Jiaotong-Liverpool University(西交利物浦大学);Rutgers University(罗格斯大学)
本文提出模型无关的ReLAX算法,将反事实解释生成建模为序贯决策问题,利用离散-连续混合动作空间的深度强化学习生成更稀疏、可扩展且适用于分类与回归任务的最优反事实示例,并在COVID-19防控建议中验证了其实用性。
2022-08-08 cs.AI cs.LG
Graph Convolutional Reinforcement Learning
Peking University(北京大学);Rice University(莱斯大学)
学习合作在多智能体环境中至关重要。关键是要理解代理之间的相互作用。然而,多智能体环境是高度动态的,其中智能体保持移动,并且它们的邻居快速变化。这使得很难学习代理之间相互作用的抽象表示。为了解决这些困难,我们提出了图卷积强化学习,其中图卷积适应多智能体环境的底层图的动态,关系内核通过它们的关系表示来捕获智能体之间的相互作用。利用卷积层从逐渐增加的感受野中产生的潜在特征来学习合作,并通过时间关系正则化来进一步改善合作以实现一致性。经验上,我们表明,我们的方法大大优于现有的方法在各种合作的情况下。
2020-02-11 cs.AI cs.LG cs.MA
Causally-Enhanced Reinforcement Policy Optimization
提出 CE-PO 奖励塑形框架,利用 Jacobian 敏感度与反事实强化衡量 Z→X→Y 因果连贯性,并兼容 PPO/GRPO,在4个数据集上平均提升准确率5.49%且增强因果鲁棒性。
2025-09-27 cs.AI cs.CL cs.LG
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
NTU Singapore(新加坡南洋理工大学)
MetaRubric通过证据感知策略优化与响应引导的评分标准适应,解决基于评分标准的强化学习中的空洞信用问题,显著提升医学问答等任务的准确率。
2026-10-05 cs.AI
Explainable Reinforcement Learning Agents Using World Models
School of Interactive Computing, Georgia Institute of Technology(交互计算学院,佐治亚理工学院)
本文提出利用世界模型和反向世界模型为基于模型的深度强化学习智能体生成反事实解释,通过展示世界本应是什么样子来提升用户对智能体策略的理解,并有望帮助用户通过操纵环境控制智能体执行。
2025-08-18 cs.AI
Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Retelling
University of New South Wales(新南威尔士大学)
提出RRR强化学习框架,结合结构主义叙事学与标量叙事性,通过d-RLAIF从文本特征中获取训练信号,无需参考输出,提升LLM故事复述的逻辑性、合理性和完整性。
2026-10-14 cs.AI cs.CL