Causal Question Answering with Reinforcement Learning
Paderborn University（帕德博恩大学）
本文提出使用因果图结合强化学习进行因果问答，引入基于Actor-Critic的智能体并通过监督学习引导以应对大动作空间和稀疏奖励，实验表明该方法能有效修剪搜索空间（每问题访问少于30节点）并提供可解释、可验证的因果路径。
2024-03-25 cs.AI cs.LG
Why Online Reinforcement Learning is Causal
Simon Fraser University（西蒙菲莎大学）；University of Waterloo（滑铁卢大学）
本文论证在线强化学习中条件概率具有因果性，明确因果建模最能发挥作用的场景是离线强化学习，并形式化了核心论点，介绍了离线RL中利用因果模型的相关方法。
2024-07-10 cs.AI cs.LG
Root Cause Attribution of Delivery Risks via Causal Discovery with Reinforcement Learning
针对供应链复杂导致传统根因分析易产生虚假关联的问题，提出结合因果发现与强化学习的配送风险根因归因方法，经真实数据集验证可有效识别延迟原因并提供风险缓解策略。
2025-06-10 cs.AI cs.LG
Causal Explanation for Reinforcement Learning: Quantifying State and Temporal Importance
University of California, Davis（加利福尼亚大学戴维斯分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种因果解释机制，量化强化学习中状态对动作的因果重要性及其时间演化，并通过多种仿真环境验证其优于现有关联解释方法。
2023-06-30 cs.AI cs.LG
Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery
University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
提出CD-UCT，一种基于模型强化学习的树搜索方法，通过逐步构建DAG进行因果发现，并证明了一种高效排除环边算法的正确性，实验显示其显著优于现有方法。
2024-02-13 cs.AI cs.LG
CausalGDP: Causality-Guided Diffusion Policies for Reinforcement Learning
Department of Mechanical & Industrial Engineering, Northeastern University, Boston, MA, USA（机械与工业工程系，东北大学，波士顿，马萨诸塞州，美国）；Department of Civil and Environmental Engineering, Northeastern University, Boston, MA, USA（土木与环境工程系，东北大学，波士顿，马萨诸塞州，美国）
CausalGDP通过整合因果推理，提升基于扩散的强化学习策略在复杂高维控制任务中的性能。
2026-02-09 cs.AI cs.LG
Causal Reasoning from Meta-reinforcement Learning
DeepMind（深度思维）；Harvard University（哈佛大学）；UCL（伦敦大学学院）
发现和利用环境中的因果结构是智能代理的一个关键挑战。在这里，我们探讨因果推理是否可以通过Meta强化学习出现。我们用无模型强化学习训练一个递归网络，以解决一系列问题，每个问题都包含因果结构。我们发现，经过训练的代理可以在新的情况下进行因果推理，以获得奖励。代理人可以选择信息干预，从观察数据中得出因果推论，并做出反事实的预测。虽然建立正式的因果推理算法也存在，在本文中，我们表明，这种推理可以从无模型强化学习，并建议在复杂的设置因果推理可能会受益于更多的端到端的学习为基础的方法在这里。这项工作还提供了新的策略，结构化探索强化学习，通过提供代理的能力，执行-和解释-实验。
2019-01-23 cs.AI cs.LG stat.ML
CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Twente（特文特大学）；University of Amsterdam（阿姆斯特丹大学）；Leiden University（莱顿大学）
针对因果发现难题，受Pearl因果层次结构启发，提出基于深度强化学习的CORE方法，兼具因果图重建与干预规划能力，可泛化到新图，支持10变量规模，在结构估计准确率和样本效率上优于现有方法。
2024-01-30 cs.AI cs.LG
Using Contrastive Samples for Identifying and Leveraging Possible Causal Relationships in Reinforcement Learning
TCS Research（塔塔咨询服务公司研究院）；IIT Bombay（印度理工学院孟买分校）
强化学习的一个重大挑战是量化行动和长期奖励之间的复杂关系。这些影响可能会在一长串状态-动作对中显现出来，这使得它们很难精确定位。在本文中，我们提出了一种方法来链接过渡状态的显着偏差异常大的变化，在随后的奖励。这种转换被标记为可能的因果效应，并且相应的状态-动作对被添加到单独的重放缓冲器。此外，我们包括对应于从类似状态但具有不同动作的转换的\textit{contrastive}样本。在训练过程中包括这种对比经验回放（CER）显示在2D导航任务上优于基于标准值的方法。我们相信CER可以用于广泛的学习任务，包括任何非策略强化学习算法。
2022-10-28 cs.AI cs.LG
Causal Multi-Agent Reinforcement Learning: Review and Open Problems
InstaDeep Ltd.（InstaDeep有限公司）；University of Cape Town（开普敦大学）
本文旨在向读者介绍多智能体强化学习（MARL）领域及其与因果关系研究方法的交叉。我们强调了MARL的主要挑战，并讨论了因果方法如何帮助解决这些问题。我们提倡对MARL采取“因果关系第一”的观点。具体来说，我们认为，因果关系可以提供更好的安全性，可解释性和鲁棒性，同时也为紧急行为提供强有力的理论保证。我们讨论了共同挑战的潜在解决方案，并利用这一背景来激励未来的研究方向。
2021-12-01 cs.AI cs.LG stat.ML
Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning
AI Institute, Seoul National University（首尔国立大学人工智能学院）；Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
针对现有强化学习因果动力学模型忽略上下文细粒度关系的问题，提出一种利用离散潜变量将状态-动作空间量化为子组以学习细粒度因果结构的新颖动力学模型，显著提升了对未见状态和局部虚假相关性的鲁棒性。
2024-06-05 cs.AI cs.LG
A Survey on Causal Reinforcement Learning
Tsinghua University（清华大学）；Guangdong University of Technology（广东工业大学）；Peng Cheng Laboratory（鹏城实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Shantou University（汕头大学）
本文综述了因果强化学习（CRL），按因果信息是否预先给定对现有方法分类，并从MDP、POMDP、MAB和DTR等模型角度分析，总结了评估指标、开源资源、应用与未来方向。
2023-06-01 cs.AI cs.LG
Reward Tampering Problems and Solutions in Reinforcement Learning: A Causal Influence Diagram Perspective
Google（谷歌公司）
人类能让任意有能力的强化学习（RL）代理来执行他们的命令吗？或者，有足够能力的RL代理总是能找到方法通过缩短奖励信号来绕过他们的预期目标？这个问题影响到RL可以扩展到多大程度，以及是否必须开发替代范式以构建安全的通用人工智能。在本文中，我们研究了当RL代理有一个工具目标篡改其奖励过程，并描述了设计原则，防止工具目标的两种不同类型的奖励篡改（奖励功能篡改和RF输入篡改）。结合起来，设计原则可以防止这两种类型的奖励篡改工具的目标。分析受益于因果影响图，提供直观而精确的形式化。
2021-03-26 cs.AI cs.LG
Amortized Active Causal Induction with Deep Reinforcement Learning
Helmholtz AI（亥姆霍兹人工智能）；Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）
提出CAASL，一种基于Transformer和强化学习的主动干预策略，无需似然函数即可实时选择干预，在合成数据和单细胞模拟器上优于替代方法，并具备良好的分布偏移和零样本泛化能力。
2024-05-26 cs.AI cs.LG
Object-Centric World Models for Causality-Aware Reinforcement Learning
本文提出STICA框架，通过对象中心Transformer构建世界模型，并结合因果意识策略和价值网络，提升样本效率和最终性能。
2026-03-30 cs.AI cs.LG
Causality and Batch Reinforcement Learning: Complementary Approaches To Planning In Unknown Domains
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）；New York University（纽约大学）
强化学习算法在在线学习环境中取得了巨大的成功。然而，这些成功依赖于算法代理与其环境之间的低风险交互。在许多RL可能有用的环境中，例如医疗保健和自动驾驶，大多数在线RL算法在早期训练中所犯的错误都会带来不可接受的成本。这些设置需要开发可以在所谓的批处理设置中操作的强化学习算法，其中算法必须从固定的、有限的并且从一些（可能未知的）策略生成的数据集学习。评估与收集数据的政策不同的政策被称为政策外评估，自然会提出反事实的问题。在这个项目中，我们将展示如何关闭政策评估和因果推理中的治疗效果估计是解决同一问题的两种方法，并比较这两个领域的最新进展。
2020-06-03 cs.AI cs.LG
Causal Information Prioritization for Efficient Reinforcement Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
针对强化学习样本效率低的问题，提出因果信息优先级排序（CIP）方法，利用因子化MDPs推断状态、动作维度与奖励的因果关系并优先处理，结合因果感知赋能学习目标，在39项连续控制任务中持续优于现有方法。
2025-02-14 cs.AI cs.LG
ReCCoVER: Detecting Causal Confusion for Explainable Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
尽管近年来在各个领域取得了显着的成果，但深度强化学习（DRL）算法缺乏透明度，影响了用户的信任并阻碍了其部署到高风险任务中。因果混淆是指一种现象，其中代理学习可能不在整个状态空间中保持的特征之间的虚假相关性，从而阻止安全部署到可能会破坏这种相关性的真实任务。在这项工作中，我们研究了代理是否依赖于虚假的相关性在关键状态，并提出了一个替代的子集的功能，它应该根据其决定，而不是，使其不太容易受到因果混淆。我们的目标是通过暴露学习到的虚假相关性对其决策的影响来增加DRL代理的透明度，并为开发人员提供关于状态空间不同部分的特征选择的建议，以避免因果混淆。我们提出了ReCCoVER，一种算法，它检测因果混淆代理的推理部署前，通过执行其政策在替代环境中，某些功能之间的相关性不举行。我们在出租车和网格世界环境中展示了我们的方法，其中ReCCoVER检测代理依赖于虚假相关性的状态，并提供了一组应该考虑的功能。
2022-03-21 cs.AI cs.LG
LacaDM: A Latent Causal Diffusion Model for Multiobjective Reinforcement Learning
School of Information Science and Technology, Guangdong University of Foreign Studies（广东外语大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）
LacaDM通过学习环境状态与策略之间的潜在因果关系，提升多目标强化学习在复杂环境中的适应性和泛化能力。
2025-12-22 cs.AI cs.LG
Causal-Aware Tabular GANs with Reinforcement Learning
Applied Artificial Intelligence Initiative (A 2 I 2 ), Deakin University, Australia（应用人工智能倡议（A2I2），德肯大学，澳大利亚）；School of Computer Science and Information Technology, Adelaide University, Australia（计算机科学与信息科技学院，阿德莱德大学，澳大利亚）
针对现有表格数据生成方法难捕捉因果关系、难保障效用与隐私的问题，提出结合因果图提取、条件WGAN-GP与强化学习训练的CA-GAN框架，在14个数据集上优于6种SOTA方法，可生成高质量合规合成数据。
2026-10-02 cs.AI cs.LG
CIER: A Novel Experience Replay Approach with Causal Inference in Deep Reinforcement Learning
East China Normal University（华东师范大学）
针对深度强化学习训练中数据利用率低、可解释性不足的问题，提出基于因果推断的经验回放方法CIER，通过时间序列分割与因果因子识别提升训练效果，结合优先经验回放仍具有效性。
2024-05-14 cs.AI cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系，并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是，行动规划是基于离散的高级动作和状态空间，而强化学习通常是由连续的奖励函数驱动。然而，强化学习的最新进展，特别是通用价值函数逼近器和事后经验重放，都集中在基于稀疏奖励的目标无关方法上。在本文中，我们建立在这些新方法的基础上，通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁，促进行动规划与强化学习的集成。因此，我们证明了集成的神经符号的方法是能够解决对象操作问题，涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下，利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Goal Discovery with Causal Capacity for Efficient Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Institute for AI, Peking University（北京大学人工智能研究所）；Institute of Artificial Intelligence（人工智能研究所）
本文提出GDCC框架，通过推导状态空间中的因果容量度量，识别关键决策点作为子目标，引导智能体高效探索环境，在多目标任务上显著提升成功率。
2025-08-13 cs.AI cs.LG
Causal Counterfactuals for Improving the Robustness of Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
本文提出完整因果RL框架CausalCF，融合Causal Curiosity的干预机制与改造后的CoPhy反事实推理，并在CausalWorld机器人任务中验证其可提升RL鲁棒性。
2023-06-05 cs.AI cs.LG cs.RO
Expediting Reinforcement Learning by Incorporating Knowledge About Temporal Causality in the Environment
TU Dortmund University Research Center Trustworthy Data Science（图宾根大学可信数据科学与安全研究中心）
本文提出将基于时序逻辑的因果图融入奖励形式体系，以加速强化学习策略学习并支持任务规范迁移，并提供了收敛性理论证明和实验验证。
2025-10-17 cs.AI cs.LG
A Meta-Reinforcement Learning Algorithm for Causal Discovery
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit van Amsterdam（阿姆斯特丹大学）
因果发现是机器学习的一项重要任务，因为因果结构可以使模型超越纯粹的基于相关性的推理，并显着提高其性能。然而，从数据中找到因果结构在计算工作量和准确性方面都构成了重大挑战，更不用说在没有干预的情况下不可能实现。在本文中，我们开发了一个Meta强化学习算法，通过学习执行干预，使其可以构建一个明确的因果图进行因果发现。除了对可能的下游应用有用之外，估计的因果图还为数据生成过程提供了解释。在这篇文章中，我们表明，我们的算法估计一个很好的图相比，SOTA的方法，即使在环境中的潜在因果结构是以前看不见的。此外，我们做了一个消融研究，显示如何学习干预有助于我们的方法的整体性能。我们的结论是，干预措施确实有助于提高绩效，有效地对可能看不见的环境的因果结构进行准确估计。
2023-02-21 cs.AI cs.LG stat.ME
Causality Detection for Efficient Multi-Agent Reinforcement Learning
Loughborough University London（拉夫堡大学伦敦校区）
当作为团队学习任务时，多智能体强化学习（MARL）中的一些智能体可能无法理解它们对团队绩效的真正影响。这样的代理最终会学习次优策略，表现出不受欢迎的懒惰行为。为了研究这个问题，我们首先正式使用的时间因果关系适用于MARL问题。然后，我们展示了因果关系如何可以用来惩罚这种懒惰的代理人，并改善他们的行为。通过了解他们的局部观察与团队奖励的因果关系，团队中的每个代理都可以根据他们是否帮助导致奖励来调整他们的个人信用。我们的经验表明，在MARL中使用因果关系估计不仅提高了团队的整体表现，而且还提高了每个代理的个人能力。我们观察到，在一组不同的环境中的改进是一致的。
2023-03-24 cs.AI cs.LG cs.MA
Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals
College of Computer and Cyber Security, Fujian Normal University（福建师范大学计算机与网络空间安全学院）；Fujian Provincial Key Laboratory of Network Security and Cryptology（福建省网络安全与密码技术重点实验室）
针对传感器信号半监督异常检测中现有方法忽略因果关系、强化学习方法存在先验利用不足等问题，提出融合因果推断的三重辅助因果强化学习检测模型Tri-CRLAD，在7个数据集上优于9种SOTA方法，稳定性最高提升23%。
2024-05-16 cs.AI cs.LG
Causal Policy Learning in Reinforcement Learning: Backdoor-Adjusted Soft Actor-Critic
National University of Singapore（新加坡国立大学）；Trinity College Dublin, The University of Dublin（都柏林大学三一学院）
针对强化学习中隐藏混淆变量导致策略偏差的问题，本文提出DoSAC算法，通过可学习后门重构器从观测数据估计干预策略，在连续控制任务中提升了鲁棒性与泛化能力。
2025-06-05 cs.AI cs.LG
Learning by Doing: An Online Causal Reinforcement Learning Framework with Causal-Aware Policy
School of Computer Science, Guangdong University of Technology, Guangzhou 510006, China（广东工业大学计算机科学学院）；Pazhou Laboratory (Huangpu), Guangzhou 510555, China（黄埔实验室）；School of Mathematics and Statistics, Beijing Technology and Business University, Beijing 102401, China（北京科技与商务大学数学与统计学院）；Huawei Noah’s Ark Lab, Shenzhen 518116, China（华为诺亚方舟实验室）；Department of Computer Science and Technology, Tsinghua University, Beijing 100190, China（清华大学计算机科学与技术系）；National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093, China（新型软件技术国家重点实验室）；College of Science, Shantou University, Shantou 515063, China（汕大科学学院）
本文提出一种在线因果强化学习框架，通过干预学习因果结构并指导策略，在故障报警环境中验证了其有效性和鲁棒性。
2025-04-24 cs.AI cs.LG
Explainable Reinforcement Learning Through a Causal Lens
The University of Melbourne（墨尔本大学）
认知科学中流行的理论认为，人类通过因果关系来理解和表征世界的知识。在理解世界的过程中，我们在头脑中建立因果模型来编码事件的因果关系，并使用这些模型来解释新事件发生的原因。在本文中，我们使用因果模型推导出强化学习代理的行为的因果解释。我们提出了一种方法，在强化学习过程中学习结构因果模型，并对感兴趣的变量之间的因果关系进行编码。然后，该模型用于基于因果模型的反事实分析来产生行为解释。我们报告了一项研究，120名参与者观察代理人玩实时战略游戏（星际争霸II），然后接受代理人行为的解释。研究内容包括：（1）被试通过任务预测解释获得的理解;（2）解释满意度;（3）信任度。我们的研究结果表明，因果模型的解释表现更好，这些措施相比，其他两个基线解释模型。
2019-11-20 cs.AI cs.HC cs.LG
Stochastic Intervention for Causal Inference via Reinforcement Learning
University of Technology Sydney（悉尼科技大学）
因果推理方法广泛应用于精准医疗、最优政策和经济学等决策领域。因果推断的核心是干预策略的治疗效果估计，例如药物剂量的变化和经济援助的增加。现有的方法大多局限于确定性的处理和比较不同处理下的结果。然而，他们无法解决随机治疗下的治疗效果估计的实质性近期兴趣，例如，“如果采取50%剂量减少，所有单位的健康状况如何变化”。换句话说，它们缺乏提供细粒度治疗效果估计以支持合理决策的能力。在我们的研究中，我们提出了一个新的有效的框架来估计随机干预的治疗效果的因果推理研究。特别地，我们开发了一个基于非参数影响函数的随机干预效应估计器（SIE），理论上保证了鲁棒性和快速收敛速度。此外，我们构建了一个定制的强化学习算法的基础上的随机搜索求解器，可以有效地找到最优的政策，以产生最大的预期结果的决策过程。最后，我们进行了实证研究，以证明我们的框架可以实现显着的性能与国家的最先进的基线相比。
2021-05-28 cs.AI cs.LG
Reinforcement Learning of Causal Variables Using Mediation Analysis
Technical University of Denmark（丹麦技术大学）；Alexandra Institute（亚历山德拉研究所）
机器学习中的许多开放问题都与因果关系有着内在的联系，然而，因果分析在机器学习中的应用还处于早期阶段。在一般的强化学习设置，我们考虑的问题，建立一个通用的强化学习代理，使用经验来构建环境的因果图，并使用此图通知其政策。我们的方法有三个特点：首先，我们学习一个简单的，粗粒度的因果图，其中的变量反映了许多时间实例的状态，干预发生在政策层面，而不是个人行动。其次，我们使用中介分析，以获得一个优化目标。通过最小化这个目标，我们定义了因果变量。第三，我们的方法依赖于估计条件期望，而不是熟悉的预期回报从强化学习，因此，我们应用贝尔曼方程的推广。我们表明，该方法可以学习一个合理的因果图在网格世界的环境中，和代理获得性能的改善时，使用的因果告知政策。据我们所知，这是第一次尝试在强化学习环境中应用因果分析，而对状态的数量没有严格限制。我们已经观察到，中介分析提供了一个很有前途的途径，将因果收购的问题转化为成本函数最小化，但重要的是一个涉及估计条件期望。这是一个新的挑战，我们认为因果强化学习将涉及适合在线估计这种条件期望的开发方法。最后，我们的方法的一个好处是使用非常简单的因果模型，这可以说是人类因果理解的一个更自然的模型。
2022-05-17 cs.LG
Causal Reinforcement Learning for Complex Card Games: A Magic The Gathering Benchmark
Department of Computer Science and Software Engineering, University of Western Australia（西澳大学计算机科学与软件工程系）
本文提出MTG-Causal-RL基准测试，通过Magic: The Gathering游戏中的复杂环境，结合因果结构和掩码动作空间，评估因果信用分配、跨 archetype 转移和策略可审计性等核心问题。
2026-05-07 cs.AI cs.LG
A Framework for Empowering Reinforcement Learning Agents with Causal Analysis: Enhancing Automated Cryptocurrency Trading
Deakin University（迪肯大学）；Deakin Business School（迪肯商学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
针对加密货币自动交易的盈利难题，提出集成贝叶斯与动态贝叶斯网络的CausalReinforceNet框架，增强强化学习智能体决策，实验表明其在多种山寨币上优于买入持有和基线RL模型。
2024-08-19 cs.AI cs.LG
Disentangling causal effects for hierarchical reinforcement learning
University of Tartu（塔尔图大学）；Institute of Computer Science（计算机科学研究所）
稀疏报酬下的探索和信用分配仍然是具有挑战性的问题。我们认为，这些挑战的出现部分是由于内在的刚性操作的行动水平。动作可以精确地定义如何执行活动，但不适合描述要执行的活动。相反，因果效应具有内在的可组合性和时间抽象性，使其成为描述性任务的理想选择。通过利用因果效应的层次结构，本研究旨在加快任务特定行为的学习和援助探索。借用因果文献中的反事实和常态措施，我们从环境的其他动态引起的影响中解脱出可控的影响。我们提出了CEHRL，一个分层的方法，使用变分自编码器的可控效果的分布模型。高级策略使用此分布来1）通过随机效应探索来探索环境，以便不断发现和学习新的效应，以及2）通过优先考虑最大化给定奖励函数的效应来学习特定于任务的行为。实验结果表明，与随机动作探索相比，随机效果探索是一种更有效的机制，并且通过将信用分配给少数效果而不是许多动作，CEHRL学习任务更快。
2022-02-21 cs.AI cs.LG
BECAUSE: Bilinear Causal Representation for Generalizable Offline Model-based Reinforcement Learning
CMU（卡内基梅隆大学）；Caltech（加州理工学院）；MIT（麻省理工学院）；UChicago（芝加哥大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文针对离线MBRL中由潜在混杂因素导致的模型与策略目标不匹配问题，提出BECAUSE算法，通过为状态和动作捕获双线性因果表示以减少分布偏移影响，在18项任务中展现出更优的泛化性、鲁棒性及理论误差界限。
2025-03-03 cs.AI cs.LG
Causal Campbell-Goodhart's law and Reinforcement Learning
University College London（伦敦大学学院）
坎贝尔-古德哈特定律（Campbell-Goodhart's law）指的是一种因果推理错误，即决策主体试图影响与其目标目标相关的变量，但并不可靠地导致它。这是经济学和政治学中众所周知的错误，但在人工智能研究中并没有被广泛标记。通过一个简单的例子，我们展示了现成的深度强化学习（RL）算法不一定不受这种认知错误的影响。离策略学习方法被欺骗，而在策略方法不是。实际的含义是，将RL天真地应用于复杂的现实生活问题可能会导致与人类相同类型的政策错误。在理解基于强化学习的解决方案的因果模型时，应该非常小心。
2021-02-18 cs.AI cs.LG econ.GN
Unifying Causal Reinforcement Learning: Survey, Taxonomy, Algorithms and Applications
Department of Computer Science and Software Engineering, University of Western Australia（计算机科学与软件工程系，西澳大利亚大学）
本文综述了因果强化学习的分类、算法和应用，探讨了其在解决经典强化学习局限性方面的潜力及未来研究方向。
2025-12-19 cs.AI
Causal Process Models: Reframing Dynamic Causal Graph Discovery as a Reinforcement Learning Problem
University of Tübingen（图宾根大学）；MPI for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；University of Amsterdam（阿姆斯特丹大学）；TU Darmstadt（达姆施塔特工业大学）
本文提出因果过程模型，通过将动态因果图构建视为多智能体强化学习问题，实现了从视觉观测中学习稀疏时间变化因果图，提升可解释性和计算效率。
2026-04-05 cs.LG
Causally Correct Partial Models for Reinforcement Learning
DeepMind；University College London（伦敦大学学院）；Mila, Université de Montréal（蒙特利尔大学Mila研究所）
在强化学习中，我们可以学习未来观察和奖励的模型，并使用它来计划智能体的下一步行动。然而，如果观测是高维的（例如图像），联合建模未来的观测可能在计算上是昂贵的，甚至是棘手的。由于这个原因，以前的作品已经考虑了部分模型，其中模型的观察只有一部分。在本文中，我们证明了部分模型可能是因果不正确的：它们被它们不建模的观测结果所混淆，因此可能导致不正确的规划。为了解决这个问题，我们引入了一系列可证明因果关系正确的部分模型，但仍然保持快速，因为它们不需要完全模拟未来的观察结果。
2020-02-07 cs.AI cs.LG stat.ML
Causal prompting model-based offline reinforcement learning
Faculty of Computing（计算机学院）；Harbin Institute of Technology（哈尔滨工业大学）；University of Surrey（萨里大学）；The Artificial Intelligence Institute（人工智能研究院）
针对在线系统数据集高度次优且多样的挑战，提出CPRL框架，通过隐参数块因果提示动态建模环境并复用技能训练单一策略，在噪声环境中实现稳健决策并开源代码与真实医疗数据集。
2024-06-03 cs.AI cs.LG
Explainable Reinforcement Learning via a Causal World Model
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出在无环境因果结构先验知识下学习因果世界模型，以因果链解释动作的长期奖励效应，并在保持预测准确率的同时连接可解释性与基于模型的强化学习。
2024-01-18 cs.LG
Transferable Delay-Aware Reinforcement Learning via Implicit Causal Graph Modeling
College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）；Intelligent Game and Decision Lab (IGDL)（智能游戏与决策实验室）；Institute of Military Transportation（军事交通运输研究院）；School of Artificial Intelligence, Hebei University of Technology（人工智能学院，河北工业大学）
本文提出基于隐式因果图建模的可迁移延迟感知强化学习方法，通过节点级语义编码和消息传递机制学习可迁移的结构表示和环境动态知识，以优化策略并实现跨任务知识迁移。
2026-05-12 cs.AI cs.LG
Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Alberta（阿尔伯塔大学）；Tübingen AI Center（图宾根人工智能中心）；ELLIS Institute（ELLIS研究所）；Technische Universität Braunschweig（不伦瑞克工业大学）
本文提出非线性因果模型约简框架，通过扰动策略动作并观察累积奖励变化，学习高层的简化因果模型来解释强化学习策略行为，并在合成和实际任务中验证其能揭示策略的行为模式、偏差与失败模式。
2025-07-20 cs.AI cs.LG stat.ML
CAFE: Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning
CAFE通过因果引导的多智能体强化学习提升自动化特征工程的鲁棒性和效率。
2026-10-27 cs.AI cs.LG cs.MA
CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery
Simula Research Laboratory（Simula研究实验室）；University of Oslo（奥斯陆大学）
研究自主系统恢复中传统强化学习问题，引入基于因果关系的CRRL框架，利用驾驶日志因果关系塑造训练信号，使策略与基于规则的恢复有效协作，提升相关指标。
2026-07-07 cs.AI cs.LG cs.SE
Causal-Paced Deep Reinforcement Learning
本文提出因果节奏深度强化学习（CP-DRL），通过交互数据近似任务间结构因果模型差异并结合奖励增益衡量可学习性，构建统一课程目标，在多个基准上验证了其提升收敛速度、回报和样本效率的有效性。
2025-06-24 cs.AI cs.LG stat.ML
Reinforcement Causal Structure Learning on Order Graph
Shandong University（山东大学）；Suzhou University of Science and Technology（苏州科技大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
学习描述观测数据因果关系的有向无环图（DAG）是一项非常具有挑战性但又非常重要的任务。由于观测数据的数量和质量有限，以及因果图的不可识别性，几乎不可能推断出单个精确的DAG。一些方法通过马尔可夫链蒙特卡罗（MCMC）近似DAG的后验分布来探索DAG空间，但DAG空间具有超指数增长的性质，精确刻画DAG上的整个分布是非常困难的。在本文中，我们提出了{顺序图上的强化因果结构学习}（RCL-OG），使用顺序图代替MCMC来建模不同的DAG拓扑顺序，并减少问题的大小。RCL-OG首先定义了具有新奖励机制的强化学习，以功效方式近似排序的后验分布，并使用深度Q学习在节点之间更新和传递奖励。其次，得到了序图上节点的概率转移模型，并计算了不同序下的后验概率。这样，我们就可以在这个模型上进行抽样，以获得高概率的排序。在合成数据集和基准数据集上的实验表明，RCL-OG提供了准确的后验概率近似，并取得了比竞争性因果发现算法更好的结果。
2022-11-22 cs.AI cs.LG stat.ME
Tackling Non-Stationarity in Reinforcement Learning via Causal-Origin Representation
School of Computer Science, Peking University（北京大学计算机学院）；Center for Statistical Science, Peking University（北京大学统计科学中心）；School of Data Science, Fudan University（复旦大学数据科学学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出COREP算法，通过隐式追踪非平稳性因果起源并学习稳定图表示，使策略对非平稳性具备卓越韧性，在解决强化学习非平稳性问题上优于现有方法。
2024-06-02 cs.LG
A Roadmap Towards Improving Multi-Agent Reinforcement Learning With Causal Discovery And Inference
University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）；Department of Sciences and Method for Engineering（科学与工程方法学院）
本文探索因果推理应用于多智能体强化学习（MARL）的机遇与挑战，通过在多类协作需求的前沿MARL场景与算法中测试简单因果增强的效果，梳理正负结果并提出未来研究方向，为因果RL向多智能体场景迁移提供路线参考。
2025-03-22 cs.AI cs.LG cs.MA
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
Maximum Causal Entropy Inverse Constrained Reinforcement Learning
Ghent University（根特大学）；imec（比利时微电子研究中心）
针对真实环境中隐性约束难以传递给智能体的问题，提出基于最大因果熵的逆约束强化学习方法，通过演示学习约束与合规策略，在多场景下性能优于现有方法且适配复杂环境。
2023-05-04 cs.AI cs.LG
Timing Process Interventions with Causal Inference and Reinforcement Learning
KU Leuven（荷语鲁汶大学）；Faculty of Economics and Business（经济与商业学院）；Research Centre for Information Systems Engineering (LIRIS)（信息系统工程研究中心（LIRIS））
本文针对定时流程干预问题，基于支持真实在线学习的合成数据定量比较CI与RL，证明在线RL策略更优、更稳健且适用于通用PresPM任务。
2023-06-07 cs.AI cs.LG
