Explaining Reinforcement Learning: A Counterfactual Shapley Values Approach
School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院）；School of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
提出反事实 Shapley 值（CSV）方法，结合反事实分析与 Shapley 值量化状态维度对动作选择的贡献，并在多个 RL 环境中验证其可解释性效果。
2024-08-06 cs.AI
Explaining Reinforcement Learning Policies through Counterfactual Trajectories
Boston University（波士顿大学）；UC Berkeley（加州大学伯克利分校）；Harvey Mudd College（哈维穆德学院）
为了让人类能够自信地决定在哪里使用RL代理来执行现实任务，人类开发人员必须验证代理在测试时表现良好。一些策略可解释性方法通过在一组代理推出中捕获策略的决策来促进这一点。然而，即使是训练时间行为的最具信息量的轨迹也可能对代理的分布外行为没有什么洞察力。相比之下，我们的方法传达代理如何执行下分布偏移通过显示代理的行为在一个更广泛的轨迹分布。我们通过引导代理到更多样化的看不见的状态并显示代理的行为来生成这些轨迹。在用户研究中，我们证明了我们的方法使用户能够在两个代理验证任务中的一个上获得比基线方法更好的分数。
2022-03-19 cs.AI cs.HC cs.LG
Exploratory Not Explanatory: Counterfactual Analysis of Saliency Maps for Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
显着图经常被用来支持解释深度强化学习（RL）代理的行为。然而，对显着图在实践中如何使用的回顾表明，所得出的解释往往是不可证伪的，并且可能是高度主观的。我们引入了一种基于反事实推理的实证方法来测试显着性图产生的假设，并评估它们与RL环境的语义相对应的程度。我们使用Atari游戏，深度RL的常见基准，来评估三种类型的显着性图。我们的研究结果表明，在何种程度上可以评估现有的雅达利游戏的索赔，并建议显着图最好被视为一种探索性的工具，而不是一个解释性的工具。
2020-02-20 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）
反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Counterfactual Explanations for Continuous Action Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对连续动作强化学习可解释性不足的问题，提出一种基于最小偏差替代动作序列的反事实解释生成方法，经两个RL领域验证有效，助力提升RL的可解释性与可信度。
2025-05-19 cs.AI cs.LG
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心（CWI））；Eindhoven University of Technology（埃因霍温理工大学）
该研究针对帕累托条件强化学习的帕累托条件网络，提出命令空间反事实解释方法CF-ZOO，通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
Counterfactual experience augmented off-policy reinforcement learning
Wuhan University of Science and Technology（武汉科技大学）；College of Science（理学院）；Intelligent Automobile Engineering Research Institute（智能汽车工程研究院）；School of Automobile and Traffic Engineering（汽车与交通工程学院）
针对强化学习分布外与探索低效问题，提出CEA算法，利用变分自编码器和反事实推理扩展经验池，并在多类环境中优于SOTA方法。
2025-03-18 cs.AI cs.LG stat.ML
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics（中央财经大学）；iFLYTEK（科大讯飞）；Zhejiang University（浙江大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验，从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是，我们提出了一个多智能体深度强化学习模型，其结构模仿人类心理的反事实思维过程，以提高智能体的竞争能力。为此，我们的模型生成了几个可能的行动（意图行动）与一个并行的政策结构，并估计这些意图行动的奖励和遗憾的基础上，其当前的理解环境。我们的模型采用了一个基于ESTA的框架，将估计的遗憾与其内部政策联系起来。在迭代过程中，我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性，我们进行了广泛的实验，在两个不同的环境与现实世界的应用程序。实验结果表明，反事实思维实际上可以使智能体在保持高执行效率的同时，通过与对手进行比较，从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
Causal Counterfactuals for Improving the Robustness of Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
本文提出完整因果RL框架CausalCF，融合Causal Curiosity的干预机制与改造后的CoPhy反事实推理，并在CausalWorld机器人任务中验证其可提升RL鲁棒性。
2023-06-05 cs.AI cs.LG cs.RO
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
本文针对序列反事实解释中强化学习策略存在动作偏置的问题，提出利用分类器输出概率设计更具信息量的奖励函数，以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Do No Harm: A Counterfactual Approach to Safe Reinforcement Learning
ISEE AI
针对约束违反不可避免时惩罚程度不明的问题，本文提出基于所学策略相对默认安全策略反事实伤害的约束，仅惩罚智能体造成的违规并保持最优控制问题可行，实验表明其优于当代约束RL方法。
2024-05-19 cs.AI cs.LG
COLLATOR: Compositional Multi-Agent Orchestration with Counterfactual Reinforcement Learning
LEMON通过反事实强化学习生成可执行的多智能体编排规范，整合任务特定角色、定制职责、容量级别和依赖结构，提升多智能体系统解决方案质量和执行效率。
2026-09-30 cs.AI
Towards Efficient Online Tuning of VLM Agents via Counterfactual Soft Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出反事实软强化学习方法CoSo，通过动态评估token对动作的因果影响来优化VLM智能体的在线探索，并在多种任务中验证了其提升探索效率和性能的有效性。
2025-06-03 cs.AI cs.LG
Accelerating the Learning of TAMER with Counterfactual Explanations
Ulm University（乌尔姆大学）
从人类反馈中交互式学习的能力将使智能体能够在新的环境中工作。例如，即使是新手用户也可以自然地和交互地训练服务机器人完成新任务。人在回路强化学习（HRL）结合了人的反馈和强化学习（RL）技术。最先进的交互式学习技术遭受缓慢的学习速度，从而导致人类的令人沮丧的体验。我们通过扩展HRL框架TAMER评估反馈的可能性，以提高人类的反馈与两种不同类型的反事实的解释（行动和状态为基础）来解决这个问题。我们的实验表明，我们的扩展提高了学习的速度。
2022-07-27 cs.AI cs.LG
Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
Technion - Israel Institute of Technology（以色列理工学院）
针对现有可解释强化学习局部解释无法展现动作结果的问题，提出可视化对比所选动作与反事实动作结果的COViz方法，实验显示其与奖励分解法整合可显著提升用户对智能体偏好的理解表现。
2023-12-18 cs.AI cs.LG
ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning
University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Jiangxi Science and Technology Normal University（江西科技师范大学）；Shenzhen University（深圳大学）
ASCT通过对抗树搜索将训练时的多步搜索转化为局部动作信用，提升智能体强化学习的信用分配，在HotpotQA上优于现有方法，并减少计算开销。
2026-09-29 cs.AI
BlackBoxToBlueprint: Extracting Interpretable Logic from Legacy Systems using Reinforcement Learning and Counterfactual Analysis
IIIT Hyderabad
本文提出BlackBoxToBlueprint流水线，用强化学习探索黑盒遗留系统的决策边界，结合反事实状态转移、K-Means聚类和决策树提取可解释规则，并在三类虚拟系统上验证了其有效性。
2025-06-30 cs.AI cs.LG
Class-Aware Reinforcement Learning for Counterfactual Explanation Generation
Institute of Business Administration Karachi（卡拉奇工商管理学院）；Commonwealth Bank of Australia（澳大利亚联邦银行）；Stanford University（斯坦福大学）；University of New South Wales（新南威尔士大学）
本研究提出类别感知强化学习方法，将实例预测类别纳入RL状态表示，经7个不同领域数据集对比实验，该方法收敛更快、奖励优化更好、有效反事实解释更多，凸显类别感知的重要性。
2026-07-31 cs.AI cs.LG
Counterfactual Policy Evaluation for Decision-Making in Autonomous Driving
fortiss GmbH（fortiss有限公司）；Technische Universität München（慕尼黑工业大学）
基于学习的方法，如强化和模仿学习，在自动驾驶的决策中越来越受欢迎。然而，学习策略往往不能推广，不能很好地处理新的情况。以“如果其他代理人的行为不同，策略是否会表现良好？“可以说明一项政策是否在培训期间出现过类似情况，并能很好地概括。在这项工作中，介绍了一个反事实的政策评估，利用反事实的世界-世界中，其他人的行为是非实际的。如果一个策略能够很好地处理所有的反事实世界，那么它要么在训练过程中遇到过类似的情况，要么它概括得很好，被认为足够适合在现实世界中执行。此外，通过执行反事实的政策评估，因果关系和改变车辆的行为对周围车辆的影响变得明显。为了验证所提出的方法，我们学习的政策，使用强化学习车道合并的情况。在应用阶段，只有在执行了反事实策略评估之后，并且如果发现策略足够安全，才执行策略。我们表明，所提出的方法显着降低了碰撞率，同时保持了较高的成功率。
2020-11-12 cs.AI cs.LG cs.RO
CRAFT: Counterfactual Credit Assignment from Free Sibling Rollouts for Self-Distilled Agentic Reinforcement Learning
提出CRAFT方法，通过反事实令牌重要性、非对称控制器和极化KL惩罚三个支柱，解决自蒸馏强化学习中信用分配信号的双重局限性，提升智能体性能。
2026-06-28 cs.AI cs.LG
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中，我们介绍和评估的远端解释模型的无模型强化学习代理，可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链，其形式为“A促成B，B促成C”。使用的见解，从分析240个解释中产生的人类代理实验，我们定义了一个远端解释模型，可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链，并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中，我们发现，与两种基线解释模型相比，我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
Counterfactual Data Augmentation using Locally Factored Dynamics
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
许多动态过程，包括机器人控制和强化学习（RL）中的常见场景，都涉及一组相互作用的子过程。虽然子过程不是独立的，但它们之间的相互作用通常是稀疏的，并且在任何给定时间步的动态通常可以分解为局部独立的因果机制。这种局部因果结构可以被利用来提高序列预测和离线强化学习的样本效率。我们通过引入局部因果模型（LCM）来正式化这一点，该模型是通过状态空间的一个子集进行调节而从全局因果模型中诱导出来的。我们提出了一种方法来推断这些结构的面向对象的状态表示，以及一种新的算法，用于反事实数据增强（CoDA）。CoDA使用局部结构和经验重放来生成在全局模型中因果有效的反事实经验。我们发现，CoDA显着提高了RL代理在本地因素的任务，包括批量约束和目标条件设置的性能。
2020-12-03 cs.AI cs.LG cs.RO
FAST-Q: Fast-track Exploration with Adversarially Balanced State Representations for Counterfactual Action Estimation in Offline Reinforcement Learning
Games24x7 India（Games24x7印度）
FAST-Q利用梯度反转学习构建平衡状态表示，支持离线反事实探索与多目标Q值分解，解决了离线强化学习中分布外动作Q值高估问题，显著提升了推荐效果并降低成本。
2025-04-30 cs.AI cs.LG
Learning Spatiotemporal Sensitivity in Video LLMs via Counterfactual Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；Tencent（腾讯）
本文提出CRPO方法，通过反事实强化学习提升视频大语言模型对时空动态的敏感性，通过构建反事实视频并引入反事实关系奖励，有效抑制了依赖静态线索的简略策略，从而在DyBench基准测试中提升了模型的时空敏感性。
2026-09-29 cs.AI cs.CV
Policy-Conditioned Counterfactual Credit for Verifiable Reinforcement Learning of Long-Horizon Language Agents
stu.ahu.edu.cn（安徽大学）
提出CVT-RL算法，通过策略条件反事实贡献估计和可验证奖励约束，解决长周期语言智能体在推理和工具使用中的虚假证据链、信念漂移和捷径行为问题，在多个任务上提升成功率并降低作弊率。
2026-06-03 cs.AI cs.LG
Beyond the Known: Decision Making with Counterfactual Reasoning Decision Transformer
Applied AI Institute, Deakin University, Australia（应用人工智能研究所，德肯大学，澳大利亚）；School of IT, Deakin University, Australia（信息学院，德肯大学，澳大利亚）
本文提出CRDT框架，通过生成和利用反事实经验增强DT在数据有限、动态变化及未见场景中的决策与轨迹拼接能力，并在Atari和D4RL上验证其优于传统DT。
2025-05-14 cs.AI cs.LG
Transfer learning with causal counterfactual reasoning in Decision Transformers
causaLens；King’s College London（伦敦国王学院）
适应环境突发事件变化的能力是强化学习中的一个重要挑战。事实上，将先前获得的知识转移到具有看不见的结构特性的环境中可以大大提高构建新的最优策略的灵活性和效率。在这项工作中，我们研究了环境动态变化下的迁移学习问题。在这项研究中，我们在离线强化学习设置中应用因果推理，将学习到的策略转移到新的环境中。具体来说，我们使用决策Transformer（DT）架构来提取新环境的新策略。DT通过在源环境的事实和反事实模拟上执行策略部署来收集数据。我们表明，这种机制可以引导一个成功的政策目标环境，同时保留大部分的奖励。
2021-10-27 cs.AI cs.LG stat.ML
ACTER: Diverse and Actionable Counterfactual Sequences for Explaining and Diagnosing RL Policies
Trinity College Dublin（都柏林圣三一学院）
ACTER提出一种算法，利用NSGA-II进化算法生成多样且可操作的逆事实动作序列，以解释和诊断强化学习策略中的失败，并在两个环境中验证其有效性。
2024-02-09 cs.AI cs.LG
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题，本文提出EARL库用于生成反事实解释，并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
SAFE-RL: Saliency-Aware Counterfactual Explainer for Deep Reinforcement Learning Policies
WMG at the University of Warwick（华威大学WMG学院）
针对深度强化学习策略在高维视觉输入和时间依赖性下难以生成反事实解释的问题，提出SAFE-RL框架，利用显著性图识别关键像素并驱动深度生成模型，生成更合理且信息丰富的反事实解释。
2024-04-28 cs.AI cs.LG
An Introduction to Causal Reinforcement Learning
Columbia University（哥伦比亚大学）；Graduate School of Data Science（数据科学研究生院）
本文提出将因果推断与强化学习统一在结构因果模型框架下，引入广义策略学习、模仿学习和反事实学习等新任务，形成因果强化学习（CRL）领域。
2026-06-24 cs.AI
Counterfactual States for Atari Agents via Generative Deep Learning
Oregon State University（俄勒冈州立大学）
尽管深度强化学习代理在许多领域都取得了令人印象深刻的成果，但它们的决策很难向人类解释。为了解决这个问题，过去的工作主要集中在解释为什么在给定的状态下选择一个动作。另一种有用的解释是反事实解释，它涉及“如果？“场景。在这项工作中，我们引入了反事实状态的概念，以帮助人类更好地了解Atari游戏图像中需要改变（最低限度）的代理选择不同的动作。我们引入了一种新的方法来从生成式深度学习架构中创建反事实状态。此外，我们评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的用户研究结果表明，我们生成的反事实状态是有用的，帮助非专家参与者获得更好地了解代理的决策过程。
2019-09-27 cs.AI cs.HC cs.LG
Counterfactuals Modulo Temporal Logics
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文将Lewis反事实条件理论向时间维度扩展，提出更宽松的世界相似性概念与新增反事实算子，研究距离最小化的反事实条件，构建融合时间与反事实算子的逻辑并给出相关判定过程，支持无限序列的符号化反事实推理。
2023-06-15 cs.AI cs.LO
Null Counterfactual Factor Interactions for Goal-Conditioned Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California San Diego（加州大学圣地亚哥分校）；MBZUAI（马克斯·普朗克人工智能研究所）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
本文针对目标条件强化学习在以对象为中心领域中的稀疏奖励问题，提出基于零反事实交互定义的 HInt 事后重新标记方法和 NCII 交互推断模型，显著提升交互推断准确率并将样本效率提高最多 4 倍。
2025-05-06 cs.AI cs.LG
Double Neural Counterfactual Regret Minimization
Ant Financial（蚂蚁金融）；Georgia Institute of Technology（佐治亚理工学院）
反事实后悔最小化（CRF）是解决不完全信息博弈（IIG）问题的一种基本而有效的方法。然而，原来的CRF算法只适用于离散的状态和动作空间，所得到的策略是作为一个表格表示。这样的表格表示限制了该方法直接应用于大型游戏，并从糟糕的策略配置文件中继续改进。本文提出了一种不完全信息博弈的双神经网络表示方法，其中一个神经网络表示累积后悔，另一个表示平均策略。此外，我们采用反事实遗憾最小化算法来优化这种双神经表示。为了提高神经学习的效率，我们还开发了几种新的技术，包括一种鲁棒的采样方法，小批量蒙特卡罗反事实遗憾最小化（MCCFR）和蒙特卡罗反事实遗憾最小化加（MCCFR+），它们可能是独立的兴趣。实验表明，所提出的双神经元算法的收敛明显优于强化学习对应。
2018-12-27 cs.AI
Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
我们提出了一种逆强化学习（IRL）方法，使用深度Q网络来提取具有大状态空间的问题中的奖励。我们评估这种方法在基于模拟的自动驾驶场景中的性能。我们的研究结果类似于奖励函数和安装在汽车上不同姿势的距离传感器读数之间的直观关系。我们还表明，经过几轮学习，我们的模拟代理生成无碰撞运动，并执行类似人类的换道行为。
2017-09-21 cs.AI cs.RO
Reinforced Path Reasoning for Counterfactual Explainable Recommendation
University of Technology Sydney（悉尼科技大学）；Curtin University（科廷大学）
反事实解释通过探索项目或用户的最小改变如何影响推荐决策来解释推荐机制。现有的反事实可解释方法面临巨大的搜索空间并且它们的解释或者是基于动作的（例如，用户点击）或基于方面（即，项目说明）。我们相信基于项目属性的解释对用户来说更直观和更有说服力，因为它们通过细粒度的项目人口统计特征（例如，brand）。此外，反事实解释可以过滤掉负面项目，从而加强建议。在这项工作中，我们提出了一种新的反事实解释推荐（CERec）生成基于项目属性的反事实解释，同时提高推荐性能。我们的CERec优化解释政策统一搜索候选反事实在强化学习环境。我们减少了巨大的搜索空间与自适应路径采样器，通过使用丰富的上下文信息的一个给定的知识图谱。我们还将解释策略部署到推荐模型中，以增强推荐。广泛的可解释性和推荐评估表明CERec有能力提供符合用户偏好的解释，并保持改进的推荐。我们在https://github.com/Chrystalii/CERec上发布代码。
2022-07-14 cs.AI cs.IR
Causal Discovery and Counterfactual Reasoning to Optimize Persuasive Dialogue Policies
KDDI Research, Inc.（KDDI研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对现有说服性对话系统难适配动态用户状态的问题，提出结合因果发现、反事实推理与强化学习的方法，在PersuasionForGood数据集上实现了说服效果的提升。
2025-03-19 cs.AI cs.CL cs.HC
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文通过将多目标优化问题表述为逆问题，证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性，并进一步证明了使用梯度下降和投影次梯度法的逆强化学习（如最大熵逆强化学习和引导代价学习）的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Counterfactual Realizability
Columbia University（哥伦比亚大学）
本文形式化定义反事实分布的可实现性，提出在物理约束下判定任意反事实分布能否直接采样的完备算法，并证明其在因果公平性和强化学习中优于观测与干预策略。
2025-03-14 cs.AI cs.LG
ReLAX: Reinforcement Learning Agent eXplainer for Arbitrary Predictive Models
Stony Brook University（石溪大学）；Sapienza University of Rome（罗马第一大学）；The Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Rutgers University（罗格斯大学）
本文提出模型无关的ReLAX算法，将反事实解释生成建模为序贯决策问题，利用离散-连续混合动作空间的深度强化学习生成更稀疏、可扩展且适用于分类与回归任务的最优反事实示例，并在COVID-19防控建议中验证了其实用性。
2022-08-08 cs.AI cs.LG
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation（日本电气股份有限公司）
本文证明在多目标优化中，Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
A Primer on Maximum Causal Entropy Inverse Reinforcement Learning
逆强化学习（IRL）算法推断出一个奖励函数，该函数解释了专家在环境中提供的演示。最大因果熵（MCE）IRL是目前最流行的IRL公式，有许多扩展。在本教程中，我们将介绍MCE IRL的压缩推导以及MCE IRL算法当代实现的关键结果。我们希望这将作为一个介绍性的资源，为那些新的领域，并作为一个简明的参考，为那些已经熟悉这些主题。
2022-03-22 cs.AI cs.LG
Counterfactual Reasoning Using Predicted Latent Personality Dimensions for Optimizing Persuasion Outcome
KDDI Research, Inc.（KDDI研究所）；Carnegie Mellon University（卡内基梅隆大学）
提出基于潜在人格维度（LPDs）和反事实推理的新方法，利用BiCoGAN与DPPR生成反事实数据，并用D3QN学习话语选择策略，在PersuasionForGood数据集上验证了其优化说服结果的有效性。
2024-04-21 cs.AI cs.CL cs.HC
Toward Computationally Efficient Inverse Reinforcement Learning via Reward Shaping
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
针对逆强化学习计算成本高、需求解多个强化学习子问题的痛点，提出用基于势函数的奖励塑形降低子问题计算量，作为概念验证为高效IRL研究提供启发。
2023-12-18 cs.AI cs.LG stat.ML
Retell, Reward, Repeat: Reinforcement Learning for Narrative Theory-Informed Story Retelling
University of New South Wales（新南威尔士大学）
提出RRR强化学习框架，结合结构主义叙事学与标量叙事性，通过d-RLAIF从文本特征中获取训练信号，无需参考输出，提升LLM故事复述的逻辑性、合理性和完整性。
2026-10-14 cs.AI cs.CL
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
NTU Singapore（新加坡南洋理工大学）
MetaRubric通过证据感知策略优化与响应引导的评分标准适应，解决基于评分标准的强化学习中的空洞信用问题，显著提升医学问答等任务的准确率。
2026-10-05 cs.AI
Explainable Reinforcement Learning Agents Using World Models
School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院）
本文提出利用世界模型和反向世界模型为基于模型的深度强化学习智能体生成反事实解释，通过展示世界本应是什么样子来提升用户对智能体策略的理解，并有望帮助用户通过操纵环境控制智能体执行。
2025-08-18 cs.AI
Evading Community Detection via Counterfactual Neighborhood Search
Sapienza University of Rome（罗马第一大学）
本文提出一种基于深度强化学习的反事实邻域搜索方法，通过策略性修改网络结构隐藏目标节点的社区成员身份，在准确性与成本之间取得最佳平衡。
2024-06-07 cs.AI cs.LG cs.SI
Counterfactual Explanation Policies in RL
Adobe（奥多比公司）；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Manipal Institute Of Technology（马尼帕尔理工学院）；Harvard University（哈佛大学）
本文提出COUNTERPOL框架，利用反事实解释分析强化学习策略，通过最小策略改变实现期望回报，并在五个环境上验证其有效性与理论联系。
2023-07-25 cs.AI cs.LG
