ASQ-IT: Interactive Explanations for Reinforcement-Learning Agents
Technion - I.I.T（以色列理工学院）；University of Haifa（海法大学）
随着强化学习方法越来越多地积累成就，理解其解决方案的需求变得更加重要。大多数可解释的强化学习（XRL）方法生成静态解释，描述了开发人员对应该解释什么和如何解释的直觉。相反，社会科学的文献提出，有意义的解释被构造为解释者和被解释者之间的对话，这表明用户和她与代理人的沟通扮演着更积极的角色。在本文中，我们提出了ASQ-IT -一个交互式工具，提出了代理在其环境中的查询的基础上，描述感兴趣的行为的时间属性的代理的视频剪辑。我们的方法是基于形式化的方法：查询ASQ-IT的用户界面映射到一个片段的线性时序逻辑有限的痕迹（LTLf），我们开发的，我们的算法是基于自动机理论的查询处理。用户研究表明，最终用户可以理解和制定查询ASQ-IT，并使用ASQ-IT帮助用户识别错误的代理行为。
2023-01-24 cs.AI cs.HC
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中，我们介绍和评估的远端解释模型的无模型强化学习代理，可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链，其形式为“A促成B，B促成C”。使用的见解，从分析240个解释中产生的人类代理实验，我们定义了一个远端解释模型，可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链，并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中，我们发现，与两种基线解释模型相比，我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
Oregon State University（俄勒冈州立大学）
反事实的解释，处理“为什么不呢？“场景，可以为AI代理的行为提供有见地的解释。在这项工作中，我们专注于为在Atari等视觉输入环境中运行的深度强化学习（RL）代理生成反事实解释。我们介绍了反事实状态解释，这是一种基于生成式深度学习的基于示例的反事实解释新方法。具体地说，反事实状态说明了Atari游戏图像需要什么样的最小变化，以使智能体选择不同的动作。我们还评估了反事实状态对非机器学习专家的人类参与者的有效性。我们的第一个用户研究调查了人类是否可以辨别反事实状态解释是由实际游戏产生的还是由生成式深度学习方法产生的。我们的第二个用户研究调查，如果反事实状态的解释可以帮助非专家参与者确定一个有缺陷的代理人，我们比较与基线方法的基础上最近的邻居解释，使用图像从实际的游戏。我们的研究结果表明，反事实状态的解释有足够的保真度，以实际的游戏图像，使非专家更有效地确定一个有缺陷的RL代理相比，最近的邻居基线和根本没有解释。
2021-01-29 cs.AI cs.HC cs.LG
Command-Space Counterfactual Explanations for Pareto-Conditioned Reinforcement Learning
Centrum Wiskunde & Informatica (CWI)（数学和计算机科学中心（CWI））；Eindhoven University of Technology（埃因霍温理工大学）
该研究针对帕累托条件强化学习的帕累托条件网络，提出命令空间反事实解释方法CF-ZOO，通过边界种子方向搜索生成可操作的直观解释。
2026-08-18 cs.AI cs.HC cs.LG
Evaluating Human-like Explanations for Robot Actions in Reinforcement Learning Scenarios
University of New South Wales（新南威尔士大学）；Deakin University（迪肯大学）；Federation University（联邦大学）；Universidad Central de Chile（智利中央大学）
可解释的人工智能是一个试图为自主智能系统提供更多透明度的研究领域。可解释性已经被使用，特别是在强化学习和机器人场景中，以更好地理解机器人决策过程。然而，以前的工作主要集中在提供人工智能从业者比非专家最终用户更容易理解的技术解释上。在这项工作中，我们利用从成功的概率建立的类似人类的解释来完成自主机器人在执行动作后所显示的目标。这些解释旨在让没有或很少有人工智能方法经验的人理解。本文提出了一个用户试验，以研究这些解释，重点是成功的行动，在其目标的概率是否构成一个合适的解释，为非专家的最终用户。获得的结果表明，非专家参与者评价机器人解释，重点是成功的概率更高，比从Q值生成的技术解释的方差更小，也有利于反事实的解释比独立的解释。
2022-07-07 cs.AI
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin（都柏林圣三一学院）
本文探讨反事实解释在强化学习中应用不足的原因，分析监督学习与RL的差异与挑战，重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
On Generating Explanations for Reinforcement Learning Policies: An Empirical Study
The Grainger College of Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
本文提出利用线性时序逻辑公式和搜索算法为强化学习策略生成解释，阐明策略目标与执行前提，并在夺旗游戏和停车环境中验证有效性。
2025-04-29 cs.AI
Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions
Oregon State University（俄勒冈州立大学）
我们研究了一种深度强化学习（RL）架构，该架构支持解释为什么学习代理更喜欢一个动作。其关键思想是学习行动价值观，这些价值观通过预期未来的人类可理解属性直接表示。这是通过嵌入式自预测（ESP）模型实现的，该模型根据人类提供的特征来学习所述属性。然后，可以通过对比为每个动作预测的未来属性来解释动作偏好。为了解决的情况下，有大量的功能，我们开发了一种新的方法来计算最小的足够的解释从一个ESP。我们在三个领域的案例研究，包括一个复杂的战略游戏，表明ESP模型可以有效地学习，并支持有见地的解释。
2021-01-17 cs.AI
Explainable Reinforcement Learning Through a Causal Lens
The University of Melbourne（墨尔本大学）
认知科学中流行的理论认为，人类通过因果关系来理解和表征世界的知识。在理解世界的过程中，我们在头脑中建立因果模型来编码事件的因果关系，并使用这些模型来解释新事件发生的原因。在本文中，我们使用因果模型推导出强化学习代理的行为的因果解释。我们提出了一种方法，在强化学习过程中学习结构因果模型，并对感兴趣的变量之间的因果关系进行编码。然后，该模型用于基于因果模型的反事实分析来产生行为解释。我们报告了一项研究，120名参与者观察代理人玩实时战略游戏（星际争霸II），然后接受代理人行为的解释。研究内容包括：（1）被试通过任务预测解释获得的理解;（2）解释满意度;（3）信任度。我们的研究结果表明，因果模型的解释表现更好，这些措施相比，其他两个基线解释模型。
2019-11-20 cs.AI cs.HC cs.LG
Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning
School of Computing, Informatics and Decision Systems Engineering, Arizona State University（亚利桑那州立大学计算、信息与决策系统工程学院）
在人机合作框架中，提供解释被认为是人工智能智能体的必要能力。正确的解释提供了人工智能智能体决策背后的基本原理。然而，为了维持人类队友的认知需求以理解所提供的解释，先前的工作集中于以特定顺序提供解释或将解释生成与计划执行交织。此外，这些方法没有考虑在整个提供的解释中需要共享的细节程度。在这项工作中，我们认为，代理生成的解释，特别是复杂的，应抽象到与人类队友的愿望，以保持收件人的认知负荷的细节水平保持一致。因此，学习层次解释模型是一项具有挑战性的任务。此外，智能体需要遵循一致的高级策略，将学习到的队友偏好转移到新的场景中，而较低级别的详细计划则不同。我们的评估证实了理解解释的过程，特别是复杂和详细的解释，是分层的。反映这一点的人类偏好与创造和使用抽象来吸收隐藏在我们认知过程更深处的知识完全一致。我们发现，分层解释实现了更好的任务性能和行为的可解释性，同时减少认知负荷。这些结果揭示了利用强化学习和跨各个领域的规划来设计可解释的代理。
2021-02-26 cs.AI
Widening the Pipeline in Human-Guided Reinforcement Learning with Explanation and Context-Aware Data Augmentation
Arizona State University（亚利桑那州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
人类解释（例如，在特征重要性方面）最近被用于扩展交互式机器学习中人与代理之间的通信信道。在这种情况下，人类训练师不仅提供基本事实，还提供某种形式的解释。然而，这种人类指导只在监督学习任务中进行了研究，目前还不清楚如何将这种类型的人类知识最好地融入深度强化学习。在本文中，我们提出了第一个研究使用人类视觉解释的人在回路强化学习（HRL）。我们专注于从反馈中学习的任务，其中人类训练员不仅为查询的状态-动作对提供二进制评价性“好”或“坏”反馈，而且还通过注释图像中的相关特征提供视觉解释。我们提出了EXPAND（解释增强反馈），以鼓励模型编码任务相关的功能，通过上下文感知的数据增强，只扰动人类显着信息中的不相关的功能。我们选择了五个任务，即Pixel-Taxi和四个Atari游戏，来评估这种方法的性能和样本效率。我们表明，我们的方法显着优于利用人类解释的方法，这些方法适用于监督学习，以及仅利用评估反馈的人在回路RL基线。
2021-10-26 cs.AI
Integrating Policy Summaries with Reward Decomposition for Explaining Reinforcement Learning Agents
Technion, Israel Institute of Technology（以色列理工学院）；University of Augsburg（奥格斯堡大学）
本文研究将局部奖励分解与全局策略摘要方法 HIGHLIGHTS 相结合来解释强化学习智能体，并通过用户研究验证两种方法在不同偏好差异场景下对理解智能体行为的互补收益。
2022-10-21 cs.AI cs.HC cs.LG
Explaining Reinforcement Learning to Mere Mortals: An Empirical Study
Oregon State University（俄勒冈州立大学）
我们提出了一个用户研究调查的解释非专家的理解强化学习（RL）代理的影响。我们研究了一种常见的强化学习可视化，显着性图（注意力的焦点），以及一种更近的解释类型，奖励分解条（对未来奖励类型的预测）。我们设计了一个124名参与者，四个治疗实验，比较参与者的RL代理在一个简单的实时策略（RTS）游戏的心理模型。我们的研究结果表明，显着性和奖励条的组合需要实现心理模型得分在统计上显着改善控制。此外，我们对数据的定性分析揭示了一些需要进一步研究的影响。
2019-06-18 cs.AI cs.HC
Interactive Explanations for Reinforcement-Learning Agents
本文提出交互式解释系统ASQ-IT，通过将用户查询映射到有限轨迹线性时序逻辑（LTLf）并基于自动机理论处理查询，以视频片段展示智能体行为，帮助用户识别错误行为。
2025-04-07 cs.AI
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
Combining imagination and heuristics to learn strategies that generalize
Carnegie Mellon University（卡内基梅隆大学）；Carnegie Mellon Neuroscience Institute（卡内基梅隆神经科学研究所）
深度强化学习可以在稳定的环境中匹配或超过人类的表现，但与人类不同，人工网络通常无法适应环境的微小变化。人类依赖于简化计算负荷和想象力的组合，将体验式学习扩展到新的和更具挑战性的环境。受人类前额叶网络分层组织理论的启发，我们开发了一个分层强化学习模型，该模型将思维和想象力结合到一个绊脚石-策略网络中。我们使用Wythoff的游戏，一个已知的最佳策略的gridworld环境，这个网络的性能进行测试。我们发现，将每个位置标记为热或冷，结合想象的游戏，既加速了学习，又促进了向新游戏的转移，同时也提高了模型的可解释性。
2020-06-11 cs.AI
Causal Explanation for Reinforcement Learning: Quantifying State and Temporal Importance
University of California, Davis（加利福尼亚大学戴维斯分校）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种因果解释机制，量化强化学习中状态对动作的因果重要性及其时间演化，并通过多种仿真环境验证其优于现有关联解释方法。
2023-06-30 cs.AI cs.LG
Textual Explanations and Their Evaluations for Reinforcement Learning Policy
Ericsson Research（爱立信研究）；Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）；Global AI Accelerator（全球人工智能加速器）；Ericsson Inc.（爱立信公司）
本文提出了一种新的XRL框架，通过生成文本解释并转换为透明规则，提升解释质量并进行评估，以解决现有方法的局限性。
2026-01-05 cs.AI
Semifactual Explanations for Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
本文针对深度强化学习决策难解释问题，定义半事实解释属性，提出SGRL-Rewind与SGRL-Advance算法，并通过标准环境和用户研究验证其可达性、策略一致性与多样性。
2024-09-09 cs.AI
Objective Metrics for Human-Subjects Evaluation in Explainable Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Southampton（南安普顿大学）
本文指出可解释强化学习评估应从主观指标转向基于可观察行为的客观人类指标，提出了几种用于调试智能体行为和人机协作的客观评估方法，并呼吁未来研究采用标准化基准以增强可比性。
2025-01-31 cs.AI cs.HC cs.RO
BOOK: Storing Algorithm-Invariant Episodes for Deep Reinforcement Learning
Seoul National University（首尔大学）；Samsung Electronics（三星电子）；Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究部）
我们介绍了一种新的方法来训练代理的强化学习（RL）的共享知识的方式类似于使用一本书的概念。以书籍形式记录的信息是人类学习知识的主要手段。然而，传统的深度强化学习方法主要集中在体验式学习上，即智能体从一开始就通过与环境的交互进行学习，或者集中在试图模仿教师的模仿学习上。与此相反，我们提出的书本学习通过深入研究以下两个特征，以类似书本的方式在不同的代理之间共享关键信息：（1）通过定义语言函数，输入状态可以在语义上聚类到相对较少的核心集群中，这些集群以规定的方式转发给其他RL代理。(2)通过定义状态优先级和记录内容，可以选择核心体验并将其存储在一个小容器中。我们称这个容器为“BOOK”。我们的方法通过学习少量核心集群信息，比传统方法快数百到数千倍，这表明深度RL代理可以通过其他代理的共享知识进行有效学习。
2018-02-12 cs.AI
Why Reinforcement Learning in Energy Systems Needs Explanations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对经济发展下基础设施复杂性增加及能源转型需求，本文探讨能源系统中强化学习的应用局限，提出模型解释可提升其说服力与实用性。
2024-05-29 cs.AI cs.SY eess.SY
Autonomous Self-Explanation of Behavior for Interactive Reinforcement Learning Agents
Keio University（庆应义塾大学）；Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）
在合作中，员工必须了解同事的行为。然而，一个代理的政策，这是嵌入在一个统计机器学习模型，是很难理解的，需要大量的时间和知识来理解。因此，人们很难预测机器学习机器人的行为，这使得人机合作具有挑战性。在本文中，我们提出了基于指令的行为解释（IBE），一种方法来解释一个自治代理的未来行为。在IBE中，Agent可以通过重用人类专家给出的指令来自主获取解释自己行为的表达式，以加速Agent策略的学习。IBE还使发展代理，其政策可能会改变合作期间，以解释自己的行为与足够的时间粒度。
2018-10-20 cs.AI
Contrastive Explanations for Comparing Preferences of Reinforcement Learning Agents
Trinity College Dublin（都柏林圣三一学院）；IBM Ireland（IBM爱尔兰公司）
在复杂任务中，奖励函数不是直接的，而是由一组目标组成，通过调整单个目标对奖励函数的影响，可以训练出多个强化学习（RL）策略，这些策略可以充分执行任务，但采用不同的策略。理解策略之间的差异对于用户在提供的策略之间进行选择是必要的，并且可以帮助开发人员理解从RL系统中的各种奖励函数和训练超参数中出现的不同行为。在这项工作中，我们比较的行为的两个政策培训相同的任务，但不同的偏好的目标。我们提出了一种方法来区分行为的差异，这些差异源于不同的能力，而这些能力是两个RL代理的相反偏好的结果。此外，我们只使用基于偏好的差异的数据，以生成关于代理人偏好的对比解释。最后，我们在自动驾驶任务上测试和评估了我们的方法，并比较了以安全为导向的策略和更喜欢速度的策略的行为。
2021-12-17 cs.AI
End-to-End Neuro-Symbolic Reinforcement Learning with Textual Explanations
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（北京智源人工智能研究院通用人工智能国家重点实验室）
针对NS-RL中结构化状态难以由奖励优化、符号策略不易理解的问题，提出联合学习框架，蒸馏视觉基础模型并利用GPT-4生成文本解释，在九个Atari任务上验证有效。
2024-06-13 cs.AI
Counterfactual Explanations for Continuous Action Reinforcement Learning
University of Virginia（弗吉尼亚大学）
针对连续动作强化学习可解释性不足的问题，提出一种基于最小偏差替代动作序列的反事实解释生成方法，经两个RL领域验证有效，助力提升RL的可解释性与可信度。
2025-05-19 cs.AI cs.LG
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg（奥格斯堡大学）；Oregon State University（俄勒冈州立大学）
反事实解释是解释人工智能模型的常用工具。对于强化学习（RL）代理，他们回答“为什么不呢？或者“如果？“的问题，通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性，因为它们的状态空间很大，而且它们的决策是总体政策的一部分，其中包括长期决策。然而，专注于反事实解释的研究，特别是对于具有视觉输入的RL代理，是稀缺的，并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务，如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法，通过将问题描述为域转移问题来生成RL代理的反事实解释，该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的，我们证明，它优于只有以前的方法在几个计算指标。此外，我们在用户研究中表明，我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
Generating Explanations from Deep Reinforcement Learning Using Episodic Memory
Sony AI（索尼人工智能研究院）；Birkbeck, University of London（伦敦大学伯贝克学院）
深度强化学习（RL）涉及使用深度神经网络（DNN）来做出顺序决策，以最大化奖励。对于许多任务来说，深度强化学习策略产生的动作序列可能很长，人类很难理解。人类解释的一个关键组成部分是选择性，即只叙述关键的决定和原因。将这种能力注入深度RL代理将使其产生的策略更容易从人类的角度理解，并生成一组简洁的指令来帮助未来代理的学习。为此，我们使用了一个深度RL代理与情景记忆系统，以确定和叙述在政策执行过程中的关键决策。我们表明，这些决策形成了一个简短的、人类可读的解释，也可以用于以算法独立的方式加速天真的深度RL代理的学习。
2022-07-24 cs.AI cs.LG q-bio.NC
Rule-Bottleneck Reinforcement Learning: Joint Explanation and Decision Optimization for Resource Allocation with Language Agents
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Google DeepMind（谷歌DeepMind）
针对深度RL策略缺乏透明度、语言智能体决策有效性不足的问题，提出RBRL框架，联合优化决策与解释，在真实场景中性能媲美深度RL且效率优于LLM微调，解释质量获提升。
2025-02-15 cs.AI cs.LG
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架，通过鲁棒区域和最小反事实分析，揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Inherently Explainable Reinforcement Learning in Natural Language
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
我们专注于创建一个内在可解释的强化学习代理的任务-通过在执行任务时大声思考并分析整个轨迹以产生因果解释来产生即时本地解释的能力。这种分层可解释的强化学习代理（HEX-RL）在交互式小说中运行，基于文本的游戏环境中，代理使用文本自然语言感知和作用于世界。这些游戏通常被构造为具有长期依赖性的谜题或任务，其中代理必须完成一系列动作才能成功-提供理想的环境来测试代理解释其动作的能力。我们的代理被设计为将可解释性视为一等公民，使用提取的基于符号知识图谱的状态表示加上分层图注意力机制，该机制指向内部图表示中最影响动作选择的事实。实验表明，该代理提供了显着改善的解释强基线，由人类参与者一般不熟悉的环境，同时也匹配最先进的任务性能。
2022-10-06 cs.AI cs.CL cs.HC
Evaluating XAI Support From A Hierarchical Reinforcement Learning Policy in Human-Agent Collaboration
PUC-Rio（里约热内卢天主教大学）
本文首次在Overcooked-AI基准中，对分层特设智能体（HA²）架构生成的文本/音频实时解释开展被试间实验，分析XAI对人机协作的影响，为评估可解释强化学习架构建立基线方法。
2026-08-10 cs.AI cs.HC cs.MA
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Symbolic Explanation of Affinity-Based Reinforcement Learning Agents with Markov Models
Sparebank 1 SR-Bank；Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
人工智能的扩散越来越依赖于模型理解。理解既需要解释（人类对模型行为的推理），也需要解释（模型功能的符号表示）。尽管透明性对于安全、信任和接受至关重要，但最先进的强化学习算法的不透明性掩盖了其学习策略的雏形。我们已经开发了一个政策正规化的方法，断言学习策略的全球内在亲和力。这些相似性提供了一种推理策略行为的方法，从而使其具有内在的可解释性。我们已经展示了我们在个性化繁荣管理中的方法，其中个人的消费行为及时决定了他们的投资策略，即不同的消费个性可能与不同的投资类别有不同的关联。现在，我们通过用离散化的马尔可夫模型再现潜在的原型策略来解释我们的模型。这些全局代理是原型策略的符号表示。
2022-08-29 cs.AI cs.LG
Multi-level Explanation of Deep Reinforcement Learning-based Scheduling
The University of Sydney（悉尼大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61所）
集群环境下的依赖感知作业调度是NP难的。最近的研究表明，深度强化学习（DRL）能够解决这一问题，但基于DRL的策略虽然取得了显著的性能提升，但管理员很难理解。因此，复杂的基于模型的调度程序是不容易获得信任的系统，其中的简单性是有利的。本文提出了一个多层次的解释框架来解释基于DRL的调度策略。我们将其决策过程分解为工作级别和任务级别，并使用与操作实践相一致的可解释模型和规则来近似每个级别。我们表明，该框架给系统管理员的洞察到国家的最先进的调度程序，并揭示了其行为模式的鲁棒性问题。
2022-09-18 cs.AI cs.DC cs.OS
RACCER: Towards Reachable and Certain Counterfactual Explanations for Reinforcement Learning
Trinity College Dublin（都柏林圣三一大学）
RACCER是首个面向强化学习的反事实解释方法，通过定义RL特有属性并采用启发式树搜索，生成可达且结果确定的反事实，实验和用户研究证明其优于现有方法。
2023-10-10 cs.AI cs.LG
Explaining Decentralized Multi-Agent Reinforcement Learning Policies
针对现有方法未解决去中心化多智能体强化学习（MARL）策略解释问题，提出策略摘要生成与查询式解释方法，在多领域多算法上验证了泛化性与效率，提升了用户问答性能及主观评分。
2025-11-13 cs.AI
RICE: Breaking Through the Training Bottlenecks of Reinforcement Learning with Explanation
Northwestern University（西北大学）；Presentation High School（普雷森特高中）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出RICE方案，通过解释方法识别关键状态并构造混合初始状态分布，突破深度强化学习训练瓶颈，并在多个环境和应用中验证其显著提升智能体性能。
2024-06-06 cs.AI cs.CR cs.LG
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题，本文提出EARL库用于生成反事实解释，并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University（苏塞克斯大学）；Air Force Research Laboratory（空军研究实验室）
本文提出对比解释学习框架VisionMask，通过自监督方式对比智能体所选动作与备选动作来生成解释，在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势，提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
Learning impartial policies for sequential counterfactual explanations using Deep Reinforcement Learning
Freie Universität Berlin（柏林自由大学）；Universität der Bundeswehr München（慕尼黑联邦国防军大学）
本文针对序列反事实解释中强化学习策略存在动作偏置的问题，提出利用分类器输出概率设计更具信息量的奖励函数，以学习更公正的策略。
2023-11-01 cs.AI cs.LG
Explaining Reinforcement Learning Agents Through Counterfactual Action Outcomes
Technion - Israel Institute of Technology（以色列理工学院）
针对现有可解释强化学习局部解释无法展现动作结果的问题，提出可视化对比所选动作与反事实动作结果的COViz方法，实验显示其与奖励分解法整合可显著提升用户对智能体偏好的理解表现。
2023-12-18 cs.AI cs.LG
What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes
University of Surrey（萨里大学）；Amazon Web Services（亚马逊云科技）；Alan Turing Institute（艾伦·图灵研究所）
我们提出了一种新的形式的解释强化学习，基于预期结果的概念。这些解释描述了一个智能体试图通过其行为实现的结果。我们提供了一个简单的证明，这种性质的事后解释的一般方法是不可能在传统的强化学习。相反，解释所需的信息必须与培训代理人一起收集。我们得到的方法，旨在提取本地的解释的基础上的几个变种的Q函数近似的意图和证明的解释和Q值之间的一致性。我们在多个强化学习问题上展示了我们的方法，并提供代码来帮助研究人员反思他们的强化学习环境和算法。
2020-11-10 cs.AI cs.CY cs.LG
LLMs for Explainable Business Decision-Making: A Reinforcement Learning Fine-Tuning Approach
Robert H. Smith School of Business, University of Maryland（大学管理学院）；Leonard N. Stern School of Business, New York University（纽约大学商学院）
本文提出LEXMA方法，通过强化学习微调生成多受众适用的自然语言解释，提升商业决策的可解释性与实用性。
2025-12-10 cs.AI cs.CL
Accelerating the Learning of TAMER with Counterfactual Explanations
Ulm University（乌尔姆大学）
从人类反馈中交互式学习的能力将使智能体能够在新的环境中工作。例如，即使是新手用户也可以自然地和交互地训练服务机器人完成新任务。人在回路强化学习（HRL）结合了人的反馈和强化学习（RL）技术。最先进的交互式学习技术遭受缓慢的学习速度，从而导致人类的令人沮丧的体验。我们通过扩展HRL框架TAMER评估反馈的可能性，以提高人类的反馈与两种不同类型的反事实的解释（行动和状态为基础）来解决这个问题。我们的实验表明，我们的扩展提高了学习的速度。
2022-07-27 cs.AI cs.LG
Introspection-based Explainable Reinforcement Learning in Episodic and Non-episodic Scenarios
Universität Hamburg（汉堡大学）；UNSW Sydney（悉尼新南威尔士大学）
随着当今社会中机器人系统和人机环境的日益增多，理解机器人所采取的行动背后的推理变得越来越重要。为了增加这种理解，向用户提供关于为什么采取特定行动的解释。除其他效果外，这些解释提高了用户对其机器人合作伙伴的信任。创建这些解释的一个选项是基于内省的方法，该方法可以与强化学习代理结合使用，以提供成功的概率。这些可以反过来用于以人类可理解的方式推理代理所采取的行动。在这项工作中，这种基于内省的方法开发和评估的基础上进一步的情节和非情节的机器人模拟任务。此外，提出了一个额外的归一化步骤的Q值，这使得使用基于内省的方法在负的和相对较小的Q值。所获得的结果表明，情景机器人任务的内省的可行性，此外，基于内省的方法可以用来生成在非情景机器人环境中所采取的行动的解释。
2022-11-23 cs.AI cs.RO
Local Explanations for Reinforcement Learning
IBM Research（IBM研究院）
许多可解释人工智能的工作都集中在解释黑盒分类模型上。以领域用户可以理解的方式解释深度强化学习（RL）策略受到的关注要少得多。在本文中，我们提出了一个新的角度来理解RL政策的基础上识别重要的状态，从自动学习的元状态。我们的方法和许多以前的方法之间的关键概念差异是，我们形成元状态的基础上，由专家的政策动态，而不是基于相似的行动，而不是地方，我们不假设任何特定的知识的基础拓扑结构的状态空间。从理论上讲，我们表明，我们的算法找到元状态收敛和目标，选择重要的状态，从每个元状态是次模块化的高效高质量的贪婪选择。在四个领域（四个房间、门钥匙、迷你足球运动员和乒乓球）上进行的实验和仔细进行的用户研究表明，我们的观点可以更好地理解该政策。我们推测，这是因为我们的元状态更直观，因为相应的重要状态是易于处理的中间目标的强指标，更容易为人类解释和遵循。
2022-11-28 cs.AI cs.LG
Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping
Dalian University of Technology（大连理工大学）；Westlake University（西湖大学）；Guangzhou University（广州大学）
针对现有多智能体分层强化学习算法仅适用于单任务的局限，提出带逻辑奖励塑形的多智能体协作算法，结合LTL表达任务逻辑与价值迭代协调机制，在类Minecraft环境中验证了其提升多任务学习性能的效果。
2024-11-02 cs.AI cs.LO
Generation of Policy-Level Explanations for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
虽然强化学习从神经网络的结合中受益匪浅，但无法验证此类系统的正确性限制了它们的使用。目前可解释的深度学习的工作集中在根据输入特征解释单个决策，这使得它不适合解释一系列决策。为了满足这一需求，我们引入了抽象策略图，这是抽象状态的马尔可夫链。这种表示简明扼要地总结了一个策略，以便可以在预期的未来过渡的上下文中解释各个决策。此外，我们提出了一种方法来生成这些抽象的策略图的确定性政策给定一个学习的价值函数和一组观察到的过渡，可能在训练过程中使用的政策过渡。由于对如何生成价值函数没有限制，因此我们的方法与许多现有的强化学习方法兼容。我们证明了我们的方法的最坏情况下的时间复杂度是二次的功能和线性的数量提供的过渡，$O(|F|^2 |tr\_samples|)$。通过将我们的方法应用到一个域的家庭，我们表明，我们的方法在实践中扩展良好，并产生抽象的策略图，可靠地捕捉这些领域内的关系。
2019-05-28 cs.AI cs.LG stat.ML
SPOTting the Future: Lookahead Explanations for Deep Reinforcement Learning
Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学贝林计算机科学与工程学院）；Hebrew University Business School, Data Science Department, The Hebrew University of Jerusalem（耶路撒冷希伯来大学希伯来大学商学院数据科学系）
该研究针对深度强化学习决策难解释问题，提出模型无关的 SPOT 框架，通过构建采样策略观测树解释策略，在交通信号控制领域验证了其有效性。
2026-08-12 cs.AI cs.LG
From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对现有可解释强化学习方法仅能提供局部洞察、无法全局理解模型的问题，研究提出基于Shapley值的模型无关方法，可适配异策略与同策略算法，在保留原模型性能的同时生成更稳定的可理解策略。
2025-01-16 cs.AI cs.LG cs.SY
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Robustness and Visual Explanation for Black Box Image, Video, and ECG Signal Classification with Reinforcement Learning
Hewlett Packard Enterprise（慧与公司）
提出一种通用强化学习框架，通过最小畸变制作对抗攻击并生成定位掩码，在图像、视频和ECG信号分类中优于现有方法，提升了模型的鲁棒性与可解释性。
2024-04-22 cs.AI cs.CR cs.CV
