Combining Reinforcement Learning and Configuration Checking for Maximum k-plex Problem
Sun Yat-sen University（中山大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
最大k重问题是一个重要的组合优化问题，其应用日益广泛。由于其指数时间复杂度，许多探试法已被提出，可以返回一个高质量的解决方案，在合理的时间。然而，大多数启发式算法是无记忆的，无法利用经验在搜索过程中。受强化学习（RL）中多臂强盗（MAB）问题的启发，提出了一种新的扰动机制BLP，当陷入局部最优时，该机制可以在线学习选择一个好的顶点进行扰动.据我们所知，这是第一次尝试结合本地搜索与RL的最大$ k $ -plex问题。此外，我们还提出了一种新的策略，称为动态阈值配置检查（DTCC），它从两个方面扩展了原来的配置检查（CC）策略。在BLP和DTCC的基础上，提出了一种局部搜索算法BDCC，并采用超启发式策略对其进行了改进。实验结果表明，我们的算法占主导地位的标准DIMACS和BHOSLIB基准测试，并实现了国家的最先进的性能在海量图。
2019-06-06 cs.AI
Explainable Artificial Intelligence (XAI) for Increasing User Trust in Deep Reinforcement Learning Driven Autonomous Systems
Charles River Analytics（查尔斯河分析公司）
我们考虑的问题，提供用户的深度强化学习（RL）为基础的系统，更好地了解他们的输出时，可以信任。我们提供了一个可解释的人工智能（XAI）框架，它提供了三重解释：在当前游戏状态下系统泛化和性能的图形描述，代理在语义相似的环境中的表现如何，以及图形信息意味着什么的叙述性解释。我们为XAI框架创建了一个用户界面，并通过人类用户实验评估了其有效性。结果表明，与没有解释的AI系统相比，用户对解释的AI系统的信任和接受度在统计上显著增加。
2021-06-07 cs.AI cs.LG
Explainable Deep Reinforcement Learning Using Introspection in a Non-episodic Task
Escola Politécnica de Pernambuco, Universidade de Pernambuco（伯南布哥大学伯南布哥理工学院）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）
可解释的强化学习允许人工代理以类似人类的方式针对非专家终端用户解释其行为。创建解释的一个有效的替代方案是使用基于内省的方法，将Q值转换为成功的概率，作为解释代理决策过程的基础。这种方法已被有效地用于情节和离散的场景，但是，在非情节和更复杂的环境中计算成功的概率还没有得到解决。在这项工作中，我们适应的内省方法用于非情节的任务，并尝试在连续的雅达利游戏场景解决彩虹算法。我们的初步结果表明，成功的概率可以直接从所有可能的行动的Q值计算。
2021-08-18 cs.AI cs.LG
Neurogenetic Programming Framework for Explainable Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Philips Research Eindhoven（飞利浦埃因霍温研究院）
自动编程，即在没有人类开发人员的情况下生成符合规范的计算机程序的任务，通常通过基于程序突变和重组的遗传编程方法或通过神经语言模型来解决。我们提出了一种新的方法，结合了这两种方法使用的概念，一个虚拟的神经遗传程序员：使用进化方法作为替代梯度下降的神经网络训练}，或团队。我们展示了它为各种OpenAI Gym任务提供高性能和可解释的解决方案的能力，并将专家知识注入到其他数据驱动的解决方案搜索中。
2021-02-08 cs.AI cs.LG cs.NE
A Survey of Explainable Reinforcement Learning: Targets, Methods and Needs
IMT Mines Albi（IMT矿校阿尔比）
本文提出基于“解释什么”和“如何解释”的分类法，系统综述了250余篇可解释强化学习论文，并指出相关领域及未来研究需求。
2026-10-19 cs.AI cs.LG
Fighter Jet Navigation and Combat using Deep Reinforcement Learning with Explainable AI
University of Tennessee（田纳西大学）；Clarkson University（克拉克森大学）
该研究在 Pygame 仿真中训练 DRL 战斗机智能体完成导航、抵靶及交战或规避等多目标任务，并用事实与反事实动作奖励对比解释其决策。
2025-02-19 cs.AI
Explainable Reinforcement Learning Agents Using World Models
School of Interactive Computing, Georgia Institute of Technology（交互计算学院，佐治亚理工学院）
本文提出利用世界模型和反向世界模型为基于模型的深度强化学习智能体生成反事实解释，通过展示世界本应是什么样子来提升用户对智能体策略的理解，并有望帮助用户通过操纵环境控制智能体执行。
2025-08-18 cs.AI
Inherently Explainable Reinforcement Learning in Natural Language
Georgia Institute of Technology（佐治亚理工学院）；Allen Institute for AI（艾伦人工智能研究所）
我们专注于创建一个内在可解释的强化学习代理的任务-通过在执行任务时大声思考并分析整个轨迹以产生因果解释来产生即时本地解释的能力。这种分层可解释的强化学习代理（HEX-RL）在交互式小说中运行，基于文本的游戏环境中，代理使用文本自然语言感知和作用于世界。这些游戏通常被构造为具有长期依赖性的谜题或任务，其中代理必须完成一系列动作才能成功-提供理想的环境来测试代理解释其动作的能力。我们的代理被设计为将可解释性视为一等公民，使用提取的基于符号知识图谱的状态表示加上分层图注意力机制，该机制指向内部图表示中最影响动作选择的事实。实验表明，该代理提供了显着改善的解释强基线，由人类参与者一般不熟悉的环境，同时也匹配最先进的任务性能。
2022-10-06 cs.AI cs.CL cs.HC
Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework and Survey
Deakin University（迪肯大学）；Federation University Australia（澳大利亚联邦大学）
广义可解释的人工智能不再基于单一数据解释个体决策，而是旨在将多个机器学习算法的综合解释转化为对代理行为的连贯解释，该解释与被解释者的通信需求相一致。我们提出的强化学习（RL）方法为开发Broad-XAI所需的认知模型提供了潜在的支柱。RL代表了一套在解决一系列顺序决策问题方面取得越来越大成功的方法。然而，这些算法都是作为黑盒问题解决器运行的，它们通过一系列复杂的值和函数来混淆决策策略。可解释强化学习（XRL）是一个相对较新的研究领域，旨在开发从智能体中提取概念的技术：对环境的感知;内在/外在动机/信念; Q值，目标和目的。本文旨在介绍一个概念框架，称为因果XRL框架（CXF），它统一了当前的XRL研究，并使用RL作为Broad-XAI开发的骨干。此外，我们认识到RL方法能够结合一系列技术，以允许代理适应其环境。CXF旨在纳入许多标准RL扩展，并与外部本体和通信设施集成，以便代理可以回答解释结果并证明其决策的问题。
2021-08-20 cs.AI
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay（印度理工学院孟买分校）
受深度强化学习（RL）最新进展的启发，我们开发了一个RL代理来管理家庭中存储设备的操作，旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的，RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中，RL agent被认为是一个黑盒子，agent是如何学习的往往被忽略。我们解释了RL代理的学习过程，以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中，我们介绍和评估的远端解释模型的无模型强化学习代理，可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链，其形式为“A促成B，B促成C”。使用的见解，从分析240个解释中产生的人类代理实验，我们定义了一个远端解释模型，可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链，并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中，我们发现，与两种基线解释模型相比，我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
XRL-Bench: A Benchmark for Evaluating and Comparing Explainable Reinforcement Learning Techniques
Fuxi AI Lab, NetEase Inc.（伏羲人工智能实验室，网易公司）
本文提出统一基准XRL-Bench，用于评估和比较可解释强化学习方法，并引入TabularSHAP方法，通过标准环境、解释器和评估器促进XRL技术发展。
2024-02-20 cs.AI
Deep Explainable Relational Reinforcement Learning: A Neuro-Symbolic Approach
Örebro University（厄勒布鲁大学）；KU Leuven（鲁汶大学）
本文提出神经符号框架 DERRL，将符号规划的关系表示、约束与深度学习结合，提取逻辑规则形式的可解释策略，并在多种环境中验证其可迁移与泛化能力。
2023-07-14 cs.AI cs.LG
Interestingness Elements for Explainable Reinforcement Learning: Understanding Agents' Capabilities and Limitations
SRI International（斯坦福国际研究院）
我们提出了一个可解释的强化学习（XRL）框架，该框架分析代理与环境交互的历史，以提取有助于解释其行为的兴趣元素。该框架依赖于从标准RL算法中容易获得的数据，这些数据可以很容易地由代理在学习时收集。我们描述了如何创建一个代理的行为在短视频剪辑的形式突出关键的互动时刻，建议的元素的基础上的视觉摘要。我们还报告了一项用户研究，在该研究中，我们评估了人类正确感知具有不同特征的代理人的能力，包括他们的能力和局限性，并给出了我们的框架自动生成的视觉摘要。结果表明，不同兴趣度元素所捕获的方面的多样性对于帮助人类正确理解智能体在执行任务时的优势和局限性至关重要，并确定何时可能需要调整以提高其性能。
2020-08-19 cs.AI cs.HC cs.LG
Demystifying Reinforcement Learning in Production Scheduling via Explainable AI
Center for Applied Data Science (CfADS), Hochschule Bielefeld（比勒费尔德应用科学大学 应用数据科学中心）；Fraunhofer IOSB-INA（弗劳恩霍夫 IOSB-INA研究所）
本文通过SHAP和Captum两种可解释AI框架分析DRL生产调度决策，提出基于假设的可验证工作流程，以提升解释的因果性和可沟通性。
2024-08-30 cs.AI
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple（苹果公司）
GRACE通过大型语言模型和进化搜索，从专家轨迹中逆向工程可解释的代码奖励函数，实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
Behaviour Discovery and Attribution for Explainable Reinforcement Learning
University of Calgary（卡尔加里大学）；Mila；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；CIFAR AI Chair（CIFAR AI 职位）
针对现有强化学习可解释方法遗漏重复策略与时间延展模式的问题，提出离线无奖励的行为发现分割框架，从状态-动作序列识别行为簇并归因动作，在四类环境中表现优于轨迹级基线。
2025-06-16 cs.AI
SafeRL-Lite: A Lightweight, Explainable, and Constrained Reinforcement Learning Library
Vision Mentors Ltd.（愿景导师有限公司）；School of Computer Science & AI, SR University（计算机科学与人工智能学院，SR大学）；Department of Computer Science, MANIT（计算机科学系，MANIT）；University of West London（西伦敦大学）
SafeRL-Lite是一个轻量级、可解释的强化学习库，通过约束执行和SHAP值解释，在CartPole上验证了安全与可解释性。
2025-06-17 cs.AI cs.LG
Objective Metrics for Human-Subjects Evaluation in Explainable Reinforcement Learning
University of Edinburgh（爱丁堡大学）；University of Southampton（南安普顿大学）
本文指出可解释强化学习评估应从主观指标转向基于可观察行为的客观人类指标，提出了几种用于调试智能体行为和人机协作的客观评估方法，并呼吁未来研究采用标准化基准以增强可比性。
2025-01-31 cs.AI cs.HC cs.RO
Group-wise Reinforcement Feature Generation for Optimal and Explainable Representation Space Reconstruction
University of Central Florida（中佛罗里达大学）；Portland State University（波特兰州立大学）；Nanjing University（南京大学）
表示（特征）空间是一个环境，其中数据点被矢量化，距离被计算，模式被表征，几何结构被嵌入。提取一个好的表示空间对于解决维数灾难、提高模型泛化能力、克服数据稀疏性以及提高经典模型的可用性至关重要。现有的文献，例如特征工程和表示学习，在实现完全自动化方面受到限制（例如，过度依赖于密集劳动和经验经验），可解释的明确性（例如，可追踪的重建过程和可解释的新特征），以及灵活的最优（例如，最优特征空间重构不嵌入到下游任务中）。我们能否同时解决机器学习任务中表示空间重构的自动化、显式性和最优性挑战？为了回答这个问题，我们提出了一个组明智的增强生成的角度来看。我们将表示空间重构转化为嵌套特征生成和选择的交互过程，其中特征生成是为了生成新的有意义的显式特征，而特征选择是为了消除冗余特征以控制特征尺寸。我们开发了一种级联强化学习方法，利用三个级联马尔可夫决策过程来学习最优生成策略，以自动化特征和操作的选择以及特征交叉。我们设计了一个分组生成策略，通过一个特征组，一个操作，和另一个特征组来生成新的特征，并找到可以提高探索效率和增加级联代理的奖励信号的策略。最后，我们提出了广泛的实验来证明我们的系统的有效性，效率，可追溯性和明确性。
2022-05-28 cs.AI cs.LG
Personalized Decision Supports based on Theory of Mind Modeling and Explainable Reinforcement Learning
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出结合心智理论建模与可解释强化学习的个性化决策支持系统，通过DRL提供建议、ToM预测用户行为以把握干预时机，并用反事实解释增强可解释性，在模拟团队决策众包实验中表现优于基线，且具备广泛应用潜力。
2023-12-13 cs.AI cs.HC cs.LG
Explainable Reinforcement Learning for assisting Air Traffic Controllers
Department of Engineering, University of Campania "Luigi Vanvitelli"（工程学院，坎帕尼亚"路易吉·范维蒂利"大学）；CIRA（CIRA研究院）
探索可解释性技术在强化学习算法中的应用，以协助空中交通管制员。用强化学习算法在简化ATC环境训练智能体决策避禁飞区路线，采用显著性图作为初步可解释性方法，为智能体决策提供关键输入特征见解。
2026-07-27 cs.AI
Dependability Analysis of Deep Reinforcement Learning based Robotics and Autonomous Systems through Probabilistic Model Checking
University of Liverpool（利物浦大学）
虽然深度强化学习（DRL）为机器人和自主系统（RAS）的控制提供了转型能力，但DRL的黑箱性质和RAS的不确定部署环境对其可靠性提出了新的挑战。虽然现有的工作对日间行车灯政策施加限制，以确保任务的成功完成，但考虑到所有的可靠性属性，以整体的方式评估日间行车灯驱动的RAS是远远不够的。在本文中，我们正式定义了一组时序逻辑的可靠性属性，并构建了一个离散时间马尔可夫链（DTMC）模型的动态风险/故障的DRL驱动的RAS与随机环境的相互作用。然后，我们进行概率模型检验（PMC）的设计DTMC验证这些属性。我们的实验结果表明，所提出的方法是有效的，作为一个整体的评估框架，同时发现可能需要在训练中权衡的属性之间的冲突。此外，我们发现，标准DRL培训不能提高可靠性属性，因此需要定制的优化目标。最后，我们的方法提供了可靠性属性的灵敏度分析，从环境的干扰水平，提供见解的保证真正的RAS。
2022-07-07 cs.AI cs.RO cs.SE
Explainable Reinforcement Learning Through a Causal Lens
The University of Melbourne（墨尔本大学）
认知科学中流行的理论认为，人类通过因果关系来理解和表征世界的知识。在理解世界的过程中，我们在头脑中建立因果模型来编码事件的因果关系，并使用这些模型来解释新事件发生的原因。在本文中，我们使用因果模型推导出强化学习代理的行为的因果解释。我们提出了一种方法，在强化学习过程中学习结构因果模型，并对感兴趣的变量之间的因果关系进行编码。然后，该模型用于基于因果模型的反事实分析来产生行为解释。我们报告了一项研究，120名参与者观察代理人玩实时战略游戏（星际争霸II），然后接受代理人行为的解释。研究内容包括：（1）被试通过任务预测解释获得的理解;（2）解释满意度;（3）信任度。我们的研究结果表明，因果模型的解释表现更好，这些措施相比，其他两个基线解释模型。
2019-11-20 cs.AI cs.HC cs.LG
Interpretable by Design: Query-Specific Neural Modules for Explainable Reinforcement Learning
Neural Intelligence Labs（神经智能实验室）
该研究挑战强化学习单一目标范式，提出查询条件确定性推理网络（QDIN）这一统一架构，将多种查询视为一等公民并优化专用模块，发现推理准确率与控制性能可解耦，且其性能优于现有模型，为可解释强化学习建立新研究方向。
2025-11-11 cs.AI
KnobTree: Intelligent Database Parameter Configuration via Explainable Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tianjin Nanda General Data Technology Co.,Ltd.（天津南大通用数据技术股份有限公司）
针对传统数据库参数调优方法难应对复杂参数、强化学习调优缺乏可解释性且大规模参数下学习不稳定的问题，提出可解释框架KnobTree，结合强化学习差分树与Shapley值参数评估，在MySQL等数据库上验证了其可解释性与性能优势。
2024-06-21 cs.AI cs.DB
SkillTree: Explainable Skill-Based Deep Reinforcement Learning for Long-Horizon Control Tasks
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）；National Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Polixir Technologies；SenseTime Research（商汤科技研究院）
提出SkillTree框架，通过可微决策树将连续动作空间离散化为技能空间，实现技能级可解释性，在复杂机器人臂控制任务中达到与基于技能的神经网络相当的性能。
2024-11-19 cs.AI cs.LG
Explainable Data-driven Deep Reinforcement Learning Methods for Optimal Energy Management in Buildings
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出可解释深度强化学习框架，结合真实数据训练策略内与离策略算法，通过事后解释技术揭示电池管理决策过程，实现降本与透明化。
2026-06-01 cs.AI
A User Study on Explainable Online Reinforcement Learning for Adaptive Systems
Ruhr Institute for Software Technology（鲁尔软件技术研究所）；University of Duisburg-Essen（杜伊斯堡-埃森大学）
本文通过54名软件工程师的用户研究，评估可解释在线强化学习技术XRL-DINE在自适应系统调试中的任务表现、感知有用性与易用性。
2023-07-09 cs.AI cs.SE
Introspection-based Explainable Reinforcement Learning in Episodic and Non-episodic Scenarios
Universität Hamburg（汉堡大学）；UNSW Sydney（悉尼新南威尔士大学）
随着当今社会中机器人系统和人机环境的日益增多，理解机器人所采取的行动背后的推理变得越来越重要。为了增加这种理解，向用户提供关于为什么采取特定行动的解释。除其他效果外，这些解释提高了用户对其机器人合作伙伴的信任。创建这些解释的一个选项是基于内省的方法，该方法可以与强化学习代理结合使用，以提供成功的概率。这些可以反过来用于以人类可理解的方式推理代理所采取的行动。在这项工作中，这种基于内省的方法开发和评估的基础上进一步的情节和非情节的机器人模拟任务。此外，提出了一个额外的归一化步骤的Q值，这使得使用基于内省的方法在负的和相对较小的Q值。所获得的结果表明，情景机器人任务的内省的可行性，此外，基于内省的方法可以用来生成在非情景机器人环境中所采取的行动的解释。
2022-11-23 cs.AI cs.RO
Using Part-based Representations for Explainable Deep Reinforcement Learning
School of Informatics, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学信息学院）；Computational Intelligence and Deep Learning Research Group（计算智能与深度学习研究组）
本文提出一种用于深度强化学习中actor模型的非负训练方法，通过非负初始化和改进的保号训练技术提取基于部件的表示，在遵守非负约束的同时增强可解释性，并在Cartpole基准上验证了有效性。
2024-08-22 cs.AI cs.LG
Verification-Guided Falsification for Safe RL via Explainable Abstraction and Risk-Aware Exploration
Iowa State University（爱荷华州立大学）；Wake Forest University（威克森林大学）；Indiana University（印第安纳大学）
本文提出融合可解释抽象、模型检验与风险引导证伪的混合框架，通过CAPS抽象和Storm验证安全规约，并利用风险估计优先搜索高风险区域，同时引入运行时安全防护层以缓解故障。
2025-06-04 cs.AI cs.LG
ReCCoVER: Detecting Causal Confusion for Explainable Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
尽管近年来在各个领域取得了显着的成果，但深度强化学习（DRL）算法缺乏透明度，影响了用户的信任并阻碍了其部署到高风险任务中。因果混淆是指一种现象，其中代理学习可能不在整个状态空间中保持的特征之间的虚假相关性，从而阻止安全部署到可能会破坏这种相关性的真实任务。在这项工作中，我们研究了代理是否依赖于虚假的相关性在关键状态，并提出了一个替代的子集的功能，它应该根据其决定，而不是，使其不太容易受到因果混淆。我们的目标是通过暴露学习到的虚假相关性对其决策的影响来增加DRL代理的透明度，并为开发人员提供关于状态空间不同部分的特征选择的建议，以避免因果混淆。我们提出了ReCCoVER，一种算法，它检测因果混淆代理的推理部署前，通过执行其政策在替代环境中，某些功能之间的相关性不举行。我们在出租车和网格世界环境中展示了我们的方法，其中ReCCoVER检测代理依赖于虚假相关性的状态，并提供了一组应该考虑的功能。
2022-03-21 cs.AI cs.LG
SymbXRL: Symbolic Explainable Deep Reinforcement Learning for Mobile Networks
IMDEA Networks Institute（IMDEA网络研究所）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
SymbXRL通过符号AI生成可解释的DRL解释，提升网络决策的透明度和可控性。
2026-01-29 cs.AI cs.NI
Explainable Deep Reinforcement Learning for Portfolio Management: An Empirical Approach
Columbia University（哥伦比亚大学）
深度强化学习（DRL）在投资组合管理任务中得到了广泛的研究。然而，由于深度神经网络的黑箱性质，理解基于DRL的交易策略具有挑战性。在本文中，我们提出了一个实证的方法来解释的策略DRL代理的投资组合管理任务。首先，我们使用一个线性模型作为参考模型，它通过假设知道实际的股票收益率来找到最佳的投资组合权重。特别地，我们使用线性模型的系数作为参考特征权重。其次，对于DRL代理，我们使用集成梯度来定义特征权重，这些权重是线性回归模型下奖励和特征之间的系数。第三，我们研究了单步预测和多步预测两种情况下的预测能力。特别是，我们通过计算DRL代理的特征权重与参考特征权重之间的线性相关性来量化预测能力，对于机器学习方法也是如此。最后，我们评估了2009年1月1日至2021年1月9日期间道琼斯30只成分股的投资组合管理任务。我们的方法经验表明，DRL代理表现出比机器学习方法更强的多步预测能力。
2021-12-18 cs.AI q-fin.PM
A Survey on Explainable Reinforcement Learning: Concepts, Algorithms, Challenges
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；School of Software Technology, Zhejiang University（浙江大学软件技术学院）；State Key Laboratory of Blockchain and Security, Zhejiang University（浙江大学区块链与安全国家重点实验室）
本文综述可解释强化学习XRL，提出涵盖模型、奖励、状态和任务解释的新分类，并关注人类知识增强的RL方法，总结挑战、机遇与开源资源。
2025-08-29 cs.AI cs.LG
Explainable Post hoc Portfolio Management Financial Policy of a Deep Reinforcement Learning agent
Universidad Pontificia Comillas（康普卢滕塞大学）
针对深度强化学习投资组合管理策略不可解释的问题，提出结合PPO与SHAP、LIME的可解释事后方法，实现预测时动作解释，验证关键特征识别能力。
2024-07-19 cs.AI cs.CE q-fin.PM
Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario
Deakin University（迪肯大学）；Federation University（澳大利亚联邦大学）；Universidad Central de Chile（智利中央大学）
机器人系统每天都在我们的社会中出现。在人机环境中，最终用户正确理解他们的机器人团队合作伙伴，以便协作完成任务是至关重要的。为了提高对动作的理解，用户要求机器人在特定情况下做出更多的决策。最近，可解释的机器人系统已经成为一种替代方案，不仅专注于令人满意地完成任务，而且还以类似人类的方式证明导致做出决定的原因。在强化学习场景中，大量的努力集中在使用数据驱动的方法提供解释，特别是从基于深度学习的系统中的视觉输入模态。在这项工作中，我们专注于强化学习代理在机器人场景中执行任务的决策过程。使用3种不同的设置，即，确定性导航任务，随机导航任务，和一个连续的基于视觉的排序对象任务的实验结果。作为一种解释目标驱动的机器人的行动，我们使用三种不同的方法计算成功的概率：基于记忆，基于学习，和基于内省。这些方法之间的区别在于计算或估计成功概率所需的内存量以及可以使用它们的强化学习表示类型。在这方面，我们使用基于记忆的方法作为基线，因为它是直接从代理的观察。当比较基于学习和基于内省的方法，这个基线，两者都被发现是合适的替代品来计算成功的概率，获得高水平的相似性比较时，使用皮尔逊相关性和均方误差。
2021-09-02 cs.AI cs.RO
Explainability in Deep Reinforcement Learning
ENSEIRB-MATMECA, Bordeaux INP（波尔多国立高等物理、数学与信息学院（ENSEIRB-MATMECA），波尔多国立理工学院）；ENSC, Bordeaux INP（国立高等认知学院（ENSC），波尔多国立理工学院）；ENSTA Paris, Institut Polytechnique Paris（巴黎国立高等先进技术学院（ENSTA Paris），巴黎理工学院）
大量的可解释人工智能（XAI）文献正在出现在特征相关性技术上，以解释深度神经网络（DNN）输出或解释摄取图像源数据的模型。然而，评估XAI技术如何帮助理解分类任务之外的模型，例如强化学习（RL），尚未得到广泛研究。我们回顾了最近的工作方向，以实现可解释的强化学习（XRL），一个相对较新的子领域的可解释的人工智能，旨在用于一般公共应用程序，与不同的观众，需要道德，负责任和可信赖的算法。在关键情况下，必须证明和解释代理的行为，RL模型的更好的可解释性和可解释性可以帮助获得对仍然被认为是黑盒子的内部工作的科学见解。我们主要评估直接将可解释性与RL联系起来的研究，并根据解释的产生方式将其分为两类：透明算法和事后可解释性。我们还回顾了最突出的XAI作品，从他们如何可能启发RL的最新进展的进一步部署，在日常问题的苛刻的现在和未来的镜头。
2020-12-18 cs.AI
Pittsburgh Learning Classifier Systems for Explainable Reinforcement Learning: Comparing with XCS
The University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
针对深度强化学习不透明问题，提出两种新颖的Pittsburgh学习分类器系统PPL-DL和PPL-ST，在FrozenLake环境中与XCS对比，发现PPL-ST在高不确定性下表现更优且能生成更简洁可解释的规则集。
2023-05-17 cs.AI cs.LG cs.NE
Toward Clinically Explainable AI for Medical Diagnosis: A Foundation Model with Human-Compatible Reasoning via Reinforcement Learning
DeepMedix-R1通过强化学习实现临床可解释的AI，生成透明推理过程，优于现有模型，提升医学诊断的可解释性和实用性。
2026-03-02 cs.AI
Themis: An explainable AI-enabled framework for Reinforcement Learning with Human Feedback
School of Computer Science, University College Dublin（都柏林大学计算机科学学院）
提出Themis框架，结合可解释AI与人类反馈，用于训练奖励模型，支持200+环境，提供云平台实现大规模实验。
2026-06-24 cs.AI cs.HC
Trustworthy and Explainable Deep Reinforcement Learning for Safe and Energy-Efficient Process Control: A Use Case in Industrial Compressed Air Systems
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）；Institute for Energy Efficiency in Production EEP, University of Stuttgart（生产能效研究所，斯图加特大学）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（工业制造与管理研究所，斯图加特大学）
本文提出一种可信且可解释的深度强化学习方法，用于工业压缩空气系统的安全节能控制，通过多级可解释性流程实现策略的透明验证。
2025-12-20 cs.AI cs.LG cs.SY
Lifted Model Checking for Relational MDPs
KU Leuven（鲁汶大学）；Université libre de Bruxelles（布鲁塞尔自由大学）；Örebro University（厄勒布鲁大学）
概率模型检验是为了验证具有随机性和不确定性行为的系统而发展起来的。给定一个概率系统，概率模型检查器获取一个属性，并检查该属性在该系统中是否成立。因此，概率模型检验提供了严格的保证。然而，到目前为止，概率模型检验主要集中在命题模型上，其中状态由符号表示。另一方面，在规划和强化学习中通常需要进行关系抽象。各种框架处理关系域，例如，CNOPS规划和关系马尔可夫决策过程。在关系环境中使用命题模型检验需要将模型接地，这导致了众所周知的状态爆炸问题和棘手性。我们提出了pCTL-REBEL，一个提升的模型检验方法来验证pCTL属性的关系MDP。它将基于关系模型的强化学习技术REBEL扩展到关系pCTL模型检验. PCTL-REBEL被提升，这意味着该模型不是基于基础，而是利用对称性在关系级别上将一组对象作为一个整体进行推理。理论上，我们表明，pCTL模型检验是可判定的关系MDP有可能是无限的域，提供的状态有界的大小。在实践中，我们贡献的算法和实现解除关系模型检验，我们表明，解除的方法提高了可扩展性的模型检验方法。
2022-01-10 cs.AI cs.LG cs.LO
Explainable and Safe Reinforcement Learning for Autonomous Air Mobility
Sichuan University（四川大学）
不断增长的交通需求、更高的自动化水平和通信增强为未来的空中交通管制员（ATC）提供了新的设计机会。本文提出了一种新的深度强化学习（DRL）控制器，以帮助解决自主自由飞行的冲突。虽然日间行车灯在这一领域取得了重要的进展，现有的工作很少关注与日间行车灯控制器的可解释性和安全性问题，特别是在对抗攻击下的安全性。为了解决这两个问题，我们设计了一个完全可解释的DRL框架，其中我们：1）将耦合的Q值学习模型分解为安全意识和效率（到达目标）模型; 2）使用来自周围入侵者的信息作为输入，消除了中央控制器的需求。在我们的模拟实验中，我们表明，通过解耦的安全意识和效率，我们可以超过自由飞行控制任务的性能，同时显着提高实际的可解释性。此外，安全Q学习模块提供了丰富的环境安全状况信息。为了研究对抗攻击下的安全性，我们还提出了一种对抗攻击策略，该策略可以同时施加面向安全和面向效率的攻击。对抗的目的是通过只在几个时间步攻击代理来最大限度地降低安全性/效率。在实验中，我们的攻击策略增加了与均匀攻击（即，在每一个时间步攻击），只有攻击代理少四倍，这提供了洞察能力和限制的日间行车线在未来的ATC设计。源代码可在https://github.com/WLeiiiii/Gym-ATC-Attack-Project上公开获得。
2022-11-24 cs.AI cs.LG cs.RO
Explainable Reinforcement Learning for Adaptive Traffic Signal Control
School of Civil and Environmental Engineering, Georgia Institute of Technology（佐治亚理工学院土木与环境工程学院）
研究针对交通信号控制中深度强化学习模型的不透明性问题，引入以实体为中心的可解释强化学习框架，通过特殊架构和注意力网络提取关系依赖等，设计亲和矩阵并集成动作掩码接口，实现可解释且性能优的交通信号控制。
2026-07-07 cs.AI cs.LG
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Boston University（波士顿大学）
本文提出时间策略分解TPD，通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO，为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Explaining Agent's Decision-making in a Hierarchical Reinforcement Learning Scenario
Universidad Central de Chile（智利中央大学）；Universidade de Pernambuco（伯南布哥大学）；University of New South Wales（新南威尔士大学）
强化学习是一种基于行为心理学的机器学习方法。它专注于学习代理，可以通过与环境交互来获取知识并学习执行新任务。然而，当强化学习用于关键环境中时会出现问题，在关键环境中，系统的用户需要对代理执行的动作具有更多的信息和可靠性。在这方面，可解释的强化学习试图向训练中的代理提供方法，以便以这样一种方式解释其行为，即没有机器学习经验的用户可以理解代理的行为。其中之一是基于记忆的可解释强化学习方法，该方法用于使用情景记忆计算每个状态-动作对的成功概率。在这项工作中，我们建议利用基于记忆的可解释的强化学习方法在一个层次化的环境中，需要首先解决一个更复杂的任务的子任务组成。最终目标是验证是否可以向代理提供在全局任务以及子任务中解释其操作的能力。所获得的结果表明，它是可能的，使用基于内存的方法在分层环境中的高层次的任务和计算成功的概率被用作解释代理的行为的基础。
2022-12-14 cs.AI cs.LG
Explainable deep reinforcement learning reveals energy-efficient control strategies for turbulent drag reduction
Department of Aerospace Engineering University of Michigan（航空航天工程系密歇根大学）
结合多智能体深度强化学习与可解释深度学习，提出基于SHAP归因的奖励策略，实现高效湍流减阻，净节能达34.01%且输入功率仅0.43%。
2026-05-31 cs.AI cs.LG physics.flu-dyn
From Black Box to Executable Logic: Explainable Reinforcement Learning through Prolog Expert Systems
Institute of Research in Technology (IIT), Universidad Pontificia Comillas（技术研究所（IIT），庞培法布拉大学）
研究如何让深度强化学习策略从黑箱变为可解释的可执行逻辑程序，提出三阶段转换方法，经理论分析和实验验证，该方法能实现策略转换，在特定任务中表现良好，如在两室任务和部分连续控制任务中达到相应效果。
2026-07-21 cs.AI
LLMs for Explainable Business Decision-Making: A Reinforcement Learning Fine-Tuning Approach
Robert H. Smith School of Business, University of Maryland（大学管理学院）；Leonard N. Stern School of Business, New York University（纽约大学商学院）
本文提出LEXMA方法，通过强化学习微调生成多受众适用的自然语言解释，提升商业决策的可解释性与实用性。
2025-12-10 cs.AI cs.CL
Distilling Deep Reinforcement Learning into Interpretable Fuzzy Rules: An Explainable AI Framework
Dept. of EECS, Syracuse University, NY 13244, USA（电子工程与计算机科学系， Syracuse大学，纽约州，13244，美国）；Air Force Research Laboratory, Rome, NY 13441, USA（空军研究实验室，罗马，纽约州，13441，美国）
本文提出一种分层Takagi-Sugeno-Kang模糊分类器系统，通过K-means聚类和岭回归将神经策略转化为可读的IF-THEN规则，并引入三个量化指标评估解释性。
2026-02-24 cs.AI
IxDRL: A Novel Explainable Deep Reinforcement Learning Toolkit based on Analyses of Interestingness
SRI International（斯坦福国际研究院）
针对现有深度强化学习系统缺乏能力解释机制的问题，研究提出基于趣味性分析的可解释框架IxDRL，可评估智能体能力，支持多种算法与RLLib，能为人机协作中的决策提供依据。
2023-07-18 cs.AI cs.HC cs.LG
Explainable Reinforcement Learning via Model Transforms
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Harvard University（哈佛大学）；DeepMind（深度思维）；Technion - Israel Institute of Technology（以色列理工学院）
理解强化学习（RL）代理的新兴行为可能是困难的，因为这样的代理通常在复杂的环境中使用高度复杂的决策过程来训练。这就产生了各种各样的方法来解释强化学习，旨在调和代理的行为和观察者预期的行为之间可能出现的差异。最新的方法依赖于领域知识，可能并不总是可用的，对代理的政策的分析，或对底层环境的特定元素的分析，通常建模为马尔可夫决策过程（MDP）。我们的关键主张是，即使底层模型不完全已知（例如，转移概率还没有被准确地获知）或不由代理维护（即，当使用无模型方法时），该模型仍然可以用于自动生成解释。为了这个目的，我们建议使用正式的MDP抽象和转换，以前在文献中使用的加速搜索最优的政策，自动产生的解释。由于这种转换通常基于环境的符号表示，因此它们可以为预期和实际代理行为之间的差距提供有意义的解释。我们正式定义的可解释性问题，提出了一类可用于解释紧急行为的转换，并建议方法，使有效的搜索解释。我们展示了一套标准的基准测试的方法。
2022-11-30 cs.AI cs.LG
