Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Optimizing Operation Recipes with Reinforcement Learning for Safe and Interpretable Control of Chemical Processes
TU Dortmund University（图卢兹大学）
本文提出利用强化学习优化操作配方，结合专家知识提升化学过程控制的安全性和可解释性，通过仿真验证其性能优势。
2025-11-20 cs.LG cs.SY eess.SY
Interpretable UAV Collision Avoidance using Deep Reinforcement Learning
Iowa State University（爱荷华州立大学）
任何成功的自主飞行系统的重要组成部分是任务完成和避免碰撞。大多数深度学习算法在它们被训练的环境和条件下成功地执行这些方面。然而，当他们受到新的环境时，他们失败了。本文提出了一种自主多旋翼飞行算法，使用深度强化学习增强自注意力模型，可以有效地原因时，受到不同的输入。除了它们的推理能力，它们也是可解释的，使其能够在现实世界的条件下使用。我们已经在不同的天气条件和环境下测试了我们的算法，发现与传统的深度强化学习算法相比，它是鲁棒的。
2021-06-04 cs.LG cs.RO
A Survey on Interpretable Reinforcement Learning
University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）
尽管深度强化学习已经成为解决序列决策问题的一种很有前途的机器学习方法，但对于自动驾驶或医疗应用等高风险领域来说，它仍然不够成熟。在这样的上下文中，学习的策略例如需要是可解释的，使得它可以在任何部署之前被检查（例如，出于安全性和可验证性的原因）。本综述概述了在强化学习（RL）中实现更高可解释性的各种方法。为此，我们区分可解释性（作为模型的属性）和可解释性（作为事后操作，代理的干预），并在RL的背景下讨论它们，强调前一个概念。特别是，我们认为，可解释的强化学习可能包括不同的方面：可解释的输入，可解释的（过渡/奖励）模型，和可解释的决策。基于此方案，我们总结和分析了最近的工作，可解释强化学习的重点是在过去的10年发表的论文。我们还简要讨论了一些相关的研究领域，并指出一些潜在的有前途的研究方向。
2022-02-24 cs.AI cs.LG
Methodology for Interpretable Reinforcement Learning for Optimizing Mechanical Ventilation
University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）
针对机械通气控制缺乏可解释性的问题，提出结合因果非参数离策略评估的可解释RL方法，决策树策略在MIMIC-III上达到深度RL水平并优于行为克隆。
2025-01-09 cs.LG math.OC
Interpretable reinforcement learning for heat pump control through asymmetric differentiable decision trees
IDLab Ghent University（根特大学IDLab）；imec；Daikin Europe NV（大金欧洲有限公司）
本文针对深度强化学习在家庭能源管理中的黑箱问题，提出一种非对称软微分决策树构建方法，通过按需扩展节点提升可解释性和性能，实现热泵控制的透明高效决策。
2025-06-02 cs.LG cs.SY eess.SY
Interpretable and Efficient Data-driven Discovery and Control of Distributed Systems
Technical University of Darmstadt（达姆施塔特工业大学）；University of Twente（特温特大学）；Imperial College London（伦敦帝国学院）；Politecnico di Milano（米兰理工大学）
提出一种结合SINDy-C和自编码器的Dyna式模型强化学习框架，用于PDE控制，实现数据高效、可解释且可扩展，并在Burgers和Navier-Stokes方程上验证优于无模型基线。
2024-11-06 cs.CE cs.LG math.OC
Interpretable Reinforcement Learning via Neural Additive Models for Inventory Management
Merantix Momentum GmbH（Merantix Momentum有限公司）
COVID-19疫情凸显了供应链的重要性以及数字化管理在应对环境动态变化方面的作用。在这项工作中，我们专注于发展动态库存订购政策的多级，即多阶段，供应链。传统的库存优化方法的目标是确定一个静态的再订购策略。因此，该等政策无法适应动态变化，例如COVID-19危机期间观察到的变化。另一方面，传统的战略提供了可解释的优势，这是供应链管理者的一个关键特征，以便将决策传达给利益相关者。为了解决这一限制，我们提出了一种可解释的强化学习方法，其目标是与传统静态策略一样可解释，同时与其他基于深度学习的强化学习解决方案一样灵活和环境不可知。我们建议使用神经加法模型作为强化学习代理的可解释动态策略，表明这种方法与标准的全连接策略具有竞争力。最后，我们使用的可解释性财产获得洞察到一个简单的，线性的三级库存供应链的复杂订购策略。
2023-03-22 cs.LG cs.MA
Interpretable Dynamics Models for Data-Efficient Reinforcement Learning
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；University of Bristol（布里斯托大学）
在本文中，我们提出了一个基于基于模型的强化学习贝叶斯视图。我们使用专家知识的过渡模型的结构，并提出了一个有效的学习计划的基础上变分推理。该方案被应用到一个异方差和双峰基准问题上，我们将我们的结果与NFQ进行了比较，并展示了我们的方法如何在提高数据效率的同时，对底层动态产生人类可解释的见解。
2019-07-10 cs.LG stat.ML
Towards Interpretable Reinforcement Learning with Constrained Normalizing Flow Policies
Örebro University（厄勒布鲁大学）；IT University of Copenhagen（哥本哈根信息技术大学）
提出约束归一化流策略，通过解析构造可解释变换序列保证瞬时安全约束满足，实现构造即安全且更易学习的强化学习策略。
2024-05-02 cs.AI cs.LG
Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；ATHENE；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Hessian AI（黑森人工智能研究所）；DFKI（德国人工智能研究中心）
针对深度强化学习策略黑盒导致的目标错位问题，提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序，在多种任务上匹配基准性能，并能修正Atari游戏错位及解释农业策略。
2024-05-23 cs.AI cs.LG
From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对现有可解释强化学习方法仅能提供局部洞察、无法全局理解模型的问题，研究提出基于Shapley值的模型无关方法，可适配异策略与同策略算法，在保留原模型性能的同时生成更稳定的可理解策略。
2025-01-16 cs.AI cs.LG cs.SY
Particle Swarm Optimization for Generating Interpretable Fuzzy Reinforcement Learning Policies
Siemens AG, Corporate Technology（西门子公司企业技术部）
本文提出一种基于模糊粒子群强化学习（FPSRL）的方法，通过训练参数在模拟真实系统动态的世界模型上生成可解释的模糊强化学习策略，适用于无法进行在线学习的领域。
2017-08-15 cs.AI cs.LG cs.NE
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems（埃尔绍夫信息系统研究所）
我们提出了一种新的强化学习模型的离散环境，这是内在的可解释性，并支持发现深层次的子目标层次。在该模型中，智能体以概率规则的形式学习有关环境的信息，而（子）目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述，如果先前实现，则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中，这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
Identifying Decision Points for Safe and Interpretable Reinforcement Learning in Hypotension Treatment
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
许多批处理RL健康应用程序首先将时间离散化为固定的时间间隔。然而，这种离散化既失去了分辨率，又迫使在每个（潜在的精细）间隔进行策略计算。在这项工作中，我们开发了一个新的框架，将连续的轨迹压缩成几个可解释的决策点-批量数据支持多个备选方案的地方。我们应用我们的方法从一组肥胖患者数据集创建推荐。我们减少了状态空间，从而加快了规划速度，并允许临床专家轻松检查。
2021-01-09 cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对强化学习中神经网络策略缺乏可解释性的问题，提出决策树策略优化（DTPO）算法，利用策略梯度直接优化完整决策树，实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Interpretable Deep Reinforcement Learning for Green Security Games with Real-Time Information
University of Maryland（马里兰大学）
实时的【形】信息绿色安全博弈（GSG-I）将智能体运动的实时的【形】信息添加到典型的GSG公式中。先前的GSG-I工作使用深度强化学习（DRL）来学习这种环境中代理的最佳策略，而无需存储GSG-I的大量状态表示。然而，DRL方法的决策过程在很大程度上是不透明的，这导致人们对它们的预测缺乏信任。为了解决这个问题，我们提出了一个可解释的DRL方法GSG-I生成可视化来解释DRL算法所采取的决定。我们还表明，这种方法表现更好，与现有方法相比，使用更简单的训练方案效果更好。
2022-11-09 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Army Research Lab（陆军研究实验室）；University of California, Riverside（加州大学河滨分校）
多智能体强化学习（MARL）的许多最新突破需要使用深度神经网络，这对人类专家来说是一个解释和理解的挑战。另一方面，现有的可解释的强化学习（RL）的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望，但仅在单代理设置。为了填补这一空白，我们提出了第一套算法，从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法，IVIPER，扩展VIPER，最近的方法单代理可解释的RL，多代理设置。我们证明了IVIPER学习高质量的决策树政策，为每个代理。为了更好地捕捉代理之间的协调，我们提出了一种新的集中式决策树训练算法，MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树，并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明，这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
A Novel Approach to Curiosity and Explainable Reinforcement Learning via Interpretable Sub-Goals
BrightMind, Bright Media Inc.（BrightMind，Bright Media 公司）
强化学习中的两个关键挑战涉及改进（a）在具有稀疏外部奖励的环境中的代理学习和（b）代理动作的可解释性。我们描述了一个好奇的子目标为重点的代理，以解决这两个挑战。我们使用一种新的方法产生的好奇心从生成对抗网络（GAN）的环境过渡模型，是强大的随机环境过渡。此外，我们使用子目标生成网络来指导导航。通过将复杂的任务分解为一系列不需要任何手动设计的可解释的子目标，可以增加代理行为的可解释性。我们表明，这种方法也使代理解决具有挑战性的程序生成的任务，包含随机过渡以上其他国家的最先进的方法。
2021-04-19 cs.LG
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Model-free Reinforcement Learning for Model-based Control: Towards Safe, Interpretable and Sample-efficient Agents
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA.（化学与生物分子工程系，加州大学伯克利分校）
本文提出将基于模型的智能体与无模型强化学习相结合，以解决后者样本效率低、安全性差和可解释性不足的问题，并探讨了贝叶斯优化、策略搜索和离线策略等学习方法及其潜力。
2025-07-17 cs.LG cs.SY eess.SY
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University（卡内基梅隆大学）；University of South Carolina（南卡罗来纳大学）
在强化学习（以及一般的机器学习）领域，人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成，与传统的策略表示相比，它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数，但是这导致比否则所需的树大得多的树。为了解决这一缺点，我们提出了一种新的算法，只有当估计的整体政策的折扣未来奖励将增加足够的金额时，才增加树的大小。通过在模拟环境中的评估，我们表明，它的性能相当或优于传统的基于树的方法，它产生一个更简洁的政策。此外，我们还讨论了调整参数，以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
Concept Learning for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
多智能体机器人系统越来越多地在接近人类的真实世界环境中运行，但在很大程度上由具有不可理解的深层神经网络表示的策略模型控制。我们介绍了一种方法，将可解释的概念，从一个领域的专家通过多智能体强化学习训练的模型，通过要求模型首先预测这些概念，然后利用它们进行决策。这允许专家在运行时根据这些高级概念对所得到的概念策略模型进行推理，以及干预和纠正错误预测以提高性能。我们发现，这产生了改进的可解释性和训练稳定性，有利于政策性能和样本效率在模拟和现实世界的合作竞争多智能体游戏。
2023-02-23 cs.AI cs.LG cs.RO
Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
提出iTRACE框架，利用预训练视觉-语言模型自动提取语义特征并蒸馏为轻量级模型，训练可解释的基于树的强化学习策略，在Atari等三个领域匹配黑盒策略性能。
2025-10-31 cs.AI cs.LG
Towards Interpretable Reinforcement Learning Using Attention Augmented Agents
DeepMind（深度思维）
受图像描述和问答的注意力模型的启发，我们提出了一个用于强化学习领域的软注意力模型。该模型使用软的、自上而下的注意力机制来在代理中创建瓶颈，通过顺序查询其环境视图来迫使其关注任务相关信息。注意力机制的输出允许直接观察代理选择其动作所使用的信息，从而使该模型比传统模型更容易解释。我们分析了代理学习的不同策略，并表明少数策略在不同的游戏中反复出现。我们还表明，该模型学习分别查询空间和内容（“在哪里”与“什么”）。我们证明了使用这种机制的代理可以实现与ATARI任务上的最先进模型竞争的性能，同时仍然是可解释的。
2019-06-06 cs.LG stat.ML
Programmatically Interpretable Reinforcement Learning
Rice University（莱斯大学）；Google Brain（谷歌大脑）；Deepmind（深度思维）
我们提出了一个强化学习框架，称为程序可解释的强化学习（PIRL），旨在生成可解释和可验证的代理政策。与流行的深度强化学习（DRL）范式不同，它通过神经网络来表示策略，PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释，并且可以通过符号方法进行验证。我们提出了一种新的方法，称为神经导向程序搜索（NDPS），解决具有挑战性的非光滑优化问题，找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络，然后在编程策略上执行本地搜索，以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务，学习驾驶模拟汽车在TORCS赛车环境。我们证明，NDPS是能够发现人类可读的政策，通过一些显着的性能酒吧。我们还表明，PIRL政策可以有更平滑的轨迹，可以更容易地转移到训练过程中没有遇到的环境，比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
Learning Two-Step Hybrid Policy for Graph-Based Interpretable Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
我们提出了一个两步的混合强化学习（RL）的政策，旨在生成可解释的和强大的分层策略的RL问题与基于图的输入。与之前由端到端黑盒图神经网络参数化的深度强化学习策略不同，我们的方法将决策过程分解为两个步骤。第一步是一个简化的分类问题，它将图形输入映射到一个动作组，其中所有动作都具有相似的语义含义。第二步实现了一个复杂的规则挖掘机，进行显式的一跳推理的图形，并确定在图形输入的决定性的边缘，而不需要沉重的领域知识。这种两步混合策略提供了人性化的解释，并在泛化和鲁棒性方面实现了更好的性能。四个层次的复杂的基于文本的游戏进行了广泛的实验研究表明，所提出的方法相比，国家的最先进的优越性。
2022-10-19 cs.AI cs.CL cs.LG
Feature-Based Interpretable Reinforcement Learning based on State-Transition Models
Carleton University（卡尔顿大学）
针对强化学习决策的可解释性需求，提出一种仅用交互日志构建状态转移模型的局部风险解释方法，适用于连续/离散状态动作空间，可通过关键特征解释智能体动作，实验验证了其有效性。
2021-05-14 cs.LG
InfoRL: Interpretable Reinforcement Learning using Information Maximization
IIT Kanpur（印度理工学院坎普尔分校）
强化学习的最新进展已经证明，给定一个环境，如果我们可以访问某种形式的奖励函数（密集，稀疏或从IRL导出），我们可以学习在该环境中执行任务。但大多数算法都专注于学习一个最佳策略来执行给定的一组任务。在本文中，我们专注于一种算法，它不仅学习执行一项任务，而且学习以不同的方式执行同一任务。正如我们所知，当环境足够复杂时，总是存在多种方法来执行任务。我们表明，使用信息最大化的概念，它是可能的学习潜码发现多种方式来执行任何给定的任务在一个环境中。
2019-05-24 cs.AI cs.LG stat.ML
Hierarchical Framework for Interpretable and Probabilistic Model-Based Safe Reinforcement Learning
Software Competence Center Hagenberg（哈根伯格软件能力中心）；Technological University Dublin（都柏林理工大学）；ADAPT Research Centre（ADAPT研究中心）
本文提出分层框架BC-SRLA，融合概率建模与强化学习以提升可解释性和安全性，并通过策略克隆减少交互，在涡扇发动机维修案例中优于现有方法。
2023-10-28 cs.AI cs.LG cs.SY
Can Interpretable Reinforcement Learning Manage Prosperity Your Way?
Sparebank 1 SR-Bank（Sparebank 1 SR银行）；Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
产品和服务的个性化正在迅速成为银行和商业成功的驱动力。机器学习有望更深入地了解客户的需求和偏好，并根据客户的需求和偏好进行定制。传统的金融决策问题解决方案通常依赖于模型假设，而强化学习能够利用大量数据，以更少的假设在复杂的金融环境中改善客户建模和决策。从监管角度来看，模型的可解释性和可解释性提出了挑战，这需要透明度才能被接受;它们还提供了改善对客户的洞察和理解的机会。事后方法通常用于解释预训练的强化学习模型。基于我们之前对客户支出行为的建模，我们调整了我们最近的强化学习算法，该算法本质上表征了理想的行为，我们过渡到资产管理问题。我们训练内在可解释的强化学习代理，以提供与原型财务人格特质相一致的投资建议，这些人格特质被结合起来，以提出最终建议。我们观察到，受过训练的代理人的建议坚持其预期的特点，他们学习复合增长的价值，并在没有任何明确的参考，风险的概念，以及改善政策趋同。
2022-06-29 cs.AI cs.LG
Interpretable Reinforcement Learning for Load Balancing using Kolmogorov-Arnold Networks
Université Jean Monnet Saint-Étienne, CNRS, Inst. d’Optique Graduate School, Lab. Hubert Curien（Jean Monnet圣艾蒂安大学，法国国家科学研究中心，光学研究生院，Hubert Curien实验室）；QoS Design, Toulouse, France（服务质量设计，法国图卢兹）；Huawei Technologies Ltd., Paris Research Center, France（华为技术有限公司，巴黎研究中心，法国）；Institut Universitaire de France (IUF)（法国大学研究院（IUF））
针对现有强化学习在网络负载均衡中可解释性差的问题，提出结合KAN与PPO的可解释强化学习方法，能提取控制器方程并提升网络性能。
2025-05-20 cs.LG cs.NI
Designing Interpretable Approximations to Deep Reinforcement Learning
University of Southern California（南加州大学）
在不断扩展的研究和应用领域中，深度神经网络（DNN）为算法性能设定了标准。然而，根据处理能力和执行时间限制等附加约束，或可验证的安全保证等要求，在实践中实际使用此类高性能DNN可能并不可行。近年来，人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型，不仅保持所需的性能水平，而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。
2021-06-19 cs.AI cs.LG
Psychotherapy AI Companion with Reinforcement Learning Recommendations and Interpretable Policy Dynamics
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）
我们介绍了一个强化学习心理治疗AI伴侣，它可以根据患者的反应为治疗师生成主题建议。该系统使用深度强化学习（DRL）为四种不同的精神疾病（焦虑、抑郁、精神分裂症和自杀病例）生成多目标策略。我们提出了我们的实验结果的准确性推荐的主题使用三种不同规模的工作联盟评级：任务，债券和目标。我们表明，该系统能够捕获的真实数据（历史主题讨论的治疗师）相对较好，表现最好的模型不同的障碍和评级尺度。为了获得对学习策略的可解释的见解，我们在2D主成分分析空间和过渡矩阵中可视化策略轨迹。这些可视化显示了用不同奖励信号训练和在不同临床诊断上训练的策略中的不同模式。我们的系统在生成DISorder-Specific多目标政策（DISMOP）和可解释的政策动态方面的成功证明了DRL在提供个性化和有效的治疗建议方面的潜力。
2023-03-16 cs.AI cs.CL cs.HC
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London（伦敦大学学院）
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控，提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-02-12 cs.AI cs.CL cs.LG
Interpretable reinforcement learning with decision-tree pruning
Ludwig-Maximilians-University Munich（慕尼黑大学）；Siemens AG（西门子公司）
该研究提出一种结合决策树剪枝的可解释强化学习方法，通过定义结构感知与使用感知算子简化策略，在经典控制及MuJoCo基准上验证其可保持高性能并提升可解释性。
2026-08-10 cs.AI cs.LG
Three Pathways to Neurosymbolic Reinforcement Learning with Interpretable Model and Policy Networks
National Renewable Energy Lab（国家可再生能源实验室）
本文提出三种途径在强化学习中实现可微且可解释的模型与策略，揭示逻辑与学习的权衡及开放问题。
2024-02-07 cs.AI cs.LG
Upside-Down Reinforcement Learning for More Interpretable Optimal Control
Bernoulli Institute, University of Groningen（格罗宁根大学伯努利研究所）
本文研究了在倒立强化学习（UDRL）框架中使用随机森林等基于树的函数逼近算法，发现其在最优控制基准中性能与神经网络相当，且生成的策略更具可解释性，提升了强化学习的透明度、安全性和鲁棒性。
2024-11-18 cs.LG
"So, Tell Me About Your Policy...": Distillation of interpretable policies from Deep Reinforcement Learning agents
Politecnico di Milano, Dipartimento di Elettronica, Informazione e Bioingegneria（米兰Politecnico大学电子、信息与生物工程学院）
针对深度强化学习策略可解释性不足的问题，提出一种基于优势函数、利用预收集经验提取可解释策略的有理论保障的新算法，经经典控制和金融交易场景验证，可从复杂专家策略中提取有效信息。
2025-07-29 cs.LG
SMOSE: Sparse Mixture of Shallow Experts for Interpretable Reinforcement Learning in Continuous Control Tasks
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文提出SMOSE方法，通过top-1专家混合架构训练稀疏激活的可解释控制器，结合可解释决策者与路由器，并从路由器权重蒸馏决策树，在MuJoCo六个基准环境中优于现有可解释基线并缩小与不可解释最先进算法的差距。
2024-12-17 cs.AI cs.LG
Continuous Action Reinforcement Learning from a Mixture of Interpretable Experts
Aalto University（阿尔托大学）；TU Darmstadt（达姆施塔特工业大学）
强化学习（RL）已经证明了其通过利用非线性函数逼近器来解决高维任务的能力。然而，这些成功大多是通过模拟域中的“黑箱”策略实现的。当将RL部署到现实世界中时，可能会提出一些关于使用“黑匣子”策略的问题。为了使学习的政策更加透明，我们在本文中提出了一个政策迭代方案，保留了一个复杂的函数逼近器，其内部值的预测，但限制的政策有一个简洁的，分层的，和人类可读的结构，基于混合的可解释的专家。每个专家根据到原型状态的距离来选择原始动作。一个关键的设计决策，以保持这样的专家可解释的是从轨迹数据中选择的原型状态。本文的主要技术贡献是解决这个不可微的原型状态选择过程所带来的挑战。实验表明，我们提出的算法可以在连续动作深度RL基准上学习令人信服的策略，与基于神经网络的策略的性能相匹配，但返回的策略比神经网络或线性特征策略更适合人类检查。
2021-11-18 cs.LG stat.ML
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
决策树因其易用性和可解释性而在机器学习中无处不在。然而，这些模型通常不用于强化学习，因为它们不能通过随机梯度下降在线更新。我们克服了这一限制，允许在整个树，提高样本的复杂性，提供可解释的政策提取梯度更新。首先，我们包括政策梯度学习的需要，通过检查梯度下降的性质可微决策树的理论动机。其次，我们证明了我们的方法在所有领域都等同于或优于神经网络，并且可以在线学习离散的决策树，其平均奖励比批量训练的决策树高出7倍。第三，我们进行了一项用户研究，以量化决策树，规则列表和神经网络的可解释性与统计上显着的结果（$p < 0.001$）。
2020-06-25 cs.LG stat.ML
Interpretable Model-based Hierarchical Reinforcement Learning using Inductive Logic Programming
Georgia Institute of Technology（佐治亚理工学院）
近年来，深度强化学习在广泛的应用中取得了巨大的成功。然而，它缺乏数据效率和可解释性。数据效率很重要，因为与环境交互的成本很高。此外，可解释性可以增加黑盒式深度RL模型的透明度，从而获得用户的信任。在这项工作中，我们提出了一个新的分层框架，通过符号RL，利用符号转换模型，以提高数据效率，并介绍了学习策略的可解释性。该框架由一个高级Agent、一个子任务求解器和一个符号转换模型组成。在不假设任何先验知识的状态转换，我们采用归纳逻辑程序设计（ILP）学习的符号状态转换的规则，引入可解释性，使学习的行为可理解的用户。在实证实验中，我们证实，所提出的框架提供了约30%至40%之间的数据效率比以前的方法。
2021-06-21 cs.LG
Interpretable Failure Analysis in Multi-Agent Reinforcement Learning Systems
Wake Forest University（威克森林大学）；Indiana University（印第安纳大学）
本文提出了一种两阶段梯度框架，用于多智能体强化学习系统中可解释的故障检测与归因分析，通过几何分析和敏感性分析提高故障诊断的透明度和准确性。
2026-02-22 cs.AI cs.LG cs.MA
AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy using Interpretable Deep Reinforcement Attention Networks
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
近年来，金融创新和人工智能技术在包括量化交易（QT）在内的各种金融应用中成功结合。尽管大量的研究致力于利用深度学习（DL）方法来构建更好的QT策略，但现有的研究仍然面临着严重的挑战，特别是来自金融方面的挑战，例如风险与收益的平衡，对极端损失的抵抗力，以及策略的可解释性，这些都限制了基于DL的策略在现实金融市场中的应用。在这项工作中，我们提出了AlphaStock，一种新的基于强化学习（RL）的投资策略，通过可解释的深度注意力网络来增强，以解决上述挑战。我们的主要贡献总结如下：（1）将深度注意力网络与面向夏普比率的强化学习框架相结合，实现风险收益均衡的投资策略;（2）建立资产之间的相互关系模型，避免选择偏差，建立跨资产注意力机制;据我们所知，这项工作是第一个使用深度强化学习模型提供可解释的投资策略的工作之一。在美国和中国的长周期市场上进行的实验证明了AlphaStock在不同市场状态下的有效性和稳健性。事实证明，AlphaStock倾向于选择长期增长率高、波动性低、内在价值高、最近被低估的股票作为赢家。
2019-07-24 cs.LG q-fin.ST q-fin.TR
Fidelity-Induced Interpretable Policy Extraction for Reinforcement Learning
Xiangtan University（湘潭大学）；Nanjing University（南京大学）
针对深度强化学习智能体决策不透明及现有可解释策略提取方法解释与行为不一致的问题，提出保真度诱导策略提取方法FIPE，通过将保真度测量集成到强化学习反馈中提升一致性与交互性能。
2023-09-12 cs.AI cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
A Genetic Fuzzy System for Interpretable and Parsimonious Reinforcement Learning Policies
The University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
针对传统学习分类器系统规则库庞大难解释的问题，提出基于多目标与协同协同进化的 Pittsburgh 遗传模糊系统 Fuzzy MoCoCo，在 Mountain Car 环境中演化出可解释、高性能且简约的强化学习策略。
2023-05-17 cs.AI cs.LG cs.NE
Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
Illinois Institute of Technology（伊利诺伊理工学院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
针对DRL集群调度缺乏可解释性阻碍实际部署的问题，提出IRL框架，利用模仿学习、DAgger算法和关键状态修剪将黑盒DNN策略转换为可解释的决策树，在保持调度性能的同时提升可解释性并辅助奖励设定。
2024-03-24 cs.AI cs.DC cs.LG
Interpretable End-to-end Urban Autonomous Driving with Latent Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）
与流行的模块化框架不同，端到端自动驾驶寻求以集成的方式解决感知，决策和控制问题，这可以更好地适应新场景，更容易大规模推广。然而，现有的端到端方法往往缺乏可解释性，只能处理简单的驾驶任务，如车道保持。在本文中，我们提出了一种用于端到端自动驾驶的可解释的深度强化学习方法，该方法能够处理复杂的城市场景。引入了一个顺序的潜在环境模型，并与强化学习过程一起学习。利用该潜在模型，可以生成语义birdeye mask，该语义birdeye mask被强制与当今模块化框架中的某个中间属性连接，以解释学习策略的行为。潜在空间还显著降低了强化学习的样本复杂度。与CARLA中模拟自动驾驶汽车的比较测试表明，我们的方法在周围车辆拥挤的城市场景中的性能占主导地位，包括DQN，DDPG，TD3和SAC。此外，通过掩蔽输出，学习的策略能够更好地解释汽车如何对驾驶环境进行推理。这个工作的代码和视频可以在我们的github repo和项目网站上找到。
2020-07-07 cs.CV cs.LG cs.RO
Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；TU Darmstadt（达姆施塔特工业大学）
本文提出一种基于可模拟性代理指标、无需人类参与的策略可解释性评估方法，通过将专家网络蒸馏为小型程序进行大规模实证评估，发现提高可解释性未必降低性能，且不存在跨任务普适的最优策略类别。
2025-03-11 cs.AI cs.LG
Nonparametric Additive Value Functions: Interpretable Reinforcement Learning with an Application to Surgical Recovery
Department of Biostatistics, Harvard University（哈佛大学生物统计学系）
提出非参数加性模型估计强化学习中的可解释价值函数，结合局部核回归与基扩展提取特征非线性贡献，应用于脊柱术后康复并验证其临床一致性。
2025-05-30 cs.LG stat.ML
