Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Interpretable Hidden Markov Model-Based Deep Reinforcement Learning Hierarchical Framework for Predictive Maintenance of Turbofan Engines
Software Competence Center Hagenberg（哈根贝格软件能力中心）；Technological University of Dublin（都柏林理工大学）
深度强化学习中的一个开放性研究问题是如何将关键决策的策略学习集中在稀疏域中。本文强调结合输入输出隐马尔可夫模型和强化学习的优势，对可解释的维修决策。我们提出了一种新的分层建模方法，在高层次上，检测和解释故障的根本原因以及健康退化的涡扇发动机，而在低层次上，它提供了最佳的更换政策。它的性能优于直接应用于原始数据的深度强化学习方法的基线性能，或者在没有这种专门层次结构的情况下使用隐马尔可夫模型。它还提供了与以前的工作相当的性能，但是，具有可解释性的额外好处。
2023-01-11 cs.AI cs.LG
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems（埃尔绍夫信息系统研究所）
我们提出了一种新的强化学习模型的离散环境，这是内在的可解释性，并支持发现深层次的子目标层次。在该模型中，智能体以概率规则的形式学习有关环境的信息，而（子）目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述，如果先前实现，则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中，这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
Interpretable Deep Reinforcement Learning for Green Security Games with Real-Time Information
University of Maryland（马里兰大学）
实时的【形】信息绿色安全博弈（GSG-I）将智能体运动的实时的【形】信息添加到典型的GSG公式中。先前的GSG-I工作使用深度强化学习（DRL）来学习这种环境中代理的最佳策略，而无需存储GSG-I的大量状态表示。然而，DRL方法的决策过程在很大程度上是不透明的，这导致人们对它们的预测缺乏信任。为了解决这个问题，我们提出了一个可解释的DRL方法GSG-I生成可视化来解释DRL算法所采取的决定。我们还表明，这种方法表现更好，与现有方法相比，使用更简单的训练方案效果更好。
2022-11-09 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Army Research Lab（陆军研究实验室）；University of California, Riverside（加州大学河滨分校）
多智能体强化学习（MARL）的许多最新突破需要使用深度神经网络，这对人类专家来说是一个解释和理解的挑战。另一方面，现有的可解释的强化学习（RL）的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望，但仅在单代理设置。为了填补这一空白，我们提出了第一套算法，从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法，IVIPER，扩展VIPER，最近的方法单代理可解释的RL，多代理设置。我们证明了IVIPER学习高质量的决策树政策，为每个代理。为了更好地捕捉代理之间的协调，我们提出了一种新的集中式决策树训练算法，MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树，并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明，这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
Towards Interpretable Deep Reinforcement Learning Models via Inverse Reinforcement Learning
Dartmouth College（达特茅斯学院）
针对深度强化学习模型的黑箱问题，本文提出基于对抗逆强化学习的框架，通过总结决策过程为模型决策提供全局解释并揭示其直观倾向。
2024-03-01 cs.AI cs.LG
Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
提出iTRACE框架，利用预训练视觉-语言模型自动提取语义特征并蒸馏为轻量级模型，训练可解释的基于树的强化学习策略，在Atari等三个领域匹配黑盒策略性能。
2025-10-31 cs.AI cs.LG
Social diversity and social preferences in mixed-motive reinforcement learning
DeepMind（深度思维）
最近的强化学习在纯冲突和纯共同利益游戏的研究强调了人口异质性的重要性。相比之下，混合动机游戏中的强化学习研究主要利用同质方法。鉴于混合动机博弈的定义特征--群体成员之间激励的不完全相关性--我们研究了群体异质性对混合动机强化学习的影响。我们借鉴了社会心理学的相互依存理论，并将社会价值取向（SVO）注入强化学习代理，这是一种灵活的形式化偏好。随后，我们探讨了SVO的多样性的影响人口的强化学习代理在两个混合动机马尔可夫游戏。我们证明，SVO的异质性会在代理人之间产生有意义且复杂的行为变化，类似于相互依存理论所提出的那样。在这些混合动机的困境的实证结果表明，在异质人群中训练的代理开发特别普遍的，高性能的政策相对于那些在同质人群中训练。
2020-02-12 cs.AI cs.MA
Reinforcement Communication Learning in Different Social Network Structures
Indiana University（印第安纳大学）；University of California, Irvine（加利福尼亚大学欧文分校）
社会网络结构是人类语言进化的关键决定因素之一。以前的研究表明，社会互动网络塑造了人类群体中的分散学习，导致了不同类型的交流惯例的出现。我们研究了社会网络组织对分散的多智能体强化学习社区中出现的通信系统属性的影响。我们发现，社交网络的全球连通性驱动了共享和对称通信系统上的人口聚集，阻止了代理人形成许多本地“方言”。此外，代理人的程度是负相关的一致性，其使用的交际惯例。这些结果表明了社会网络结构的基本属性对强化交流学习的重要性，并对人类在词汇约定上的收敛性研究结果提出了新的解释。
2020-07-19 cs.AI cs.CL cs.LG
Can Interpretable Reinforcement Learning Manage Prosperity Your Way?
Sparebank 1 SR-Bank（Sparebank 1 SR银行）；Center for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
产品和服务的个性化正在迅速成为银行和商业成功的驱动力。机器学习有望更深入地了解客户的需求和偏好，并根据客户的需求和偏好进行定制。传统的金融决策问题解决方案通常依赖于模型假设，而强化学习能够利用大量数据，以更少的假设在复杂的金融环境中改善客户建模和决策。从监管角度来看，模型的可解释性和可解释性提出了挑战，这需要透明度才能被接受;它们还提供了改善对客户的洞察和理解的机会。事后方法通常用于解释预训练的强化学习模型。基于我们之前对客户支出行为的建模，我们调整了我们最近的强化学习算法，该算法本质上表征了理想的行为，我们过渡到资产管理问题。我们训练内在可解释的强化学习代理，以提供与原型财务人格特质相一致的投资建议，这些人格特质被结合起来，以提出最终建议。我们观察到，受过训练的代理人的建议坚持其预期的特点，他们学习复合增长的价值，并在没有任何明确的参考，风险的概念，以及改善政策趋同。
2022-06-29 cs.AI cs.LG
Designing Interpretable Approximations to Deep Reinforcement Learning
University of Southern California（南加州大学）
在不断扩展的研究和应用领域中，深度神经网络（DNN）为算法性能设定了标准。然而，根据处理能力和执行时间限制等附加约束，或可验证的安全保证等要求，在实践中实际使用此类高性能DNN可能并不可行。近年来，人们开发了许多技术来将复杂的DNN压缩或提取为更小、更快或更容易理解的模型和控制器。这项工作旨在识别简化模型，不仅保持所需的性能水平，而且还可以简洁地解释DNN所代表的潜在知识。我们说明了所提出的方法在基准强化学习任务的背景下对决策树变体和内核机器进行评估的有效性。
2021-06-19 cs.AI cs.LG
Interpretable reinforcement learning with decision-tree pruning
Ludwig-Maximilians-University Munich（慕尼黑大学）；Siemens AG（西门子公司）
该研究提出一种结合决策树剪枝的可解释强化学习方法，通过定义结构感知与使用感知算子简化策略，在经典控制及MuJoCo基准上验证其可保持高性能并提升可解释性。
2026-08-10 cs.AI cs.LG
Three Pathways to Neurosymbolic Reinforcement Learning with Interpretable Model and Policy Networks
National Renewable Energy Lab（国家可再生能源实验室）
本文提出三种途径在强化学习中实现可微且可解释的模型与策略，揭示逻辑与学习的权衡及开放问题。
2024-02-07 cs.AI cs.LG
SMOSE: Sparse Mixture of Shallow Experts for Interpretable Reinforcement Learning in Continuous Control Tasks
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文提出SMOSE方法，通过top-1专家混合架构训练稀疏激活的可解释控制器，结合可解释决策者与路由器，并从路由器权重蒸馏决策树，在MuJoCo六个基准环境中优于现有可解释基线并缩小与不可解释最先进算法的差距。
2024-12-17 cs.AI cs.LG
Conservative Q-Improvement: Reinforcement Learning for an Interpretable Decision-Tree Policy
Carnegie Mellon University（卡内基梅隆大学）；University of South Carolina（南卡罗来纳大学）
在强化学习（以及一般的机器学习）领域，人们越来越希望从黑箱模型转向更“可解释的人工智能”。“我们通过提高通过强化学习学习的决策树策略的效用来提高强化学习的可解释性。这些策略由状态空间上的决策树组成，与传统的策略表示相比，它需要更少的参数来表示。用于经由强化学习创建决策树策略的现有方法集中于在训练期间准确地表示动作-价值函数，但是这导致比否则所需的树大得多的树。为了解决这一缺点，我们提出了一种新的算法，只有当估计的整体政策的折扣未来奖励将增加足够的金额时，才增加树的大小。通过在模拟环境中的评估，我们表明，它的性能相当或优于传统的基于树的方法，它产生一个更简洁的政策。此外，我们还讨论了调整参数，以控制优化较小的树大小或整体奖励之间的权衡。
2019-07-02 cs.AI cs.LG cs.RO
Fidelity-Induced Interpretable Policy Extraction for Reinforcement Learning
Xiangtan University（湘潭大学）；Nanjing University（南京大学）
针对深度强化学习智能体决策不透明及现有可解释策略提取方法解释与行为不一致的问题，提出保真度诱导策略提取方法FIPE，通过将保真度测量集成到强化学习反馈中提升一致性与交互性能。
2023-09-12 cs.AI cs.LG
Concept Learning for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
多智能体机器人系统越来越多地在接近人类的真实世界环境中运行，但在很大程度上由具有不可理解的深层神经网络表示的策略模型控制。我们介绍了一种方法，将可解释的概念，从一个领域的专家通过多智能体强化学习训练的模型，通过要求模型首先预测这些概念，然后利用它们进行决策。这允许专家在运行时根据这些高级概念对所得到的概念策略模型进行推理，以及干预和纠正错误预测以提高性能。我们发现，这产生了改进的可解释性和训练稳定性，有利于政策性能和样本效率在模拟和现实世界的合作竞争多智能体游戏。
2023-02-23 cs.AI cs.LG cs.RO
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Interpretable UAV Collision Avoidance using Deep Reinforcement Learning
Iowa State University（爱荷华州立大学）
任何成功的自主飞行系统的重要组成部分是任务完成和避免碰撞。大多数深度学习算法在它们被训练的环境和条件下成功地执行这些方面。然而，当他们受到新的环境时，他们失败了。本文提出了一种自主多旋翼飞行算法，使用深度强化学习增强自注意力模型，可以有效地原因时，受到不同的输入。除了它们的推理能力，它们也是可解释的，使其能够在现实世界的条件下使用。我们已经在不同的天气条件和环境下测试了我们的算法，发现与传统的深度强化学习算法相比，它是鲁棒的。
2021-06-04 cs.LG cs.RO
Learning Two-Step Hybrid Policy for Graph-Based Interpretable Reinforcement Learning
University of California San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
我们提出了一个两步的混合强化学习（RL）的政策，旨在生成可解释的和强大的分层策略的RL问题与基于图的输入。与之前由端到端黑盒图神经网络参数化的深度强化学习策略不同，我们的方法将决策过程分解为两个步骤。第一步是一个简化的分类问题，它将图形输入映射到一个动作组，其中所有动作都具有相似的语义含义。第二步实现了一个复杂的规则挖掘机，进行显式的一跳推理的图形，并确定在图形输入的决定性的边缘，而不需要沉重的领域知识。这种两步混合策略提供了人性化的解释，并在泛化和鲁棒性方面实现了更好的性能。四个层次的复杂的基于文本的游戏进行了广泛的实验研究表明，所提出的方法相比，国家的最先进的优越性。
2022-10-19 cs.AI cs.CL cs.LG
Interpretable Control by Reinforcement Learning
Siemens AG（西门子股份公司）
在本文中，三个最近推出的强化学习（RL）方法被用来生成人类可解释的政策的车杆平衡基准。新的RL方法以紧凑的模糊控制器和简单的代数方程的形式学习人类可解释的策略。的表示，以及实现的控制性能进行了比较，与两个经典的控制器设计方法和三个不可解释的RL方法。所有八种方法都使用相同的先前生成的数据批次，并离线生成其控制器-而不与真实的基准动态进行交互。实验表明，新的强化学习方法能够自动生成性能良好的策略，同时这些策略是人类可解释的。此外，其中一种方法被应用到自动学习基于方程的政策，硬件车杆演示器通过只使用人类玩家生成的批处理数据。在第一次尝试中生成的解决方案已经代表了成功的平衡策略，这表明该方法适用于现实世界的问题。
2020-07-20 cs.AI cs.LG cs.RO
SocialJax: An Evaluation Suite for Multi-agent Reinforcement Learning in Sequential Social Dilemmas
King’s College London（伦敦国王学院）；Eindhoven University of Technology（埃因霍温理工大学）；The Alan Turing Institute（艾伦·图灵研究所）；Google DeepMind（谷歌DeepMind）
本文提出SocialJax，一个用于多智能体强化学习中序列社会困境的评估套件，通过JAX实现高效环境与算法，实验显示其在实时性能上比Melting Pot RLlib快50倍，并验证了基线算法的有效性及环境的社会困境特性。
2026-03-17 cs.AI cs.LG
InfoRL: Interpretable Reinforcement Learning using Information Maximization
IIT Kanpur（印度理工学院坎普尔分校）
强化学习的最新进展已经证明，给定一个环境，如果我们可以访问某种形式的奖励函数（密集，稀疏或从IRL导出），我们可以学习在该环境中执行任务。但大多数算法都专注于学习一个最佳策略来执行给定的一组任务。在本文中，我们专注于一种算法，它不仅学习执行一项任务，而且学习以不同的方式执行同一任务。正如我们所知，当环境足够复杂时，总是存在多种方法来执行任务。我们表明，使用信息最大化的概念，它是可能的学习潜码发现多种方式来执行任何给定的任务在一个环境中。
2019-05-24 cs.AI cs.LG stat.ML
Evaluating Interpretable Reinforcement Learning by Distilling Policies into Programs
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；TU Darmstadt（达姆施塔特工业大学）
本文提出一种基于可模拟性代理指标、无需人类参与的策略可解释性评估方法，通过将专家网络蒸馏为小型程序进行大规模实证评估，发现提高可解释性未必降低性能，且不存在跨任务普适的最优策略类别。
2025-03-11 cs.AI cs.LG
On the Role of Emergent Communication for Social Learning in Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
人类之间的明确沟通是协调和学习的关键。社会学习，它使用来自专家的线索，可以大大受益于使用明确的沟通，以调整异构的政策，降低样本的复杂性，并解决部分可观察的任务。紧急通信是一种显式通信，研究创建一种人工语言来直接从数据中编码高任务实用性消息。然而，在大多数情况下，紧急通信发送的消息压缩不足，信息很少或为空，这也可能无法理解第三方侦听器。提出了一种基于信息瓶颈的无监督方法，以捕获参考复杂度和任务特定效用，从而充分探索多智能体强化学习（MARL）中的稀疏社会通信场景。我们表明，我们的模型能够i）开发一个自然语言启发的信息词典，该信息词典独立地由一组新兴概念组成，这些概念以最小的位跨越观察和意图，ii）开发通信，以使异构代理的行动策略与不同的特征模型保持一致，iii）从观察专家的行动策略中学习通信策略，我们称之为“社会阴影”。
2023-02-28 cs.AI cs.LG cs.MA
MIXRTs: Toward Interpretable Multi-Agent Reinforcement Learning via Mixing Recurrent Soft Decision Trees
Nanjing University（南京大学）
针对多智能体强化学习黑盒模型不可解释且现有可解释方法性能弱的问题，提出MIXRTs架构，利用循环软决策树显式表示决策过程并结合价值分解框架进行信用分配，在复杂任务中实现了高性能与可解释性。
2025-03-04 cs.LG cs.MA
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London（伦敦大学学院）
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控，提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-02-12 cs.AI cs.CL cs.LG
Interpretable Policies for Reinforcement Learning by Genetic Programming
Technical University of Munich, Department of Informatics（慕尼黑技术大学信息学院）；Siemens AG, Corporate Technology（西门子股份公司企业技术部）
本文提出基于模型驱动批量强化学习和遗传编程的GPRL方法，通过预存的默认状态-动作轨迹样本自动生成可解释的强化学习策略，实验表明其优于传统符号回归方法。
2018-04-04 cs.AI cs.NE cs.SY
Interpretable Dynamics Models for Data-Efficient Reinforcement Learning
Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）；University of Bristol（布里斯托大学）
在本文中，我们提出了一个基于基于模型的强化学习贝叶斯视图。我们使用专家知识的过渡模型的结构，并提出了一个有效的学习计划的基础上变分推理。该方案被应用到一个异方差和双峰基准问题上，我们将我们的结果与NFQ进行了比较，并展示了我们的方法如何在提高数据效率的同时，对底层动态产生人类可解释的见解。
2019-07-10 cs.LG stat.ML
Programmatically Interpretable Reinforcement Learning
Rice University（莱斯大学）；Google Brain（谷歌大脑）；Deepmind（深度思维）
我们提出了一个强化学习框架，称为程序可解释的强化学习（PIRL），旨在生成可解释和可验证的代理政策。与流行的深度强化学习（DRL）范式不同，它通过神经网络来表示策略，PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释，并且可以通过符号方法进行验证。我们提出了一种新的方法，称为神经导向程序搜索（NDPS），解决具有挑战性的非光滑优化问题，找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络，然后在编程策略上执行本地搜索，以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务，学习驾驶模拟汽车在TORCS赛车环境。我们证明，NDPS是能够发现人类可读的政策，通过一些显着的性能酒吧。我们还表明，PIRL政策可以有更平滑的轨迹，可以更容易地转移到训练过程中没有遇到的环境，比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
Identifying Decision Points for Safe and Interpretable Reinforcement Learning in Hypotension Treatment
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Massachusetts General Hospital（麻省总医院）
许多批处理RL健康应用程序首先将时间离散化为固定的时间间隔。然而，这种离散化既失去了分辨率，又迫使在每个（潜在的精细）间隔进行策略计算。在这项工作中，我们开发了一个新的框架，将连续的轨迹压缩成几个可解释的决策点-批量数据支持多个备选方案的地方。我们应用我们的方法从一组肥胖患者数据集创建推荐。我们减少了状态空间，从而加快了规划速度，并允许临床专家轻松检查。
2021-01-09 cs.LG
Sample Efficient Social Navigation Using Inverse Reinforcement Learning
McGill University（麦吉尔大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种算法，有效地学习社会兼容的导航政策，从人类轨迹的观察。随着移动机器人进入社交空间，它们必须考虑社交线索，并以符合社交的方式行事。我们专注于从例子中学习这些线索。我们描述了一种基于逆强化学习的算法，该算法从人类轨迹观察中学习，而不知道他们的具体行动。我们通过利用重放缓冲区的概念（在许多非策略强化学习方法中发现）来消除与逆强化学习相关的额外样本复杂性，从而提高了我们方法的样本效率。我们评估我们的方法通过训练代理使用公开的行人运动数据集，并将其与相关方法进行比较。我们表明，我们的方法产生更好的性能，同时也降低了训练时间和样本的复杂性。
2021-06-18 cs.AI cs.LG cs.RO
Exploiting Language Instructions for Interpretable and Compositional Reinforcement Learning
University of Amsterdam（阿姆斯特丹大学）；Facebook AI Research（脸书人工智能研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
在这项工作中，我们提出了一种替代方法，通过使用诊断分类器，使代理组合。由于在自动化决策过程中需要可解释的代理，我们试图解释从RL代理的潜在空间，以确定其当前目标在一个复杂的语言指令。结果表明，分类过程导致隐藏状态的变化，这使得它们更容易解释，但也导致zero-shot性能的变化，以新的指令。最后，我们限制监督信号的分类，并观察到类似的，但不太显着的效果。
2020-01-13 cs.AI
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis（圣路易斯华盛顿大学）
提出部分监督强化学习（PSRL）框架，通过融合监督语义状态和无监督潜在表示作为策略网络输入，在部分可观测环境中提升模型可解释性，同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
针对强化学习中神经网络策略缺乏可解释性的问题，提出决策树策略优化（DTPO）算法，利用策略梯度直接优化完整决策树，实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Learning Interpretable Models of Aircraft Handling Behaviour by Reinforcement Learning from Human Feedback
University of Bristol（布里斯托大学）
本文提出利用人类偏好反馈的强化学习学习可解释的奖励树模型，以捕捉飞行员操纵能力并训练智能体，实验证明其性能可与神经网络奖励模型竞争。
2023-05-26 cs.AI
Emergent Social Learning via Multi-agent Reinforcement Learning
OpenAI（开放人工智能研究中心）；Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
社会学习是人类和动物智力的关键组成部分。通过从专家的行为中获取线索，社会学习者可以获得复杂的行为并迅速适应新的环境。本文研究了多智能体环境中的独立强化学习（RL）智能体是否可以学习使用社会学习来提高其性能。我们发现，在大多数情况下，香草无模型RL代理不使用社会学习。我们分析了这一缺陷的原因，并表明，通过对训练环境施加约束，并引入基于模型的辅助损失，我们能够获得广义的社会学习策略，使代理：i）发现复杂的技能，而不是从单智能体训练，和ii）适应在线新的环境，从专家在新的环境中存在的线索。相比之下，使用无模型RL或模仿学习训练的智能体泛化能力很差，并且在迁移任务中没有成功。通过混合多智能体和单独训练，我们可以获得使用社会学习来获得技能的智能体，这些技能可以在单独使用时部署，甚至从一开始就单独训练的智能体表现更好。
2021-06-22 cs.AI cs.LG cs.MA
A Genetic Fuzzy System for Interpretable and Parsimonious Reinforcement Learning Policies
The University of Queensland（昆士兰大学）；Queensland University of Technology（昆士兰科技大学）
针对传统学习分类器系统规则库庞大难解释的问题，提出基于多目标与协同协同进化的 Pittsburgh 遗传模糊系统 Fuzzy MoCoCo，在 Mountain Car 环境中演化出可解释、高性能且简约的强化学习策略。
2023-05-17 cs.AI cs.LG cs.NE
Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
Illinois Institute of Technology（伊利诺伊理工学院）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Argonne National Laboratory（阿贡国家实验室）
针对DRL集群调度缺乏可解释性阻碍实际部署的问题，提出IRL框架，利用模仿学习、DAgger算法和关键状态修剪将黑盒DNN策略转换为可解释的决策树，在保持调度性能的同时提升可解释性并辅助奖励设定。
2024-03-24 cs.AI cs.DC cs.LG
Analysis of Social Robotic Navigation approaches: CNN Encoder and Incremental Learning as an alternative to Deep Reinforcement Learning
Universidade de Pernambuco（伯南布哥大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在机器人场景中处理社交任务是困难的，因为让人类参与学习循环与大多数最先进的机器学习算法不兼容。在探索增量学习模型时就是这种情况，特别是涉及强化学习的模型。在这项工作中，我们讨论了这个问题和可能的解决方案，通过分析以前的研究自适应卷积编码器的社会导航任务。
2020-09-05 cs.AI cs.LG cs.RO
A Novel Approach to Curiosity and Explainable Reinforcement Learning via Interpretable Sub-Goals
BrightMind, Bright Media Inc.（BrightMind，Bright Media 公司）
强化学习中的两个关键挑战涉及改进（a）在具有稀疏外部奖励的环境中的代理学习和（b）代理动作的可解释性。我们描述了一个好奇的子目标为重点的代理，以解决这两个挑战。我们使用一种新的方法产生的好奇心从生成对抗网络（GAN）的环境过渡模型，是强大的随机环境过渡。此外，我们使用子目标生成网络来指导导航。通过将复杂的任务分解为一系列不需要任何手动设计的可解释的子目标，可以增加代理行为的可解释性。我们表明，这种方法也使代理解决具有挑战性的程序生成的任务，包含随机过渡以上其他国家的最先进的方法。
2021-04-19 cs.LG
Multi-agent Reinforcement Learning in Sequential Social Dilemmas
DeepMind
像囚徒困境这样的矩阵游戏已经指导了几十年的社会困境研究。然而，他们必须把合作或背叛的选择视为原子行动。在现实世界的社会困境中，这些选择在时间上被延长了。合作性是一种适用于政策的属性，而不是基本行动。我们介绍了顺序的社会困境，共享矩阵博弈社会困境的混合激励结构，但也需要代理学习政策，实现他们的战略意图。我们分析了多个自利的独立学习代理学习的策略的动态，每个学习代理都使用自己的深度Q网络，在这里介绍的两个马尔可夫博弈中：1。一个水果收集游戏和2.狼群狩猎游戏我们描述了每个领域的学习行为如何随着环境因素（包括资源丰度）的变化而变化。我们的实验展示了冲突如何从对共享资源的竞争中产生，并揭示了现实世界社会困境的连续性如何影响合作。
2017-02-10 cs.AI cs.GT cs.LG
Psychotherapy AI Companion with Reinforcement Learning Recommendations and Interpretable Policy Dynamics
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）
我们介绍了一个强化学习心理治疗AI伴侣，它可以根据患者的反应为治疗师生成主题建议。该系统使用深度强化学习（DRL）为四种不同的精神疾病（焦虑、抑郁、精神分裂症和自杀病例）生成多目标策略。我们提出了我们的实验结果的准确性推荐的主题使用三种不同规模的工作联盟评级：任务，债券和目标。我们表明，该系统能够捕获的真实数据（历史主题讨论的治疗师）相对较好，表现最好的模型不同的障碍和评级尺度。为了获得对学习策略的可解释的见解，我们在2D主成分分析空间和过渡矩阵中可视化策略轨迹。这些可视化显示了用不同奖励信号训练和在不同临床诊断上训练的策略中的不同模式。我们的系统在生成DISorder-Specific多目标政策（DISMOP）和可解释的政策动态方面的成功证明了DRL在提供个性化和有效的治疗建议方面的潜力。
2023-03-16 cs.AI cs.CL cs.HC
BlackBoxToBlueprint: Extracting Interpretable Logic from Legacy Systems using Reinforcement Learning and Counterfactual Analysis
IIIT Hyderabad
本文提出BlackBoxToBlueprint流水线，用强化学习探索黑盒遗留系统的决策边界，结合反事实状态转移、K-Means聚类和决策树提取可解释规则，并在三类虚拟系统上验证了其有效性。
2025-06-30 cs.AI cs.LG
S-REINFORCE: A Neuro-Symbolic Policy Gradient Approach for Interpretable Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (IR)（资讯通信研究院）；A*STAR（新加坡科技研究局）
本文提出S-REINFORCE算法，结合神经网络与符号回归器生成可解释策略，在低维和高维动作空间任务中验证了其有效性与可解释性。
2023-05-12 cs.AI cs.LG
Interpretable Deep Reinforcement Learning for Element-level Bridge Life-cycle Optimization
Portland State University（波特兰州立大学）
本文提出一种可解释的深度强化学习方法，通过构件级状态表示寻找最优生命周期策略，采用可解释的斜决策树结构，结合可微软树模型、温度退火和正则化剪枝，提升政策可解释性和可审计性。
2026-04-02 cs.AI cs.LG
Learning Symbolic Rules for Interpretable Deep Reinforcement Learning
School of Computer Science, Sun Yat-Sen University（中山大学计算机学院）；Noah’s Ark Lab Huawei（华为诺亚方舟实验室）；UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）
深度强化学习（DRL）的最新进展在很大程度上归功于神经网络的使用。然而，这种黑箱方法无法以人类可理解的方式解释所学习的策略。为了解决这一问题并提高透明度，我们提出了一个神经符号强化学习框架，将符号逻辑引入DRL。该框架具有丰富的推理和学习模块，使端到端的学习与先前的符号知识。此外，可解释性是通过提取的逻辑规则学习的推理模块在一个符号规则空间。实验结果表明，我们的框架具有更好的可解释性，以及竞争的性能相比，国家的最先进的方法。
2021-03-16 cs.AI
Pay Attention to What and Where? Interpretable Feature Extractor in Vision-based Deep Reinforcement Learning
School of Computer Science The University of Manchester Manchester, UK
针对可解释深度强化学习中注意力掩码与视觉对象位移的问题，提出集成人类可理解编码和智能体友好编码模块的IFE架构，生成准确注意力掩码，集成到相关框架后在57个ATARI游戏上验证了空间保留等性能，还展示了通用性。
2025-04-14 cs.AI
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning
University of California, Los Angeles（加州大学洛杉矶分校）；Salesforce Research（Salesforce 研究院）
针对需要多种不同技能的复杂任务的学习策略是强化学习（RL）的主要挑战。这也是其在现实世界场景中部署的要求。本文提出了一种新的框架，有效的多任务强化学习。我们的框架训练代理采用分层策略，决定何时使用以前学习的策略以及何时学习新技能。这使代理能够在不同的培训阶段不断获得新技能。每个学习任务对应于人类语言描述。由于代理只能通过这些描述访问以前学习的技能，因此代理始终可以为其选择提供人类可解释的描述。为了帮助代理学习复杂的时间依赖性所需的分层政策，我们提供了一个随机的时间语法，调制时依赖于以前学到的技能，何时执行新的技能。我们在Minecraft游戏上验证了我们的方法，这些游戏旨在明确测试重用以前学习的技能的能力，同时学习新技能。
2017-12-20 cs.AI
LICORICE: Label-Efficient Concept-Based Interpretable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
针对可解释强化学习中概念标注成本高的问题，提出LICORICE算法，通过交错训练、主动选样本标注和数据去相关，大幅减少标注量且不损失性能，提升了可解释RL的实用性。
2025-03-20 cs.AI cs.LG
Scheduling That Speaks: An Interpretable Programmatic Reinforcement Learning Framework
Eindhoven University of Technology, Eindhoven, the Netherlands Centrum Wiskunde \& Informatica, Amsterdam, the Netherlands
本文提出了一种可解释的程序化强化学习框架ProRL，通过人类可读且可编辑的程序化策略实现高效调度，解决了传统深度强化学习在透明性和计算效率方面的不足。
2026-05-18 cs.AI cs.LG cs.SC
SocialAI 0.1: Towards a Benchmark to Stimulate Research on Socio-Cognitive Abilities in Deep Reinforcement Learning Agents
Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
构建能够参与与人类的社会互动的嵌入式自主智能体是人工智能的主要挑战之一。这个问题激发了许多关于具身语言使用的研究方向。目前的方法集中在语言作为一种沟通工具，在非常简单和非多样化的社会情况下：语言的“自然性”被降低到高词汇量和可变性的概念。在本文中，我们认为，要实现人类水平的人工智能，需要更广泛的关键社交技能：1）在复杂多变的社会环境中使用语言; 2）在不断发展的社会世界中，在多模态环境中进行复杂的具体沟通。在这项工作中，我们解释了认知科学的概念如何帮助人工智能绘制通往类人智能的路线图，重点是其社会维度。然后，我们研究了最近SOTA Deep RL方法在即将推出的SocialAI的第一个网格世界环境中进行测试时的局限性，SocialAI是评估Deep RL代理社交技能的基准。视频和代码可在https://sites.google.com/view/socialai01上获得。
2021-04-27 cs.AI cs.LG
