Direct Mutation and Crossover in Genetic Algorithms Applied to Reinforcement Learning Tasks
University of Birmingham（伯明翰大学）；Technology Innovation Institute（技术创新研究院）
神经进化最近被证明在强化学习（RL）设置中具有相当的竞争力，并且能够减轻基于梯度的方法的一些缺点。本文将集中于应用神经进化，使用一个简单的遗传算法（GA），以找到一个神经网络，产生最佳行为代理的权重。此外，我们提出了两个新的修改，提高了数据效率和收敛速度相比，初始实现。这些修改在OpenAI gym提供的FrozenLake环境中进行了评估，并证明明显优于基线方法。
2022-01-19 cs.LG cs.NE
When Does Neuroevolution Outcompete Reinforcement Learning in Transfer Learning Tasks?
The Thørväld Group（索尔瓦尔德集团）；Inria Paris-Rocquencourt（巴黎-鲁克肯堡国家信息与自动化研究所）；Rajiv Gandhi University Doimukh（拉贾·甘地大学多伊穆克）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒姆研究实验室）；The Kumquat Consortium（昆quat联盟）
本文研究神经进化在迁移学习中的能力，通过引入stepping gates和ecorobot两个基准，发现NE方法在跨任务技能迁移上经常优于强化学习基线，具有构建适应性智能体的潜力。
2025-05-28 cs.LG
A coevolutionary approach to deep multi-agent reinforcement learning
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
传统上，深度人工神经网络（DNN）通过梯度下降来训练。最近的研究表明，深度神经进化（DNE）也能够进化出数百万个参数的DNN，这在强化学习（RL）领域特别有用。这主要是由于其出色的可扩展性和简单性相比，传统的基于MDP-RL方法。到目前为止，DNE仅应用于复杂的单智能体问题。由于进化方法是多智能体问题的自然选择，因此出现了DNE是否也可以应用于复杂的多智能体环境的问题。在本文中，我们描述并验证了一种新的方法，基于协同进化。为了验证我们的方法，我们在一系列多智能体Atari游戏上对两个深度协同进化算法进行了基准测试，并将我们的结果与Ape-X DQN的结果进行了比较。我们的研究结果表明，这些深度协同进化算法（1）可以成功地训练来玩各种游戏，（2）在其中一些游戏中优于Ape-X DQN，因此（3）表明协同进化可以成为解决复杂多智能体决策问题的可行方法。
2021-04-13 cs.LG cs.MA cs.NE
Harnessing Distribution Ratio Estimators for Learning Agents with Quality and Diversity
UIUC（伊利诺伊大学厄巴纳-香槟分校）
质量多样性（QD）是神经进化的一个概念，在强化学习中有一些有趣的应用。它有助于学习一群代理，其中每个成员都被优化，以同时积累高任务回报并表现出与其他成员相比的行为多样性。在本文中，我们建立在最近的基于内核的方法与Stein变分梯度下降的QD政策集成训练。与内核的基础上$f$ -政策的平稳分布之间的分歧，我们转换的问题，这些平稳分布的比率的有效估计。然后，我们研究了以前用于非政策评估和模仿的各种分布比率估计，并将其重新用于计算集合中政策的梯度，从而使所得人口多样化且具有高质量。
2020-11-05 cs.LG stat.ML
MAVIPER: Learning Decision Tree Policies for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Shanghai Jiao Tong University（上海交通大学）；Army Research Lab（陆军研究实验室）；University of California, Riverside（加州大学河滨分校）
多智能体强化学习（MARL）的许多最新突破需要使用深度神经网络，这对人类专家来说是一个解释和理解的挑战。另一方面，现有的可解释的强化学习（RL）的工作已经显示出从神经网络中提取更多的可解释的基于决策树的策略的希望，但仅在单代理设置。为了填补这一空白，我们提出了第一套算法，从用MARL训练的神经网络中提取可解释的决策树策略。第一个算法，IVIPER，扩展VIPER，最近的方法单代理可解释的RL，多代理设置。我们证明了IVIPER学习高质量的决策树政策，为每个代理。为了更好地捕捉代理之间的协调，我们提出了一种新的集中式决策树训练算法，MAVIPER。MAVIPER通过使用预期的树预测其他代理的行为来共同增长每个代理的树，并使用resception来关注对其与其他代理的交互至关重要的状态。我们表明，这两种算法通常优于基线和MAVIPER训练的代理实现更好的协调性能比IVIPER训练的代理在三个不同的多代理粒子世界环境。
2022-07-11 cs.LG cs.MA
Eco-evolutionary Dynamics of Non-episodic Neuroevolution in Large Multi-agent Environments
提出一种无环境和种群重置的非情景多智能体神经进化方法，在JAX加速的大型网格世界中利用可演化循环神经网络控制智能体局部繁殖，证明了该方法能找到可持续的集体觅食策略。
2023-08-04 cs.NE
Towards Interpretable Reinforcement Learning Using Attention Augmented Agents
DeepMind（深度思维）
受图像描述和问答的注意力模型的启发，我们提出了一个用于强化学习领域的软注意力模型。该模型使用软的、自上而下的注意力机制来在代理中创建瓶颈，通过顺序查询其环境视图来迫使其关注任务相关信息。注意力机制的输出允许直接观察代理选择其动作所使用的信息，从而使该模型比传统模型更容易解释。我们分析了代理学习的不同策略，并表明少数策略在不同的游戏中反复出现。我们还表明，该模型学习分别查询空间和内容（“在哪里”与“什么”）。我们证明了使用这种机制的代理可以实现与ATARI任务上的最先进模型竞争的性能，同时仍然是可解释的。
2019-06-06 cs.LG stat.ML
Interpretable Failure Analysis in Multi-Agent Reinforcement Learning Systems
Wake Forest University（威克森林大学）；Indiana University（印第安纳大学）
本文提出了一种两阶段梯度框架，用于多智能体强化学习系统中可解释的故障检测与归因分析，通过几何分析和敏感性分析提高故障诊断的透明度和准确性。
2026-02-22 cs.AI cs.LG cs.MA
A Novel Approach to Curiosity and Explainable Reinforcement Learning via Interpretable Sub-Goals
BrightMind, Bright Media Inc.（BrightMind，Bright Media 公司）
强化学习中的两个关键挑战涉及改进（a）在具有稀疏外部奖励的环境中的代理学习和（b）代理动作的可解释性。我们描述了一个好奇的子目标为重点的代理，以解决这两个挑战。我们使用一种新的方法产生的好奇心从生成对抗网络（GAN）的环境过渡模型，是强大的随机环境过渡。此外，我们使用子目标生成网络来指导导航。通过将复杂的任务分解为一系列不需要任何手动设计的可解释的子目标，可以增加代理行为的可解释性。我们表明，这种方法也使代理解决具有挑战性的程序生成的任务，包含随机过渡以上其他国家的最先进的方法。
2021-04-19 cs.LG
Concept Learning for Interpretable Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
多智能体机器人系统越来越多地在接近人类的真实世界环境中运行，但在很大程度上由具有不可理解的深层神经网络表示的策略模型控制。我们介绍了一种方法，将可解释的概念，从一个领域的专家通过多智能体强化学习训练的模型，通过要求模型首先预测这些概念，然后利用它们进行决策。这允许专家在运行时根据这些高级概念对所得到的概念策略模型进行推理，以及干预和纠正错误预测以提高性能。我们发现，这产生了改进的可解释性和训练稳定性，有利于政策性能和样本效率在模拟和现实世界的合作竞争多智能体游戏。
2023-02-23 cs.AI cs.LG cs.RO
Towards an Interpretable Hierarchical Agent Framework using Semantic Goals
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；US Army Research Lab（美国陆军研究实验室）
用强化学习来学习解决长时间扩展任务已经是几年来的挑战。我们认为，重要的是要利用复杂任务的层次结构，并尽可能使用专家监督来解决这些任务。本文通过结合规划和语义目标导向的强化学习，提出了一种可解释的层次Agent框架。我们假设访问某些空间和触觉谓词，并构建一个简单而强大的语义目标空间。这些语义目标表示更易于解释，使专家监督和干预更容易。它们还消除了编写复杂、密集的奖励函数的需要，从而减少了人类工程工作。我们评估了我们的框架上的机器人块操作任务，并表明它比其他方法，包括稀疏和密集的奖励函数更好地执行。我们还提出了一些后续步骤，并讨论了这个框架如何使与人类的交互和协作变得更容易。
2022-10-16 cs.LG cs.RO
Interpretable Learned Emergent Communication for Human-Agent Teams
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Pittsburgh（匹兹堡大学）
学习可解释的通信对于多智能体和人类智能体团队（HAT）至关重要。在部分可观察环境的多智能体强化学习中，智能体可以通过学习的通信向其他智能体传递信息，从而允许团队完成其任务。受人类语言的启发，最近的作品研究离散（仅使用有限的令牌集）和稀疏（仅在某些时间步长进行通信）通信。然而，在人类代理团队实验中，这种通信的实用性尚未得到研究。在这项工作中，我们分析了稀疏离散的方法产生紧急通信，使高代理和人类代理团队的性能的有效性。我们开发了仅代理的团队，这些团队通过我们的执行者计划进行稀疏通信，该计划充分限制了任何预算的通信。我们的结果显示，在基准测试环境和任务中，性能没有损失或损失极小。在基准测试环境中测试的人类代理团队中，代理已使用执行者建模，我们发现基于原型的方法产生有意义的离散令牌，使人类合作伙伴能够更快，更好地学习智能体通信比一个热基线。额外的HAT实验表明，适当的稀疏水平降低了人类与代理团队沟通时的认知负荷，并导致卓越的团队表现。
2023-01-05 cs.LG cs.MA cs.RO
MIXRTs: Toward Interpretable Multi-Agent Reinforcement Learning via Mixing Recurrent Soft Decision Trees
Nanjing University（南京大学）
针对多智能体强化学习黑盒模型不可解释且现有可解释方法性能弱的问题，提出MIXRTs架构，利用循环软决策树显式表示决策过程并结合价值分解框架进行信用分配，在复杂任务中实现了高性能与可解释性。
2025-03-04 cs.LG cs.MA
Adaptive Genomic Evolution of Neural Network Topologies (AGENT) for State-to-Action Mapping in Autonomous Agents
University at Buffalo（布法罗大学）
神经进化是通过进化算法训练神经网络（NN）的过程，通常用作控制或强化学习类型问题中的状态到动作映射模型。本文建立在增广拓扑（NEAT）形式主义的神经进化，允许设计拓扑结构和权重不断变化的神经网络。神经进化过程取得了根本性的进展，以解决过早停滞和收敛问题，其中的核心是纳入自动化机制，以控制神经进化过程中的种群多样性和平均适应度的提高。通过在Open AI平台的三个基准问题和无人机（UAV）防撞问题上对其进行评估，可以深入了解新算法的性能和效率。
2019-03-17 cs.AI cs.NE cs.RO
PASS: Probabilistic Agentic Supernet Sampling for Interpretable and Adaptive Chest X-Ray Reasoning
PASS通过概率代理超网采样实现可解释、自适应和多模态的胸片推理，提升医疗AI的安全性和效率。
2025-12-19 cs.AI cs.LG
Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
Ershov Institute of Informatics Systems（埃尔绍夫信息系统研究所）
我们提出了一种新的强化学习模型的离散环境，这是内在的可解释性，并支持发现深层次的子目标层次。在该模型中，智能体以概率规则的形式学习有关环境的信息，而（子）目标的策略则以其组合的形式学习。学习不需要奖励函数;智能体只需要被赋予一个要实现的主要目标。来自层次结构的目标G的子目标被计算为状态的描述，如果先前实现，则增加G的可用策略的总效率。这些状态描述作为新的传感器谓词引入到代理的规则语言中，这允许感测重要的中间状态并相应地更新环境规则和策略。
2022-02-15 cs.AI cs.LG
Interpretable Learning Dynamics in Unsupervised Reinforcement Learning
Optimizer Department of Computer Science Arizona State University（计算机科学系优化器亚利桑那州立大学）
本文提出URL智能体可解释性框架，结合Grad-CAM、LRP、探索指标、潜在聚类及两项注意力指标，揭示内在动机、架构偏置与表征学习之间的关系。
2025-05-06 cs.LG stat.ML
Code-Space Response Oracles: Generating Interpretable Multi-Agent Policies with Large Language Models
Google（谷歌）；DeepMind（深度思维）
本文提出代码空间响应预言机，利用大语言模型生成可解释的多智能体策略，通过代码生成任务提升策略的可解释性和复杂策略发现能力。
2026-03-10 cs.AI cs.GT cs.LG
Evasive Active Hypothesis Testing with Deep Neuroevolution: The Single- and Multi-Agent Cases
Department of Informatics and Telecommunications, National and Kapodistrian University of Athens（信息与电信系，国家与卡波迪斯蒂亚大学）；Department of Electrical and Computer Engineering, University of Illinois Chicago（电气与计算机工程系，伊利诺伊大学香槟分校）；School of Electrical and Computer Engineering, National Technical University of Athens（电气与计算机工程系，国家技术大学）
针对存在窃听者的单智能体集中式和多智能体去中心化主动假设检验问题，提出基于深度神经进化的框架及联合剪枝方法，通过数值实验验证其性能优于传统策略与学习方法，且剪枝后性能几乎不变。
2025-08-25 cs.AI cs.CR cs.MA
Interpretable Brain-Inspired Representations Improve RL Performance on Visual Navigation Tasks
Ruhr-University Bochum（波鸿鲁尔大学）
本文提出利用受神经科学启发的慢特征分析（SFA）方法生成可解释的视觉表示，以编码智能体的位置和朝向，从而克服传统方法中缺乏归纳偏置和误差累积的问题，并在现代强化学习视觉导航任务中展现出优于其他特征提取器的性能。
2024-02-19 cs.LG cs.NE cs.RO
XDQN: Inherently Interpretable DQN through Mimicking
National Technical University of Athens（雅典国家技术大学）；University of Piraeus（比雷埃夫斯大学）
虽然深度强化学习（DRL）方法已成功应用于具有挑战性的任务，但其在现实世界操作环境中的应用受到方法提供解释的有限能力的挑战。在DRL的可解释性的范例是可解释的盒子设计范例，其中可解释的模型取代DRL方法的内部组成模型，从而使DRL方法“内在”可解释。在本文中，我们探讨了这种范式，我们提出了XDQN，DQN的一个可解释的变体，它使用了一个通过模仿训练的可解释的策略模型。XDQN在一个复杂的，现实世界的操作多智能体问题，其中代理是独立的学习者解决拥塞问题的挑战。具体而言，XDQN评估在三个MARL的情况下，有关的需求容量平衡问题的空中交通管理。XDQN实现了类似于DQN的性能，同时证明了它提供全局模型解释和局部决策解释的能力。
2023-01-08 cs.LG
Model-free Reinforcement Learning for Model-based Control: Towards Safe, Interpretable and Sample-efficient Agents
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA 94720, USA.（化学与生物分子工程系，加州大学伯克利分校）
本文提出将基于模型的智能体与无模型强化学习相结合，以解决后者样本效率低、安全性差和可解释性不足的问题，并探讨了贝叶斯优化、策略搜索和离线策略等学习方法及其潜力。
2025-07-17 cs.LG cs.SY eess.SY
"So, Tell Me About Your Policy...": Distillation of interpretable policies from Deep Reinforcement Learning agents
Politecnico di Milano, Dipartimento di Elettronica, Informazione e Bioingegneria（米兰Politecnico大学电子、信息与生物工程学院）
针对深度强化学习策略可解释性不足的问题，提出一种基于优势函数、利用预收集经验提取可解释策略的有理论保障的新算法，经经典控制和金融交易场景验证，可从复杂专家策略中提取有效信息。
2025-07-29 cs.LG
Towards a Research Community in Interpretable Reinforcement Learning: the InterpPol Workshop
Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Imperial College London（伦敦帝国学院）
该研究围绕可解释强化学习领域的六大核心争议问题，提出搭建首个专门面向该领域的InterpPol研讨会，推动相关研究社区的建设与发展。
2024-04-16 cs.AI cs.HC cs.LG
Fidelity-Induced Interpretable Policy Extraction for Reinforcement Learning
Xiangtan University（湘潭大学）；Nanjing University（南京大学）
针对深度强化学习智能体决策不透明及现有可解释策略提取方法解释与行为不一致的问题，提出保真度诱导策略提取方法FIPE，通过将保真度测量集成到强化学习反馈中提升一致性与交互性能。
2023-09-12 cs.AI cs.LG
Feature-Based Interpretable Reinforcement Learning based on State-Transition Models
Carleton University（卡尔顿大学）
针对强化学习决策的可解释性需求，提出一种仅用交互日志构建状态转移模型的局部风险解释方法，适用于连续/离散状态动作空间，可通过关键特征解释智能体动作，实验验证了其有效性。
2021-05-14 cs.LG
Interpretable and Explainable Logical Policies via Neurally Guided Symbolic Abstraction
Technical University of Darmstadt（达姆施塔特工业大学）；National Research Center for Applied Cybersecurity（国家应用网络安全研究中心）；Eindhoven University of Technology（埃因霍温理工大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）
本文提出NUDGE框架，通过神经引导的可微逻辑规则搜索，构建兼具可解释性与可说明性的策略，其性能优于纯神经网络且适应不同环境规模。
2023-10-25 cs.AI cs.CL cs.LG
Neuroevolution Results in Emergence of Short-Term Memory for Goal-Directed Behavior
National Research Center “Kurchatov Institute”（国家研究中心“库尔恰托夫研究所”）；Kurchatov NBIC-Centre（库尔恰托夫NBIC中心）
动物在具有多重竞争目标的环境中表现出适应性。理解这种目标导向行为背后的机制仍然是神经科学和适应系统研究的挑战。为了解决这个问题，我们开发了一个多目标随机环境中的自适应行为的进化模型。提出的神经进化算法基于神经元的复制作为代理循环神经网络开发的基本机制。仿真结果表明，在进化过程中，代理获得的能力，存储的短期记忆，因此，使用它的行为策略与替代行动。我们发现，进化发现了两种短期记忆机制。第一种机制是感觉信号和持续的内部神经活动的整合，导致专门从事替代行动的细胞群的出现。第二个机制是缓慢的神经动力学过程，这使得编码先前的行为选择成为可能。
2012-04-14 cs.AI cs.NE nlin.AO
Leveraging Reward Consistency for Interpretable Feature Discovery in Reinforcement Learning
Tsinghua University（清华大学）；Meituan（美团）
针对深度强化学习智能体解释中动作匹配原则的不足，本文提出RL-in-RL框架，以奖励一致性为目标进行可解释特征发现，并在Atari 2600和Duckietown上验证了其有效性。
2023-09-04 cs.LG
Interpretable Concept Bottlenecks to Align Reinforcement Learning Agents
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；Centre for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
针对深度强化学习智能体的黑箱特性导致难以对齐与修正的问题，提出集成连续概念瓶颈层、可表示对象间关系的SCoBots，在保持性能的同时提升可解释性，还发现并解决了Pong游戏中未知的错位问题，实现更符合人类要求的智能体对齐。
2024-10-28 cs.LG cs.SC
Explaining Deep Reinforcement Learning Agents In The Atari Domain through a Surrogate Model
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究院）
深度强化学习（RL）在游戏内外应用的一个主要障碍是缺乏可解释性。在本文中，我们描述了一种轻量级和有效的方法来推导深度RL代理的解释，我们在Atari域中进行评估。我们的方法依赖于RL代理的基于像素的输入到可解释的、类似感知的输入表示的转换。然后，我们训练一个本身可解释的代理模型，以复制目标深度RL代理的行为。我们的实验表明，我们可以学习一个有效的代理，准确地近似的一套Atari游戏的目标代理的基本决策。
2021-10-07 cs.LG
Interpretable Deep Reinforcement Learning for Green Security Games with Real-Time Information
University of Maryland（马里兰大学）
实时的【形】信息绿色安全博弈（GSG-I）将智能体运动的实时的【形】信息添加到典型的GSG公式中。先前的GSG-I工作使用深度强化学习（DRL）来学习这种环境中代理的最佳策略，而无需存储GSG-I的大量状态表示。然而，DRL方法的决策过程在很大程度上是不透明的，这导致人们对它们的预测缺乏信任。为了解决这个问题，我们提出了一个可解释的DRL方法GSG-I生成可视化来解释DRL算法所采取的决定。我们还表明，这种方法表现更好，与现有方法相比，使用更简单的训练方案效果更好。
2022-11-09 cs.AI cs.LG
Prism: Policy Reuse via Interpretable Strategy Mapping in Reinforcement Learning
Prism框架通过可解释的策略映射将强化学习智能体的决策基于离散因果验证的概念，并利用这些概念作为零样本迁移接口。该方法通过K-means聚类将每个智能体的编码特征划分为K个概念，通过因果干预验证这些概念直接驱动智能体行为，从而实现策略知识的零样本迁移。
2026-03-04 cs.AI cs.LG
Dynamic Memory for Interpretable Sequential Optimisation
Apple（苹果公司）
强化学习在推荐和实验中的实际应用面临着一个实际的挑战：不同强盗武器的相对奖励可以在学习代理的生命周期中演变。为了处理这些非平稳的情况下，代理必须忘记一些历史知识，因为它可能不再相关，以尽量减少遗憾。我们提出了一个解决方案来处理非平稳性，适合大规模部署，为业务运营商提供自动化自适应优化。我们的解决方案旨在提供人类可以信任的可解释学习，同时响应非平稳性以最大限度地减少遗憾。为此，我们开发了一个自适应贝叶斯学习代理，采用了一种新的形式的动态记忆。它通过统计假设检验实现可解释性，通过在比较奖励时瞄准统计功率的设定点并动态调整其记忆以实现此功率。通过设计，代理对不同类型的非平稳性是不可知的。使用数值模拟，我们将其性能与现有的建议进行比较，并表明，在多个非平稳的情况下，我们的代理正确地适应真实奖励的真实变化。在所有的bandit解决方案中，在学习和实现最大性能之间存在明确的权衡。与另一种类似的鲁棒方法相比，我们的解决方案在这种权衡上处于不同的位置：我们优先考虑可解释性，这依赖于更多的学习，以一些遗憾为代价。我们描述了一个大规模部署的自动优化作为一种服务，我们的代理实现可解释性，同时适应不断变化的情况下的架构。
2022-06-28 cs.AI cs.LG stat.ML
Interpretable Apprenticeship Learning with Temporal Logic Specifications
本文提出通过多目标优化从MDP中的行为轨迹推断LTL规范，采用违反成本概念设计状态和动作基于的目标函数，并通过遗传算法在简单领域验证方法有效性。
2017-10-28 cs.AI cs.LG cs.SY
MountainLion: A Multi-Modal LLM-Based Agent System for Interpretable and Adaptive Financial Trading
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Sichuan University（四川大学）；Northwestern University（西北大学）；Indiana University（印第安纳大学）；Emory University（埃默里大学）；Nankai University（南开大学）；MountainLion Research（MountainLion研究机构）；Xi’an University of Electronic Science and Technology（西安电子科技大学）；Kyoto University（京都大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Nanjing university（南京大学）；Tsinghua University（清华大学）；University of Toronto（多伦多大学）
本文提出 MountainLion 多模态多智能体金融交易系统，通过协调专用 LLM 智能体融合新闻、K线图和交易信号，结合反思模块动态优化策略，实现可解释且自适应的投资决策并提升收益。
2025-09-19 cs.CL cs.LG q-fin.TR
Lazy-MDPs: Towards Interpretable Reinforcement Learning by Learning When to Act
Google Research（谷歌研究院）；Inria（法国国家信息与自动化研究所）；CRIStAL, CNRS, Université de Lille（里尔大学法国国家科学研究中心CRIStAL实验室）
传统上，强化学习（RL）旨在决定如何为人工智能体采取最佳行动。我们认为，决定何时采取行动同样重要。作为人类，我们会从默认的、本能的或记忆的行为转向专注的、深思熟虑的行为。为了增强具有这种能力的RL代理，我们建议增强标准马尔可夫决策过程，并提供一种新的行动模式：懒惰，这将决策推迟到默认策略。此外，我们惩罚非懒惰行为，以鼓励最小的努力，并使代理只关注关键决策。我们命名的形式主义懒惰的MDPs。我们研究了惰性MDP的理论性质，表达了价值函数并刻画了最优解。然后，我们实证表明，在懒惰的MDP学习的政策一般都带有一种形式的可解释性：通过建设，他们向我们展示了代理控制默认策略的状态。我们认为这些状态和相应的操作很重要，因为它们解释了默认策略和新的惰性策略之间的性能差异。使用次优策略作为默认（预训练或随机），我们观察到代理能够在Atari游戏中获得有竞争力的性能，同时只控制有限的状态子集。
2022-03-16 cs.AI cs.LG
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Interpretable DRL-based Maneuver Decision of UCAV Dogfight
University of Electronic Science and Technology of China（电子科技大学）；Air Force Engineering University（空军工程大学）
针对UCAV近距格斗决策，本文提出三层DRL框架，结合四通道控制律、八种BFM与DDQN选择机制，实现高胜率并增强策略可解释性。
2024-05-28 cs.LG cs.RO
Social Interpretable Reinforcement Learning
University of Trento（特伦托大学）
针对可解释强化学习训练成本高的问题，提出社会可解释强化学习（SIRL），通过协作与个体两阶段模拟社会学习，在6个基准上降低43%-76%计算成本并提升收敛速度与解质量。
2025-01-21 cs.AI cs.LG cs.MA
Playing a 2D Game Indefinitely using NEAT and Reinforcement Learning
Pune Institute of Computer Technology（浦那计算机技术学院）
十多年来，机器人技术和人工智能体的使用已成为一种普遍现象。测试新的路径寻找或搜索空间优化算法的性能也已成为一种挑战，因为它们需要模拟或环境来测试它们。使用人工智能体创建人工环境是用于测试此类算法的方法之一。游戏也已成为测试它们的环境。这些算法可以通过使用人工代理来进行比较，人工代理将根据它们所处的环境中的算法来表现。性能参数可以是，智能体能够多快地区分奖励行为和敌对行为。这可以通过将智能体置于具有不同类型障碍的环境中来测试，智能体的目标是通过对将导致避免所有的障碍。选择的环境是一个名为"Flappy Bird"的游戏。游戏的目标是让鸟飞过一组随机高度的管道。鸟必须在这些管道之间飞行，不得击中顶部，底部，或者管道本身。鸟可以采取的动作是拍打翅膀或在重力作用下下降。人工智能体是增强拓扑的神经进化（NEAT）和强化学习。NEAT算法采用"N"个人工智能体的初始种群。它们通过考虑目标函数、交叉、变异和增强拓扑来遵循遗传算法。另一方面，强化学习记住状态、在该状态下采取的动作以及使用单个智能体和深度Q学习网络所采取的动作所获得的奖励。NEAT算法的性能随着人工智能体的初始种群的增加而提高。
2022-07-28 cs.AI cs.LG
Go Beyond Black-box Policies: Rethinking the Design of Learning Agent for Interpretable and Verifiable HVAC Control
University of California, Merced（加州大学默塞德分校）
针对HVAC控制中MBRL黑箱模型与随机优化缺乏可靠性的问题，本文提出可验证决策树策略提取、条件重要性采样和离线验证方法，实现更高节能性、舒适度与计算效率。
2024-02-29 cs.AI cs.LG cs.SY
Derivative-Free Reinforcement Learning: A Review
Nanjing University（南京大学）
强化学习是关于学习在未知环境中做出最佳顺序决策的代理模型。在一个未知的环境中，智能体需要探索环境，同时利用收集到的信息，这通常会形成一个复杂的问题来解决。与此同时，无导数优化能够解决复杂的问题。它通常使用采样和更新框架来迭代地改进解决方案，其中还需要很好地平衡探索和利用。因此，无导数优化处理与强化学习类似的核心问题，并且已经在学习分类器系统和神经进化/进化强化学习的名称下被引入到强化学习方法中。虽然这种方法已经发展了几十年，最近，衍生物免费强化学习展览吸引了越来越多的关注。然而，最近关于这一主题的调查仍然缺乏。本文综述了无导数强化学习的研究现状，并从参数更新、模型选择、探索、并行/分布式等方面对无导数强化学习方法进行了分类。此外，我们还讨论了目前的一些局限性和未来可能的发展方向，希望本文能引起更多的关注，这一主题，并作为一个催化剂，开发新的和有效的方法。
2021-02-10 cs.AI cs.LG
Towards interpretable quantum machine learning via single-photon quantum walks
Universität Innsbruck（因斯布鲁克大学）；University of Konstanz（康斯坦茨大学）
提出基于单光子量子行走的变分方法量子化投影模拟，利用量子干涉增强迁移学习能力，并提升决策过程的可解释性。
2023-10-16 cs.AI cs.LG quant-ph
Interpretable Multi-Objective Reinforcement Learning through Policy Orchestration
IBM Research（IBM研究院）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；Carnegie Mellon University（卡内基梅隆大学）；University of Padova（帕多瓦大学）
自主网络物理代理和系统在我们的生活中发挥着越来越大的作用。为了确保代理人的行为方式与他们所处社会的价值观保持一致，我们必须开发技术，使这些代理人不仅能够在环境中最大化他们的回报，而且还能够学习和遵循社会的隐含约束。这些约束和规范可以来自许多来源，包括法规、业务流程指南、法律、道德原则、社会规范和道德价值观。我们详细介绍了一种新的方法，使用逆强化学习学习一组未指定的限制，从演示的任务，和强化学习学习，以最大限度地提高环境的奖励。更确切地说，我们假设一个代理可以观察到社会成员的行为痕迹，但无法访问引起所观察到的行为的明确约束集。反向强化学习用于学习这样的约束，然后通过使用基于上下文的Bandit编排器将这些约束与可能正交的价值函数组合，该编排器在采取行动时在两个策略（基于约束和基于环境奖励）之间选择上下文适当的选择。上下文强盗协调器允许代理以新颖的方式混合策略，从奖励最大化或约束策略中采取最佳行动。此外，编排器对于在每个时间步骤处采用哪个策略是透明的。我们测试我们的算法使用吃豆人域，并表明代理能够学习最佳的行为，表现出的约束内的行为，并混合这两个功能在复杂的方式。
2018-09-21 cs.AI cs.LG stat.ML
Evolutionary Selective Imitation: Interpretable Agents by Imitation Learning Without a Demonstrator
我们提出了一种通过进化策略（ES）训练代理的新方法，在该方法中，我们迭代地改进一组要模仿的样本：从一个随机集开始，在每次迭代中，我们用迄今为止发现的最佳轨迹的样本替换样本的子集。该集合的评估过程是通过监督学习来训练随机初始化的神经网络（NN）以模仿该集合，然后针对环境执行所获得的策略。因此，我们的方法是一个ES的基础上的适应度函数，表示模仿不断发展的数据子集的有效性。这与其他ES技术直接覆盖策略的权重形成对比。通过观察代理选择用于学习的样本，可以比NN学习更明确地解释和评估代理的进化策略。在我们的实验中，我们训练了一个智能体来解决OpenAI Gym环境Bipedalwalker-v3，方法是用一个只有几千个参数的NN来模拟一个只有25个样本的进化选择集。我们进一步测试我们的方法上的Procgen游戏掠夺，并在这里显示，以及所提出的方法是一个可解释的，小，强大的和有效的替代其他ES或策略梯度方法。
2020-09-17 cs.NE
Network bottlenecks and task structure control the evolution of interpretable learning rules in a foraging agent
本文通过具身觅食智能体的进化优化研究元学习，发现无约束元学习产生多样化可塑性规则，而正则化和网络瓶颈能减少变异性并产生可解释规则，该机制对参数高度敏感，可用于推断生物学习的目标函数。
2024-03-20 cs.NE nlin.AO q-bio.NC
Evolving Interpretable Constitutions for Multi-Agent Coordination
College of Engineering Shibaura Institute of Technology（Shibaura Institute of Technology 工程学院）；Faculty of Arts and Sciences The University of Tokyo（东京大学 文理学部）；Department of EECS University of California, Berkeley（加州大学伯克利分校 电子工程与计算机科学系）；Department of Informatics Università degli Studi di Milano-Bicocca（米兰-比科卡大学 信息学系）
本文提出通过进化算法自动发现多智能体协调的可解释宪法，通过实验展示进化宪法在提升社会稳定性方面的有效性。
2026-01-31 cs.AI cs.MA cs.NE
