Multi-Agent Reinforcement Learning and Genetic Policy Sharing
Clark University（克拉克大学）
在多智能体动力系统中，智能体之间的策略共享的影响还没有得到广泛的研究。我模拟了一个使用强化学习优化同一任务的代理系统，以研究不同人口密度和策略共享的影响。我证明了共享政策减少了达到渐近行为的时间，并导致改进的渐近行为。
2008-12-09 cs.AI cs.MA
Counterfactual Explanation with Multi-Agent Reinforcement Learning for Drug Target Prediction
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）；Deakin University（迪肯大学）
动机：已经提出了许多高性能的DTA模型，但它们大多是黑盒的，因此缺乏人类的可解释性。可解释人工智能（XAI）可以使DTA模型更值得信赖，也可以使科学家从模型中提取生物学知识。反事实解释是解释深层神经网络行为的一种流行方法，它通过系统地回答以下问题来工作："如果输入以这种方式改变，模型输出将如何改变？" ".大多数反事实解释方法只对单个输入数据进行操作。如何将基于反事实的XAI方法扩展到DTA模型仍然是一个悬而未决的问题，DTA模型有两个输入，一个是药物，一个是靶标，它们在本质上也是离散的。研究方法：我们提出了一个多智能体强化学习框架，多智能体反事实药物靶点结合亲和力（MACDA），产生反事实的药物-蛋白质复合物的解释。我们提出的框架提供了人类可解释的反事实实例，同时优化了反事实生成的输入药物和目标。结果如下：我们基准建议MACDA框架使用戴维斯数据集，并发现我们的框架产生更简约的解释没有损失的解释有效性，编码相似性和QED测量。然后，我们提出了一个涉及ABL1和尼洛替尼的案例研究，以证明MACDA如何解释DTA模型在其预测中输入之间的底层子结构相互作用中的行为，揭示与先前领域知识一致的机制。
2021-06-02 cs.AI cs.LG
Modeling Sensorimotor Coordination as Multi-Agent Reinforcement Learning with Differentiable Communication
Stanford University（斯坦福大学）
多智能体强化学习已经显示出对各种合作任务的承诺，作为可区分的智能体通信的最新发展的结果。然而，大多数架构都局限于同类代理的池，限制了它们的适用性。在这里，我们提出了一个模块化的框架，学习复杂的任务，传统的单体代理被框定为一个合作的异构代理的集合。我们应用这种方法来模拟感觉运动协调在新皮层作为一个多智能体强化学习问题。我们的研究结果证明了所提出的架构的概念验证，并为学习复杂任务和理解大脑和未来智能系统中的功能定位开辟了新的途径。
2019-09-12 cs.AI cs.MA
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间，代理可以由相同的信号（例如全局状态）指导。然而，在分散执行期间，代理人缺乏共享信号。受视点不变性和对比学习的启发，本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察，但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中，我们将推断出的共识作为对代理网络的明确输入，从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外，我们在一些完全合作的任务上进行了测试，并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Towards Multi-Agent Reinforcement Learning using Quantum Boltzmann Machines
LMU Munich（慕尼黑大学）
强化学习推动了机器学习令人印象深刻的进步。与此同时，使用量子退火的量子增强机器学习算法是重大发展的基础。最近，结合这两种范式的多智能体强化学习（MARL）架构已经提出。这种利用量子玻尔兹曼机（QBM）进行Q值近似的新算法在收敛所需的时间步长方面优于常规深度强化学习。然而，该算法仅限于单智能体和小型2x2多智能体网格域。在这项工作中，我们提出了一个扩展到原来的概念，以解决更具挑战性的问题。与经典的DQN类似，我们添加了一个经验重放缓冲区，并使用不同的网络来近似目标和策略值。实验结果表明，学习变得更加稳定，使代理找到最佳的策略，在网格域具有较高的复杂性。此外，我们评估参数共享如何影响多代理域中的代理行为。量子采样被证明是强化学习任务的一种有前途的方法，但目前受到QPU大小的限制，因此受到输入和玻尔兹曼机大小的限制。
2021-11-22 cs.AI cs.MA
PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning
Peking University（北京大学）
难以扩展给多智能体协调带来了很大的问题。多智能体强化学习（MARL）算法在小规模多智能体系统中的应用很难扩展到大规模多智能体系统中，因为后者的动态性更强，交互次数随着智能体数量的增加而呈指数级增加。一些群体智能算法模拟信息素的释放和利用机制来控制大规模的Agent协调。受这些算法的启发，为了解决大规模多智能体协调问题，提出了一种基于\textbf{p}和\textbf{o} m \textbf{o} ne的间接通信框架\textbf{PooL}，用于大规模多智能体强化\textbf{l}学习. PooL的代理释放的信息素被定义为大多数强化学习算法的输出，它反映了代理对当前环境的看法。信息素更新机制可以有效地组织所有代理的信息，并将代理之间的复杂交互简化为低维表示。智能体感知到的信息素可以看作是附近智能体观点的总结，更能反映环境的真实情况。以Q-Learning为基础模型实现PooL，并在各种大规模协作环境中对PooL进行了评估。实验结果表明，通过PooL，Agent可以捕获有效的信息，并以较低的通信代价获得比其他方法更高的回报。
2022-02-20 cs.AI cs.MA
A Variational Approach to Mutual Information-Based Coordination for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个新的互信息框架的多智能体强化学习，使多个代理学习协调的行为，通过正规化的累积回报与多个代理之间的动作的同时互信息。通过引入一个潜在的变量，诱导非零互信息之间的多智能体的行动和应用变分的界限，我们得到一个听话的下界所考虑的MMI正则化的目标函数。导出的易处理的目标可以被解释为最大熵强化学习结合其他代理行动的不确定性减少。应用策略迭代来最大化导出的下界，我们提出了一个实用的算法命名为变分最大互信息多代理actor-critic，它遵循集中学习与分散执行。我们评估VM 3-AC几个游戏需要协调，数值结果表明，VM 3-AC优于其他MARL算法在多智能体任务，需要高质量的协调。
2023-03-01 cs.AI cs.MA
On Memory Mechanism in Multi-Agent Reinforcement Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；US Army Research Lab（美国陆军研究实验室）
多智能体强化学习（MARL）通过引入额外的智能体和（潜在的）环境的部分可观测性来扩展（单智能体）强化学习（RL）。因此，用于解决MARL问题的算法结合了传统RL方法之外的各种扩展，例如合作代理之间的学习通信协议，该协议能够在竞争环境中交换私人信息或对对手进行自适应建模。一种流行的算法构造是记忆机制，这样代理的决策不仅取决于当前状态，还取决于观察到的状态和动作的历史。在本文中，我们研究了如何记忆机制可以是有用的环境中具有不同的属性，如可观察性，内在性和存在的通信信道。使用以前的工作和新的实验，我们表明，记忆机制是有帮助的，当学习代理需要模拟其他代理和/或通信时，以某种方式受到限制，但是，我们必须谨慎的代理实现有效的记忆通过其他手段。
2019-09-11 cs.AI cs.MA
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Modeling Others using Oneself in Multi-Agent Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们考虑多智能体强化学习设置不完美的信息，其中每个代理都试图最大化自己的效用。奖励函数取决于两个智能体的隐藏状态（或目标），因此智能体必须从观察到的行为中推断出其他参与者的隐藏目标，以便解决任务。我们提出了一种新的学习方法，在这些领域：自学习建模（SOM），其中一个代理使用自己的政策来预测其他代理的行动，并更新其信念的隐藏状态在一个在线的方式。我们在三个不同的任务上评估了这种方法，并表明在合作和对抗环境中，代理能够使用对其他参与者隐藏状态的估计来学习更好的策略。
2018-03-23 cs.AI cs.LG
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
Mean Field Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时，由于维数灾难和智能体交互的指数增长，学习变得难以处理。在本文中，我们提出了\emph{Mean Field Reinforcement Learning}，其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的：个体代理的最优策略的学习取决于群体的动态，而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法，并分析了纳什均衡解的收敛性。高斯挤压，伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外，我们报告的第一个结果，解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
多智能体场景中的强化学习对于现实世界的应用非常重要，但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法，训练分散的政策，在多代理设置，使用集中计算的评论家，共享一个注意力机制，选择相关的信息，为每个代理在每个时间步。与最近的方法相比，这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置，而且适用于个性化奖励设置，包括对抗设置，以及不提供全局状态的设置，并且它不对代理的动作空间进行任何假设。因此，它足够灵活，可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University（高丽大学）；Ajou University（亚洲大学）
本文针对自主移动接入场景，提出基于CTDE的多智能体深度强化学习方法，用单一神经网络集中训练多无人机协作，以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit（阿姆斯特丹自由大学）
针对可再生能源接入下电网拓扑控制的大动作空间难题，提出利用电网分层结构的分层MARL框架，并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning
Imperial College London（帝国理工学院）
形式化方法与强化学习（RL）的结合最近引起了人们的兴趣，作为单智能体RL学习多任务规范的一种方式。在本文中，我们将这种收敛扩展到多智能体设置，并正式定义扩展马尔可夫博弈作为一个通用的数学模型，允许多个RL代理同时学习各种非马尔可夫规范。为了介绍这个新的模型，我们提供了正式的定义和证明，以及经验测试的RL算法运行在这个框架上。具体来说，我们使用我们的模型训练两个不同的基于逻辑的多智能体RL算法，以解决不同的设置非马尔可夫共同安全的LTL规范。
2020-02-14 cs.AI cs.LG cs.LO
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Evaluating Human-like Explanations for Robot Actions in Reinforcement Learning Scenarios
University of New South Wales（新南威尔士大学）；Deakin University（迪肯大学）；Federation University（联邦大学）；Universidad Central de Chile（智利中央大学）
可解释的人工智能是一个试图为自主智能系统提供更多透明度的研究领域。可解释性已经被使用，特别是在强化学习和机器人场景中，以更好地理解机器人决策过程。然而，以前的工作主要集中在提供人工智能从业者比非专家最终用户更容易理解的技术解释上。在这项工作中，我们利用从成功的概率建立的类似人类的解释来完成自主机器人在执行动作后所显示的目标。这些解释旨在让没有或很少有人工智能方法经验的人理解。本文提出了一个用户试验，以研究这些解释，重点是成功的行动，在其目标的概率是否构成一个合适的解释，为非专家的最终用户。获得的结果表明，非专家参与者评价机器人解释，重点是成功的概率更高，比从Q值生成的技术解释的方差更小，也有利于反事实的解释比独立的解释。
2022-07-07 cs.AI
Redefining Counterfactual Explanations for Reinforcement Learning: Overview, Challenges and Opportunities
Trinity College Dublin（都柏林圣三一学院）
本文探讨反事实解释在强化学习中应用不足的原因，分析监督学习与RL的差异与挑战，重新定义RL反事实解释并提出未来研究方向。
2024-02-09 cs.AI
On Generating Explanations for Reinforcement Learning Policies: An Empirical Study
The Grainger College of Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格拉inger工程学院）
本文提出利用线性时序逻辑公式和搜索算法为强化学习策略生成解释，阐明策略目标与执行前提，并在夺旗游戏和停车环境中验证有效性。
2025-04-29 cs.AI
Contrastive Explanations for Reinforcement Learning via Embedded Self Predictions
Oregon State University（俄勒冈州立大学）
我们研究了一种深度强化学习（RL）架构，该架构支持解释为什么学习代理更喜欢一个动作。其关键思想是学习行动价值观，这些价值观通过预期未来的人类可理解属性直接表示。这是通过嵌入式自预测（ESP）模型实现的，该模型根据人类提供的特征来学习所述属性。然后，可以通过对比为每个动作预测的未来属性来解释动作偏好。为了解决的情况下，有大量的功能，我们开发了一种新的方法来计算最小的足够的解释从一个ESP。我们在三个领域的案例研究，包括一个复杂的战略游戏，表明ESP模型可以有效地学习，并支持有见地的解释。
2021-01-17 cs.AI
Are We On The Same Page? Hierarchical Explanation Generation for Planning Tasks in Human-Robot Teaming using Reinforcement Learning
School of Computing, Informatics and Decision Systems Engineering, Arizona State University（亚利桑那州立大学计算、信息与决策系统工程学院）
在人机合作框架中，提供解释被认为是人工智能智能体的必要能力。正确的解释提供了人工智能智能体决策背后的基本原理。然而，为了维持人类队友的认知需求以理解所提供的解释，先前的工作集中于以特定顺序提供解释或将解释生成与计划执行交织。此外，这些方法没有考虑在整个提供的解释中需要共享的细节程度。在这项工作中，我们认为，代理生成的解释，特别是复杂的，应抽象到与人类队友的愿望，以保持收件人的认知负荷的细节水平保持一致。因此，学习层次解释模型是一项具有挑战性的任务。此外，智能体需要遵循一致的高级策略，将学习到的队友偏好转移到新的场景中，而较低级别的详细计划则不同。我们的评估证实了理解解释的过程，特别是复杂和详细的解释，是分层的。反映这一点的人类偏好与创造和使用抽象来吸收隐藏在我们认知过程更深处的知识完全一致。我们发现，分层解释实现了更好的任务性能和行为的可解释性，同时减少认知负荷。这些结果揭示了利用强化学习和跨各个领域的规划来设计可解释的代理。
2021-02-26 cs.AI
Widening the Pipeline in Human-Guided Reinforcement Learning with Explanation and Context-Aware Data Augmentation
Arizona State University（亚利桑那州立大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）
人类解释（例如，在特征重要性方面）最近被用于扩展交互式机器学习中人与代理之间的通信信道。在这种情况下，人类训练师不仅提供基本事实，还提供某种形式的解释。然而，这种人类指导只在监督学习任务中进行了研究，目前还不清楚如何将这种类型的人类知识最好地融入深度强化学习。在本文中，我们提出了第一个研究使用人类视觉解释的人在回路强化学习（HRL）。我们专注于从反馈中学习的任务，其中人类训练员不仅为查询的状态-动作对提供二进制评价性“好”或“坏”反馈，而且还通过注释图像中的相关特征提供视觉解释。我们提出了EXPAND（解释增强反馈），以鼓励模型编码任务相关的功能，通过上下文感知的数据增强，只扰动人类显着信息中的不相关的功能。我们选择了五个任务，即Pixel-Taxi和四个Atari游戏，来评估这种方法的性能和样本效率。我们表明，我们的方法显着优于利用人类解释的方法，这些方法适用于监督学习，以及仅利用评估反馈的人在回路RL基线。
2021-10-26 cs.AI
Explaining Causal Models with Argumentation: the Case of Bi-variate Reinforcement
Imperial College London（伦敦帝国理工学院）；Università degli Studi di Brescia（布雷西亚大学）
因果模型在机器学习中发挥着越来越重要的作用，特别是在可解释的人工智能领域。我们引入了一个概念化的因果模型生成论证框架（AF）的目的是伪造模型的输出解释。概念化的基础上重新解释所需的属性的语义的AF解释模具，这是表征的因果模型argumenetry的关系的手段。我们展示了我们的方法，重新解释的属性双变量强化的解释模具锻造双极AF的因果模型的输出的解释。我们对这些论证性解释进行了理论评估，考察它们是否满足一系列理想的解释性和论证性属性。
2022-05-23 cs.AI
Interactive Explanations for Reinforcement-Learning Agents
本文提出交互式解释系统ASQ-IT，通过将用户查询映射到有限轨迹线性时序逻辑（LTLf）并基于自动机理论处理查询，以视频片段展示智能体行为，帮助用户识别错误行为。
2025-04-07 cs.AI
Textual Explanations and Their Evaluations for Reinforcement Learning Policy
Ericsson Research（爱立信研究）；Ericsson AB（爱立信公司）；KTH Royal Institute of Technology（皇家理工学院）；Uppsala University（乌普萨拉大学）；Global AI Accelerator（全球人工智能加速器）；Ericsson Inc.（爱立信公司）
本文提出了一种新的XRL框架，通过生成文本解释并转换为透明规则，提升解释质量并进行评估，以解决现有方法的局限性。
2026-01-05 cs.AI
Investigating Reinforcement Learning Agents for Continuous State Space Environments
Georgia Institute of Technology（佐治亚理工学院）
给定一个具有连续状态空间和离散动作的环境，我们研究使用双深度Q学习强化代理来使用LunarLander-v2 OpenAI健身房环境找到最优策略。
2019-03-11 cs.AI
Semifactual Explanations for Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
本文针对深度强化学习决策难解释问题，定义半事实解释属性，提出SGRL-Rewind与SGRL-Advance算法，并通过标准环境和用户研究验证其可达性、策略一致性与多样性。
2024-09-09 cs.AI
Hierarchical Reinforcement Learning with Deep Nested Agents
Iowa State University（爱荷华州立大学）
近年来，深度分层强化学习得到了很多关注，因为它能够在非分层框架无法学习有用策略的挑战性环境中产生最先进的结果。然而，随着问题领域变得越来越复杂，深度分层强化学习可能会变得低效，导致收敛时间更长，性能更差。我们介绍了深嵌套代理框架，这是一个深层次的强化学习的变体，其中来自主代理的信息被传播到低级别的$nested$代理，将此信息到嵌套代理的状态。我们证明了深度嵌套代理框架的有效性和性能，通过将其应用于Minecraft中的三个场景，并与深度非分层单代理框架以及深度分层框架进行比较。
2018-05-18 cs.AI
Autonomous Self-Explanation of Behavior for Interactive Reinforcement Learning Agents
Keio University（庆应义塾大学）；Dwango Artificial Intelligence Laboratory（Dwango人工智能实验室）
在合作中，员工必须了解同事的行为。然而，一个代理的政策，这是嵌入在一个统计机器学习模型，是很难理解的，需要大量的时间和知识来理解。因此，人们很难预测机器学习机器人的行为，这使得人机合作具有挑战性。在本文中，我们提出了基于指令的行为解释（IBE），一种方法来解释一个自治代理的未来行为。在IBE中，Agent可以通过重用人类专家给出的指令来自主获取解释自己行为的表达式，以加速Agent策略的学习。IBE还使发展代理，其政策可能会改变合作期间，以解释自己的行为与足够的时间粒度。
2018-10-20 cs.AI
Towards the Role of Theory of Mind in Explanation
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
心理理论通常被定义为将心理状态（例如，信念，目标）对自己，对他人。从社会科学到人工智能，大量先前的工作都发现，心理理论能力对于向另一个智能体提供解释或解释该智能体的行为至关重要。在本文中，我们建立和扩大以前的工作，提供一个帐户的解释，代理人的信念和机制，代理人修改他们的信念可能的解释。我们进一步确定了一套必要的解释，利用心理理论。这些必要条件为我们基于信仰的解释提供了信息。
2020-05-06 cs.AI
A Definition of Happiness for Reinforcement Learning Agents
什么是强化学习智能体的快乐？我们寻求一个正式的定义，满足一系列的必要条件。我们提出的幸福定义是时间差误差，即获得的奖励和观察值与代理对该值的期望值之间的差异。这个定义满足了我们的大多数要求，并且与人类的经验研究相一致。我们陈述几个含义并讨论例子。
2015-05-18 cs.AI
Contrastive Explanations for Comparing Preferences of Reinforcement Learning Agents
Trinity College Dublin（都柏林圣三一学院）；IBM Ireland（IBM爱尔兰公司）
在复杂任务中，奖励函数不是直接的，而是由一组目标组成，通过调整单个目标对奖励函数的影响，可以训练出多个强化学习（RL）策略，这些策略可以充分执行任务，但采用不同的策略。理解策略之间的差异对于用户在提供的策略之间进行选择是必要的，并且可以帮助开发人员理解从RL系统中的各种奖励函数和训练超参数中出现的不同行为。在这项工作中，我们比较的行为的两个政策培训相同的任务，但不同的偏好的目标。我们提出了一种方法来区分行为的差异，这些差异源于不同的能力，而这些能力是两个RL代理的相反偏好的结果。此外，我们只使用基于偏好的差异的数据，以生成关于代理人偏好的对比解释。最后，我们在自动驾驶任务上测试和评估了我们的方法，并比较了以安全为导向的策略和更喜欢速度的策略的行为。
2021-12-17 cs.AI
End-to-End Neuro-Symbolic Reinforcement Learning with Textual Explanations
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；State Key Laboratory of General Artificial Intelligence, BIGAI（北京智源人工智能研究院通用人工智能国家重点实验室）
针对NS-RL中结构化状态难以由奖励优化、符号策略不易理解的问题，提出联合学习框架，蒸馏视觉基础模型并利用GPT-4生成文本解释，在九个Atari任务上验证有效。
2024-06-13 cs.AI
Interactive Reinforcement Learning with Dynamic Reuse of Prior Knowledge from Human/Agent's Demonstration
Washington State University（华盛顿州立大学）
强化学习近年来取得了许多成功。然而，这些成功通常需要非常大量的数据之前，代理实现可接受的性能。本文介绍了一种新的方式，打击这种要求，利用现有的（人或代理）的知识。特别是，本文使用代理和人类的演示，允许未经训练的代理快速实现高性能。我们经验比较，并突出的弱点，HAT和CHAT，知识从源代理/人类转移到目标代理的方法。本文介绍了一种有效的迁移方法，DRoP，结合离线知识（学习前记录的演示）与在线基于信心的性能分析。DRoP动态地涉及演示者的知识，将其集成到强化学习代理的在线学习循环中，以实现高效和鲁棒的学习。
2018-05-11 cs.AI
Distal Explanations for Model-free Explainable Reinforcement Learning
在本文中，我们介绍和评估的远端解释模型的无模型强化学习代理，可以产生解释“为什么”和“为什么不”的问题。我们的出发点是观察到因果模型可以产生机会链，其形式为“A促成B，B促成C”。使用的见解，从分析240个解释中产生的人类代理实验，我们定义了一个远端解释模型，可以分析反事实和机会链使用决策树和因果模型。采用递归神经网络学习机会链，并使用决策树提高任务预测的准确性和生成的反事实。我们使用不同的强化学习算法在6个强化学习基准中计算评估模型。从一项有90名人类参与者的研究中，我们发现，与两种基线解释模型相比，我们的远端解释模型在三种情况下都能改善结果。
2020-09-12 cs.AI cs.HC cs.LG
Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning
Georgia Tech（佐治亚理工学院）；Google（谷歌）
我们提出了一个框架，结合分层和多代理深度强化学习方法，使用半分散模型解决众多代理之间的协调问题。该框架通过引入一个元控制器来扩展多代理学习设置，该元控制器引导代理对之间的通信，使代理能够专注于在任何步骤中仅与另一个代理进行通信。这种任务的层次分解允许有效的探索，以学习识别全局最优解决方案的策略，即使合作代理的数量增加。我们展示了有前途的初步实验结果的模拟分布式调度问题。
2017-12-22 cs.AI
Explanation Container in Case-Based Biomedical Question-Answering
国家推进转化科学中心（NCATS）生物医学数据翻译器（翻译器）旨在减轻转化科学家面临的问题。翻译器是一个多代理体系结构，由六个自主中继代理（ARA）和八个知识提供者（KP）。在本文中，我们提出了设计的澄清剂（xARA），一个基于案例的ARA，回答生物医学查询访问多个KP，排名结果，并解释结果的排名。解释Agent设计了五个知识容器，包括四个原始知识容器和一个额外的解释容器-解释容器。解释容器是基于案例的，并设计有自己的知识容器。
2021-12-22 cs.AI
PyTAG: Tabletop Games for Multi-Agent Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出PyTAG框架，用于多智能体强化学习研究，通过自博弈训练PPO智能体，并与简单智能体和MCTS对比，展示桌游带来的挑战与机遇。
2024-05-28 cs.AI
Toward Policy Explanations for Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Bar-Ilan University（巴伊兰大学）
多智能体强化学习（MARL）的进步使一系列令人兴奋的多智能体应用（如协作AI和自动驾驶）能够进行顺序决策。解释代理决策对于提高系统透明度，提高用户满意度和促进人类-代理协作至关重要。然而，现有的可解释的强化学习的工作主要集中在单智能体设置，不适合解决多智能体环境所带来的挑战。我们提出了新的方法来产生两种类型的政策解释MARL：（一）政策总结的代理合作和任务序列，和（ii）语言解释回答查询代理行为。三个MARL域上的实验结果证明了我们的方法的可扩展性。一项用户研究表明，生成的解释显着提高用户的性能，并增加主观评分的指标，如用户满意度。
2022-05-23 cs.AI cs.LG
On the impact of MDP design for Reinforcement Learning agents in Resource Management
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
强化学习应用于资源管理的最新进展提出了MDP，但没有深入分析设计决策对代理性能的影响。本文比较和对比了四种不同的MDP变体，通过实证分析讨论了它们的计算要求以及对代理性能的影响。我们的结论表明，在我们的实验中，当使用多层感知器作为近似函数时，紧凑的状态表示允许环境之间的代理转移，并且转移的代理具有良好的性能，并且在80%的测试场景中优于专门的代理，即使没有重新训练。
2021-09-07 cs.AI
Shaping Scientific Explanations to Expert Perspectives with Persona-Conditioned Reinforcement Learning
LASIGE, Faculdade de Ciências da Universidade de Lisboa, Portugal（里斯本大学科学学院LASIGE，葡萄牙）
本文提出一种基于强化学习的科学解释生成方法，通过代理人设引导解释代理器适应专家认知策略，提升解释的适应性和预测性能。
2026-08-03 cs.AI cs.HC
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
探索对于深度强化学习的良好结果至关重要，并引起了广泛关注。然而，现有的多智能体深度强化学习算法仍然主要使用基于噪声的技术。最近，已经开发了考虑多个代理之间的合作的探索方法。然而，现有的方法遭受一个共同的挑战：代理人的斗争，以确定值得探索的状态，并很难协调对这些国家的探索努力。为了解决这个问题，在本文中，我们提出了合作多智能体探索（CMAE）：代理共享一个共同的目标，而探索。目标是从多个投影状态空间通过归一化熵为基础的技术。然后，训练代理以协调的方式实现这一目标。我们证明了CMAE在各种任务上的表现始终优于基线，包括稀疏奖励版本的多粒子环境（MPE）和星际争霸多智能体挑战（SMAC）。
2021-07-23 cs.AI
