Quantifying the effects of environment and population diversity in multi-agent reinforcement learning
DeepMind（深度思维）
泛化是多智能体强化学习的一个主要挑战。一个智能体在新的环境中以及与新的合作者互动时表现如何？在本文中，我们调查和量化的泛化和多样性之间的关系在多智能体域。在这里考虑的多代理环境的范围内，程序生成训练水平显着提高代理性能的保持水平。然而，在训练中使用的特定级别上的代理性能有时会因此而下降。为了更好地理解合作者变化的影响，我们的实验引入了一个新的环境不可知的行为多样性的措施。结果表明，种群规模和内在动机都是产生更大的种群多样性的有效方法。反过来，在某些（但不是所有）情况下，与不同的合作伙伴一起训练可以加强代理人的表现。
2022-03-04 cs.AI cs.MA
KnowSR: Knowledge Sharing among Homogeneous Agents in Multi-agent Reinforcement Learning
National University of Defense Technology（国防科技大学）
近年来，深度强化学习（RL）算法在多智能体领域取得了很大进展。然而，由于RL的特性，复杂任务的培训将是资源密集型和耗时的。为了应对这一挑战，同质代理之间的相互学习策略是必不可少的，这是在以前的研究中，由于大多数现有的方法不考虑使用代理模型的知识，而探索不足。在本文中，我们提出了一种适应方法的大多数多智能体强化学习（MARL）算法称为KnowSR，它利用代理之间的学习差异。我们采用知识蒸馏（KD）的思想，在代理之间共享知识，以缩短训练阶段。为了实证证明KnowSR的鲁棒性和有效性，我们在协作和竞争场景中对最先进的MARL算法进行了广泛的实验。结果表明，KnowSR优于最近报道的方法，强调建议的知识共享MARL的重要性。
2021-05-25 cs.AI cs.LG cs.MA
Dynamic Noises of Multi-Agent Environments Can Improve Generalization: Agent-based Models meets Reinforcement Learning
University of Manitoba（曼尼托巴大学）
我们研究了基于代理模型（ABM）的强化学习（RL）环境的好处。虽然ABM是已知的，以提供微观基础模拟的成本计算复杂性，我们经验表明，在这项工作中，他们的非确定性动态可以提高RL代理的泛化。为此，我们研究控制流行病SIR环境的基础上，无论是微分方程或ABMs。数值模拟表明，在基于ABM的动态SIR模型的固有噪声不仅提高了平均奖励，但也允许RL代理推广更广泛的流行病参数。
2022-03-26 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Recursive Reasoning Graph for Multi-Agent Reinforcement Learning
Stanford University（斯坦福大学）；Honda Research Institute US（本田美国研究院）
多智能体强化学习（MARL）为多个智能体之间的交互提供了一种同时学习策略的有效方法。然而，在需要复杂交互的场景中，现有算法可能无法准确预测自我行为对其他代理的影响。增强对其他代理的潜在响应进行推理的能力可以允许代理制定更有效的策略。本文在集中训练分散执行的框架下采用递归推理模型，以帮助学习代理更好地与其他代理合作或竞争。该算法被称为递归推理图（R2G），在多个多智能体粒子和机器人游戏中表现出最先进的性能。
2022-03-06 cs.AI cs.LG cs.MA
Mean Field Multi-Agent Reinforcement Learning
University College London（伦敦大学学院）；Shanghai Jiao Tong University（上海交通大学）
现有的多智能体强化学习方法通常限于少量的代理。当智能体数量大量增加时，由于维数灾难和智能体交互的指数增长，学习变得难以处理。在本文中，我们提出了\emph{Mean Field Reinforcement Learning}，其中代理群体内的相互作用近似于单个代理与整个群体或相邻代理的平均效应之间的相互作用;两个实体之间的相互作用是相互加强的：个体代理的最优策略的学习取决于群体的动态，而人口动态则根据个别政策的集体模式而变化。我们开发了实用的平均场Q-学习和平均场Actor-Critic算法，并分析了纳什均衡解的收敛性。高斯挤压，伊辛模型和战斗游戏的实验证明了我们的平均场方法的学习效果。此外，我们报告的第一个结果，解决伊辛模型通过无模型强化学习方法。
2020-12-15 cs.AI cs.LG cs.MA
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center（FEI大学中心）
受图神经网络在智能体通信方面的最新进展的启发，提出了一种多智能体通信能力的有向标记异构智能体图表示方法，其中节点标签表示智能体类，边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构，专门在完全合作的异构多智能体任务的通信，通过学习个人的转换，每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享，我们表现出相当或优越的性能，在环境中，有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
A further exploration of deep Multi-Agent Reinforcement Learning with Hybrid Action Space
Chongqing University（重庆大学）
将深度强化学习（drl）扩展到多智能体领域的研究，解决了许多复杂问题，取得了巨大的成就。然而，这些研究几乎都只关注离散或连续的动作空间，很少有将多智能体深度强化学习应用于混合动作空间的现实环境问题。因此，在本文中，我们提出了两个算法：深度多代理混合软演员-评论家（MAHSAC）和多代理混合深度确定性策略梯度（MAHDDPG），以填补这一空白。这两种算法遵循集中训练和分散执行（CTDE）范式，可以处理混合动作空间问题。我们的经验是在多智能体粒子环境中运行的，这是一个简单的多智能体粒子世界，以及一些基本的模拟物理。实验结果表明，这些算法具有良好的性能。
2022-08-30 cs.AI cs.LG cs.MA
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University（南京大学）
多智能体强化学习（MARL）算法通过利用集中式训练和分散式执行（CTDE）范式，近年来取得了可喜的进展。然而，现有的MARL算法仍然受到样本效率低下的问题。在本文中，我们提出了一个简单而有效的方法，称为基于状态的情景记忆（SEM），以提高样本效率在MARL。SEM采用情景记忆（EM）对MARL中CTDE的集中训练过程进行监督。据我们所知，SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM（SAEM），后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛（SMAC）上的实验结果表明，在MARL中引入情景记忆可以提高样本效率，与SAEM相比，SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Multi-Agent Reinforcement Learning for Problems with Combined Individual and Team Reward
University of Central Florida（中佛罗里达大学）；Department of Computer Science University of Central Florida（中佛罗里达大学计算机科学系）
许多合作的多智能体问题需要智能体学习个人的任务，同时有助于集体的成功。这是一个具有挑战性的任务，目前国家的最先进的多智能体强化算法，旨在最大限度地提高整体奖励的团队或个人的本地奖励。当任何一种奖励都是稀疏的，导致不稳定的学习时，这个问题就会加剧。为了解决这个问题，我们提出了分解多智能体深度确定性策略梯度（DE-MADDPG）：一种新的合作多智能体强化学习框架，同时学习最大化全局和局部奖励。我们评估我们的解决方案上具有挑战性的防御护送队的问题，并表明我们的解决方案实现了显着更好，更稳定的性能比直接适应的MADDPG算法。
2020-03-24 cs.AI cs.LG cs.MA
Theory of Mind as Intrinsic Motivation for Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
本研究提出将智能体预测他人信念的能力作为多智能体强化学习的内在奖励，实现了可解释信念与深度网络策略的结合，并在混合合作竞争环境中验证了初步效果。
2023-07-18 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Turn-based Multi-Agent Reinforcement Learning Model Checking
Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学学院）
针对随机多人博弈中 TMARL 智能体的复杂需求验证问题，提出将 TMARL 与模型检验紧密集成的方法，实验证明其有效且比单体模型检验更具可扩展性。
2025-01-06 cs.AI cs.LG cs.MA
Multi-Agent Broad Reinforcement Learning for Intelligent Traffic Light Control
智能交通灯控制系统（ITLCS）是一个典型的多智能体系统（MAS），它由多条道路和多个交通灯组成，构建ITLCS的MAS模型是缓解交通拥堵的基础。现有的MAS方法主要基于多Agent深度强化学习（MADRL）。MABRL的深度神经网络（DNN）虽然有效，但训练时间长，参数难以追踪。最近，广义学习系统（BLS）提供了一种选择性的方法，通过一个平面网络在深层神经网络学习。此外，广泛的强化学习（BRL）扩展BLS在单智能体深度强化学习（SADRL）问题，有希望的结果。然而，BRL并不关注代理的复杂结构和相互作用。基于MADRL的特点和BRL的问题，本文提出了一个多Agent广义强化学习（MABRL）框架来研究BLS在MAS中的作用。首先，与大多数现有的MADRL方法不同，这些方法使用一系列深层神经网络结构，我们用广泛的网络对每个代理进行建模。然后，引入动态自循环交互机制来确定“3W”信息：何时交互，需要考虑哪些Agent，传递什么信息。最后，基于智能交通灯控制场景进行了实验。我们比较了MABRL方法与六种不同的方法，并在三个数据集上的实验结果验证了MABRL的有效性。
2022-07-05 cs.AI cs.LG cs.MA
Multi-Agent Memory from a Computer Architecture Perspective: Visions and Challenges Ahead
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Georgia Institute of Technology（佐治亚理工学院）
本文从计算机架构角度探讨多智能体系统内存问题，提出三层内存层次结构并指出缓存共享和结构化内存访问控制两大关键协议缺口，强调多智能体内存一致性是当前最紧迫的挑战。
2026-03-30 cs.AI cs.AR cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Causality Detection for Efficient Multi-Agent Reinforcement Learning
Loughborough University London（拉夫堡大学伦敦校区）
当作为团队学习任务时，多智能体强化学习（MARL）中的一些智能体可能无法理解它们对团队绩效的真正影响。这样的代理最终会学习次优策略，表现出不受欢迎的懒惰行为。为了研究这个问题，我们首先正式使用的时间因果关系适用于MARL问题。然后，我们展示了因果关系如何可以用来惩罚这种懒惰的代理人，并改善他们的行为。通过了解他们的局部观察与团队奖励的因果关系，团队中的每个代理都可以根据他们是否帮助导致奖励来调整他们的个人信用。我们的经验表明，在MARL中使用因果关系估计不仅提高了团队的整体表现，而且还提高了每个代理的个人能力。我们观察到，在一组不同的环境中的改进是一致的。
2023-03-24 cs.AI cs.LG cs.MA
Exploration with Unreliable Intrinsic Reward in Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）
本文研究了在多智能体强化学习中使用内在奖励来引导探索。我们讨论了将内在奖励应用于多个协作代理的挑战，并演示了不可靠的奖励如何阻止分散代理学习最优策略。我们解决这个问题，一个新的框架，独立的中央辅助Q学习（ICQL），在分散的代理共享控制和经验重放缓冲区与集中的代理。只有中心化的代理人本质上是奖励，但分散的代理人仍然受益于改进的探索，没有不可靠的激励分散注意力。
2019-06-05 cs.AI
Multi-agent Hierarchical Reinforcement Learning with Dynamic Termination
University of Oxford（牛津大学）
在多代理系统中，代理的最优策略通常取决于其他代理选择的策略。因此，多智能体系统研究中的一个关键问题是预测他人的行为，并对这些行为的变化迅速做出反应。一个明显的可能性是每个代理广播他们当前的意图，例如，在分层强化学习框架中当前执行的选项。然而，如果期权具有延长的持续时间并且是动态的，则这种方法会导致代理人的不确定性。虽然在每一步调整执行的选项从单代理的角度提高了灵活性，但选项的频繁变化可能会导致代理的实际行为与其广播意图之间的不一致。为了平衡灵活性和可预测性，我们提出了一个动态终止贝尔曼方程，允许代理人灵活地终止他们的选择。我们评估我们的模型经验上的一组多智能体的追求和出租车任务，并表明我们的代理学习灵活地适应需要不同的终止行为的场景。
2019-10-21 cs.AI cs.LG cs.MA
Partially Observable Mean Field Multi-Agent Reinforcement Learning Based on Graph-Attention
Tongji University（同济大学）
针对部分可观测大规模MARL中邻居特征利用不足的问题，提出GAMFQ，通过图注意力动态刻画有效邻居并结合平均场近似，性能优于现有基线。
2024-09-09 cs.AI
Curiosity-driven Exploration in Sparse-reward Multi-agent Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）
在应用深度强化学习方法时，奖励的稀疏性对其样本效率产生负面影响。一个可行的解决方案，以处理稀疏的奖励是学习通过内在动机，主张增加一个内在的奖励的奖励函数，以鼓励智能体探索环境和扩大样本空间。虽然内在动机方法被广泛用于提高强化学习模型中的数据有效学习，但它们也存在所谓的分离问题。在这篇文章中，我们讨论了内在好奇心模块在稀疏奖励多智能体强化学习中的局限性，并提出了一种称为I-Go-Explore的方法，该方法将内在好奇心模块与Go-Explore框架相结合，以减轻分离问题。
2023-02-21 cs.AI
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Actor-Attention-Critic for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；Google AI（谷歌人工智能）
多智能体场景中的强化学习对于现实世界的应用非常重要，但它带来的挑战超出了单智能体环境中的挑战。我们提出了一个演员-评论家算法，训练分散的政策，在多代理设置，使用集中计算的评论家，共享一个注意力机制，选择相关的信息，为每个代理在每个时间步。与最近的方法相比，这种注意力机制能够在复杂的多智能体环境中实现更有效和可扩展的学习。我们的方法不仅适用于具有共享奖励的合作设置，而且适用于个性化奖励设置，包括对抗设置，以及不提供全局状态的设置，并且它不对代理的动作空间进行任何假设。因此，它足够灵活，可以应用于大多数多智能体学习问题。
2019-05-27 cs.AI cs.LG cs.MA
Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning
Xiaomi Inc.（小米公司）
基于深度强化学习的多智能体合作与竞争问题是近年来的研究热点。研究了局部观测条件下基于行动者-批评者方法的多智能体协作问题。多智能体深度确定性策略梯度在一些多智能体博弈中取得了很好的效果，但随着智能体数量的增加，它不能很好地扩展。为了提高系统的可扩展性，提出了一种基于神经网络的参数共享确定性策略梯度方法，该方法包括三种变体：Actor-Critic共享、Actor共享和Actor与部分共享Critic共享. rllab的测试结果表明，该方法在学习速度和记忆效率方面具有优势，随着代理数量的增长具有很好的可扩展性，并且在可能的情况下可以充分利用奖励共享和交换机制。
2017-10-03 cs.AI
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University（高丽大学）；Ajou University（亚洲大学）
本文针对自主移动接入场景，提出基于CTDE的多智能体深度强化学习方法，用单一神经网络集中训练多无人机协作，以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Multi-agent Reinforcement Learning in OpenSpiel: A Reproduction Report
Czech Technical University（捷克技术大学）
在这份报告中，我们提出了几个核心算法在OpenSpiel框架中实现的游戏学习的结果再现。这项工作的主要贡献是验证OpenSpiel的重新实现的搜索和强化学习算法对各自的原始作品中报告的结果。此外，我们还提供了完整的超参数文档和源代码，以便轻松准确地重现这些实验。
2021-03-02 cs.AI
Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning
Imperial College London（帝国理工学院）
形式化方法与强化学习（RL）的结合最近引起了人们的兴趣，作为单智能体RL学习多任务规范的一种方式。在本文中，我们将这种收敛扩展到多智能体设置，并正式定义扩展马尔可夫博弈作为一个通用的数学模型，允许多个RL代理同时学习各种非马尔可夫规范。为了介绍这个新的模型，我们提供了正式的定义和证明，以及经验测试的RL算法运行在这个框架上。具体来说，我们使用我们的模型训练两个不同的基于逻辑的多智能体RL算法，以解决不同的设置非马尔可夫共同安全的LTL规范。
2020-02-14 cs.AI cs.LG cs.LO
Promoting Cooperation in Multi-Agent Reinforcement Learning via Mutual Help
Tsinghua University（清华大学）
近年来，多智能体强化学习（MARL）在协作任务方面取得了很大的进展。然而，在局部奖励机制中，由于只给每个Agent局部奖励，而没有全局奖励，传统的MARL算法缺乏对Agent间相互影响的充分考虑。在合作任务中，智能体之间的相互影响尤为重要，因为智能体应该协调以获得更好的性能。在本文中，我们提出了一种新的算法基于互助MARL（MH-MARL），指示代理相互帮助，以促进合作。MH-MARL利用预期动作模块为每个特定的代理生成预期的其他代理的动作。然后，在训练过程中，将期望的动作传递给其他智能体进行选择性模仿。实验结果表明，MH-MARL在成功率和累积奖励方面都提高了MARL的性能。
2023-02-18 cs.AI cs.LG cs.MA
Emergent Cooperation in Quantum Multi-Agent Reinforcement Learning Using Communication
Munich Quantum Valley（慕尼黑量子谷）
本文提出通过通信机制在量子多智能体强化学习中实现协同涌现，实验表明MATE等方法能有效提升协作水平。
2026-01-26 cs.AI cs.LG cs.MA
Situation-Dependent Causal Influence-Based Cooperative Multi-agent Reinforcement Learning
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）
针对多智能体强化学习中智能体协调与探索能力不足的问题，提出基于情境依赖因果影响的SCIC算法，通过因果干预和条件互信息检测智能体间因果影响并设计内在奖励机制，提升协作性能，在多个基准上优于现有方法。
2023-12-15 cs.AI
Algorithms in Multi-Agent Systems: A Holistic Perspective from Reinforcement Learning and Game Theory
School of EECS, Peking University（北京大学电子信息工程学院）
深度强化学习（RL）近年来取得了突出的成果，导致方法和应用数量急剧增加。最近的工作是探索学习超越单代理的情况下，并考虑多代理的情况下。然而，他们面临着许多挑战，并正在寻求帮助，从传统的博弈论算法，这反过来，显示出光明的应用前景结合现代算法和提高计算能力。本文首先介绍了单智能体强化学习和多智能体强化学习的基本概念和算法，然后从三个方面对相关算法进行了综述。博弈论中的解决方案概念给了算法以灵感，这些算法试图评估代理或在多代理系统中找到更好的解决方案。虚拟自我游戏的流行对多智能体强化学习算法产生了很大的影响。反事实遗憾最小化是解决不完全信息游戏的重要工具，当与深度学习相结合时显示出巨大的力量。
2020-01-31 cs.AI cs.GT cs.LG
Replication of Multi-agent Reinforcement Learning for the "Hide and Seek" Problem
National University of Sciences and Technology（国立科技大学）
本研究针对强化学习策略难复现及复杂环境相关研究有限的问题，复现多智能体躲猫猫强化学习并新增飞行机制，提升了智能体机动性，缩短了躲藏者习得追逐策略的训练步数。
2023-10-09 cs.AI cs.LG cs.MA
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Belief States for Cooperative Multi-Agent Reinforcement Learning under Partial Observability
Imperial College London（帝国理工学院）
本文提出利用自监督预训练的概率信念模型生成信念状态，并将其与基于状态的强化学习算法结合，以简化策略和价值函数学习，从而提升部分可观测条件下协作多智能体强化学习的收敛速度与最终性能。
2025-04-11 cs.AI cs.LG
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Modeling Others using Oneself in Multi-Agent Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们考虑多智能体强化学习设置不完美的信息，其中每个代理都试图最大化自己的效用。奖励函数取决于两个智能体的隐藏状态（或目标），因此智能体必须从观察到的行为中推断出其他参与者的隐藏目标，以便解决任务。我们提出了一种新的学习方法，在这些领域：自学习建模（SOM），其中一个代理使用自己的政策来预测其他代理的行动，并更新其信念的隐藏状态在一个在线的方式。我们在三个不同的任务上评估了这种方法，并表明在合作和对抗环境中，代理能够使用对其他参与者隐藏状态的估计来学习更好的策略。
2018-03-23 cs.AI cs.LG
Towards Heterogeneous Multi-Agent Reinforcement Learning with Graph Neural Networks
FEI University Center（FEI大学中心）
这项工作提出了一种神经网络架构，可以在异构多代理强化环境中学习多个代理类的策略。该网络使用有向标记图表示状态，为不同的实体类编码不同大小的特征向量，使用关系图卷积层来模拟实体类型之间的不同通信通道，并为不同的代理类学习不同的策略，尽可能共享参数。结果表明，专门的实体类之间的通信通道是一个有前途的一步，以实现更高的性能，在环境中组成的异构实体。
2020-10-20 cs.AI cs.LG
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind；Google Research（谷歌研究院）
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差，最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨，那就是多智能体强化学习（MARL）。在这里，我们调查是否以对象为中心的表示也是有益的，在充分合作的MARL设置。具体来说，我们研究了两种方法，将代理为中心的归纳偏见到我们的RL算法：1。引入一个以代理为中心的注意力模块，并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标（即不使用动作标签），用作MARL的辅助损失，或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上，以主体为中心的表示学习导致主体之间更复杂的合作策略的出现，以及增强的样本效率和泛化能力。
2021-04-19 cs.AI cs.LG
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Multi-Agent Reinforcement Learning for Power Grid Topology Optimization
Vrije Universiteit（阿姆斯特丹自由大学）
针对可再生能源接入下电网拓扑控制的大动作空间难题，提出利用电网分层结构的分层MARL框架，并验证其相较单智能体RL具有竞争力。
2023-10-04 cs.AI cs.LG cs.SY
Reward Poisoning Attacks on Offline Multi-Agent Reinforcement Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在离线多智能体强化学习（MARL）中，智能体从给定的数据集中估计策略。我们研究奖励中毒攻击在这种情况下，外源攻击者修改奖励数据集之前，代理看到数据集。攻击者希望引导每个代理进入恶意的目标策略，同时最小化奖励修改的$L^p$范数。与对单代理RL的攻击不同，我们表明攻击者可以将目标策略安装为马尔可夫完美主导策略均衡（MPDSE），保证理性代理遵循该策略。这种攻击可能比单独的单代理攻击便宜得多。我们表明，攻击工作在各种MARL代理，包括不确定性意识的学习者，我们表现出线性规划，有效地解决了攻击问题。我们还研究了数据集的结构和最小攻击成本之间的关系。我们的工作为研究离线MARL中的防御铺平了道路。
2023-03-07 cs.AI cs.CR cs.GT
MASH: Cooperative-Heterogeneous Multi-Agent Reinforcement Learning for Single Humanoid Robot Locomotion
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics and School of Intelligence Science and Engineering, the Harbin Institute of Technology Shenzhen（智能变形机制与适应机器人重点实验室和智能科学与工程学院，哈尔滨工业大学深圳）
本文提出MASH方法，将单个人形机器人的四肢视为独立智能体并共享全局评论家进行协作-异构多智能体强化学习，有效加速了训练收敛并提升了全身协作能力，优于传统单智能体方法。
2025-08-14 cs.AI cs.RO cs.SY
Improving generalization to new environments and removing catastrophic forgetting in Reinforcement Learning by using an eco-system of agents
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）
使强化学习（RL）智能体适应看不见的环境是一项艰巨的任务，因为训练环境中存在典型的过拟合。RL代理通常能够解决非常接近训练环境的环境，但当环境变得非常不同时，它们的性能会迅速下降。当智能体在新的环境中接受再训练时，第二个问题出现了：存在灾难性遗忘的风险，即在以前见过的环境中的表现受到严重阻碍。本文提出了一种新的方法，利用生态系统的代理，以解决这两个问题。据此，个体代理的（有限的）适应能力被收获，以建立一个高度适应性的生态系统。
2022-07-01 cs.AI cs.MA
Parameter Sharing with Network Pruning for Scalable Multi-Agent Deep Reinforcement Learning
KAIST（韩国科学技术院）
处理可扩展性问题是多智能体强化学习（MARL）算法应用于通常涉及大量智能体的现实问题的基本问题之一。为此，多个代理之间的参数共享已被广泛使用，因为它通过减少参数数量和提高样本效率来减少训练时间。然而，使用相同的参数跨代理限制了联合政策的代表性能力，因此，性能可能会下降，在多代理任务，需要不同的行为为不同的代理。在本文中，我们提出了一个简单的方法，采用结构化修剪的深度神经网络，以增加联合政策的代表性能力，而不引入额外的参数。我们评估所提出的方法在几个基准任务，数值结果表明，所提出的方法显着优于其他参数共享方法。
2023-03-02 cs.AI cs.MA
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab（日立工业人工智能实验室）
传统上，多智能体深度强化学习算法的性能是在游戏环境中展示和验证的，在游戏环境中，我们通常有固定数量的智能体。在许多工业应用中，可用试剂的数量可以在任何给定的一天改变，并且即使当试剂的数量提前已知时，试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中，我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University（联邦大学）；Deakin University（迪肯大学）；Universidad Central de Chile（智利中央大学）；University of Alberta（阿尔伯塔大学）；Action Research Associates（行动研究协会）
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而，在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中，在审查外部影响的方法，我们提出了一个概念框架和分类辅助强化学习，旨在通过分类和比较在学习过程中使用外部信息的各种方法，促进合作。建议的分类详细的外部信息源和学习者代理之间的关系，突出的信息分解，结构，保留的过程，以及它如何可以用来影响代理学习。除了回顾最先进的方法外，我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后，我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
MAgent: A Many-Agent Reinforcement Learning Platform for Artificial Collective Intelligence
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
我们介绍了MAgent，一个支持多智能体强化学习研究和开发的平台。与以前的单智能体或多智能体强化学习研究平台不同，MAgent专注于支持需要数百万智能体的任务和应用。在一群智能体之间的交互中，它不仅可以研究智能体最优策略的学习算法，而且更重要的是，可以观察和理解人工智能社会中出现的个体智能体的行为和社会现象，包括通信语言，领导力，利他主义。MAgent具有高度可扩展性，可以在单个GPU服务器上托管多达100万个代理。MAgent还为AI研究人员提供灵活的配置，以设计他们的定制环境和代理。在这个演示中，我们展示了在MAgent上设计的三个环境，并展示了通过从头开始学习而形成的集体智慧。
2017-12-02 cs.AI cs.LG cs.MA
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
