Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间，代理可以由相同的信号（例如全局状态）指导。然而，在分散执行期间，代理人缺乏共享信号。受视点不变性和对比学习的启发，本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察，但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中，我们将推断出的共识作为对代理网络的明确输入，从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外，我们在一些完全合作的任务上进行了测试，并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Learning Approximate Nash Equilibria in Cooperative Multi-Agent Reinforcement Learning via Mean-Field Subsampling
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）
本文研究了在通信受限条件下，通过均值场采样方法学习合作多智能体强化学习中的近似纳什均衡，证明了该方法能收敛到近似纳什均衡，并在多机器人控制中进行了验证。
2026-05-11 cs.AI cs.LG cs.MA
MASH: Cooperative-Heterogeneous Multi-Agent Reinforcement Learning for Single Humanoid Robot Locomotion
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics and School of Intelligence Science and Engineering, the Harbin Institute of Technology Shenzhen（智能变形机制与适应机器人重点实验室和智能科学与工程学院，哈尔滨工业大学深圳）
本文提出MASH方法，将单个人形机器人的四肢视为独立智能体并共享全局评论家进行协作-异构多智能体强化学习，有效加速了训练收敛并提升了全身协作能力，优于传统单智能体方法。
2025-08-14 cs.AI cs.RO cs.SY
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是，我们专注于获得分散的政策，代理，以最大限度地提高性能的合作任务的所有代理，这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络：（1）分散式贪婪策略网络，用于在训练和执行期间生成贪婪动作;（2）生成式合作策略网络（GCPN），用于在训练期间生成动作样本，以使其他代理改进其目标。我们表明，GCPN生成的样本，使其他代理更有效地探索政策空间，并有利地达成更好的政策，在实现合作任务。
2018-10-22 cs.AI cs.MA
Finding Core Members of Cooperative Games using Agent-Based Modeling
基于主体的建模（ABM）是一个强大的范式，以获得洞察社会现象。反弹道导弹很少应用的一个领域是联盟形成。传统上，联盟形成是用合作博弈理论建模的。在本文中，开发了一种启发式算法，可以嵌入到ABM，让代理人找到联盟。由此产生的联盟结构是可比的合作博弈论解决方案的方法，特别是，核心。一个启发式的方法是必需的，由于计算复杂性找到一个合作博弈论的解决方案，限制其应用到只有大约一个分数的代理。ABM范式提供了一个平台，在这个平台上，简单的规则和代理之间的交互可以产生宏观层面的效果，而无需大量的计算需求。因此，它可以是一个有效的手段，近似合作博弈的解决方案，大量的代理。我们的启发式算法结合了基于代理的建模和合作博弈论，以帮助找到代理分区的游戏的核心解决方案的成员。我们的启发式算法的准确性可以通过将其结果与实际的核心解决方案进行比较来确定。这种比较是通过开发一个实验来实现的，这个实验使用了一个叫做手套游戏的合作游戏的具体例子。手套博弈是一种交换经济博弈。寻找传统的合作博弈论的解决方案是计算密集型的大量球员，因为每个可能的分区必须比较每个可能的联盟，以确定核心集，因此我们的实验只考虑游戏多达9个球员。结果表明，我们的启发式方法实现了超过90%的时间在我们的实验中考虑的游戏的核心解决方案。
2020-08-30 cs.AI cs.MA econ.TH
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Cooperative Game Theory within Multi-Agent Systems for Systems Scheduling
关于多智能体系统中的组织和协调的研究继续从各种架构和方法中汲取。本文提出的工作相结合的技术，从博弈论和多智能体系统产生自组织的，多态的，轻量级的，嵌入式代理系统调度在一个大规模的实时系统环境。结果表明，这种方法是如何使用实验产生最佳的实时调度，通过成千上万的代理的紧急行为。这些结果是使用SWARM模拟系统调度内的高能物理实验组成的2500个数字信号处理器。
2005-04-29 cs.AI cs.MA
Learning Reward Machines in Cooperative Multi-Agent Tasks
Imperial College London（伦敦帝国学院）
本文提出一种结合合作任务分解与奖励机器（RMs）学习的多智能体强化学习方法，通过去中心化学习子任务RMs引导智能体行为，降低问题复杂度，提升部分可观测环境下学习有效性与策略可解释性。
2023-05-24 cs.AI cs.MA cs.SC
Learning cooperative behaviours in adversarial multi-agent systems
Paris-Saclay University（巴黎萨克雷大学）；University of Lincoln（林肯大学）；University of York（约克大学）
这项工作扩展了现有的虚拟多智能体平台RoboSumo，以创建TripleSumo -一个用于研究多智能体在连续动作空间中的合作行为的平台，在对抗环境中进行物理接触。在本文中，我们调查的情况下，两个代理，即“错误”和“蚂蚁”，必须组队，并推动另一个代理“蜘蛛”的舞台。为了实现这一目标，新添加的代理“Bug”在“Ant”和“Spider”之间进行的比赛中进行训练。“Bug”必须发展对其他代理的行动的意识，推断双方的策略，并最终学习合作的行动策略。强化学习算法深度确定性策略梯度（DDPG）是通过结合密集和稀疏奖励的混合奖励结构来实现的。通过平均获胜概率和平均获胜所需的步骤数对合作行为进行定量评价。
2023-02-10 cs.AI cs.MA cs.RO
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
How to solve a classification problem using a cooperative tiling Multi-Agent System?
Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）；UT1（图卢兹第一大学）；Citec Ingénieurs Conseil（赛泰克工程咨询公司）
自适应多智能体系统（AMAS）将动态问题转化为智能体之间的局部协作问题。我们提出了smappy，一个基于集成的AMAS实现的移动性预测，其代理提供了机器学习模型，除了他们的合作规则。通过详细的方法，我们提出了一个框架，将分类问题转化为输入变量空间的合作平铺。我们表明，它是可能的使用线性分类器在线非线性分类的三个基准玩具问题，选择他们的不同水平的线性可分性，如果他们被集成在一个合作的多智能体结构。所获得的结果表明，在非线性背景下的分类精度和决策边界，由于合作的方法的线性分类器的性能显着改善。
2022-09-15 cs.AI cs.LG cs.MA
Reward Design in Cooperative Multi-agent Reinforcement Learning for Packet Routing
Peking University（北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
在协作多智能体强化学习（MARL）中，如何设计合适的奖励信号来加速学习和稳定收敛是一个关键问题。全局奖励信号向所有代理分配相同的全局奖励，而不区分它们的贡献，而局部奖励信号仅基于个体行为向每个代理提供不同的局部奖励。这两种奖励分配方法都有一些缺点：前者可能会鼓励懒惰的代理，而后者可能会产生自私的代理。本文研究了基于分组路由环境的协作MARL中的报酬设计问题。首先，我们证明了上述两个奖励信号容易产生次优策略。然后，受一些观察和考虑的启发，我们设计了一些混合奖励信号，这些信号是现成的，可以学习更好的策略。最后，我们把混合的奖励信号转化为自适应的奖励信号，在我们的实验中取得了最好的效果。本文还讨论了其他奖励信号。由于奖励设计是RL中的一个非常基本的问题，特别是在MARL中，我们希望MARL研究人员能够重新考虑他们系统中使用的奖励。
2020-03-05 cs.AI cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich（慕尼黑大学）；MaibornWolff（迈博尔夫公司）
多智能体系统（MAS）中的决策是一个巨大的挑战，由于巨大的状态和联合行动空间以及不确定性，使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性，但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题，在复杂环境中会导致不稳定和不协调的行为。在本文中，我们提出了强紧急政策近似（STEP），一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此，我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合，只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间，并表明，STEP是能够学习更强的政策比标准的多智能体强化学习算法，结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中，以进一步提高性能。
2019-01-25 cs.AI cs.MA
Multi-agent RRT*: Sampling-based Cooperative Pathfinding (Extended Abstract)
Czech Technical University in Prague（捷克布拉格技术大学）；Delft University of Technology（代尔夫特理工大学）
合作寻路是为多个移动代理寻找一组不冲突的轨迹的问题。它的应用包括移动机器人团队的规划，如自主飞机，汽车或水下航行器。用于协作寻路的最先进的算法通常依赖于一些启发式前向搜索寻路技术，其中A* 通常是选择的算法。在这里，我们提出了MA-RRT*，一种新的算法，多代理路径规划，建立在最近提出的渐近最优采样为基础的算法，寻找单代理最短路径称为RRT*。我们实验评估的算法的性能，并表明，基于采样的方法提供了更好的可扩展性比经典的前向搜索方法在相对较大，但稀疏的环境，这是典型的在现实世界中的应用，如多飞机防撞。
2013-02-12 cs.AI cs.MA cs.RO
Cooperative Pathfinding based on memory-efficient Multi-agent RRT*
在合作寻路问题中，需要规划将多个智能体从其起始位置带到其目的地的无冲突路径。多智能体RRT*（MA-RRT*）算法可以有效地解决这个问题，该算法仍然是耦合方法领域的最新技术。然而，该算法的实现在内存有限的系统中受到阻碍，因为树中的节点数量随着路径的优化而无限增长。本文提出了一种改进的MA-RRT*，称为多代理RRT* 固定节点（MA-RRT*FN），它通过删除路径上不太可能到达目标的弱节点来限制树中存储的节点数量。结果表明，MA-RRT*FN在可扩展性和解决方案质量方面与MA-RRT* 接近，而所需的内存要低得多且固定。
2020-03-04 cs.AI cs.MA
QTypeMix: Enhancing Multi-Agent Cooperative Strategies through Heterogeneous and Homogeneous Value Decomposition
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对多智能体协作中异构策略学习难的问题，提出QTypeMix方法，通过同构-异构两阶段值分解、TE损失及注意力+超网络结构，在SMAC/SMACv2的14张地图上取得最优性能。
2024-08-12 cs.AI cs.MA
Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；University of Virginia（弗吉尼亚大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）；AI Center（人工智能中心）
提出Colosseum框架，通过形式化决策框架和基于遗憾的度量审计LLM智能体在合作多智能体系统中的合谋行为，发现大多数模型存在新兴合谋倾向，并观察到“纸上合谋”现象。
2026-05-27 cs.AI cs.CL cs.MA
A Comprehensive Survey on Multi-Agent Cooperative Decision-Making: Scenarios, Approaches, Challenges and Perspectives
The University of Hong Kong (HKU)（香港大学）；Imperial College London（伦敦帝国学院）；National Heart and Lung Institute, Imperial College London（伦敦帝国学院国家心肺研究所）；Cardiovascular Research Centre, Royal Brompton Hospital（皇家布朗普顿医院心血管研究中心）
该综述梳理多智能体协同决策的场景、方法等，重点分析深度多智能体强化学习与大语言模型驱动的多智能体方法，同时指出领域挑战与未来研究方向。
2026-09-01 cs.AI cs.MA
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering（电气与信息工程学院）
针对CTDE框架中智能体信息评估与全局协作受限的挑战，提出基于信息选择和默契学习的合作型MARL新框架，通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据，天真的团队奖励最大化产生不公平的结果，为个别团队成员的动机。为了解决多智能体环境中的公平性问题，我们引入了团队公平性，这是一种基于组的多智能体学习公平性度量。然后，我们证明了它是可能的，以加强团队的公平性，在政策优化过程中，通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性（Fair-E），并以经验证明其有效性。然后，我们引入公平通过等变正则化（公平ER）作为公平E的软约束版本，并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后，我们提出了新的发现，在多代理设置的公平性效用权衡，显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning
Xiaomi Inc.（小米公司）
基于深度强化学习的多智能体合作与竞争问题是近年来的研究热点。研究了局部观测条件下基于行动者-批评者方法的多智能体协作问题。多智能体深度确定性策略梯度在一些多智能体博弈中取得了很好的效果，但随着智能体数量的增加，它不能很好地扩展。为了提高系统的可扩展性，提出了一种基于神经网络的参数共享确定性策略梯度方法，该方法包括三种变体：Actor-Critic共享、Actor共享和Actor与部分共享Critic共享. rllab的测试结果表明，该方法在学习速度和记忆效率方面具有优势，随着代理数量的增长具有很好的可扩展性，并且在可能的情况下可以充分利用奖励共享和交换机制。
2017-10-03 cs.AI
Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments
HSE University（高等经济大学）；JetBrains Research（JetBrains研究院）
最近的强化学习研究广泛探讨了混合环境中合作和竞争行为之间的相互作用。与合作环境中的代理人努力实现共同目标不同，混合环境因自私和社会利益的冲突而臭名昭着。因此，纯粹理性的行为者往往很难实现和维持合作。诱导合作行为的一种普遍方法是根据其他代理人的福利分配额外的奖励。然而，这种方法受到多代理信用分配的问题，这可能会阻碍性能。在协同设置中，QMIX和COMA等最先进的算法有效地缓解了这个问题。尽管如此，当应用于混合环境时，这些算法可能会导致不公平的奖励分配。我们提出了BAROCCO，这些算法的扩展能够平衡个人和社会的激励。BAROCCO背后的机制是训练两个不同但相互交织的组件，共同影响每个代理的决策。我们的元算法兼容Q学习和Actor-Critic框架。我们通过实验证实了现有方法的优势，并在两个混合的多智能体设置的行为方面的BAROCCO探索。
2021-02-24 cs.AI cs.LG cs.MA
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Descent-Guided Policy Gradient for Scalable Cooperative Multi-Agent Learning
National University of Singapore（新加坡国立大学）
本文提出Descent-Guided Policy Gradient方法，通过利用可微解析模型降低梯度方差，实现协作多智能体学习的可扩展性，验证了在200个智能体任务中收敛性能。
2026-09-29 cs.AI cs.LG cs.MA
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh（爱丁堡大学）
多智能体深度强化学习（MARL）缺乏常用的评估任务和标准，使得方法之间的比较变得困难。在这项工作中，我们提供了一个系统的评估和比较三个不同类别的MARL算法（独立学习，集中式多智能体策略梯度，价值分解）在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，它扩展了PyMARL代码库，以包含其他算法，并允许灵活配置算法实现细节，如参数共享。最后，我们开源两个环境的多智能体的研究，重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种考虑协作的评估视角，通过STAT测试平台评估六种价值导向的MARL方法，揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Cooperative Artificial Intelligence
University College London（伦敦大学学院）
在未来，人工学习代理可能会在我们的社会中变得越来越普遍。他们将在各种复杂的环境中与其他学习代理和人类互动，包括社会困境。我们认为，有必要对博弈论和人工智能之间的交叉点进行研究，目标是实现合作的人工智能，可以很好地导航社会困境。我们考虑的问题是，外部代理如何通过观察学习者的行为来分配额外的奖励和惩罚，从而促进人工学习者之间的合作。我们提出了一个规则，自动学习如何通过考虑每个代理的预期参数更新创建正确的激励。使用这种学习规则导致在矩阵博弈中具有高社会福利的合作，否则代理将以高概率学习背叛。我们表明，即使在给定的情节数后关闭规划代理，在某些游戏中所产生的合作结果是稳定的，而其他游戏需要持续的干预，以保持相互合作。最后，我们首先反思了多智能体强化学习的目标，并讨论了构建合作AI目标的必要构建模块。
2022-02-20 cs.AI cs.GT cs.MA
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning
California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
GMFS通过子采样异质智能体交互，实现可扩展的协作多智能体强化学习，具有poly(κ)样本复杂度和O(1/√κ)最优性差距。
2026-02-18 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Transfer Learning with Level-Adaptive Credit Assignment
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；Tianjin University（天津大学）
将迁移学习扩展到协作式多智能体强化学习（MARL），近年来受到广泛关注。与单Agent环境相比，协作MARL中不可缺少的协调约束了每个Agent的策略。然而，现有的转移方法只关注代理策略，忽略了协调知识。我们提出了一个新的架构，实现了强大的协调知识转移，通过适当的分解成几个协调模式的整体协调。我们使用一种新的混合网络命名为水平自适应Q Transformer（LA-Q Transformer），以实现代理协调，考虑信用分配，与适当的协调模式，为不同的代理实现了一种新的水平自适应Transformer（LA-Transformer）专门用于协调知识的传输。此外，我们使用了一种新的代理网络人口不变的代理Transformer（PIT），以实现在更多的场景协调转移。在《星际争霸II》微观管理中的大量实验表明，LA-QTransformer与PIT一起实现了与最先进的基线相比的卓越性能。
2021-06-03 cs.AI
Optimizing Cooperative path-finding: A Scalable Multi-Agent RRT* with Dynamic Potential Fields
Chongqing University of Science and Technology（重庆科技学院）；Chongqing University（重庆大学）
针对多智能体协同寻路在复杂环境中的可扩展性瓶颈，提出结合动态势场与启发式方法的MA-RRT*PF算法，有效提升了密集场景下的计算效率与解质量。
2024-07-29 cs.AI cs.MA cs.RO
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于身份识别的自适应探索方法 AIR，通过身份分类器与动作选择器的对抗机制，在合作多智能体强化学习中统一并促进个体与集体探索，提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
提出LMAC框架，利用大语言模型的推理能力设计通信协议，使所有智能体尽可能准确一致地重建底层状态，从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
CaPo: Cooperative Plan Optimization for Efficient Embodied Multi-Agent Cooperation
University of Amsterdam（阿姆斯特丹大学）；Singapore Management University（新加坡管理大学）；The Netherlands Cancer Institute（荷兰癌症研究所）；Archimedes/Athena RC（阿基米德/雅典娜研究中心）
针对LLM具身智能体协作缺乏长期规划导致效率低下的问题，提出两阶段框架CaPo，通过元计划生成与进度自适应执行提升协作效率，在ThreeDworld任务上显著超越现有方法。
2025-03-01 cs.AI cs.CV cs.MA
REVECA: Adaptive Planning and Trajectory-based Validation in Cooperative Language Agents using Information Relevance and Relative Proximity
Kyung Hee University（庆熙大学）；Korea University（高丽大学）
针对多智能体协作中信息处理低效、全局次优及环境变化引发错误规划的挑战，提出由GPT-4o-mini驱动的REVECA认知架构，通过相关性估计、自适应规划和轨迹验证实现高效记忆与最优规划，在多基准上表现优异并具可信人机协作潜力。
2024-12-18 cs.AI cs.CL cs.CV
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
McGill University（麦吉尔大学）；OpenAI（开放人工智能研究中心）；UC Berkeley（加州大学伯克利分校）
我们探索多智能体领域的深度强化学习方法。我们首先分析了传统算法在多代理情况下的困难：Q-学习受到环境固有的非平稳性的挑战，而策略梯度受到随着代理数量增加而增加的方差的影响。然后，我们提出了一个适应的演员-评论家的方法，认为其他代理的行动政策，并能够成功地学习政策，需要复杂的多代理协调。此外，我们引入了一个训练方案，利用合奏的政策，每个代理，导致更强大的多代理政策。我们展示了我们的方法相比，现有的方法在合作以及竞争的情况下，代理人口能够发现各种物理和信息的协调策略的实力。
2020-03-14 cs.AI cs.LG cs.NE
Policy Diversity for Cooperative Agents
Ubisoft La Forge（育碧La Forge）；Ubisoft Chengdu（育碧成都）；Ubisoft Bordeaux（育碧波尔多）
针对多智能体协作领域缺乏有效策略多样性方法的问题，提出矩匹配策略多样性方法，通过形式化选定智能体的动作差异生成差异化团队策略，理论上可实现基于最大均值差异的约束优化，在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
Value-Decomposition Networks For Cooperative Multi-Agent Learning
DeepMind；University of Liverpool（利物浦大学）
研究了具有单一联合奖励信号的协作多智能体强化学习问题。这类学习问题是困难的，因为通常很大的组合动作和观察空间。在完全集中和分散的方法中，我们发现了虚假奖励的问题和我们称之为“懒惰代理”问题的现象，这是由于部分可观测性而产生的。我们解决这些问题，通过训练个人代理与一种新的价值分解网络架构，学会分解成代理明智的价值函数的团队价值函数。我们在一系列部分可观察的多智能体领域进行了实验评估，并表明学习这种值分解会带来更好的结果，特别是当与权重共享，角色信息和信息渠道相结合时。
2017-06-16 cs.AI
Cooperative Multi-agent Approach for Automated Computer Game Testing
Utrecht University（乌得勒支大学）；Umeå University（于默奥大学）
针对多人游戏冗长场景的自动化测试难题，本文提出协作式多智能体测试方法，并通过3D游戏 Lab Recruits 案例评估其加速多任务执行的性能。
2024-05-18 cs.AI cs.SE
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Efficient Querying for Cooperative Probabilistic Commitments
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程学院）
多智能体系统可以使用承诺作为一般协调基础设施的核心，支持合作和非合作交互。目标一致的代理人，一个代理人可以通过牺牲自己的一些奖励来帮助另一个代理人获得更大的奖励，应该选择合作承诺来最大化他们的联合奖励。我们提出了一个解决方案的问题，合作代理可以有效地找到一个（近似）最佳的承诺，通过查询精心选择的承诺选择。我们证明了代理的值的承诺规范的参数的函数的结构特性，并开发了一个贪婪的方法组成的查询与可证明的近似边界，我们的经验表明，可以找到几乎最佳的承诺在一小部分的时间方法，缺乏我们的见解需要。
2020-12-14 cs.AI
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Cooperative Game-Theoretic Credit Assignment for Multi-Agent Policy Gradients via the Core
Key Laboratory of Intelligence, Games and Information Processing in Shaanxi Province（陕西省智能信息处理重点实验室）；Unmanned System Research Institute（无人系统研究院）；Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）；Information Science Academy（信息科学学院）；China Electronics Technology Group Corporation（中国电子科技集团有限公司）
本文提出CORA方法，通过核心分配机制解决多智能体策略梯度中的信用分配问题，提升联盟策略的协调优化能力。
2026-03-10 cs.AI cs.GT cs.LG
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
提出自动机条件化协作多智能体强化学习框架，通过自动机分解团队目标为子任务，学习任务条件化的分散策略，实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Towards Understanding Cooperative Multi-Agent Q-Learning with Value Factorization
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
价值因子分解是一种在协作环境中扩展多智能体强化学习的流行和有前途的方法，它平衡了学习的可扩展性和价值函数的表示能力。然而，这种方法的理论理解是有限的。在本文中，我们形式化的多智能体拟合Q-迭代框架分析因子化多智能体Q-学习。基于这个框架，我们调查线性值分解，并揭示了多智能体Q学习与这个简单的分解隐含地实现了一个强大的反事实信用分配，但可能不会收敛在某些设置。通过进一步的分析，我们发现，在政策上的训练或更丰富的联合价值函数类可以改善其局部或全局收敛性能。最后，为了支持我们在实际实现中的理论含义，我们对最先进的深度多智能体Q-学习算法在教学示例和广泛的星际争霸II单元微观管理任务上进行了实证分析。
2021-10-31 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Policy Gradients with Sub-optimal Demonstration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
许多现实任务，如机器人协调，可以很自然地建模为多智能体合作系统的回报是稀疏的。本文的重点是学习分散的政策，这些任务使用次优演示。为了有效地学习多智能体协作，解决演示的次优问题，提出了一种自改进学习方法：一方面，通过演示初始化集中式状态-动作值，并利用学习到的分散式策略更新集中式状态-动作值，以改善次优问题。另一方面，利用当前状态-动作值来寻找纳什均衡，并以此作为学习策略的指导。所提出的方法进行评估的战斗RTS游戏，需要一个高层次的多智能体合作。大量的实验结果表明，该方法可以有效地学习多智能体合作的各种作战场景。它明显优于许多最先进的基于演示的方法。
2021-08-19 cs.AI
Efficiently Quantifying Individual Agent Importance in Cooperative MARL
InstaDeep Ltd（InstaDeep有限公司）；National School of Computer Science, Tunisia（突尼斯国家计算机科学学校）；National School of Engineering of Tunis（突尼斯国家工程学院）；University of Edinburgh（爱丁堡大学）
针对合作MARL中单个智能体贡献衡量难、Shapley值计算复杂度随智能体数指数增长的问题，提出线性复杂度的Agent Importance方法，其与Shapley值等高度相关，可用于算法故障诊断，为MARL基准提供可解释性支持。
2024-01-26 cs.AI
Situation-Dependent Causal Influence-Based Cooperative Multi-agent Reinforcement Learning
Software Engineering Institute, East China Normal University（华东师范大学软件工程学院）
针对多智能体强化学习中智能体协调与探索能力不足的问题，提出基于情境依赖因果影响的SCIC算法，通过因果干预和条件互信息检测智能体间因果影响并设计内在奖励机制，提升协作性能，在多个基准上优于现有方法。
2023-12-15 cs.AI
