SVDE: Scalable Value-Decomposition Exploration for Cooperative Multi-Agent Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；PengCheng Laboratory（鹏城实验室）；Ping An Technology(Shenzhen) Artificial Intelligence and Big Data Center（平安科技（深圳）人工智能与大数据中心）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）
值分解方法通过将联合状态-动作空间分解为局部观测-动作空间来降低多智能体系统的学习难度，在协作多智能体强化学习（MARL）中得到了广泛的应用。然而，价值分解方法仍然存在训练样本消耗巨大和缺乏主动探索的问题。在本文中，我们提出了一个可扩展的值分解探索（SVDE）方法，其中包括一个可扩展的训练机制，内在的奖励设计，探索性的经验重放。可扩展的训练机制异步地将策略学习与环境交互相结合，从而以MapReduce方式加速样本生成。针对缺乏探索性的问题，提出了一种内在奖励设计和探索性经验重放，分别用于增强探索性以产生多样化样本和过滤非新颖样本。从经验上讲，我们的方法在几乎所有的地图上实现了最佳性能相比，其他流行的算法在一组星际争霸II微观管理游戏。一个数据效率的实验也显示了加速SVDE的样本收集和政策收敛，我们证明了SVDE的有效性，通过一组消融实验的因素。
2023-03-16 cs.AI
FMAP: Distributed Cooperative Multi-Agent Planning
提出了一种集规划与协调于一体的全分布式多智能体规划方法FMAP（Forward Multi-Agent Planning）。虽然FMAP是专门针对解决问题，需要代理之间的合作，域独立的规划模型的灵活性，允许FMAP来处理任何类型的多代理规划任务。在FMAP中，智能体通过一个完整的、灵活的前向链偏序规划器建立精化计划来共同探索计划空间。搜索引导$h_{DTG}$，一种新的启发式功能，是基于域转移图和前沿状态的概念，并优化，以评估计划在分布式环境中。FMAP中的代理应用高级隐私模型，该模型允许他们充分保留私人信息，同时仅传达与每个参与代理相关的细化计划的数据。实验结果表明，FMAP是一种通用的方法，有效地解决了紧耦合的领域，有专门的代理和合作的目标，以及松耦合的问题。具体而言，实证评估表明，FMAP优于目前的MAP系统在解决复杂的规划任务，是适应国际规划竞赛基准。
2015-01-28 cs.AI
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University（南京大学）；Dalian University of Technology（大连理工大学）
针对多智能体强化学习现有算法的不足，基于MADDPG引入合作奖励参数，在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励，改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
Cooperative Multi-Agent Planning: A Survey
Czech Technical University in Prague（布拉格捷克理工大学）
合作多智能体规划（MAP）是一个相对较新的研究领域，它结合了人工智能规划和多智能体系统社区开发的技术、算法和技术。虽然规划通常被视为一个单一的代理任务，MAP概括了这一概念，考虑多个智能代理合作开发一个行动过程，满足组的目标。本文回顾了最相关的MAP方法，重点关注参加2015年分布式和多智能体规划竞赛的求解器，并根据其关键特征和相对性能对其进行分类。
2017-11-24 cs.AI cs.MA
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间，代理可以由相同的信号（例如全局状态）指导。然而，在分散执行期间，代理人缺乏共享信号。受视点不变性和对比学习的启发，本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察，但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中，我们将推断出的共识作为对代理网络的明确输入，从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外，我们在一些完全合作的任务上进行了测试，并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
训练多智能体强化学习（MARL）算法比训练单智能体强化学习算法更具挑战性，因为多智能体任务的结果强烈依赖于智能体之间的复杂交互以及它们与随机和动态环境的交互。我们提出了一种算法，提高MARL训练使用有偏见的行动信息的基础上的朋友或敌人的概念。在合作竞争环境中，一般有两类代理人：合作代理人和竞争代理人。在该算法中，每个代理更新其价值函数使用自己的行动和偏见的行动信息的其他代理在两个群体。通过假设所有合作主体共同最大化目标主体的价值函数，将合作主体的有偏联合行动计算为它们的实际联合行动与假想的合作联合行动之和。竞争主体的有偏联合作用可以类似地计算。然后，每个代理使用有偏的动作信息更新其自己的价值函数，从而产生有偏的价值函数和相应的有偏策略。随后，每个代理人的偏见政策不可避免地受到建议的行动，合作和竞争与其他代理人，从而引入更积极的互动代理和增强MARL策略学习。我们的经验表明，我们的算法优于现有的算法在各种混合的合作竞争环境。此外，随着训练的进行，引入的偏差逐渐减小，并且基于虚假设的校正消失。
2021-01-18 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Path Finding: Beyond Path Planning and Collision Avoidance
Technion（以色列理工学院）
我们介绍了合作多智能体路径寻找（Co-MAPF）问题，经典的MAPF问题的扩展，其中合作行为被纳入。在这种设置中，一组自主智能体在共享环境中操作，并且必须完成协作任务，同时避免与组中的其他智能体发生冲突。这个扩展自然地模拟了许多现实世界的应用程序，其中需要多组代理进行协作以完成给定的任务。为此，我们对Co-MAPF问题进行了形式化，并引入了基于冲突的协作搜索（Co-CBS），这是一种基于CBS的算法，用于为广泛的Co-MAPF问题最佳地解决该问题。Co-CBS使用集成到CBS中的协作规划模块，使得协作规划与路径规划解耦。最后，我们提出了实证结果几个MAPF基准证明我们的算法的属性。
2021-05-23 cs.AI cs.MA cs.RO
Cooperative Multi-agent Approach for Automated Computer Game Testing
Utrecht University（乌得勒支大学）；Umeå University（于默奥大学）
针对多人游戏冗长场景的自动化测试难题，本文提出协作式多智能体测试方法，并通过3D游戏 Lab Recruits 案例评估其加速多任务执行的性能。
2024-05-18 cs.AI cs.SE
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是，我们专注于获得分散的政策，代理，以最大限度地提高性能的合作任务的所有代理，这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络：（1）分散式贪婪策略网络，用于在训练和执行期间生成贪婪动作;（2）生成式合作策略网络（GCPN），用于在训练期间生成动作样本，以使其他代理改进其目标。我们表明，GCPN生成的样本，使其他代理更有效地探索政策空间，并有利地达成更好的政策，在实现合作任务。
2018-10-22 cs.AI cs.MA
Cooperative Game Theory within Multi-Agent Systems for Systems Scheduling
关于多智能体系统中的组织和协调的研究继续从各种架构和方法中汲取。本文提出的工作相结合的技术，从博弈论和多智能体系统产生自组织的，多态的，轻量级的，嵌入式代理系统调度在一个大规模的实时系统环境。结果表明，这种方法是如何使用实验产生最佳的实时调度，通过成千上万的代理的紧急行为。这些结果是使用SWARM模拟系统调度内的高能物理实验组成的2500个数字信号处理器。
2005-04-29 cs.AI cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Finding Core Members of Cooperative Games using Agent-Based Modeling
基于主体的建模（ABM）是一个强大的范式，以获得洞察社会现象。反弹道导弹很少应用的一个领域是联盟形成。传统上，联盟形成是用合作博弈理论建模的。在本文中，开发了一种启发式算法，可以嵌入到ABM，让代理人找到联盟。由此产生的联盟结构是可比的合作博弈论解决方案的方法，特别是，核心。一个启发式的方法是必需的，由于计算复杂性找到一个合作博弈论的解决方案，限制其应用到只有大约一个分数的代理。ABM范式提供了一个平台，在这个平台上，简单的规则和代理之间的交互可以产生宏观层面的效果，而无需大量的计算需求。因此，它可以是一个有效的手段，近似合作博弈的解决方案，大量的代理。我们的启发式算法结合了基于代理的建模和合作博弈论，以帮助找到代理分区的游戏的核心解决方案的成员。我们的启发式算法的准确性可以通过将其结果与实际的核心解决方案进行比较来确定。这种比较是通过开发一个实验来实现的，这个实验使用了一个叫做手套游戏的合作游戏的具体例子。手套博弈是一种交换经济博弈。寻找传统的合作博弈论的解决方案是计算密集型的大量球员，因为每个可能的分区必须比较每个可能的联盟，以确定核心集，因此我们的实验只考虑游戏多达9个球员。结果表明，我们的启发式方法实现了超过90%的时间在我们的实验中考虑的游戏的核心解决方案。
2020-08-30 cs.AI cs.MA econ.TH
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Learning Reward Machines in Cooperative Multi-Agent Tasks
Imperial College London（伦敦帝国学院）
本文提出一种结合合作任务分解与奖励机器（RMs）学习的多智能体强化学习方法，通过去中心化学习子任务RMs引导智能体行为，降低问题复杂度，提升部分可观测环境下学习有效性与策略可解释性。
2023-05-24 cs.AI cs.MA cs.SC
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
McGill University（麦吉尔大学）；OpenAI（开放人工智能研究中心）；UC Berkeley（加州大学伯克利分校）
我们探索多智能体领域的深度强化学习方法。我们首先分析了传统算法在多代理情况下的困难：Q-学习受到环境固有的非平稳性的挑战，而策略梯度受到随着代理数量增加而增加的方差的影响。然后，我们提出了一个适应的演员-评论家的方法，认为其他代理的行动政策，并能够成功地学习政策，需要复杂的多代理协调。此外，我们引入了一个训练方案，利用合奏的政策，每个代理，导致更强大的多代理政策。我们展示了我们的方法相比，现有的方法在合作以及竞争的情况下，代理人口能够发现各种物理和信息的协调策略的实力。
2020-03-14 cs.AI cs.LG cs.NE
Reward Design in Cooperative Multi-agent Reinforcement Learning for Packet Routing
Peking University（北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
在协作多智能体强化学习（MARL）中，如何设计合适的奖励信号来加速学习和稳定收敛是一个关键问题。全局奖励信号向所有代理分配相同的全局奖励，而不区分它们的贡献，而局部奖励信号仅基于个体行为向每个代理提供不同的局部奖励。这两种奖励分配方法都有一些缺点：前者可能会鼓励懒惰的代理，而后者可能会产生自私的代理。本文研究了基于分组路由环境的协作MARL中的报酬设计问题。首先，我们证明了上述两个奖励信号容易产生次优策略。然后，受一些观察和考虑的启发，我们设计了一些混合奖励信号，这些信号是现成的，可以学习更好的策略。最后，我们把混合的奖励信号转化为自适应的奖励信号，在我们的实验中取得了最好的效果。本文还讨论了其他奖励信号。由于奖励设计是RL中的一个非常基本的问题，特别是在MARL中，我们希望MARL研究人员能够重新考虑他们系统中使用的奖励。
2020-03-05 cs.AI cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich（慕尼黑大学）；MaibornWolff（迈博尔夫公司）
多智能体系统（MAS）中的决策是一个巨大的挑战，由于巨大的状态和联合行动空间以及不确定性，使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性，但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题，在复杂环境中会导致不稳定和不协调的行为。在本文中，我们提出了强紧急政策近似（STEP），一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此，我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合，只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间，并表明，STEP是能够学习更强的政策比标准的多智能体强化学习算法，结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中，以进一步提高性能。
2019-01-25 cs.AI cs.MA
QTypeMix: Enhancing Multi-Agent Cooperative Strategies through Heterogeneous and Homogeneous Value Decomposition
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对多智能体协作中异构策略学习难的问题，提出QTypeMix方法，通过同构-异构两阶段值分解、TE损失及注意力+超网络结构，在SMAC/SMACv2的14张地图上取得最优性能。
2024-08-12 cs.AI cs.MA
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
Cooperative Pathfinding based on memory-efficient Multi-agent RRT*
在合作寻路问题中，需要规划将多个智能体从其起始位置带到其目的地的无冲突路径。多智能体RRT*（MA-RRT*）算法可以有效地解决这个问题，该算法仍然是耦合方法领域的最新技术。然而，该算法的实现在内存有限的系统中受到阻碍，因为树中的节点数量随着路径的优化而无限增长。本文提出了一种改进的MA-RRT*，称为多代理RRT* 固定节点（MA-RRT*FN），它通过删除路径上不太可能到达目标的弱节点来限制树中存储的节点数量。结果表明，MA-RRT*FN在可扩展性和解决方案质量方面与MA-RRT* 接近，而所需的内存要低得多且固定。
2020-03-04 cs.AI cs.MA
Dual Self-Awareness Value Decomposition Framework without Individual Global Max for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对合作多智能体强化学习中IGM原则限制问题，提出双自感知价值分解框架，结合自我策略与 alter ego 价值函数并引入反自我探索机制，实现完全无需IGM的价值分解并在多任务中表现优异。
2023-05-17 cs.AI cs.LG cs.MA
Learning cooperative behaviours in adversarial multi-agent systems
Paris-Saclay University（巴黎萨克雷大学）；University of Lincoln（林肯大学）；University of York（约克大学）
这项工作扩展了现有的虚拟多智能体平台RoboSumo，以创建TripleSumo -一个用于研究多智能体在连续动作空间中的合作行为的平台，在对抗环境中进行物理接触。在本文中，我们调查的情况下，两个代理，即“错误”和“蚂蚁”，必须组队，并推动另一个代理“蜘蛛”的舞台。为了实现这一目标，新添加的代理“Bug”在“Ant”和“Spider”之间进行的比赛中进行训练。“Bug”必须发展对其他代理的行动的意识，推断双方的策略，并最终学习合作的行动策略。强化学习算法深度确定性策略梯度（DDPG）是通过结合密集和稀疏奖励的混合奖励结构来实现的。通过平均获胜概率和平均获胜所需的步骤数对合作行为进行定量评价。
2023-02-10 cs.AI cs.MA cs.RO
Game-theoretic Approach for Non-Cooperative Planning
Universitat Politècnica de València（瓦伦西亚理工大学）
当两个或多个自利的代理人在同一环境中执行他们的计划时，可能会出现冲突，例如，共同利用资源。在这种情况下，代理可以推迟执行特定的动作，如果这准时解决了冲突，或者它可以采取执行不同的计划，如果代理的回报显着减少，由于行动推迟。在本文中，我们提出了一个博弈论的方法，非合作规划，帮助执行前预测什么计划的时间表代理将采用，使所有代理的策略集构成一个纳什均衡。我们进行了一些实验，并讨论了我们的博弈论方法获得的解决方案，分析如何计划之间的冲突决定的代理商的战略行为。
2015-03-04 cs.AI cs.GT
Multi-robot Social-aware Cooperative Planning in Pedestrian Environments Using Multi-agent Reinforcement Learning
行人参与环境中多机器人安全、高效的协同规划具有广阔的应用前景。在部分变维观测和不完全感知条件下，提出了一种基于离策略多智能体强化学习（MARL）的多机器人社会感知高效协作规划器.我们采用基于时空图（TSG）的社会编码器，以更好地提取每个机器人和行人在其视野（FOV）的社会关系的重要性。此外，我们在多机器人RL框架中引入K步前瞻奖励设置，以避免机器人产生的侵略性，侵入性，短视和不自然的运动决策。此外，我们改进了传统的集中式评论家网络与多头全局注意力模块，更好地聚集不同机器人之间的局部观察信息，以指导个体的策略更新过程。最后，多组实验结果验证了所提出的协作运动规划器的有效性。
2022-11-29 cs.AI cs.RO
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Understanding Value Decomposition Algorithms in Deep Cooperative Multi-Agent Reinforcement Learning
Yale University（耶鲁大学）；University of Oxford（牛津大学）；Peking University（北京大学）；BIGAI（北京通用人工智能研究院）
价值函数分解正在成为一种流行的经验法则，用于在合作游戏中扩展多智能体强化学习（MARL）。对于这样的分解规则，必须假设个体-全局最大值（IGM）原则;也就是说，每个代理的分解价值函数上的局部最大值必须等于联合价值函数上的全局最大值。然而，这一原则并不一定在一般情况下成立。因此，值分解算法的适用性被掩盖，其相应的收敛特性仍然未知。在本文中，我们首次尝试回答这些问题。具体来说，我们引入了一组合作博弈的价值分解方法找到他们的有效性，这是被称为可分解的游戏。在可分解博弈中，我们从理论上证明了应用多智能体拟合Q迭代算法（MA-FQI）将导致最优Q函数。在不可分解对策中，在Q函数每次迭代都需要投影到可分解函数空间的情况下，MA-FQI估计的Q函数仍能收敛到最优解。在这两种情况下，我们考虑实际深度神经网络的价值函数表示，并推导出相应的收敛速度。总之，我们的研究结果首次为MARL从业者提供了关于价值分解算法何时收敛以及为什么它们表现良好的理论见解。
2022-02-16 cs.AI cs.LG stat.ML
A Comprehensive Survey on Multi-Agent Cooperative Decision-Making: Scenarios, Approaches, Challenges and Perspectives
The University of Hong Kong (HKU)（香港大学）；Imperial College London（伦敦帝国学院）；National Heart and Lung Institute, Imperial College London（伦敦帝国学院国家心肺研究所）；Cardiovascular Research Centre, Royal Brompton Hospital（皇家布朗普顿医院心血管研究中心）
该综述梳理多智能体协同决策的场景、方法等，重点分析深度多智能体强化学习与大语言模型驱动的多智能体方法，同时指出领域挑战与未来研究方向。
2026-09-01 cs.AI cs.MA
Competing LLM Agents in a Non-Cooperative Game of Opinion Polarisation
The University of Western Australia（西澳大学）；Lahore University of Management Sciences（拉合尔管理科学大学）；Macquarie University（麦考瑞大学）
该研究提出纳入社会心理学原理的意见极化非合作博弈框架，通过LLM智能体竞争模拟验证了证实偏差高低对意见极化的不同影响，以及高资源辟谣策略的短期效果与长期风险。
2025-08-31 cs.AI cs.SI
How to solve a classification problem using a cooperative tiling Multi-Agent System?
Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）；UT1（图卢兹第一大学）；Citec Ingénieurs Conseil（赛泰克工程咨询公司）
自适应多智能体系统（AMAS）将动态问题转化为智能体之间的局部协作问题。我们提出了smappy，一个基于集成的AMAS实现的移动性预测，其代理提供了机器学习模型，除了他们的合作规则。通过详细的方法，我们提出了一个框架，将分类问题转化为输入变量空间的合作平铺。我们表明，它是可能的使用线性分类器在线非线性分类的三个基准玩具问题，选择他们的不同水平的线性可分性，如果他们被集成在一个合作的多智能体结构。所获得的结果表明，在非线性背景下的分类精度和决策边界，由于合作的方法的线性分类器的性能显着改善。
2022-09-15 cs.AI cs.LG cs.MA
Adaptive Value Decomposition with Greedy Marginal Contribution Computation for Cooperative Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
现实世界的合作往往需要代理之间同时进行密集的协调。这个任务已经在协作多智能体强化学习（MARL）的框架内得到了广泛的研究，价值分解方法是这些前沿解决方案之一。然而，传统的方法，学习的价值函数作为一个单调混合的每个代理效用不能解决的任务与非单调的回报。这阻碍了它们在一般情况下的应用。最近的方法从隐式信用分配的角度来解决这个问题，通过学习具有完全表达性的价值函数或使用附加结构来改善合作。然而，他们要么是难以学习，由于大的联合行动空间或不足以捕捉复杂的互动代理，这是必不可少的解决任务的非单调回报。为了解决这些问题，我们提出了一种新的显式信用分配方法来解决非单调问题。我们的方法，自适应值分解与贪婪的边际贡献（AVGM），是基于自适应值分解，学习一组动态变化的代理的合作价值。我们首先说明，建议的值分解可以考虑代理之间的复杂的相互作用，是可行的，在大规模的情况下学习。然后，我们的方法使用一个贪婪的边际贡献计算的价值分解作为个人信用，激励代理学习最优的合作策略。我们进一步扩展了模块的动作编码器，以保证计算贪婪边际贡献的线性时间复杂度。实验结果表明，我们的方法实现了显着的性能改善，在几个非单调域。
2023-02-14 cs.AI cs.MA cs.RO
Multi-agent RRT*: Sampling-based Cooperative Pathfinding (Extended Abstract)
Czech Technical University in Prague（捷克布拉格技术大学）；Delft University of Technology（代尔夫特理工大学）
合作寻路是为多个移动代理寻找一组不冲突的轨迹的问题。它的应用包括移动机器人团队的规划，如自主飞机，汽车或水下航行器。用于协作寻路的最先进的算法通常依赖于一些启发式前向搜索寻路技术，其中A* 通常是选择的算法。在这里，我们提出了MA-RRT*，一种新的算法，多代理路径规划，建立在最近提出的渐近最优采样为基础的算法，寻找单代理最短路径称为RRT*。我们实验评估的算法的性能，并表明，基于采样的方法提供了更好的可扩展性比经典的前向搜索方法在相对较大，但稀疏的环境，这是典型的在现实世界中的应用，如多飞机防撞。
2013-02-12 cs.AI cs.MA cs.RO
Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）；University of Virginia（弗吉尼亚大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；MPI for Intelligent Systems, Tübingen（图宾根智能系统研究所）；AI Center（人工智能中心）
提出Colosseum框架，通过形式化决策框架和基于遗憾的度量审计LLM智能体在合作多智能体系统中的合谋行为，发现大多数模型存在新兴合谋倾向，并观察到“纸上合谋”现象。
2026-05-27 cs.AI cs.CL cs.MA
Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
将多智能体强化学习扩展到大量智能体的主要障碍之一是为单个智能体的行为分配信用。在本文中，我们解决这个信用分配问题的方法，我们称之为\textit{partial reward decoupling}（PRD），它试图将大型合作多代理RL问题分解为解耦的子问题，涉及代理的子集，从而简化信用分配。我们的经验表明，使用PRD分解RL问题的演员-评论家算法的结果在较低的方差策略梯度估计，提高数据效率，学习稳定性，并在广泛的多代理RL任务的渐近性能，相比其他各种演员-评论家的方法。此外，我们将我们的方法与反事实的多代理策略梯度（COMA），一个国家的最先进的MARL算法，并实证表明，我们的方法优于COMA更好地利用代理的奖励流中的信息，并使最新进展的优势估计使用。
2021-12-23 cs.AI cs.LG cs.RO
Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文针对协作式多智能体多臂赌博机问题，提出一种简单有效的通信策略并集成到学习算法中，同时实现了最优个体遗憾和恒定通信成本，弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering（电气与信息工程学院）
针对CTDE框架中智能体信息评估与全局协作受限的挑战，提出基于信息选择和默契学习的合作型MARL新框架，通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据，天真的团队奖励最大化产生不公平的结果，为个别团队成员的动机。为了解决多智能体环境中的公平性问题，我们引入了团队公平性，这是一种基于组的多智能体学习公平性度量。然后，我们证明了它是可能的，以加强团队的公平性，在政策优化过程中，通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性（Fair-E），并以经验证明其有效性。然后，我们引入公平通过等变正则化（公平ER）作为公平E的软约束版本，并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后，我们提出了新的发现，在多代理设置的公平性效用权衡，显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments
HSE University（高等经济大学）；JetBrains Research（JetBrains研究院）
最近的强化学习研究广泛探讨了混合环境中合作和竞争行为之间的相互作用。与合作环境中的代理人努力实现共同目标不同，混合环境因自私和社会利益的冲突而臭名昭着。因此，纯粹理性的行为者往往很难实现和维持合作。诱导合作行为的一种普遍方法是根据其他代理人的福利分配额外的奖励。然而，这种方法受到多代理信用分配的问题，这可能会阻碍性能。在协同设置中，QMIX和COMA等最先进的算法有效地缓解了这个问题。尽管如此，当应用于混合环境时，这些算法可能会导致不公平的奖励分配。我们提出了BAROCCO，这些算法的扩展能够平衡个人和社会的激励。BAROCCO背后的机制是训练两个不同但相互交织的组件，共同影响每个代理的决策。我们的元算法兼容Q学习和Actor-Critic框架。我们通过实验证实了现有方法的优势，并在两个混合的多智能体设置的行为方面的BAROCCO探索。
2021-02-24 cs.AI cs.LG cs.MA
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
MASH: Cooperative-Heterogeneous Multi-Agent Reinforcement Learning for Single Humanoid Robot Locomotion
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）；Guangdong Key Laboratory of Intelligent Morphing Mechanisms and Adaptive Robotics and School of Intelligence Science and Engineering, the Harbin Institute of Technology Shenzhen（智能变形机制与适应机器人重点实验室和智能科学与工程学院，哈尔滨工业大学深圳）
本文提出MASH方法，将单个人形机器人的四肢视为独立智能体并共享全局评论家进行协作-异构多智能体强化学习，有效加速了训练收敛并提升了全身协作能力，优于传统单智能体方法。
2025-08-14 cs.AI cs.RO cs.SY
Option-Critic in Cooperative Multi-agent Systems
McGill University（麦吉尔大学）；Mila；Université de Montréal（蒙特利尔大学）；DeepMind
在本文中，我们研究学习时间抽象的合作多智能体系统，使用的选项框架（萨顿等，1999年）。首先，我们解决的分散POMDP的多智能体系统所代表的规划问题，通过引入一个\emph{common information approach}。我们使用\emph{common beliefs}和广播的概念来解决一个等价的集中式POMDP问题。然后，我们提出了分布式期权评价（DOC）算法，它使用集中式期权评价和分散式期权内改进。我们从理论上分析了DOC的渐近收敛性，并建立了一个新的多智能体环境，以证明其有效性。我们的实验经验表明，DOC执行竞争力对基线和规模的代理商的数量。
2020-03-19 cs.AI cs.MA cs.SY
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Descent-Guided Policy Gradient for Scalable Cooperative Multi-Agent Learning
National University of Singapore（新加坡国立大学）
本文提出Descent-Guided Policy Gradient方法，通过利用可微解析模型降低梯度方差，实现协作多智能体学习的可扩展性，验证了在200个智能体任务中收敛性能。
2026-09-29 cs.AI cs.LG cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种考虑协作的评估视角，通过STAT测试平台评估六种价值导向的MARL方法，揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Cooperative Artificial Intelligence
University College London（伦敦大学学院）
在未来，人工学习代理可能会在我们的社会中变得越来越普遍。他们将在各种复杂的环境中与其他学习代理和人类互动，包括社会困境。我们认为，有必要对博弈论和人工智能之间的交叉点进行研究，目标是实现合作的人工智能，可以很好地导航社会困境。我们考虑的问题是，外部代理如何通过观察学习者的行为来分配额外的奖励和惩罚，从而促进人工学习者之间的合作。我们提出了一个规则，自动学习如何通过考虑每个代理的预期参数更新创建正确的激励。使用这种学习规则导致在矩阵博弈中具有高社会福利的合作，否则代理将以高概率学习背叛。我们表明，即使在给定的情节数后关闭规划代理，在某些游戏中所产生的合作结果是稳定的，而其他游戏需要持续的干预，以保持相互合作。最后，我们首先反思了多智能体强化学习的目标，并讨论了构建合作AI目标的必要构建模块。
2022-02-20 cs.AI cs.GT cs.MA
Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning
California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
GMFS通过子采样异质智能体交互，实现可扩展的协作多智能体强化学习，具有poly(κ)样本复杂度和O(1/√κ)最优性差距。
2026-02-18 cs.AI cs.LG cs.MA
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh（爱丁堡大学）
多智能体深度强化学习（MARL）缺乏常用的评估任务和标准，使得方法之间的比较变得困难。在这项工作中，我们提供了一个系统的评估和比较三个不同类别的MARL算法（独立学习，集中式多智能体策略梯度，价值分解）在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，它扩展了PyMARL代码库，以包含其他算法，并允许灵活配置算法实现细节，如参数共享。最后，我们开源两个环境的多智能体的研究，重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Optimizing Cooperative path-finding: A Scalable Multi-Agent RRT* with Dynamic Potential Fields
Chongqing University of Science and Technology（重庆科技学院）；Chongqing University（重庆大学）
针对多智能体协同寻路在复杂环境中的可扩展性瓶颈，提出结合动态势场与启发式方法的MA-RRT*PF算法，有效提升了密集场景下的计算效率与解质量。
2024-07-29 cs.AI cs.MA cs.RO
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
