Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization
California Institute of Technology（加州理工学院）；Tencent AI Lab（腾讯人工智能实验室）
本文提出分布鲁棒IGM原则，改进价值因子化架构以提升鲁棒性和现实适应性。
2026-02-11 cs.AI cs.MA
Fully Decentralized Cooperative Multi-Agent Reinforcement Learning: A Survey
Peking University（北京大学）
本文系统综述了完全去中心化协作多智能体强化学习方法，涵盖共享奖励与个体奖励之和两种优化目标，并探讨了开放问题与未来方向。
2024-01-10 cs.AI cs.LG cs.MA
Learning to Cooperate with Unseen Agent via Meta-Reinforcement Learning
Vidyasirimedhi Institute of Science and Technology（威迪亚西里梅迪科学技术研究所）
特设团队合作问题描述的情况下，一个代理人必须与以前看不见的代理人合作，以实现一个共同的目标。为了使代理在这些场景中取得成功，它必须具有适当的合作技能。人们可以通过使用领域知识来设计代理的行为，将合作技能实现到代理中。然而，在复杂的领域，领域知识可能是不可用的。因此，如何从数据中直接学习合作技能是值得探讨的。在这项工作中，我们应用Meta强化学习（元RL）制定的背景下，特设团队合作的问题。我们的实证结果表明，这样的方法可以产生强大的合作代理在两个合作环境不同的合作情况：社会顺应性和语言解释。(This是扩展抽象版本的全文。）
2021-11-05 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Bandits with Heavy Tails
Media Lab and Institute for Data, Systems and Society, Massachusetts Institute of Technology（麻省理工学院媒体实验室与数据、系统与社会研究所）
我们研究了合作多智能体环境中的重尾随机强盗问题，其中一组智能体与一个共同的强盗问题进行交互，同时在具有延迟的网络上进行通信。在这种情况下，现有的随机强盗算法利用置信区间所产生的平均为基础的通信协议称为~ \textit{running consensus}，这并不适合自己的鲁棒估计重尾设置。我们提出了\textsc{MP-UCB}，一个分散的多智能体算法的合作随机土匪，采用了强大的估计与消息传递协议。我们证明了\textsc{MP-UCB}的几个问题设置的最佳遗憾界，也证明了它的优越性，现有的方法。此外，我们建立了合作的强盗问题的第一个下界，除了提供有效的鲁棒的强盗位置估计算法。
2020-08-14 cs.LG cs.MA stat.ML
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics（伦敦政治经济学院）
针对协作多智能体系统的分组配对问题，提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法，可同时学习最优分组与智能体策略，实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
An Improved Multi-Agent Algorithm for Cooperative and Competitive Environments by Identifying and Encouraging Cooperation among Agents
Nanjing University（南京大学）；Dalian University of Technology（大连理工大学）
针对多智能体强化学习现有算法的不足，基于MADDPG引入合作奖励参数，在PettingZoo环境中验证其相比原算法提升了智能体的团队及个体奖励，改进了协作与竞争场景下的性能。
2025-08-19 cs.AI cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
How to solve a classification problem using a cooperative tiling Multi-Agent System?
Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）；UT1（图卢兹第一大学）；Citec Ingénieurs Conseil（赛泰克工程咨询公司）
自适应多智能体系统（AMAS）将动态问题转化为智能体之间的局部协作问题。我们提出了smappy，一个基于集成的AMAS实现的移动性预测，其代理提供了机器学习模型，除了他们的合作规则。通过详细的方法，我们提出了一个框架，将分类问题转化为输入变量空间的合作平铺。我们表明，它是可能的使用线性分类器在线非线性分类的三个基准玩具问题，选择他们的不同水平的线性可分性，如果他们被集成在一个合作的多智能体结构。所获得的结果表明，在非线性背景下的分类精度和决策边界，由于合作的方法的线性分类器的性能显着改善。
2022-09-15 cs.AI cs.LG cs.MA
CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Honda Research Institute（本田研究院）；Toyota Research Institute（丰田研究院）
各种合作的多智能体控制问题，需要代理，以实现个人的目标，同时有助于集体的成功。这种多目标的多代理设置带来了困难，最近的算法，主要是目标设置与一个单一的全球奖励，由于两个新的挑战：有效的探索学习个人目标的实现和合作，为他人的成功，和信用分配的行动和目标之间的相互作用不同的代理。为了解决这两个挑战，我们将问题重组成一个新的两阶段的课程，在学习多智能体合作之前，学习单智能体的目标实现，我们推导出一个新的多目标多智能体的策略梯度与信贷功能本地化信用分配。我们使用一个功能增强计划，以桥梁价值和政策功能的课程。完整的架构，称为CM3，学习速度显着快于现有算法的三个具有挑战性的多目标多智能体问题的直接适应：在困难的编队合作导航，谈判多车辆车道变化的SUMO交通模拟器，和战略合作在一个bankers环境。
2020-01-24 cs.LG cs.MA stat.ML
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology（佐治亚理工学院）；Electronic Arts（美国艺电）；EA Digital Platform, Data & AI（艺电数字平台数据与人工智能部门）
在专业团队运动中，人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能，从而实现高水平的协调。作为一个步骤，创造智能代理具有这种能力的充分合作的多智能体设置，我们提出了一个两级分层多智能体强化学习（MARL）算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能，而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励，这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性，而不需要为每个技能手工制作奖励。对于可扩展的分散执行，每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略，并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明，有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
Cooperative Multi-agent Bandits: Distributed Algorithms with Optimal Individual Regret and Constant Communication Costs
Nanjing University（南京大学）；The Chinese University of Hong Kong（香港中文大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文针对协作式多智能体多臂赌博机问题，提出一种简单有效的通信策略并集成到学习算法中，同时实现了最优个体遗憾和恒定通信成本，弥补了领导者-跟随者与完全分布式两类现有范式的不足。
2023-08-08 cs.AI cs.LG stat.ML
Tacit Learning with Adaptive Information Selection for Cooperative Multi-Agent Reinforcement Learning
College of Electrical and Information Engineering（电气与信息工程学院）
针对CTDE框架中智能体信息评估与全局协作受限的挑战，提出基于信息选择和默契学习的合作型MARL新框架，通过隐式协调和门控机制提升无通信环境下的决策与协作能力。
2024-12-24 cs.AI cs.LG cs.MA
Developing cooperative policies for multi-stage tasks
Queensland University of Technology (QUT)（昆士兰科技大学）
本文提出了一种合作软演员批评（CSAC）的方法，使连续的强化学习代理合作解决一个长时间跨度的多阶段任务。这种方法是通过修改每个代理的策略来最大化当前和下一个代理的批评来实现的。合作最大化每个代理的批评允许每个代理采取行动，这是有益的任务以及后续任务。在多房间迷宫域中使用这种方法，合作策略能够胜过不合作策略以及在整个域中训练的单个代理。CSAC的成功率比非合作策略高出至少20%，并且收敛到解决方案的速度比单个代理至少快4倍。
2020-07-01 cs.LG stat.ML
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据，天真的团队奖励最大化产生不公平的结果，为个别团队成员的动机。为了解决多智能体环境中的公平性问题，我们引入了团队公平性，这是一种基于组的多智能体学习公平性度量。然后，我们证明了它是可能的，以加强团队的公平性，在政策优化过程中，通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性（Fair-E），并以经验证明其有效性。然后，我们引入公平通过等变正则化（公平ER）作为公平E的软约束版本，并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后，我们提出了新的发现，在多代理设置的公平性效用权衡，显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
Cooperative Multi-Agent Planning: A Survey
Czech Technical University in Prague（布拉格捷克理工大学）
合作多智能体规划（MAP）是一个相对较新的研究领域，它结合了人工智能规划和多智能体系统社区开发的技术、算法和技术。虽然规划通常被视为一个单一的代理任务，MAP概括了这一概念，考虑多个智能代理合作开发一个行动过程，满足组的目标。本文回顾了最相关的MAP方法，重点关注参加2015年分布式和多智能体规划竞赛的求解器，并根据其关键特征和相对性能对其进行分类。
2017-11-24 cs.AI cs.MA
Mixed Cooperative-Competitive Communication Using Multi-Agent Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）
通过在多智能体环境中使用多个智能体之间的通信，可以通过将一个智能体的观察与同一动态环境中的其他智能体的观察相结合来减少部分可观察性的影响。虽然许多成功的研究已经完成了对合作环境中的沟通学习，在混合合作竞争环境中的沟通学习也很重要，并带来了自己的复杂性，如对方团队偷听的沟通。在本文中，我们应用微分代理间学习（DIAL），合作设置，一个混合的合作竞争环境。我们研究了一个团队的私密通信和另一个团队可以偷听到的通信之间的性能差异。我们的研究表明，在我们选择的环境中，经过给定的训练期后，通信代理能够实现与完全可观察代理相似的性能。总的来说，我们发现，跨团队共享通信的结果在降低性能的沟通团队相比，实现与私人通信的结果。
2021-10-29 cs.LG cs.MA
Delay-Aware Multi-Agent Reinforcement Learning for Cooperative and Competitive Environments
State Key Laboratory of Automotive Safety and Energy, Tsinghua University（清华大学汽车安全与节能国家重点实验室）；Carnegie Mellon University（卡内基梅隆大学）
在现实世界的信息物理系统中，行动和观测延迟是普遍存在的，这给强化学习的设计带来了挑战。这是一个艰巨的任务时，处理多代理系统，其中一个代理的延迟可能会蔓延到其他代理。为了解决这个问题，本文提出了一种新的框架来处理延迟以及非平稳训练问题的多智能体任务与无模型的深度强化学习。我们正式定义的延迟意识马尔可夫博弈，包括在环境中的所有代理的延迟。为了解决延迟感知马尔可夫博弈，我们采用集中式训练和分散式执行，允许代理使用额外的信息来缓解多代理系统在训练过程中的非平稳性问题，而无需在执行过程中使用集中式控制器。实验在多智能体粒子环境中进行，包括合作通信，合作导航和竞争实验。我们还测试了所提出的算法在交通场景中，需要协调的所有自动驾驶车辆，以显示延迟意识的实用价值。实验结果表明，所提出的时延感知多智能体强化学习算法有效地抑制了时延带来的性能下降.代码和演示视频可在https://github.com/baimingc/delay-aware-MARL上获得。
2020-08-29 cs.LG cs.MA stat.ML
Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments
HSE University（高等经济大学）；JetBrains Research（JetBrains研究院）
最近的强化学习研究广泛探讨了混合环境中合作和竞争行为之间的相互作用。与合作环境中的代理人努力实现共同目标不同，混合环境因自私和社会利益的冲突而臭名昭着。因此，纯粹理性的行为者往往很难实现和维持合作。诱导合作行为的一种普遍方法是根据其他代理人的福利分配额外的奖励。然而，这种方法受到多代理信用分配的问题，这可能会阻碍性能。在协同设置中，QMIX和COMA等最先进的算法有效地缓解了这个问题。尽管如此，当应用于混合环境时，这些算法可能会导致不公平的奖励分配。我们提出了BAROCCO，这些算法的扩展能够平衡个人和社会的激励。BAROCCO背后的机制是训练两个不同但相互交织的组件，共同影响每个代理的决策。我们的元算法兼容Q学习和Actor-Critic框架。我们通过实验证实了现有方法的优势，并在两个混合的多智能体设置的行为方面的BAROCCO探索。
2021-02-24 cs.AI cs.LG cs.MA
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
Cooperative Heterogeneous Deep Reinforcement Learning
AAII,University of Technology Sydney（悉尼科技大学AAII）；National University of Singapore（新加坡国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）
已经提出了许多深度强化学习代理，每个代理都有其优点和缺陷。在这项工作中，我们提出了一个合作异构深度强化学习（CHDRL）框架，可以通过整合异构代理的优势来学习策略。具体来说，我们提出了一个协作学习框架，异构代理分为两类：全球代理和本地代理。全局代理是可以利用其他代理的经验的非策略代理。本地代理是基于策略的代理或基于种群的进化算法（EA）代理，可以有效地探索本地区域。我们采用样本有效的全局代理来指导本地代理的学习，以便本地代理可以从样本有效代理中受益并同时保持其优势，例如，稳定全球代理商也受益于有效的本地搜索。对Mujoco基准的一系列连续控制任务的实验研究表明，与最先进的基线相比，CHDRL实现了更好的性能。
2020-11-02 cs.AI cs.LG
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）
在多智能体强化学习中，通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中，由于网络条件随代理的移动性和传输过程的随机性而变化，通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略，解决三个基本问题：（1）当：代理学习的通信时间不仅基于消息的重要性，但也无线信道条件。(2)内容：代理通过无线网络测量增加消息内容，以更好地选择游戏和通信动作。(3)如何：代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息，而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试，我们显示出显着的改进，在游戏性能，收敛速度和通信效率相比，国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Information State Embedding in Partially Observable Cooperative Multi-Agent Reinforcement Learning
Coordinated Science Laboratory, University of Illinois（伊利诺伊大学厄巴纳-香槟分校协调科学实验室）
部分可观测性下的多智能体强化学习（MARL）长期以来一直被认为是具有挑战性的，这主要是由于要求每个智能体在所有其他智能体的本地历史上保持信念-这是一个通常随时间呈指数增长的领域。在这项工作中，我们研究了一个部分可观察的MARL问题，其中代理是合作的。为了使易于处理的算法的发展，我们引入了信息状态嵌入的概念，用于压缩代理的历史。我们量化压缩误差如何影响分散控制的价值函数。此外，我们提出了一个基于递归神经网络（RNNs）的嵌入实例。然后将嵌入用作近似信息状态，并且可以馈送到任何MARL算法中。所提出的嵌入-然后-学习管道打开了现有（部分可观察）MARL算法的黑盒子，使我们能够建立一些理论保证（价值函数的误差界），同时仍然可以通过许多端到端方法实现有竞争力的性能。
2020-08-17 cs.AI cs.LG cs.MA
Descent-Guided Policy Gradient for Scalable Cooperative Multi-Agent Learning
National University of Singapore（新加坡国立大学）
本文提出Descent-Guided Policy Gradient方法，通过利用可微解析模型降低梯度方差，实现协作多智能体学习的可扩展性，验证了在200个智能体任务中收敛性能。
2026-09-29 cs.AI cs.LG cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种考虑协作的评估视角，通过STAT测试平台评估六种价值导向的MARL方法，揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Learning Emergent Discrete Message Communication for Cooperative Reinforcement Learning
Stanford University（斯坦福大学）；MIT Lincoln Lab（麻省理工学院林肯实验室）
在多智能体强化学习（MARL）中，通信是保证智能体协同工作的重要因素。大多数以前的工作使用连续的消息通信，其高代表性的能力是以牺牲可解释性。允许智能体学习来自不同领域的离散消息通信协议，可以提高设计人员和其他智能体的可解释性，本文提出了一种生成类似人类语言的离散消息的方法，并通过基于自我注意的广播和收听机制实现通信。我们表明，离散消息通信的性能可比连续消息通信，但与一个小得多的词汇大小。此外，我们提出了一种方法，允许人类交互式地发送离散消息的代理。
2021-02-24 cs.AI cs.LG cs.MA
Graphon Mean-Field Subsampling for Cooperative Heterogeneous Multi-Agent Reinforcement Learning
California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）
GMFS通过子采样异质智能体交互，实现可扩展的协作多智能体强化学习，具有poly(κ)样本复杂度和O(1/√κ)最优性差距。
2026-02-18 cs.AI cs.LG cs.MA
AIR: Unifying Individual and Collective Exploration in Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出基于身份识别的自适应探索方法 AIR，通过身份分类器与动作选择器的对抗机制，在合作多智能体强化学习中统一并促进个体与集体探索，提升训练效率与任务表现。
2024-12-30 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Path Finding: Beyond Path Planning and Collision Avoidance
Technion（以色列理工学院）
我们介绍了合作多智能体路径寻找（Co-MAPF）问题，经典的MAPF问题的扩展，其中合作行为被纳入。在这种设置中，一组自主智能体在共享环境中操作，并且必须完成协作任务，同时避免与组中的其他智能体发生冲突。这个扩展自然地模拟了许多现实世界的应用程序，其中需要多组代理进行协作以完成给定的任务。为此，我们对Co-MAPF问题进行了形式化，并引入了基于冲突的协作搜索（Co-CBS），这是一种基于CBS的算法，用于为广泛的Co-MAPF问题最佳地解决该问题。Co-CBS使用集成到CBS中的协作规划模块，使得协作规划与路径规划解耦。最后，我们提出了实证结果几个MAPF基准证明我们的算法的属性。
2021-05-23 cs.AI cs.MA cs.RO
Consensus Learning for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
几乎所有无通信的多智能体强化学习算法都遵循集中训练、分散执行的原则。在集中式训练期间，代理可以由相同的信号（例如全局状态）指导。然而，在分散执行期间，代理人缺乏共享信号。受视点不变性和对比学习的启发，本文提出了协作多智能体强化学习的一致性学习方法。虽然基于局部观察，但不同的智能体可以在离散空间中推断出相同的共识。在去中心化执行过程中，我们将推断出的共识作为对代理网络的明确输入，从而培养他们的合作精神。我们提出的方法可以扩展到各种多智能体强化学习算法与小的模型变化。此外，我们在一些完全合作的任务上进行了测试，并得到了令人信服的结果。
2022-12-07 cs.AI cs.MA
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
提出LMAC框架，利用大语言模型的推理能力设计通信协议，使所有智能体尽可能准确一致地重建底层状态，从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Toward Risk-based Optimistic Exploration for Cooperative Multi-Agent Reinforcement Learning
Korea Military Academy（韩国陆军士官学校）；KAIST（韩国科学技术院）
多代理设置是复杂和不可预测的，因为多个代理的行为相互影响。为了解决这种环境的不确定性，分布式强化学习算法，通过分布式输出结合不确定性已被集成与多智能体强化学习（MARL）方法，实现国家的最先进的性能。然而，分布式MARL算法仍然依赖于传统的$ε$ -贪婪，没有考虑合作策略。在本文中，我们提出了一个基于风险的探索，导致合作乐观的行为，通过改变分布的采样区域。最初，我们从状态-动作值的上分位数中提取期望值进行探索，这是乐观的动作，并逐渐将分位数的采样区域转移到全分布进行开发。通过确保每个代理都暴露在相同的风险水平下，我们可以迫使他们采取合作的乐观行动。我们的方法显示出显着的性能，在多代理设置需要合作的探索分位数回归的基础上适当控制风险水平。
2023-03-03 cs.LG cs.MA
Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Nvidia Research（英伟达研究院）；Technion Institute of Technology（以色列理工学院）
协作多智能体强化学习（MARL）面临着显着的可扩展性问题，由于状态和动作空间是指数大的代理的数量。随着环境规模的增长，有效的信用分配变得越来越困难，并经常导致不可行的学习时间。尽管如此，在许多现实环境中，仍然存在简化的底层动态，可以用于更具可扩展性的解决方案。在这项工作中，我们有效地利用这种局部结构，同时保持全球合作。我们提出了一种新的，基于值的多代理算法称为LOMAQ，它采用了本地奖励的集中式训练分散执行范式。此外，我们提供了一个直接的奖励分解方法，找到这些局部奖励时，只有一个全球性的信号提供。我们根据经验测试了我们的方法，表明与其他方法相比，它具有很好的扩展性，显着提高了性能和收敛速度。
2021-09-22 cs.AI cs.LG cs.MA
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination
Tencent AI Lab（腾讯人工智能实验室）
针对合作多智能体强化学习中缺乏显式共识易致协调失误的问题，提出基于自监督生成模型的MAGI框架，通过想象共同高价值未来状态引导智能体达成共识，缓解维数灾难，在多个环境中提升了样本效率与性能。
2024-03-05 cs.AI cs.LG
Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
基于价值的多智能体强化学习（MARL）方法，特别是价值分解方法，已经在一系列具有挑战性的协作任务中得到了验证。然而，目前的方法很少关注代理之间的交互，这是必不可少的团队合作在游戏或现实生活中。这在两个方面限制了基于值的MARL算法的效率：协作探索和价值函数估计。本文提出了一种新的协作MARL算法--交互式actor-critic~（IAC），它从策略和价值函数的角度对Agent之间的交互进行建模。在策略方面，引入了多智能体联合随机策略，采用了一个协作探索模块，通过最大化熵正则化的期望收益来训练。在价值方面，我们使用共享注意力机制来估计每个代理的价值函数，它考虑了队友的影响。在实现层面上，我们扩展的价值分解方法，连续控制任务和评估IAC的基准任务，包括经典的控制和多智能体粒子环境。实验结果表明，我们的方法优于国家的最先进的方法，并取得更好的性能方面的合作。
2021-02-10 cs.AI cs.LG
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是，我们专注于获得分散的政策，代理，以最大限度地提高性能的合作任务的所有代理，这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络：（1）分散式贪婪策略网络，用于在训练和执行期间生成贪婪动作;（2）生成式合作策略网络（GCPN），用于在训练期间生成动作样本，以使其他代理改进其目标。我们表明，GCPN生成的样本，使其他代理更有效地探索政策空间，并有利地达成更好的政策，在实现合作任务。
2018-10-22 cs.AI cs.MA
Finding Core Members of Cooperative Games using Agent-Based Modeling
基于主体的建模（ABM）是一个强大的范式，以获得洞察社会现象。反弹道导弹很少应用的一个领域是联盟形成。传统上，联盟形成是用合作博弈理论建模的。在本文中，开发了一种启发式算法，可以嵌入到ABM，让代理人找到联盟。由此产生的联盟结构是可比的合作博弈论解决方案的方法，特别是，核心。一个启发式的方法是必需的，由于计算复杂性找到一个合作博弈论的解决方案，限制其应用到只有大约一个分数的代理。ABM范式提供了一个平台，在这个平台上，简单的规则和代理之间的交互可以产生宏观层面的效果，而无需大量的计算需求。因此，它可以是一个有效的手段，近似合作博弈的解决方案，大量的代理。我们的启发式算法结合了基于代理的建模和合作博弈论，以帮助找到代理分区的游戏的核心解决方案的成员。我们的启发式算法的准确性可以通过将其结果与实际的核心解决方案进行比较来确定。这种比较是通过开发一个实验来实现的，这个实验使用了一个叫做手套游戏的合作游戏的具体例子。手套博弈是一种交换经济博弈。寻找传统的合作博弈论的解决方案是计算密集型的大量球员，因为每个可能的分区必须比较每个可能的联盟，以确定核心集，因此我们的实验只考虑游戏多达9个球员。结果表明，我们的启发式方法实现了超过90%的时间在我们的实验中考虑的游戏的核心解决方案。
2020-08-30 cs.AI cs.MA econ.TH
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Developing cooperative policies for multi-stage reinforcement learning tasks
Queensland University of Technology（昆士兰科技大学）；Queensland Centre of Robotics（昆士兰机器人中心）
许多分层强化学习算法利用一系列独立的技能作为基础，以解决更高层次的推理任务。这些算法没有考虑使用合作技能而不是独立技能的价值。本文提出了一种协作竞争策略（CCP）方法，使连续的智能体能够协作解决长时间范围的多阶段任务。这种方法是通过修改每个代理的策略来最大化当前和下一个代理的批评来实现的。合作最大化的批评者允许每个代理采取行动，有利于其任务以及后续任务。在多房间迷宫域和孔操作域中使用这种方法，合作策略能够胜过一组天真的策略，在整个域中训练的单个代理，以及另一个顺序HRL算法。
2022-05-11 cs.AI cs.LG
Cooperative Game Theory within Multi-Agent Systems for Systems Scheduling
关于多智能体系统中的组织和协调的研究继续从各种架构和方法中汲取。本文提出的工作相结合的技术，从博弈论和多智能体系统产生自组织的，多态的，轻量级的，嵌入式代理系统调度在一个大规模的实时系统环境。结果表明，这种方法是如何使用实验产生最佳的实时调度，通过成千上万的代理的紧急行为。这些结果是使用SWARM模拟系统调度内的高能物理实验组成的2500个数字信号处理器。
2005-04-29 cs.AI cs.MA
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida（中佛罗里达大学）
星际争霸II多智能体挑战赛（SMAC）是协作多智能体强化学习（MARL）的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题，并假设每个单元都由一个学习代理单独控制，该学习代理独立行动，只拥有本地信息;集中式训练假设与分散式执行（CTDE）一起发生。为了在SMAC中取得良好的性能，MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix，基于变压器的联合动作值混合网络，我们证明是有效的和可扩展的相比，其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数，以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能，并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
Learning Reward Machines in Cooperative Multi-Agent Tasks
Imperial College London（伦敦帝国学院）
本文提出一种结合合作任务分解与奖励机器（RMs）学习的多智能体强化学习方法，通过去中心化学习子任务RMs引导智能体行为，降低问题复杂度，提升部分可观测环境下学习有效性与策略可解释性。
2023-05-24 cs.AI cs.MA cs.SC
Cooperative Game-Theoretic Credit Assignment for Multi-Agent Policy Gradients via the Core
Key Laboratory of Intelligence, Games and Information Processing in Shaanxi Province（陕西省智能信息处理重点实验室）；Unmanned System Research Institute（无人系统研究院）；Northwestern Polytechnical University（西北工业大学）；School of Mathematics and Statistics（数学与统计学院）；Information Science Academy（信息科学学院）；China Electronics Technology Group Corporation（中国电子科技集团有限公司）
本文提出CORA方法，通过核心分配机制解决多智能体策略梯度中的信用分配问题，提升联盟策略的协调优化能力。
2026-03-10 cs.AI cs.GT cs.LG
Conditionally Optimistic Exploration for Cooperative Deep Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；École Polytechnique de Montréal（蒙特利尔综合理工学院）；University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）；Université de Montréal（蒙特利尔大学）
本文提出 COE，将合作式 MARL 建模为顺序树搜索，并利用基于全局状态与前驱智能体联合动作访问计数的条件乐观奖励，在困难探索任务上超过现有探索方法。
2023-07-14 cs.LG cs.MA
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
McGill University（麦吉尔大学）；OpenAI（开放人工智能研究中心）；UC Berkeley（加州大学伯克利分校）
我们探索多智能体领域的深度强化学习方法。我们首先分析了传统算法在多代理情况下的困难：Q-学习受到环境固有的非平稳性的挑战，而策略梯度受到随着代理数量增加而增加的方差的影响。然后，我们提出了一个适应的演员-评论家的方法，认为其他代理的行动政策，并能够成功地学习政策，需要复杂的多代理协调。此外，我们引入了一个训练方案，利用合奏的政策，每个代理，导致更强大的多代理政策。我们展示了我们的方法相比，现有的方法在合作以及竞争的情况下，代理人口能够发现各种物理和信息的协调策略的实力。
2020-03-14 cs.AI cs.LG cs.NE
DeCOM: Decomposed Policy for Constrained Cooperative Multi-Agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
近年来，多智能体强化学习（MARL）在各种应用中表现出令人瞩目的性能。然而，物理限制，预算限制，和许多其他因素通常强加\textit{constraints}的多智能体系统（MAS），这是不能处理的传统的MARL框架。具体而言，本文重点是受约束的MAS，代理工作\textit{cooperatively}最大化的预期团队平均收益的预期团队平均成本的各种约束下，并开发了一个\textit{constrained cooperative MARL}框架，名为DeCOM，这样的MAS。特别是DeCOM将每个Agent的策略分解为两个模块，使Agent之间能够共享信息，实现更好的协作。此外，通过这种模块化，DeCOM的训练算法将原始的约束优化问题分解为无约束的报酬优化问题和约束满足问题。DeCOM然后以计算高效的方式迭代地解决这些问题，这使得DeCOM具有高度的可扩展性。我们还提供了理论保证DeCOM的策略更新算法的收敛性。最后，我们验证了DeCOM的有效性，在玩具和大型（500代理）环境中的各种类型的成本。
2021-11-10 cs.LG cs.MA
Learning cooperative behaviours in adversarial multi-agent systems
Paris-Saclay University（巴黎萨克雷大学）；University of Lincoln（林肯大学）；University of York（约克大学）
这项工作扩展了现有的虚拟多智能体平台RoboSumo，以创建TripleSumo -一个用于研究多智能体在连续动作空间中的合作行为的平台，在对抗环境中进行物理接触。在本文中，我们调查的情况下，两个代理，即“错误”和“蚂蚁”，必须组队，并推动另一个代理“蜘蛛”的舞台。为了实现这一目标，新添加的代理“Bug”在“Ant”和“Spider”之间进行的比赛中进行训练。“Bug”必须发展对其他代理的行动的意识，推断双方的策略，并最终学习合作的行动策略。强化学习算法深度确定性策略梯度（DDPG）是通过结合密集和稀疏奖励的混合奖励结构来实现的。通过平均获胜概率和平均获胜所需的步骤数对合作行为进行定量评价。
2023-02-10 cs.AI cs.MA cs.RO
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
提出自动机条件化协作多智能体强化学习框架，通过自动机分解团队目标为子任务，学习任务条件化的分散策略，实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Reward Design in Cooperative Multi-agent Reinforcement Learning for Packet Routing
Peking University（北京大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
在协作多智能体强化学习（MARL）中，如何设计合适的奖励信号来加速学习和稳定收敛是一个关键问题。全局奖励信号向所有代理分配相同的全局奖励，而不区分它们的贡献，而局部奖励信号仅基于个体行为向每个代理提供不同的局部奖励。这两种奖励分配方法都有一些缺点：前者可能会鼓励懒惰的代理，而后者可能会产生自私的代理。本文研究了基于分组路由环境的协作MARL中的报酬设计问题。首先，我们证明了上述两个奖励信号容易产生次优策略。然后，受一些观察和考虑的启发，我们设计了一些混合奖励信号，这些信号是现成的，可以学习更好的策略。最后，我们把混合的奖励信号转化为自适应的奖励信号，在我们的实验中取得了最好的效果。本文还讨论了其他奖励信号。由于奖励设计是RL中的一个非常基本的问题，特别是在MARL中，我们希望MARL研究人员能够重新考虑他们系统中使用的奖励。
2020-03-05 cs.AI cs.MA
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich（慕尼黑大学）；MaibornWolff（迈博尔夫公司）
多智能体系统（MAS）中的决策是一个巨大的挑战，由于巨大的状态和联合行动空间以及不确定性，使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性，但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题，在复杂环境中会导致不稳定和不协调的行为。在本文中，我们提出了强紧急政策近似（STEP），一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此，我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合，只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间，并表明，STEP是能够学习更强的政策比标准的多智能体强化学习算法，结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中，以进一步提高性能。
2019-01-25 cs.AI cs.MA
