HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Contextual Knowledge Sharing in Multi-Agent Reinforcement Learning with Decentralized Communication and Coordination
本文提出一种集成点对点通信与协调的Dec-MARL框架，通过引入目标感知和时间感知的知识共享机制，解决了动态环境中智能体个体目标与有限可观测性带来的协调难题，显著提升了整体性能。
2025-01-26 cs.AI cs.MA
Graph Neural Network-based Multi-agent Reinforcement Learning for Resilient Distributed Coordination of Multi-Robot Systems
Northwestern University（西北大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
提出基于 GNN 的 MARL 方法 MAGEC，结合多智能体 PPO，使多机器人系统在减员、部分可观测和通信异常下仍能围绕全局目标进行分布式协调。
2024-03-19 cs.MA cs.RO
Optimization without Future Compromises? Decentralized Coordination via Collective and Reinforcement Learning
School of Computer Science, University of Leeds, UK（计算机科学学院，莱斯特大学）
本文提出分层强化与集体学习（HRCL）方法，通过高层MARL策略减少动作空间并约束帕累托最优，低层集体学习实现低通信去中心化协调，在智慧城市等场景中显著提升性能、可扩展性与适应性。
2026-09-24 cs.LG cs.MA
Deep Implicit Coordination Graphs for Multi-agent Reinforcement Learning
Stanford University（斯坦福大学）；Microsoft（微软）；MIT Lincoln Labs（麻省理工学院林肯实验室）
多智能体强化学习（MARL）需要协调来有效地解决某些任务。由于联合行动空间的大小，完全集中式控制在这些领域通常是不可行的。基于协调图的形式化允许基于交互结构的联合动作的推理。但是，它们在设计中通常需要领域专业知识。本文介绍了这种情况下的深层隐式协调图（DICG）架构。DICG包括用于推断动态协调图结构的模块，该动态协调图结构然后被基于图神经网络的模块用来学习隐式地推理联合动作或值。DICG允许通过标准的行动者-批评者方法学习完全集中和分散之间的权衡，以显着提高具有大量代理的域的协调。我们将DICG应用于集中培训集中执行和集中培训分散执行制度。我们证明，DICG解决了相对过度泛化的病理捕食-猎物的任务，以及优于各种MARL基线上具有挑战性的星际争霸II多智能体挑战赛（SMAC）和交通路口的环境。
2021-02-03 cs.AI cs.LG cs.MA
Improving Zero-Shot Coordination Performance Based on Policy Similarity
近年来，多智能体强化学习在多智能体规划和调度任务方面取得了显著的成绩。它通常遵循自我游戏设置，其中代理通过与一组固定的代理进行游戏来训练。然而，在面对zero-shot协调时，一个代理必须与看不见的合作伙伴进行协调，自玩代理可能会失败。已经提出了几种方法来处理这个问题，但它们要么花费大量时间，要么缺乏普遍性。在本文中，我们首先揭示了一个重要的现象：zero-shot协调性能与代理的训练伙伴和测试伙伴之间的相似性强线性相关。受此启发，本文提出了一种基于相似性的鲁棒训练（SBRT）方案，该方案根据预先定义的策略相似性值，在训练过程中干扰合作伙伴的行为，从而提高Agent的zero-shot协调性能。为了验证其有效性，我们将我们的计划应用到三个多智能体强化学习框架，并取得了更好的性能相比，以前的方法。
2023-02-10 cs.MA
Greedy-based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning
本文提出基于贪心的值表示方法，通过目标塑造和经验回放确保多智能体强化学习中的最优一致性，提升协调性能。
2026-03-04 cs.MA
Sampling-Based Coordination-Informed Multi-Objective Multi-Robot Reinforcement Learning
University of Cambridge（剑桥大学）；CNRS, Univ Rennes, Inria, IRISA（法国国家科学研究中心、雷恩大学、法国国家信息与自动化研究所、IRISA）；California Institute of Technology（加州理工学院）
提出CIMORL框架，通过分布式权重预测、特权专家训练和采样变体（CIMORL-TS/MPPI），在合作与对抗场景中实现Pareto最优解，超体积提升21.2%。
2026-09-15 cs.MA cs.RO
Resolving Implicit Coordination in Multi-Agent Deep Reinforcement Learning with Deep Q-Networks & Game Theory
我们解决了多智能体深度强化学习中隐式协调的两个主要挑战：状态-动作空间的非平稳性和指数增长，通过将Deep-Q网络用于策略学习与纳什均衡用于动作选择相结合。Q值代理作为纳什设置中的收益，相互最佳对策定义联合行动选择。协调是隐含的，因为多个/没有纳什均衡是确定性解决的。我们证明了游戏类型的知识导致镜像最佳对策和更快的收敛比纳什Q的假设。具体来说，要么选择，要么选择，要么选择，这一点令人鼓舞，因为联合行动的分散协调具有极不稳定的性质。受决斗网络架构的启发，该架构将Q函数扩展到状态和优势流以及剩余网络中，我们学习了单个和联合代理表示，并通过元素加法将它们合并。这简化了协调，将其重新塑造为学习剩余函数。我们还绘制高层次的比较见解的关键MADRL和博弈论变量：竞争与合作，异步与并行学习，贪婪与社会最优纳什均衡平局打破，和战略的情况下，没有纳什均衡。我们使用OpenAI Gym对3个用Python编写的自定义环境进行评估：Predator Prey环境，交替仓库环境和同步环境。每一种环境都需要不断地进行更多的协调，以获得积极的回报。
2020-12-08 cs.AI cs.MA
Skill Discovery of Coordination in Multi-agent Reinforcement Learning
Tsinghua University（清华大学）
无监督的技能发现驱动智能体在没有特定任务奖励信号的情况下探索未知环境，并且智能体获得各种技能，这些技能在智能体适应新任务时可能是有用的。在本文中，我们提出了“多智能体技能发现”（MASD），发现多个代理的协调模式的技能的方法。所提出的方法旨在最大化的互信息之间的潜在代码Z表示的技能和所有代理的状态的组合。同时，通过对抗训练，抑制了Z对任何单个Agent状态的授权。也就是说，它设置了一个信息瓶颈，以避免权力退化。首先，我们展示了在一般粒子多智能体环境中协调水平上的各种技能的出现。其次，我们揭示了“瓶颈”防止技能崩溃到一个单一的代理，并提高了学习技能的多样性。最后，我们证明了预训练的策略在监督RL任务上具有更好的性能。
2020-06-07 cs.LG cs.MA
Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Computer Science, University of Liverpool（利物浦大学计算机科学系）
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法，在执行前排练住宅能源协调，实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
Signal Instructed Coordination in Cooperative Multi-agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）；University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）；Huya AI（虎牙人工智能）
在许多现实世界的问题中，一组智能体需要合作以最大化共同的回报。虽然现有的工作制定这个问题到一个集中学习与分散执行框架，这避免了非平稳问题的训练，他们的分散执行范式限制了代理的协调能力。受相关均衡概念的启发，我们提出引入协调信号来解决这一限制，并从理论上证明了在温和的条件下，具有协调信号的分散代理可以协调其由集中控制器操纵的个人策略。引入协调信号的思想是将协调策略封装到信号中，并利用信号来指导分散执行中的协作。为了鼓励代理学习利用协调信号，我们提出了信号指导协调（SIC），一种新的协调模块，可以集成到大多数现有的MARL框架。SIC将从预定义分布中采样的公共信号投射到所有代理，并引入信息理论正则化以促进观察到的信号与代理策略之间的一致性。我们的实验表明，SIC一致提高性能公认的MARL模型在矩阵游戏和捕食者-猎物游戏与高维战略空间。
2019-11-20 cs.AI cs.MA
CoMIX: A Multi-agent Reinforcement Learning Training Architecture for Efficient Decentralized Coordination and Independent Decision-Making
University of Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本文提出多智能体强化学习训练框架 CoMIX，通过将自私与协作行为建模为决策增量步骤，实现去中心化智能体的涌现式协调与独立决策，并在实验中显著优于基线。
2024-12-23 cs.AI cs.LG cs.MA
A Maximum Mutual Information Framework for Multi-Agent Reinforcement Learning
在本文中，我们提出了一个最大互信息（MMI）框架的多智能体强化学习（MARL），使多个代理学习协调的行为，通过正规化的累积回报与动作之间的互信息。通过引入一个潜在的变量，以诱导非零的互信息之间的行动和应用变分的界限，我们得到一个听话的下限所考虑的MMI正则化的目标函数。应用策略迭代来最大化导出的下界，我们提出了一个实用的算法命名为变分最大互信息多智能体行动者-评论家（VM 3-AC），它遵循集中学习与分散执行（CTDE）。我们评估VM 3-AC几个游戏需要协调，数值结果表明，VM 3-AC优于MADDPG和其他MARL算法在多智能体任务需要协调。
2020-06-04 cs.MA
Deep Reinforcement Learning for Multi-Agent Coordination
本文提出一种基于信息素的多智能体深度强化学习框架，通过虚拟信息素模拟局部和社会交互，实现无通信的去中心化协调，解决狭窄环境中多机器人协作的挑战。
2025-10-04 cs.AI cs.LG cs.MA
Strategic Maneuver and Disruption with Reinforcement Learning Approaches for Multi-Agent Coordination
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；Army Research Laboratory-Research Associateship Program（陆军研究实验室研究副研究员项目）；University of Colorado Boulder（科罗拉多大学博尔德分校）
强化学习（RL）方法可以阐明促进多智能体系统（MAS）中智能体团队之间协调的紧急行为，这可以在各种军事任务中提供机会窗口。在技术上不断进步的对手对友好国家的利益和资源构成了巨大的风险。在现代复杂的环境中，单靠优势资源不足以击败对手，因为对手在多个领域制造僵局，反对可预测的基于军事理论的演习。因此，作为防御战略的一部分，友军必须使用战略机动和破坏，以获得在复杂的多方面领域，如多域作战（MDO）的优势。实施战略机动和破坏以获得对对手的优势的一个有希望的途径是通过MAS在未来军事行动中的协调。在本文中，我们概述了RL领域的突出作品及其优势和劣势，以克服与在军事环境中执行自主战略机动和中断相关的挑战。
2022-03-17 cs.AI cs.MA
Learning to Collaborate by Grouping: a Consensus-oriented Strategy for Multi-agent Reinforcement Learning
针对多智能体强化学习中群体级策略不足导致合作薄弱的问题，提出共识导向策略CoS，通过向量量化模块提取群体共识并结合超网络整合策略，在群体和个体层面促进协调，有效提升了多智能体系统的协作效果。
2023-07-28 cs.MA
Coordination Matters: Process-Aware Evaluation of Cooperative Multi-Agent Reinforcement Learning
University of Virginia（弗吉尼亚大学）
本文提出一种考虑协作的评估视角，通过STAT测试平台评估六种价值导向的MARL方法，揭示不同协调机制对性能的影响。
2026-10-19 cs.AI cs.LG cs.MA
Bi-level Actor-Critic for Multi-agent Coordination
协调是多智能体系统中的基本问题之一。典型的多智能体强化学习（MARL）方法平等地对待智能体，目标是当存在多个均衡时将马尔可夫博弈求解到任意纳什均衡（NE），因此缺乏NE选择的解决方案。在本文中，我们处理代理\emph{unequally}和考虑Stackelberg均衡作为一个潜在的更好的收敛点比纳什均衡的帕累托优势，特别是在合作环境。在马尔可夫博弈下，我们正式定义了寻找Stackelberg均衡的双层强化学习问题。我们提出了一种新的双层演员批评学习方法，允许代理人有不同的知识库（因此智能），而他们的行动仍然可以同时和分布式执行。收敛性证明，而由此产生的学习算法进行测试，对国家的艺术。我们发现，建议的双层演员-评论家算法成功地收敛到Stackelberg平衡矩阵游戏，并找到一个不对称的解决方案，在高速公路合并环境。
2020-04-04 cs.MA
Learning to Advise and Learning from Advice in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Louisiana State University（路易斯安那州立大学）
学习协调是多智能体强化学习（MARL）中一个令人生畏的问题。以往的研究从多个方面进行了探讨，包括Agent之间的认知、信用分配、通信、专家论证等，但对Agent的决策结构和协调层次关注较少。在本文中，我们探讨了时空结构的代理人的决策，并考虑层次的协调从多层次涌现动力学的角度来看，在此基础上，一个新的方法，学习建议和从建议学习（LALA），提出了改进MARL。具体来说，通过区分协调的层次结构，我们建议在中观层面上加强决策协调与顾问和利用政策顾问，建议代理的学习在微观层面上。顾问学习在空间和时间域中聚合决策信息，并通过采用具有面向任务的目标函数的时空对偶图卷积神经网络来生成协调决策。每个代理都通过策略生成对抗学习方法从建议中学习，其中策略生成器区分代理和顾问的策略，并根据其判断提升两者。实验结果表明，LALA在学习效率和协调能力方面优于基线方法。从多级涌现动力学和互信息的角度研究了MARL算法的协调机制，为分析和改进MARL算法提供了新的视角和方法。
2022-05-23 cs.LG cs.MA
Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；DEVCOM U.S. Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的分布式协作多智能体强化学习（MARL）框架通常假设无向协调图和通信图，同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本，并表现出较差的可扩展性，由于全球共识的要求。在这项工作中，我们研究了MARL与有向协调图，并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得，而不使用任何共识算法。采用基于参数摄动的零阶优化（ZOO）方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较，我们表明，我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
A Model-Based Solution to the Offline Multi-Agent Reinforcement Learning Coordination Problem
Mila - Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；University of Oxford（牛津大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI - FAIR（Meta AI 基础人工智能研究团队）
本文针对离线多智能体强化学习中的协调问题，提出首个基于模型的离线MARL方法MOMA-PPO，通过生成合成交互数据解决策略一致与策略微调挑战，显著优于无模型方法。
2024-01-18 cs.AI cs.LG cs.MA
Improving Coordination in Small-Scale Multi-Agent Deep Reinforcement Learning through Memory-driven Communication
University of Warwick（华威大学）
深度强化学习算法最近被用于以集中的方式训练多个交互代理，同时保持其执行分散。当智能体只能获得部分观测值并面临需要协调和同步技能的任务时，智能体通信起着至关重要的作用。在这项工作中，我们提出了一个框架，多智能体训练使用深度确定性的策略梯度，使并发，端到端学习的显式通信协议，通过内存设备。在训练过程中，智能体学习执行读写操作，使它们能够推断出世界的共享表示。我们的经验表明，并发学习的通信设备和个人的政策，可以提高代理间的协调和性能在小规模的系统。我们的实验结果表明，所提出的方法在多达六个代理的情况下实现了优异的性能。我们说明了如何不同的通信模式可以出现在六个不同的任务日益复杂。此外，我们还研究了破坏通信通道的影响，提供了随时间变化的记忆内容的可视化，因为底层任务正在解决，并通过消融研究验证了所提出的记忆设备的构建模块。
2019-10-29 cs.AI cs.LG cs.MA
Language Instructed Reinforcement Learning for Human-AI Coordination
Stanford University（斯坦福大学）
针对多智能体强化学习易收敛至非人类偏好均衡、缺高质量人类行为数据的人机协作难题，提出instructRL框架，用大语言模型基于自然语言指令生成先验策略以正则化RL目标，在Hanabi等基准验证了符合人类偏好的策略效果及人机协作性能提升。
2023-06-10 cs.AI cs.CL cs.LG
Greedy based Value Representation for Optimal Coordination in Multi-agent Reinforcement Learning
Xian Jiaotong University（西安交通大学）
由于联合Q价值函数表示的局限性，线性值分解（LVD）或单调值分解（MVD）的多智能体强化学习方法存在相对泛化问题。结果，它们不能确保最佳一致性（即，个体贪婪行为与最大真实Q值之间的对应关系）。本文导出了LVD和MVD的联合Q价值函数的表达式。根据这个表达式，我们画出了一个转移图，其中每个自转移节点（n）都是一个可能的收敛。为了保证最佳的一致性，最佳节点必须是唯一的节点。因此，我们提出了基于贪婪的值表示（GVR），它通过较差的目标整形将最佳节点转化为最佳节点，并通过较好的经验重放进一步消除非最佳STNs。此外，GVR实现了最优性和稳定性之间的自适应权衡。我们的方法在各种基准测试的实验中优于最先进的基线。理论证明和矩阵博弈的实证结果表明，GVR保证最优的一致性充分的探索。
2022-11-22 cs.LG cs.MA
Promoting Coordination through Policy Regularization in Multi-Agent Deep Reinforcement Learning
Québec AI institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montréal（蒙特利尔高等理工学院）；McGill University（麦吉尔大学）；Element AI
在多智能体强化学习中，发现成功的集体行为是具有挑战性的，因为它需要探索一个随着智能体数量呈指数级增长的联合行动空间。虽然独立智能体探索的易处理性很有吸引力，但这种方法在需要精心设计的群体策略的任务上失败了。我们认为，协调代理人的政策可以指导他们的探索，我们调查的技术，以促进这种归纳偏见。我们提出了两种策略正则化方法：TeamReg，这是基于代理间的动作可预测性和CoachReg，依赖于同步的行为选择。我们评估了四个具有挑战性的连续控制任务，稀疏的奖励，需要不同程度的协调，以及在离散行动谷歌研究足球环境中的每种方法。我们的实验表明，在许多合作的多智能体问题的性能提高。最后，我们分析了我们提出的方法对我们的代理学习的政策的影响，并表明我们的方法成功地执行了我们提出的协调行为代理的质量。
2020-11-09 cs.LG cs.MA stat.ML
Model-free conventions in multi-agent reinforcement learning with heterogeneous preferences
关于惯例的博弈论观点通常基于常识的概念和个人行为的超理性模型。然而，几十年来行为经济学的研究已经对这两个基础的有效性提出了质疑。与此同时，计算神经科学为决策提供了一个现代化的“双过程”解释，其中无模型（MF）强化学习与基于模型（MB）强化学习进行了权衡。前者捕捉习惯性和程序性学习，而后者捕捉通过明确的计划和推理做出的选择。有些公约（如国际条约）可能得到与博弈论和甲基溴账户相一致的认知的支持。然而，惯例的形成也可能通过MF机制发生，如习惯学习;尽管这种可能性尚未得到充分研究。在这里，我们证明了复杂的，大规模的公约可以出现MF学习机制。这表明，一些惯例可能是由习惯性认知而不是外显推理支持的。我们将MF多智能体强化学习应用到一个时空扩展的不完全信息博弈中。在这个博弈中，状态空间的大部分只有通过集体行动才能到达。然而，口味的异质性使得这种协调行动变得困难：多重均衡对所有参与者都是可取的，但子群更喜欢一个特定的均衡。这就产生了一个协调问题，可以通过制定一项公约来解决。我们调查启动和搭便车的子问题，以及群体规模的影响，强度的内在偏好，和显着的协调公约的出现动态。我们的模拟结果表明，代理建立和转换之间的公约，甚至反对自己的首选结果时，这样做是必要的有效协调。
2020-12-14 cs.MA
Heterogeneous Information-Bottleneck Coordination Graphs for Multi-Agent Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所）
本文提出异质信息瓶颈协调图（HIBCG），通过理论指导机制解决多智能体强化学习中协调图的边存在性和信息传递容量分配问题，通过信息瓶颈方法构建组对齐的块对角先验，实现边存在性和信息容量的理论验证。
2026-07-13 cs.AI cs.LG cs.MA
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Inferring Latent Temporal Sparse Coordination Graph for Multi-Agent Reinforcement Learning
Australian Artificial Intelligence Institute (AAII), Faculty of Engineering and Information Technology, University of Technology Sydney（澳大利亚人工智能研究所（AAII），悉尼科技大学工程与信息技术学院）
本文提出一种潜在时序稀疏协调图(LTS-CG)用于多智能体强化学习，通过历史观测计算智能体对概率矩阵，构建稀疏图以捕捉依赖关系和不确定性，同时减少计算复杂度并提升协作效率。
2026-04-10 cs.LG cs.MA
Group-Aware Coordination Graph for Multi-Agent Reinforcement Learning
Australian Artificial Intelligence Institute (AAII), University of Technology（澳大利亚人工智能研究所（AAII），悉尼科技大学）
本文提出群体感知协调图，用于捕捉智能体间合作及群体依赖，通过图卷积促进信息交换，并引入群体距离损失增强群体凝聚力。
2026-04-10 cs.AI cs.LG cs.MA
Multi-Task Multi-Agent Shared Layers are Universal Cognition of Multi-Agent Coordination
本文提出一种多任务多智能体共享层方法，通过共享后端决策层提取通用决策知识，在SMAC和GRF环境中验证了其高效迁移性，显著降低训练成本并提升性能。
2023-12-25 cs.MA
R3DM: Enabling Role Discovery and Diversity Through Dynamics Models in Multi-agent Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Honda Research Institute（本田研究院）
R3DM通过动态模型最大化智能体角色、观察轨迹与预期未来行为间的互信息，提升多智能体协作效率，实验表明其在SMAC和SMACv2环境中显著提升胜率。
2026-09-09 cs.MA
Satellite Navigation and Coordination with Limited Information Sharing
本研究将空间交通管理视为多智能体无碰撞导航问题，通过迁移学习将在陆地训练的MARL模型应用于卫星环境，证明其优于直接训练，并评估信息共享的协调益处。
2023-05-15 cs.MA
Intelligent Coordination among Multiple Traffic Intersections Using Multi-Agent Reinforcement Learning
Siemens Technology and Services Pvt. Ltd.（西门子技术服务私人有限公司）；International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Indian Institute of Science Bengaluru（班加罗尔印度科学研究所）
我们使用异步优势演员评论（A3 C）实现一个人工智能智能体的控制器，优化交通流量在一个单一的交叉口，然后将其扩展到多个交叉口，考虑多代理设置。我们探索了三种不同的方法来解决多智能体问题-（1）使用A3 C的异步属性，使用单个智能体控制多个交叉口（2）利用多个交叉口的独立智能体之间的自我/竞争游戏（3）在智能体之间摄取全局奖励函数，以引入交叉口之间的合作行为。我们观察到，（1）和（2）导致交通拥堵减少。此外，（3）与（1）和（2）的使用导致拥塞的进一步减少。
2020-06-28 cs.AI cs.LG cs.MA
ReCoDe: Reinforcement Learning-based Dynamic Constraint Design for Multi-Agent Coordination
ReCoDe提出一种去中心化混合框架，通过强化学习学习动态约束来增强手工控制器，在多智能体导航中优于纯手工、混合及标准MARL方法，并证明保留不完美控制器更高效。
2025-08-02 cs.AI cs.LG cs.MA
Distributed Area Coverage with High Altitude Balloons Using Multi-Agent Reinforcement Learning
NREIP Intern（NREIP实习生）；U.S. Naval Research Laboratory（美国海军研究实验室）；U.S. Government（美国政府）
针对小型高空气球编队本地化区域覆盖任务中现有确定性方法表现不佳的问题，本研究扩展RLHAB仿真环境，将QMIX多智能体强化学习算法适配于该任务，实现了与理论最优确定性方法相近的性能，为复杂多HAB自主任务提供基础。
2025-10-04 cs.LG cs.MA cs.RO
HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging
IIIT-Bangalore（班加罗尔国际信息技术研究所）；Ericsson Research（爱立信研究院）；IIT-BHU（贝拿勒斯印度教大学印度理工学院）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
协作多智能体强化学习（MARL）已经取得了显著的成果，最显著的是利用了深度神经网络的表示学习能力。然而，随着代理人数量的增加，大型集中式方法很快变得不可行，完全分散的方法可能会错过信息共享和协调的重要机会。此外，并非所有代理都是平等的-在某些情况下，单个代理甚至可能没有能力向其他代理发送通信或显式地对其他代理进行建模。本文考虑的情况下，有一个单一的，强大的，\emph{central agent}，可以观察整个观察空间，有多个，低功率的\emph{local agents}，只能接收本地的意见，并不能相互通信。中央代理的工作是根据全局观察来学习需要向不同的本地代理发送什么消息，不是通过集中解决整个问题并发送动作命令，而是通过确定单个代理应该接收什么附加信息，以便它可以做出更好的决策。在这项工作中，我们提出了我们的MARL算法\algo，描述它将是最适用的，并实现它在合作导航和多智能体步行者域。实证结果表明：1）学习的沟通确实提高了系统性能，2）结果推广到异构本地代理，3）结果推广到不同的奖励结构。
2022-12-02 cs.AI cs.LG cs.MA
PooL: Pheromone-inspired Communication Framework forLarge Scale Multi-Agent Reinforcement Learning
Peking University（北京大学）
难以扩展给多智能体协调带来了很大的问题。多智能体强化学习（MARL）算法在小规模多智能体系统中的应用很难扩展到大规模多智能体系统中，因为后者的动态性更强，交互次数随着智能体数量的增加而呈指数级增加。一些群体智能算法模拟信息素的释放和利用机制来控制大规模的Agent协调。受这些算法的启发，为了解决大规模多智能体协调问题，提出了一种基于\textbf{p}和\textbf{o} m \textbf{o} ne的间接通信框架\textbf{PooL}，用于大规模多智能体强化\textbf{l}学习. PooL的代理释放的信息素被定义为大多数强化学习算法的输出，它反映了代理对当前环境的看法。信息素更新机制可以有效地组织所有代理的信息，并将代理之间的复杂交互简化为低维表示。智能体感知到的信息素可以看作是附近智能体观点的总结，更能反映环境的真实情况。以Q-Learning为基础模型实现PooL，并在各种大规模协作环境中对PooL进行了评估。实验结果表明，通过PooL，Agent可以捕获有效的信息，并以较低的通信代价获得比其他方法更高的回报。
2022-02-20 cs.AI cs.MA
CH-MARL: Constrained Hierarchical Multiagent Reinforcement Learning for Sustainable Maritime Logistics
本文提出CH-MARL框架，通过分层决策、动态约束执行和公平感知奖励塑形，在模拟海事物流中实现减排、公平性与运营效率的同步提升，为受约束多智能体协调提供可扩展的通用方案。
2025-02-04 cs.AI cs.MA
Quantum Multi-Agent Actor-Critic Neural Networks for Internet-Connected Multi-Robot Coordination in Smart Factory Management
Korea University（高丽大学）；Ajou University（阿久大学）
作为学术界和工业界感兴趣的最新领域之一，量子计算已经引起了极大的关注。在量子计算的各种主题中，变分量子线路（VQC）因其进行量子深度强化学习（QRL）的能力而受到关注。本文验证了QRL的潜力，这将通过从QRL实现量子多智能体强化学习（QMARL）来进一步实现，特别是在智能工厂应用中的互联网连接的自主多机器人控制和协调。然而，由于经典MARL的非平稳性，扩展并不简单。为了解决这一问题，提出了在互联网连接下的集中培训和分散执行（CTDE）QMARL框架。一个智能工厂环境与物联网（IoT）为基础的多个代理被用来显示所提出的算法的有效性。仿真结果表明，所提出的基于QMARL的自主多机器人控制和协调性能优于其他框架。
2023-01-04 cs.MA cs.RO quant-ph
Coordination-driven learning in multi-agent problem spaces
U.S. Army Research Laboratory（美国陆军研究实验室）
我们讨论了协调作为一个直接的学习目标在多智能体强化学习（MARL）领域的作用。为此，我们提出了一种新的手段，量化协调多智能体系统，并讨论了使用这样的措施，以优化协调代理政策的影响。这一概念对感知对手的强化学习具有重要意义，我们将其视为多智能体学习的一个子域。
2018-09-13 cs.AI cs.MA
Bandwidth-constrained Variational Message Encoding for Cooperative Multi-agent Reinforcement Learning
University of Technology Sydney（悉尼科技大学）
本文提出带宽约束的变分信息编码（BVME），通过学习高斯后验分布并利用KL散度正则化，解决多智能体强化学习中信息传输的带宽限制问题，在多个基准测试中表现出色。
2026-04-10 cs.LG cs.MA
Strategic Coordination of Drones via Short-term Distributed Optimization and Long-term Reinforcement Learning
School of Computer Science, University of Leeds（利兹大学计算机科学学院）
针对大规模动态环境中无人机群自主任务分配的NP难问题，提出融合长期DRL与短期集体学习的混合优化方法，解决现有方案适应性、复杂度等局限，实验性能提升显著，实现高效交通监控。
2025-11-12 cs.LG cs.MA cs.RO
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
VDN和QMIX是两种流行的基于值的协作MARL算法，它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易，但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明，这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说，我们提出了一种新的MARL方法，称为通用价值探索（UneVEn），学习一组相关的任务，同时线性分解的通用后继功能。利用已经解决的相关任务的策略，可以改进所有Agent的联合探索过程，帮助它们实现更好的协调。一组探索游戏的经验结果，具有挑战性的合作捕食者-猎物任务，需要显着的代理之间的协调，和星际争霸II微观管理基准显示，UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
TransfQMix: Transformers for Leveraging the Graph Structure of Multi-Agent Reinforcement Learning Problems
协调是多智能体强化学习（MARL）中最困难的方面之一。一个原因是，代理通常选择他们的行动彼此独立。为了看到从独立的政策的组合出现的协调策略，最近的研究集中在使用一个集中的功能（CF），学习每个代理的贡献，团队奖励。然而，环境呈现给代理和CF的结构通常被忽视。我们已经观察到，用于描述协调问题的特征可以表示为潜在图结构的顶点特征。在这里，我们提出了TransfQMix，一种新的方法，使用Transformers来利用这种潜在的结构，并学习更好的协调策略。我们的Transformer代理对可观察实体的状态执行图形推理。我们的Transformer Q-mixer从一个更大的图中学习单调混合函数，该图包括代理的内部和外部状态。TransfQMix被设计为完全可转移的，这意味着相同的参数可以用于控制和训练更大或更小的代理团队。这使得部署有前途的方法，以节省培训时间，并在MARL中获得一般政策，如迁移学习，zero-shot迁移，和课程学习。我们报告TransfQMix在Spread和StarCraft II环境中的表现。在这两种情况下，它都优于最先进的Q-Learning模型，并且在解决其他方法无法解决的问题方面表现出了有效性。
2023-01-13 cs.AI cs.LG cs.MA
Inter-Cell Slicing Resource Partitioning via Coordinated Multi-Agent Deep Reinforcement Learning
网络切片使运营商能够为具有特定要求的各种服务配置虚拟网络实例。为了实现切片感知的无线电资源调度，需要动态切片资源划分来编排多小区切片资源并减轻小区间干扰。然而，由于复杂的单元间相互依赖性、切片间资源约束和特定于服务的要求，获得分析解决方案具有挑战性。在本文中，我们提出了一种多智能体深度强化学习（DRL）方法，该方法在保持资源容量约束的同时提高了最大-最小切片性能。我们设计了两个协调方案，允许分布式代理协调和减轻小区间干扰。所提出的方法进行了广泛的评估，在系统级模拟器。数值结果表明，所提出的方法与代理间的协调优于集中式方法的延迟和收敛。与基线方法相比，拟议方法的资源效率提高了两倍以上。
2022-02-25 cs.MA cs.NI
Spatial-Temporal-Aware Safe Multi-Agent Reinforcement Learning of Connected Autonomous Vehicles in Challenging Scenarios
University of Connecticut（康涅狄格大学）
通信技术使互联车辆和自动驾驶车辆（CAV）之间能够协调。然而，如何利用共享信息来提高CAV系统在动态和复杂驾驶场景中的安全性和效率仍然不清楚。在这项工作中，我们提出了一个框架的约束多智能体强化学习（MARL）与并行安全盾的CAV在具有挑战性的驾驶场景，包括未连接的危险车辆。MARL的协调机制包括信息共享和协作策略学习，采用图卷积网络（GCN）-Transformer作为时空编码器，增强了Agent的环境感知能力。安全盾模块具有基于控制屏障功能（CBF）的安全检查功能，可防止座席采取不安全的操作。我们设计了一个受约束的多智能体优势行动者-批评者（CMAA 2C）算法来训练CAV的安全和合作策略。部署在CARLA模拟器的实验，我们验证了安全检查，时空编码器，并在我们的方法设计的协调机制的性能，通过比较实验，在几个具有挑战性的情况下，与未连接的危险车辆。结果表明，我们提出的方法显着提高系统的安全性和效率在具有挑战性的情况下。
2023-03-13 cs.AI cs.MA cs.RO
Compact Latent Coordination for Autonomous Vehicles at Unsignalized Intersections
Ben-Gurion University of the Negev（内盖夫本古里安大学）
针对无信号交叉口自动驾驶车辆协调难题提出MAPS分层DRL架构，主智能体生成编码全局策略的原型计划，工作智能体结合局部观测执行控制。实验表明MAPS能实现无碰撞导航、减少行驶时间，且原型计划泛化能力强。
2026-07-24 cs.AI cs.LG cs.MA
Mis-spoke or mis-lead: Achieving Robustness in Multi-Agent Communicative Reinforcement Learning
Nanyang Technological University（南洋理工大学）
多智能体通信强化学习（MACRL）的最新研究表明，多智能体协调可以通过允许智能体之间的通信来大大提高。与此同时，对抗性机器学习（ML）表明ML模型容易受到攻击。尽管ML算法的鲁棒性越来越受到关注，但如何在多智能体强化学习中实现鲁棒通信在很大程度上被忽视了。在本文中，我们系统地探讨了MACRL中的对抗性通信问题。我们的主要贡献有三个方面。首先，我们提出了一种有效的方法来执行攻击MACRL，通过学习一个模型来生成最佳的恶意消息。其次，我们提出了一种基于消息重构的防御方法，在消息攻击下保持多代理的协调。第三，我们将对抗性通信问题描述为两人零和博弈，并提出了一种博弈论方法R-MACRL来提高最坏情况下的防御性能。实验结果表明，许多国家的最先进的MACRL方法是容易受到消息攻击，和我们的方法可以显着提高其鲁棒性。
2022-01-26 cs.LG cs.MA
Multi-Agent Reinforcement Learning for Autonomous Multi-Satellite Earth Observation: A Realistic Case Study
University of South Australia（南澳大利亚大学）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）
针对多卫星对地观测中的自主协调挑战，本文利用MARL框架建模并扩展至多卫星星座，解决了能量与存储限制及部分可观测性下的去中心化协调问题，验证了最先进MARL算法在近现实仿真环境中的有效性与训练稳定性。
2025-11-05 cs.AI cs.MA cs.RO
Safe Multiagent Coordination via Entropic Exploration
针对安全多智能体学习中探索受限及缺乏团队约束研究的问题，提出熵探索（E2C）方法，通过观测熵最大化激励探索，实验显示其在任务性能上优于基线且能减少50%不安全行为。
2025-08-26 cs.AI cs.MA cs.RO
Deep Coordination Graphs
Oxford University（牛津大学）
本文介绍了用于协作多智能体强化学习的深度协调图（DCG）。DCG罢工之间的灵活的代表能力和泛化的联合价值函数的因素，根据协调图到代理对之间的回报。该值可以通过沿着图传递的本地消息来最大化，这允许使用Q学习端到端地训练价值函数。使用深度神经网络来近似支付函数，该深度神经网络采用参数共享和低秩近似来显著提高样本效率。我们表明，DCG可以解决捕食者-猎物的任务，突出了相对过度概括的病理，以及具有挑战性的星际争霸II微观管理任务。
2020-06-23 cs.AI cs.LG cs.MA
Individual specialization in multi-task environments with multiagent reinforcement learners
University Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究中心）
多智能体强化学习（MARL）作为构建通用智能体的第一步，在其他智能体存在的非平稳复杂环境中学习做出低级和高级决策，受到越来越多的关注。以前的结果指出，我们对协调，效率/公平，和共同池资源共享的条件增加。我们进一步研究协调在多任务环境中，可以执行几个奖励任务，因此代理不一定需要在所有任务中表现良好，但在某些条件下可能会专门。从这项研究中得出的一个观察是，基于值的强化学习方法的贪婪探索对于多智能体独立学习器是不够的，因为控制选择随机动作的概率的参数控制人工智能体，并迫使它们同时具有确定性策略。通过使用具有独立熵正则化探索更新的基于策略的方法，我们实现了更好和更平滑的收敛。另一个需要进一步调查的结果是，随着代理人数量的增加，专业化倾向于更有可能。
2019-12-29 cs.AI cs.MA
