Distributed Cooperative Multi-Agent Reinforcement Learning with Directed Coordination Graph
North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；DEVCOM U.S. Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的分布式协作多智能体强化学习（MARL）框架通常假设无向协调图和通信图，同时通过共识算法估计全局奖励进行策略评估。这样的框架可能会导致昂贵的通信成本，并表现出较差的可扩展性，由于全球共识的要求。在这项工作中，我们研究了MARL与有向协调图，并提出了一个分布式RL算法的本地政策评估是基于本地价值函数。每个Agent的局部价值函数通过有向学习诱导的通信图与其邻居进行局部通信来获得，而不使用任何共识算法。采用基于参数摄动的零阶优化（ZOO）方法实现梯度估计。通过与现有的基于ZOO的RL算法的比较，我们表明，我们提出的分布式RL算法保证了高的可扩展性。一个分布式资源分配的例子来说明我们的算法的有效性。
2022-01-10 cs.AI cs.LG cs.MA
Signal Instructed Coordination in Cooperative Multi-agent Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）；University College London（伦敦大学学院）；Carnegie Mellon University（卡内基梅隆大学）；Huya AI（虎牙人工智能）
在许多现实世界的问题中，一组智能体需要合作以最大化共同的回报。虽然现有的工作制定这个问题到一个集中学习与分散执行框架，这避免了非平稳问题的训练，他们的分散执行范式限制了代理的协调能力。受相关均衡概念的启发，我们提出引入协调信号来解决这一限制，并从理论上证明了在温和的条件下，具有协调信号的分散代理可以协调其由集中控制器操纵的个人策略。引入协调信号的思想是将协调策略封装到信号中，并利用信号来指导分散执行中的协作。为了鼓励代理学习利用协调信号，我们提出了信号指导协调（SIC），一种新的协调模块，可以集成到大多数现有的MARL框架。SIC将从预定义分布中采样的公共信号投射到所有代理，并引入信息理论正则化以促进观察到的信号与代理策略之间的一致性。我们的实验表明，SIC一致提高性能公认的MARL模型在矩阵游戏和捕食者-猎物游戏与高维战略空间。
2019-11-20 cs.AI cs.MA
Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination
Carnegie Mellon University（卡内基梅隆大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
在协作任务中具有人类或超人能力的协作人工智能处于机器学习研究的前沿。之前的工作倾向于在自我游戏（由一起训练的代理组成的团队）和交叉游戏（独立训练但使用相同算法的代理团队）的限制性范式下评估合作AI性能。最近的工作表明，针对这些狭窄环境进行优化的人工智能可能会导致现实世界中出现不受欢迎的合作者。我们正式评估合作AI的替代标准，被称为算法间的交叉游戏，其中代理与实验池内的所有其他代理的组队性能进行评估，没有假设代理之间的算法相似性。我们发现，现有的最先进的合作AI算法，如游戏和信念学习，在这种模式下表现不佳。我们提出了任何播放学习增强-多代理扩展的多样性为基础的内在奖励zero-shot协调（ZSC）-推广自我发挥为基础的算法，算法间的交叉设置。我们将Any-Play学习增强应用于简化动作解码器（SAD），并在协作纸牌游戏Hanabi中展示了最先进的性能。
2022-01-28 cs.AI cs.LG cs.MA
Tackling Cooperative Incompatibility for Zero-Shot Human-AI Coordination
The University of Manchester（曼彻斯特大学）；Shanghai Jiao Tong University（上海交通大学）；King’s College London（伦敦国王学院）
针对零样本人机-AI协作中的协作不兼容问题，提出COLE开放式学习框架及两种算法，并通过理论、模拟与130人实验验证其优于现有方法。
2024-01-07 cs.AI cs.HC
Cross-environment Cooperation Enables Zero-shot Multi-agent Coordination
本文提出跨环境合作（CEC）范式，通过在环境分布上训练智能体，实现与多种新伙伴的零样本协调，并优于基线，为通用合作智能体设计提供新途径。
2025-04-20 cs.AI cs.LG cs.MA
Cooperative Epistemic Multi-Agent Planning for Implicit Coordination
Albert-Ludwigs-Universität Freiburg（弗莱堡阿尔伯特-路德维希大学）；Technical University of Denmark（丹麦技术大学）
认知规划可以用于具有分布式知识和能力的多智能体情况下的决策。最近，动态认知逻辑（DEL）已被证明提供了一个非常自然和表达框架的认知规划。我们扩展了基于DEL的认知规划框架，包括视角的转变，使我们能够定义新的概念，顺序和条件规划与隐式协调。有了这些，就有可能以分散的方式解决具有联合目标的规划任务，而无需代理在规划时协商并承诺联合策略。首先，我们定义了中央规划的概念，并勾勒出建立在这些概念上的规划系统的实施。之后，我们提供了一些案例研究，以评估规划经验，并表明这一概念是有用的多智能体系统在实践中。
2017-03-07 cs.AI cs.LO cs.MA
Lingjing: A Simulation Testbed for Multi-Agent Embodied Tasks in Open-Ended Cities
Lingjing 是一款面向开放城市异构多智能体具身任务的仿真测试平台，支持城市多智能体协同的可复现评估与故障诊断，通过评估视觉语言模型等揭示了环境感知等瓶颈。
2026-08-11 cs.AI
Coordination Failure in Cooperative Offline MARL
InstaDeep（英斯塔迪普公司）；University of Cape Town（开普敦大学）；The INRS, Montreal（蒙特利尔国家科学研究院）
本文研究合作型离线多智能体强化学习中的协调失败问题，揭示BRUD方法的失败模式，并提出基于联合动作相似性的优先级数据采样方法以缓解该问题，验证了其有效性。
2024-07-01 cs.AI cs.LG cs.MA
Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments
McGill University（麦吉尔大学）；OpenAI（开放人工智能研究中心）；UC Berkeley（加州大学伯克利分校）
我们探索多智能体领域的深度强化学习方法。我们首先分析了传统算法在多代理情况下的困难：Q-学习受到环境固有的非平稳性的挑战，而策略梯度受到随着代理数量增加而增加的方差的影响。然后，我们提出了一个适应的演员-评论家的方法，认为其他代理的行动政策，并能够成功地学习政策，需要复杂的多代理协调。此外，我们引入了一个训练方案，利用合奏的政策，每个代理，导致更强大的多代理政策。我们展示了我们的方法相比，现有的方法在合作以及竞争的情况下，代理人口能够发现各种物理和信息的协调策略的实力。
2020-03-14 cs.AI cs.LG cs.NE
Cooperative AI via Decentralized Commitment Devices
Flashbots；Robust Incentives Group（鲁棒激励小组）；Ethereum Foundation（以太坊基金会）；Pantera Capital；Imperial College London（伦敦帝国理工学院）
本文探讨去中心化承诺机制在合作型AI中的应用，指出其能协调智能体对抗经济激励强大的对手，并呼吁加强相关研究与实证测试框架建设。
2023-11-14 cs.AI cs.CR cs.GT
An Optimal Rewiring Strategy for Reinforcement Social Learning in Cooperative Multiagent Systems
Tianjin University（天津大学）；Centrum Wiskunde & Informatica（数学与信息中心）
协作多智能体系统中的多智能体协调问题在固定智能体重复交互和静态社会学习框架下得到了广泛的研究。然而，两个方面的动态在现实世界中的多智能体的情况下，目前缺少在现有的作品。首先，网络拓扑可以是动态的，其中代理可以在交互过程中通过重新布线来改变它们的连接。第二，每对代理之间的博弈矩阵可能不是静态的，通常不被认为是先验的。网络的动态性和博弈的不确定性增加了Agent之间的协调难度。在本文中，我们考虑一个多智能体动态社会学习环境中，每个代理可以选择重新布线潜在的合作伙伴，并在每一轮随机选择的邻居进行交互。我们提出了一个最佳的重新布线策略，代理选择最有益的同行进行交互的目的是最大限度地提高重复交互的累积收益。通过与基准策略的比较，我们实证证明了我们方法的有效性和鲁棒性。三个有代表性的学习策略的表现，在我们的社会学习框架与我们的最佳重新布线进行了调查。
2018-05-13 cs.AI cs.LG cs.MA
Symbolic Guidance for LLM Agents in Distributed Multiagent Coordination
本研究提出符号引导分类法（SGT），通过调节LLM智能体的自主性层级（介于自然语言推理与完全算法执行之间），显著提升分布式多智能体协调性能，确立了自主性调节作为关键设计原则。
2026-10-26 cs.AI
Collaborative Auto-Curricula Multi-Agent Reinforcement Learning with Graph Neural Network Communication Layer for Open-ended Wildfire-Management Resource Distribution
现实世界中的大多数领域都可以用多智能体（MA）系统来描述。意图共享代理可以通过协作解决更复杂的任务，可能在更短的时间内。真正的合作行动是有益的利己主义和集体的原因。然而，教导个体代理人为了更好的集体表现而牺牲利己主义利益似乎具有挑战性。我们建立在最近提出的多智能体强化学习（MARL）机制与图神经网络（GNN）通信层。很少选择的沟通行动是边际有益的。在这里，我们提出了一个MARL系统中，代理可以帮助合作者更好地执行，同时冒着个人性能低。我们在野火管理资源分配的背景下进行研究。沟通环境特征和部分可观察的火灾发生帮助代理集体先发制人地分配资源。此外，我们引入了一个程序化的培训环境，适应自动课程和开放性，以更好的概括性。我们的MA通信建议优于贪婪启发式基线和单代理（SA）设置。我们进一步展示了自动课程和开放性如何提高我们的MA提案的可推广性。
2022-04-24 cs.AI cs.LG cs.MA
Learning in Cooperative Multiagent Systems Using Cognitive and Machine Models
University of Dayton（代顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对协作式多智能体系统在随机奖励下学习与协调困难的问题，提出三种融合 IBLT 认知机制与 MADRL 技术的 MAIBL 模型，并在 CMOTP 中验证其学习更快、协调更好。
2023-08-18 cs.AI cs.MA
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University（华东师范大学）；Microsoft Research（微软研究院）；Microsoft 365（微软365）；Microsoft Research Asia（微软亚洲研究院）
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源，假设不是所有用户都能同时充分利用这些资源。然而，如何设计一个超额预订政策，提高利用率，同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守，忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题，本文将云计算的超额订阅问题描述为一个机会约束优化问题，并提出了一种有效的机会约束多智能体强化学习（C2MARL）方法来解决这个问题。具体来说，C2MARL通过考虑约束的上限来减少约束的数量，并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明，我们的C2 MARL优于现有的方法，提高利用率（$20\%\sim 86\%$）在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
Privacy-Engineered Value Decomposition Networks for Cooperative Multi-Agent Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Florida（佛罗里达大学）
针对合作多智能体强化学习中的隐私问题，提出PE-VDN算法，通过分布式计算、多方计算和差分隐私技术，在保护环境数据的同时实现80%的Vanilla VDN胜率。
2023-09-13 cs.AI cs.LG cs.MA
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
VDN和QMIX是两种流行的基于值的协作MARL算法，它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易，但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明，这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说，我们提出了一种新的MARL方法，称为通用价值探索（UneVEn），学习一组相关的任务，同时线性分解的通用后继功能。利用已经解决的相关任务的策略，可以改进所有Agent的联合探索过程，帮助它们实现更好的协调。一组探索游戏的经验结果，具有挑战性的合作捕食者-猎物任务，需要显着的代理之间的协调，和星际争霸II微观管理基准显示，UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
Feudal Multi-Agent Hierarchies for Cooperative Reinforcement Learning
Gatsby Computational Neuroscience Unit, University College London（伦敦大学学院盖茨比计算神经科学单位）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
我们研究如何强化学习代理可以学习合作。从人类社会，其中许多人的成功协调往往是由层次组织促进的灵感，我们介绍封建多智能体层次结构（FMH）。在这个框架中，一个“经理”的代理，这是最大限度地提高环境确定的奖励功能的任务，学习沟通子目标多个，错误操作，“工人”代理。工人，这是奖励实现管理的子目标，同时采取行动在世界上。我们概述了FMH的结构，并展示了其分散学习和控制的潜力。我们发现，给定一组足够的子目标，从中选择，FMH执行，特别是规模，大大优于合作的方法，使用共享的奖励功能。
2019-01-24 cs.AI cs.LG cs.MA
Large Language Model Guided Incentive Aware Reward Design for Cooperative Multi-Agent Reinforcement Learning
Department of Electrical and Electronics Engineering（电气与电子工程系）；Karabuk University（卡拉博克大学）；Department of Mechatronics Engineering（机械工程系）
提出利用大语言模型自动生成可执行奖励程序，结合多智能体近端策略优化训练，在Overcooked-AI环境中显著提升合作任务回报。
2026-05-31 cs.AI cs.LG cs.SY
Efficient Querying for Cooperative Probabilistic Commitments
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程学院）
多智能体系统可以使用承诺作为一般协调基础设施的核心，支持合作和非合作交互。目标一致的代理人，一个代理人可以通过牺牲自己的一些奖励来帮助另一个代理人获得更大的奖励，应该选择合作承诺来最大化他们的联合奖励。我们提出了一个解决方案的问题，合作代理可以有效地找到一个（近似）最佳的承诺，通过查询精心选择的承诺选择。我们证明了代理的值的承诺规范的参数的函数的结构特性，并开发了一个贪婪的方法组成的查询与可证明的近似边界，我们的经验表明，可以找到几乎最佳的承诺在一小部分的时间方法，缺乏我们的见解需要。
2020-12-14 cs.AI
Towards Few-shot Coordination: Revisiting Ad-hoc Teamplay Challenge In the Game of Hanabi
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）；IBM Research（IBM研究院）
该研究针对现有ZSC算法对不同训练方法的伙伴适应慢的问题，基于Hanabi游戏构建评估框架与适应遗憾指标，发现朴素IQL适应速度与SOTA的OBL相当，并指出训练数据多样性、优化过程类超参数对适应性影响显著。
2023-08-20 cs.AI cs.LG cs.MA
Safe Multiagent Coordination via Entropic Exploration
针对安全多智能体学习中探索受限及缺乏团队约束研究的问题，提出熵探索（E2C）方法，通过观测熵最大化激励探索，实验显示其在任务性能上优于基线且能减少50%不安全行为。
2025-08-26 cs.AI cs.MA cs.RO
Self-Organized Polynomial-Time Coordination Graphs
Institute for Interdisciplinary Information Sciences (IIIS), Tsinghua University（清华大学交叉信息研究院）；Department of Computer Science, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校计算机科学系）；Harvard University（哈佛大学）
协调图是多智能体强化学习中智能体协作建模的一种有效方法。它进行基于图的值分解，并诱导代理之间的显式协调，以完成复杂的任务。然而，在这个范例中的一个关键挑战是贪婪的动作选择的复杂性相对于因式分解的值。它指的是分散约束优化问题（DCOP），其常数比近似是NP-难问题。为了克服这一困难，本文提出了一种新的协作动作选择方法SOP-CG（Self-Organized多项式时间Coordination Graphs），该方法使用结构化的图类来保证协作动作选择的准确性和计算效率。SOP-CG采用动态图拓扑结构来确保足够的价值函数表达能力。图选择被统一到端到端学习范式中。在实验中，我们表明，我们的方法学习简洁和适应良好的图形拓扑结构，诱导有效的协调，并提高了各种合作多智能体任务的性能。
2022-09-16 cs.AI cs.LG cs.MA
Modeling Sensorimotor Coordination as Multi-Agent Reinforcement Learning with Differentiable Communication
Stanford University（斯坦福大学）
多智能体强化学习已经显示出对各种合作任务的承诺，作为可区分的智能体通信的最新发展的结果。然而，大多数架构都局限于同类代理的池，限制了它们的适用性。在这里，我们提出了一个模块化的框架，学习复杂的任务，传统的单体代理被框定为一个合作的异构代理的集合。我们应用这种方法来模拟感觉运动协调在新皮层作为一个多智能体强化学习问题。我们的研究结果证明了所提出的架构的概念验证，并为学习复杂任务和理解大脑和未来智能系统中的功能定位开辟了新的途径。
2019-09-12 cs.AI cs.MA
Cooperative Multi-Agent Reinforcement Learning with Hypergraph Convolution
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Singapore Management University（新加坡管理大学）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，多智能体系统（MAS）取得了巨大的成功。价值分解是多智能体系统中的一项重要工作，它是将联合行为价值分解为个体行为价值的过程。然而，许多价值分解方法忽略了不同代理之间的协调，导致臭名昭著的“懒惰代理”问题。为了提高多智能体系统的协调性，本文提出了超图卷积MIX（HGCN-MIX），一种将超图卷积与值分解相结合的方法。HGCN-MIX将代理及其关系建模为超图，其中代理是节点，节点之间的超边表示相应的代理可以协调以获得更大的奖励。然后，它训练一个超图，可以捕捉代理之间的协作关系。利用学习到的超图来考虑其他智能体的观察和行动如何影响他们的决策，MAS中的智能体可以更好地协调。我们在星际争霸II多智能体挑战基准中评估HGCN-MIX。实验结果表明，HGCN-MIX可以训练联合策略，优于或达到类似的性能水平，作为目前的国家的最先进的技术。我们还观察到，HGCN-MIX在具有大量代理的场景中具有更显着的性能改善。此外，我们进行了额外的分析，强调当超图学习更多的关系，HGCN-MIX可以训练更强的联合策略。
2022-04-28 cs.AI cs.LG cs.MA
Optimization for Reinforcement Learning: From Single Agent to Cooperative Agents
University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文综述了多智能体强化学习算法在大规模控制系统和通信网络中的最新进展，这些算法学习通信和协作。我们提供了一个概述这一新兴领域，重点是在不同的协调协议下的分散设置。从分布式优化的角度，我们强调了强化学习算法从单智能体到多智能体系统的演变，并总结了未来的方向和挑战，希望能促进分布式优化，信号处理和强化学习社区之间不断增长的协同作用。
2019-12-01 cs.AI cs.LG cs.MA
Emergent Coordination Through Competition
DeepMind（深度思维）
我们研究合作行为的出现在强化学习代理通过引入一个具有挑战性的竞争性的多智能体足球环境与连续模拟物理。我们证明，分散的，基于人口的训练与合作可以导致代理的行为的进展：从随机，简单的球追逐，并最终显示合作的证据。我们的研究强调了在连续控制的大规模多智能体训练中遇到的几个挑战。特别是，我们证明了自动优化简单的塑造奖励，而不是自己有利于合作行为，可以导致长期的团队行为。我们进一步应用的评价方案，接地博弈论的校长，可以评估代理性能的情况下，预定义的评价任务或人类基线。
2019-02-21 cs.AI
Cooperative Game Theory within Multi-Agent Systems for Systems Scheduling
关于多智能体系统中的组织和协调的研究继续从各种架构和方法中汲取。本文提出的工作相结合的技术，从博弈论和多智能体系统产生自组织的，多态的，轻量级的，嵌入式代理系统调度在一个大规模的实时系统环境。结果表明，这种方法是如何使用实验产生最佳的实时调度，通过成千上万的代理的紧急行为。这些结果是使用SWARM模拟系统调度内的高能物理实验组成的2500个数字信号处理器。
2005-04-29 cs.AI cs.MA
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh（爱丁堡大学）
多智能体深度强化学习（MARL）缺乏常用的评估任务和标准，使得方法之间的比较变得困难。在这项工作中，我们提供了一个系统的评估和比较三个不同类别的MARL算法（独立学习，集中式多智能体策略梯度，价值分解）在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考，并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL，它扩展了PyMARL代码库，以包含其他算法，并允许灵活配置算法实现细节，如参数共享。最后，我们开源两个环境的多智能体的研究，重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Physics-Informed Multi-Agent Coordination for Hospital Patient Flow Optimization
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
提出物理信息多智能体协调框架，将BCMP排队网络嵌入分散式强化学习，优化医院患者流，显著降低延迟并满足临床安全。
2026-09-30 cs.AI cs.MA
Cooperative Multi-Agent Policy Gradients with Sub-optimal Demonstration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
许多现实任务，如机器人协调，可以很自然地建模为多智能体合作系统的回报是稀疏的。本文的重点是学习分散的政策，这些任务使用次优演示。为了有效地学习多智能体协作，解决演示的次优问题，提出了一种自改进学习方法：一方面，通过演示初始化集中式状态-动作值，并利用学习到的分散式策略更新集中式状态-动作值，以改善次优问题。另一方面，利用当前状态-动作值来寻找纳什均衡，并以此作为学习策略的指导。所提出的方法进行评估的战斗RTS游戏，需要一个高层次的多智能体合作。大量的实验结果表明，该方法可以有效地学习多智能体合作的各种作战场景。它明显优于许多最先进的基于演示的方法。
2021-08-19 cs.AI
Multi-Agent Language Models: Advancing Cooperation, Coordination, and Adaptation
Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
本研究通过合作性多智能体强化学习视角，探究大型语言模型的心理理论能力，旨在增强智能体与人工及人类伙伴的适应与合作，推动混合人机系统发展。
2025-06-17 cs.AI cs.CL cs.MA
An Automated Reinforcement Learning Reward Design Framework with Large Language Model for Cooperative Platoon Coordination
Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University（上海智能自主系统研究院，同济大学）；Department of Control Science and Engineering, Tongji University（控制科学与工程系，同济大学）
本文提出基于大语言模型的车队协调奖励设计（PCRD）框架，通过AIR模块初始化与进化模块迭代优化自动生成奖励函数，在长三角交通仿真中性能平均提升10%，优于人工设计。
2025-04-28 cs.AI cs.LG
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Real-time Cooperative Vehicle Coordination at Unsignalized Road Intersections
无信号交叉口的协同协调，旨在提高互联和自动化车辆的行驶安全性和交通吞吐量，近年来引起了越来越多的关注。然而，大多数现有的调查要么受到计算复杂性的影响，要么无法充分利用道路基础设施的潜力。为此，我们首先提出了一个专用的交叉口协调框架，其中所涉及的车辆移交其控制权限，并遵循中央协调员的指示。然后，将制定一个统一的合作轨迹优化问题，以最大限度地提高交通吞吐量，同时确保驾驶安全和长期稳定的协调系统。为了解决现实世界部署中的关键计算挑战，我们将这个非凸顺序决策问题重新表达为无模型的马尔可夫决策过程（MDP），并通过在深度强化学习（DRL）框架中设计基于双延迟深度确定性策略梯度（TD 3）的策略来解决它。仿真和实际实验表明，该策略在亚静态协调场景下可以获得接近最优的性能，在现实连续业务流中可以显著提高业务吞吐量。最显著的优点是，我们的策略可以降低计算的时间复杂度为毫秒，并显示出可扩展的道路车道增加。
2023-03-22 cs.AI cs.RO cs.SY
Adaptive Arena-based Contestable Argumentative Network-of-Experts for Open-Ended Care Plan Coordination
University of New Brunswick（新不伦瑞克大学）；National Research Council Canada（加拿大国家研究委员会）
针对开放式护理计划协调中单一LLM流程的不足，提出多Agent神经符号框架CANOE，经医学微调模型在相关数据集上表现出强临床正确性，且CANOE具备可解释性与人类可争议性。
2026-08-07 cs.AI cs.MA
SCC-rFMQ Learning in Cooperative Markov Games with Continuous Actions
Dalian Maritime University（大连海事大学）；Tianjin University（天津大学）；Southwest University（西南大学）；University of Liverpool（利物浦大学）
虽然已经提出了许多强化学习方法来学习单智能体连续动作域中的最优解，但具有连续动作的多智能体协调域的研究相对较少。本文提出了一种独立学习者层次化的方法，称为递归频率最大Q值样本连续协调（SCC-rFMQ），它将具有连续动作的协作问题分为两层。第一层通过可变探索率的重采样机制从连续动作空间中采样有限的动作集合，第二层对采样动作集合中的动作进行评估，并使用强化学习协作方法更新策略。通过在两个层次上构造合作机制，SCC-rFMQ可以有效地处理连续行动合作马尔可夫博弈中的合作问题。SCC-rFMQ的有效性在两个精心设计的游戏上进行了实验证明，即，一个连续版本的攀登游戏和一个合作版本的船的问题。实验结果表明，SCC-rFMQ的性能优于其他强化学习算法。
2018-09-18 cs.AI
A Cooperative Coordination Solver for Travelling Thief Problems
Data61 / CSIRO（Data61 / 联邦科学与工业研究组织）；Griffith University（格里菲斯大学）
旅行小偷问题（TTP）是具有相互作用组件的多组件优化问题的代表。TTP结合了背包问题（KP）和旅行商问题（TSP）。一个小偷在一系列城市中进行循环旅行，并根据收集计划，将一部分物品收集到一个容量有限的租用背包中。其目的是最大限度地提高利润，同时最大限度地降低租赁成本。现有的TTP求解器通常以交错方式求解KP和TSP分量：一个分量的解保持固定，而另一个分量的解被修改。这表明解决这两个组件之间的协调性较低，可能导致低质量的TTP解决方案。2-OPT启发式算法通常用于求解TSP组件，该组件在巡回中反转一个段。在TTP中，2-OPT不考虑收集计划，这可能导致目标值较低。这又会导致求解器拒绝巡视修改。我们提出了一个扩展形式的2-OPT，以改变收集计划与旅游修改协调。被视为利润较低且在反向分部中位于较早的城市收集的项目被利润较高且不在反向分部中位于较晚的城市收集的项目所取代。收集计划通过修改形式的爬山位翻转搜索进一步改变，其中收集状态的改变仅允许边界项，其被定义为最低利润的收集项或最高利润的未收集项。这一限制减少了在KP组件上花费的时间，允许TSP组件在时间预算内评估更多的旅行。所提出的方法形成了一个新的合作协调求解器，这是优于几个国家的最先进的TTP求解器的基础。
2020-12-14 cs.AI math.OC
SwarmDrive: Semantic V2V Coordination for Latency-Constrained Cooperative Autonomous Driving
Institute for Wireless Communication and Navigation（无线通信与导航研究所）；RPTU University Kaiserslautern-Landau（科布伦茨-兰道大学）
SwarmDrive通过语义车辆间协调框架，在高不确定性时共享紧凑意图分布，并通过事件触发共识融合，提升协同自动驾驶性能，减少延迟并提高成功率。
2026-04-22 cs.AI cs.RO
A Cascading Cooperative Multi-agent Framework for On-ramp Merging Control Integrating Large Language Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Computer Science & Engineering, University of Minnesota（明尼苏达大学计算机科学与工程系）；Department of Mechanical Engineering & Materials Science, Yale University（耶鲁大学机械工程与材料科学系）；Computer Vision, BYD COMPANY LIMITED（计算机视觉，比亚迪有限公司）；School of Architecture, University of Texas at Austin（德克萨斯大学奥斯汀分校建筑学院）；Faculty of Applied Science & Engineering, University of Toronto（多伦多大学应用科学与工程学院）
针对传统强化学习在匝道合流中模拟人类行为、泛化及可解释性不足，提出级联协作多智能体框架，集成强化学习、微调大语言模型、奖励函数与检索增强生成，实验证明其在微观和宏观性能上显著优于现有方法。
2025-07-08 cs.AI cs.CV cs.LG
HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via Learned Messaging
IIIT-Bangalore（班加罗尔国际信息技术研究所）；Ericsson Research（爱立信研究院）；IIT-BHU（贝拿勒斯印度教大学印度理工学院）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
协作多智能体强化学习（MARL）已经取得了显著的成果，最显著的是利用了深度神经网络的表示学习能力。然而，随着代理人数量的增加，大型集中式方法很快变得不可行，完全分散的方法可能会错过信息共享和协调的重要机会。此外，并非所有代理都是平等的-在某些情况下，单个代理甚至可能没有能力向其他代理发送通信或显式地对其他代理进行建模。本文考虑的情况下，有一个单一的，强大的，\emph{central agent}，可以观察整个观察空间，有多个，低功率的\emph{local agents}，只能接收本地的意见，并不能相互通信。中央代理的工作是根据全局观察来学习需要向不同的本地代理发送什么消息，不是通过集中解决整个问题并发送动作命令，而是通过确定单个代理应该接收什么附加信息，以便它可以做出更好的决策。在这项工作中，我们提出了我们的MARL算法\algo，描述它将是最适用的，并实现它在合作导航和多智能体步行者域。实证结果表明：1）学习的沟通确实提高了系统性能，2）结果推广到异构本地代理，3）结果推广到不同的奖励结构。
2022-12-02 cs.AI cs.LG cs.MA
A Dataset Schema for Cooperative Learning from Demonstration in Multi-robots Systems
多智能体系统（MAS）已被用于解决复杂的问题，需要智能体一起工作，以达到预期的目标。这些Agent应该有效地同步它们的个体行为，以便它们能够以协调的方式作为一个团队来实现整个系统的共同目标。MAS中的一个主要问题是Agent的协调，因为观察MAS执行的公共领域专家不赞成Agent的决策。即使MAS的设计使用了最好的方法和工具，为代理人的协调，专家和MAS之间的这种差异的决策是肯定的。因此，本文提出了一种新的数据集模式，以支持学习的协调行为在MAS从示范。所提出的解决方案的结果进行了验证，在多机器人系统（MRS）组织收集新的合作计划的建议，从示范领域的专家。
2019-12-03 cs.AI cs.MA cs.RO
OverForge: Reasoning Through Strategies and Tactics Helps Cooperative Lifelong Adaptation
Delft University of Technology（代尔夫特理工大学）
OverForge提出一种免训练的分层架构，将策略推理与战术推理分离，通过元认知模块耦合，在OvercookedV2中实现更高的协作效率、角色保留和适应陌生伙伴，支持终身适应。
2026-10-01 cs.AI cs.CL cs.MA
KnowPC: Knowledge-Driven Programmatic Reinforcement Learning for Zero-shot Coordination
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（中国科学技术大学认知智能国家重点实验室）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
KnowPC提出用可解释程序替代神经网络策略，通过领域特定语言和知识提取与推理机制，高效搜索程序空间以解决零样本协调问题。
2024-08-08 cs.AI
"Other-Play" for Zero-Shot Coordination
Facebook AI Research（脸书人工智能研究院）
我们考虑了zero-shot协调问题-构建能够与他们以前从未见过的新伙伴（例如人类）协调的人工智能智能体。标准的多智能体强化学习（MARL）方法通常关注自我游戏（SP）设置，其中智能体通过重复与自己玩游戏来构建策略。不幸的是，将SP天真地应用于zero-shot协调问题，可能会产生建立高度专业化惯例的代理，这些惯例不会传递给他们没有训练过的新伙伴。我们介绍了一种新的学习算法，称为其他发挥（OP），提高自我发挥寻找更强大的战略，利用存在已知的对称性的基本问题。我们的特点OP理论上以及实验。我们研究了合作纸牌游戏Hanabi，并表明OP代理与独立训练的代理配对时获得更高的分数。在初步结果中，我们还表明，我们的OP代理获得更高的平均分数时，与人类球员配对，相比，国家的最先进的SP代理。
2021-05-12 cs.AI
Efficient Generation of Diverse Cooperative Agents with World Models
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出 XPM-WM 框架，利用学习到的世界模型生成模拟轨迹，以降低零样本协调中多样化伙伴种群的训练成本，并在保持性能的同时提升样本效率与可扩展性。
2026-10-27 cs.AI
Human-Agent Coordination in Games under Incomplete Information via Multi-Step Intent
University of Texas at Austin（得克萨斯大学奥斯汀分校）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
本文扩展共享控制博弈以支持多步意图，提出结合概率信念记忆与 IntentMCTS 在线规划的协作方法，实验证明其减少步数与切换，并提升成功率和用户体验。
2025-02-17 cs.AI cs.HC
More Capable, Less Cooperative? When LLMs Fail At Zero-Cost Collaboration
研究LLM在多智能体系统中零成本协作的失败原因，通过构建去战略复杂性的环境，发现能力更强的模型（如o3）反而合作更差，并区分了能力失败与主动信息隐瞒，提出针对性干预措施。
2026-06-04 cs.AI cs.CL cs.MA
Swarm robotics in wireless distributed protocol design for coordinating robots involved in cooperative tasks
University of Calabria（卡拉布里亚大学）；Middlesex University London（伦敦密德萨斯大学）
在未探测区域探测地雷是一个优化问题，其中需要在最短的时间内发现并拆除随机分布在整个区域的多个地雷。我们提出了一种策略，探索一个未知的领域，使用基于蚂蚁行为的stigmergy方法，和一种新的基于群的协议，以招募和协调机器人解除地雷合作。仿真测试表明，我们提出的基于蚂蚁的任务机器人协调（ATRC）的有效性，只有探索任务，探索和招募策略。多个最小化的目标被认为是：机器人的招聘时间和整个区域的探索时间。我们讨论，通过模拟，不同的情况下，不同的网络和现场条件下，由机器人执行。结果表明，所提出的分散方法使机器人群体能够在没有任何中央控制的情况下智能地执行协作任务。
2018-04-22 cs.AI cs.RO
