Real-Time Network-Level Traffic Signal Control: An Explicit Multiagent Coordination Method
Southeast University（东南大学）；University of Science and Technology of China（中国科学技术大学）
针对交通信号控制的实时性、交通动态复杂性及路网级协调难题，提出基于显式多智能体协调的在线规划方法，可保证路网稳定性，在适配实时动态、降低行程时间和城市级可扩展性上优于现有方法。
2023-06-15 cs.AI cs.MA
Combining Planning and Reinforcement Learning for Solving Relational Multiagent Domains
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；IBM Research（IBM研究院）；Oregon State University（俄勒冈州立大学）
针对多智能体强化学习在关系型领域中的样本效率低和泛化困难问题，提出将关系型规划器作为集中控制器与强化学习结合，实现高效任务迁移与泛化。
2025-02-26 cs.AI cs.LG cs.MA
Deep Multiagent Reinforcement Learning: Challenges and Directions
Leiden University（莱顿大学）
本文综述了深度多智能体强化学习领域。近年来，深度神经网络与强化学习的结合获得了越来越多的关注，并且正在慢慢将焦点从单智能体环境转移到多智能体环境。处理多个代理本质上更复杂，因为（a）未来的奖励取决于多个参与者的联合行动，以及（b）计算复杂性增加。我们提出了最常见的多智能体的问题表示和他们的主要挑战，并确定了五个研究领域，解决这些挑战中的一个或多个：集中培训和分散执行，对手建模，沟通，有效的协调，和奖励塑造。我们发现，许多计算研究依赖于不切实际的假设，或者不能推广到其他设置;他们努力克服维数或非平稳性的灾难。心理学和社会学的方法捕捉有前途的相关行为，如沟通和协调，以帮助代理在多代理环境中实现更好的性能。我们建议，多智能体强化学习是成功的，未来的研究应该解决这些挑战与跨学科的方法，在多智能体强化学习开辟新的可能性。
2022-10-12 cs.AI cs.LG cs.MA
Multiagent Conflict Resolution for a Specification Network of Discrete-Event Coordinating Agents
本文提出了一种新的组合方法，分布式协调模块（CM）的形式语言和自动机框架中的多个离散事件代理的综合。这种方法有两个独创性的观点支持。首先是一个新的形式主义称为分布式约束规范网络（DCSN），可以理解地描述分布式代理之间的网络约束关系。第二个是多智能体冲突解决规划，这需要生成和使用AND/OR图来competently表示DCSN的冲突解决（合成过程）计划。连同在作者的早期工作中开发的本地CM设计的框架，系统的方法支持分别设计本地和deconflicting CM的个别代理商根据选定的冲突解决计划。组成的代理模型和CM的设计crosshes一个整体的非阻塞协调解决方案，满足一组指定的DCSN中的代理间的约束。
2014-03-19 cs.MA
Policy Gradient With Value Function Approximation For Collective Multiagent Planning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）
本文提出一种改进的actor-critic方法，用于优化集体决策多智能体规划问题，通过分解近似动作价值函数提升收敛速度，并在合成任务和出租车车队优化中验证了方法的有效性。
2018-04-09 cs.AI cs.LG cs.MA
MultiAgentBench: Evaluating the Collaboration and Competition of LLM agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出MultiAgentBench基准，通过基于里程碑的KPI和多种协调协议评估LLM多智能体系统在交互场景中的协作与竞争，发现gpt-4o-mini任务得分最高、图结构表现最佳且认知规划提升3%里程碑达成率。
2025-03-03 cs.AI cs.CL cs.CY
CH-MARL: Constrained Hierarchical Multiagent Reinforcement Learning for Sustainable Maritime Logistics
本文提出CH-MARL框架，通过分层决策、动态约束执行和公平感知奖励塑形，在模拟海事物流中实现减排、公平性与运营效率的同步提升，为受约束多智能体协调提供可扩展的通用方案。
2025-02-04 cs.AI cs.MA
Real-World Deployment of a Hierarchical Uncertainty-Aware Collaborative Multiagent Planning System
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；DEVCOM Army Research Laboratory (ARL)（DEVCOM陆军研究实验室）；United States Military Academy（美国军事学院）
本文提出并部署了一种分层不确定性感知协同多智能体规划系统，通过规划器层次结构与鲁棒设计，在真实世界未知环境中实现长距离协同导航。
2024-04-26 cs.AI cs.MA cs.RO
An Optimal Rewiring Strategy for Reinforcement Social Learning in Cooperative Multiagent Systems
Tianjin University（天津大学）；Centrum Wiskunde & Informatica（数学与信息中心）
协作多智能体系统中的多智能体协调问题在固定智能体重复交互和静态社会学习框架下得到了广泛的研究。然而，两个方面的动态在现实世界中的多智能体的情况下，目前缺少在现有的作品。首先，网络拓扑可以是动态的，其中代理可以在交互过程中通过重新布线来改变它们的连接。第二，每对代理之间的博弈矩阵可能不是静态的，通常不被认为是先验的。网络的动态性和博弈的不确定性增加了Agent之间的协调难度。在本文中，我们考虑一个多智能体动态社会学习环境中，每个代理可以选择重新布线潜在的合作伙伴，并在每一轮随机选择的邻居进行交互。我们提出了一个最佳的重新布线策略，代理选择最有益的同行进行交互的目的是最大限度地提高重复交互的累积收益。通过与基准策略的比较，我们实证证明了我们方法的有效性和鲁棒性。三个有代表性的学习策略的表现，在我们的社会学习框架与我们的最佳重新布线进行了调查。
2018-05-13 cs.AI cs.LG cs.MA
Efficient Multiagent Planning via Shared Action Suggestions
针对Dec-POMDP-Com求解复杂度高的问题，提出仅共享建议联合动作的多智能体规划方法，通过剪枝信念降低计算复杂度，在基准上达到接近中心化方法的性能，可支撑人-智能体协作场景应用。
2025-11-15 cs.MA
Anticipating Responsibility in Multiagent Planning
IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）；University of Toulouse（图卢兹大学）
本文研究多智能体规划中的责任预期问题，定义了主动、被动和贡献责任的归因及其能动性变体，并证明该概念可用于协调智能体，给出了复杂度结果及PDDL求解方案。
2023-07-31 cs.AI cs.MA
Action Semantics Network: Considering the Effects of Actions in Multiagent Systems
Tianjin University（天津大学）；Nanjing University（南京大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
在多智能体系统（MAS）中，每个智能体做出单独的决策，但所有这些决策都对系统的演化有全局贡献。MAS中的学习是困难的，因为每个代理的动作选择必须在其他共同学习代理的存在下进行。此外，环境的随机性和不确定性随着代理人数量的增加而呈指数增长。以前的作品借用各种多智能体协调机制到深度学习架构，以促进多智能体协调。然而，没有一个明确考虑代理之间的动作语义，不同的动作对其他代理的影响是不同的。在本文中，我们提出了一种新的网络体系结构，命名为动作语义网络（ESTA），明确表示代理之间的动作语义。基于Agent之间的动作语义，利用神经网络刻画不同动作对其他Agent的影响。它可以很容易地与现有的深度强化学习（DRL）算法相结合，以提高其性能。在星际争霸II微管理和神经MMO上的实验结果表明，与几种网络架构相比，DRL显著提高了最先进的DRL方法的性能。
2020-01-16 cs.AI cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida（佛罗里达大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
隐私感知的多智能体系统必须保护代理的敏感数据，同时确保代理完成他们的共同目标。为了实现这一目标，我们提出了一个框架，私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹，然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平，这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策，是强大的隐私减少的总相关值。数值实验表明，在这些政策下，团队的表现下降了3%，当比较私人与非私人的通信实现。相比之下，当使用忽略总体相关性而只优化团队绩效的基线策略时，团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
Optimizing Highway Traffic Flow in Mixed Autonomy: A Multiagent Truncated Rollout Approach
本文提出一种多智能体截断滚动方法，用于优化混合自主环境下高速公路交通流，通过增强CAVs速度协调提升通行能力并减少计算开销。
2025-12-16 cs.MA
EcoNet: Multiagent Planning and Control Of Household Energy Resources Using Active Inference
VERSES, Los Angeles, CA, USA（VERSES, 美国洛杉矶州）；Spatial Web Foundation, Los Angeles, CA, USA（空间网络基金会, 美国洛杉矶州）；Dept. of Engineering and Informatics, Univ. of Sussex, Brighton, UK（工程与信息学系, 英国苏塞克斯大学）；Institut Sante et societe, UQAM, Montreal, CAN（健康与社会研究所, 加拿大蒙特利尔）；Macquarie University, Sydney, AUS（麦考瑞大学, 澳大利亚悉尼）；LearnableLoopAI.com, Custer, WA, USA（LearnableLoopAI.com, 美国华盛顿州）；Queen Square Institute of Neurology, UCL, London, UK（queen square 神经学研究所, 英国伦敦大学学院）
EcoNet通过主动推断方法，解决家庭能源管理中的不确定性及多目标冲突问题，提升能源调度与协调效率。
2025-12-14 cs.AI cs.MA cs.SY
R-MADDPG for Partially Observable Environments and Limited Communication
Massachusetts Institute of Technology（麻省理工学院）
有几个现实世界的任务将受益于应用多智能体强化学习（MARL）算法，包括自动驾驶汽车之间的协调。现实世界对多智能体学习系统具有挑战性的条件，例如其部分可观察性和非平稳性。此外，如果代理必须共享有限的资源（例如网络带宽），则它们都必须学习如何协调资源使用。本文提出了一个深度递归的多智能体行动者-批评者框架（R-MADDPG），用于处理部分可观察设置和有限通信下的多智能体协调问题。我们调查递归的影响，一个团队的代理商的性能和通信使用。我们证明，由此产生的框架学习的时间依赖性共享缺失的意见，处理资源限制，并开发不同的代理之间的通信模式。
2020-02-18 cs.AI cs.MA
Scalable Decision-Theoretic Planning in Open and Typed Multiagent Systems
在开放代理系统中，合作或竞争的代理集会随着时间的推移而变化，并且变化的方式难以预测。例如，如果协作机器人的任务是扑灭野火，它们可能会耗尽抑制剂，暂时无法帮助它们的同伴。我们认为，在这些背景下的规划问题与代理人无法相互沟通，有很多人的额外挑战。因为一个代理的最佳行动取决于其他代理的行动，每个代理不仅要预测其对等体的行动，而且在此之前，还要推理它们是否存在以执行某个行动。因此，解决开放性问题需要代理人对彼此的存在进行建模，这在大量代理人的情况下变得难以计算。我们提出了一种新颖的，原则性的，可扩展的方法，在这种情况下，使代理人的原因，在其共享的环境和他们的行动有关的其他人的存在。我们的方法外推模型的几个同行的多代理系统的整体行为，并结合它与概括的蒙特卡罗树搜索进行个人代理推理在多代理开放环境。理论分析建立代理模型的数量，以实现可接受的最坏情况下的外推误差的界限，以及遗憾的界限，代理的效用，从建模只有一些邻居。多代理野火抑制问题的模拟表明，我们的方法的有效性相比，替代基线。
2019-11-20 cs.MA
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London（伦敦大学学院）；University of York（约克大学）
现实世界的拥堵问题（例如交通拥堵）通常非常复杂且规模庞大。多智能体强化学习（MARL）是一个很有前途的候选人，通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而，有三个限制因素，影响部署的MARL方法的拥塞问题。这些是学习时间，可扩展性和分散的协调，即学习代理之间没有通信。在本文中，我们介绍了资源抽象，解决这些挑战的方法，分配到抽象组的可用资源。这种抽象创建了新的奖励函数，为学习代理提供更多信息信号，并帮助它们之间的协调。实验工作进行了两个基准域从文献中，一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明，使用资源抽象的系统显着提高了学习速度和可扩展性，并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中，涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
MARLander: A Local Path Planning for Drone Swarms using Multiagent Deep Reinforcement Learning
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出MARLander方法，利用多智能体深度强化学习实现无人机集群在静止与移动平台上的精准降落，实验表明其精度优于PID结合人工势场的基线方法，并展示了去集中化的可扩展应用前景。
2024-06-06 cs.MA cs.RO
Learning in Cooperative Multiagent Systems Using Cognitive and Machine Models
University of Dayton（代顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对协作式多智能体系统在随机奖励下学习与协调困难的问题，提出三种融合 IBLT 认知机制与 MADRL 技术的 MAIBL 模型，并在 CMOTP 中验证其学习更快、协调更好。
2023-08-18 cs.AI cs.MA
Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在合作的多智能体系统中，一组智能体执行联合策略以达到共同的目标。这种系统的成功部署取决于可靠的智能体通信的可用性。然而，在实践中存在许多潜在的通信中断源，例如无线电干扰、硬件故障和对抗攻击。在这项工作中，我们开发的合作多智能体系统，是强大的潜在损失的通信联合政策。更具体地说，我们开发的合作马尔可夫博弈达到避免目标的联合政策。首先，我们提出了一个算法，在通信丢失期间的联合政策的分散执行。接下来，我们使用的总相关性的状态动作过程中引起的联合政策作为衡量代理之间的内在依赖关系。然后，我们使用这个措施，降低了一个联合政策的性能时，失去了沟通。最后，我们提出了一个算法，最大限度地提高代理这个下限，以合成最小的依赖联合政策，是强大的通信损失。数值实验表明，所提出的最小依赖性的政策，需要最小的代理之间的协调，而招致很少或没有损失的性能;合成的政策的总相关值是五分之一的基线政策，不考虑潜在的通信损失的总相关值。因此，无论通信是否可用，最小依赖性策略的性能始终保持较高。相比之下，当通信丢失时，基线策略的性能下降了20%。
2022-01-17 cs.AI cs.MA
Individual specialization in multi-task environments with multiagent reinforcement learners
University Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究中心）
多智能体强化学习（MARL）作为构建通用智能体的第一步，在其他智能体存在的非平稳复杂环境中学习做出低级和高级决策，受到越来越多的关注。以前的结果指出，我们对协调，效率/公平，和共同池资源共享的条件增加。我们进一步研究协调在多任务环境中，可以执行几个奖励任务，因此代理不一定需要在所有任务中表现良好，但在某些条件下可能会专门。从这项研究中得出的一个观察是，基于值的强化学习方法的贪婪探索对于多智能体独立学习器是不够的，因为控制选择随机动作的概率的参数控制人工智能体，并迫使它们同时具有确定性策略。通过使用具有独立熵正则化探索更新的基于策略的方法，我们实现了更好和更平滑的收敛。另一个需要进一步调查的结果是，随着代理人数量的增加，专业化倾向于更有可能。
2019-12-29 cs.AI cs.MA
Q-value Path Decomposition for Deep Multiagent Reinforcement Learning
最近，深度多智能体强化学习（MARL）已经成为一个高度活跃的研究领域，因为许多现实世界的问题可以本质上被视为多智能体系统。一个特别有趣和广泛适用的一类问题是部分可观察的合作多智能体设置，其中一个团队的代理学习协调他们的行为调节他们的私人观察和共同共享的全球奖励信号。一个自然的解决方案是求助于集中式培训和分散式执行范式。在集中式训练过程中，一个关键的挑战是多智能体信用分配：如何为单个智能体策略分配全局奖励，以更好地协调系统级的利益最大化。在本文中，我们提出了一种新的方法称为Q值路径分解（QPD）的系统的全局Q值分解成单个代理的Q值。与以往限制单个Q值和全局Q值的表示关系的工作不同，我们利用集成梯度属性技术到深度MARL中，直接沿着轨迹路径分解全局Q值，为智能体分配学分。我们评估QPD上具有挑战性的星际争霸II微观管理任务，并表明，QPD实现了国家的最先进的性能在同质和异构的多智能体的情况下相比，现有的合作MARL算法。
2020-02-10 cs.MA
Individual Planning in Agent Populations: Exploiting Anonymity and Frame-Action Hypergraphs
University of Georgia（佐治亚大学）
交互式部分可观察马尔可夫决策过程（I-POMDP）提供了一个正式的框架规划的多智能体设置中的一个自我利益的代理。在多智能体环境中运行的智能体必须考虑其他智能体可能采取的行动以及这些行动对环境的影响和它所获得的奖励。传统的I-POMDP模型依赖于其他代理的行动，使用联合行动和模型空间。因此，解决方案的复杂性随着代理的数量呈指数级增长，从而使可扩展性变得复杂。在本文中，我们的模型和扩展的匿名性和上下文特定的独立性-问题结构往往存在于代理人口-计算增益。我们实证证明了利用这些问题结构的效率，通过解决一个新的多智能体问题，涉及1,000多个代理。
2015-04-02 cs.AI cs.GT cs.MA
Counterfactual Conditional Likelihood Rewards for Multiagent Exploration
Oregon State University（俄勒冈州立大学）；University of Sheffield（谢菲尔德大学）
本文提出反事实条件似然奖励，通过评估智能体对团队探索的独特贡献，提升多智能体系统在稀疏奖励环境下的探索效率和协作能力。
2026-02-12 cs.MA cs.RO
From Few to More: Large-scale Dynamic Multiagent Curriculum Learning
Tianjin University（天津大学）；Nanjing University（南京大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
在多智能体系统中，如何有效地学习和协调智能体已成为研究的热点。然而，它仍然是具有挑战性的，在大规模的多智能体设置由于环境和代理之间的复杂动态和状态-动作空间的爆炸。在本文中，我们设计了一种新的动态多智能体课程学习（DyMA-CL），以解决大规模的问题，从一个多智能体的情况下，一个小规模的学习，并逐步增加代理的数量。我们提出了三种跨课程的迁移机制，以加快学习过程。此外，由于状态维度在课程之间变化的事实，并且现有的网络结构不能应用于这样的转移设置，因为它们的网络输入大小是固定的。因此，我们设计了一种新的网络结构称为动态代理数网络（DyAN）来处理网络输入的动态大小。实验结果表明，与最先进的深度强化学习方法相比，使用DyAN的DyMA-CL大大提高了大规模多智能体学习的性能。我们还通过广泛的模拟研究了三种跨课程迁移机制的影响。
2019-11-20 cs.AI cs.MA
Emergence of Theory of Mind Collaboration in Multiagent Systems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
目前，在多智能体系统的研究中，往往忽略了智能体的意图。尽管如此，正如心理理论（Theory of Mind，ToM）所指出的，人们经常会对他人的心理状态进行推理，包括信念、目标和意图，以在竞争、合作或联盟中获得绩效优势。然而，由于其固有的递归性和难以建模的分布信念，集成ToM的多智能体规划和决策仍然是一个挑战。在本文中，我们将ToM在多智能体部分可观察马尔可夫决策过程（POMDP），并提出了一个自适应训练算法，开发有效的合作与ToM代理。我们用两个游戏来评估我们的算法，我们的算法超过了以前所有的分散执行算法，而没有对ToM进行建模。
2021-09-30 cs.AI cs.CY cs.MA
Independent Generative Adversarial Self-Imitation Learning in Cooperative Multiagent Systems
实践中的许多任务需要多个智能体通过强化学习进行协作。一般来说，合作多智能体强化学习算法可以分为两种范式：联合行动学习者（JAL）和独立学习者（IL）。在许多实际应用中，代理人无法观察其他代理人的行为和奖励，使JAL不适用。在这项工作中，我们专注于独立的学习范式，其中每个代理仅根据其局部观察做出决策。然而，学习是具有挑战性的，在独立的设置，由于所有代理的本地观点，认为世界是一个非静止的环境，由于同时探索的队友。在本文中，我们提出了一个新的框架称为独立生成对抗自我模仿学习（IGASIL），以解决在完全合作的多智能体环境中的协调问题。据我们所知，我们是第一个将自模仿学习与生成对抗模仿学习（GAIL）结合起来，并将其应用于合作多智能体系统的人。此外，我们还提出了子课程经验回放机制，以尽可能多地提取过去的有益经验，加速自我模仿学习过程。在星际争霸单元微管理测试平台和普遍采用的基准测试中进行的评估表明，我们的IGASIL产生了最先进的结果，甚至在收敛速度和最终性能方面优于JAL。
2019-09-25 cs.MA
Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
协作需要代理在运行中调整他们的目标。人类与其他代理人协调目标的能力的基础是他们预测他人意图并积极更新自己计划的能力。我们提出了分层预测规划（HPP），一个基于基于模型的强化学习方法分散多智能体会合。从预先训练的单智能体点对点导航策略开始，并使用激光雷达等嘈杂的高维传感器输入，我们首先通过团队中所有智能体的自我监督运动预测来学习。接下来，HPP使用的预测模型，提出和评估导航子目标，完成会合任务，没有明确的代理之间的通信。我们在一系列看不见的环境中评估HPP，这些环境的复杂性和障碍物的数量都在增加。我们表明，HPP在具有挑战性的、不可见的环境中优于替代的强化学习、路径规划和基于启发式的基线。在现实世界中的实验表明，成功地转移的预测模型从SIM到现实世界中没有任何额外的微调。总而言之，HPP通过结合基于模型的RL和推理方法，使代理能够动态地调整计划，从而消除了多智能体系统中对集中式操作员的需求。
2020-11-09 cs.AI cs.LG cs.MA
Learning to Teach in Cooperative Multiagent Reinforcement Learning
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）
个人的创新通过交流传授给他人，这一事实显然使人类的集体知识受益匪浅。与人类社会群体类似，分布式学习系统中的智能体可能会从交流中受益，以分享知识和传授技能。教学，以提高代理学习的问题已经调查了以前的作品，但这些方法的假设，防止教学的应用程序一般多智能体问题，或需要领域的专业知识，他们可以适用于问题。这种学习教学的问题具有内在的复杂性，与衡量教学的长期影响有关，这是标准的多智能体协调挑战的复合。在现有的作品相比，本文提出了第一个通用的框架和算法的智能代理学习教在多智能体环境。我们的算法，学习协调和教学强化（LeCTR），解决了点对点教学合作多智能体强化学习。在我们的方法中，每个代理都学习何时以及提供什么建议，然后使用收到的建议来改善本地学习。重要的是，这些角色不是固定的;这些代理人学会在适当的时候承担学生和/或教师的角色，请求和提供建议，以提高团队的表现和学习。与最先进的教学方法的实证比较表明，我们的教学代理不仅学习速度更快，而且还学会了在现有方法失败的任务中进行协调。
2018-08-31 cs.AI cs.MA
Comparative Evaluation of Multiagent Learning Algorithms in a Diverse Set of Ad Hoc Team Problems
University of Edinburgh（爱丁堡大学）
本文关注的是评估不同的多智能体学习（MAL）算法的问题中，个别代理可能是异质的，在这个意义上利用不同的学习策略，没有事先协议或信息协调的机会。这种情况出现在特设团队问题，许多实际的多智能体系统应用的模型。多智能体学习的先前工作通常集中在同类智能体组上，这意味着所有智能体都是相同的，并且先验地知道这一事实。此外，这些算法是专门设计的特设团队的问题，通常是在团队中的代理与固定的行为进行评估，而不是代理，这是适应他们的行为。在这项工作中，我们经验性地评估五个MAL算法，代表多智能体学习的主要方法，但最初开发时考虑到同质设置，以了解他们的行为在一组特设团队问题。所有团队都由不断调整行为的代理人组成。该算法进行评估方面的一个全面的表征重复矩阵游戏，使用的性能标准，包括考虑，如达到均衡，社会福利和公平。我们的主要结论是没有明显的赢家。然而，比较评估也突出了不同算法在性能标准类型方面的相对优势，例如，社会福利与实现均衡。
2019-07-22 cs.AI cs.MA
A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning
DeepMind
为了实现通用智能，智能体必须学习如何在共享环境中与其他智能体交互：这是多智能体强化学习（MARL）的挑战。最简单的形式是独立强化学习（InRL），其中每个代理将其经验视为其（非静态）环境的一部分。在本文中，我们首先观察到使用InRL学习的策略在训练过程中可能过拟合其他代理的策略，在执行过程中无法充分概括。我们引入了一个新的度量，联合政策的相关性，量化这种影响。我们描述了一个算法，一般MARL，基于近似的最佳反应的混合使用深度强化学习产生的政策，和经验博弈论分析计算元策略的政策选择。该算法推广了以前的算法，如InRL，迭代最佳对策，双预言机和虚拟播放。然后，我们提出了一个可扩展的实现，减少了使用解耦元求解器的内存需求。最后，我们证明了所得到的政策的一般性，在两个部分可观察的设置：网格世界协调游戏和扑克。
2017-11-07 cs.AI cs.GT cs.LG
Barrier Functions for Multiagent-POMDPs with DTL Specifications
California Institute of Technology（加州理工学院）
多智能体部分可观测马尔可夫决策过程（MPOMDPs）提供了一个框架来表示异构自治代理的不确定性和部分观察。在本文中，给定一个名义上的政策，由人类操作员或传统的规划方法，我们提出了一种技术的基础上，障碍函数设计一个最小的干扰安全盾，确保满足高层次的规格，线性分布时序逻辑（LDTL）。为此，我们使用充分和必要条件的基础上离散时间障碍函数（DTBFs）和制定有限时间DTBF研究有限时间收敛到一个集合的充分条件的给定集合的不变性。然后，我们表明，不同的LDTL任务/安全规范可以被铸造成一组不变或有限时间可达性问题。我们证明，所提出的方法安全屏蔽合成可以实现在线的一步贪婪算法的序列。我们证明了所提出的方法的有效性，使用实验涉及一个团队的机器人。
2020-03-19 cs.MA cs.RO cs.SY
Adaptive Robot Coordination: A Subproblem-based Approach for Hybrid Multi-Robot Motion Planning
Texas A&M University（德克萨斯农工大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出新型混合多机器人运动规划框架ARC，通过基于冲突的局部子问题动态调整规划空间的耦合与解耦，实现高效自适应协调，具备概率完备性，可扩展性与协调精度兼具，性能优于现有各类基线方法。
2023-12-13 cs.MA cs.RO
Multiagent Rollout Algorithms and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为有限和无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。我们介绍了一种方法，即在每个阶段，每个代理的决定是通过执行一个本地的推出算法，使用一个基本的政策，以及一些协调信息从其他代理。每个代理在每个阶段所需的本地计算量与代理的数量无关，而总计算量（在所有代理上）随代理的数量线性增长。相比之下，使用标准的rollout算法，总计算量随着代理的数量呈指数增长。尽管在所需的计算大幅减少，我们表明，我们的算法具有基本的成本改善性能的推出：一个改进的性能相对于基本政策。我们还讨论了通过有限的代理协调和代理计算的并行化进一步提高方法的计算效率的可能性。最后，我们探讨了相关的近似策略迭代算法的无限地平线问题，我们证明了成本改善属性转向算法收敛到代理的代理最优策略。
2020-04-13 cs.AI cs.LG cs.MA
Cooperative Epistemic Multi-Agent Planning for Implicit Coordination
Albert-Ludwigs-Universität Freiburg（弗莱堡阿尔伯特-路德维希大学）；Technical University of Denmark（丹麦技术大学）
认知规划可以用于具有分布式知识和能力的多智能体情况下的决策。最近，动态认知逻辑（DEL）已被证明提供了一个非常自然和表达框架的认知规划。我们扩展了基于DEL的认知规划框架，包括视角的转变，使我们能够定义新的概念，顺序和条件规划与隐式协调。有了这些，就有可能以分散的方式解决具有联合目标的规划任务，而无需代理在规划时协商并承诺联合策略。首先，我们定义了中央规划的概念，并勾勒出建立在这些概念上的规划系统的实施。之后，我们提供了一些案例研究，以评估规划经验，并表明这一概念是有用的多智能体系统在实践中。
2017-03-07 cs.AI cs.LO cs.MA
Population-based Evaluation in Repeated Rock-Paper-Scissors as a Benchmark for Multiagent Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Sony AI（索尼人工智能）；University of Alberta（阿尔伯塔大学）；University of Michigan（密歇根大学）
本文提出以重复石头剪刀布和43个参赛程序种群评估多智能体学习，结合平均回报与可利用度，揭示主流RL等方法仍难胜顶级机器人。
2023-10-31 cs.AI cs.GT cs.LG
Mosaic: Runtime-Efficient Multi-Agent Embodied Planning
College of Information and Computer Sciences, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Adobe, San Jose（Adobe）
研究基于LLM的多智能体实体规划执行延迟高问题，提出Mosaic框架，通过智能体中心语义内存和整数线性规划应对挑战，在多基准测试中执行更快、调用更少、步数更少且成功率更高，证明相关因素对多智能体规划的重要性。
2026-07-13 cs.MA
CASCADE: Cascaded Scoped Communication for Multi-Agent Re-planning in Disrupted Industrial Environments
State Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）
本文提出CASCADE机制，通过显式作用域控制实现多智能体在受扰工业环境中的重新规划，解决通信预算和延迟约束下的协调问题，提升鲁棒性。
2026-04-01 cs.MA cs.SY eess.SY
From Real-Time Planning to Reliable Execution:Scalable Coordination for Heterogeneous Multi-Robot Fleets in Industrial Environments
提出SCALE反应式在线协调框架，通过运动诱导冲突减少机制和广义共轭动作-优先超图，实现异构多机器人车队的实时路径规划与鲁棒执行，经仓库部署验证有效性。
2026-07-07 cs.MA cs.RO
Asynchronous MultiAgent Reinforcement Learning for 5G Routing under Side Constraints
Concordia University（康科德大学）
本文提出异步多智能体强化学习框架，用于解决5G路由下的侧约束问题，通过并行规划和资源协调实现高效且鲁棒的路由决策。
2026-01-18 cs.DC cs.LG cs.MA
Explicit Trait Inference for Multi-Agent Coordination
University of Southern California（南加州大学）；AWS Agentic AI Labs（AWS 代理AI实验室）
本文提出显式特征推断方法，通过推断伙伴特征提升多智能体协调效率，在经济游戏和复杂多智能体场景中均取得显著效果。
2026-04-22 cs.AI cs.MA
Learning Scalable Multi-Agent Coordination by Spatial Differentiation for Traffic Signal Control
Shanghai Jiao Tong University（上海交通大学）
交通信号的智能控制是交通系统优化的关键。为了在大规模的道路网络中实现全局最优的交通效率，最近的工作集中在交叉口之间的协调，这已经显示出可喜的成果。然而，现有的研究更多地关注观测在交叉点（包括外显和内隐）之间的共享，而不关心决策后的后果。本文设计了一个基于深度强化学习方法的交通信号控制多智能体协调框架，定义为γ-Reward，包括原始的γ-Reward和γ-Attention-Reward。具体来说，我们提出了空间差分方法的协调使用的时间-空间信息的重放缓冲区，以修改每个动作的奖励。给出了一个简洁的理论分析，证明了所提出的模型可以收敛到纳什均衡。通过将马尔可夫链的思想扩展到时空的维度，这种真正分散的协调机制取代了图注意力方法，实现了路网的解耦，具有更强的可扩展性，更符合实际。仿真结果表明，即使不采用集中式设置，该模型仍保持了最先进的性能。代码可在https://github.com/Skylark0924/Gamma奖励.
2020-09-16 cs.AI cs.MA
K-ARC: Adaptive Robot Coordination for Multi-Robot Kinodynamic Planning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Siebel School of Computing and Data Science（西贝尔计算与数据科学学院）；Texas A&M University（德克萨斯农工大学）；Instituto Tecnológico Autónomo de México (ITAM)（墨西哥自治技术学院）
本文提出 K-ARC 算法，通过分段交替使用优化与采样方法并继承 ARC 的按需协调机制，实现最多 32 个移动机器人的高效动力学规划，相比以往方法加速最高达一个数量级。
2025-01-02 cs.MA cs.RO
Prioritized Planning Algorithms for Trajectory Coordination of Multiple Mobile Robots
自主多机器人系统的一个重要性能是防止机器人之间的碰撞。解决这个问题的一种方法是规划无冲突的轨迹，并让每个机器人遵循其预先规划的轨迹。多机器人轨迹规划的一种实用方法是优先规划法，该方法在实践中已被证明是有效的，但在一般情况下是不完整的。通过优先规划可证明可解决的实例的正式分析仍然缺失。此外，优先规划是集中式算法，这在许多情况下可能是不期望的。在本文中，我们a）提出了一个修订版本的优先规划和特征的类的实例，可证明可解决的算法和b）提出了一个异步分散的优先规划的变体，它保持了集中式版本的理想属性，并在同一时间利用分布式计算能力的个人机器人，这在大多数情况下，允许找到关节轨迹更快。在真实室内地图上进行的实验评估表明，a）优先规划的修订版本可靠地解决了经典优先规划和流行的反应式技术ORCA失败的广泛类别的实例，b）异步分散算法提供的解决方案比以前提出的同步分散算法更快。
2014-09-08 cs.AI cs.MA cs.RO
Team Coordination on Graphs with State-Dependent Edge Cost
研究了图环境下的团队协调问题。具体来说，我们将“支持”的行动，代理可以采取，以减少成本，为它的队友遍历一些边缘，否则有较高的成本。由于这个附加的功能，图遍历不再是一个标准的多智能体路径规划问题。为了解决这个新问题，我们提出了一种新的配方，把它作为一个规划问题的联合状态空间：联合状态图（JSG）。由于边缘的JSG隐式地纳入了代理采取的支持行动，我们现在能够通过解决一个标准的单代理路径规划问题，在JSG优化联合行动。这种方法的一个主要缺点是在代理的数量和图形的大小的维数灾难。为了提高图大小的可扩展性，我们进一步提出了一种分层分解方法来进行两级路径规划。我们提供了复杂性分析以及统计分析，以证明我们的算法的效率。
2023-03-20 cs.MA
An Auction-based Coordination Strategy for Task-Constrained Multi-Agent Stochastic Planning with Submodular Rewards
针对任务协调算法忽略随机过程或计算量大的问题，提出基于拍卖的去中心化协调策略及其近似变体Deep Auction，通过任务约束MDPs和新评分函数保证至少50%最优性，并在无人机配送中验证了其有效性。
2023-08-02 cs.MA cs.NE
Breaking the Pre-Planning Barrier: Adaptive Real-Time Coordination of Heterogeneous UAVs
针对传统预规划路径方法限制无人机动态任务效能的问题，提出异构图注意力多智能体深度确定性策略梯度（HGAM）框架，实现异构无人机自适应实时协同，仿真显示其数据收集覆盖率提升30%、充电效率提高20%。
2025-04-15 cs.MA
IndoorR2X: Indoor Robot-to-Everything Coordination with LLM-Driven Planning
Fujitsu Research（富士通研究所）；Carnegie Mellon University（卡内基梅隆大学）
IndoorR2X通过整合移动机器人和静态物联网设备的观测数据，构建全局语义状态，实现可扩展的场景理解、减少冗余探索并利用大语言模型进行高层协调，提升多机器人系统的效率和可靠性。
2026-07-08 cs.MA cs.RO
Agreement Technologies for Coordination in Smart Cities
CETINIA, Univ. Rey Juan Carlos（CETINIA，胡安卡洛斯国王大学）；IMT Lille Douai（里尔杜埃高等矿业电信学校）
本文论证协议技术适用于智慧城市领域的多智能体协调，并通过多个实际应用案例加以佐证。
2024-01-21 cs.AI cs.MA
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International（SRI国际）
本文提出 ToMCAT 框架，将心智理论元学习与多智能体扩散模型结合，并通过动态重规划机制生成团队感知计划，在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Modeling Communication of Collaborative Multi-Agent System under Epistemic Planning
在大多数多智能体应用中，智能体之间的通信是必不可少的，以协调他们的行动，从而实现他们的目标。然而，通信通常具有影响整体系统性能的相关成本。在本文中，我们从认知规划的研究中得到启发，开发了一个通信模型的代理，使他们能够合作，并有效地在规划任务中进行沟通决策。该模型将沟通过程视为一个行动，修改团队的认知状态。在两个模拟任务中，我们评估代理是否可以有效地合作，并实现更高的性能，使用我们的认知规划框架中建模的通信协议。基于使用搜索和救援任务与不同的情况下进行的实证研究，我们的研究结果表明，该模型在所有情况下，提高团队绩效与基线模型相比。
2021-07-12 cs.MA
Hierarchically Consistent Motion Primitives for Quadrotor Coordination
University of Toronto（多伦多大学）
我们提出了一个层次结构的运动规划的一个大的代理集合。该框架从网格化工作空间上的低层运动基元开始，并提供了一组用于构造更高层运动基元的规则。我们的分层方法是高度可扩展性和鲁棒性，使其成为一个理想的工具，规划多智能体系统。实验结果表明，收集的四旋翼，必须导航混乱的环境，同时保持形成。
2019-05-01 cs.MA cs.RO
SIPOMDPLite-Net: Lightweight, Self-Interested Learning and Planning in POSGs with Sparse Interactions
这项工作介绍了sIPOMDPLite-net，一个深度的神经网络（DNN）架构，分散，自利的代理控制部分可观察的随机游戏（POSG）与稀疏的代理之间的相互作用。该网络学习在由交互式部分可观察马尔可夫决策过程（I-POMDP）Lite框架建模的上下文中进行规划，并使用分层值迭代网络来模拟嵌套MDP的解决方案，I-POMDP Lite将其归因于其他代理来建模其行为并预测其意图。我们训练sIPOMDPLite-net与专家演示小型两代理老虎网格任务，它准确地学习底层的I-POMDP Lite模型和接近最优的政策，该政策继续表现良好，在更大的网格和现实世界的地图。因此，sIPOMDPLite-net显示出良好的传输能力，并为多智能体环境中的个体、自利智能体提供了更轻松的学习和规划方法。
2022-02-22 cs.MA
