Multiagent Soft Q-Learning
Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）；George Mason University（乔治梅森大学）
策略梯度方法常被应用于连续多智能体博弈中的强化学习。这些方法在联合动作空间中执行局部搜索，正如我们所展示的，它们符合被称为相对过度泛化的博弈论病理学。为了解决这个问题，我们提出了多智能体软Q学习，它可以被看作是模拟应用Q学习连续控制。我们比较我们的方法MADDPG，一个国家的最先进的方法，并表明，我们的方法实现了更好的协调多智能体合作任务，收敛到更好的局部最优的联合行动空间。
2018-04-25 cs.AI
Learning when to Communicate at Scale in Multiagent Cooperative and Competitive Tasks
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在多智能体任务中，学习何时进行通信并有效地进行通信是必不可少的。最近的工作表明，连续通信允许多智能体场景中的反向传播进行有效的训练，但仅限于完全合作的任务。本文提出了个体化控制的连续通信模型（IC3Net），该模型比简单的连续通信模型具有更好的训练效率，并且可以与合作环境一起应用于半合作和竞争环境。IC3Net通过门控机制控制持续通信，并为每个代理使用个性化奖励，以获得更好的性能和可扩展性，同时解决信用分配问题。使用各种任务，包括星际争霸BroodWars探索和战斗场景，我们表明，随着规模的增加，我们的网络比基线产生更好的性能和收敛速度。我们的研究结果表明，IC3Net代理学习何时根据场景和盈利能力进行通信。
2018-12-23 cs.AI cs.LG cs.MA
Exploring the Benefits of Teams in Multiagent Learning
University of Waterloo（滑铁卢大学）
本文受组织心理学启发，提出一种用于强化学习智能体的多智能体团队新模型，验证了团队划分能促进智能体在复杂社会困境中发展亲社会策略、提升协调与涌现角色能力并获得更高奖励。
2023-07-31 cs.AI
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay（巴黎萨克雷大学）；Ubisoft（育碧）；University of Granada（格拉纳达大学）
虽然可解释人工智能（XAI）正在不断扩展更多的应用领域，但很少有人应用于使深度强化学习（RL）更容易理解。随着RL变得无处不在，并用于关键和一般公共应用，开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略，在多智能体RL使用Shapley值，博弈论的概念，在XAI，成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设，本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销，Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明，Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响，（例如，非歧视性决策，道德和负责任的人工智能衍生决策或公平约束下的政策制定）。它们还揭示了Shapley值如何仅给出关于模型的一般解释，而不能解释单个运行、事件，也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Safe Multiagent Coordination via Entropic Exploration
针对安全多智能体学习中探索受限及缺乏团队约束研究的问题，提出熵探索（E2C）方法，通过观测熵最大化激励探索，实验显示其在任务性能上优于基线且能减少50%不安全行为。
2025-08-26 cs.AI cs.MA cs.RO
Cooperative Resilience in Artificial Intelligence Multiagent Systems
Universidad de los Andes（安第斯大学）；Center of Excellence in Analytics and Artificial Intelligence Bancolombia（哥伦比亚银行分析与人工智能卓越中心）；Universidad de Ibagué（伊瓦格大学）
本文提出“合作韧性”的明确定义与定量测量方法，在基于RL和LLM增强的自主智能体环境中验证，揭示了韧性指标在分析系统应对破坏性事件各阶段的关键作用，为提升AI在动态环境中的可靠性提供基础。
2024-09-24 cs.AI cs.MA
A Novel Multiagent Flexibility Aggregation Framework
Technical University of Crete（克里特技术大学）
本文提出含 LFEs 智能体与成员选择机制的多智能体 DER 聚合框架，并基于 PowerTAC 验证其可高效整合异构 DERs，CRPS 机制下参与者平均支付高于传统聚合器。
2023-07-17 cs.AI
Coordinating Multiagent Industrial Symbiosis
University of Southampton（南安普顿大学）；University of Twente（特文特大学）
我们提出了一个正式的多智能体框架协调一类协作的工业实践称为工业共生网络（ISNs）的合作游戏。ISN的博弈论公式使我们能够系统地推理我们所谓的ISN实现问题。具体而言，ISN的特点可能导致标准的公平和稳定的利益分配方法不适用。受现实的ISN的情况下，并遵循规范的多智能体系统的文献，我们认为法规和规范的社会经济政策的协调工具，结合ISN游戏解决的情况。在这个多智能体系统中，采用边际贡献网（MC网）作为基于规则的合作游戏表示促进法规和ISN游戏的组合，而不会损失表现力。我们开发的算法方法，用于生成法规，确保ISNs的可实施性，并作为一种政策支持，提出的政策要求，保证所有所需的ISNs的可实施性，在平衡预算的方式。
2020-06-02 cs.AI cs.GT cs.MA
Cooperative Search and Track of Rogue Drones using Multiagent Reinforcement Learning
University of Cyprus（塞浦路斯大学）；KIOS Research and Innovation Center of Excellence (KIOS CoE)（KIOS卓越研究与创新中心）
本研究提出一种多智能体强化学习方法，用于协调追踪者无人机在敏感设施上空搜索、检测并追踪多个恶意无人机，以最大化检测追踪数量，并通过模拟实验验证了性能与可扩展性。
2025-01-07 cs.AI cs.MA cs.RO
A Semi-Decentralized Approach to Multiagent Control
Stanford University（斯坦福大学）；Northeastern University（东北大学）
本文提出半去中心化方法，用于解决多智能体控制中的通信不确定性问题，通过SDec-POMDP框架统一了去中心化和多智能体POMDP，并引入RS-SDA*算法生成最优策略。
2026-03-12 cs.AI
ToMCAT: Theory-of-Mind for Cooperative Agents in Teams via Multiagent Diffusion Policies
SRI International（SRI国际）
本文提出 ToMCAT 框架，将心智理论元学习与多智能体扩散模型结合，并通过动态重规划机制生成团队感知计划，在烹饪模拟中验证其能在不牺牲表现的同时减少资源使用并适应未知队友。
2025-05-06 cs.AI cs.LG cs.MA
Learning to Learn Group Alignment: A Self-Tuning Credo Framework with Multiagent Teams
University of Waterloo（滑铁卢大学）
本文提出一种自调节Credo框架，让多智能体团队中的个体通过分层强化学习与元学习动态调整群体对齐参数，从而在混合激励环境中获得更好的全局结果。
2023-04-14 cs.AI
A DRL-based Multiagent Cooperative Control Framework for CAV Networks: a Graphic Convolution Q Network
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
互联自动驾驶车辆（CAV）网络可以定义为在多车道走廊上的不同位置运行的CAV的集合，它提供了一个平台，以促进操作信息和控制指令的传播。协同是CAV操作系统的关键，因为它可以大大提高操作的安全性和机动性，并通过CAV网络内的联合规划和控制，可以期望CAV之间的高水平的合作。然而，由于高度动态和组合的性质，如动态数量的代理（CAV）和指数增长的联合行动空间中的多智能体驾驶任务，实现合作控制是NP难的，不能由任何简单的基于规则的方法。此外，现有文献包含了关于自动驾驶的传感技术和控制逻辑的丰富信息，但关于如何融合从协作传感获得的信息并在融合信息之上构建决策处理器的指导相对较少。本文提出了一种新的基于深度强化学习（DRL）的方法，将图形卷积神经网络（GCN）和深度Q网络（DQN）相结合，即图形卷积Q网络（GCQ）作为信息融合模块和决策处理器。该模型可以聚合从协作传感和输出安全和合作的车道变换决策，多个CAV的信息，使个人的意图，即使在高度动态和部分观察的混合交通可以满足。所提出的算法可以部署在集中控制基础设施，如路边单元（RSU）或云平台，以改善CAV的操作。
2020-10-12 cs.AI cs.SY eess.SY
Planning Not to Talk: Multiagent Systems that are Robust to Communication Loss
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在合作的多智能体系统中，一组智能体执行联合策略以达到共同的目标。这种系统的成功部署取决于可靠的智能体通信的可用性。然而，在实践中存在许多潜在的通信中断源，例如无线电干扰、硬件故障和对抗攻击。在这项工作中，我们开发的合作多智能体系统，是强大的潜在损失的通信联合政策。更具体地说，我们开发的合作马尔可夫博弈达到避免目标的联合政策。首先，我们提出了一个算法，在通信丢失期间的联合政策的分散执行。接下来，我们使用的总相关性的状态动作过程中引起的联合政策作为衡量代理之间的内在依赖关系。然后，我们使用这个措施，降低了一个联合政策的性能时，失去了沟通。最后，我们提出了一个算法，最大限度地提高代理这个下限，以合成最小的依赖联合政策，是强大的通信损失。数值实验表明，所提出的最小依赖性的政策，需要最小的代理之间的协调，而招致很少或没有损失的性能;合成的政策的总相关值是五分之一的基线政策，不考虑潜在的通信损失的总相关值。因此，无论通信是否可用，最小依赖性策略的性能始终保持较高。相比之下，当通信丢失时，基线策略的性能下降了20%。
2022-01-17 cs.AI cs.MA
A Policy Resonance Approach to Solve the Problem of Responsibility Diffusion in Multiagent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CETC Information Science Academy（中国电子科技集团公司信息科学研究院）
本文提出策略共振方法，通过重构联合策略而保持个体策略近似不变，解决多智能体强化学习中因继承单智能体探索-利用策略而导致的责任扩散问题，并在多个基准任务中验证其提升协作性能的有效性。
2023-12-05 cs.AI
Learning in Cooperative Multiagent Systems Using Cognitive and Machine Models
University of Dayton（代顿大学）；Carnegie Mellon University（卡内基梅隆大学）
针对协作式多智能体系统在随机奖励下学习与协调困难的问题，提出三种融合 IBLT 认知机制与 MADRL 技术的 MAIBL 模型，并在 CMOTP 中验证其学习更快、协调更好。
2023-08-18 cs.AI cs.MA
Efficient Querying for Cooperative Probabilistic Commitments
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能研究所）；Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程学院）
多智能体系统可以使用承诺作为一般协调基础设施的核心，支持合作和非合作交互。目标一致的代理人，一个代理人可以通过牺牲自己的一些奖励来帮助另一个代理人获得更大的奖励，应该选择合作承诺来最大化他们的联合奖励。我们提出了一个解决方案的问题，合作代理可以有效地找到一个（近似）最佳的承诺，通过查询精心选择的承诺选择。我们证明了代理的值的承诺规范的参数的函数的结构特性，并开发了一个贪婪的方法组成的查询与可证明的近似边界，我们的经验表明，可以找到几乎最佳的承诺在一小部分的时间方法，缺乏我们的见解需要。
2020-12-14 cs.AI
Learning Multiagent Communication with Backpropagation
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
AI中的许多任务需要多个代理的协作。通常，代理之间的通信协议是手动指定的，并且在训练期间不会更改。在本文中，我们探索了一个简单的神经模型，称为CommNet，它使用连续通信来完成完全合作的任务。该模型由多个代理组成，它们之间的通信是与它们的策略一起学习的。我们将此模型应用于一组不同的任务，展示了代理人学习相互沟通的能力，从而提高了非沟通代理人和基线的性能。在某些情况下，可以解释代理人设计的语言，揭示解决手头任务的简单但有效的策略。
2016-10-31 cs.AI cs.LG
Hierarchical Deep Multiagent Reinforcement Learning with Temporal Abstraction
Tianjin University（天津大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；Nanjing University（南京大学）
多智能体强化学习（MARL）通常被认为是遭受非平稳环境和指数增长的政策空间。当奖励稀疏且在长轨迹上延迟时，这将更具挑战性。在本文中，我们研究了层次深MARL在稀疏和延迟奖励的合作多智能体问题。随着时间的抽象，我们分解成不同的时间尺度的层次结构的问题，并研究如何代理可以学习高层次的协调的基础上学习的独立技能在低级别。提出了三种层次化的深度MARL体系结构，以学习不同MARL范式下的层次化策略。此外，我们提出了一个新的经验重放机制，以减轻问题的稀疏过渡在高层次的抽象和多智能体学习的非平稳性。我们在两个反馈非常稀疏的领域中实证了我们的方法的有效性：（1）各种多智能体垃圾收集任务，以及（2）具有挑战性的在线手机游戏，即，发烧篮球防守
2019-07-04 cs.AI cs.LG cs.MA
Learning Heterogeneous Agent Cooperation via Multiagent League Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出异构联盟训练算法 HLT，通过维护异构策略池和引入超网络增强行为多样性，以解决异构多智能体强化学习中的非平稳与策略版本迭代问题，并在基准任务上验证其提升协作成功率及评估角色学习难度的有效性。
2023-05-28 cs.AI cs.LG
Learning Policy Representations in Multiagent Systems
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；OpenAI
智能体行为建模是理解多智能体系统中复杂现象出现的核心。在代理建模之前的工作在很大程度上是特定于任务的，并由手工工程领域特定的先验知识驱动。我们提出了一个通用的学习框架，用于在任何多智能体系统中仅使用少量交互数据来建模智能体行为。我们的框架铸造代理建模作为一个表示学习的问题。因此，我们构造了一个新的目标的启发模仿学习和代理识别和代理策略的表示的无监督学习设计的算法。我们实证证明了所提出的框架在（i）具有挑战性的高维竞争环境中的效用，用于连续控制和（ii）用于通信的合作环境，监督预测任务，无监督聚类和使用深度强化学习的策略优化。
2018-07-31 cs.AI cs.LG cs.MA
Multiagent Model-based Credit Assignment for Continuous Control
University of Oxford（牛津大学）
深度强化学习（RL）最近在机器人连续控制任务中显示出巨大的前景。尽管如此，在这方面的先前研究集中在集中式学习设置上，这在很大程度上依赖于机器人所有组件之间的通信可用性。然而，由于延迟要求、有限的功率预算和安全问题，现实世界中的代理通常以分散的方式运行，而没有通信。通过制定机器人组件作为一个系统的分散代理，这项工作提出了一个分散的多智能体强化学习框架的连续控制。为此，我们首先开发了一个合作的多智能体PPO框架，允许在训练过程中进行集中优化，在执行过程中进行分散操作。然而，该系统只接收不属于每个代理的全局奖励信号。为了解决这个问题，我们进一步提出了一个通用的博弈论信用分配框架，计算代理特定的奖励信号。最后，我们还将基于模型的RL模块纳入我们的信用分配框架，这导致样本效率显着提高。我们证明了我们的框架对Mujoco运动控制任务的实验结果的有效性。有关演示视频，请访问：https://youtu.be/gFyVPm4svEY。
2021-12-27 cs.AI cs.RO
A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）
多智能体强化学习的一个基本挑战是在与其他同时学习的智能体共享的环境中学习有益的行为。特别是，每个代理感知的环境，有效地非静止的，由于其他代理的政策的变化。此外，每个智能体本身都在不断学习，导致遇到的经验分布具有自然的非平稳性。在本文中，我们提出了一种新的元多智能体策略梯度定理，直接占多智能体学习设置所固有的非平稳的政策动态。这是通过对我们的梯度更新进行建模来实现的，以考虑代理自己的非平稳政策动态和环境中其他代理的非平稳政策动态。我们表明，我们的理论接地的方法提供了一个通用的解决方案，多智能体学习问题，这固有地包括所有的关键方面，以前的国家的最先进的方法在这个问题上。我们测试我们的方法在一套不同的多智能体基准，并展示了更有效的能力，以适应新的代理，因为他们学习比基准方法在整个频谱的混合激励，竞争和合作领域。
2021-06-11 cs.AI cs.LG cs.MA
Local Wealth Redistribution Promotes Cooperation in Multiagent Systems
Massachusetts Institute of Technology（麻省理工学院）；INESC-ID（里斯本大学高等理工学院附属信息系统与计算机工程研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）
在多智能体系统中，设计能够利用智能体之间协作的机制一直是一个长期的目标。当代理人自私，缺乏共同目标并面临社会困境时，这项任务尤其具有挑战性，即，个人利益与社会福利冲突的情况。过去的研究探索了解释生物和社会系统中合作的机制，为设计合作的人工社会提供了重要线索。特别是，一些作品表明，合作是能够出现时，特定的网络结构的代理人的相互作用。尽管如此，叛逃具有很大诱惑力的社会困境仍然对合作的有效可持续性构成挑战。在这里，我们提出了一个新的再分配机制，可以应用于结构化人口的代理。重要的是，我们表明，当在本地实施时（即，代理人与他们最近的邻居分享他们财富盈余的一小部分），再分配在促进合作方面表现出色，在以前，只有背叛盛行的政权下。
2018-02-05 cs.AI cs.GT cs.MA
Training Data Set Assessment for Decision-Making in a Multiagent Landmine Detection Platform
Pontificia Universidad Javeriana（哈韦里亚纳宗座大学）；De Montfort University（德蒙福特大学）
地雷探测等现实问题需要多种信息来源，以减少决策的不确定性。一种新的方法来解决这些问题，包括分布式系统，在这项工作中提出的硬件和软件的多智能体系统的基础上。为了实现高地雷检测率，我们评估了训练系统在训练集和验证集之间样本分布的性能。此外，还对数据集作了一般性解释，介绍了为探测简易爆炸装置而开发的合作多主体系统收集的样本。结果表明，输入样本影响输出决策的性能，决策系统可以不太敏感的传感器噪声与智能系统从不同的和适当组织的训练集。
2020-04-11 cs.AI cs.LG cs.NE
Asynchronous Decentralized Algorithm for Space-Time Cooperative Pathfinding
Czech Technical University in Prague（捷克布拉格技术大学）；Delft University of Technology（代尔夫特理工大学）
合作寻路是一个多智能体路径规划问题，其中一组车辆搜索相应的一组非冲突的时空轨迹。许多实用的方法集中解决合作寻路问题的优先级规划策略的基础上。然而，在某些领域（例如，无人驾驶飞行器、自主水下航行器或无人驾驶地面航行器的多机器人团队），由于域和/或隐私问题所施加的通信限制，分散式方法可能比集中式方法更可取。在本文中，我们提出了一个异步分散的优先级规划ADPP和它的可中断版本IADPP的变种。该算法利用分布式系统固有的并行性，并允许加快计算过程。与同步规划方法不同，该算法允许代理立即对其他代理的路径更新做出反应，并调用其本地时空路径规划器来找到最佳轨迹，作为对其他代理选择的响应。我们提供了一个证明的算法的正确性和实验评估他们的合成域。
2012-10-25 cs.AI cs.DC cs.RO
Partial-Order Planning with Concurrent Interacting Actions
University of Toronto（多伦多大学）；Ben-Gurion University（本-古里安大学）
为了生成多个执行器，代理团队或分布式控制器的代理计划，我们必须能够表示和计划使用具有交互效果的并发动作。这在历史上被认为是一项具有挑战性的任务，需要一个时间规划者能够明确地推理时间。我们表明，通过简单的修改，可用于表示相互作用的动作的CAMPPS动作表示语言。此外，偏序规划的算法只需要很小的修改，以应用在这样的多智能体域。我们证明了这一事实，通过开发一个健全的和完整的偏序规划与并发的互动行动，POMP，扩展现有的偏序规划者在一个简单的方式规划。这些结果开辟了使用偏序规划的合作多智能体系统的集中控制的方式。
2011-06-01 cs.AI
Asynchronous Multi-Agent Reinforcement Learning for Efficient Real-Time Multi-Robot Cooperative Exploration
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tongji University（同济大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对真实多机器人协同探索中同步假设导致的效率低下问题，本文提出异步MARL框架ACE，扩展MAPPO并引入动作延迟随机化与团队规模无关的CNN策略，在仿真和真实环境中分别减少超10%探索时间并在Habitat中提升28%效率。
2023-04-11 cs.AI cs.RO
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文研究了多智能体强化学习在交通信号控制中的收敛性问题，通过随机逼近方法分析学习动态，并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
Towards Cooperation in Sequential Prisoner's Dilemmas: a Deep Multiagent Reinforcement Learning Approach
Tianjin University（天津大学）；Washington State University（华盛顿州立大学）
几十年来，反复囚徒困境一直指导着社会困境的研究。然而，它只区分两种原子行为：合作和背叛。在现实世界的囚徒困境中，这些选择是暂时延长的，不同的策略可能对应于行动的顺序，反映了合作的等级。我们引入一个顺序囚徒困境（SPD）游戏，以更好地捕捉上述特点。在这项工作中，我们提出了一种深度多智能体强化学习方法，研究了SPD游戏中相互合作的演变。我们的方法包括两个阶段。第一阶段是离线的：它合成具有不同合作度的策略，然后训练合作度检测网络。第二阶段是在线的：一个代理自适应地选择其政策的基础上检测到的程度的对手合作。我们的方法的有效性证明在两个代表性的SPD 2D游戏：苹果梨游戏和水果采集游戏。实验结果表明，该策略可以避免被剥削对手利用，实现与合作对手的合作。
2018-03-01 cs.AI cs.GT cs.LG
A hybrid cross entropy algorithm for solving dynamic transit network design problem
Transport Economics Laboratory University Lyon 2 - CNRS（里昂第二大学-法国国家科学研究中心交通经济实验室）
提出了一种混合多智能体学习算法，用于求解基于动态仿真的双层网络设计问题。目标是确定多式联运网络的最优发车频率，使用户总出行成本和线路运营成本最小。该问题是制定为一个双层规划问题的平衡约束描述非合作纳什均衡在一个动态模拟为基础的公交分配背景。提出了一种将交叉熵多智能体学习算法与Hooke-Jeeves算法相结合的混合算法。在Sioux Falls网络上的计算结果说明了该算法的性能。
2012-11-22 cs.AI cs.NI
Approximate Multiagent Reinforcement Learning for On-Demand Urban Mobility Problem on a Large Map (extended version)
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
针对大地图多智能体出租车调度的计算瓶颈，提出按需求与资源分区、跨区 IA 再平衡并并行 rollout 的两阶段算法，证明稳定性条件并以更低耗时达到全图逐一 rollout 的性能。
2025-02-18 cs.AI cs.MA cs.RO
PantheonRL: A MARL Library for Dynamic Training Interactions
Stanford University（斯坦福大学）
PantheonRL是一个多智能体强化学习库，支持循环赛、自适应和ad-hoc等动态训练交互，基于StableBaselines3构建，提供灵活的智能体配置和Web界面，适用于混合奖励和n个智能体的通用环境。
2021-12-13 cs.AI cs.LG cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
SVDE: Scalable Value-Decomposition Exploration for Cooperative Multi-Agent Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；PengCheng Laboratory（鹏城实验室）；Ping An Technology(Shenzhen) Artificial Intelligence and Big Data Center（平安科技（深圳）人工智能与大数据中心）；Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室）
值分解方法通过将联合状态-动作空间分解为局部观测-动作空间来降低多智能体系统的学习难度，在协作多智能体强化学习（MARL）中得到了广泛的应用。然而，价值分解方法仍然存在训练样本消耗巨大和缺乏主动探索的问题。在本文中，我们提出了一个可扩展的值分解探索（SVDE）方法，其中包括一个可扩展的训练机制，内在的奖励设计，探索性的经验重放。可扩展的训练机制异步地将策略学习与环境交互相结合，从而以MapReduce方式加速样本生成。针对缺乏探索性的问题，提出了一种内在奖励设计和探索性经验重放，分别用于增强探索性以产生多样化样本和过滤非新颖样本。从经验上讲，我们的方法在几乎所有的地图上实现了最佳性能相比，其他流行的算法在一组星际争霸II微观管理游戏。一个数据效率的实验也显示了加速SVDE的样本收集和政策收敛，我们证明了SVDE的有效性，通过一组消融实验的因素。
2023-03-16 cs.AI
Learning to Teach in Cooperative Multiagent Reinforcement Learning
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）
个人的创新通过交流传授给他人，这一事实显然使人类的集体知识受益匪浅。与人类社会群体类似，分布式学习系统中的智能体可能会从交流中受益，以分享知识和传授技能。教学，以提高代理学习的问题已经调查了以前的作品，但这些方法的假设，防止教学的应用程序一般多智能体问题，或需要领域的专业知识，他们可以适用于问题。这种学习教学的问题具有内在的复杂性，与衡量教学的长期影响有关，这是标准的多智能体协调挑战的复合。在现有的作品相比，本文提出了第一个通用的框架和算法的智能代理学习教在多智能体环境。我们的算法，学习协调和教学强化（LeCTR），解决了点对点教学合作多智能体强化学习。在我们的方法中，每个代理都学习何时以及提供什么建议，然后使用收到的建议来改善本地学习。重要的是，这些角色不是固定的;这些代理人学会在适当的时候承担学生和/或教师的角色，请求和提供建议，以提高团队的表现和学习。与最先进的教学方法的实证比较表明，我们的教学代理不仅学习速度更快，而且还学会了在现有方法失败的任务中进行协调。
2018-08-31 cs.AI cs.MA
Learning Hierarchical Teaching Policies for Cooperative Agents
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
当代理有效地与他们的同伴交换知识时，集体学习可以大大增强。特别是，最近研究学习教导其他队友的代理的工作表明，行动建议加速了团队范围的学习。然而，先前的工作已经通过使用简单的函数近似简化了建议策略的学习，并且仅考虑了具有原始（低级）动作的建议，从而限制了学习和教学到复杂域的可扩展性。本文介绍了一种新的学习教的框架，称为分层多智能体教学（HMAT），提高了可扩展性，复杂的环境中使用的学生政策的深层表示，并通过建议更有表现力的扩展动作序列在多个层次的时间抽象。我们的实证评估表明，HMAT提高了团队范围内的学习进展，在大型，复杂的领域，以前的方法失败。HMAT还学习教学策略，可以有效地将知识传递给具有不同任务知识的不同队友，即使队友具有异构的行动空间。
2020-05-18 cs.AI cs.LG cs.MA
Asynchronous, Option-Based Multi-Agent Policy Gradient: A Conditional Reasoning Approach
Simon Fraser University（西蒙弗雷泽大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
针对多机器人异步执行选项导致MAPG方法难以推导集中式策略的问题，提出一种条件推理方法，并在基于选项的多智能体合作任务中验证了其有效性。
2023-08-02 cs.AI cs.LG cs.MA
Policy Diagnosis via Measuring Role Diversity in Cooperative Multi-agent RL
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；Beijing Normal University（北京师范大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）
协作多智能体强化学习（MARL）在网格世界和现实世界中的任务求解方面取得了快速的进展，在网格世界和现实世界中，智能体被赋予不同的属性和目标，从而导致整个多智能体任务的不同行为。在这项研究中，我们量化的代理的行为差异，并建立其与政策绩效通过{ \bf角色多样性}，一个度量指标来衡量MARL任务的特点。我们从三个角度定义角色多样性：基于动作的，基于责任的，基于贡献的，以充分衡量一个多智能体任务。通过理论分析，我们发现MARL中的错误界可以分解为三个部分，这三个部分与角色多样性有很强的关系。分解后的因素可以在参数共享、通信机制和信用分配三个流行方向上对策略优化产生显著影响。主要的实验平台是基于{ \bf Multiagent Particle Environment（MPE）}和{ \bf The StarCraft Multi-Agent Challenge（SMAC）}。大量的实验表明，角色多样性可以作为多智能体协作任务特征的一个鲁棒度量，并有助于诊断策略是否适合当前的多智能体系统，以获得更好的策略性能。
2022-06-01 cs.AI cs.LG cs.MA
SCC-rFMQ Learning in Cooperative Markov Games with Continuous Actions
Dalian Maritime University（大连海事大学）；Tianjin University（天津大学）；Southwest University（西南大学）；University of Liverpool（利物浦大学）
虽然已经提出了许多强化学习方法来学习单智能体连续动作域中的最优解，但具有连续动作的多智能体协调域的研究相对较少。本文提出了一种独立学习者层次化的方法，称为递归频率最大Q值样本连续协调（SCC-rFMQ），它将具有连续动作的协作问题分为两层。第一层通过可变探索率的重采样机制从连续动作空间中采样有限的动作集合，第二层对采样动作集合中的动作进行评估，并使用强化学习协作方法更新策略。通过在两个层次上构造合作机制，SCC-rFMQ可以有效地处理连续行动合作马尔可夫博弈中的合作问题。SCC-rFMQ的有效性在两个精心设计的游戏上进行了实验证明，即，一个连续版本的攀登游戏和一个合作版本的船的问题。实验结果表明，SCC-rFMQ的性能优于其他强化学习算法。
2018-09-18 cs.AI
Cooperative and Asynchronous Transformer-based Mission Planning for Heterogeneous Teams of Mobile Robots
McMaster University（麦克马斯特大学）
针对异构移动机器人团队在通信受限、资源有限下的协作规划难题，提出基于MARL与AMAT架构的CATMiP框架及CMacDec-POMDP模型，采用异步集中训练分布式执行方案，实验验证其在效率、可扩展性与抗干扰性上更具优势。
2025-07-31 cs.AI cs.RO
A Cooperation Graph Approach for Multiagent Sparse Reward Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Electronics Technology Group Corporation Information Science Academy of China（中国电子科技集团公司信息科学研究院）
多智能体强化学习（MARL）可以解决复杂的协作任务。然而，现有的MARL方法的效率在很大程度上依赖于定义良好的奖励函数。具有稀疏奖励反馈的多智能体任务特别具有挑战性，不仅因为信用分配问题，而且由于获得正奖励反馈的概率很低。在本文中，我们设计了一个图网络称为合作图（CG）。合作图是两个简单二部图的组合，即代理聚类子图（ACG）和集群指定子图（CDG）。然后，基于这种新的图结构，提出了一种协作图多智能体强化学习（CG-MARL）算法，该算法能够有效地处理多智能体任务中的稀疏奖励问题。在CG-MARL中，Agent由合作图直接控制。并训练策略神经网络来操纵该合作图，引导Agent以隐式方式实现合作。CG-MARL的这种层次化特征为定制的集群动作提供了空间，这是一个用于引入基本协作知识的可扩展接口。在实验中，CG-MARL在稀疏奖励多智能体基准测试中表现出最先进的性能，包括反入侵拦截任务和多货物交付任务。
2022-08-05 cs.AI cs.LG cs.MA
Cooperative Multi-Agent Reinforcement Learning: Asynchronous Communication and Linear Function Approximation
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究情景式马尔可夫决策过程中的多智能体强化学习，提出一种基于值迭代的异步通信算法，利用线性函数近似实现了低通信开销下的高效合作，并给出了遗憾与通信复杂度的理论上下界。
2023-06-24 cs.AI cs.LG cs.MA
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Asynchronous Partial Overlay: A New Algorithm for Solving Distributed Constraint Satisfaction Problems
SRI International（斯坦福国际研究院）；University of Massachusetts（马萨诸塞大学）
分布式约束满足（DCSP）一直是多智能体系统研究中的一个重要问题。这是因为许多现实世界的问题可以表示为约束满足，这些问题往往以分布式的形式出现。在这篇文章中，我们提出了一个新的完整的，分布式的算法称为异步部分覆盖（APO）解决DCSP是基于一个合作的调解过程。该算法背后的主要思想是，代理，当作为一个调解人，集中小，相关部分的DCSP，这些集中的子问题重叠，以及代理增加其子问题的大小沿关键路线内的DCSP的问题解决展开。我们提出的经验证据表明，APO优于其他已知的，完整的DCSP技术。
2011-09-27 cs.AI
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
D3ARC: Time-Critical Distributed Disaster Detection for Asynchronous Cooperative Multi-Robot Systems
National and Kapodistrian University of Athens（雅典国立及卡波迪斯特里亚大学）；Huawei Heisenberg Research Center（华为海森堡研究中心）
D3ARC提出异步分布式分层框架，通过多机器人协作感知与前瞻策略评估，在时限内高效可靠地检测野火，模拟中任务成功率达94%。
2026-09-09 cs.AI cs.CV cs.MA
Surge Routing: Event-informed Multiagent Reinforcement Learning for Autonomous Rideshare
Harvard University（哈佛大学）
针对大型活动导致的网约车需求激增，提出结合活动文本信息预测与多智能体强化学习的路由框架，在纽约市真实数据上使等待时间开销降低25%-75%，接单量提升1%-4%。
2024-01-24 cs.AI cs.MA cs.RO
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta；Universidade do Vale do Rio dos Sinos（淡水河谷大学）；University of Brasilia（巴西利亚大学）
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种，我们的进化与彼此交流知识的能力紧密相连。因此，自主和独立的代理之间的经验共享（ES）可能成为关键，以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能，并提出了三种选择经验的新方法来加速学习过程。首先，我们引入了聚焦ES，它优先考虑状态空间中未探索的区域。其次，我们提出了优先ES，其中的时间差误差被用来作为衡量优先级。最后，我们设计了重点优先ES，它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进，但我们表明所提出的ES方法可以成功地超越基线。特别是，Focused ES将学习速度提高了2倍，将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
An Asynchronous Updating Reinforcement Learning Framework for Task-oriented Dialog System
Beijing University of Posts and Telecommunications（北京邮电大学）
提出异步更新强化学习框架AURL，通过异步更新对话状态跟踪与策略模块、结合课程学习和多用户模型，在SSD-PHONE数据集上实现对话成功率31.37%的提升。
2023-05-04 cs.AI cs.CL cs.HC
Deep Reinforcement Learning for Event-Driven Multi-Agent Decision Processes
Stanford University（斯坦福大学）；Santa Fe Institute（圣塔菲研究所）；Economists Incorporated；Arizona State University（亚利桑那州立大学）
将宏动作（时间上扩展的动作）纳入多智能体决策问题有可能解决与此类决策问题相关的维数灾难。由于宏观行动持续时间随机，在合作环境中执行分散的政策，多个代理必须异步行动。我们提出了一种算法，修改广义的优势估计时间上扩展的行动，允许一个国家的最先进的策略优化算法，以优化政策，在Dec-POMDPs代理异步行动。我们表明，我们的算法是能够学习的最佳政策，在两个合作领域，一个涉及实时总线控股控制和一个涉及野火战斗与无人驾驶飞机。我们的算法通过将问题框定为“事件驱动的决策过程”来工作，这是一种场景，在这种场景中，动作和事件的顺序和时间是随机的，并由一个潜在的随机过程控制。除了使用连续的状态和动作空间优化策略外，我们的算法还便于使用事件驱动的模拟器，这些模拟器不需要将时间离散为时间步长。我们证明了使用事件驱动的模拟的多个代理采取异步行动的上下文中的好处。我们发现，固定的时间步长模拟的风险混淆的顺序，其中紧密分离的事件发生，不利地影响学习的政策。此外，我们表明，任意收缩的时间步长尺度与代理的数量很差。
2019-05-29 cs.AI cs.MA
Autonomous Decision Making for UAV Cooperative Pursuit-Evasion Game with Reinforcement Learning
本文提出基于深度强化学习的多无人机协同追逃博弈决策模型，采用多环境异步双深度Q网络与优先级经验回放算法，通过角色与目标分配提升协作能力，仿真验证了自主决策与协作性能。
2024-11-05 cs.AI cs.MA cs.RO
Macro-Action-Based Multi-Agent/Robot Deep Reinforcement Learning under Partial Observability
Khoury College of Computer Sciences（库里计算机学院）
最先进的多智能体强化学习（MARL）方法为各种复杂问题提供了有前途的解决方案。然而，这些方法都假设代理执行同步的连续动作执行，使得它们不能真正扩展到长期现实世界的多代理/机器人任务，这些任务本质上要求代理/机器人在不同的持续时间异步推理高级别的动作选择。MacDec-POMDP（Mac-Action Decentralized Partially Observable Markov Decision Process）是一种用于完全协作多智能体任务中不确定异步决策的通用形式化描述。在这篇论文中，我们首先提出了一组基于价值的强化学习方法的MacDec-POMDPs，其中代理被允许执行异步学习和决策与宏动作价值函数在三个范式：分散学习和控制，集中学习和控制，和集中训练分散执行（CTDE）。在上述工作的基础上，我们制定了一套基于宏动作的策略梯度算法的三种训练范式下，代理被允许直接优化其参数化的政策在一个异步的方式。我们评估我们的方法在模拟和真实的机器人在各种现实的域。实证结果表明，我们的方法在大型多智能体问题的优越性，并验证了我们的算法的有效性，学习高质量和异步的解决方案与宏观行动。
2022-10-11 cs.AI cs.MA cs.RO
Macro-Action-Based Deep Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences（科里计算机科学学院）；Northeastern University（东北大学）
在现实世界的多机器人系统中，执行高质量的协作行为要求机器人在不同的持续时间异步推理高层动作选择。MacDec-POMDPs（MacDec-Decentralized Partially Observable Markov Decision Processes）为完全协作的多智能体任务中的不确定性异步决策提供了一个通用框架。然而，多智能体深度强化学习方法仅针对（同步）连续动作问题开发。本文提出了两种基于深度Q网络（DQN）的方法，用于学习分散式和集中式宏动作价值函数，并为每种情况引入了新的宏动作轨迹重放缓冲区。基准问题和更大的域上的评估表明，与连续动作和我们的方法的可扩展性的宏动作的学习的优势。
2021-10-16 cs.AI cs.LG cs.RO
