Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
我们考虑在（深度）合作多智能体强化学习（MARL）中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数，明确编码公平的两个重要方面：效率和公平的问题。作为一种解决方法，我们提出了一种新的神经网络架构，它是由两个子网络专门设计考虑到公平性的两个方面。在实验中，我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的，因为它可以容纳任何（次）可微福利函数。因此，它与文献中提出的各种公平概念（例如，字典式极大极小、广义基尼社会福利函数、比例公平）。我们的解决方案方法是通用的，可以在各种MARL设置中实现：集中式培训和分散式执行，或完全分散式。最后，我们在各个领域的实验验证我们的方法，并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Dealing With Non-stationarity in Decentralized Cooperative Multi-Agent Deep Reinforcement Learning via Multi-Timescale Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of McGill（麦吉尔大学）；Polytechnique Montréal（蒙特利尔理工学院）
针对去中心化协作MARL中并发学习导致的非平稳性，本文提出不同学习率的多时间尺度算法，在保持收敛优势的同时加速顺序学习，并在epymarl基准上优于现有方法。
2023-08-17 cs.LG
Policy Diversity for Cooperative Agents
Ubisoft La Forge（育碧La Forge）；Ubisoft Chengdu（育碧成都）；Ubisoft Bordeaux（育碧波尔多）
针对多智能体协作领域缺乏有效策略多样性方法的问题，提出矩匹配策略多样性方法，通过形式化选定智能体的动作差异生成差异化团队策略，理论上可实现基于最大均值差异的约束优化，在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
将多智能体强化学习扩展到大量智能体的主要障碍之一是为单个智能体的行为分配信用。在本文中，我们解决这个信用分配问题的方法，我们称之为\textit{partial reward decoupling}（PRD），它试图将大型合作多代理RL问题分解为解耦的子问题，涉及代理的子集，从而简化信用分配。我们的经验表明，使用PRD分解RL问题的演员-评论家算法的结果在较低的方差策略梯度估计，提高数据效率，学习稳定性，并在广泛的多代理RL任务的渐近性能，相比其他各种演员-评论家的方法。此外，我们将我们的方法与反事实的多代理策略梯度（COMA），一个国家的最先进的MARL算法，并实证表明，我们的方法优于COMA更好地利用代理的奖励流中的信息，并使最新进展的优势估计使用。
2021-12-23 cs.AI cs.LG cs.RO
RMIX: Learning Risk-Sensitive Policies for Cooperative Reinforcement Learning Agents
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）
当前基于值的多智能体强化学习方法通过分散执行的集中式训练（CTDE）来优化个体Q值以指导个体的行为。然而，这种预期，即，风险中性，由于激励的随机性和环境的不确定性，即使使用CTDE，Q值也不够，这导致这些方法无法在复杂环境中训练协调Agent的训练。为了解决这些问题，我们提出了RMIX，一种新的合作MARL方法与条件风险价值（CVaR）的措施，个人的Q值的学习分布。具体来说，我们首先学习个人的回报分布，以分析计算分散执行的CVaR。然后，为了处理在执行过程中的随机结果的时间性质，我们提出了一个动态的风险水平预测器的风险水平调整。最后，我们优化了CVaR策略，CVaR值用于在集中训练期间估计TD误差中的目标，CVaR值用作辅助局部奖励，通过分位数回归损失来更新局部分布。经验上，我们表明，我们的方法显着优于国家的最先进的方法，具有挑战性的星际争霸II的任务，表现出增强的协调和提高样本效率。
2021-03-22 cs.LG cs.MA
Centralized Cooperative Exploration Policy for Continuous Control Tasks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Tubingen（蒂宾根大学）
深度强化学习（DRL）算法在解决各种复杂控制任务方面表现出色。这种惊人的成功可以部分归因于DRL鼓励智能代理充分探索环境，并在代理培训过程中收集各种经验。因此，勘探发挥了重要作用，在访问的最佳政策日间行车。尽管最近的工作取得了很大的进展，在连续控制任务，探索这些任务仍然没有得到充分的研究。为了明确地鼓励连续控制任务中的探索，我们提出了CCEP（集中式合作探索策略），该策略利用价值函数的低估和高估来维持探索能力。CCEP首先保持两个初始化为不同参数的价值函数，并从一对价值函数生成具有多种探索风格的不同策略。此外，集中式策略框架确保CCEP实现多个策略之间的消息传递，从而有助于协作地探索环境。大量的实验结果表明，CCEP实现了较高的勘探能力。实证分析表明，CCEP学习的政策具有多样性的勘探风格，在更多的勘探地区获得了收益。CCEP的这种探索能力确保了它在实验中显示的多个连续控制任务中优于当前最先进的方法。
2023-01-06 cs.LG
Smart Containers With Bidding Capacity: A Policy Gradient Algorithm for Semi-Cooperative Learning
智能模块化货运集装箱-如在物理互联网范式中传播的那样-配备了传感器，数据存储能力和智能，使它们能够在没有人工干预或中央管理的情况下从起点到目的地进行路由。在这种自组织环境中，集装箱可以在现货市场环境中自主地对运输服务进行投标。然而，对于单个集装箱，由于观察有限，可能难以学习良好的投标策略。通过彼此之间共享信息和成本，智能集装箱可以共同学习投标策略，即使同时竞争相同的运输能力。我们复制这种行为，通过学习随机投标政策，在半合作的多智能体设置。为此，我们开发了一种基于策略梯度框架的强化学习算法。数值实验表明，共享单独的投标和接受的决定，导致稳定的投标策略。附加的系统信息只能略微提高性能;单个作业属性足以放置适当的出价。此外，我们发现，运营商可能有动机不与智能集装箱共享信息。这些实验为后续研究提供了几个方向，特别是自组织物流中智能集装箱和运输服务之间的相互作用。
2020-05-01 cs.AI cs.LG cs.MA
Behaviour-conditioned policies for cooperative reinforcement learning tasks
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）；Bitville Oy（比特维尔公司）；University of Manchester（曼彻斯特大学）
人工智能系统之间以及人工智能系统与人类之间的合作变得越来越重要。在各种现实任务中，一个代理需要与未知的合作伙伴代理类型。这就要求智能体在合作任务中评估合作伙伴智能体的行为，并调整自己的策略来支持合作。深度强化学习模型可以被训练来提供所需的功能，但已知其存在样本效率低下和学习缓慢的问题。然而，在正在进行的任务期间适应合作伙伴代理行为需要快速评估合作伙伴代理类型的能力。我们提出了一种方法，在那里我们综合产生不同的行为模式的代理人的人口与他们的行为的地面实况数据，并使用这些数据来训练元学习者。我们还建议了一个代理架构，它可以有效地使用生成的数据，并获得元学习能力。当一个代理配备了这样的元学习器，它能够快速适应合作与未知的合作伙伴代理类型在新的情况下。这种方法可以用于自动形成元训练的任务分配，例如通过自我游戏产生的新兴行为。
2021-10-04 cs.LG cs.MA
Automata-Conditioned Cooperative Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
提出自动机条件化协作多智能体强化学习框架，通过自动机分解团队目标为子任务，学习任务条件化的分散策略，实现最优任务分配和多步协调。
2026-06-01 cs.AI cs.CL cs.FL
Deep reinforcement learning of event-triggered communication and control for multi-agent cooperative transport
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
在本文中，我们探讨了一个多智能体强化学习的方法来解决多智能体合作运输的通信和控制策略的设计问题。典型的端到端深度神经网络策略可能不足以覆盖通信和控制;这些方法不能决定通信的定时并且只能与固定速率通信一起工作。因此，我们的框架利用事件触发的架构，即，一个反馈控制器，计算通信输入和触发机制，确定何时输入必须再次更新。使用多代理深度确定性策略梯度来有效地优化这种事件触发的控制策略。我们证实，我们的方法可以通过数值模拟来平衡传输性能和通信节省。
2021-03-29 cs.LG cs.RO
Active Learning for Developing Personalized Treatment
University of Michigan（密歇根大学）；McGill University（麦吉尔大学）
通过生物标志物和其他风险类别进行个性化治疗已经引起了临床科学家越来越多的兴趣。个性化的治疗策略可以通过临床试验的数据来学习，但这样的试验运行成本非常高。本文探讨了使用主动学习技术来设计更有效的试验，解决的问题，如谁招募，在什么时候在试验中，以及分配的治疗，在整个试验期间。我们提出了一个极大极小强盗模型与两个不同的优化标准，并讨论了计算的挑战和问题，这种方法。我们评估我们的主动学习政策使用模拟数据，并在临床试验后建模的数据治疗抑郁症的个人，并将我们的方法与其他合理的主动学习政策。
2012-02-14 cs.LG stat.ML
Universal Policies to Learn Them All
University of Central Florida（中佛罗里达大学）
我们探索了一个协作和合作的多智能体强化学习设置，一个团队的强化学习代理试图解决一个单一的合作任务，在多场景设置。我们提出了一种新的多智能体强化学习算法的启发，普遍的价值函数逼近器，不仅概括了状态空间，但也在一组不同的情况。此外，为了证明我们的主张，我们引入了一个具有挑战性的2D多智能体城市安全环境，其中学习智能体试图在各种场景中保护一个人免受附近旁观者的伤害。我们的研究表明，最先进的多智能体强化学习算法无法在多个场景中推广单个任务，而我们提出的解决方案与依赖于机器人的策略一样有效。
2019-08-24 cs.LG cs.MA
Cooperative Multi-agent RL with Communication Constraints
Carnegie Mellon University（卡内基梅隆大学）
本文提出基策略预测技术，通过预测基础策略更新减少通信轮次，提升多智能体协作学习效率。
2026-01-18 cs.AI cs.LG stat.ML
MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Tsinghua University（清华大学）
本文提出MESA元探索方法，通过识别高回报联合状态-动作子空间并学习多样化探索策略来覆盖该子空间，从而提升多智能体强化学习在稀疏奖励任务中的探索效率与性能。
2024-05-01 cs.AI cs.LG cs.MA
Deep Multi-Agent Reinforcement Learning Based Cooperative Edge Caching in Wireless Networks
Syracuse University（雪城大学）
高质量和低延迟的多媒体服务的需求不断增长，导致了边缘缓存技术的兴趣。出于这一动机，我们在本文中考虑边缘缓存在基站未知的内容流行度分布。为了解决缓存决策的动态控制问题，我们提出了一个基于深度行动者-批评者强化学习的多智能体框架，其目标是最小化整体平均传输延迟。为了评估所提出的框架，我们比较了基于学习的性能与其他三个缓存政策，即最近最少使用（LRU），最不频繁使用（LFU），先进先出（FIFO）的政策。通过仿真结果，性能改进的建议框架，这三种缓存算法已被确定，其优越的能力，以适应不同的环境中被证明。
2019-05-13 cs.IT cs.LG math.IT
Enhancing Cooperative Multi-Agent Reinforcement Learning with State Modelling and Adversarial Exploration
School of Electrical；Archimedes, Athena Research Center, Greece；Department of Mathematics, ETH Zurich；Dept. of Mechanical Engineering \& Materials Science, Duke University；Dept. of Digital Systems, University of Piraeus, Greece
针对无通信分布式部分可观测环境下多智能体协作学习难题，提出含状态建模的MARL SMPE算法，通过置信表示融入策略与对抗式探索提升性能，在三类基准协作任务中超越现有最优算法。
2025-06-12 cs.AI cs.LG cs.MA
Multi-Agent Actor-Critic with Hierarchical Graph Attention Network
KAIST（韩国科学技术院）
大多数以前的研究多智能体强化学习集中在推导分散和合作的政策，以最大限度地提高共同的奖励，很少考虑训练的政策，以新的任务的可移植性。这可以防止将此类策略应用于更复杂的多代理任务。为了解决这些局限性，我们提出了一个模型，进行表示学习的多个代理使用层次图注意力网络和策略学习使用多代理actor-critic。层次图注意力网络是专门设计来模拟多个代理之间的层次关系，要么相互合作或竞争，以获得更先进的战略政策。两个注意力网络，代理间和组间的注意力层，被用来有效地模拟个人和群体层次的相互作用，分别。这两个注意力网络已被证明有助于将学到的策略转移到具有不同代理成分的新任务中，并允许人们解释学到的策略。经验上，我们证明，该模型优于现有的方法在几个混合的合作和竞争的任务。
2019-11-27 cs.AI cs.LG cs.MA
Robustifying a Policy in Multi-Agent RL with Diverse Cooperative Behaviors and Adversarial Style Sampling for Assistive Tasks
Graduate School of Information Science and Technology, the University of Tokyo（东京大学信息科学与技术研究生院）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
针对多智能体强化学习中护理者策略对不同被护理者敏感的问题，本文提出通过自主学习多样化被护理者响应并结合对抗式采样来训练鲁棒护理者策略，并在 Assistive Gym 上验证了其有效性。
2024-04-01 cs.LG cs.RO
Evolutionary Reinforcement Learning via Cooperative Coevolutionary Negatively Correlated Search
Southern University of Science and Technology（南方科技大学）
本文提出NCS友好的协同协同进化框架，以扩展负相关搜索并保留其并行探索行为，在10个Atari游戏上以少50%计算时间显著优于三种最先进深度强化学习方法。
2020-09-08 cs.LG cs.NE
ComaDICE: Offline Cooperative Multi-Agent Reinforcement Learning with Stationary Distribution Shift Regularization
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
本文提出ComaDICE算法，通过在稳态分布空间引入正则化并结合多智能体价值分解策略，有效解决离线协作多智能体强化学习中的分布偏移问题，在MuJoCo和StarCraft II基准上取得领先性能。
2024-10-02 cs.LG cs.MA
Towards Global Optimality in Cooperative MARL with the Transformation And Distillation Framework
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出TAD框架，通过将多智能体MDP转换为单智能体MDP并蒸馏策略，解决合作MARL中的优化问题，实现全局最优并提升执行性能。
2025-12-26 cs.AI cs.LG cs.MA
IQ-Flow: Mechanism Design for Inducing Cooperative Behavior to Self-Interested Agents in Sequential Social Dilemmas
Istanbul Technical University（伊斯坦布尔理工大学）
实现和维护Agent之间的合作以实现共同目标是多智能体强化学习（MARL）的核心目标之一。然而，在许多现实世界的场景中，单独训练和专门的代理被部署到一个共享的环境中，或者该环境需要由不同的共存方实现多个目标。这些专业和目标之间的差异很可能导致动机混杂，最终导致各方都不知所措的社会困境。为了解决这个问题，我们提出了激励Q-Flow（IQ-Flow）算法，它修改了系统的奖励设置与激励调节代理，使合作政策也对应于代理的自利政策。与现有的方法，学习激励自利代理，IQ-Flow不做任何假设代理的政策或学习算法，这使得开发的框架推广到更广泛的应用。IQ-Flow使用其他代理提供的数据对学习到的策略的最优性进行离线评估，以确定合作和自利策略。接下来，IQ-Flow使用元梯度学习来估计策略评估如何根据给定的激励而变化，并修改激励，使得合作目标和自利目标的贪婪策略产生相同的动作。给出了迭代矩阵对策中IQ流的运算特性。我们证明了IQ-Flow在Escape Room和2-Player环境中优于最先进的激励设计算法。我们进一步证明，预训练的IQ流机制显着优于2-Player环境中的共享奖励设置的性能。
2023-03-04 cs.AI cs.GT cs.LG
Fictitious Cross-Play: Learning Global Nash Equilibrium in Mixed Cooperative-Competitive Games
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
针对混合合作竞争博弈中自博弈难收敛到全局纳什均衡、PSRO扩展性差的问题，提出兼具两者优势的虚拟交叉博弈算法FXP，在矩阵博弈、网格世界和足球博弈中均取得更优效果。
2023-10-05 cs.AI cs.LG cs.MA
Towards a more efficient computation of individual attribute and policy contribution for post-hoc explanation of cooperative multi-agent systems using Myerson values
Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）；University of Toulouse（图卢兹大学）；ISAE-Supaero（法国高等航空航天学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；Research Center for Information and Communications Technologies of the University of Granada (CITIC-UGR)（格拉纳达大学信息与通信技术研究中心）；University of Granada（格拉纳达大学）
对于战略家、决策者和体育教练来说，对团队中一个代理人的全球重要性进行定量评估就像黄金一样有价值。然而，检索这些信息并不是微不足道的，因为在合作任务中，很难将个人的表现与整个团队的表现分开。此外，代理人的作用与其个人属性之间的关系并不总是很清楚。在这项工作中，我们设想的Shapley分析的应用研究代理政策和属性的贡献，把他们放在平等的基础上。由于计算复杂性是NP-难的，并与可转移效用联盟博弈中的参与者数量呈指数级关系，因此我们利用关于博弈规则的先验知识来约束图上参与者之间的关系。因此，我们提出了一种方法来确定一个层次的知识图谱的代理的政策和功能的多Agent系统。假设系统的模拟器是可用的，图形结构允许利用动态规划以更快的方式评估重要性。我们在一个案例证明环境中测试了所提出的方法，该环境部署了硬编码策略和通过深度强化学习获得的策略。所提出的范例是计算要求较低，比平凡计算的Shapley值，并提供了很大的洞察力，不仅在一个团队中的代理的重要性，但也到所需的属性部署的政策在其最好的。
2022-12-06 cs.AI cs.LG cs.MA
Centralized Permutation Equivariant Policy for Cooperative Multi-Agent Reinforcement Learning
本文提出集中式置换等变（CPE）学习框架，通过轻量可扩展的全局-局部置换等变（GLPE）网络实现完全集中式策略，可无缝集成价值分解与演员-评论家方法，在 MPE、SMAC 和 RWARE 等协作基准上显著提升标准 CTDE 算法性能。
2025-08-13 cs.AI cs.LG cs.MA
Probing Dec-POMDP Reasoning in Cooperative MARL
University of Edinburgh（爱丁堡大学）
通过统计和信息论探针分析基线策略，发现多数基准测试无需真正的Dec-POMDP推理，反应策略性能与记忆策略相当，协调常依赖脆弱的同步耦合。
2026-06-16 cs.LG cs.MA
Toward Finding Strong Pareto Optimal Policies in Multi-Agent Reinforcement Learning
VNU University of Engineering and Technology（越南国家大学工程技术大学）
针对协作多智能体强化学习中的帕累托最优策略问题，提出 MGDA++ 以克服标准 MGDA 的弱帕累托收敛，并从理论与 Gridworld 实验验证其强帕累托最优性和性能优势。
2024-10-25 cs.LG
Hierarchical Cooperative Multi-Agent Reinforcement Learning with Skill Discovery
Georgia Institute of Technology（佐治亚理工学院）；Electronic Arts（美国艺电）；EA Digital Platform, Data & AI（艺电数字平台数据与人工智能部门）
在专业团队运动中，人类运动员通过动态地选择互补技能并执行原始动作来执行这些技能，从而实现高水平的协调。作为一个步骤，创造智能代理具有这种能力的充分合作的多智能体设置，我们提出了一个两级分层多智能体强化学习（MARL）算法与无监督的技能发现。智能体通过独立的Q学习在低级别学习有用的和独特的技能，而他们通过集中的多智能体训练与外部团队奖励在高级别学习选择互补的潜在技能变量。这组低级别技能来自一种内在奖励，这种内在奖励只会促进潜在技能变量从低级别技能轨迹中的可解码性，而不需要为每个技能手工制作奖励。对于可扩展的分散执行，每个代理独立地选择潜在的技能变量和基于本地观察的原始动作。我们的整体方法支持使用通用协作MARL算法来训练高级策略，并使用单代理RL来训练低级技能。随机高维团队游戏的实验表明，有用的技能和合作的团队发挥的出现。学习技能的可解释性显示了所提出的方法在团队运动游戏中实现人类-AI合作的前景。
2020-05-08 cs.LG cs.MA stat.ML
Context-Aware Bayesian Network Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
University of South Carolina（南卡罗来纳大学）
本文提出用贝叶斯网络建模合作 MARL 中智能体动作依赖，给出策略梯度与 Nash 均衡收敛理论，并借助可微 DAG 学习上下文感知策略且逐步转向去中心化执行。
2023-06-02 cs.AI cs.GT cs.LG
HCPO: Hierarchical Conductor-Based Policy Optimization in Multi-Agent Reinforcement Learning
针对协作式多智能体强化学习中联合策略因缺乏协调探索而受限的问题，提出基于指挥者的联合策略框架及HCPO算法，通过分层优化提升联合策略表达能力与探索效率，理论验证单调性，实验在多基准上优于基线。
2025-11-15 cs.LG
Inducing Cooperative behaviour in Sequential-Social dilemmas through Multi-Agent Reinforcement Learning using Status-Quo Loss
Media and Data Science Research Lab, Adobe（Adobe媒体与数据科学研究实验室）；IIT Kharagpur, India（印度理工学院卡格拉普尔分校）
在社会困境中，个体理性导致次优的群体结果。几个人的参与可以被建模为一个连续的（多步）社会困境。然而，与人类不同的是，深度强化学习智能体经过训练，在连续的社会困境中优化个人奖励，最终会收敛到自私、相互伤害的行为。我们引入了一个现状损失（SQLoss），鼓励代理坚持现状，而不是反复改变其政策。我们展示了SQLoss训练的代理如何在几个社会困境矩阵游戏中发展合作行为。为了处理具有视觉输入的社交困境游戏，我们提出了GameDistill。GameDistill使用自我监督和聚类来自动从社会困境游戏中提取合作和自私的策略。我们结合GameDistill和SQLoss来展示代理如何在硬币游戏中发展社会期望的合作行为。
2020-02-13 cs.AI cs.GT cs.LG
Learning Transferable Cooperative Behavior in Multi-Agent Teams
Carnegie Mellon University（卡内基梅隆大学）
虽然多智能体交互可以自然地建模为图，但环境传统上被认为是黑盒。我们建议创建一个共享的代理实体图，其中代理和环境实体形成顶点，顶点之间存在边，可以相互通信。智能体通过沿着图的边交换消息来学习合作。我们提出的多智能体强化学习框架对系统中存在的代理或实体的数量以及排列不变性是不变的，这两者对于任何多智能体系统表示都是理想的属性。我们提出了国家的最先进的结果覆盖，形成和线控制任务的多智能体团队在一个完全分散的框架，并进一步表明，学习的政策迅速转移到不同的团队规模的情况下，随着强大的zero-shot泛化性能。这是朝着开发多智能体团队迈出的重要一步，这些团队可以在现实世界中实际部署，而无需假设完全的先验知识或无限距离的即时通信。
2019-06-04 cs.LG cs.MA stat.ML
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney（悉尼大学）
我们提出了一个多智能体演员批评的方法，旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是，代理之间的信用分配可能不需要一个明确的制定，只要（1）来自一个集中的评论家的策略梯度携带足够的信息，分散的代理，以最大限度地提高其联合行动的价值，通过最佳的合作和（2）在整个训练过程中执行一个持续的探索水平。在CTDE范式下，通过将集中式评价器构造成一个超网络，使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中，实现了前者;为了实现后者，我们推导出一种称为自适应熵正则化的简单技术，其中熵梯度的大小根据当前政策随机性，以鼓励一致的勘探水平。我们的算法，被称为LICA，评估的几个基准，包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务，我们表明，LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
Weighted Double Deep Multiagent Reinforcement Learning in Stochastic Cooperative Environments
Tianjin University（天津大学）；Soochow University（苏州大学）
近年来，多智能体深度强化学习（DRL）受到越来越广泛的关注。现有的多智能体动态学习算法在随机协作环境中由于智能体同时更新策略而导致的非平稳性问题上效率低下。本文将最近提出的加权双重估计扩展到多智能体领域，提出了一个多智能体DRL框架，命名为加权双重深度Q网络（WDDQN）。通过使用加权双重估计器和深度神经网络，WDDQN不仅可以有效地减少偏差，而且还可以扩展到具有原始视觉输入的场景。为了实现多智能体领域的有效合作，我们引入了宽松的奖励网络和计划重放策略。实验表明，WDDQN优于现有的DRL和multiaent DRL算法，即，双DQN和宽松的Q学习，在随机合作环境中的平均回报和收敛速度。
2018-04-14 cs.AI cs.LG cs.MA
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Interactive Inverse Reinforcement Learning for Cooperative Games
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究的问题，设计自主智能体，可以学习有效地与潜在的次优合作伙伴，而没有访问的联合奖励功能。这个问题被建模为一个合作的情节两代理马尔可夫决策过程。我们假设控制只有第一个的两个代理在Stackelberg制定的游戏，其中第二个代理的行为，以最大限度地提高预期效用的第一个代理的政策。第一个智能体应该如何行动，以尽快学习联合奖励函数，使联合策略尽可能接近最优？我们分析如何在这种交互式的两个代理的情况下，可以获得有关奖励函数的知识。我们表明，当学习代理的政策有显着的影响的过渡函数，奖励功能可以有效地学习。
2022-06-13 cs.GT cs.LG
Agent-Agnostic Centralized Training for Decentralized Multi-Agent Cooperative Driving
University of Freiburg（弗莱堡大学）；Ruhr University Bochum（波鸿鲁尔大学）；University of Technology Nuremberg（纽伦堡工业大学）
本文提出一种智能体无关的集中训练方法，利用带掩码注意力神经网络的非对称演员-评论家模型和单智能体强化学习，学习去中心化协同驾驶策略，以改善瓶颈路段交通流并缓解保守驾驶导致的减速。
2024-09-03 cs.LG cs.RO
Centralized Adaptive Sampling for Reliable Co-Training of Independent Multi-Agent Policies
本文提出CoSER方法，通过协调动作选择减少联合采样误差，提升多智能体强化学习中策略梯度算法的收敛可靠性。
2026-05-13 cs.LG
CORD: Generalizable Cooperation via Role Diversity
School of Computer Science, Peking University（北京大学计算机学院）；Tencent Inc.（腾讯公司）
针对协作式多智能体强化学习策略泛化性差的问题，提出分层方法CORD，通过带约束的角色熵最大化实现角色多样性分配，在多任务泛化测试中性能优于基线。
2025-01-10 cs.AI cs.LG cs.MA
Best Possible Q-Learning
Peking University（北京大学）
完全分散的学习，其中的全球信息，即，其他智能体的行为是不可访问的，这是协作多智能体强化学习中的一个基本挑战。然而，大多数分散算法的收敛性和最优性在理论上没有保证，因为所有代理同时更新策略时，转移概率是非平稳的。为了解决这一挑战，我们提出了最佳可能的运营商，一个新的分散运营商，并证明了代理的政策将收敛到最优的联合政策，如果每个代理独立更新其个人的状态动作值的运营商。进一步，为了使更新更有效和实用，我们简化了操作，并证明了收敛性和最优性仍然保持与简化的。通过实例化的简化操作，派生的完全分散的算法，最佳可能的Q学习（BQL），不受非平稳性。从经验上讲，我们表明，BQL实现了显着的改善基线在各种合作的多智能体任务。
2023-02-02 cs.LG cs.MA
Multi-Agent Common Knowledge Reinforcement Learning
University of Oxford（牛津大学）
协作多智能体强化学习通常需要分散的策略，这严重限制了智能体协调其行为的能力。在本文中，我们表明，代理之间的共同知识允许复杂的分散协调。在大量分散的合作多智能体任务中，例如，当智能体可以重建彼此观察的部分时，共同知识自然会出现。由于代理人独立地同意他们的共同知识，他们可以执行复杂的协调政策，以完全分散的方式对这些知识的条件。我们提出了多智能体常识强化学习（MACKRL），一种新的随机演员批评家算法，学习分层策略树。层次结构中的较高级别通过调节他们的共同知识来协调代理组，或者委托给具有较小子组但可能具有更丰富共同知识的较低级别。整个策略树可以以完全分散的方式执行。由于最低的策略树级别由每个代理的独立策略组成，因此MACKRL将独立学习的分散策略作为特殊情况。我们证明，我们的方法可以利用常识，在复杂的分散协调任务，包括一个随机矩阵游戏和挑战性的问题，星际争霸II单位微观管理的优越性能。
2020-01-11 cs.AI cs.GT cs.LG
Cooperative Actor-Critic via TD Error Aggregation
University of Notre Dame（圣母大学）；Stony Brook University（石溪大学）
在分散式合作多智能体强化学习中，智能体可以聚集彼此的信息，以学习最大化团队平均目标函数的策略。尽管愿意与其他人合作，但由于隐私问题，个体代理可能会发现直接共享有关其本地状态、奖励和价值函数的信息是不可取的。在这项工作中，我们引入了一个分散的演员-评论家算法与TD错误聚合，不违反隐私问题，并假设通信信道受到时间延迟和数据包丢失。我们为做出这样的弱假设所付出的代价是增加了每个代理的通信负担，这是由传输数据的维度来衡量的。有趣的是，通信负担只是图大小的二次方，这使得该算法适用于大型网络。我们提供了一个收敛性分析下递减步长验证代理最大化的团队平均目标函数。
2022-07-25 cs.LG cs.SY eess.SY
HAVEN: Hierarchical Cooperative Multi-Agent Reinforcement Learning with Dual Coordination Mechanism
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
近年来，多智能体系统中的一些具有挑战性的任务已经被一些分层强化学习方法所解决。受人类神经系统层内和层间协调机制的启发，提出了一种新的基于层次强化学习的多智能体价值分解框架HAVEN.为了解决各层次和代理之间的并发优化策略所产生的不稳定性，我们引入了双重协调机制的层间和代理之间的策略，通过设计奖励函数在两级层次结构。HAVEN不需要领域知识和预训练，并且可以应用于任何值分解变体。我们的方法在不同的分散部分可观测马尔可夫决策过程域上取得了理想的结果，并优于其他流行的多智能体层次强化学习算法。
2022-12-07 cs.AI cs.LG cs.MA
Learning Explicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning via Polarization Policy Gradient
Nanjing University（南京大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
协作多智能体策略梯度（MAPG）算法近年来受到广泛关注，被认为是多智能体系统的一种通用方案。信用分配在MAPG中起着重要的作用，它可以诱导多个Agent之间的合作。然而，大多数MAPG算法不能实现良好的信用分配，因为被称为\textit{centralized-decentralized mismatch}的博弈论病理。为了解决这个问题，本文提出了一种新的方法，\textit{\underline{M}ulti-\underline{A}gent \underline{P}olarization \underline{P}olicy \underline{G}radient}（MAPPG）。MAPPG采用一个简单但有效的极化函数将联合和个体行为的最佳一致性转化为易于实现的约束，从而实现了MAPG中的有效信用分配。从理论上证明了MAPPG的个体策略能够收敛到全局最优解。在经验上，我们在著名的矩阵对策和微分对策上评估了MAPPG，并验证了MAPPG可以收敛到离散和连续行动空间的全局最优解。我们还评估了一组星际争霸II微观管理任务的MAPPG，并证明MAPPG优于国家的最先进的MAPG算法。
2023-03-06 cs.LG
SMACv2: An Improved Benchmark for Cooperative Multi-Agent Reinforcement Learning
EPFL（洛桑联邦理工学院）；University of Oxford（牛津大学）；University College London（伦敦大学学院）；Meta AI；University of Manchester（曼彻斯特大学）
本文针对SMAC基准缺乏随机性和部分可观测性、开环策略即可获胜的问题，提出程序化生成场景并引入扩展部分可观测性挑战的SMACv2，以要求闭环策略，为下一代MARL方法提供更具挑战性的基准。
2023-10-17 cs.LG cs.MA
Cooperative Multi-Agent Reinforcement Learning with Hypergraph Convolution
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Singapore Management University（新加坡管理大学）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，多智能体系统（MAS）取得了巨大的成功。价值分解是多智能体系统中的一项重要工作，它是将联合行为价值分解为个体行为价值的过程。然而，许多价值分解方法忽略了不同代理之间的协调，导致臭名昭著的“懒惰代理”问题。为了提高多智能体系统的协调性，本文提出了超图卷积MIX（HGCN-MIX），一种将超图卷积与值分解相结合的方法。HGCN-MIX将代理及其关系建模为超图，其中代理是节点，节点之间的超边表示相应的代理可以协调以获得更大的奖励。然后，它训练一个超图，可以捕捉代理之间的协作关系。利用学习到的超图来考虑其他智能体的观察和行动如何影响他们的决策，MAS中的智能体可以更好地协调。我们在星际争霸II多智能体挑战基准中评估HGCN-MIX。实验结果表明，HGCN-MIX可以训练联合策略，优于或达到类似的性能水平，作为目前的国家的最先进的技术。我们还观察到，HGCN-MIX在具有大量代理的场景中具有更显着的性能改善。此外，我们进行了额外的分析，强调当超图学习更多的关系，HGCN-MIX可以训练更强的联合策略。
2022-04-28 cs.AI cs.LG cs.MA
Specification-Guided Learning of Nash Equilibria with High Social Welfare
University of Pennsylvania（宾夕法尼亚大学）
强化学习已被证明是一种有效的策略，自动训练具有挑战性的控制问题的政策。针对非合作多智能体系统，我们提出了一种新的强化学习框架，用于训练形成纳什均衡的联合策略。在我们的方法中，而不是提供低级别的奖励功能，用户提供高级别的规格，编码每个代理的目标。然后，在规范结构的指导下，我们的算法搜索策略，以确定可证明形成$ε$ -纳什均衡的策略（概率很高）。重要的是，它以最大化所有行为体的社会福利的方式确定政策的优先次序。我们的实证评估表明，我们的算法计算的均衡政策与高社会福利，而国家的最先进的基线要么无法计算纳什均衡或计算的社会福利相对较低。
2022-06-06 cs.AI cs.GT cs.LG
${\rm E}(3)$-Equivariant Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning
Artificial Intelligence Institute, University of South Carolina（南卡罗来纳大学人工智能学院）
本文提出一种利用欧几里得对称性作为归纳偏置的E(3)-等变演员-评论家方法，用于合作多智能体强化学习，在基准测试中取得优越性能并支持零样本和迁移学习。
2024-05-25 cs.AI cs.LG cs.MA
Counterfactual Learning with General Data-generating Policies
Yale University（耶鲁大学）；Northwestern University（西北大学）；Mercari, Inc.（Mercari 株式会社）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
脱离策略评估（OPE）尝试使用来自不同策略的日志数据来预测反事实策略的性能。我们扩展了它的适用性，通过开发一个OPE的方法为一类完全支持和不足的支持日志记录政策的上下文强盗设置。该类包括确定性的强盗（如置信上限）以及基于监督和无监督学习的确定性决策。我们证明，我们的方法的预测收敛概率的真实表现的反事实的政策作为样本量的增加。我们验证我们的方法与实验部分和完全确定性的日志记录政策。最后，我们应用它来评估一个主要的在线平台的优惠券定位政策，并展示如何改进现有的政策。
2022-12-04 cs.AI cs.LG econ.EM
Optimistic ε-Greedy Exploration for Cooperative Multi-Agent Reinforcement Learning
University of Electronic Science and Technology of China（电子科技大学）；Southwest Minzu University（西南民族大学）；Chengdu University of Technology（成都理工大学）；Nanyang Technological University（南洋理工大学）
本文针对协作多智能体强化学习中因值分解表示受限导致的最优动作低估问题，提出乐观ε-贪心探索方法，通过乐观更新网络以概率ε采样最优动作，有效避免次优解并显著提升算法性能。
2025-02-05 cs.LG cs.MA
Certifying cooperation: a novel approach to cooperative multi-agent task generation
Université Libre de Bruxelles（布鲁塞尔自由大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；UC Berkeley（加州大学伯克利分校）
本文提出一种通过时间合作图与命题公式认证合作要求的多智能体任务生成方法，实验表明训练多样性提升部分完成率但联合成功率仍低。
2026-09-11 cs.AI cs.LG cs.MA
Local Advantage Networks for Cooperative Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
LAN 算法利用 dueling 架构和个体优势函数学习去中心化最佳响应策略，并通过与智能体数量无关的集中式评论家稳定训练，在 StarCraft II 基准上达到最先进性能且高度可扩展。
2023-10-26 cs.AI cs.LG
On Solving Cooperative MARL Problems with a Few Good Experiences
Singapore Management University（新加坡管理大学）
协作多智能体强化学习（MARL）在搜索和救援、无人机监视、包裹递送和消防问题等许多领域中对于协作分散式决策学习至关重要。在这些领域，一个关键的挑战是学习一些好的经验，即，仅在少数情况下获得正增强（例如，在灭火或追踪犯罪或递送包裹时），并且在大多数其他情况下，存在零强化或负强化。由于三个原因，学习决策与一些好的经验是非常具有挑战性的合作MARL问题。首先，与单个代理的情况相比，探索更难，因为多个代理必须协调才能获得良好的体验。第二，环境不是静止的，因为所有的智能体都在同时学习（从而改变策略）。第三，每增加一个代理，问题的规模就会显著增加。相关的现有工作是广泛的，并集中在处理一些很好的经验，在单代理RL问题或可扩展的方法来处理非平稳的MARL问题。不幸的是，这些方法（或其扩展）都不能有效地解决稀疏的好经验的问题。因此，我们提供了一种新的虚构的自我模仿的方法，能够同时处理非平稳性和稀疏的良好经验，在一个可扩展的方式。最后，我们提供了一个彻底的比较（实验或描述）对相关的合作MARL算法，以证明我们的方法的实用性。
2020-01-22 cs.AI cs.LG cs.MA
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
