Off-Policy Action Anticipation in Multi-Agent Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）
针对大状态空间不可微博弈中现有高阶梯度方法效率低且性能差的问题，提出离策略动作预期框架OffPA2，通过动作预期实现学习预期，新方法在效率和性能上均优于现有方法。
2023-04-04 cs.AI cs.LG cs.MA
Multi-Agent Actor-Critic with Generative Cooperative Policy Network
KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们提出了一个有效的多智能体强化学习方法来获得均衡策略的多个代理谁是参与马尔可夫博弈。主要是，我们专注于获得分散的政策，代理，以最大限度地提高性能的合作任务的所有代理，这是类似于解决一个分散的马尔可夫决策过程。我们建议使用两种不同的策略网络：（1）分散式贪婪策略网络，用于在训练和执行期间生成贪婪动作;（2）生成式合作策略网络（GCPN），用于在训练期间生成动作样本，以使其他代理改进其目标。我们表明，GCPN生成的样本，使其他代理更有效地探索政策空间，并有利地达成更好的政策，在实现合作任务。
2018-10-22 cs.AI cs.MA
Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；California Institute of Technology（加州理工学院）
我们研究了一个多智能体强化学习（MARL）问题，其中的代理在一个给定的网络进行交互。代理的目标是合作最大化他们的熵正则化的长期奖励的平均值。为了克服维数灾难和减少通信，我们提出了一个局部化的政策迭代（LPI）算法，可证明学习一个接近全局最优的政策，只使用本地信息。特别是，我们表明，尽管限制每个代理的注意力，只有其$κ$跳邻域，代理能够学习的政策与最优性的差距，衰减多项式在$κ$。此外，我们展示了有限样本收敛的LPI的全局最优策略，明确地捕获之间的权衡选择$κ$的最优性和计算复杂性。数值仿真验证了LPI的有效性。
2022-11-30 cs.AI cs.LG cs.MA
Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation
Xi’an Jiaotong University（西安交通大学）
协作多智能体任务要求智能体推断出自己的贡献与共享的全局奖励，称为信用分配的挑战。基于策略的多智能体强化学习解决这一挑战的一般方法为个体智能体引入微分价值函数或优势函数。在多智能体系统中，需要对不同智能体的策略进行联合评估。为了同步更新策略，这样的价值函数或优势函数也需要同步求值。然而，在现有的方法中，价值函数或优势函数使用异步评估的反事实联合行动，从而遭受自然的估计偏差。在这项工作中，我们提出了近似同步优势估计。我们首先推导出边际优势函数，从单智能体优势函数扩展到多智能体系统。此外，我们引入了一个策略近似的同步优势估计，并打破了多智能体的策略优化问题分解成多个子问题的单智能体的策略优化。我们的方法相比，基线算法的星际争霸多智能体的挑战，并显示出最好的性能上的大多数任务。
2021-05-08 cs.AI cs.LG
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
TAPE: Leveraging Agent Topology for Cooperative Multi-Agent Policy Gradient
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Southampton（南安普顿大学）；King’s College London（伦敦国王学院）
本文提出智能体拓扑框架及TAPE算法，通过决定策略梯度中是否考虑其他智能体来平衡协作与缓解集中-分散不匹配问题，并在多个基准上验证了其有效性。
2024-01-15 cs.AI cs.MA
Joint Policy Search for Multi-agent Collaboration with Imperfect Information
Facebook AI Research（脸书人工智能研究院）
在信息不完全的情况下，学习多智能体协作的联合策略仍然是一个根本性的挑战。而对于两人零和博弈，坐标上升方法（每次优化一个代理的策略，例如，自博弈）在有保证的情况下工作，在多智能体合作环境中，它们经常收敛到次优纳什均衡。另一方面，由于政策之间的复杂相互作用（例如，上游更新影响下游状态可达性）。在本文中，我们证明了全局变化的博弈值可以分解为本地化的每个信息集的政策变化，与一个新的术语命名为政策变化密度。在此基础上，我们提出了联合策略搜索（JPS），迭代地提高不完全信息博弈中协作代理的联合策略，而无需重新评估整个博弈。在多智能体协作表格游戏中，JPS被证明永远不会恶化性能，并且可以改善单边方法（例如CFR）提供的解决方案，优于为协作策略学习设计的算法（例如BAD）。此外，对于现实世界的游戏，JPS有一个在线形式，自然与梯度更新链接。我们测试它的合同桥，一个4人的信息游戏，其中一个团队的$2$合作，以对抗其他。在投标阶段，参与者通过有限的信息渠道依次投标以找到一个好的合同。基于一个强大的基线代理，投标竞争性桥梁纯粹通过域不可知的自我发挥，JPS改善了团队球员的合作，并优于WBridge 5，一个冠军获奖软件，通过$+0.63$ IMP（国际匹配点）每板超过1000场比赛，大大优于以前的SoTA（$+0.41$ IMP/b）在双假人评估。
2020-12-06 cs.AI cs.GT cs.LG
Model-based Multi-agent Policy Optimization with Adaptive Opponent-wise Rollouts
Shanghai Jiao Tong University（上海交通大学）
研究了多智能体强化学习（MARL）中基于模型的方法。在MARL模型中定义了动态样本复杂度和对手样本复杂度，并对收益差异上界进行了理论分析。为了在整个学习过程中降低样本复杂度，降低上界，我们提出了一种新的分散的基于模型的MARL方法，称为自适应对手明智的推出策略优化（AORPO）。在AORPO中，每个代理建立其多代理环境模型，包括一个动力学模型和多个对手模型，并训练其政策与自适应顺应性明智的推出。在合理的假设下，我们进一步证明了AORPO的理论收敛性。竞争和合作任务的实验表明，AORPO可以实现改进的样本效率与比较的MARL方法的渐近性能。
2022-03-16 cs.AI cs.LG cs.MA
Descent-Guided Policy Gradient for Scalable Cooperative Multi-Agent Learning
National University of Singapore（新加坡国立大学）
本文提出Descent-Guided Policy Gradient方法，通过利用可微解析模型降低梯度方差，实现协作多智能体学习的可扩展性，验证了在200个智能体任务中收敛性能。
2026-09-29 cs.AI cs.LG cs.MA
Policy-focused Agent-based Modeling using RL Behavioral Models
RAND（兰德公司）
基于主体的模型（ABM）是政策分析的重要工具。ABM帮助分析师探索多主体决策环境中政策干预的紧急后果。但是，从ABM探索得出的推论的有效性取决于ABM代理人的行为模型的质量。代理行为模型的标准规范依赖于启发式决策规则或基于过去数据训练的回归。两种现有规范模式都有局限性。本文探讨了强化学习（RL）模型作为自适应，高性能和行为有效的代理决策模型在ABM中的价值。我们测试的假设，RL代理是有效的效用最大化代理政策ABMs。我们还解决了适应RL算法来处理多机构在游戏中的适应和扩展方法，从最近的文献。我们通过两个政策相关的ABM：少数人游戏ABM，和流感传播的ABM实验，评估这种基于RL的ABM代理的性能。我们在配备人工智能的ABM上进行了一些分析实验，例如探索群体中行为异质性的影响以及群体中同步的出现。实验表明，RL行为模型是有效的，在ABM代理人的奖励寻求或奖励最大化的行为。此外，RL行为模型可以学习，以超过默认的自适应行为模型在两个ABM检查。
2020-11-05 cs.AI cs.LG cs.MA
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
On Symmetry for Characterizing Agent Heterogeneity in Multi-Agent Systems
INFORMED-AI Hub, University of Bristol（布里斯托大学 INFORMED-AI 中心）；School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院）
该研究针对多智能体系统，提出策略评估对称性框架以表征智能体异质性，推导相关条件并验证其在合作Dec-POMDP中的适用性。
2026-10-14 cs.AI cs.MA
Heterogeneous Multi-Agent Reinforcement Learning via Mirror Descent Policy Optimization
Tarbiat Modares University（塔比阿特莫达勒斯大学）
针对异构协作 MARL 中智能体能力与策略不同的问题，提出 HAMDPO，利用多智能体优势分解和信赖域近似更新实现稳定单调改进，并在 MuJoCo、StarCraftII 上优于 HATRPO 与 HAPPO。
2023-08-13 cs.AI cs.LG cs.MA
Scalable Centralized Deep Multi-Agent Reinforcement Learning via Policy Gradients
GRASP Laboratory（GRASP实验室）；University of Pennsylvania（宾夕法尼亚大学）
在本文中，我们将探索使用深度强化学习来解决多智能体问题。大多数现有的深度多智能体强化学习方法只考虑少量的智能体。当代理数量增加时，输入和控制空间的维数也会增加，这些方法的扩展性不好。为了解决这个问题，我们建议铸造的多智能体强化学习问题作为一个分布式优化问题。我们的算法假设，对于多代理设置，在一个给定的人口中的各个代理的政策生活在参数空间中彼此接近，可以近似为一个单一的政策。有了这个简单的假设，我们证明了我们的算法是非常有效的强化学习在多智能体设置。我们证明了其有效性对现有的可比方法的合作和竞争的任务。
2018-05-22 cs.AI cs.LG cs.MA
Low-Rank Agent-Specific Adaptation (LoRASA) for Multi-Agent Policy Learning
University of Manchester（曼彻斯特大学）
针对多智能体强化学习中纯参数共享抑制智能体专业化的问题，提出LoRASA方法，通过在共享策略层附加低秩适配矩阵实现参数高效适配，在SMAC和MAMuJoCo基准上匹配或优于基线且降低开销，为MARL策略参数化提供新范式。
2025-02-08 cs.AI cs.LG cs.MA
The Surprising Effectiveness of PPO in Cooperative, Multi-Agent Games
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
近端策略优化（PPO）是一种普遍存在的基于策略的强化学习算法，但在多代理设置中的利用率明显低于离策略学习算法。这通常是由于人们认为PPO的样本效率明显低于多智能体系统中的非策略方法。在这项工作中，我们仔细研究了PPO在合作的多智能体设置的性能。我们表明，基于PPO的多智能体算法在四个流行的多智能体测试平台中实现了惊人的强大性能：粒子世界环境，星际争霸多智能体挑战，谷歌研究足球和Hanabi挑战，具有最小的超参数调整，没有任何特定领域的算法修改或架构。重要的是，与有竞争力的非保单方法相比，PPO通常在最终回报和样本效率方面都实现有竞争力或优越的结果。最后，通过消融研究，我们分析了实施和超参数的因素是至关重要的PPO的实证表现，并就这些因素给出具体的实用建议。我们的研究结果表明，当使用这些做法，简单的基于PPO的方法可以在合作多智能体强化学习强有力的基线。源代码在\url{https://github.com/marlbenchmark/on-policy}上发布。
2022-11-04 cs.AI cs.LG cs.MA
Agent Probing Interaction Policies
Carnegie Mellon University（卡内基梅隆大学）
多智能体系统中的强化学习是困难的，因为这些系统本质上是非平稳的。在这种情况下，识别对方的类型是至关重要的，可以帮助我们解决这个非静止的环境。我们已经研究了我们是否可以采用一些探测政策，帮助我们更好地识别环境中的其他代理的类型。我们做了一个简化的假设，即另一个智能体有一个固定的策略，我们的探测策略试图近似。我们的工作扩展了环境探测互动政策框架，以处理多代理环境。
2019-12-13 cs.AI cs.LG cs.MA
Policy Diversity for Cooperative Agents
Ubisoft La Forge（育碧La Forge）；Ubisoft Chengdu（育碧成都）；Ubisoft Bordeaux（育碧波尔多）
针对多智能体协作领域缺乏有效策略多样性方法的问题，提出矩匹配策略多样性方法，通过形式化选定智能体的动作差异生成差异化团队策略，理论上可实现基于最大均值差异的约束优化，在团队射击游戏中验证了有效性。
2023-08-28 cs.AI cs.LG cs.MA
Off-Policy Correction For Multi-Agent Reinforcement Learning
University of Warsaw（华沙大学）；Google Research（谷歌研究院）；Polish Academy of Sciences（波兰科学院）
本文提出在策略 actor-critic 算法 MA-Trace，通过重要性采样实现离策略校正和多工作节点可扩展分布式训练，并证明收敛不动点定理，在 SMAC 基准上达到高性能。
2024-04-03 cs.AI cs.LG cs.MA
Agent-GSPO: Communication-Efficient Multi-Agent Systems via Group Sequence Policy Optimization
Sun Yat-sen University（中山大学）
Agent-GSPO利用组序列策略优化和通信感知奖励，在七个推理基准上以更少令牌实现最先进性能，通过策略性沉默提升多智能体系统通信效率。
2025-10-26 cs.AI cs.MA
Asynchronous, Option-Based Multi-Agent Policy Gradient: A Conditional Reasoning Approach
Simon Fraser University（西蒙弗雷泽大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
针对多机器人异步执行选项导致MAPG方法难以推导集中式策略的问题，提出一种条件推理方法，并在基于选项的多智能体合作任务中验证了其有效性。
2023-08-02 cs.AI cs.LG cs.MA
AgentMixer: Multi-Agent Correlated Policy Factorization
Aalto University（阿尔托大学）；University of Electronic Science and Technology of China（电子科技大学）
针对多智能体强化学习中CTDE方法独立决策难协调、模仿联合策略易出现非对称学习失败的问题，提出AgentMixer策略修正方法，通过非线性组合个体策略与个体-全局一致性机制实现分布式执行，收敛到ε-近似相关均衡，在多个基准上性能优于或持平SOTA。
2024-12-13 cs.AI cs.MA
Trust Region Policy Optimisation in Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Huawei R&D UK（华为英国研发中心）；ShanghaiTech University（上海科技大学）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）；Institute for AI, Peking University（北京大学人工智能研究院）；BIGAI（北京通用人工智能研究院）
信赖域方法严格地使强化学习（RL）代理能够学习单调改进的策略，从而在各种任务上获得卓越的性能。不幸的是，当涉及到多智能体强化学习（MARL）时，单调改进的特性可能并不简单;这是因为即使在合作游戏中，智能体也可能具有冲突的策略更新方向。因此，在每个代理人单独行动的联合政策上实现有保证的改进仍然是一个公开的挑战。本文将信赖域学习理论推广到MARL中。我们的研究结果的核心是多代理优势分解引理和顺序政策更新计划。在此基础上，我们开发了异构代理信任域策略优化（HATPRO）和异构代理邻近策略优化（HAPPO）算法。与许多现有的MARL算法不同，HATRPO/HAPPO不需要代理共享参数，也不需要对联合价值函数的可分解性进行任何限制性假设。最重要的是，我们从理论上证明了HATRPO/HAPPO的单调改进性质。我们评估了一系列多智能体MuJoCo和StarCraftII任务的方法。结果表明，HATRPO和HAPPO在所有测试任务上的表现都明显优于IPPO、MAPPO和MADDPG等强基线，因此建立了一个新的技术水平。
2022-04-04 cs.AI cs.MA
Multi-Agent Trust Region Policy Optimization
University of Rhode Island（罗德岛大学）
本文将TRPO扩展至多智能体强化学习，通过将策略更新转化为分布式共识优化问题，提出完全去中心化且保护隐私的MATRPO算法，并在合作博弈中验证了其稳健性能。
2023-08-05 cs.AI cs.MA
Measuring Policy Distance for Multi-Agent Reinforcement Learning
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）
针对多智能体强化学习缺乏通用策略差异度量标准的问题，本文提出可定制的多智能体策略距离MAPD，并基于此设计动态参数共享算法MADPS，实验验证其度量有效性与性能优势。
2024-01-28 cs.AI cs.MA
Hierarchical Policy-Gradient Reinforcement Learning for Multi-Agent Shepherding Control of Non-Cohesive Targets
Scuola Superiore Meridionale（南方高等学院）；University of Naples Federico II（那不勒斯费德里科二世大学）
本文提出一种基于策略梯度的分散式强化学习框架，通过Proximal Policy Optimization整合目标选择与驱动，克服了传统DQN的离散动作限制，在无先验动力学知识下有效解决了非内聚目标的多智能体牧羊问题，并验证了其可扩展性。
2025-04-03 cs.AI cs.LG cs.MA
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University（卡内基梅隆大学）；Honda Research Institute USA（美国本田研究所）
在多智能体环境中，单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题，专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难：相互适应次优行为，我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先，代理利用策略梯度算法来学习能够实现多个目标的策略。其次，代理学习修改器策略，以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
On Multi-Agent Deep Deterministic Policy Gradients and their Explainability for SMARTS Environment
University of Southern California（南加州大学）
多智能体RL或MARL是自动驾驶文献中的复杂问题之一，阻碍了当今全自动驾驶汽车的发布。几个模拟器在开始之后一直在迭代，以减轻自动驾驶中多个代理的复杂场景的问题。一个这样的模拟器-SMARTS，讨论了合作的多智能体学习的重要性。针对这个问题，我们讨论了两种方法-MAPPO和MADDPG，这是基于政策和政策外RL方法。我们将我们的结果与最先进的结果进行比较，并讨论了潜在的改进领域，同时讨论了这些方法与SMARTS环境中的航点结合的可解释性。
2023-01-20 cs.AI cs.CV cs.LG
Multi-Agent Constrained Policy Optimisation
Technical University of Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）；ShanghaiTech University（上海科技大学）；University College London（伦敦大学学院）；Institute for AI, Peking University（北京大学人工智能研究院）；BIGAI（北京通用人工智能研究院）
开发满足安全约束的强化学习算法在现实世界的应用中变得越来越重要。在多智能体强化学习（MARL）设置中，具有安全意识的策略优化特别具有挑战性，因为每个个体智能体不仅要满足自己的安全约束，还要考虑其他智能体的安全约束，以便确保它们的联合行为安全。尽管它的重要性，安全的多智能体学习的问题还没有得到严格的研究;很少有解决方案已经提出，也没有一个共享的测试环境或基准。为了填补这些空白，在这项工作中，我们制定了安全的MARL问题作为一个受约束的马尔可夫博弈，并解决它的政策优化方法。我们的解决方案-多代理约束策略优化（MACPO）和MAPPO-Lagrangian -利用约束策略优化和多代理信任域学习的理论。至关重要的是，我们的方法在每次迭代中都可以获得单调改进的奖励和满足安全约束的理论保证。为了检验我们的方法的有效性，我们开发了安全多代理MuJoCo的基准套件，涉及各种MARL基线。实验结果证明，MACPO/MAPPO-Lagrange可以始终满足安全约束，同时实现与强基线相当的性能。
2022-02-10 cs.AI cs.MA
Multi-Agent Guided Policy Optimization
本文提出MAGPO框架，通过整合集中指导与分散执行，提升多智能体强化学习的协调探索与部署能力，并在多个环境中验证其优于现有方法的性能。
2026-03-13 cs.AI cs.MA
Simulation-Based Optimistic Policy Iteration For Multi-Agent MDPs with Kullback-Leibler Control Cost
Texas A&M University（德克萨斯农工大学）
本文提出一种基于仿真的乐观策略迭代方案，利用KL控制代价的可分离结构使多智能体独立进行策略改进，并证明同步与异步版本均渐近收敛到最优策略，通过Stag-Hare博弈变体验证了其最小化代价回报的有效性。
2024-10-19 cs.AI cs.MA cs.SY
ACPO: Agent-Chained Policy Optimization for Multi-Agent Reinforcement Learning
提出基于联合策略梯度精确分解的智能体链式策略优化（ACPO），通过序列化决策和信念机制实现独立智能体更新构成联合梯度步，在多机器人仓库等任务中优于强基线方法。
2026-07-20 cs.AI
Multi-Agent Reinforcement Learning Simulation for Environmental Policy Synthesis
Centre for Artificial Intelligence, Department of Computer Science, University College London（人工智能研究中心，计算机科学系，伦敦大学学院）；Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学）
本文提出利用多智能体强化学习增强气候模拟，以解决政策综合中的非线性动态、异质智能体和不确定性量化等挑战。
2026-02-10 cs.AI cs.MA
FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford（牛津大学）；Facebook AI Research（Facebook AI研究院）；Delft University of Technology（代尔夫特理工大学）
我们提出了因子化多智能体集中式策略梯度（FACMAC），一种新的方法，在离散和连续的动作空间的合作多智能体强化学习。像MADDPG，一个流行的多代理演员批评的方法，我们的方法使用深确定性策略梯度学习政策。然而，FACMAC学习一个集中的，但分解的评论家，它结合每个代理效用到联合行动价值函数通过一个非线性单调函数，如在QMIX，一个流行的多代理Q-学习算法。然而，与QMIX不同的是，对critics的分解没有固有的约束。因此，我们还采用了非单调因子分解和经验表明，其代表性的能力增加，使它能够解决一些任务，不能用单片，或单调因子的批评。此外，FACMAC使用一个集中的策略梯度估计，优化整个联合行动空间，而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化，并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体，一种新的多智能体MuJoCo基准，和一组具有挑战性的星际争霸II微观管理任务。实证结果表明，FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
Offline Multi-Agent Reinforcement Learning via In-Sample Sequential Policy Optimization
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）；Shanghai Innovation Institute（上海创新研究院）；Meituan（美团）
针对离线多智能体强化学习中的分布外联合动作和次优收敛问题，提出顺序更新策略的 InSPO 算法，避免 OOD 动作并增强协调，理论保证单调改进与收敛于 QRE。
2024-12-18 cs.AI cs.LG
Influencing LLM Multi-Agent Dialogue via Policy-Parameterized Prompts
University of Bristol（布里斯托大学）
本文提出通过策略参数化提示影响LLM多智能体对话，通过动态构建提示序列影响对话动态，实验验证了其有效性。
2026-03-10 cs.AI cs.MA
When Does Multi-Agent RL Improve LLM Workflows? Workflow, Scale, and Policy-Sharing Tradeoffs
Oregon State University（俄勒冈州立大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Adobe Inc.（Adobe公司）；AG2AI, Inc.（AG2AI公司）
研究多智能体LLM工作流中端到端强化学习训练的效果，发现改进依赖于工作流、任务和规模，策略共享不提供统一稳定性而是重新分配失败模式。
2026-11-03 cs.AI cs.LG
Parameter Sharing Deep Deterministic Policy Gradient for Cooperative Multi-agent Reinforcement Learning
Xiaomi Inc.（小米公司）
基于深度强化学习的多智能体合作与竞争问题是近年来的研究热点。研究了局部观测条件下基于行动者-批评者方法的多智能体协作问题。多智能体深度确定性策略梯度在一些多智能体博弈中取得了很好的效果，但随着智能体数量的增加，它不能很好地扩展。为了提高系统的可扩展性，提出了一种基于神经网络的参数共享确定性策略梯度方法，该方法包括三种变体：Actor-Critic共享、Actor共享和Actor与部分共享Critic共享. rllab的测试结果表明，该方法在学习速度和记忆效率方面具有优势，随着代理数量的增长具有很好的可扩展性，并且在可能的情况下可以充分利用奖励共享和交换机制。
2017-10-03 cs.AI
$K$-Level Policy Gradients for Multi-Agent Reinforcement Learning
Department of Computer Science, TU Darmstadt（图恩-达姆施塔特技术大学计算机科学系）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（图恩-达姆施塔特技术大学认知科学中心）；Center for Artificial Intelligence and Data Science, University of Würzburg（弗赖堡大学人工智能与数据科学中心）
提出KPG方法，通过递归更新智能体策略以解决深度MARL中的协调失败问题，理论证明其单调收敛至局部纳什均衡，并在StarCraft II和多智能体MuJoCo中表现优异。
2025-09-15 cs.AI cs.LG
UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers
Monash University（莫纳什大学）；Sun Yat-sen University（中山大学）；Dark Matter AI Inc.（暗物质人工智能公司）
多智能体强化学习的最新进展在很大程度上局限于为每个新任务从头开始训练一个模型。限制是由于与固定输入和输出维度相关的受限模型架构。这阻碍了经验的积累和学习代理在不同难度的任务上的转移（例如3对3或5对6多代理游戏）。在本文中，我们首次尝试探索一个通用的多智能体强化学习管道，设计一个单一的架构，以适应不同的观察和动作配置的要求的任务。与以前的基于RNN的模型不同，我们利用一个基于transformer的模型来生成一个灵活的策略，通过将策略分布与相互交织的输入观察解耦，并通过自注意机制的优点来衡量重要性权重。与标准的Transformer块相比，该模型进一步放宽了对行为的限制，使多Agent任务的决策过程更具有可解释性，称为通用策略解耦Transformer（UPDeT）。UPDeT足够通用，可以插入任何多智能体强化学习管道，并为它们提供强大的泛化能力，使其能够一次处理多个任务。在大规模SMAC多智能体竞争游戏上的大量实验表明，所提出的基于UPDeT的多智能体强化学习相对于最先进的方法取得了显着的结果，在性能和训练速度（快10倍）方面表现出优越的传输能力。
2021-02-07 cs.AI cs.LG
Distributed Policy Iteration for Scalable Approximation of Cooperative Multi-Agent Policies
LMU Munich（慕尼黑大学）；MaibornWolff（迈博尔夫公司）
多智能体系统（MAS）中的决策是一个巨大的挑战，由于巨大的状态和联合行动空间以及不确定性，使得集中控制通常是不可行的。分散控制提供了更好的可扩展性和鲁棒性，但需要机制来协调联合任务并避免冲突。传统的协作MAS分散策略学习方法存在非平稳性和缺乏信用分配的问题，在复杂环境中会导致不稳定和不协调的行为。在本文中，我们提出了强紧急政策近似（STEP），一个可扩展的方法来学习强分散的政策合作MAS的分布式变体的政策迭代。为此，我们使用函数逼近来学习分散式多智能体规划算法的行动建议。STEP将分散式多智能体规划与集中式学习相结合，只需要分布式黑盒优化的生成模型。我们的实验评估STEP在两个具有挑战性的和随机的领域与大的状态和联合行动空间，并表明，STEP是能够学习更强的政策比标准的多智能体强化学习算法，结合多智能体开环规划与集中函数逼近。学习的策略可以重新集成到多代理规划过程中，以进一步提高性能。
2019-01-25 cs.AI cs.MA
Modeling Hawkish-Dovish Latent Beliefs in Multi-Agent Debate-Based LLMs for Monetary Policy Decision Classification
Osaka Metropolitan University（大阪市立大学）；Preferred Networks, Inc.
本文提出多智能体辩论式LLM框架，通过建模鹰派与鸽派隐含信念提升货币政策预测准确性，优于传统LLM基线。
2025-11-04 cs.AI cs.MA q-fin.CP
MAMPS: Safe Multi-Agent Reinforcement Learning via Model Predictive Shielding
University of Pennsylvania（宾夕法尼亚大学）
强化学习是一种很有前途的方法来学习控制策略，以执行复杂的多智能体机器人任务。然而，在模拟中学习的策略往往无法保证甚至简单的安全属性，例如避障。为了确保安全性，我们提出了多智能体模型预测屏蔽（MAMPS），这是一种可证明地保证任意学习策略安全的算法。特别是，它通过尽可能频繁地使用学习策略来操作，但是在不能保证学习策略的安全性的情况下使用备份策略。使用多代理仿真环境，我们展示了如何MAMPS可以实现良好的性能，同时确保安全。
2019-12-28 cs.AI cs.MA cs.RO
Adaptive Event-Triggered Policy Gradient for Multi-Agent Reinforcement Learning
University of Cincinnati（辛辛那提大学）
针对传统多智能体强化学习中固定时间触发导致的高计算与通信开销问题，提出联合学习控制与事件触发策略的ET-MAPG框架及注意力变体AET-MAPG，在保持性能的同时显著降低资源消耗。
2025-09-24 cs.AI cs.MA cs.SY
Adaptive Collaboration with Humans: Metacognitive Policy Optimization for Multi-Agent LLMs with Continual Learning
University of Southern California（南加州大学）
HILA框架通过元认知策略优化与持续学习，实现多智能体与人类的协同协作，提升复杂任务处理能力。
2026-03-09 cs.AI
Coordinated Proximal Policy Optimization
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；Northwestern Polytechnical University（西北工业大学）
我们提出了协调的近端策略优化（CoPPO），一种算法，扩展了原来的近端策略优化（PPO）的多代理设置。其核心思想在于多个代理之间的策略更新过程中的步长的协调适应。我们证明了政策改进的单调性时，优化理论接地的联合目标，并推导出一组近似的基础上简化的优化目标。然后我们解释说，CoPPO中的这样一个目标可以实现代理之间的动态信用分配，从而缓解代理策略并发更新期间的高方差问题。最后，我们证明了CoPPO优于几个强大的基线，并与最新的多智能体PPO方法（即MAPPO）在典型的多智能体设置，包括合作矩阵游戏和星际争霸II微观管理任务的竞争力。
2021-11-07 cs.AI
Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Coordination by Multi-Critic Policy Gradient Optimization
School of Informatics, University of Leicester（莱斯特大学信息学院）
针对多智能体强化学习在无人机协同中存在的误差反向传播困难、忽略协作的问题，提出含多价值估计网络与新型优势函数的多评判器策略优化架构，实现稳定训练与最优协同。
2020-12-31 cs.AI cs.LG cs.RO
Roundtable Policy: Confidence-Weighted-Consensus Aggregation Improves Multi-Agent-System Reasoning
mit（麻省理工学院）
圆桌政策通过多语言模型加权共识提升多智能体系统在复杂科学任务中的推理能力
2026-02-11 cs.AI
Consolidation via Policy Information Regularization in Deep RL for Multi-Agent Games
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research AI（IBM研究院人工智能实验室）
针对多智能体环境因其他智能体策略变化而产生的非平稳性，本文提出 Capacity-Limited MADDPG，通过信息论约束限制策略复杂度，提升合作与竞争任务中的学习性能。
2020-11-23 cs.AI
Model-Free Learning and Optimal Policy Design in Multi-Agent MDPs Under Probabilistic Agent Dropout
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
研究多智能体MDP在智能体退出下的策略计算，提出利用鲁棒MDP和策略重要性采样方法，在无模型环境中基于退出前系统采样估计退出后系统价值，从而在退出发生前找到最优策略。
2024-09-22 cs.AI cs.LG cs.SY
Cooperative Multi-Agent Policy Gradients with Sub-optimal Demonstration
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
许多现实任务，如机器人协调，可以很自然地建模为多智能体合作系统的回报是稀疏的。本文的重点是学习分散的政策，这些任务使用次优演示。为了有效地学习多智能体协作，解决演示的次优问题，提出了一种自改进学习方法：一方面，通过演示初始化集中式状态-动作值，并利用学习到的分散式策略更新集中式状态-动作值，以改善次优问题。另一方面，利用当前状态-动作值来寻找纳什均衡，并以此作为学习策略的指导。所提出的方法进行评估的战斗RTS游戏，需要一个高层次的多智能体合作。大量的实验结果表明，该方法可以有效地学习多智能体合作的各种作战场景。它明显优于许多最先进的基于演示的方法。
2021-08-19 cs.AI
Cooperative Multi-Agent Reinforcement Learning with Partial Observations
Duke University（杜克大学）
本文提出一种分布式零阶策略优化方法，用于部分观测下的合作多智能体强化学习，通过一点残差反馈降低梯度方差，提高样本效率并收敛至驻点邻域。
2023-06-16 cs.AI cs.LG math.OC
Multi-Agent Trust Region Policy Optimisation: A Joint Constraint Approach
针对多智能体强化学习中为智能体分配相同 KL 阈值导致更新慢且局部最优的问题，提出 HATRPO-W 和 HATRPO-G 两种 KL 阈值分配方法，显著提升了收敛速度和最终奖励，且最终性能提升均超过 22.5%。
2025-08-14 cs.AI
A Deep Policy Inference Q-Network for Multi-Agent Systems
National Tsing Hua University（国立清华大学）
我们提出了DPIQN，一个深度的政策推理Q-网络，目标是由可控代理，合作者和对手相互作用的多智能体系统。我们专注于这样的系统中的一个具有挑战性的问题-用不同的策略建模代理-并建议采用从原始观察中学习的“策略特征”（例如，原始图像）的合作者和对手通过推断他们的政策。DPIQN将学习到的策略特征作为隐藏向量合并到其自己的深度Q网络（DQN）中，使得它能够为可控代理预测比最先进的深度强化学习模型更好的Q值。我们进一步提出了一个增强版本的DPIQN，称为深度递归策略推理Q网络（DRPIQN），用于处理部分可观测性。DPIQN和DRPIQN都是通过自适应训练过程进行训练的，该过程在训练过程的不同阶段调整网络的注意力以学习策略特征及其自身的Q值。我们提出了一个全面的分析DPIQN和DRPIQN，并强调其有效性和普遍性，在各种多智能体设置。我们的模型进行了评估，在一个经典的足球比赛，涉及竞争和合作的情况。在1对1和2对2游戏上进行的实验结果表明，DPIQN和DRPIQN表现出优于基线DQN和深度递归Q网络（DRQN）模型的性能。我们还探讨了合作者或对手动态改变他们的政策的情况下，DPIQN和DRPIQN确实导致更好的整体性能的稳定性和平均得分。
2018-04-09 cs.AI
