A Policy Gradient Algorithm for Learning to Learn in Multiagent Reinforcement Learning
MIT-LIDS（麻省理工学院信息与决策系统实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM-Research（IBM研究院）
多智能体强化学习的一个基本挑战是在与其他同时学习的智能体共享的环境中学习有益的行为。特别是，每个代理感知的环境，有效地非静止的，由于其他代理的政策的变化。此外，每个智能体本身都在不断学习，导致遇到的经验分布具有自然的非平稳性。在本文中，我们提出了一种新的元多智能体策略梯度定理，直接占多智能体学习设置所固有的非平稳的政策动态。这是通过对我们的梯度更新进行建模来实现的，以考虑代理自己的非平稳政策动态和环境中其他代理的非平稳政策动态。我们表明，我们的理论接地的方法提供了一个通用的解决方案，多智能体学习问题，这固有地包括所有的关键方面，以前的国家的最先进的方法在这个问题上。我们测试我们的方法在一套不同的多智能体基准，并展示了更有效的能力，以适应新的代理，因为他们学习比基准方法在整个频谱的混合激励，竞争和合作领域。
2021-06-11 cs.AI cs.LG cs.MA
An Optimal Rewiring Strategy for Reinforcement Social Learning in Cooperative Multiagent Systems
Tianjin University（天津大学）；Centrum Wiskunde & Informatica（数学与信息中心）
协作多智能体系统中的多智能体协调问题在固定智能体重复交互和静态社会学习框架下得到了广泛的研究。然而，两个方面的动态在现实世界中的多智能体的情况下，目前缺少在现有的作品。首先，网络拓扑可以是动态的，其中代理可以在交互过程中通过重新布线来改变它们的连接。第二，每对代理之间的博弈矩阵可能不是静态的，通常不被认为是先验的。网络的动态性和博弈的不确定性增加了Agent之间的协调难度。在本文中，我们考虑一个多智能体动态社会学习环境中，每个代理可以选择重新布线潜在的合作伙伴，并在每一轮随机选择的邻居进行交互。我们提出了一个最佳的重新布线策略，代理选择最有益的同行进行交互的目的是最大限度地提高重复交互的累积收益。通过与基准策略的比较，我们实证证明了我们方法的有效性和鲁棒性。三个有代表性的学习策略的表现，在我们的社会学习框架与我们的最佳重新布线进行了调查。
2018-05-13 cs.AI cs.LG cs.MA
Scaling Up Multiagent Reinforcement Learning for Robotic Systems: Learn an Adaptive Sparse Communication Graph
Massachusetts Institute of Technology（麻省理工学院）
多智能体系统中多智能体强化学习（MARL）的复杂性随着智能体数量的增加呈指数增长。这种可扩展性问题阻碍了MARL在大规模多智能体系统中的应用。然而，MARL中一个经常被忽视的关键特性是代理之间的交互非常稀疏。在不利用这种稀疏结构的情况下，现有的作品聚合来自所有代理的信息，因此具有很高的样本复杂度。为了解决这个问题，我们提出了一个自适应稀疏注意力机制通过推广稀疏诱导激活函数。然后基于这种新的注意力机制，用图神经网络学习MARL中的稀疏通信图。通过这种稀疏性结构，代理可以通过只选择性地关注最重要的代理来以有效和高效的方式进行通信，从而减少了MARL问题的规模，并且几乎没有最优性妥协。比较结果表明，我们的算法可以学习到一个可解释的稀疏结构，并优于以前的作品，涉及一个大规模的多智能体系统的应用程序的显着保证金。
2020-03-03 cs.LG cs.MA
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习算法（MARL）已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息，通过集中的批评，以稳定学习或通过沟通，以提高性能，但一般不看如何在代理之间共享信息，以解决在MARL的维数灾难。我们认为，多智能体问题可以分解成一个多任务的问题，每个代理探索状态空间的一个子集，而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法，用于通过蒸馏和值匹配来组合来自同质智能体的知识，其性能优于单独的策略蒸馏，并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning
DeepMind
为了实现通用智能，智能体必须学习如何在共享环境中与其他智能体交互：这是多智能体强化学习（MARL）的挑战。最简单的形式是独立强化学习（InRL），其中每个代理将其经验视为其（非静态）环境的一部分。在本文中，我们首先观察到使用InRL学习的策略在训练过程中可能过拟合其他代理的策略，在执行过程中无法充分概括。我们引入了一个新的度量，联合政策的相关性，量化这种影响。我们描述了一个算法，一般MARL，基于近似的最佳反应的混合使用深度强化学习产生的政策，和经验博弈论分析计算元策略的政策选择。该算法推广了以前的算法，如InRL，迭代最佳对策，双预言机和虚拟播放。然后，我们提出了一个可扩展的实现，减少了使用解耦元求解器的内存需求。最后，我们证明了所得到的政策的一般性，在两个部分可观察的设置：网格世界协调游戏和扑克。
2017-11-07 cs.AI cs.GT cs.LG
Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
协作需要代理在运行中调整他们的目标。人类与其他代理人协调目标的能力的基础是他们预测他人意图并积极更新自己计划的能力。我们提出了分层预测规划（HPP），一个基于基于模型的强化学习方法分散多智能体会合。从预先训练的单智能体点对点导航策略开始，并使用激光雷达等嘈杂的高维传感器输入，我们首先通过团队中所有智能体的自我监督运动预测来学习。接下来，HPP使用的预测模型，提出和评估导航子目标，完成会合任务，没有明确的代理之间的通信。我们在一系列看不见的环境中评估HPP，这些环境的复杂性和障碍物的数量都在增加。我们表明，HPP在具有挑战性的、不可见的环境中优于替代的强化学习、路径规划和基于启发式的基线。在现实世界中的实验表明，成功地转移的预测模型从SIM到现实世界中没有任何额外的微调。总而言之，HPP通过结合基于模型的RL和推理方法，使代理能够动态地调整计划，从而消除了多智能体系统中对集中式操作员的需求。
2020-11-09 cs.AI cs.LG cs.MA
Multiagent Cooperation and Competition with Deep Reinforcement Learning
University of Tartu（塔尔图大学）；ETH Zurich（苏黎世联邦理工学院）
多智能体系统出现在大多数社会、经济和政治环境中。在目前的工作中，我们将Google DeepMind提出的Deep Q-Learning Network架构扩展到多智能体环境，并研究由独立Deep Q-Networks控制的两个智能体如何在经典视频游戏Pong中进行交互。通过操纵Pong的经典奖励计划，我们展示了竞争和合作行为是如何出现的。有竞争力的代理人学习有效地比赛和得分。在协作奖励计划下训练的代理找到一个最佳策略，以尽可能长时间地保持球在游戏中。我们还描述了从竞争到合作行为的进展。目前的工作表明，深度Q网络可以成为研究生活在高度复杂环境中的多智能体系统的分散学习的实用工具。
2015-11-27 cs.AI cs.LG q-bio.NC
GridLearn: Multiagent Reinforcement Learning for Grid-Aware Building Energy Management
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
配电网中越来越多的分布式发电可以为整个网络的电压调节提供挑战和机遇。可以利用智能逆变器和其他智能建筑能源管理系统的智能控制来缓解这些问题。GridLearn是一个多智能体强化学习平台，它结合了建筑物能量模型和潮流模型，通过控制仪表背后的资源来实现电网级目标。这项研究展示了多智能体强化学习如何在追求网格级目标的同时保护建筑物所有者的隐私和舒适度。在CityLearn框架的基础上，该框架考虑了RL的建筑级目标，这项工作将框架扩展到网络设置，其中还考虑了网格级目标。作为一个案例研究，我们认为IEEE-33总线网络上的电压调节使用可控建筑负荷，储能，智能逆变器。结果表明，RL代理名义上减少欠压的情况下，并减少34%的过压的情况下。
2021-10-12 cs.AI cs.MA
Towards Cooperation in Sequential Prisoner's Dilemmas: a Deep Multiagent Reinforcement Learning Approach
Tianjin University（天津大学）；Washington State University（华盛顿州立大学）
几十年来，反复囚徒困境一直指导着社会困境的研究。然而，它只区分两种原子行为：合作和背叛。在现实世界的囚徒困境中，这些选择是暂时延长的，不同的策略可能对应于行动的顺序，反映了合作的等级。我们引入一个顺序囚徒困境（SPD）游戏，以更好地捕捉上述特点。在这项工作中，我们提出了一种深度多智能体强化学习方法，研究了SPD游戏中相互合作的演变。我们的方法包括两个阶段。第一阶段是离线的：它合成具有不同合作度的策略，然后训练合作度检测网络。第二阶段是在线的：一个代理自适应地选择其政策的基础上检测到的程度的对手合作。我们的方法的有效性证明在两个代表性的SPD 2D游戏：苹果梨游戏和水果采集游戏。实验结果表明，该策略可以避免被剥削对手利用，实现与合作对手的合作。
2018-03-01 cs.AI cs.GT cs.LG
Optimal Decision-Making in Mixed-Agent Partially Observable Stochastic Environments via Reinforcement Learning
在多智能体相互作用的随机环境中，有限信息或无信息的最优决策是人工智能领域中一个具有挑战性的课题。强化学习（RL）是一种通过预测刺激（如遵循策略的奖励）来获得最佳策略的流行方法。强化学习在单智能体环境中得到了大量的探索，但在多智能体问题中还是一个新生的概念。为此，我提出了几个原则性的无模型和部分基于基于模型的强化学习方法的多智能体设置。在规范的强化学习领域，我介绍了可扩展的扩展蒙特卡洛探索开始部分可观察马尔可夫决策过程（POMDP），被称为MCES-P，在那里我扩展的理论和算法的多智能体设置。我首先检查MCES-P与可能近似正确（PAC）的范围内的多智能体设置，显示MCESP+PAC持有在其他代理的存在。然后，我提出了一个更具样本效率的方法，对抗设置，MCESIP+PAC。对于协作设置，我将MCES-P扩展到Multiagent POMDP，称为MCESMP+PAC。然后，我将探索使用强化学习作为在现实和潜在模型环境中搜索最优值的方法。首先，我探讨了一个参数化的Q学习方法在建模人类学习的原因在一个不确定的，多智能体的环境。接下来，我提出了一个MCES-P的实现，以及图像分割，以创建一个自适应的团队为基础的强化学习技术，积极识别表型表达的水和病原体胁迫在农田中的存在。
2019-01-04 cs.AI cs.LG
Evolutionary Reinforcement Learning for Sample-Efficient Multiagent Coordination
Intel Labs（英特尔实验室）；University of California, Irvine（加州大学欧文分校）；Oregon State University（俄勒冈州立大学）
许多协作多智能体强化学习环境为智能体提供稀疏的基于团队的奖励，以及激励学习基本技能的密集的特定于智能体的奖励。由于其稀疏性，仅基于团队奖励的训练策略通常是困难的。此外，仅仅依赖于代理特定的奖励是次优的，因为它通常不能捕获团队协调目标。一种常见的方法是使用奖励塑造通过组合各个奖励来构造代理奖励。但是，这需要针对每个环境进行手动调优。我们引入了多智能体进化强化学习（MERL），这是一个分层训练平台，通过两个优化过程分别处理这两个目标。进化算法通过对团队群体的神经进化来最大化稀疏的基于团队的目标。同时，一个基于梯度的优化器训练策略，只最大化密集的特定于代理的奖励。基于梯度的策略被周期性地添加到进化种群中，作为两个优化过程之间的信息传递的一种方式。这使得进化算法能够使用通过代理特定奖励学习的技能来优化全局目标。结果表明，MERL显着优于国家的最先进的方法，如MADDPG，在一些困难的协调基准。
2020-06-11 cs.AI cs.LG cs.MA
Active Legibility in Multiagent Reinforcement Learning
School of Automation, Central South University（中南大学自动化学院）；National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University（深圳大学大数据系统计算技术国家工程实验室）；Northumbria University（诺森比亚大学）；School of Computer Science, Minnan Normal University（闽南师范大学计算机学院）；University of Georgia（佐治亚大学）
针对多智能体协作中的意图理解问题，本文提出主动可理解性框架，使智能体通过可理解动作帮助彼此优化行为，并在定制问题域中验证其效率与训练时间优势。
2024-10-28 cs.AI
Population-based Evaluation in Repeated Rock-Paper-Scissors as a Benchmark for Multiagent Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Sony AI（索尼人工智能）；University of Alberta（阿尔伯塔大学）；University of Michigan（密歇根大学）
本文提出以重复石头剪刀布和43个参赛程序种群评估多智能体学习，结合平均回报与可利用度，揭示主流RL等方法仍难胜顶级机器人。
2023-10-31 cs.AI cs.GT cs.LG
Game-Theoretic Multiagent Reinforcement Learning
本文献提供了一部关于多智能体强化学习（MARL）的专著，从博弈论视角系统涵盖了基础知识与研究前沿的最新进展，旨在为该领域的新手和专家提供自包含的当前最先进技术评估。
2025-08-13 cs.AI cs.MA
Multiagent Rollout Algorithms and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为有限和无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。我们介绍了一种方法，即在每个阶段，每个代理的决定是通过执行一个本地的推出算法，使用一个基本的政策，以及一些协调信息从其他代理。每个代理在每个阶段所需的本地计算量与代理的数量无关，而总计算量（在所有代理上）随代理的数量线性增长。相比之下，使用标准的rollout算法，总计算量随着代理的数量呈指数增长。尽管在所需的计算大幅减少，我们表明，我们的算法具有基本的成本改善性能的推出：一个改进的性能相对于基本政策。我们还讨论了通过有限的代理协调和代理计算的并行化进一步提高方法的计算效率的可能性。最后，我们探讨了相关的近似策略迭代算法的无限地平线问题，我们证明了成本改善属性转向算法收敛到代理的代理最优策略。
2020-04-13 cs.AI cs.LG cs.MA
Resource Abstraction for Reinforcement Learning in Multiagent Congestion Problems
University College London（伦敦大学学院）；University of York（约克大学）
现实世界的拥堵问题（例如交通拥堵）通常非常复杂且规模庞大。多智能体强化学习（MARL）是一个很有前途的候选人，通过提供一个自治和分布式解决这些问题的处理这一新兴的复杂性。然而，有三个限制因素，影响部署的MARL方法的拥塞问题。这些是学习时间，可扩展性和分散的协调，即学习代理之间没有通信。在本文中，我们介绍了资源抽象，解决这些挑战的方法，分配到抽象组的可用资源。这种抽象创建了新的奖励函数，为学习代理提供更多信息信号，并帮助它们之间的协调。实验工作进行了两个基准域从文献中，一个抽象的拥塞问题和一个现实的交通拥堵问题。目前解决多智能体拥塞问题的最先进技术是一种称为差异奖励的奖励塑造形式。我们表明，使用资源抽象的系统显着提高了学习速度和可扩展性，并实现了最高可能或接近最高的联合性能/社会福利的拥塞问题在大规模的场景中，涉及多达1000个强化学习代理。
2019-03-13 cs.LG cs.MA
Multiagent Reinforcement Learning with an Attention Mechanism for Improving Energy Efficiency in LoRa Networks
Sun Yat-sen University（中山大学）；Nanyang Technological University（南洋理工大学）
本文针对LoRa网络规模增大导致能效下降的问题，提出基于多智能体强化学习与注意力机制的传输参数分配算法MALoRa，以最大化系统能效，仿真验证其在可接受的数据包投递率损失下显著优于基线算法。
2023-09-16 cs.AI cs.LG cs.MA
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay（巴黎萨克雷大学）；Ubisoft（育碧）；University of Granada（格拉纳达大学）
虽然可解释人工智能（XAI）正在不断扩展更多的应用领域，但很少有人应用于使深度强化学习（RL）更容易理解。随着RL变得无处不在，并用于关键和一般公共应用，开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略，在多智能体RL使用Shapley值，博弈论的概念，在XAI，成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设，本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销，Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明，Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响，（例如，非歧视性决策，道德和负责任的人工智能衍生决策或公平约束下的政策制定）。它们还揭示了Shapley值如何仅给出关于模型的一般解释，而不能解释单个运行、事件，也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Towards Safe Control of Continuum Manipulator Using Shielded Multiagent Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
Continuum机器人操作器越来越多地用于微创手术。然而，它们的非线性行为是具有挑战性的准确建模，特别是当受到外部相互作用，可能导致控制性能差。在这封信中，我们调查的可行性，采用无模型的多智能体强化学习（RL），即多智能体深度Q网络（MADQN），控制2自由度（DoF）电缆驱动的连续手术机械手。在MADQN框架中，机器人的控制被公式化为一个自由度，一个代理问题，以提高学习效率。结合屏蔽方案，使动态变化的动作集边界，MADQN导致有效的和重要的是更安全的控制机器人。屏蔽MADQN使机器人能够在外部负载，软障碍物和刚性碰撞下执行具有亚毫米均方根误差的点和轨迹跟踪，这些都是手术机械手遇到的常见交互场景。该控制器在具有高结构非线性的小型连续体机器人中得到了有效的应用，在外部载荷作用下实现了亚毫米级精度的轨迹跟踪。
2021-06-15 cs.AI cs.MA cs.RO
Exploration in Deep Reinforcement Learning: From Single-Agent to Multiagent Domain
Tianjin University（天津大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Harbin Institute of Technology（哈尔滨工业大学）；Northwestern Polytechnical University（西北工业大学）
深度强化学习（DRL）和深度多智能体强化学习（MARL）在游戏人工智能、自动驾驶汽车、机器人等广泛领域取得了重大成功。然而，DRL和深度MARL智能体被广泛认为是样本效率低下的，即使是相对简单的问题设置也通常需要数百万次交互，从而阻碍了在实际工业场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的勘探问题，即，如何有效地探索环境和收集有益于策略学习的有益经验，以实现最佳政策。这个问题在具有稀疏奖励、嘈杂干扰、长视野和非静止协同学习者的复杂环境中变得更具挑战性。在本文中，我们进行了全面调查现有的探索方法，单智能体和多智能体RL。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支，我们还包括其他具有不同思想和技术的显着勘探方法。除了算法分析，我们提供了一个全面和统一的经验比较不同的勘探方法DRL的一组常用的基准。最后，根据我们的算法和实证研究，总结了DRL和深层MARL研究中存在的问题，并指出了未来的发展方向。
2023-02-02 cs.AI cs.LG cs.MA
Demand Responsive Dynamic Pricing Framework for Prosumer Dominated Microgrids using Multiagent Reinforcement Learning
需求响应（DR）在提高电网稳定性和可靠性，同时减少客户能源账单方面具有广泛的潜力。然而，传统的DR技术有几个缺点，如无法处理操作的不确定性和招致客户的负效用，阻碍了他们在现实世界中的应用广泛采用。本文提出了一种新的多智能体强化学习（RL）为基础的决策环境，实现实时定价（RTP）DR技术在一个以产消为主的微电网。该技术解决了传统DR方法的几个共同缺点，并为电网运营商和生产者提供了显着的经济效益。为了显示其更好的效果，所提出的DR方法相比，在一个小规模的微电网系统的基线传统的操作场景。最后，对该微电网中产消者储能容量使用的调查突出了所提出的方法在建立平衡的市场设置方面的优势。
2020-09-23 cs.LG cs.MA cs.SY
Multiagent Reinforcement Learning with Neighbor Action Estimation
School of Engineering, University of Newcastle（新castle大学工程学院）；School of Automation, Central South University（中南大学自动化学院）
本文提出基于邻居动作估计的多智能体强化学习框架，通过轻量级模块实现无需显式动作共享的协作策略学习，提升现实机器人系统的鲁棒性和部署可行性。
2026-01-08 cs.LG cs.RO
ROMAX: Certifiably Robust Deep Multiagent Reinforcement Learning via Convex Relaxation
在多机器人系统中，许多网络物理攻击（例如，通信劫持、观察扰动）可以挑战代理的鲁棒性。这种鲁棒性问题在多智能体强化学习中存在，因为存在由同时学习的智能体引起的环境的非平稳性，其改变的策略影响过渡和奖励函数。在本文中，我们提出了一个极大极小MARL方法来推断其他代理的最坏情况下的政策更新。由于极大极小化公式在计算上难以求解，我们应用神经网络的凸松弛来解决内部极小化问题。这样的凸松弛使鲁棒性与对等代理，可能有显着不同的行为，也实现了原始优化问题的认证边界进行交互。我们评估了我们在多个混合合作竞争任务上的方法，并表明我们的方法优于之前在该主题上的最新方法。
2021-09-14 cs.LG
Multiagent Inverse Reinforcement Learning via Theory of Mind Reasoning
University of Michigan（密歇根大学）；SRI International（SRI国际）；University of Southern California（南加州大学）
针对协作场景下队友目标未知的多智能体行为理解问题，提出基于心智理论的多智能体逆强化学习方法MIRL-ToM，可有效还原智能体与已知/未知队友互动时的奖励函数。
2023-03-01 cs.AI cs.LG cs.MA
Individual specialization in multi-task environments with multiagent reinforcement learners
University Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高级研究中心）
多智能体强化学习（MARL）作为构建通用智能体的第一步，在其他智能体存在的非平稳复杂环境中学习做出低级和高级决策，受到越来越多的关注。以前的结果指出，我们对协调，效率/公平，和共同池资源共享的条件增加。我们进一步研究协调在多任务环境中，可以执行几个奖励任务，因此代理不一定需要在所有任务中表现良好，但在某些条件下可能会专门。从这项研究中得出的一个观察是，基于值的强化学习方法的贪婪探索对于多智能体独立学习器是不够的，因为控制选择随机动作的概率的参数控制人工智能体，并迫使它们同时具有确定性策略。通过使用具有独立熵正则化探索更新的基于策略的方法，我们实现了更好和更平滑的收敛。另一个需要进一步调查的结果是，随着代理人数量的增加，专业化倾向于更有可能。
2019-12-29 cs.AI cs.MA
Safe Multiagent Coordination via Entropic Exploration
针对安全多智能体学习中探索受限及缺乏团队约束研究的问题，提出熵探索（E2C）方法，通过观测熵最大化激励探索，实验显示其在任务性能上优于基线且能减少50%不安全行为。
2025-08-26 cs.AI cs.MA cs.RO
Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind（深度思考公司）
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中，我们研究的作用，这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则，并将它们与后悔最小化和多智能体学习技术的基础，一杆和表格的情况下，导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题（零和不完美信息游戏），使用RL风格的函数逼近。我们评估常用的基准扑克域，显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏，没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
Interpreting Primal-Dual Algorithms for Constrained Multiagent Reinforcement Learning
University of Washington（华盛顿大学）；National Renewable Energy Laboratory（国家可再生能源实验室）
本文分析 C-MARL 中原始-对偶惩罚项的结构，改进惩罚以支持机会约束与 CVaR 约束，并提出 C-MAA2C，提升安全联合策略的价值估计与收敛速度。
2023-04-26 cs.LG cs.MA cs.SY
ReMIX: Regret Minimization for Monotonic Value Function Factorization in Multiagent Reinforcement Learning
The George Washington University（乔治华盛顿大学）
在集中训练、分散执行的模式下，价值函数分解方法已成为协作多智能体强化学习的主要方法。通过使用代理效用的单调混合函数分解最优联合行动价值函数，这些算法确保了分散决策中联合行动和局部行动选择之间的一致性。然而，单调混合函数的使用也会导致代表性的限制。寻找无限制混合函数在单调函数类上的最优投影仍然是一个公开的问题。为此，我们提出了ReMIX，制定这个最佳的投影问题的价值函数因式分解作为一个遗憾最小化的投影权重不同的状态动作值。这样的优化问题可以放松和解决使用拉格朗日乘子法，以获得封闭形式的最优投影权重。通过最小化由此产生的政策遗憾，我们可以缩小最优和限制单调混合函数之间的差距，从而得到一个改进的单调价值函数分解。在Predator-Prey和StarCraft Multiagent Challenge环境下的实验结果表明了该方法的有效性，表明该方法具有更好的处理非单调价值函数环境的能力.
2023-02-11 cs.LG
An Efficient Application of Neuroevolution for Competitive Multiagent Learning
Vellore Institute of Technology（韦洛尔理工学院）
多智能体系统为使用强化学习算法评估和分析现实世界的问题提供了一个理想的环境。大多数传统的多智能体学习方法都受到长训练周期和高计算复杂性的影响。NEAT（NeuroEvolution of Augmenting Topologies）是一种流行的进化策略，用于获得最佳性能的神经网络架构，通常用于解决人工智能领域的优化问题。本文利用NEAT算法实现竞争性多智能体学习的修改乒乓游戏环境中的有效方式。竞争主体遵守不同的规则，但具有相似的观测空间参数。该算法利用环境的这一属性来定义一个奇异的神经进化过程，获得所有代理的最优策略。编译的结果表明，所提出的实现在一个非常短的训练期内达到理想的行为相比，现有的多智能体强化学习模型。
2021-05-23 cs.AI cs.MA cs.NE
Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning
针对离线多智能体博弈学习问题，提出COffeE-PSRO方法，通过量化博弈动态不确定性并修改强化学习目标，偏向于在真实博弈中具有低遗憾的解，实验证明其优于现有离线方法。
2026-06-29 cs.AI cs.MA
Massively Multiagent Minigames for Training Generalist Agents
本文提出Meta MMO基准，通过多个计算高效的迷你游戏扩展Neural MMO，并研究用单一权重集在多个迷你游戏上的泛化能力，以促进多智能体通用智能体的训练与评估。
2024-06-07 cs.AI cs.LG cs.MA
Multiagent Value Iteration Algorithms in Dynamic Programming and Reinforcement Learning
MIT（麻省理工学院）；ASU（亚利桑那州立大学）
我们认为无限的地平线动态规划问题，在每个阶段的控制由几个不同的决定，每一个由几个代理之一。在早期的工作中，我们介绍了一个政策迭代算法，其中的政策改进是一个代理在给定的时间顺序，知识的选择，在前面的代理的顺序。因此，每个策略改进的计算量随着代理的数量线性增长，而不是标准的所有代理一次方法的指数增长。对于有限状态贴现问题的情况下，我们证明了收敛到代理的代理最优策略。在本文中，这一结果被扩展到值迭代和乐观版本的政策迭代，以及更一般的DP问题的Bellman算子是一个压缩映射，如随机最短路问题与所有的政策是适当的。
2020-05-04 cs.AI cs.LG cs.MA
A Policy Resonance Approach to Solve the Problem of Responsibility Diffusion in Multiagent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CETC Information Science Academy（中国电子科技集团公司信息科学研究院）
本文提出策略共振方法，通过重构联合策略而保持个体策略近似不变，解决多智能体强化学习中因继承单智能体探索-利用策略而导致的责任扩散问题，并在多个基准任务中验证其提升协作性能的有效性。
2023-12-05 cs.AI
Cooperative Search and Track of Rogue Drones using Multiagent Reinforcement Learning
University of Cyprus（塞浦路斯大学）；KIOS Research and Innovation Center of Excellence (KIOS CoE)（KIOS卓越研究与创新中心）
本研究提出一种多智能体强化学习方法，用于协调追踪者无人机在敏感设施上空搜索、检测并追踪多个恶意无人机，以最大化检测追踪数量，并通过模拟实验验证了性能与可扩展性。
2025-01-07 cs.AI cs.MA cs.RO
Scalable Planning and Learning for Multiagent POMDPs: Extended Version
MIT（麻省理工学院）；University of Amsterdam（阿姆斯特丹大学）；University of Liverpool（利物浦大学）
在线，基于样本的POMDPs规划算法在扩展到大状态空间的问题中表现出了很大的希望，但它们对于大的动作和观察空间变得难以处理。这在多智能体POMDP中尤其成问题，其中动作和观察空间随着智能体的数量呈指数级增长。为了解决这个棘手的问题，我们提出了一种新的可扩展的方法，基于样本的规划和因子化的价值函数，利用结构存在于许多多智能体设置。这种方法不仅适用于规划的情况下，但也在贝叶斯强化学习设置。实验结果表明，我们能够提供高质量的解决方案，大型多智能体规划和学习问题。
2014-12-20 cs.AI cs.LG
Adversarial Search and Tracking with Multiagent Reinforcement Learning in Sparsely Observable Environment
Institute of Robotics and Intelligent Machines (IRIM), Georgia Institute of Technology（佐治亚理工学院机器人与智能机器研究所（IRIM））
针对稀疏可观测环境中对抗性逃避智能体的搜索与跟踪难题，提出结合可学习过滤模型估计对手位置的多智能体强化学习（MARL）框架，使探测率提升46%并超越所有基线方法。
2023-10-21 cs.AI cs.LG cs.RO
Learning Heterogeneous Agent Cooperation via Multiagent League Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出异构联盟训练算法 HLT，通过维护异构策略池和引入超网络增强行为多样性，以解决异构多智能体强化学习中的非平稳与策略版本迭代问题，并在基准任务上验证其提升协作成功率及评估角色学习难度的有效性。
2023-05-28 cs.AI cs.LG
Convergence of Multiagent Learning Systems for Traffic control
Amazon Alexa（亚马逊Alexa）；Indian Institute of Science（印度科学研究院）
本文研究了多智能体强化学习在交通信号控制中的收敛性问题，通过随机逼近方法分析学习动态，并证明了在特定条件下该算法能够收敛。
2026-05-18 cs.AI cs.LG cs.MA
Peer-to-Peer Energy Trading of Solar and Energy Storage: A Networked Multiagent Reinforcement Learning Approach
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对P2P能源交易中主体缺乏交易 expertise、可再生能源零边际成本定价难的问题，提出结合供需比P2P出清机制的多智能体强化学习框架，实现光伏与储能资源自动化管理，还可整合网络约束实现电压控制，保障交易物理可行性以推动落地。
2024-10-09 cs.LG cs.MA cs.SY
SA-IGA: A Multiagent Reinforcement Learning Method Towards Socially Optimal Outcomes
School of Computer and Information Science, the Southwest University（西南大学计算机与信息科学学院）；University of Liverpool（利物浦大学）；School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院）；School of Computer Software, Tianjin University（天津大学计算机软件学院）
在多智能体环境中，学习能力对于智能体在未知对手和动态环境中的正确行为至关重要。从系统设计者的角度来看，如果代理人能够学会协调社会最优结果，同时避免被自私的对手利用，这是可取的。为此，我们提出了一种新的梯度上升算法（SA-IGA），它增强了基本的梯度上升算法，将社会意识的政策更新过程。我们从理论上分析了SA-IGA的学习动力学，使用动力系统理论和SA-IGA具有线性动力学的广泛的游戏，包括对称游戏。详细分析了两种典型博弈（囚徒困境博弈和协调博弈）的学习动力学。在SA-IGA思想的基础上，进一步提出了一种基于Q-学习更新规则的实用多智能体学习算法SA-PGA。仿真结果表明，SA-PGA智能体可以实现更高的社会福利比以前的社会最优导向的条件联合行动学习器（CJAL），也是强大的对个体理性的对手，通过达到纳什均衡的解决方案。
2018-03-08 cs.AI
Scalable Multiagent Reinforcement Learning with Collective Influence Estimation
School of Engineering, The University of Newcastle（工程学院）；School of Automation, Central South University（自动化学院）
本文提出了一种可扩展的多智能体强化学习框架，通过集体影响估计网络实现高效协作，避免网络扩展并提升鲁棒性和部署可行性。
2026-01-13 cs.LG
Neural MMO v1.3: A Massively Multiagent Game Environment for Training and Evaluating Neural Networks
Massachusetts Institute of Technology（麻省理工学院）；Google Brain（谷歌大脑）
多智能体智能研究的进展从根本上受到可供研究的环境的数量和质量的限制。近年来，模拟游戏已成为强化学习中的主要研究平台，部分原因是其可访问性和可解释性。之前的作品已经在街机，第一人称射击（FPS），实时战略（RTS）和大型在线战斗竞技场（MOBA）游戏上取得了成功。我们的工作考虑了大型多人在线角色扮演游戏（MMORPG或MMO），它捕捉了现实世界学习的几个复杂性，这些复杂性没有被任何其他游戏类型很好地建模。我们提出神经MMO，一个大规模的多智能体游戏环境的启发MMO和讨论我们的进展，在人工智能研究的多智能体系统工程的两个更一般的挑战：分布式基础设施和游戏IO。我们进一步证明，标准的策略梯度方法和简单的基线模型可以学习有趣的紧急探索和专业化的行为，在这种情况下。
2020-04-17 cs.AI cs.LG cs.MA
Scalable Traffic Signal Controls using Fog-Cloud Based Multiagent Reinforcement Learning
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
优化交叉口的交通信号控制（TSC）仍然是一个具有挑战性的问题，特别是对于大规模的交通网络。过去的研究表明，优化单个TSC系统或少量此类系统的操作是可行的。然而，在计算上很难将这些解决方案扩展到大型网络，部分原因是随着交叉点数量的增加而遇到的维数灾难。幸运的是，最近的研究已经认识到利用深度和强化学习的进步来解决这个问题的潜力，并且在这方面已经取得了一些初步的成功。然而，促进这种智能解决方案方法可能需要大量的基础设施投资，如路边单元（RSU）和无人机，以确保大型网络中所有交叉路口的彻底连接，这对机构来说可能是一项繁重的投资。因此，这项研究建立在最近的工作，提出了一个可扩展的TSC模型，可以减少所需的使能基础设施的数量。这是使用图形注意力网络（GAT）作为深度强化学习的神经网络来实现的，这有助于维护交通网络的图形拓扑，同时忽略任何不相关或不必要的信息。最后通过一个实例验证了该模型的有效性，结果表明该模型具有良好的应用前景。整体研究结果表明，通过使用雾节点分解大型网络，所提出的基于雾的图形RL（FG-RL）模型可以很容易地应用于扩展到更大的交通网络。
2021-10-11 cs.AI cs.LG
Approximate Multiagent Reinforcement Learning for On-Demand Urban Mobility Problem on a Large Map (extended version)
Harvard University（哈佛大学）；Arizona State University（亚利桑那州立大学）
针对大地图多智能体出租车调度的计算瓶颈，提出按需求与资源分区、跨区 IA 再平衡并并行 rollout 的两阶段算法，证明稳定性条件并以更低耗时达到全图逐一 rollout 的性能。
2025-02-18 cs.AI cs.MA cs.RO
Graph Neural Networks, Deep Reinforcement Learning and Probabilistic Topic Modeling for Strategic Multiagent Settings
School of Electrical
本文综述了图神经网络、深度强化学习和概率主题建模在战略多智能体设置中的应用与挑战，探讨了处理不确定性和异质性等关键问题。
2026-01-22 cs.AI
Multi Type Mean Field Reinforcement Learning
University of Waterloo（滑铁卢大学）；Borealis AI
平均场理论提供了一种有效的方法来扩展多智能体强化学习算法的环境与许多代理，可以抽象的虚拟平均代理。在本文中，我们将平均场多智能体算法扩展到多种类型。这些类型可以放松平均场强化学习中的一个核心假设，即环境中的所有智能体都在使用几乎相似的策略，并且具有相同的目标。我们进行了三个不同的测试平台上的许多代理强化学习领域的实验，基于标准的MATRIX框架。我们考虑两种不同类型的平均场环境：a）代理属于先验已知的预定义类型的游戏和b）每个代理的类型未知的游戏，因此必须根据观察来学习。我们为每种类型的游戏引入新的算法，并证明其优越的性能超过最先进的算法，假设所有代理属于同一类型和其他基线算法的MAgent框架。
2022-06-21 cs.AI cs.LG cs.MA
A Multiagent Reinforcement Learning Algorithm with Non-linear Dynamics
The British University in Dubai（迪拜英国大学）；University of Edinburgh（爱丁堡大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
多智能体强化学习（MARL）算法已经被提出来优化代理决策。由于问题的复杂性，大多数以前开发的MARL算法假设代理人对底层游戏（如纳什均衡）有一定的了解和/或观察其他代理人的行为和他们收到的奖励。我们引入了一个新的MARL算法称为加权策略学习器（WPL），它允许代理达到一个纳什均衡（NE）在基准2-球员2-动作游戏的最小知识。使用WPL，代理需要的唯一反馈是它自己的本地奖励（代理不观察其他代理的动作或奖励）。此外，WPL并不假设代理人知道潜在的游戏或相应的纳什均衡先验。我们的实验表明，我们的算法收敛于基准两个玩家两个动作的游戏。我们还表明，我们的算法收敛在具有挑战性的Shapleys游戏，以前的MARL算法未能收敛，不知道底层的游戏或NE。此外，我们表明，WPL优于国家的最先进的算法，在一个更现实的设置100代理互动和学习的同时。理解MARL算法行为的一个重要方面是分析算法的动态：多个学习代理的策略如何随着代理之间的交互而随时间演变。这样的分析不仅验证了使用给定MARL算法的代理是否最终会收敛，而且还揭示了MARL算法在收敛之前的行为。我们分析了我们的算法在两个球员，两个动作的游戏，并表明，象征性地证明WPLs收敛是困难的，因为WPLs动态的非线性性质，不像以前的MARL算法，无论是线性或分段线性动态。相反，我们数值求解WPLs动力学微分方程，并比较以前的MARL算法的动态的解决方案…
2014-01-15 cs.LG cs.MA
Multiagent Soft Q-Learning
Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）；George Mason University（乔治梅森大学）
策略梯度方法常被应用于连续多智能体博弈中的强化学习。这些方法在联合动作空间中执行局部搜索，正如我们所展示的，它们符合被称为相对过度泛化的博弈论病理学。为了解决这个问题，我们提出了多智能体软Q学习，它可以被看作是模拟应用Q学习连续控制。我们比较我们的方法MADDPG，一个国家的最先进的方法，并表明，我们的方法实现了更好的协调多智能体合作任务，收敛到更好的局部最优的联合行动空间。
2018-04-25 cs.AI
Hiding in Plain Sight: Differential Privacy Noise Exploitation for Evasion-resilient Localized Poisoning Attacks in Multiagent Reinforcement Learning
University of Nevada, Reno（内华达大学里诺分校）
本文针对协作式多智能体强化学习中的差分隐私机制，提出利用 DP 噪声绕过异常检测的局部投毒攻击 PeLPA，并通过多环境实验验证其对收敛、步数和计算开销的显著破坏。
2023-07-13 cs.CR cs.LG cs.MA
Learning Policy Representations in Multiagent Systems
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；OpenAI
智能体行为建模是理解多智能体系统中复杂现象出现的核心。在代理建模之前的工作在很大程度上是特定于任务的，并由手工工程领域特定的先验知识驱动。我们提出了一个通用的学习框架，用于在任何多智能体系统中仅使用少量交互数据来建模智能体行为。我们的框架铸造代理建模作为一个表示学习的问题。因此，我们构造了一个新的目标的启发模仿学习和代理识别和代理策略的表示的无监督学习设计的算法。我们实证证明了所提出的框架在（i）具有挑战性的高维竞争环境中的效用，用于连续控制和（ii）用于通信的合作环境，监督预测任务，无监督聚类和使用深度强化学习的策略优化。
2018-07-31 cs.AI cs.LG cs.MA
Asynchronous MultiAgent Reinforcement Learning for 5G Routing under Side Constraints
Concordia University（康科德大学）
本文提出异步多智能体强化学习框架，用于解决5G路由下的侧约束问题，通过并行规划和资源协调实现高效且鲁棒的路由决策。
2026-01-18 cs.DC cs.LG cs.MA
Agent Modeling as Auxiliary Task for Deep Reinforcement Learning
Borealis AI
在本文中，我们探讨了深度强化学习中的Actor-Critic方法，特别是异步优势Actor-Critic（A3 C），可以通过代理建模进行扩展。受最近关于表示学习和多智能体深度强化学习的工作的启发，我们提出了两种架构来执行代理建模：第一种基于参数共享，第二种基于代理策略特征。这两种架构都旨在学习其他代理的策略作为辅助任务，除了标准的演员（策略）和评论家（价值观）。我们在合作和竞争领域进行了实验。前者是一个协调的多智能体对象运输的问题，后者是一个两个玩家的迷你版本的Pommerman游戏。我们的研究结果表明，所提出的架构稳定的学习，并优于标准的A3 C架构时，学习的最佳响应的预期回报。
2019-07-22 cs.LG cs.MA
Transformer Guided Coevolution: Improved Team Selection in Multiagent Adversarial Team Games
Carnegie Mellon University（卡内基梅隆大学）；Naval Research Laboratory（海军研究实验室）
本文提出BERTeam算法，结合基于transformer的掩码语言模型与协同进化深度强化学习，解决多智能体对抗团队博弈中的团队选择问题，实验证明其能学习到优于MCAA的团队组合。
2025-01-29 cs.AI cs.MA cs.NE
