A Unified Game-Theoretic Approach to Multiagent Reinforcement Learning
DeepMind
为了实现通用智能，智能体必须学习如何在共享环境中与其他智能体交互：这是多智能体强化学习（MARL）的挑战。最简单的形式是独立强化学习（InRL），其中每个代理将其经验视为其（非静态）环境的一部分。在本文中，我们首先观察到使用InRL学习的策略在训练过程中可能过拟合其他代理的策略，在执行过程中无法充分概括。我们引入了一个新的度量，联合政策的相关性，量化这种影响。我们描述了一个算法，一般MARL，基于近似的最佳反应的混合使用深度强化学习产生的政策，和经验博弈论分析计算元策略的政策选择。该算法推广了以前的算法，如InRL，迭代最佳对策，双预言机和虚拟播放。然后，我们提出了一个可扩展的实现，减少了使用解耦元求解器的内存需求。最后，我们证明了所得到的政策的一般性，在两个部分可观察的设置：网格世界协调游戏和扑克。
2017-11-07 cs.AI cs.GT cs.LG
Adapting the Predator-Prey Game Theoretic Environment to Army Tactical Edge Scenarios with Computational Multiagent Systems
博弈论的捕食者-猎物追踪问题的历史起源可以追溯到Benda等人，1985年[1]。他们的工作将捕食者-猎物生态学问题转化为追逐环境，该环境专注于捕食者代理之间的合作行为动力学。对捕食者-被捕食者生态学问题[2]的修改已经被实施，以了解捕食者[3]和被捕食者[3-5]属性的变化，包括通信[6]，可以修改该环境中出现的实体之间的动态相互作用[7-9]。此外，捕食者-猎物追逐环境已经成为计算多智能体系统模拟实验的试验平台[10-12]。本文扩展了以前工作的理论贡献，提供1）额外的变化，捕食者和猎物属性的模拟多智能体系统的追求问题，和2）军事相关的捕食者-猎物环境模拟高度动态的，战术边缘的情况下，士兵可能会遇到未来的战场。通过这种利用计算多智能体系统对模拟战术边缘场景的探索，士兵将有更大的机会在明天的战场上取得优势。
2018-07-16 cs.GT cs.MA
Towards Cooperation in Sequential Prisoner's Dilemmas: a Deep Multiagent Reinforcement Learning Approach
Tianjin University（天津大学）；Washington State University（华盛顿州立大学）
几十年来，反复囚徒困境一直指导着社会困境的研究。然而，它只区分两种原子行为：合作和背叛。在现实世界的囚徒困境中，这些选择是暂时延长的，不同的策略可能对应于行动的顺序，反映了合作的等级。我们引入一个顺序囚徒困境（SPD）游戏，以更好地捕捉上述特点。在这项工作中，我们提出了一种深度多智能体强化学习方法，研究了SPD游戏中相互合作的演变。我们的方法包括两个阶段。第一阶段是离线的：它合成具有不同合作度的策略，然后训练合作度检测网络。第二阶段是在线的：一个代理自适应地选择其政策的基础上检测到的程度的对手合作。我们的方法的有效性证明在两个代表性的SPD 2D游戏：苹果梨游戏和水果采集游戏。实验结果表明，该策略可以避免被剥削对手利用，实现与合作对手的合作。
2018-03-01 cs.AI cs.GT cs.LG
ColosseumRL: A Framework for Multiagent Reinforcement Learning in $N$-Player Games
最近多智能体强化学习的大部分成功都是在两个玩家的零和游戏中。在这些博弈中，虚拟自我博弈和极大极小树搜索等算法可以收敛到近似的纳什均衡。虽然在两人零和博弈中采取纳什均衡策略是最优的，但在$n$ -玩家一般和博弈中，它成为一个信息量少得多的解决方案概念。尽管缺乏一个令人满意的解决方案的概念，$n$的球员游戏形式的绝大多数现实世界的多智能体的情况。在本文中，我们提出了一个新的框架研究强化学习在$n$ -玩家游戏。我们希望通过分析这些环境中的代理学习的行为，社区可以更好地理解这一重要的研究领域，并朝着有意义的解决方案的概念和研究方向。关于这个框架的实现和其他信息可以在https://colosseumrl.igb.uci.edu/上找到。
2019-12-10 cs.MA
Learning Game-Theoretic Models of Multiagent Trajectories Using Implicit Layers
Bosch Center for Artificial Intelligence（博世人工智能中心）
为了预测交互代理的轨迹，我们提出了一种端到端的可训练架构，该架构将神经网络与博弈论推理相结合，具有可解释的中间表示，并转移到下游决策。它使用一个网络来揭示代理人过去联合轨迹的偏好，以及将这些偏好映射到局部纳什均衡的可微隐式层，从而形成预测未来轨迹的模式。此外，它还学习了平衡细化概念。对于易处理性，我们引入了一类新的连续潜在的游戏和平衡分离分区的行动空间。我们提供了明确的梯度和健全的理论结果。在实验中，我们评估我们的方法在两个现实世界的数据集，在那里我们预测高速公路司机合并轨迹，并在一个简单的决策转移任务。
2022-02-18 cs.AI cs.GT cs.LG
A Game-Theoretic Model and Best-Response Learning Method for Ad Hoc Coordination in Multiagent Systems
University of Edinburgh（爱丁堡大学）
ad hoc协调问题是指在没有事先协调机制的多智能体系统中设计一个能够实现最佳灵活性和效率的自主智能体。我们概念化这个问题正式使用博弈论模型，称为随机贝叶斯博弈，其中的行为的球员是由其私人信息，或类型。基于这个模型，我们推导出一个解决方案，称为Harsanyi-Bellman Ad Hoc Coordination（HBA），它利用贝叶斯纳什均衡的概念，在规划过程中找到贝尔曼最优控制意义上的最佳行动。我们评估HBA在多智能体物流领域称为基于水平的觅食，它实现了更高的灵活性和效率比几种替代算法。我们还报告了一个公共科学展览中的人机实验，其中人类参与者反复扮演囚徒困境和石头剪刀布对HBA和替代算法，表明HBA实现了相同的效率和显着更高的福利和胜率。
2015-06-03 cs.AI cs.GT cs.MA
Cluster Forming of Multiagent Systems in Rolling Horizon Games with Non-uniform Horizons
共识和集群形成的多智能体系统在面对干扰攻击以及反应性恢复行动的防御者进行了讨论。攻击者能够禁用网络的一些边缘，目的是将代理划分为较小大小的集群，而作为响应，防御者通过增加传输功率来恢复一些边缘。我们考虑重复的游戏，由此产生的最佳策略，为两个球员是在滚动的地平线时尚。攻击者和防御者拥有不同的计算能力来计算他们的策略。这方面表现为地平线长度和游戏周期的非均匀值。理论分析和仿真结果表明了视野长度和博弈周期对代理人状态的影响。
2023-01-26 cs.GT cs.MA cs.SY
Transformer Guided Coevolution: Improved Team Selection in Multiagent Adversarial Team Games
Carnegie Mellon University（卡内基梅隆大学）；Naval Research Laboratory（海军研究实验室）
本文提出BERTeam算法，结合基于transformer的掩码语言模型与协同进化深度强化学习，解决多智能体对抗团队博弈中的团队选择问题，实验证明其能学习到优于MCAA的团队组合。
2025-01-29 cs.AI cs.MA cs.NE
Neural MMO: A Massively Multiagent Game Environment for Training and Evaluating Intelligent Agents
地球上复杂生命的出现通常被归因于大量生物体争夺有限资源的军备竞赛。我们提出了一个人工智能的研究环境，灵感来自人类游戏类型的MMORPG（大型多人在线角色扮演游戏，又名。MMO），旨在模拟微观世界中的这种设置。与MMORPG和现实世界一样，我们的环境是持久的，并支持大量和可变数量的代理。我们的环境非常适合大规模多智能体交互的研究：它要求智能体在大量人口试图做同样的事情的情况下学习强大的战斗和导航策略。基线实验表明，人口规模放大和激励熟练的行为的发展，并导致代理人，胜过代理人在较小的人口训练。我们进一步表明，代理人的政策与非共享的权重自然发散，以填补不同的小生境，以避免竞争。
2019-03-02 cs.LG cs.MA stat.ML
AWESOME: A General Multiagent Learning Algorithm that Converges in Self-Play and Learns a Best Response Against Stationary Opponents
一个令人满意的多智能体学习算法应该，{至少\em}，学会最佳地与静止的对手比赛，并在自我比赛中收敛到纳什均衡。最接近的算法WoLF-IGA已被证明在2人2动作重复游戏中具有这两个属性-假设对手的（混合）策略是可观察的。在本文中，我们提出了AWESOME，第一个算法，保证有这两个属性在{ \em所有}重复（有限）游戏。它只需要在每一步都能观察到其他参与者的实际行动（而不是他们的策略）。它还学会以最佳方式对抗{ \em最终变得}静止的对手。AWESOME（{ \em Adapt When Everybody is Stationary，Otherwise Move to Equilibrium}）背后的基本思想是，当其他人的策略看起来静止时，尝试去适应他们的策略，否则就退回到预先计算好的均衡策略。用于证明AWESOME属性的技术与用于以前算法的技术根本不同，并且可能有助于分析其他多智能体学习算法。
2003-07-01 cs.GT cs.LG cs.MA
Mimicking To Dominate: Imitation Learning Strategies for Success in Multiagent Competitive Games
Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
本文提出融合对手动作预测模仿模型与策略训练的多智能体强化学习算法，以应对竞争游戏中的动态不确定性，并在 SMACv2 等三类环境中验证其优于现有方法。
2023-08-20 cs.LG cs.MA
Actor-Critic Policy Optimization in Partially Observable Multiagent Environments
DeepMind（深度思考公司）
强化学习中参数化策略的优化是人工智能中一个重要而又具有挑战性的问题。其中最常见的方法是基于表示贴现收益的得分函数的梯度上升的算法。在本文中，我们研究的作用，这些策略梯度和演员批评的算法在部分可观察的多智能体环境。我们展示了几个候选的政策更新规则，并将它们与后悔最小化和多智能体学习技术的基础，一杆和表格的情况下，导致以前未知的收敛保证。我们将我们的方法应用于无模型多智能体强化学习在对抗顺序决策问题（零和不完美信息游戏），使用RL风格的函数逼近。我们评估常用的基准扑克域，显示性能对固定的政策和经验收敛到近似纳什均衡在自我发挥率类似或优于基线无模型算法的零和游戏，没有任何特定领域的状态空间减少。
2020-06-12 cs.AI cs.GT cs.LG
A Rolling Horizon Game Considering Network Effect in Cluster Forming for Dynamic Resilient Multiagent Systems
在多智能体一致性环境下，提出了弹性图上的两人博弈问题。攻击者能够禁用网络的一些边缘，目的是通过发射干扰信号将代理划分为集群，而作为响应，防御者通过增加通信信号的传输功率来恢复一些边缘。具体来说，我们考虑攻击者和防御者之间的重复博弈，其中两个玩家的最优策略是基于效用函数以滚动时域的方式得出的，该效用函数考虑了代理的状态和集群的大小（称为网络效应）。参与者在每个离散时间步的行动受到他们传输信号的能量的约束，对攻击者的约束不那么严格。在能量约束的影响下，给出了Agent一致性的必要条件和充分条件。集群的代理在无限的时间，在面对攻击和恢复的数量也被表征。仿真结果表明，玩家的行为对集群形成的影响，并说明了玩家的表现为不同的地平线参数。
2023-01-09 cs.GT cs.MA cs.SY
Game-Theoretic Multiagent Reinforcement Learning
本文献提供了一部关于多智能体强化学习（MARL）的专著，从博弈论视角系统涵盖了基础知识与研究前沿的最新进展，旨在为该领域的新手和专家提供自包含的当前最先进技术评估。
2025-08-13 cs.AI cs.MA
Presenting Multiagent Challenges in Team Sports Analytics
Chicago Blackhawks（芝加哥黑鹰队）；University of Waterloo（滑铁卢大学）
本文绘制了几个挑战和机遇之间的相关性，在该地区的团队运动分析和多智能体系统（MAS）内的关键研究领域。我们特别考虑入侵游戏，定义为运动员入侵对方球队的领土，并可以在冰球，足球和篮球等比赛场地上的任何地方进行互动。我们认为，MAS是装备精良，研究入侵游戏，将有利于MAS和体育分析领域。我们的讨论强调了MAS实施和进一步发展的两个方面：短期游戏策略（教练）和长期团队规划（管理）。
2023-03-23 cs.AI cs.MA
Multiagent Evaluation under Incomplete Information
DeepMind（深度思维）；Singapore University of Technology and Design（新加坡科技设计大学）
本文针对不完全信息下多智能体评估问题，提出基于自适应算法的排名方法，克服Elo和α-Rank的局限，处理噪声结果，并提供样本复杂度保证，在伯努利博弈、足球元博弈和库恩扑克中验证有效性。
2026-10-06 cs.AI cs.LG cs.MA
Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning
针对离线多智能体博弈学习问题，提出COffeE-PSRO方法，通过量化博弈动态不确定性并修改强化学习目标，偏向于在真实博弈中具有低遗憾的解，实验证明其优于现有离线方法。
2026-06-29 cs.AI cs.MA
An Optimal Rewiring Strategy for Reinforcement Social Learning in Cooperative Multiagent Systems
Tianjin University（天津大学）；Centrum Wiskunde & Informatica（数学与信息中心）
协作多智能体系统中的多智能体协调问题在固定智能体重复交互和静态社会学习框架下得到了广泛的研究。然而，两个方面的动态在现实世界中的多智能体的情况下，目前缺少在现有的作品。首先，网络拓扑可以是动态的，其中代理可以在交互过程中通过重新布线来改变它们的连接。第二，每对代理之间的博弈矩阵可能不是静态的，通常不被认为是先验的。网络的动态性和博弈的不确定性增加了Agent之间的协调难度。在本文中，我们考虑一个多智能体动态社会学习环境中，每个代理可以选择重新布线潜在的合作伙伴，并在每一轮随机选择的邻居进行交互。我们提出了一个最佳的重新布线策略，代理选择最有益的同行进行交互的目的是最大限度地提高重复交互的累积收益。通过与基准策略的比较，我们实证证明了我们方法的有效性和鲁棒性。三个有代表性的学习策略的表现，在我们的社会学习框架与我们的最佳重新布线进行了调查。
2018-05-13 cs.AI cs.LG cs.MA
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
针对大状态空间多智能体强化学习，提出独立线性马尔可夫博弈模型及新算法，以多项式样本复杂度学习均衡，打破多智能体诅咒，并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
A Multiagent Reinforcement Learning Algorithm with Non-linear Dynamics
The British University in Dubai（迪拜英国大学）；University of Edinburgh（爱丁堡大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
多智能体强化学习（MARL）算法已经被提出来优化代理决策。由于问题的复杂性，大多数以前开发的MARL算法假设代理人对底层游戏（如纳什均衡）有一定的了解和/或观察其他代理人的行为和他们收到的奖励。我们引入了一个新的MARL算法称为加权策略学习器（WPL），它允许代理达到一个纳什均衡（NE）在基准2-球员2-动作游戏的最小知识。使用WPL，代理需要的唯一反馈是它自己的本地奖励（代理不观察其他代理的动作或奖励）。此外，WPL并不假设代理人知道潜在的游戏或相应的纳什均衡先验。我们的实验表明，我们的算法收敛于基准两个玩家两个动作的游戏。我们还表明，我们的算法收敛在具有挑战性的Shapleys游戏，以前的MARL算法未能收敛，不知道底层的游戏或NE。此外，我们表明，WPL优于国家的最先进的算法，在一个更现实的设置100代理互动和学习的同时。理解MARL算法行为的一个重要方面是分析算法的动态：多个学习代理的策略如何随着代理之间的交互而随时间演变。这样的分析不仅验证了使用给定MARL算法的代理是否最终会收敛，而且还揭示了MARL算法在收敛之前的行为。我们分析了我们的算法在两个球员，两个动作的游戏，并表明，象征性地证明WPLs收敛是困难的，因为WPLs动态的非线性性质，不像以前的MARL算法，无论是线性或分段线性动态。相反，我们数值求解WPLs动力学微分方程，并比较以前的MARL算法的动态的解决方案…
2014-01-15 cs.LG cs.MA
Aggregate Fictitious Play for Learning in Anonymous Polymatrix Games (Extended Version)
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出聚合虚拟博弈（agg-FP），通过跟踪其他智能体各动作的数量频率来缩小匿名多矩阵博弈中的联合动作空间，在保持与经典FP相同收敛条件的同时加速收敛到纳什均衡。
2025-08-26 cs.GT cs.LG cs.MA
A Generalized Training Approach for Multiagent Learning
DeepMind（深度思维）
本文研究了一种基于博弈论原理的基于人口的训练机制，称为策略空间响应神谕（PSRO）。PSRO是通用的，因为它（1）包括著名的算法，如虚构的游戏和双预言作为特殊情况，（2）原则上适用于一般和，多人游戏。尽管如此，以前的研究PSRO一直集中在两个玩家零和游戏，一个制度，其中纳什均衡是可追踪计算的。在从两人零和博弈转移到更一般的情况下，纳什均衡的计算很快变得不可行。在这里，我们扩展了PSRO的理论基础，考虑一个替代解决方案的概念，$α$ -排名，这是唯一的（因此面临没有均衡选择问题，不像纳什），并很容易适用于一般和，多玩家设置。我们建立了几个游戏类的收敛保证，并确定纳什均衡和$α$ -秩之间的联系。我们证明了竞争力的表现$α$ -基于排名的PSRO对一个确切的纳什解为基础的PSRO在2人库恩和Leduc扑克。然后，我们超越了以前的PSRO应用程序的范围，考虑3至5名球员的扑克游戏，产生的情况下，$α$ -排名实现更快的收敛比近似纳什解算器，从而建立它作为一个有利的一般游戏求解器。我们还进行了初步的实证验证MuJoCo足球，说明所提出的方法在另一个复杂的域的可行性。
2020-02-14 cs.AI cs.LG cs.MA
Existence of Multiagent Equilibria with Limited Agents
随着多智能体系统的日益普及和环境的日益动态化，多智能体学习是一个必要而又具有挑战性的问题。这一领域的许多开创性工作都借鉴了博弈论的显著成果，特别是纳什均衡的概念。直接学习均衡的学习者显然依赖于它们的存在。学习者寻求相对于其他参与者的最优策略也依赖于均衡，因为均衡是学习的固定点。从另一个角度来看，具有局限性的代理人是真实的和普遍的。这些可能是不受欢迎的物理限制以及自我强加的理性限制，例如抽象和近似技术，用于使学习易于处理。本文探讨了这两个重要概念的相互作用：学习的平衡和限制。我们引入的问题是否均衡继续存在时，代理人有限制。我们看看一般的影响限制可以对代理人的行为，并定义一个自然的扩展平衡，这些限制。使用这种形式化，我们作出了三个主要贡献：（一）一个反例的一般存在的平衡与限制，（二）充分条件的限制，保持其存在，（三）三个一般类的游戏和限制，满足这些条件。然后，我们提出了一个特定的多智能体学习算法应用到一个特定的有限代理实例的经验结果。这些结果表明，当我们的理论分析所概述的条件成立时，限制学习是可行的。
2011-06-30 cs.GT cs.MA
Big, but not unruly: Tractable norms for anonymous game structures
我们提出了一个新的战略逻辑NCHATL，允许推理规范遵守并发游戏结构，满足匿名性。我们代表这样的游戏结构competencies，避免模型，有指数大小的代理人的数量。然后，我们表明，模型检验可以在多项式时间就这个紧凑的表示，即使是规范的系统，不是匿名的。也就是说，只要潜在的游戏结构是匿名的，模型检验规范公式是易于处理的，即使规范可以规定不同的禁止行为集不同的代理。
2014-05-27 cs.LO cs.MA
Multi-Agent Modeling Using Intelligent Agents in the Game of Lerpa
博弈论在其应用中有许多局限性。通过利用多智能体建模，有可能解决一些使用传统博弈论无法解决的问题。本文将强化学习应用到神经网络中，以创建智能代理
2007-06-02 cs.GT cs.MA
Causes and Strategies in Multiagent Systems
Utrecht University（乌得勒支大学）；Open University（开放大学）
本文针对多智能体策略场景缺乏因果研究的问题，提出将结构因果模型系统转化为因果并发博弈结构，以干预作为迁移并结合 Halpern-Pearl 框架分析智能体决策的因果效应。
2025-02-19 cs.AI cs.MA
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay（巴黎萨克雷大学）；Ubisoft（育碧）；University of Granada（格拉纳达大学）
虽然可解释人工智能（XAI）正在不断扩展更多的应用领域，但很少有人应用于使深度强化学习（RL）更容易理解。随着RL变得无处不在，并用于关键和一般公共应用，开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略，在多智能体RL使用Shapley值，博弈论的概念，在XAI，成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设，本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销，Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明，Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响，（例如，非歧视性决策，道德和负责任的人工智能衍生决策或公平约束下的政策制定）。它们还揭示了Shapley值如何仅给出关于模型的一般解释，而不能解释单个运行、事件，也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Mastering the Game of Stratego with Model-Free Multiagent Reinforcement Learning
DeepMind（深度思维）
我们介绍DeepNash，一个自主智能体，能够从头开始学习玩不完美信息游戏，直到人类专家的水平。围棋是人工智能（AI）尚未掌握的少数标志性棋盘游戏之一。这种流行的游戏具有$10^{535}$节点数量级的巨大游戏树，即，比围棋大$10^{175}$倍。它具有额外的复杂性，需要在不完全信息下进行决策，类似于德州扑克，其具有明显较小的游戏树（$10^{164}$节点数量级）。决策是在大量离散的行动中做出的，行动和结果之间没有明显的联系。Episode很长，在玩家获胜之前通常有数百步移动，并且在扑克中的情况不能像扑克那样容易地分解为可管理的大小子问题。由于这些原因，几十年来，人工智能领域一直面临着巨大的挑战，现有的人工智能方法几乎没有达到业余水平。DeepNash使用了一种基于博弈论的无模型深度强化学习方法，无需搜索，通过自我游戏学习掌握围棋。正则化纳什动态（R-NaD）算法是DeepNash的关键组成部分，它通过直接修改底层的多智能体学习动态来收敛到近似的纳什均衡，而不是围绕它“循环”。DeepNash击败了Stratego中现有的最先进的人工智能方法，并在Gravon游戏平台上取得了年度（2022年）和历史上的前三名排名，与人类专家玩家竞争。
2022-06-30 cs.AI cs.GT cs.MA
The topology in the game controllability of multiagent systems
当调节器的控制不为零时，给出了基于博弈的控制系统能控的图论条件。在2019年获得了一个可以很好地描述现实主义的控制框架，表示为基于游戏的控制系统（GBCS），不幸的是，它在理论上是不可验证的，并且调节器控制输入被假设为零。然而，基于一个新建立的概念，战略矩阵，我们提出了一个图论条件来判断GBCS的可控性，而不是使用代数条件进行复杂的数学计算。更具体地说，要解决这些问题，需要研究的纳什均衡行动时，监管机构的控制是不为零的表达。在此基础上，得到了博弈能控性矩阵的一般表达式，为研究拓扑结构对基于博弈的控制系统的本质影响提供了理论支持。一般公式总是受到具体矩阵策略矩阵的影响，由纳什均衡动作组成，而该矩阵不仅可以通过矩阵计算得到，还可以通过拓扑直接写出，这就是拓扑对GBCS的具体影响。最后，我们得到了直接根据拓扑结构判断系统能控性的结果，并提出了GBCS中不存在等价划分限制的猜想。可以说，这是关于图的等价划分的一个令人惊讶的猜想，因为迄今为止只解决了五节点图中等价划分的限制
2022-09-25 cs.MA math.OC
Are Multiagent Systems Resilient to Communication Failures?
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Numerica Corporation（Numerica公司）
本文研究多智能体系统在通信故障下的鲁棒性，提出新的策略以应对信息丢失，并发现即使单个智能体与弱耦合智能体通信失效，也可能导致系统状态恶化，但问题的结构限制了通信故障的影响。
2017-10-23 cs.GT cs.MA cs.SY
Hierarchical Multiagent Reinforcement Learning for Multi-Group Tax Game
State Key Laboratory of General Artificial Intelligence, BIGAI（北京智源人工智能研究院通用人工智能全国重点实验室）；Peking University（北京大学）
本文提出分层多智能体强化学习框架，用于研究多群体税收博弈中的策略互动，通过课程学习和闭环顺序更新机制提升训练稳定性，实验显示其能学习稳定可持续的税收政策，延长游戏持续时间并减少地区GDP差距。
2026-09-30 cs.MA
Population-based Evaluation in Repeated Rock-Paper-Scissors as a Benchmark for Multiagent Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Sony AI（索尼人工智能）；University of Alberta（阿尔伯塔大学）；University of Michigan（密歇根大学）
本文提出以重复石头剪刀布和43个参赛程序种群评估多智能体学习，结合平均回报与可利用度，揭示主流RL等方法仍难胜顶级机器人。
2023-10-31 cs.AI cs.GT cs.LG
Diverse Auto-Curriculum is Critical for Successful Real-World Multiagent Learning Systems
University College London（伦敦大学学院）；Huawei R&D U.K.（华为英国研发部）；Huawei Canada（华为加拿大公司）；Shanghai Jiao Tong University（上海交通大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
多智能体强化学习（MARL）在解决各种类型的视频游戏方面取得了显着的成功。这种成功的基石是自动课程框架，它通过不断为代理创建新的挑战性任务来适应，从而促进新技能的获得，从而塑造学习过程。为了将MARL方法扩展到视频游戏之外的现实世界领域，我们在这篇蓝天论文中设想，保持多样性意识的自动课程对于成功的MARL应用程序至关重要。具体来说，我们认为，\emph{behavioural diversity}是一个关键的，但未充分探索，现实世界的多智能体学习系统的组成部分，并在了解如何设计一个多样性意识的自动课程的重要工作。我们列出了自动课程技术的四个开放性挑战，我们认为这些挑战值得这个社区更多的关注。为了验证我们的愿景，我们建议将自动驾驶中的现实交互行为建模作为重要的测试平台，并推荐SMARTS/ULTRA基准测试。
2021-02-16 cs.AI cs.MA
Anonymous Hedonic Game for Task Allocation in a Large-Scale Multiple Agent System
Cranfield University（克兰菲尔德大学）
本文提出了一种新的博弈论的自主决策框架，以解决一群多个代理的任务分配问题。我们考虑了自利代理的合作，并证明了我们提出的分散算法保证了具有社会抑制的代理收敛到纳什稳定分区（即，社会协议）在多项式时间内。该算法是简单的，可执行的基础上与邻居代理的强连接的通信网络下，甚至在异步环境中的本地交互。我们分析提出了一个数学公式计算的解决方案的次优性的下限，并另外表明，50%的次优性至少可以保证，如果社会效用是非递减函数的合作代理的数量。数值实验的结果证实，该框架是可扩展的，对动态环境的快速适应性，和鲁棒性，即使在现实的情况下。
2018-07-25 cs.AI cs.GT cs.MA
The Division of Assets in Multiagent Systems: A Case Study in Team Blotto Games
多智能体系统旨在以前所未有的规模同时完成各种任务。这里，系统操作员所面临的中心问题是决定（i）如何在分配给任务的代理之间划分可用资源，以及（ii）如何协调代理的行为以优化所产生的集体行为的效率。本文的重点是问题（一），在那里我们试图描述的影响，资源的分工对最佳情况下的集体行为的效率。具体来说，我们专注于一个团队上校Blotto游戏，其中有两个子上校在两个战场环境中对抗一个共同的对手。在这里，每个中校被分配给定的资源预算，并被要求独立于其他中校分配这些资源。然而，他们的成功取决于两个子上校的分配策略。这篇手稿的中心重点是如何在两个子上校之间划分一个共同的资源池，以优化最佳情况下的效率保证。直觉上，人们会想象，资源分配越均衡，性能越差，因为这样的划分限制了子上校采用联合随机策略的能力，而联合随机策略往往是优化性能保证所必需的。然而，本文的主要结果表明，这种直觉实际上是不正确的。一个更加平衡的资源划分可以提供比一个更加集中的划分更好的性能保证。因此，本文表明，资源划分问题是非常不平凡的，在这种交织的环境中，值得重大的未来研究工作。
2021-03-30 cs.GT cs.MA cs.SY
It Takes Four to Tango: Multiagent Selfplay for Automatic Curriculum Generation
UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
我们有兴趣训练通用的强化学习代理，可以解决各种各样的目标。有效地训练这样的代理需要自动生成目标课程。这是具有挑战性的，因为它需要（a）探索难度增加的目标，同时确保代理（b）以样本有效的方式暴露于不同的目标集合，并且（c）不会灾难性地忘记先前解决的目标。我们提出了课程自我发挥（CuSP），自动目标生成框架，旨在满足这些desiderata凭借一个多人游戏与四个代理。我们扩展了PAIRED中的非对称课程学习（Dennis等人，2020）到一个对称的游戏，仔细平衡两个政策外的学生学习者和两个遗憾最大化的教师之间的合作和竞争。CuSP还引入了熵目标覆盖率，并考虑了学生的非平稳性质，使我们能够自动诱导一个平衡渐进探索与反灾难性剥削的课程。我们证明，我们的方法成功地生成一个有效的课程的目标范围内的控制任务，优于其他方法在zero-shot测试时推广到新的分布外的目标。
2022-02-22 cs.AI cs.LG cs.MA
Learning Conventions in Multiagent Stochastic Domains using Likelihood Estimates
完全合作的多智能体系统--在这些系统中，智能体共享一个联合效用模型--在人工智能中具有特殊的意义。一个关键的问题是，要确保各个代理人的行动是协调一致的，特别是在设置代理人是自主决策者。我们研究的方法来学习协调策略在随机域中，代理的行动是不直接观察到的其他。博弈论中最近的许多工作都采用了贝叶斯学习的观点来解决更一般的均衡选择问题，但倾向于假设行为可以被观察到。我们讨论的特殊问题时，出现的行动是不可观察的，包括对收敛速度的影响，和行动失败的概率和不对称性的影响。我们还使用似然估计作为一种手段，在我们的环境中推广虚构的游戏学习模型。最后，我们建议使用最大似然作为一种手段，从考虑中删除策略，收敛到一个传统的均衡，在这一点上学习和审议可以停止的目的。
2013-02-13 cs.GT cs.MA
Turbocharging Solution Concepts: Solving NEs, CEs and CCEs with Neural Equilibrium Solvers
DeepMind（深度思维）；UCL（伦敦大学学院）
本文提出神经均衡求解器，利用等变神经网络快速确定地近似求解固定形状博弈中的纳什均衡、相关均衡和粗相关均衡，并支持灵活的均衡选择，展现出对更大博弈的零样本泛化能力。
2023-04-15 cs.AI cs.GT cs.LG
Emergence of Theory of Mind Collaboration in Multiagent Systems
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
目前，在多智能体系统的研究中，往往忽略了智能体的意图。尽管如此，正如心理理论（Theory of Mind，ToM）所指出的，人们经常会对他人的心理状态进行推理，包括信念、目标和意图，以在竞争、合作或联盟中获得绩效优势。然而，由于其固有的递归性和难以建模的分布信念，集成ToM的多智能体规划和决策仍然是一个挑战。在本文中，我们将ToM在多智能体部分可观察马尔可夫决策过程（POMDP），并提出了一个自适应训练算法，开发有效的合作与ToM代理。我们用两个游戏来评估我们的算法，我们的算法超过了以前所有的分散执行算法，而没有对ToM进行建模。
2021-09-30 cs.AI cs.CY cs.MA
The Neural MMO Platform for Massively Multiagent Research
MIT（麻省理工学院）；Stanford（斯坦福大学）；Google Brain（谷歌大脑）
神经MMO是一个计算可访问的研究平台，它结合了大型代理群体，长时间视野，开放式任务和模块化游戏系统。现有的环境具有这些属性的子集，但Neural MMO是第一个将它们全部结合起来的环境。我们将Neural MMO作为免费和开源软件提供，并提供积极的支持，持续的开发，文档以及额外的培训，日志记录和可视化工具，以帮助用户适应这种新的设置。平台上的初始基线表明，在大规模人群中接受过培训的代理人会探索更多内容并学习技能。我们提出了其他更困难的问题，如多个团队合作作为开放的研究问题，神经MMO非常适合回答。最后，我们讨论了平台的当前局限性，潜在的缓解措施和持续发展的计划。
2021-10-14 cs.AI cs.LG cs.MA
From Intelligent Agents to Trustworthy Human-Centred Multiagent Systems
University of Southampton（南安普顿大学）
南安普顿大学的智能体、交互和复杂性研究小组在多智能体系统（MAS）的研究方面有着悠久的历史。我们在MAS的学习、协调代理系统的博弈论技术以及表示和推理的形式化方法方面做出了大量的科学贡献。我们强调了该小组取得的主要成果，并详细阐述了最近的工作和开放的研究挑战，以开发值得信赖的自主系统和部署以人为本的人工智能系统，旨在支持社会公益。
2022-10-05 cs.AI cs.MA
An Efficient Application of Neuroevolution for Competitive Multiagent Learning
Vellore Institute of Technology（韦洛尔理工学院）
多智能体系统为使用强化学习算法评估和分析现实世界的问题提供了一个理想的环境。大多数传统的多智能体学习方法都受到长训练周期和高计算复杂性的影响。NEAT（NeuroEvolution of Augmenting Topologies）是一种流行的进化策略，用于获得最佳性能的神经网络架构，通常用于解决人工智能领域的优化问题。本文利用NEAT算法实现竞争性多智能体学习的修改乒乓游戏环境中的有效方式。竞争主体遵守不同的规则，但具有相似的观测空间参数。该算法利用环境的这一属性来定义一个奇异的神经进化过程，获得所有代理的最优策略。编译的结果表明，所提出的实现在一个非常短的训练期内达到理想的行为相比，现有的多智能体强化学习模型。
2021-05-23 cs.AI cs.MA cs.NE
Discovering Multiagent Learning Algorithms with Large Language Models
Google DeepMind（谷歌DeepMind）
本文利用AlphaEvolve框架自动发现CFR和PSRO算法，提出VAD-CFR和SHOR-PSRO，通过简化核心机制获得更高效的WOP-CFR和PM-PSRO，提升泛化能力。
2026-05-07 cs.AI cs.GT cs.MA
Differential Privacy in Cooperative Multiagent Planning
The University of Florida（佛罗里达大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
隐私感知的多智能体系统必须保护代理的敏感数据，同时确保代理完成他们的共同目标。为了实现这一目标，我们提出了一个框架，私有化的智能体通信在合作多智能体决策问题。我们研究序列决策问题制定为合作马尔可夫博弈达到避免目标。我们应用差分隐私机制私有化代理的沟通象征性的状态轨迹，然后我们分析隐私的强度和团队的表现之间的权衡。对于一个给定的隐私水平，这种权衡严重依赖于代理的状态动作过程之间的总相关性。我们合成的政策，是强大的隐私减少的总相关值。数值实验表明，在这些政策下，团队的表现下降了3%，当比较私人与非私人的通信实现。相比之下，当使用忽略总体相关性而只优化团队绩效的基线策略时，团队的绩效下降了大约86%。
2023-01-20 cs.AI cs.CR cs.MA
Anticipatory Fictitious Play
虚拟博弈是一种计算矩阵博弈纳什均衡的算法。最近，虚拟游戏的机器学习变体已成功应用于复杂的现实世界游戏。本文提出了一个简单的修改虚构的发挥，这是一个严格的改进，原来的：它具有相同的理论最坏情况下的收敛速度，同样适用于机器学习上下文中，并享有优越的经验性能。我们进行了广泛的比较，我们的算法与虚构的发挥，证明了某些类别的游戏的最佳收敛速度，在各种游戏中表现出卓越的性能数值，并得出结论，这些算法扩展到设置的深度多智能体强化学习的实验。
2022-12-20 cs.GT cs.MA
Influence of periodic external fields in multiagent models with language dynamics
我们调查大规模的影响引起的外部领域，现象学解释为大众媒体，在多智能体模型与微观动态的二进制命名游戏。特别是，我们表明，一个单一的外部领域，广播信息在定期的时间间隔，可以扭转大多数人的意见，提供的频率和有效性的发送消息高于明确定义的阈值。我们研究的相结构的模型在平均场近似和数值模拟与几个网络拓扑结构。我们还研究了两个竞争的外部领域，定期广播不同的消息对代理动力学的影响。在参数空间的有限区域中，我们观察到周期性的平衡态，在这种状态下，平均意见密度相对于天真的期望是相反的。这种均衡发生在两种情况下：（i）当竞争消息的频率不同但彼此接近时;（ii）当频率相等且消息的相对时移不超过半个周期时。我们解释所观察到的现象之间的相互作用的外部领域和内部动态的代理商，并得出结论，根据模型参数，命名游戏是一致的第一或第二移动优势的情况下（借用一个表达从行话的业务战略）。
2017-12-18 cond-mat.stat-mech cs.MA nlin.AO
A Survey of Learning in Multiagent Environments: Dealing with Non-Stationarity
Centrum Wiskunde & Informatica（荷兰数学与计算机科学研究中心）；Instituto Nacional de Astrofísica, Óptica y Electrónica（墨西哥国家天体物理、光学与电子研究所）；PROWLER.io Ltd.（普劳勒.io有限公司）
多智能体学习中的关键挑战是学习对其他智能体行为的最佳响应，这可能是非静态的：如果其他智能体也适应他们的策略，学习目标就会移动。不同的研究流从不同的角度来研究非平稳性，这使得各种隐含的假设很难保持对艺术现状的概述，并验证新作品的创新性和意义。这项调查提出了一个连贯的概述工作，解决顺从引起的非平稳性与博弈论，强化学习和多武装土匪的工具。此外，我们反映了算法如何建模和应对这种非平稳性的原则方法，达到了一个新的框架和五个类别（按照复杂程度的增加顺序）：忽略，忘记，响应目标模型，学习模型和心理理论。使用这些类别和环境的关键特征（例如，可观察性）和对手的适应行为（例如，平滑的、突然的）。为了进一步澄清，我们提出了一个领域的说明性变化，对比每个类别的优势和局限性。最后，我们讨论了在哪些环境中，不同的方法产生最大的优点，并指出未来的研究有前途的途径。
2019-03-11 cs.LG cs.MA
Deterministic limit of temporal difference reinforcement learning for stochastic games
多智能体系统中的强化学习已经在经济博弈论、人工智能和统计物理学领域中通过发展对学习动力学的分析理解（通常与进化博弈论的复制动力学有关）进行了研究。然而，大多数这些分析研究集中在重复的范式游戏，只有一个单一的环境状态。环境动力学，即，环境状态的变化影响代理人的收益受到的关注较少，缺乏从已建立的多状态强化学习算法获得确定性方程的通用方法。在这项工作中，我们提出了一种新的方法扩展，分离的相互作用的适应时间尺度，推导出确定性的限制一般类的强化学习算法，称为时间差学习。这种形式的学习被装备成通过使用未来环境状态的估计值来适应代理的行为，从而在更现实的多状态环境中起作用。我们证明了我们的方法的潜力与三个完善的学习算法Q学习，SARSA学习和演员批评学习。两个多智能体，多态环境的动态插图揭示了广泛的不同的动力学制度，如收敛到不动点，极限环，甚至确定性混沌。
2019-06-24 cs.MA
Resolving Congestions in the Air Traffic Management Domain via Multiagent Reinforcement Learning Methods
University of Piraeus（比雷埃夫斯大学）；University of Ioannina（约阿尼纳大学）；Frauhofer Institute IAIS（弗劳恩霍夫智能分析与信息系统研究所）；CRIDA
在这篇文章中，我们报告的效率和有效性的多智能体强化学习方法（MARL）的计算航班延误，以解决空中交通管理（ATM）领域的拥塞问题。具体来说，我们的目标是解决空域使用需求超过容量的情况（需求容量问题），通过在运营的前战术阶段（即运营前几天到几个小时）对航班实施地面延误。将其投射到多智能体域中，代表航班的智能体需要决定自己的延迟w.r.t.他们没有关于其他人的收益，偏好和约束的信息，而他们计划与其他人一起执行他们的轨迹，遵守操作约束。具体来说，我们正式的问题作为一个多智能体马尔可夫决策过程（MA-MDP），我们表明，它可以被认为是一个马尔可夫博弈中，相互作用的代理需要达到一个平衡：是什么使问题更有趣的是动态设置中的代理操作，这也是由于不可预见的，紧急的影响，他们的决定在整个系统。我们提出了协作多智能体强化学习方法来解决需求能力不平衡：对现实世界的案例进行了广泛的实验研究，显示了所提出的方法在解决问题方面的潜力，而高级可视化提供了详细的视图，以了解所提供的解决方案的质量。
2019-12-14 cs.AI cs.MA
V-Learning -- A Simple, Efficient, Decentralized Algorithm for Multiagent RL
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
多智能体强化学习（MARL）的一个主要挑战是多智能体的诅咒，其中联合动作空间的大小与智能体的数量呈指数级增长。这仍然是一个瓶颈，设计有效的MARL算法，即使在一个基本的情况下，许多国家和行动。本文解决了这一挑战的情景马尔可夫博弈模型。我们设计了一类新的完全分散的算法-V-学习，它可证明学习纳什均衡（在两个玩家零和设置），相关均衡和粗相关均衡（在多人一般和设置）在一些样本，只有规模与$\max_{i\in[m]} A_i$，其中$A_i$是行动的数量为$i^{\rm th}$球员。这与关节动作空间的大小（$\prod_{i=1}^m A_i$）形成鲜明对比。V-学习（其基本形式）是一类新的单智能体RL算法，它将任何具有适当后悔保证的对抗性强盗算法转换为RL算法。与经典的Q-学习算法类似，它对价值函数执行增量更新。与Q学习不同，它只保持V值的估计而不是Q值。这一关键区别允许V-learning通过简单地让所有代理独立运行V-learning来实现MARL设置中声称的保证。
2021-10-27 cs.AI cs.GT cs.LG
D3C: Reducing the Price of Anarchy in Multi-Agent Learning
在多智能体系统中，固定激励的复杂相互作用会导致智能体不仅对群体，而且对每个个体来说都很差（效率低下）。无政府状态的无政府代价是一个技术性的、博弈论的定义，它量化了这些情景中出现的低效率--它比较了通过完美协调可以实现的福利与在纳什均衡下自利代理人实现的福利。我们推导出一个可微的，上界的无政府代价，代理可以便宜地估计在学习过程中的无政府状态。配备了这个估计器，代理人可以调整他们的激励方式，提高效率的纳什均衡。代理人通过学习混合他们的奖励来做到这一点。负损失）与其他代理商通过遵循我们推导的上界的梯度。我们将这种方法称为D3 C。在代理激励可区分的情况下，D3 C类似于行为博弈论中著名的Win-Stay，Lose-Shift策略，从而在最大福利的全局目标和既定的以代理为中心的学习规则之间建立了联系。在不可微的设置，是常见的多智能体强化学习，我们表明上限可以通过进化策略减少，直到达成妥协，在一个分布式的方式。我们证明，D3 C提高了每个代理和作为一个整体的几个社会困境，包括交通网络展览布雷斯悖论，囚徒困境，和几个多代理域的结果。
2022-02-20 cs.GT cs.MA
Backdoor Attacks on Multiagent Collaborative Systems
对强化学习的后门攻击在受害者代理的策略中植入后门。一旦受害者观察到触发信号，它将切换到异常模式并失败。大多数攻击都假设对手可以任意修改受害者的观察结果，这可能不切实际。一项工作提出，让一个对手代理使用它的行动来影响它的对手在两个代理竞争游戏，使对手迅速失败后，观察某些触发动作。然而，在多智能体协作系统中，智能体可能并不总是能够观察其他智能体。对手代理何时以及在多大程度上可以影响其他人是不确定的，我们希望对手代理触发其他人的次数尽可能少。为了解决这个问题，我们首先设计了一个新的训练框架来产生辅助奖励，以衡量其他代理的观察受到影响的程度。然后，我们使用辅助奖励训练一个触发策略，使对手代理有效地影响其他的观察。考虑到这些受影响的观察结果，我们进一步训练其他代理以异常地执行。大量的实验表明，所提出的方法使对手代理引诱他人进入异常模式，只有少数行动。
2022-11-21 cs.MA
Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
Google DeepMind（谷歌DeepMind）；University of Waterloo（滑铁卢大学）；University of Michigan（密歇根大学）
本文提出基于深度博弈论强化学习的多智能体训练框架，通过生成最佳响应算法GenBR和纳什谈判理论构建对手混合策略，提升在不完全信息域中的对手建模能力。
2026-04-05 cs.AI cs.GT cs.LG
Comparative Evaluation of Multiagent Learning Algorithms in a Diverse Set of Ad Hoc Team Problems
University of Edinburgh（爱丁堡大学）
本文关注的是评估不同的多智能体学习（MAL）算法的问题中，个别代理可能是异质的，在这个意义上利用不同的学习策略，没有事先协议或信息协调的机会。这种情况出现在特设团队问题，许多实际的多智能体系统应用的模型。多智能体学习的先前工作通常集中在同类智能体组上，这意味着所有智能体都是相同的，并且先验地知道这一事实。此外，这些算法是专门设计的特设团队的问题，通常是在团队中的代理与固定的行为进行评估，而不是代理，这是适应他们的行为。在这项工作中，我们经验性地评估五个MAL算法，代表多智能体学习的主要方法，但最初开发时考虑到同质设置，以了解他们的行为在一组特设团队问题。所有团队都由不断调整行为的代理人组成。该算法进行评估方面的一个全面的表征重复矩阵游戏，使用的性能标准，包括考虑，如达到均衡，社会福利和公平。我们的主要结论是没有明显的赢家。然而，比较评估也突出了不同算法在性能标准类型方面的相对优势，例如，社会福利与实现均衡。
2019-07-22 cs.AI cs.MA
