Value-Decomposition Multi-Agent Actor-Critics
University of Virginia（弗吉尼亚大学）
利用额外的状态信息是多智能体强化学习（MARL）的一个研究热点。QMIX使用非负函数近似器表示联合动作值，并在多智能体基准测试（星际争霸II微观管理任务）上实现了迄今为止的最佳性能。然而，我们的实验表明，在某些情况下，QMIX与A2 C不兼容，A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡，我们将值分解扩展到与A2 C兼容的演员-评论家，并提出了一种新的演员-评论家框架，值分解演员-评论家（VDACs）。我们评估VDACs的星际争霸II微观管理任务的测试平台上，并表明，所提出的框架提高了其他演员批评的方法的中位数性能。此外，我们使用一组烧蚀实验，以确定的关键因素，有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Applying supervised and reinforcement learning methods to create neural-network-based agents for playing StarCraft II
近年来，人们提出了多种方法来创建用于玩各种复杂的实时计算机游戏（如星际争霸II或Dota 2）的代理，然而，它们要么将大量的专家知识嵌入到代理中，要么使用对大多数研究人员来说过于庞大的计算资源。我们提出了一个神经网络架构，用于玩星际争霸II的完整双人比赛，该架构采用通用监督和强化学习进行训练，可以在具有单个GPU的单个消费级PC上进行训练。我们还表明，我们的实现了一个不平凡的性能相比，在游戏中脚本机器人。除了在一张选定的地图上进行游戏外，我们对游戏没有任何简化的假设，而且我们使用很少的专业知识。原则上，我们的方法可以应用于任何RTS游戏的小修改。虽然我们的结果在最终性能方面远远落后于最先进的大规模方法，但我们相信我们的工作可以作为其他小规模实验的坚实基线。
2021-09-26 cs.AI
Coordinated Proximal Policy Optimization
Sun Yat-sen University（中山大学）；Tencent AI Lab（腾讯人工智能实验室）；Northwestern Polytechnical University（西北工业大学）
我们提出了协调的近端策略优化（CoPPO），一种算法，扩展了原来的近端策略优化（PPO）的多代理设置。其核心思想在于多个代理之间的策略更新过程中的步长的协调适应。我们证明了政策改进的单调性时，优化理论接地的联合目标，并推导出一组近似的基础上简化的优化目标。然后我们解释说，CoPPO中的这样一个目标可以实现代理之间的动态信用分配，从而缓解代理策略并发更新期间的高方差问题。最后，我们证明了CoPPO优于几个强大的基线，并与最新的多智能体PPO方法（即MAPPO）在典型的多智能体设置，包括合作矩阵游戏和星际争霸II微观管理任务的竞争力。
2021-11-07 cs.AI
Asynchronous Advantage Actor-Critic Agent for Starcraft II
Carnegie Mellon University（卡内基梅隆大学）
深度强化学习，特别是异步优势演员-评论家算法，已成功用于在各种视频游戏中实现超人的性能。《星际争霸II》是随着谷歌Deepmind和暴雪娱乐提出的pysc 2学习环境的发布，对强化学习社区的一个新挑战。尽管它是几个人工智能开发人员的目标，但很少有人达到人类水平的性能。在这个项目中，我们解释了这个环境的复杂性，并讨论了我们对环境的实验结果。我们已经比较了各种架构，并证明了迁移学习可以成为强化学习研究中需要技能迁移的复杂场景的有效范例。
2018-07-22 cs.AI
Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文考虑了多智能体强化学习（MARL）任务，其中智能体在一集结束时获得共享的全局奖励。这种奖励的延迟性质影响了代理人在中间时间步评估其行为质量的能力。本文的重点是开发方法来学习情节奖励的时间重新分配，以获得密集的奖励信号。解决这样的MARL问题需要解决两个挑战：识别（1）沿着事件长度（沿着时间）的状态的相对重要性，以及（2）在任何单个时间步（在代理之间）个体代理状态的相对重要性。在本文中，我们介绍了代理时间注意奖励再分配情节多智能体强化学习（AREL），以解决这两个挑战。AREL使用注意力机制来表征动作对沿轨迹的状态转换的影响（时间注意力），以及每个代理在每个时间步如何受到其他代理的影响（代理注意力）。由AREL预测的重新分配的奖励是密集的，并且可以与任何给定的MARL算法集成。我们从粒子世界环境和星际争霸多智能体挑战赛的挑战性任务来评估AREL。与三种最先进的奖励再分配方法相比，AREL在粒子世界中获得了更高的奖励，并提高了星际争霸的胜率。我们的代码可在https://github.com/baicenxiao/AREL上获得。
2022-01-12 cs.AI cs.LG cs.MA
Improving Multi-Agent Cooperation using Theory of Mind
National University of Singapore（新加坡国立大学）；AI Singapore（新加坡人工智能计划）；Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究院）
人工智能的最新进展已经产生了可以在围棋、星际争霸和Dota 2等游戏中击败人类世界冠军的智能体。然而，这些模型中的大多数似乎并不像人类那样发挥作用：人们从他们的行为中推断出他人的意图，并将这些推断用于策划和战略制定。在这里，使用贝叶斯心理理论（ToM）的方法，我们调查了在合作游戏中，对他人意图的明确表示能提高多少绩效。我们比较了人类在合作游戏中与最优规划代理（有和没有ToM）一起玩的表现，在合作游戏中，玩家必须灵活合作以实现共同目标。我们发现，与所有类型的合作伙伴：非ToM，ToM，以及人类球员，和ToM的好处增加更多的ToM代理有合作时，与ToM代理显着优于非ToM代理。这些发现对设计更好的合作代理人具有一定的意义。
2020-07-30 cs.AI
SMAC-Talk: A Natural Language Extension of the StarCraft Multi-Agent Challenge for Large Language Models
Faculty of Engineering and Computer Science（工程与计算机科学学院）；University of Victoria（维多利亚大学）
提出SMAC-Talk环境，通过自然语言通信通道评估LLM智能体在合作多智能体场景中的协调与信任，并构建含欺骗性通信者的评估场景。
2026-06-02 cs.AI
Multi-Agent Collaboration via Reward Attribution Decomposition
University of California, Berkeley（加州大学伯克利分校）；Unveristy of California, San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Facebook AI Research（Facebook人工智能研究院）
多智能体强化学习（MARL）的最新进展已经在Quake 3和Dota 2等游戏中实现了超人的表现。不幸的是，这些技术需要比人类多几个数量级的训练回合，并且即使在同一个游戏中也不能推广到新的代理配置。在这项工作中，我们提出了协作Q学习（CollaQ），实现了最先进的性能在星际争霸多智能体的挑战，并支持特设团队发挥。我们首先制定多智能体协作作为一个联合优化奖励分配，并表明每个代理有一个近似的最优策略，分解成两部分：一部分，只依赖于代理自己的状态，和其他部分，是与附近的代理的状态。根据这一新的发现，CollaQ将每个智能体的Q函数分解为一个自我项和一个交互项，并通过多智能体奖励归因（MARA）损失来规范训练。CollaQ在各种星际争霸地图上进行了评估，结果表明它优于现有的最先进的技术（即，QMIX、QTRAN和VDN），在相同样本数的情况下将胜率提高40%。在更具挑战性的特设团队游戏设置中（即，重新加权/添加/删除单位，无需重新训练或微调），CollaQ比之前的SoTA性能高出30%以上。
2020-10-16 cs.AI cs.LG cs.MA
Forecasting Evolution of Clusters in Game Agents with Hebbian Learning
Georgia Institute of Technology（佐治亚理工学院）
本文针对《星际争霸II》中集群动态预测问题，提出结合无监督Hebbian聚类与LSTM预测模块的混合AI模型，以更低推理复杂度实现集群演化预测并验证其有效性。
2023-05-31 cs.AI cs.LG cs.NE
FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems
National University of Singapore（新加坡国立大学）
部分可观测多智能体系统中的分散合作需要智能体之间的有效通信。为了支持这一努力，这项工作的重点是一类问题，全球通信是可用的，但可能是不可靠的，从而排除了不同的通信学习方法。我们介绍了FCMNet，一种基于强化学习的方法，允许代理同时学习a）有效的多跳通信协议和b）一个共同的，分散的政策，使团队级的决策。具体来说，我们提出的方法利用多个方向递归神经网络的隐藏状态作为代理之间的通信消息。使用一个简单的多跳拓扑结构，我们赋予每个代理的能力，接收信息顺序编码的每一个其他代理在每个时间步，从而提高全球合作。我们展示了FCMNet在一组具有挑战性的星际争霸II微观管理任务与共享奖励，以及一个合作的多智能体寻路任务与个人奖励。在那里，我们的比较结果表明，FCMNet在所有星际争霸II微观管理任务中优于最先进的基于通信的强化学习方法，在某些任务中优于价值分解方法。我们进一步研究了FCMNet在现实通信干扰下的鲁棒性，例如随机消息丢失或二进制化消息（即，不可区分的通信信道），以展示FMCNet在各种现实条件下对机器人任务的潜在适用性。
2022-01-31 cs.AI cs.LG cs.MA
TStarBots: Defeating the Cheating Level Builtin AI in StarCraft II in the Full Game
Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）；Northwestern University（西北大学）
星际争霸2（SC2）被广泛认为是最具挑战性的实时的战略（RTS）游戏。潜在的挑战包括一个大的观察空间，一个巨大的（连续和无限的）行动空间，部分观察，所有玩家的同时移动，以及长期的地平线延迟奖励本地决策。为了推动人工智能研究的前沿，Deepmind和暴雪联合开发了星际争霸II学习环境（SC2 LE），作为复杂决策系统的测试平台。SC2 LE提供了MoveToBeacon、CollectMineralShards、DefeatRoaches等少数小游戏，其中部分人工智能智能体已经达到了人类职业玩家的性能水平。但对于全游戏来说，目前的人工智能智能体还远未达到人类专业水平的表现。为了弥合这一差距，我们在本文中提出了两个完整的游戏AI代理-AI代理TStarBot 1基于平面动作结构上的深度强化学习，而人工智能智能体TStarBot 2基于分层动作结构上的硬编码规则。TStarBot 1和TStarBot 2都能够在一场完整的比赛中击败从1级到10级的内置人工智能智能体（AbyssalReef地图上的1v 1 Zerg-vs-Zerg游戏），注意到8级，9级和10级是作弊代理，具有不公平的优势，例如全地图上的全视野和资源收获提升。据我们所知，这是第一个公开的工作，调查人工智能智能体，可以击败内置的人工智能在星际争霸2完整的游戏。
2018-12-27 cs.AI
Cooperative Multi-Agent Transfer Learning with Level-Adaptive Credit Assignment
Beijing Institute of Technology（北京理工大学）；Shanghai Jiao Tong University（上海交通大学）；Tianjin University（天津大学）
将迁移学习扩展到协作式多智能体强化学习（MARL），近年来受到广泛关注。与单Agent环境相比，协作MARL中不可缺少的协调约束了每个Agent的策略。然而，现有的转移方法只关注代理策略，忽略了协调知识。我们提出了一个新的架构，实现了强大的协调知识转移，通过适当的分解成几个协调模式的整体协调。我们使用一种新的混合网络命名为水平自适应Q Transformer（LA-Q Transformer），以实现代理协调，考虑信用分配，与适当的协调模式，为不同的代理实现了一种新的水平自适应Transformer（LA-Transformer）专门用于协调知识的传输。此外，我们使用了一种新的代理网络人口不变的代理Transformer（PIT），以实现在更多的场景协调转移。在《星际争霸II》微观管理中的大量实验表明，LA-QTransformer与PIT一起实现了与最先进的基线相比的卓越性能。
2021-06-03 cs.AI
Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Nanjing Artificial Intelligence Research of IA（南京人工智能研究院（IA））；Department of Computer Science, University College London（伦敦大学学院计算机科学系）
本文构建文本化 TextStarCraft II 环境并提出摘要链方法，通过专家评估与游戏实验验证 LLM 的《星际争霸 II》知识、规划和对战能力。
2024-06-18 cs.AI
TLeague: A Framework for Competitive Self-Play based Distributed Multi-Agent Reinforcement Learning
Tencent Robotics X（腾讯机器人X实验室）；Tsinghua University（清华大学）
基于竞争自玩（CSP）的多智能体强化学习（MARL）近年来取得了惊人的突破。强大的AI在多个基准测试中获得，包括Dota 2，王者荣耀，雷神之锤III，星际争霸II，仅举几例。尽管取得了成功，但MARL训练非常需要数据，通常需要在训练期间从环境中看到数十亿（如果不是数万亿）帧，以便学习高性能代理。这给研究人员或工程师带来了不小的困难，并阻止了MARL在更广泛的现实问题中的应用。为了解决这个问题，在本文中，我们描述了一个框架，称为TLeague，旨在大规模的训练和实现几个主流的CSP-MARL算法。培训可以部署在单个机器或混合机器（CPU和GPU）集群中，其中以云原生方式支持标准Kubernetes。TLeague在执行分布式训练时实现了高吞吐量和合理的扩展。由于采用了模块化设计，该算法也易于扩展，用于解决其他多智能体问题或实现和验证MARL算法。我们在星际争霸II，ViZDoom和Pommerman上进行了实验，以显示TLeague的效率和有效性。该代码是开源的，可在https://github.com/tencent-ailab/tleague_projpage上获得
2020-11-30 cs.AI cs.LG cs.MA
Believe What You See: Implicit Constraint Approach for Offline Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
在不与环境交互的情况下从数据集进行学习（离线学习）是将强化学习（RL）算法应用于现实世界场景的重要步骤。然而，与单智能体相比，离线多智能体强化学习引入了更多的智能体，具有更大的状态和动作空间，这是更具挑战性的，但很少受到关注。我们证明了当前离线RL算法是无效的多智能体系统，由于累积的外推误差。在本文中，我们提出了一种新的离线RL算法，名为隐式约束Q学习（ICQ），它有效地消除了外推误差，只信任的状态动作对在数据集中的值估计。此外，我们扩展了ICQ的多智能体任务的联合政策下的隐式约束的分解。实验结果表明，外推误差被成功地控制在一个合理的范围内，对代理的数量不敏感。我们进一步表明，ICQ在具有挑战性的多智能体离线任务（星际争霸II）中实现了最先进的性能。我们的代码在https://github.com/YiqinYang/ICQ上公开。
2021-10-26 cs.AI
Multi-level Advantage Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
Mila - Quebec AI Institute（魁北克AI研究所）；Polytechnique Montréal（蒙特利尔理工学院）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
针对合作型多智能体强化学习中多层级共存的信用分配问题，提出MACA方法，通过整合个体、联合和相关动作的优势函数进行显式反事实推理，在Starcraft任务上展现出优越性能。
2025-08-09 cs.AI
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
TiKick: Towards Playing Multi-agent Football Full Games from Single-agent Demonstrations
Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；RealAI（瑞莱智慧）；Tencent AI Lab（腾讯人工智能实验室）
深度强化学习（DRL）在复杂的视频游戏上实现了超人的性能（例如，星际争霸II和Dota II）。然而，目前的DRL系统仍然受到多智能体协调，稀疏奖励，随机环境等的挑战。为了解决这些挑战，我们采用了足球视频游戏，例如，Google Research Football（GRF）作为我们的测试平台，开发了一个端到端的基于学习的AI系统（表示为TiKick）来完成这项具有挑战性的任务。在这项工作中，我们首先从联盟训练中获得的单智能体专家的自我比赛中生成了一个大型重放数据集。然后，我们开发了一个分布式学习系统和新的离线算法，从固定的单智能体数据集中学习强大的多智能体AI。据我们所知，Tikick是第一个基于学习的人工智能系统，可以接管多智能体谷歌研究足球完整游戏，而以前的工作可以控制单个智能体或在玩具学术场景上进行实验。大量的实验进一步表明，我们的预训练模型可以加速现代多智能体算法的训练过程，我们的方法在各种学术场景中达到了最先进的性能。
2021-11-30 cs.AI
On Stateful Value Factorization in Multi-Agent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Khoury College of Computer Sciences（科里计算机科学学院）；Northeastern University（东北大学）
针对多智能体值分解中理论与实现不匹配及架构继承问题，论文分析有状态分解并提出 DuelMIX，通过独立的逐智能体效用估计器提升性能与表达能力。
2024-09-09 cs.AI
Coach-Player Multi-Agent Reinforcement Learning for Dynamic Team Composition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Toronto（多伦多大学）；Nvidia（英伟达）；California Institute of Technology（加州理工学院）
在现实世界的多智能体系统中，具有不同能力的智能体可以加入或离开，而不会改变团队的总体目标。协调具有这种动态组合的团队是具有挑战性的：最佳团队策略随组合而变化。我们提出COPA，教练球员的框架来解决这个问题。我们假设教练对环境有全局的看法，并通过分配个人策略来协调只有局部看法的球员。具体而言，我们1）采用注意力机制的教练和球员; 2）提出了一个可变的目标，定期学习;和3）设计了一个自适应的沟通方法，让教练决定何时与球员沟通。我们验证我们的方法上的资源收集任务，救援游戏，和星际争霸微观管理任务。我们展示了zero-shot泛化到新的团队组合。我们的方法实现了可比或更好的性能比设置，所有玩家都有一个完整的环境视图。此外，我们看到，即使教练使用自适应沟通策略沟通的时间只有13%，性能仍然很高。
2021-09-03 cs.AI
Society of Mind Meets Real-Time Strategy: A Hierarchical Multi-Agent Framework for Strategic Reasoning
Seoul National University（首尔国立大学）
针对LLM在实时策略游戏中长时程决策的不足，提出分层多智能体框架HIMA，通过战略规划器协调专门模仿学习智能体，在SC2测试平台TEXTSCII-ALL上超越现有方法，提升战略清晰度与适应性。
2025-08-08 cs.AI
TacticCraft: Natural Language-Driven Tactical Adaptation for StarCraft II
Institute of Automation, Chinese Academy of Sciences, China（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences, China（中国科学院大学人工智能学院）；Tencent AI Lab, Shenzhen, China（腾讯AI实验室）；Nanjing Artificial Intelligence Research of IA, China（南京人工智能研究院）
TacticCraft提出基于适配器的方法，通过冻结DI-Star策略网络并附加以战术张量为条件的轻量级适配器模块，结合KL散度约束训练，实现对《星际争霸II》智能体在侵略性、扩张和技术偏好等维度的灵活战术控制，且计算开销极小。
2025-07-21 cs.AI
SwarmBrain: Embodied agent for real-time strategy game StarCraft II via large language models
AI Team, BMW Archermind Technology Company (BATW, BMW Group)（宝马Archermind科技公司AI团队（BATW，宝马集团））
本研究针对LLM在实时策略游戏中的效能问题，提出由宏观策略矩阵和快速反射网络组成的SwarmBrain智能体，在《星际争霸II》中操控虫族击败了不同难度的电脑人族对手。
2024-01-31 cs.AI
MARL-GPT: Foundation Model for Multi-Agent Reinforcement Learning
MIRAI \& Innopolis University Moscow Russia；MIRAI \& Innopolis University
本文提出MARL-GPT，一种基于Transformer的多任务模型，能通过离线强化学习在不同多智能体环境中高效学习，无需任务特定调优，实验证明其在多个挑战性任务中表现优异。
2026-04-07 cs.AI
Revisiting Some Common Practices in Cooperative Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）；Shanghai Qi Zhi Institute（上海期智研究院）
协作多智能体强化学习（MARL）的许多进展都基于两个共同的设计原则：值分解和参数共享。一个典型的MARL算法的这种方式分解成一个集中的Q-函数的局部Q-网络的参数共享代理。这样的算法范式实现了集中式训练和分散式执行（CTDE），并在实践中实现了有效的学习。尽管有这些优点，我们还是重新审视了这两个原则，并表明在某些情况下，例如，具有高度多模态的奖励景观、价值分解和参数共享的环境可能是有问题的，并导致不期望的结果。相比之下，策略梯度（PG）方法与个人政策可证明收敛到最优解，在这些情况下，这部分地支持了一些最近的经验观察，PG可以有效地在许多MARL测试床。受我们的理论分析的启发，我们提出了实施多代理PG算法的实用建议，无论是高回报还是不同的紧急行为，并在各种领域，从简化的矩阵和网格世界游戏到复杂的基准，如星际争霸多代理挑战赛和谷歌研究足球经验验证我们的研究结果。我们希望我们的见解可以使社区受益，从而开发更通用，更强大的MARL算法。请访问我们的项目网站https://sites.google.com/view/revisiting-marl。
2022-08-07 cs.AI
Multi-agent Policy Optimization with Approximatively Synchronous Advantage Estimation
Xi’an Jiaotong University（西安交通大学）
协作多智能体任务要求智能体推断出自己的贡献与共享的全局奖励，称为信用分配的挑战。基于策略的多智能体强化学习解决这一挑战的一般方法为个体智能体引入微分价值函数或优势函数。在多智能体系统中，需要对不同智能体的策略进行联合评估。为了同步更新策略，这样的价值函数或优势函数也需要同步求值。然而，在现有的方法中，价值函数或优势函数使用异步评估的反事实联合行动，从而遭受自然的估计偏差。在这项工作中，我们提出了近似同步优势估计。我们首先推导出边际优势函数，从单智能体优势函数扩展到多智能体系统。此外，我们引入了一个策略近似的同步优势估计，并打破了多智能体的策略优化问题分解成多个子问题的单智能体的策略优化。我们的方法相比，基线算法的星际争霸多智能体的挑战，并显示出最好的性能上的大多数任务。
2021-05-08 cs.AI cs.LG
NeuroPAL: Punctuated Anytime Learning with Neuroevolution for Macromanagement in Starcraft: Brood War
Computer Science Department（计算机科学系）；Connecticut College（康涅狄格学院）
本研究提出融合NEAT与PAL的神经进化框架NeuroPAL，通过高低保真训练评估交替提升样本效率，在星际争霸宏观管理任务中训练时间减半，还涌现出人类高手级策略，证明结构化评估可增强神经进化在复杂RTS环境的效果。
2025-06-12 cs.AI
Offline Pre-trained Multi-Agent Decision Transformer: One Big Sequence Model Tackles All SMAC Tasks
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；Shanghai Jiao Tong University（上海交通大学）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
离线强化学习利用之前收集的离线数据集来学习最佳策略，而无需访问真实环境。这样的范例也是可取的多智能体强化学习（MARL）的任务，考虑到代理之间的交互和环境。然而，在MARL中，离线预训练与在线微调的范例尚未被研究，也没有离线MARL研究的数据集或基准。在本文中，我们通过提供大规模的数据集，方便的研究，并使用它们来检查使用的决策Transformer在MARL的上下文中。我们研究了MARL离线预训练在以下三个方面的推广：1）在单个智能体和多个智能体之间，2）从离线预训练到在线微调，3）多个下游任务的Few-Shot和zero-shot能力。我们首先介绍了第一个离线MARL数据集与不同的质量水平的基础上的StarCraftII环境，然后提出了新的架构的多智能体决策Transformer（MADT）有效的离线学习。MADT利用了Transformer的序列建模能力，并将其与离线和在线MARL任务无缝集成。MADT的一个关键好处是，它可以学习可推广的策略，这些策略可以在不同任务场景下在不同类型的代理之间传输。在星际争霸II离线数据集上，MADT的表现优于最先进的离线RL基线。当应用于在线任务时，预训练的MADT显着提高了样本效率，并且在少短和zero-shot情况下都具有很强的性能。据我们所知，这是第一项研究和证明离线预训练模型在MARL中的样本效率和泛化能力增强方面的有效性的工作。
2022-06-10 cs.AI cs.LG cs.MA
JaxMARL: Multi-Agent RL Environments and Algorithms in JAX
University of Oxford（牛津大学）；Universitat Politècnica de Catalunya（巴塞罗那理工大学）；University College London（伦敦大学学院）；University of Maryland（马里兰大学）；Technical University Berlin（柏林技术大学）
JaxMARL是首个基于Python的开源库，结合GPU效率支持大量常用多智能体强化学习环境和基线算法，实验显示其训练流程在时间上比现有方法快14倍，多轮训练时快12500倍，缓解了多智能体强化学习领域的评估危机。
2026-07-04 cs.AI cs.LG cs.MA
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
Deep Coordination Graphs
Oxford University（牛津大学）
本文介绍了用于协作多智能体强化学习的深度协调图（DCG）。DCG罢工之间的灵活的代表能力和泛化的联合价值函数的因素，根据协调图到代理对之间的回报。该值可以通过沿着图传递的本地消息来最大化，这允许使用Q学习端到端地训练价值函数。使用深度神经网络来近似支付函数，该深度神经网络采用参数共享和低秩近似来显著提高样本效率。我们表明，DCG可以解决捕食者-猎物的任务，突出了相对过度概括的病理，以及具有挑战性的星际争霸II微观管理任务。
2020-06-23 cs.AI cs.LG cs.MA
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University（南京大学）
多智能体强化学习（MARL）算法通过利用集中式训练和分散式执行（CTDE）范式，近年来取得了可喜的进展。然而，现有的MARL算法仍然受到样本效率低下的问题。在本文中，我们提出了一个简单而有效的方法，称为基于状态的情景记忆（SEM），以提高样本效率在MARL。SEM采用情景记忆（EM）对MARL中CTDE的集中训练过程进行监督。据我们所知，SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM（SAEM），后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛（SMAC）上的实验结果表明，在MARL中引入情景记忆可以提高样本效率，与SAEM相比，SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
World Models for Policy Refinement in StarCraft II
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统重点实验室，自动化研究所，中国科学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）
StarWM为《星际2》政策细化设计的世界模型，通过预测未来观察和结构化文本表示提升策略决策性能。
2026-08-27 cs.AI
AVA: Attentive VLM Agent for Mastering StarCraft II
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
AVA提出一个支持多智能体强化学习和视觉语言模型的星际2基准，通过RGB图像、自然语言观察和结构化状态信息，比较训练和零样本方法在21种场景中的表现，揭示训练效率、性能上限、可解释性和部署成本的权衡。
2026-05-11 cs.AI cs.MA
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
Nucleolus Credit Assignment for Effective Coalitions in Multi-agent Reinforcement Learning
University of South Australia（南澳大学）
本文提出基于核子的信用分配方法，使智能体自主形成多个小联盟完成复合任务，在理论和实验上均展现出更快的收敛速度与更优性能。
2025-03-01 cs.AI cs.MA
Local Advantage Networks for Cooperative Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
LAN 算法利用 dueling 架构和个体优势函数学习去中心化最佳响应策略，并通过与智能体数量无关的集中式评论家稳定训练，在 StarCraft II 基准上达到最先进性能且高度可扩展。
2023-10-26 cs.AI cs.LG
Divergence-Regularized Multi-Agent Actor-Critic
Peking University（北京大学）
熵正则化是强化学习中的一种常用方法。虽然它有很多优点，但它改变了原始马尔可夫决策过程（MDP）的RL目标。虽然发散正则化被提出来解决这个问题，但它不能简单地应用于协作多智能体强化学习（MARL）。本文研究了协作MARL中的发散正则化问题，并提出了一种新的非策略协作MARL框架，发散正则化的多智能体行动者-评论者（DMAC）。理论上，我们推导出了DMAC的更新规则，该规则是自然偏离策略的，并且保证了原始MDP和发散正则化MDP的单调策略改进和收敛。我们还给出了收敛策略与原MDP中最优策略之间的差异的界。DMAC是一个灵活的框架，可以与许多现有的MARL算法相结合。经验上，我们评估DMAC在教学随机游戏和星际争霸多智能体挑战赛，并表明DMAC大大提高了现有的MARL算法的性能。
2022-06-21 cs.AI cs.LG cs.MA
Counterfactual Multi-Agent Policy Gradients
University of Oxford（牛津大学）
针对协作多智能体系统的去中心化策略学习及信用分配问题，提出反事实多智能体策略梯度方法COMA，采用中心化评论家加去中心化演员架构，通过反事实基线高效分配信用，在星际争霸微操作任务中性能优于同类方法且比肩顶尖中心化控制器。
2024-12-11 cs.AI cs.MA
Collaborative AI Teaming in Unknown Environments via Active Goal Deduction
The George Washington University（乔治·华盛顿大学）；Northeastern University（东北大学）
针对与目标未知的智能体协作的挑战，提出利用核密度贝叶斯逆向学习进行主动目标推导并结合预训练策略实现零样本适应的组队框架，显著提升了协作性能。
2024-03-22 cs.AI cs.MA
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
$K$-Level Policy Gradients for Multi-Agent Reinforcement Learning
Department of Computer Science, TU Darmstadt（图恩-达姆施塔特技术大学计算机科学系）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（图恩-达姆施塔特技术大学认知科学中心）；Center for Artificial Intelligence and Data Science, University of Würzburg（弗赖堡大学人工智能与数据科学中心）
提出KPG方法，通过递归更新智能体策略以解决深度MARL中的协调失败问题，理论证明其单调收敛至局部纳什均衡，并在StarCraft II和多智能体MuJoCo中表现优异。
2025-09-15 cs.AI cs.LG
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
许多现实世界的问题，如网络数据包路由和城市交通控制，自然建模为多智能体强化学习（RL）问题。然而，现有的多智能体RL方法通常在问题大小方面的规模很差。因此，一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习，最流行的多智能体RL方法，引入了非平稳性，使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法，解决这个问题：1）使用多代理变量的重要性采样自然衰减过时的数据和2）条件每个代理的价值函数上的指纹，消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实，这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
VDN和QMIX是两种流行的基于值的协作MARL算法，它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易，但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明，这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说，我们提出了一种新的MARL方法，称为通用价值探索（UneVEn），学习一组相关的任务，同时线性分解的通用后继功能。利用已经解决的相关任务的策略，可以改进所有Agent的联合探索过程，帮助它们实现更好的协调。一组探索游戏的经验结果，具有挑战性的合作捕食者-猎物任务，需要显着的代理之间的协调，和星际争霸II微观管理基准显示，UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
Action Semantics Network: Considering the Effects of Actions in Multiagent Systems
Tianjin University（天津大学）；Nanjing University（南京大学）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
在多智能体系统（MAS）中，每个智能体做出单独的决策，但所有这些决策都对系统的演化有全局贡献。MAS中的学习是困难的，因为每个代理的动作选择必须在其他共同学习代理的存在下进行。此外，环境的随机性和不确定性随着代理人数量的增加而呈指数增长。以前的作品借用各种多智能体协调机制到深度学习架构，以促进多智能体协调。然而，没有一个明确考虑代理之间的动作语义，不同的动作对其他代理的影响是不同的。在本文中，我们提出了一种新的网络体系结构，命名为动作语义网络（ESTA），明确表示代理之间的动作语义。基于Agent之间的动作语义，利用神经网络刻画不同动作对其他Agent的影响。它可以很容易地与现有的深度强化学习（DRL）算法相结合，以提高其性能。在星际争霸II微管理和神经MMO上的实验结果表明，与几种网络架构相比，DRL显著提高了最先进的DRL方法的性能。
2020-01-16 cs.AI cs.MA
Decomposed Soft Actor-Critic Method for Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）
深度强化学习方法在许多具有挑战性的协作多智能体任务中表现出了出色的性能。多智能体价值函数分解和多智能体策略梯度是两个主要的研究方向。在本文中，我们提出了一个新的分解多智能体软演员-评论家（mSAC）的方法，它有效地结合了上述两种方法的优点。主要模块包括分解Q网络结构、离散概率策略和反事实优势函数（optinal）。从理论上讲，mSAC支持有效的离策略学习和解决信用分配问题部分在离散和连续的行动空间。在星际争霸II微观管理合作多智能体基准测试中，我们实证研究了mSAC对其变体的性能，并分析了不同组件的影响。实验结果表明，mSAC在大多数任务上的渐近性能指标明显优于基于策略的COMA方法，并与基于SOTA值的Qmix方法具有竞争力.此外，mSAC在大动作空间任务（如2c_vs_64zg和MMM 2）上取得了相当好的效果。
2021-05-08 cs.AI cs.MA stat.ML
TStarBot-X: An Open-Sourced and Comprehensive Study for Efficient League Training in StarCraft II Full Game
Department of AI Platform, Tencent（腾讯AI平台部）
《星际争霸》是职业赛事中难度最高的电子竞技游戏之一，有着悠久的历史，吸引了一代又一代的玩家和粉丝，也引起了人工智能研究的强烈关注。最近，谷歌的DeepMind宣布了AlphaStar，这是星际争霸II中的一个大师级AI，可以使用类似的动作空间和操作与人类一起玩。在本文中，我们介绍了一种新的AI代理，名为TStarBot-X，它是在计算量较少的情况下训练的，可以与专家玩家进行竞争。TStarBot-X利用了AlphaStar中引入的重要技术，并受益于实质性的创新，包括新的联盟训练方法，新颖的多智能体角色，规则引导的策略搜索，稳定的策略改进，轻量级神经网络架构，以及模仿学习中的重要性采样等。AlphaStar方法的忠实重新实现不能成功，并且所提出的技术对于确保TStarBot-X的竞争性能是必要的。我们揭示了与AlphaStar中提到的技术细节互补的所有技术细节，显示了联盟训练中最敏感的部分，强化学习和模仿学习会影响代理的性能。最重要的是，这是一项开源研究，所有代码和资源（包括训练的模型参数）都可以通过\url{https://github.com/tencent-ailab/tleague_projpage}公开访问。我们希望这项研究可以为学术和工业界解决像星际争霸这样的复杂问题的未来研究带来益处，也可以为所有星际争霸II玩家和其他人工智能智能体提供一个陪练伙伴。
2021-04-30 cs.AI cs.LG
Exploiting Semantic Epsilon Greedy Exploration Strategy in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
多智能体强化学习（MARL）可以对许多现实世界的应用进行建模。然而，许多MARL方法依赖于贪婪的探索，这可能会阻碍在困难的情况下访问有利的状态。在本文中，我们提出了一种新的方法QMIX（SEG）处理MARL。它利用价值函数分解方法QMIX训练每Agent策略和一种新的语义外延贪婪（SEG）探索策略。SEG是对传统的贪婪搜索策略的简单扩展，但实验表明它可以大大提高MARL的性能。我们首先将动作聚类成具有相似效果的动作组，然后在一个双层的贪婪探索层次结构中使用这些组进行动作选择。我们认为，SEG有利于语义探索，探索在空间组的行动，这比原子行动具有更丰富的语义意义。实验表明，QMIX（SEG）大大优于QMIX，并导致强大的性能竞争力与当前国家的最先进的MARL方法在星际争霸多智能体挑战赛（SMAC）的基准。
2022-01-27 cs.AI cs.LG cs.MA
Never Explore Repeatedly in Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Harvard University（哈佛大学）；Washington University (St. Louis)（华盛顿大学（圣路易斯））
针对多智能体强化学习中因神经统计近似器表达能力有限导致的重复探索问题，提出动态奖励缩放方法，稳定已探索区域内在奖励波动、促进广泛探索，在稀疏奖励的严苛环境中提升了性能。
2023-08-19 cs.AI cs.LG cs.MA
Towards Understanding Cooperative Multi-Agent Q-Learning with Value Factorization
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
价值因子分解是一种在协作环境中扩展多智能体强化学习的流行和有前途的方法，它平衡了学习的可扩展性和价值函数的表示能力。然而，这种方法的理论理解是有限的。在本文中，我们形式化的多智能体拟合Q-迭代框架分析因子化多智能体Q-学习。基于这个框架，我们调查线性值分解，并揭示了多智能体Q学习与这个简单的分解隐含地实现了一个强大的反事实信用分配，但可能不会收敛在某些设置。通过进一步的分析，我们发现，在政策上的训练或更丰富的联合价值函数类可以改善其局部或全局收敛性能。最后，为了支持我们在实际实现中的理论含义，我们对最先进的深度多智能体Q-学习算法在教学示例和广泛的星际争霸II单元微观管理任务上进行了实证分析。
2021-10-31 cs.AI cs.LG cs.MA
StarCraft II: A New Challenge for Reinforcement Learning
DeepMind；Blizzard（暴雪娱乐）
介绍了一个基于《星际争霸II》游戏的强化学习环境SC2 LE（StarCraft II Learning Environment）。这一领域对强化学习提出了新的巨大挑战，代表了比大多数先前工作中考虑的更困难的一类问题。这是一个多主体问题，多个玩家相互作用;由于部分观察到的地图，信息不完善;它有一个大的动作空间，涉及数百个单元的选择和控制;它有一个大的状态空间，必须只从原始输入特征平面观察;它延迟了信用分配，需要数千步的长期策略。我们描述了星际争霸II领域的观察，动作和奖励规范，并提供了一个开源的基于Python的接口与游戏引擎进行通信。除了主要的游戏地图，我们还提供了一套迷你游戏，专注于星际争霸II游戏的不同元素。对于主要的游戏地图，我们还提供了来自人类专家玩家的游戏重播数据的附带数据集。我们给出了从这些数据训练的神经网络的初始基线结果，以预测游戏结果和玩家行为。最后，我们给出了应用于星际争霸II领域的规范深度强化学习代理的初始基线结果。在迷你游戏中，这些智能体学习如何达到与新手玩家相当的游戏水平。然而，当在主要游戏上训练时，这些代理无法取得重大进展。因此，SC2 LE为探索深度强化学习算法和架构提供了一个新的和具有挑战性的环境。
2017-08-16 cs.AI cs.LG
Predicting Multi-Agent Specialization via Task Parallelizability
Princeton University（普林斯顿大学）；University of Edinburgh（爱丁堡大学）
本文基于阿姆达尔定律提出一个闭式界限，仅用任务并发度和团队规模预测多智能体专业化何时优于通才策略，并在SMAC、MPE和Overcooked-AI环境中验证其预测与诊断价值。
2025-09-17 cs.AI cs.MA
Heterogeneous-Agent Mirror Learning: A Continuum of Solutions to Cooperative MARL
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Kyoto University（京都大学）；Peking University（北京大学）
智能机器之间协作的必要性使得协作多智能体强化学习（MARL）在人工智能（AI）研究领域得到了广泛的应用。然而，许多研究工作都集中在开发实用的MARL算法，其有效性只进行了实证研究，从而缺乏理论保证。最近的研究表明，MARL方法往往实现的性能是不稳定的奖励单调性或次优收敛。为了解决这些问题，在本文中，我们介绍了一种新的框架命名为异构代理镜像学习（HAML），提供了一个通用的模板MARL算法设计。我们证明了来自HAML模板的算法满足所需的性能的单调改善的联合奖励和收敛到纳什均衡。我们通过证明目前最先进的合作MARL算法，HATRPO和HAPPO，实际上是HAML实例，验证了HAML的实用性。接下来，作为我们的理论的自然结果，我们提出了两个著名的RL算法，HAA2C（A2C）和HADDPG（DDPG）的HAML扩展，并证明了它们对StarCraftII和多Agent MuJoCo任务的强基线的有效性。
2022-08-02 cs.AI cs.MA
MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在现实世界中，许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题，许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解，其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为，例如VDN（值分解网络）和QMIX。然而，这些基线往往忽略了情况的随机性。我们提出了MMD-MIX，一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外，为了提高数据采样效率，我们受到了REM（随机混合）的启发，REM是一种鲁棒的RL算法，将随机性显式引入MMD-MIX。实验表明，MMD-MIX优于星际争霸多智能体挑战赛（SMAC）环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
