StarCraft II: A New Challenge for Reinforcement Learning
DeepMind；Blizzard（暴雪娱乐）
介绍了一个基于《星际争霸II》游戏的强化学习环境SC2 LE（StarCraft II Learning Environment）。这一领域对强化学习提出了新的巨大挑战，代表了比大多数先前工作中考虑的更困难的一类问题。这是一个多主体问题，多个玩家相互作用;由于部分观察到的地图，信息不完善;它有一个大的动作空间，涉及数百个单元的选择和控制;它有一个大的状态空间，必须只从原始输入特征平面观察;它延迟了信用分配，需要数千步的长期策略。我们描述了星际争霸II领域的观察，动作和奖励规范，并提供了一个开源的基于Python的接口与游戏引擎进行通信。除了主要的游戏地图，我们还提供了一套迷你游戏，专注于星际争霸II游戏的不同元素。对于主要的游戏地图，我们还提供了来自人类专家玩家的游戏重播数据的附带数据集。我们给出了从这些数据训练的神经网络的初始基线结果，以预测游戏结果和玩家行为。最后，我们给出了应用于星际争霸II领域的规范深度强化学习代理的初始基线结果。在迷你游戏中，这些智能体学习如何达到与新手玩家相当的游戏水平。然而，当在主要游戏上训练时，这些代理无法取得重大进展。因此，SC2 LE为探索深度强化学习算法和架构提供了一个新的和具有挑战性的环境。
2017-08-16 cs.AI cs.LG
SMAClite: A Lightweight Environment for Multi-Agent Reinforcement Learning
University of Edinburgh（爱丁堡大学）
本文提出SMAClite，一个与星际争霸II解耦的开源轻量级MARL基准环境，通过实验证明其与SMAC等价，且运行速度和内存表现更优。
2023-05-09 cs.AI cs.LG cs.MA
Multiagent Bidirectionally-Coordinated Nets: Emergence of Human-level Coordination in Learning to Play StarCraft Combat Games
University College London（伦敦大学学院）；Alibaba Group（阿里巴巴集团）
许多人工智能（AI）应用程序通常需要多个智能代理协同工作。智能体通信和协调的有效学习是迈向通用AI不可或缺的一步。在本文中，我们以星际争霸战斗游戏作为案例研究，其中的任务是协调多个智能体作为一个团队击败他们的敌人。为了保持一个可扩展的有效的通信协议，我们引入了一个多智能体双向协调网络（BiCNet Biknet]）与矢量化扩展的演员-评论家制定。我们表明，BiCNet可以处理不同类型的战斗与任意数量的人工智能智能体的双方。我们的分析表明，在没有任何监督（如人类演示或标记数据）的情况下，BiCNet可以学习经验丰富的游戏玩家常用的各种类型的高级协调策略。在我们的实验中，我们在不同的场景下对多个基线评估了我们的方法;它显示了最先进的性能，并具有大规模现实世界应用的潜在价值。
2017-09-14 cs.AI cs.LG
StarCraft II Build Order Optimization using Deep Reinforcement Learning and Monte-Carlo Tree Search
Missouri University of Science and Technology（密苏里科技大学）
《星际争霸2》的实时战略游戏已经被谷歌的DeepMind视为强化学习的挑战。本研究探讨了使用基于蒙特卡罗树搜索算法的智能体来优化星际争霸II中的构建顺序，并讨论了如何通过将其与深度强化学习神经网络相结合来进一步提高其性能。使用蒙特卡罗树搜索完成的实验结果仅使用非常有限的时间和计算资源就达到了与新手玩家相似的分数，这为通过将其与深度强化学习的使用相结合来实现与人类专家相当的分数铺平了道路。
2020-06-12 cs.AI cs.LG
Two-Bridge: Exclusive Objectives and Extended Horizon StarCraft II Benchmark
Pennsylvania State University（宾夕法尼亚州立大学）
为解决星际争霸II全游戏与迷你游戏之间的复杂度鸿沟，提出双桥地图套件作为中间基准，通过禁用经济机制隔离远程导航和微操战术技能，实现低计算成本下的连贯机动与交战行为学习。
2026-06-23 cs.AI cs.LG
Value-Decomposition Multi-Agent Actor-Critics
University of Virginia（弗吉尼亚大学）
利用额外的状态信息是多智能体强化学习（MARL）的一个研究热点。QMIX使用非负函数近似器表示联合动作值，并在多智能体基准测试（星际争霸II微观管理任务）上实现了迄今为止的最佳性能。然而，我们的实验表明，在某些情况下，QMIX与A2 C不兼容，A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡，我们将值分解扩展到与A2 C兼容的演员-评论家，并提出了一种新的演员-评论家框架，值分解演员-评论家（VDACs）。我们评估VDACs的星际争霸II微观管理任务的测试平台上，并表明，所提出的框架提高了其他演员批评的方法的中位数性能。此外，我们使用一组烧蚀实验，以确定的关键因素，有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Multi-Agent Collaboration via Reward Attribution Decomposition
University of California, Berkeley（加州大学伯克利分校）；Unveristy of California, San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Facebook AI Research（Facebook人工智能研究院）
多智能体强化学习（MARL）的最新进展已经在Quake 3和Dota 2等游戏中实现了超人的表现。不幸的是，这些技术需要比人类多几个数量级的训练回合，并且即使在同一个游戏中也不能推广到新的代理配置。在这项工作中，我们提出了协作Q学习（CollaQ），实现了最先进的性能在星际争霸多智能体的挑战，并支持特设团队发挥。我们首先制定多智能体协作作为一个联合优化奖励分配，并表明每个代理有一个近似的最优策略，分解成两部分：一部分，只依赖于代理自己的状态，和其他部分，是与附近的代理的状态。根据这一新的发现，CollaQ将每个智能体的Q函数分解为一个自我项和一个交互项，并通过多智能体奖励归因（MARA）损失来规范训练。CollaQ在各种星际争霸地图上进行了评估，结果表明它优于现有的最先进的技术（即，QMIX、QTRAN和VDN），在相同样本数的情况下将胜率提高40%。在更具挑战性的特设团队游戏设置中（即，重新加权/添加/删除单位，无需重新训练或微调），CollaQ比之前的SoTA性能高出30%以上。
2020-10-16 cs.AI cs.LG cs.MA
Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2
SRI International（斯坦福国际研究院）
应对深度终身强化学习（LRL）挑战的一种方法是仔细管理智能体的学习经验，学习（不忘记）并构建内部元模型（任务，环境，智能体和世界）。生成重放（GR）是一种生物启发的重放机制，它通过从随时间更新的内部生成模型中提取的自标记示例来增强学习体验。我们提出了一个用于LRL的GR版本，它满足了两个必要条件：（a）使用深度RL学习的策略潜在表示的内省密度建模，以及（b）无模型端到端学习。在本文中，我们研究了无模型GR的三种深度学习架构，从一个简单的GR开始，添加成分以实现（a）和（b）。我们评估我们提出的算法在三个不同的情况下，包括任务的星际争霸2和Minigrid域。我们报告了几个关键的研究结果，显示了设计选择对定量指标的影响，包括迁移学习，对看不见的任务的概括，任务改变后的快速适应，任务专家的表现，以及灾难性遗忘。我们观察到，我们的GR防止了深度RL代理的潜在向量空间的特征到动作映射的漂移。我们还显示了在建立终身学习指标的改进。我们发现，一个小的随机重放缓冲区显着提高了训练的稳定性。总的来说，我们发现“隐藏重放”（一种众所周知的类增量分类架构）是最有前途的方法，它推动了GR中最先进的LRL，并观察到睡眠模型的架构对于提高性能可能比使用的重放类型更重要。我们的实验只需要6%的训练样本，就可以在大多数星际争霸2场景中达到80-90%的专家性能。
2022-08-16 cs.AI cs.LG
StarCraft Micromanagement with Reinforcement Learning and Curriculum Transfer Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
实时策略游戏是近年来游戏人工智能研究的一个重要领域。本文提出了一种强化学习和课程迁移学习的方法来控制星际微观管理中的多个单元。我们定义了一个有效的状态表示，它打破了游戏环境中的大状态空间所造成的复杂性。然后提出了一种参数共享的多智能体梯度下降Sarsa（λ）算法（PS-MAGDS）来对单元进行训练。我们的单位之间共享学习政策，以鼓励合作行为。我们使用一个神经网络作为函数逼近器来估计动作-价值函数，并提出一个奖励函数来帮助单位平衡他们的移动和攻击。此外，还使用了一种迁移学习方法将我们的模型扩展到更困难的场景，加快了训练过程，提高了学习性能。在小规模的场景中，我们的单位成功地学会了战斗，并以100%的胜率击败了内置的AI。在大规模场景下，课程迁移学习方法被用来逐步训练一组单元，并在目标场景下显示出优于一些基线方法的性能。通过强化学习和课程迁移学习，我们的单位能够在星际争霸微观管理场景中学习适当的策略。
2018-04-03 cs.AI cs.LG cs.MA
AlphaStar Unplugged: Large-Scale Offline Reinforcement Learning
Google DeepMind（谷歌DeepMind）；University of Virgina（弗吉尼亚大学）
本文基于暴雪海量星际争霸II对战数据构建AlphaStar Unplugged离线强化学习基准，提出多种基线智能体，并仅用离线数据实现90%胜率，显著推进离线强化学习研究。
2023-08-07 cs.AI cs.LG
Efficient Reinforcement Learning for StarCraft by Abstract Forward Models and Transfer Learning
注入人类知识是加速强化学习（RL）的有效途径。然而，这些方法都是探索不足。本文提出了我们的发现，一个抽象的前向模型（思维游戏（TG））结合迁移学习（TL）是一种有效的方法。我们把星际争霸2作为我们的学习环境。在设计的TG的帮助下，智能体可以在64x64地图上学习99%的胜率，而在一台商用机器上只需要1.08小时。我们还表明，TG方法并不像它被认为是限制性的。它可以与粗略设计的TG一起工作，并且在环境变化时也很有用。与以往的基于模型的强化学习相比，TG是更有效的。我们还提出了一个TG假设，给出了不同保真度水平的TG的影响。对于具有不相等的状态和动作空间的真实游戏，我们提出了一种新的XfrNet，其有效性得到了验证，同时对作弊的10级AI实现了90%的胜率。我们认为，TG方法可能会揭示进一步研究有效的RL与人类知识。
2021-11-02 cs.AI cs.LG stat.ML
Grounding Natural Language Commands to StarCraft II Game States for Narration-Guided Reinforcement Learning
U.S. Army Research Laboratory（美国陆军研究实验室）
虽然深度强化学习技术已经使智能体能够成功地学习执行许多以前无法学习的任务，但这些技术仍然容易受到长期存在的{ \em奖励稀疏}问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此，星际争霸II是一款实时战略游戏，只有在游戏结束时才会给予奖励，而游戏通常很长。虽然这个问题可以通过奖励塑造来解决，但这种方法通常需要具有专业知识的人类专家。通过自然语言叙事的更容易接近的范式，使奖励塑造的愿景的启发下，我们调查在多大程度上，我们可以通过接地这些叙事的具体目标的状态。我们提出了一种使用多输入深度神经网络的相互嵌入模型，该模型将一系列自然语言命令投影到与相应目标状态相同的高维表示空间中。我们表明，使用这个模型，我们可以学习一个嵌入空间与可分离的和不同的集群，准确地映射自然语言命令到相应的游戏状态。我们还讨论了这个模型如何允许使用叙述作为一个强大的形式的奖励塑造，以提高RL的性能和效率。
2019-04-24 cs.CL cs.LG cs.MM
Episodic Exploration for Deep Deterministic Policies: An Application to StarCraft Micromanagement Tasks
Facebook AI Research（Facebook人工智能研究院）
我们认为从实时战略游戏星际争霸的场景作为新的基准强化学习算法。我们提出了微观管理任务，这提出了短期的问题，低层次的控制军队成员在战斗中。从强化学习的角度来看，这些场景是具有挑战性的，因为状态-动作空间非常大，并且因为状态-动作评估函数没有明显的特征表示。我们描述了我们的方法来解决微观管理的情况下，深神经网络控制器从原始状态的游戏引擎提供的功能。此外，我们提出了一个启发式强化学习算法，它结合了直接探索的政策空间和反向传播。该算法允许使用确定性策略收集用于学习的轨迹，这看起来比例如ε-贪婪探索更有效。实验表明，使用该算法，我们成功地学习了多达15个代理的军队的情况下，其中Q学习和REINFORCE斗争的非平凡策略。
2016-11-26 cs.AI cs.LG
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University（北京大学工学院）；State Key Laboratory of Turbulence and Complex Systems（湍流与复杂系统国家重点实验室）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于对手智能体的强化学习环境，用于战争迷雾环境下的追逃博弈，具有重要的科学意义和实际应用价值.最流行的学习环境之一，星际争霸，在这里采用和相关的小游戏进行分析，以确定目前的限制，训练对手的代理。的主要贡献包括分析的潜在性能的代理，将控制和微分博弈理论到特定的强化学习环境，并通过扩展当前的星际争霸迷你游戏的对手代理挑战（SAAC）环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说，拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是，可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文考虑了多智能体强化学习（MARL）任务，其中智能体在一集结束时获得共享的全局奖励。这种奖励的延迟性质影响了代理人在中间时间步评估其行为质量的能力。本文的重点是开发方法来学习情节奖励的时间重新分配，以获得密集的奖励信号。解决这样的MARL问题需要解决两个挑战：识别（1）沿着事件长度（沿着时间）的状态的相对重要性，以及（2）在任何单个时间步（在代理之间）个体代理状态的相对重要性。在本文中，我们介绍了代理时间注意奖励再分配情节多智能体强化学习（AREL），以解决这两个挑战。AREL使用注意力机制来表征动作对沿轨迹的状态转换的影响（时间注意力），以及每个代理在每个时间步如何受到其他代理的影响（代理注意力）。由AREL预测的重新分配的奖励是密集的，并且可以与任何给定的MARL算法集成。我们从粒子世界环境和星际争霸多智能体挑战赛的挑战性任务来评估AREL。与三种最先进的奖励再分配方法相比，AREL在粒子世界中获得了更高的奖励，并提高了星际争霸的胜率。我们的代码可在https://github.com/baicenxiao/AREL上获得。
2022-01-12 cs.AI cs.LG cs.MA
On Efficient Reinforcement Learning for Full-length Game of StarCraft II
Nanjing University（南京大学）
星际争霸2（SC2）对强化学习（RL）提出了巨大的挑战，其主要困难包括巨大的状态空间、变化的动作空间和较长的时间范围。在这项工作中，我们研究了一套RL技术的全长游戏星际争霸2。我们研究了一个层次化的强化学习方法，包括提取的宏动作和一个层次化的神经网络结构。我们研究了课程迁移训练过程和训练代理上的一台机器上有4个GPU和48个CPU线程。在64x64的地图上，使用限制性单位，我们对1级内置AI的胜率达到99%。通过课程迁移学习算法和混合作战模型，我们对最难的非作弊关卡内置AI（7级）取得了93%的胜率。在本文的扩展版本中，我们改进了我们的体系结构，训练智能体对抗作弊级别的AI，并实现了对8级，9级和10级AI的获胜率分别为96%，97%和94%。我们的代码在https://github.com/liuruoze/HierNet-SC2。为了给我们的工作以及研究和开源社区提供一个参考AlphaStar的基线，我们复制了一个缩小版的迷你AlphaStar（mAS）。mAS的最新版本是1.07，它可以在具有564个动作的原始动作空间上训练。它旨在通过使超参数可调来在单个普通机器上运行训练。然后，我们将我们的工作与使用相同资源的mAS进行比较，并表明我们的方法更有效。迷你AlphaStar的代码在https://github.com/liuruoze/mini-AlphaStar。我们希望我…
2022-09-23 cs.AI cs.LG
On Reinforcement Learning for Full-length Game of StarCraft
Nanjing University（南京大学）
星际争霸2对强化学习提出了巨大的挑战。它的主要困难是巨大的状态和行动空间和长时间的地平线。在本文中，我们研究了星际争霸II的分层强化学习方法。层次结构涉及两个抽象级别。一种是从专家的轨迹中自动提取宏动作，它将动作空间缩小了一个数量级，但仍然有效。另一种是两层分层架构，它是模块化的，易于扩展，使课程从简单的任务转移到更复杂的任务。该结构的强化训练算法也进行了研究。在64x64的地图上，使用限制性单位，我们在难度等级1的内置AI中获得了超过99%的胜率。通过课程迁移学习算法和混合战斗模型，我们可以在两天内使用仅48个CPU核心和8个K40 GPU的单机训练，实现神族对人族最难的非作弊内置AI（7级）的93%以上胜率。它还显示出强大的泛化性能，当测试从未见过的对手，包括作弊水平内置的AI和所有级别的虫族和神族内置的AI。希望本研究能对大规模强化学习的未来研究有所启示。
2019-02-03 cs.AI cs.LG stat.ML
Off-Policy Multi-Agent Decomposed Policy Gradients
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
多智能体策略梯度（MAPG）方法近年来得到了蓬勃发展。然而，有一个显着的性能差异之间的MAPG方法和国家的最先进的多代理价值为基础的方法。在本文中，我们调查的原因，阻碍了MAPG算法的性能，并提出了一个多代理分解的策略梯度方法（DOP）。该方法将价值函数分解的思想引入到多主体行动者-批评者框架中。基于这一思想，DOP支持有效的离策略学习，并解决了离散和连续动作空间中的集中-分散失配和信用分配问题。我们正式表明，DOP批评有足够的代表性能力，以保证收敛。此外，在星际争霸II微观管理基准和多智能体粒子环境上的实证评估表明，DOP显著优于最先进的基于值和基于策略的多智能体强化学习算法。演示视频可在https://sites.google.com/view/dop-mapg/上获得。
2020-10-04 cs.LG cs.MA stat.ML
FCMNet: Full Communication Memory Net for Team-Level Cooperation in Multi-Agent Systems
National University of Singapore（新加坡国立大学）
部分可观测多智能体系统中的分散合作需要智能体之间的有效通信。为了支持这一努力，这项工作的重点是一类问题，全球通信是可用的，但可能是不可靠的，从而排除了不同的通信学习方法。我们介绍了FCMNet，一种基于强化学习的方法，允许代理同时学习a）有效的多跳通信协议和b）一个共同的，分散的政策，使团队级的决策。具体来说，我们提出的方法利用多个方向递归神经网络的隐藏状态作为代理之间的通信消息。使用一个简单的多跳拓扑结构，我们赋予每个代理的能力，接收信息顺序编码的每一个其他代理在每个时间步，从而提高全球合作。我们展示了FCMNet在一组具有挑战性的星际争霸II微观管理任务与共享奖励，以及一个合作的多智能体寻路任务与个人奖励。在那里，我们的比较结果表明，FCMNet在所有星际争霸II微观管理任务中优于最先进的基于通信的强化学习方法，在某些任务中优于价值分解方法。我们进一步研究了FCMNet在现实通信干扰下的鲁棒性，例如随机消息丢失或二进制化消息（即，不可区分的通信信道），以展示FMCNet在各种现实条件下对机器人任务的潜在适用性。
2022-01-31 cs.AI cs.LG cs.MA
TLeague: A Framework for Competitive Self-Play based Distributed Multi-Agent Reinforcement Learning
Tencent Robotics X（腾讯机器人X实验室）；Tsinghua University（清华大学）
基于竞争自玩（CSP）的多智能体强化学习（MARL）近年来取得了惊人的突破。强大的AI在多个基准测试中获得，包括Dota 2，王者荣耀，雷神之锤III，星际争霸II，仅举几例。尽管取得了成功，但MARL训练非常需要数据，通常需要在训练期间从环境中看到数十亿（如果不是数万亿）帧，以便学习高性能代理。这给研究人员或工程师带来了不小的困难，并阻止了MARL在更广泛的现实问题中的应用。为了解决这个问题，在本文中，我们描述了一个框架，称为TLeague，旨在大规模的训练和实现几个主流的CSP-MARL算法。培训可以部署在单个机器或混合机器（CPU和GPU）集群中，其中以云原生方式支持标准Kubernetes。TLeague在执行分布式训练时实现了高吞吐量和合理的扩展。由于采用了模块化设计，该算法也易于扩展，用于解决其他多智能体问题或实现和验证MARL算法。我们在星际争霸II，ViZDoom和Pommerman上进行了实验，以显示TLeague的效率和有效性。该代码是开源的，可在https://github.com/tencent-ailab/tleague_projpage上获得
2020-11-30 cs.AI cs.LG cs.MA
Value Functions Factorization with Latent State Information Sharing in Decentralized Multi-Agent Policy Gradients
the George Washington University（乔治·华盛顿大学）；Purdue University（普渡大学）；KAUST（阿卜杜拉国王科技大学）
针对QMIX单调混合限制及全局信息不足问题，提出LSF-SAC框架，通过变分推断共享潜在状态信息增强值函数分解，在星际争霸II微操任务上超越多种最先进方法。
2023-06-08 cs.LG cs.MA
Energy-based Surprise Minimization for Multi-Agent Value Factorization
University of Toronto（多伦多大学）；Center for Management of Technology & Entrepreneurship（技术管理与创业中心）；RBC Capital Markets（加拿大皇家银行资本市场）
多智能体强化学习（MARL）通过利用价值因子分解方法，在以集中的方式训练分散的策略方面取得了显著的成功。然而，解决跨虚假状态和近似偏差的惊喜仍然是多智能体设置的开放问题。为了实现这一目标，我们引入了基于能量的混合器（EMIX），一种利用跨代理的能量最大限度地减少惊喜的算法。我们的贡献有三方面：（1）EMIX在多智能体部分可观察设置的情况下引入了一种新的跨多智能体的惊喜最小化技术。(2)EMIX强调了MARL中能量函数的实际应用，并对能量算子进行了理论保证和实验验证。最后，（3）EMIX扩展了Maxmin Q-学习，以解决MARL中跨代理的高估偏差。在一项具有挑战性的星际争霸II微观管理场景研究中，EMIX展示了多智能体惊喜最小化的稳定性能。此外，我们的消融研究强调了基于能量的方案的必要性和消除MARL高估偏倚的必要性。我们的EMIX实现可以在karush17.github.io/emix-web/上找到。
2021-01-18 cs.LG cs.MA stat.ML
Efficient Communication in Multi-Agent Reinforcement Learning via Variance Based Control
Harvard University（哈佛大学）；Amazon Inc.（亚马逊公司）；University of Toronto（多伦多大学）
多智能体强化学习（MARL）由于其在现实世界中的广泛应用而受到广泛关注。然而，实现代理之间的有效通信一直是MARL的首要问题。在这项工作中，我们提出了基于方差的控制（VBC），一个简单而有效的技术，以提高通信效率的MARL。通过在训练阶段限制Agent之间交换的消息的方差，可以有效地消除消息中的噪声分量，而有用的部分可以被Agent保留和利用以获得更好的性能。我们的评估使用一组具有挑战性的星际争霸II基准测试表明，我们的方法实现了$2-10\times$低于国家的最先进的MARL算法的通信开销，同时允许代理更好地合作，通过开发复杂的战略。
2019-11-01 cs.LG stat.ML
DFAC Framework: Factorizing the Value Function via Quantile Mixture for Multi-Agent Distributional Q-Learning
National Tsing Hua University（台湾清华大学）；NVIDIA Corporation（英伟达公司）
在完全合作的多智能体强化学习（MARL）环境中，由于每个智能体的部分可观测性和其他智能体不断变化的策略，环境是高度随机的。为了解决上述问题，我们集成了分布RL和价值函数分解方法，提出了一个分布价值函数分解（DFAC）框架，以推广预期的价值函数分解方法，其DFAC变体。DFAC将个体效用函数从确定性变量扩展到随机变量，并将总收益的分位数函数建模为分位数混合。为了验证DFAC，我们证明了DFAC的分解一个简单的两步矩阵游戏随机奖励的能力，并在星际争霸多智能体挑战赛的所有超硬任务上进行实验，表明DFAC能够优于预期的价值函数分解基线。
2021-12-22 cs.LG cs.MA
Learning Implicit Credit Assignment for Cooperative Multi-Agent Reinforcement Learning
The University of Sydney（悉尼大学）
我们提出了一个多智能体演员批评的方法，旨在隐式地解决信用分配问题下完全合作的设置。我们的主要动机是，代理之间的信用分配可能不需要一个明确的制定，只要（1）来自一个集中的评论家的策略梯度携带足够的信息，分散的代理，以最大限度地提高其联合行动的价值，通过最佳的合作和（2）在整个训练过程中执行一个持续的探索水平。在CTDE范式下，通过将集中式评价器构造成一个超网络，使得潜在状态表示通过与随机策略的乘法关联被集成到策略梯度中，实现了前者;为了实现后者，我们推导出一种称为自适应熵正则化的简单技术，其中熵梯度的大小根据当前政策随机性，以鼓励一致的勘探水平。我们的算法，被称为LICA，评估的几个基准，包括多智能体粒子环境和一组具有挑战性的星际争霸II微观管理任务，我们表明，LICA显着优于以前的方法。
2020-10-22 cs.LG cs.MA stat.ML
Semi-On-Policy Training for Sample Efficient Multi-Agent Policy Gradients
University of Oxford（牛津大学）
策略梯度方法是解决多智能体强化学习问题的一种有吸引力的方法，因为它具有收敛性和在部分可观测场景下的鲁棒性。然而，在流行的星际争霸多智能体挑战赛（SMAC）基准测试中，最先进的策略梯度和基于值的方法之间存在显著的性能差距。在本文中，我们引入了半策略（SOP）训练作为一种有效的和计算效率高的方法来解决策略策略梯度方法的样本效率低下。我们增强了两个国家的最先进的策略梯度算法与SOP训练，表现出显着的性能改进。此外，我们表明，我们的方法在各种SMAC任务上的表现与最先进的基于值的方法一样好或更好。
2021-05-06 cs.LG cs.MA
QTRAN++: Improved Value Transformation for Cooperative Multi-Agent Reinforcement Learning
KAIST（韩国科学技术院）
QTRAN是一种多智能体强化学习（MARL）算法，能够学习最大类的联合作用价值函数。然而，尽管它有很强的理论保证，它在复杂环境中表现出很差的经验性能，如星际争霸多智能体挑战赛（SMAC）。在本文中，我们确定的性能瓶颈的QTRAN，并提出了一个大大改进的版本，创造QTRAN++。我们的收益来自（i）稳定QTRAN的训练目标，（ii）消除QTRAN的动作值估计器之间的严格角色分离，以及（iii）引入多头混合网络进行值转换。通过广泛的评估，我们确认我们的诊断是正确的，并且QTRAN++成功地弥合了经验性能和理论保证之间的差距。特别是，QTRAN++在SMAC环境中新实现了最先进的性能。代码将被释放。
2020-10-06 cs.LG stat.ML
A Structured Prediction Approach for Generalization in Cooperative Multi-Agent Reinforcement Learning
Facebook（脸书）；Lamsade, Univ. Paris Dauphine（巴黎多芬纳大学Lamsade实验室）
有效的协调是解决多智能体协作（MAC）问题的关键。虽然集中式强化学习方法可以最佳地解决小型MAC实例，但它们不能扩展到大型问题，并且无法推广到与训练期间所见不同的场景。在本文中，我们考虑MAC问题与一些内在的局部性概念（例如，地理邻近性），使得代理和任务之间的交互在本地受到限制。通过利用这一属性，我们引入了一种新的结构化预测方法来分配代理任务。在每一步中，分配是通过解决一个集中式优化问题（推理过程），其目标函数是由一个学习的评分模型参数化。我们提出了不同的推理程序和评分模型的组合，能够代表协调模式的复杂性不断增加。由此产生的分配策略可以在小问题实例上有效地学习，并且可以在具有更多代理和任务的问题中容易地重用（即，zero-shot泛化）。我们报告了一个玩具搜索和救援问题的实验结果，并在星际争霸：母巢战争中的几个目标选择场景，其中我们的模型显着优于强大的基于规则的基线的实例与5倍以上的代理和任务比那些在训练中看到的。
2019-10-19 cs.LG cs.MA stat.ML
QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Russian-Armenian University（俄亚大学）
在许多现实世界中，一组代理必须协调他们的行为，同时以分散的方式行事。同时，通常可以在模拟或实验室环境中以集中方式训练代理，其中全局状态信息可用并且通信约束被解除。学习以额外状态信息为条件的联合动作值是利用集中式学习的一种有吸引力的方法，但提取分散式策略的最佳策略尚不清楚。我们的解决方案是QMIX，这是一种新颖的基于价值的方法，可以以集中的端到端方式训练分散的策略。QMIX采用一个网络，该网络将联合动作值估计为每个代理值的复杂非线性组合，仅以局部观察为条件。我们在结构上强制执行的联合行动值是单调的每代理值，这使得易于处理的最大化的联合行动值在离策略学习，并保证集中和分散的政策之间的一致性。我们评估了QMIX在一组具有挑战性的星际争霸II微观管理任务，并表明QMIX显着优于现有的基于值的多智能体强化学习方法。
2018-06-06 cs.LG cs.MA stat.ML
Towards Understanding Cooperative Multi-Agent Q-Learning with Value Factorization
Tsinghua University（清华大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
价值因子分解是一种在协作环境中扩展多智能体强化学习的流行和有前途的方法，它平衡了学习的可扩展性和价值函数的表示能力。然而，这种方法的理论理解是有限的。在本文中，我们形式化的多智能体拟合Q-迭代框架分析因子化多智能体Q-学习。基于这个框架，我们调查线性值分解，并揭示了多智能体Q学习与这个简单的分解隐含地实现了一个强大的反事实信用分配，但可能不会收敛在某些设置。通过进一步的分析，我们发现，在政策上的训练或更丰富的联合价值函数类可以改善其局部或全局收敛性能。最后，为了支持我们在实际实现中的理论含义，我们对最先进的深度多智能体Q-学习算法在教学示例和广泛的星际争霸II单元微观管理任务上进行了实证分析。
2021-10-31 cs.AI cs.LG cs.MA
QR-MIX: Distributional Value Function Factorisation for Cooperative Multi-Agent Reinforcement Learning
在协作式多智能体强化学习（MARL）中，在集中训练与分散执行（CTDE）的环境下，智能体在本地独立地观察环境并与环境交互。通过局部观察和随机抽样，奖励和观察的随机性导致了长期回报的随机性。现有的方法，如价值分解网络（VDN）和QMIX估计的长期回报的价值作为一个标量，不包含随机性的信息。我们提出的模型QR-MIX引入了分位数回归，将联合状态-动作值建模为分布，将QMIX与隐式分位数网络（IQN）相结合。然而，QMIX的单调性限制了联合状态-动作值分布的表达，并且在非单调情况下可能导致不正确的估计结果。因此，我们提出了一个灵活的损失函数来近似QMIX中发现的单调性。我们的模型不仅对收益的随机性有更好的容忍度，而且对单调约束的随机性也有更好的容忍度。实验结果表明，QR-MIX优于以前的国家的最先进的方法QMIX在星际争霸多智能体挑战赛（SMAC）的环境。
2021-02-23 cs.LG cs.MA stat.ML
Offline Pre-trained Multi-Agent Decision Transformer: One Big Sequence Model Tackles All SMAC Tasks
Institute of Automation, CAS（中国科学院自动化研究所）；School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院）；Shanghai Jiao Tong University（上海交通大学）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
离线强化学习利用之前收集的离线数据集来学习最佳策略，而无需访问真实环境。这样的范例也是可取的多智能体强化学习（MARL）的任务，考虑到代理之间的交互和环境。然而，在MARL中，离线预训练与在线微调的范例尚未被研究，也没有离线MARL研究的数据集或基准。在本文中，我们通过提供大规模的数据集，方便的研究，并使用它们来检查使用的决策Transformer在MARL的上下文中。我们研究了MARL离线预训练在以下三个方面的推广：1）在单个智能体和多个智能体之间，2）从离线预训练到在线微调，3）多个下游任务的Few-Shot和zero-shot能力。我们首先介绍了第一个离线MARL数据集与不同的质量水平的基础上的StarCraftII环境，然后提出了新的架构的多智能体决策Transformer（MADT）有效的离线学习。MADT利用了Transformer的序列建模能力，并将其与离线和在线MARL任务无缝集成。MADT的一个关键好处是，它可以学习可推广的策略，这些策略可以在不同任务场景下在不同类型的代理之间传输。在星际争霸II离线数据集上，MADT的表现优于最先进的离线RL基线。当应用于在线任务时，预训练的MADT显着提高了样本效率，并且在少短和zero-shot情况下都具有很强的性能。据我们所知，这是第一项研究和证明离线预训练模型在MARL中的样本效率和泛化能力增强方面的有效性的工作。
2022-06-10 cs.AI cs.LG cs.MA
Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Russian-Armenian University（俄罗斯-亚美尼亚大学）；Facebook AI Research（脸书人工智能研究院）
在许多现实世界中，一个代理团队必须协调其行为，同时以分散的方式行事。同时，通常可以以集中的方式训练代理，其中全局状态信息可用并且通信约束被解除。学习以额外状态信息为条件的联合动作值是利用集中式学习的一种有吸引力的方法，但提取分散式策略的最佳策略尚不清楚。我们的解决方案是QMIX，这是一种新颖的基于价值的方法，可以以集中的端到端方式训练分散的策略。QMIX采用混合网络，将联合动作值估计为每个代理值的单调组合。通过在混合网络中使用非负权重，我们在结构上强制联合行动值在每个代理值中是单调的，这保证了集中式和分散式政策之间的一致性。为了评估QMIX的性能，我们提出了星际争霸多智能体挑战赛（SMAC）作为深度多智能体强化学习的新基准。我们评估QMIX的一组具有挑战性的SMAC场景，并表明它显着优于现有的多智能体强化学习方法。
2020-08-27 cs.LG cs.MA stat.ML
A Comprehensive Review of Multi-Agent Reinforcement Learning in Video Games
DigiPen Institute of Technology（迪吉彭理工学院）；Suzhou City University（苏州城市学院）；Soochow University（苏州大学）
本文综述了多智能体强化学习（MARL）在多品类电子游戏中的应用进展，分析了核心挑战与典型落地案例，提出了游戏复杂度评估新方法并指明未来研究方向。
2025-09-03 cs.LG
JaxMARL: Multi-Agent RL Environments and Algorithms in JAX
University of Oxford（牛津大学）；Universitat Politècnica de Catalunya（巴塞罗那理工大学）；University College London（伦敦大学学院）；University of Maryland（马里兰大学）；Technical University Berlin（柏林技术大学）
JaxMARL是首个基于Python的开源库，结合GPU效率支持大量常用多智能体强化学习环境和基线算法，实验显示其训练流程在时间上比现有方法快14倍，多轮训练时快12500倍，缓解了多智能体强化学习领域的评估危机。
2026-07-04 cs.AI cs.LG cs.MA
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
Deep Coordination Graphs
Oxford University（牛津大学）
本文介绍了用于协作多智能体强化学习的深度协调图（DCG）。DCG罢工之间的灵活的代表能力和泛化的联合价值函数的因素，根据协调图到代理对之间的回报。该值可以通过沿着图传递的本地消息来最大化，这允许使用Q学习端到端地训练价值函数。使用深度神经网络来近似支付函数，该深度神经网络采用参数共享和低秩近似来显著提高样本效率。我们表明，DCG可以解决捕食者-猎物的任务，突出了相对过度概括的病理，以及具有挑战性的星际争霸II微观管理任务。
2020-06-23 cs.AI cs.LG cs.MA
Graph Convolutional Value Decomposition in Multi-Agent Reinforcement Learning
HRL Laboratories, LLC（HRL实验室有限责任公司）
我们提出了一种新的框架，用于多智能体深度强化学习（MARL）中的价值函数分解，使用图神经网络（GNNs）。特别是，我们认为团队的代理作为一个完整的有向图，其边的权重是由一个注意力机制的节点集。在这个基础图的基础上，我们引入了一个混合GNN模块，它负责i）将团队状态-动作价值函数分解为各个代理的观察-动作价值函数，以及ii）根据全局团队奖励的分数向每个代理显式分配信用分配。我们称之为GraphMIX的方法遵循集中式训练和分散式执行范式，使代理能够在训练完成后独立做出决策。我们展示了GraphMIX在星际争霸II多智能体挑战（SMAC）基准测试中的几个场景中的优越性。我们进一步展示了GraphMIX如何与最近的分层MARL架构结合使用，以提高代理的性能，并在具有更多代理和/或动作的不匹配测试场景中对其进行微调。
2021-02-10 cs.LG cs.MA
MAGIC: Multi-Step Advantage-Gated Causal Influence for Multi-agent Reinforcement Learning
Dalian University of Technology（大连理工大学）；Microsoft（微软）；Microsoft, Beijing, China（微软（北京，中国））
MAGIC通过多步优势门因果影响方法，估计多智能体强化学习中多步动作影响，将其中的有益行为转化为内在奖励，提升协调性。
2026-05-10 cs.LG cs.MA
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University（南京大学）
多智能体强化学习（MARL）算法通过利用集中式训练和分散式执行（CTDE）范式，近年来取得了可喜的进展。然而，现有的MARL算法仍然受到样本效率低下的问题。在本文中，我们提出了一个简单而有效的方法，称为基于状态的情景记忆（SEM），以提高样本效率在MARL。SEM采用情景记忆（EM）对MARL中CTDE的集中训练过程进行监督。据我们所知，SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM（SAEM），后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛（SMAC）上的实验结果表明，在MARL中引入情景记忆可以提高样本效率，与SAEM相比，SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
2021-11-01 cs.LG
Regularized Softmax Deep Multi-Agent $Q$-Learning
Tsinghua University（清华大学）；University of Oxford（牛津大学）
解决$Q$学习中的高估问题是单智能体强化学习中广泛研究的一个重要问题，但在多智能体环境中受到的关注相对较少。在这项工作中，我们的经验表明，QMIX，一个流行的$Q$ -学习算法的合作多智能体强化学习（MARL），遭受更严重的高估在实践中比以前承认的，并没有减轻现有的方法。我们纠正这一点与一种新的正则化为基础的更新计划，惩罚大的联合行动值偏离基线，并证明其有效性，在稳定学习。此外，我们建议采用softmax算子，我们在多智能体环境中以一种新的方式有效地近似该算子，以进一步减少潜在的高估偏差。我们的方法，正则化Softmax（RES）深度多智能体$Q$ -学习，是通用的，可以应用于任何$Q$ -学习为基础的MARL算法。我们证明，当应用于QMIX，RES避免严重高估，并显着提高性能，产生各种合作的多智能体任务，包括具有挑战性的星际争霸II微观管理基准的最先进的结果。
2021-06-11 cs.LG cs.MA
A Unified Framework for Factorizing Distributional Value Functions for Multi-Agent Reinforcement Learning
National Tsing Hua University（国立清华大学）；NVIDIA Corporation（英伟达公司）
针对完全协作 MARL 中部分可观测与策略非平稳导致的随机性，提出统一框架 DFAC，将分布式 RL 与价值函数分解结合，并在矩阵博弈及 SMAC 高难度地图上验证其性能优势。
2023-06-04 cs.LG cs.MA
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
Tackling Uncertainties in Multi-Agent Reinforcement Learning through Integration of Agent Termination Dynamics
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Synopsys（新思科技）
针对多智能体强化学习中的不确定性，提出结合分布式学习与基于障碍函数的安全损失，在星际争霸II基准上提升收敛性并优于现有基线。
2025-01-21 cs.LG cs.MA
Randomized Entity-wise Factorization for Multi-Agent Reinforcement Learning
University of Southern California（南加州大学）；University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）；Google Research（谷歌研究院）
现实世界中的多智能体环境通常涉及不同类型和数量的智能体和非智能体实体的任务;然而，这些智能体/实体之间经常出现共同的行为模式。我们的方法的目的是利用这些共性问的问题：``什么是预期效用的每个代理时，只考虑一个随机选择的子组的观察实体？通过提出这个反事实问题，我们可以识别出我们在另一项任务中可能遇到的实体子组中的状态-动作轨迹，并使用我们在该任务中学到的知识来告知我们在当前任务中的预测。然后，我们重建一个预测的全部回报考虑这些不相交的实体和训练这"随机因式分解”的价值函数作为一个辅助目标的组合因素为基础的多智能体强化学习。通过这样做，我们的模型可以识别和利用任务之间的相似性，以提高多任务环境中的学习效率。我们的方法，想象学习的随机多因素分解（REFIL），在具有挑战性的多任务星际争霸微观管理设置中，表现优于所有强基线。
2021-06-11 cs.AI cs.LG cs.MA
QPLEX: Duplex Dueling Multi-Agent Q-Learning
Tsinghua University（清华大学）；Polixir Technologies（玻尔智慧科技）
我们探索基于值的多智能体强化学习（MARL）在流行的集中训练与分散执行（CTDE）的范式。CTDE有一个重要的概念，个体-全局-最大（IGM）原则，它要求联合和局部行动选择之间的一致性，以支持有效的局部决策。然而，为了实现可扩展性，现有的MARL方法要么限制其价值函数类的表示表达性，要么放松IGM一致性，这可能遭受不稳定风险，或者在复杂域中可能不能很好地执行。本文提出了一种新的MARL方法，称为duPLEX决斗多智能体Q学习（QPLEX），它采用双工决斗网络架构来分解联合价值函数。这种双重决斗结构将IGM原理编码到神经网络架构中，从而实现有效的价值函数学习。理论分析表明，QPLEX实现了完整的IGM函数类。对星际争霸II微观管理任务的实证实验表明，QPLEX在在线和离线数据汇集设置中的表现明显优于最先进的基线，并且还显示QPLEX实现了高样本效率，并且可以从离线数据集中受益，而无需额外的在线探索。
2021-10-04 cs.AI cs.LG cs.MA
Self-Motivated Multi-Agent Exploration
Nanjing University（南京大学）；Polixir Technologies（Polixir科技）
针对合作多智能体强化学习中个体探索与团队协作难以平衡的问题，提出SMMAE，通过独立探索策略和自适应探索概率提升协调行为与学习性能。
2023-09-27 cs.LG cs.MA
Divergence-Regularized Multi-Agent Actor-Critic
Peking University（北京大学）
熵正则化是强化学习中的一种常用方法。虽然它有很多优点，但它改变了原始马尔可夫决策过程（MDP）的RL目标。虽然发散正则化被提出来解决这个问题，但它不能简单地应用于协作多智能体强化学习（MARL）。本文研究了协作MARL中的发散正则化问题，并提出了一种新的非策略协作MARL框架，发散正则化的多智能体行动者-评论者（DMAC）。理论上，我们推导出了DMAC的更新规则，该规则是自然偏离策略的，并且保证了原始MDP和发散正则化MDP的单调策略改进和收敛。我们还给出了收敛策略与原MDP中最优策略之间的差异的界。DMAC是一个灵活的框架，可以与许多现有的MARL算法相结合。经验上，我们评估DMAC在教学随机游戏和星际争霸多智能体挑战赛，并表明DMAC大大提高了现有的MARL算法的性能。
2022-06-21 cs.AI cs.LG cs.MA
Transformer World Model for Sample Efficient Multi-Agent Reinforcement Learning
Artificial Intelligence Research Centre (CitAI), City St George’s, University of London（人工智能研究中心（CitAI）、圣乔治大学）；Oxford Institute for Energy Studies (OIES), University of Oxford（牛津能源研究所（OIES）、牛津大学）
本文提出多智能体Transformer世界模型（MATWM），结合去中心化想象、半中心化评论家与队友预测，在星际争霸等基准上实现最先进性能，仅需5万次交互即达近最优，显著提升样本效率。
2025-06-23 cs.LG cs.MA
Coach-assisted Multi-Agent Reinforcement Learning Framework for Unexpected Crashed Agents
University of Science and Technology of China（中国科学技术大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
多智能体强化学习在实际应用中存在一定的困难，部分原因是仿真场景与现实场景之间存在差距。造成这种差距的一个原因是，模拟系统总是假设智能体可以一直正常工作，而在实际中，由于不可避免的硬件或软件故障，一个或多个智能体可能会在协调过程中意外“崩溃”。这种崩溃会破坏代理之间的合作，导致性能下降。在这项工作中，我们提出了一个正式制定的合作多智能体强化学习系统与意外的崩溃。为了提高系统的鲁棒性崩溃，我们提出了一个教练辅助的多智能体强化学习框架，它引入了一个虚拟教练代理调整训练过程中的崩溃率。我们设计了三种教练策略和教练代理的重采样策略。据我们所知，这项工作是第一个研究意外崩溃的多智能体系统。在网格世界和星际争霸II微观管理任务上的大量实验证明了自适应策略与固定崩溃率策略和课程学习策略相比的有效性。消融研究进一步说明了我们的重新采样策略的有效性。
2022-03-16 cs.LG cs.MA
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Stabilising Experience Replay for Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
许多现实世界的问题，如网络数据包路由和城市交通控制，自然建模为多智能体强化学习（RL）问题。然而，现有的多智能体RL方法通常在问题大小方面的规模很差。因此，一个关键的挑战是将深度学习在单智能体RL上的成功转化为多智能体设置。一个主要的障碍是独立Q学习，最流行的多智能体RL方法，引入了非平稳性，使其与深度Q学习所依赖的经验重放记忆不兼容。本文提出了两种方法，解决这个问题：1）使用多代理变量的重要性采样自然衰减过时的数据和2）条件每个代理的价值函数上的指纹，消除歧义的年龄从重放内存中采样的数据。一个具有挑战性的分散式星际单位微观管理变体的结果证实，这些方法能够成功地将经验重放与多智能体RL相结合。
2018-05-21 cs.AI cs.LG cs.MA
UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）；Delft University of Technology（代尔夫特理工大学）
VDN和QMIX是两种流行的基于值的协作MARL算法，它们将集中式动作价值函数学习为每个代理效用的单调混合。虽然这使得学习策略的分散化变得容易，但受限的联合动作价值函数可能会阻止它们解决需要在给定时间步长处在代理之间进行显著协调的任务。我们表明，这个问题可以通过改善训练过程中所有代理的联合探索来克服。具体来说，我们提出了一种新的MARL方法，称为通用价值探索（UneVEn），学习一组相关的任务，同时线性分解的通用后继功能。利用已经解决的相关任务的策略，可以改进所有Agent的联合探索过程，帮助它们实现更好的协调。一组探索游戏的经验结果，具有挑战性的合作捕食者-猎物任务，需要显着的代理之间的协调，和星际争霸II微观管理基准显示，UneVEn可以解决其他国家的最先进的MARL方法失败的任务。
2021-06-10 cs.AI cs.LG cs.MA
