Applying supervised and reinforcement learning methods to create neural-network-based agents for playing StarCraft II
近年来，人们提出了多种方法来创建用于玩各种复杂的实时计算机游戏（如星际争霸II或Dota 2）的代理，然而，它们要么将大量的专家知识嵌入到代理中，要么使用对大多数研究人员来说过于庞大的计算资源。我们提出了一个神经网络架构，用于玩星际争霸II的完整双人比赛，该架构采用通用监督和强化学习进行训练，可以在具有单个GPU的单个消费级PC上进行训练。我们还表明，我们的实现了一个不平凡的性能相比，在游戏中脚本机器人。除了在一张选定的地图上进行游戏外，我们对游戏没有任何简化的假设，而且我们使用很少的专业知识。原则上，我们的方法可以应用于任何RTS游戏的小修改。虽然我们的结果在最终性能方面远远落后于最先进的大规模方法，但我们相信我们的工作可以作为其他小规模实验的坚实基线。
2021-09-26 cs.AI
On Efficient Reinforcement Learning for Full-length Game of StarCraft II
Nanjing University（南京大学）
星际争霸2（SC2）对强化学习（RL）提出了巨大的挑战，其主要困难包括巨大的状态空间、变化的动作空间和较长的时间范围。在这项工作中，我们研究了一套RL技术的全长游戏星际争霸2。我们研究了一个层次化的强化学习方法，包括提取的宏动作和一个层次化的神经网络结构。我们研究了课程迁移训练过程和训练代理上的一台机器上有4个GPU和48个CPU线程。在64x64的地图上，使用限制性单位，我们对1级内置AI的胜率达到99%。通过课程迁移学习算法和混合作战模型，我们对最难的非作弊关卡内置AI（7级）取得了93%的胜率。在本文的扩展版本中，我们改进了我们的体系结构，训练智能体对抗作弊级别的AI，并实现了对8级，9级和10级AI的获胜率分别为96%，97%和94%。我们的代码在https://github.com/liuruoze/HierNet-SC2。为了给我们的工作以及研究和开源社区提供一个参考AlphaStar的基线，我们复制了一个缩小版的迷你AlphaStar（mAS）。mAS的最新版本是1.07，它可以在具有564个动作的原始动作空间上训练。它旨在通过使超参数可调来在单个普通机器上运行训练。然后，我们将我们的工作与使用相同资源的mAS进行比较，并表明我们的方法更有效。迷你AlphaStar的代码在https://github.com/liuruoze/mini-AlphaStar。我们希望我…
2022-09-23 cs.AI cs.LG
Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2
SRI International（斯坦福国际研究院）
应对深度终身强化学习（LRL）挑战的一种方法是仔细管理智能体的学习经验，学习（不忘记）并构建内部元模型（任务，环境，智能体和世界）。生成重放（GR）是一种生物启发的重放机制，它通过从随时间更新的内部生成模型中提取的自标记示例来增强学习体验。我们提出了一个用于LRL的GR版本，它满足了两个必要条件：（a）使用深度RL学习的策略潜在表示的内省密度建模，以及（b）无模型端到端学习。在本文中，我们研究了无模型GR的三种深度学习架构，从一个简单的GR开始，添加成分以实现（a）和（b）。我们评估我们提出的算法在三个不同的情况下，包括任务的星际争霸2和Minigrid域。我们报告了几个关键的研究结果，显示了设计选择对定量指标的影响，包括迁移学习，对看不见的任务的概括，任务改变后的快速适应，任务专家的表现，以及灾难性遗忘。我们观察到，我们的GR防止了深度RL代理的潜在向量空间的特征到动作映射的漂移。我们还显示了在建立终身学习指标的改进。我们发现，一个小的随机重放缓冲区显着提高了训练的稳定性。总的来说，我们发现“隐藏重放”（一种众所周知的类增量分类架构）是最有前途的方法，它推动了GR中最先进的LRL，并观察到睡眠模型的架构对于提高性能可能比使用的重放类型更重要。我们的实验只需要6%的训练样本，就可以在大多数星际争霸2场景中达到80-90%的专家性能。
2022-08-16 cs.AI cs.LG
Asynchronous Advantage Actor-Critic Agent for Starcraft II
Carnegie Mellon University（卡内基梅隆大学）
深度强化学习，特别是异步优势演员-评论家算法，已成功用于在各种视频游戏中实现超人的性能。《星际争霸II》是随着谷歌Deepmind和暴雪娱乐提出的pysc 2学习环境的发布，对强化学习社区的一个新挑战。尽管它是几个人工智能开发人员的目标，但很少有人达到人类水平的性能。在这个项目中，我们解释了这个环境的复杂性，并讨论了我们对环境的实验结果。我们已经比较了各种架构，并证明了迁移学习可以成为强化学习研究中需要技能迁移的复杂场景的有效范例。
2018-07-22 cs.AI
Efficient Reinforcement Learning for StarCraft by Abstract Forward Models and Transfer Learning
注入人类知识是加速强化学习（RL）的有效途径。然而，这些方法都是探索不足。本文提出了我们的发现，一个抽象的前向模型（思维游戏（TG））结合迁移学习（TL）是一种有效的方法。我们把星际争霸2作为我们的学习环境。在设计的TG的帮助下，智能体可以在64x64地图上学习99%的胜率，而在一台商用机器上只需要1.08小时。我们还表明，TG方法并不像它被认为是限制性的。它可以与粗略设计的TG一起工作，并且在环境变化时也很有用。与以往的基于模型的强化学习相比，TG是更有效的。我们还提出了一个TG假设，给出了不同保真度水平的TG的影响。对于具有不相等的状态和动作空间的真实游戏，我们提出了一种新的XfrNet，其有效性得到了验证，同时对作弊的10级AI实现了90%的胜率。我们认为，TG方法可能会揭示进一步研究有效的RL与人类知识。
2021-11-02 cs.AI cs.LG stat.ML
Macro action selection with deep reinforcement learning in StarCraft
Bilibili（哔哩哔哩）；Nanjing University（南京大学）
星际争霸（SC）是最流行和最成功的实时的战略（RTS）游戏之一。近年来，由于其巨大的状态空间、部分可观测信息、多智能体协作等特点，SC机器人被广泛认为是人工智能研究的一个具有挑战性的试验平台，在每年的AIIDE和CIG竞赛中，越来越多的SC机器人被提出并不断改进。然而，顶级机器人和专业人类玩家之间仍然存在很大的差距。一个重要的原因是，目前的SC机器人主要依靠预定义的规则来选择游戏中的宏动作。这些规则的可扩展性和效率不足以应对游戏中巨大但部分可观察的状态空间。在本文中，我们提出了一个深度强化学习（DRL）框架来改进宏动作的选择。我们的框架基于Ape-X DQN和长短期记忆（LSTM）的组合。我们使用这个框架来构建我们的机器人，命名为LastOrder。我们的评估基于AIIDE 2017星际争霸AI竞赛集的所有机器人的训练，显示LastOrder实现了83%的获胜率，在总共28个参赛者中超过了26个机器人。
2019-10-12 cs.AI
AlphaStar Unplugged: Large-Scale Offline Reinforcement Learning
Google DeepMind（谷歌DeepMind）；University of Virgina（弗吉尼亚大学）
本文基于暴雪海量星际争霸II对战数据构建AlphaStar Unplugged离线强化学习基准，提出多种基线智能体，并仅用离线数据实现90%胜率，显著推进离线强化学习研究。
2023-08-07 cs.AI cs.LG
Transformer-based Value Function Decomposition for Cooperative Multi-agent Reinforcement Learning in StarCraft
University of Central Florida（中佛罗里达大学）
星际争霸II多智能体挑战赛（SMAC）是协作多智能体强化学习（MARL）的一个具有挑战性的基准问题。SMAC专注于星际争霸的微观管理问题，并假设每个单元都由一个学习代理单独控制，该学习代理独立行动，只拥有本地信息;集中式训练假设与分散式执行（CTDE）一起发生。为了在SMAC中取得良好的性能，MARL算法必须处理多智能体信用分配和联合行动评估的双重问题。本文介绍了一种新的体系结构TransMix，基于变压器的联合动作值混合网络，我们证明是有效的和可扩展的相比，其他国家的最先进的合作MARL解决方案。TransMix利用Transformers的能力来学习更丰富的混合函数，以组合代理的各个价值函数。它在简单的SMAC场景上实现了与以前的工作相当的性能，并且在硬场景以及被高斯噪声破坏以模拟战争迷雾的场景上优于其他技术。
2022-08-15 cs.LG cs.MA
Hierarchical Reinforcement Learning in StarCraft II with Human Expertise in Subgoals Selection
NUS（新加坡国立大学）；NTU（南洋理工大学）
这项工作的灵感来自于分层强化学习（HRL）（Barto and Mahadevan 2003; Hengst 2010）的最新进展，以及基于经验的子目标选择，经验重放（Lin 1993; Andrychowicz et al. 2017）和基于任务的课程学习（Bengio et al. 2009; Zaremba and Sutskever 2014）的学习效率提高。我们提出了一种新的方法来集成HRL，经验重放和有效的子目标选择，通过一个隐式的课程设计的基础上，人类的专业知识，以支持样本有效的学习和提高解释性的代理的行为。在许多领域，人类的专业知识仍然是不可或缺的，如医学（Buch，Ahmed和Maruthappu 2018）和法律（Cath 2018），出于道德和法律原因，可解释性，可解释性和透明度在决策过程中至关重要。我们的方法简化了复杂的任务集，通过将它们分解为不同抽象级别的子目标来实现总体目标。简化相关的主观知识也显著减少了用于RL探索的计算资源，特别是在高速，变化和复杂的环境中，过渡动态不能在短时间内有效地学习和建模。在两个星际争霸II（SC2）（Vinyals et al. 2017）小游戏中的实验结果表明，我们的方法可以实现比平面和端到端RL方法更好的样本效率，并为解释代理的性能提供了一种有效的方法。
2020-09-29 cs.AI
SMAClite: A Lightweight Environment for Multi-Agent Reinforcement Learning
University of Edinburgh（爱丁堡大学）
本文提出SMAClite，一个与星际争霸II解耦的开源轻量级MARL基准环境，通过实验证明其与SMAC等价，且运行速度和内存表现更优。
2023-05-09 cs.AI cs.LG cs.MA
Adversary agent reinforcement learning for pursuit-evasion
College of Engineering, Peking University（北京大学工学院）；State Key Laboratory of Turbulence and Complex Systems（湍流与复杂系统国家重点实验室）；The Hong Kong University of Science and Technology（香港科技大学）
提出了一种基于对手智能体的强化学习环境，用于战争迷雾环境下的追逃博弈，具有重要的科学意义和实际应用价值.最流行的学习环境之一，星际争霸，在这里采用和相关的小游戏进行分析，以确定目前的限制，训练对手的代理。的主要贡献包括分析的潜在性能的代理，将控制和微分博弈理论到特定的强化学习环境，并通过扩展当前的星际争霸迷你游戏的对手代理挑战（SAAC）环境的发展。随后的研究展示了使用这种学习环境和有效性的对手代理规避单位。总的来说，拟议的SAAC环境应该有利于追捕逃避研究与快速出现的强化学习技术。最后但同样重要的是，可以在GitHub上找到相应的教程代码。
2021-08-25 cs.AI cs.LG
The StarCraft Multi-Agent Challenges+ : Learning of Multi-Stage Tasks and Environmental Factors without Precise Reward Functions
KAIST AI（韩国科学技术院人工智能研究院）
在本文中，我们提出了一个新的基准称为星际争霸多智能体挑战+，其中代理学习执行多阶段任务，并使用环境因素没有精确的奖励功能。作为多智能体强化学习的标准基准，以前的挑战（SMAC）主要涉及确保所有智能体仅通过具有明显奖励函数的精细操作来合作消除接近的对手。另一方面，这个挑战感兴趣的是MARL算法的探索能力，以有效地学习隐式多阶段任务和环境因素以及微控制。这项研究涵盖了进攻和防守两种情况。在进攻的情况下，代理人必须学会首先找到对手，然后消除他们。防御场景要求代理使用地形特征。例如，代理人需要将自己置于保护结构后面，使敌人更难攻击。我们调查MARL算法SMAC+下，并观察到最近的方法在类似的设置，以前的挑战，但在进攻性的情况下行为不端。此外，我们观察到，增强的探索方法对性能有积极的影响，但不能完全解决所有情况。本研究为今后的研究提出了新的方向。
2022-07-07 cs.AI cs.LG
TStarBot-X: An Open-Sourced and Comprehensive Study for Efficient League Training in StarCraft II Full Game
Department of AI Platform, Tencent（腾讯AI平台部）
《星际争霸》是职业赛事中难度最高的电子竞技游戏之一，有着悠久的历史，吸引了一代又一代的玩家和粉丝，也引起了人工智能研究的强烈关注。最近，谷歌的DeepMind宣布了AlphaStar，这是星际争霸II中的一个大师级AI，可以使用类似的动作空间和操作与人类一起玩。在本文中，我们介绍了一种新的AI代理，名为TStarBot-X，它是在计算量较少的情况下训练的，可以与专家玩家进行竞争。TStarBot-X利用了AlphaStar中引入的重要技术，并受益于实质性的创新，包括新的联盟训练方法，新颖的多智能体角色，规则引导的策略搜索，稳定的策略改进，轻量级神经网络架构，以及模仿学习中的重要性采样等。AlphaStar方法的忠实重新实现不能成功，并且所提出的技术对于确保TStarBot-X的竞争性能是必要的。我们揭示了与AlphaStar中提到的技术细节互补的所有技术细节，显示了联盟训练中最敏感的部分，强化学习和模仿学习会影响代理的性能。最重要的是，这是一项开源研究，所有代码和资源（包括训练的模型参数）都可以通过\url{https://github.com/tencent-ailab/tleague_projpage}公开访问。我们希望这项研究可以为学术和工业界解决像星际争霸这样的复杂问题的未来研究带来益处，也可以为所有星际争霸II玩家和其他人工智能智能体提供一个陪练伙伴。
2021-04-30 cs.AI cs.LG
Two-Bridge: Exclusive Objectives and Extended Horizon StarCraft II Benchmark
Pennsylvania State University（宾夕法尼亚州立大学）
为解决星际争霸II全游戏与迷你游戏之间的复杂度鸿沟，提出双桥地图套件作为中间基准，通过禁用经济机制隔离远程导航和微操战术技能，实现低计算成本下的连贯机动与交战行为学习。
2026-06-23 cs.AI cs.LG
Grounding Natural Language Commands to StarCraft II Game States for Narration-Guided Reinforcement Learning
U.S. Army Research Laboratory（美国陆军研究实验室）
虽然深度强化学习技术已经使智能体能够成功地学习执行许多以前无法学习的任务，但这些技术仍然容易受到长期存在的{ \em奖励稀疏}问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此，星际争霸II是一款实时战略游戏，只有在游戏结束时才会给予奖励，而游戏通常很长。虽然这个问题可以通过奖励塑造来解决，但这种方法通常需要具有专业知识的人类专家。通过自然语言叙事的更容易接近的范式，使奖励塑造的愿景的启发下，我们调查在多大程度上，我们可以通过接地这些叙事的具体目标的状态。我们提出了一种使用多输入深度神经网络的相互嵌入模型，该模型将一系列自然语言命令投影到与相应目标状态相同的高维表示空间中。我们表明，使用这个模型，我们可以学习一个嵌入空间与可分离的和不同的集群，准确地映射自然语言命令到相应的游戏状态。我们还讨论了这个模型如何允许使用叙述作为一个强大的形式的奖励塑造，以提高RL的性能和效率。
2019-04-24 cs.CL cs.LG cs.MM
Learning to Guide Multiple Heterogeneous Actors from a Single Human Demonstration via Automatic Curriculum Learning in StarCraft II
Army Research Laboratory（陆军研究实验室）；Columbia University（哥伦比亚大学）
传统上，通过直接行为克隆从人类示范中学习可以导致高性能的策略，因为该算法可以访问大量的高质量数据，这些数据涵盖了代理操作时最可能遇到的场景。然而，在现实世界的情况下，专家数据是有限的，它是期望的训练的代理，学习的行为策略一般足以处理的情况下，没有证明的人类专家。另一种选择是通过深度强化学习在没有监督的情况下学习这些策略，然而，这些算法需要大量的计算时间才能在高维状态和动作空间的复杂任务上表现良好，例如在星际争霸II中发现的那些。自动课程学习是一种最近的机制，包括设计用于通过根据代理的当前能力调整要解决的当前任务的难度来加速深度强化学习的技术。然而，对于足够复杂的任务，设计适当的课程可能具有挑战性，因此我们利用人类演示作为在训练期间指导代理探索的一种方式。在这项工作中，我们的目标是训练深度强化学习代理，可以命令多个异构演员的起始位置和任务的整体难度由一个自动生成的课程从一个单一的人类示范控制。我们的研究结果表明，通过自动课程学习训练的智能体可以超越最先进的深度强化学习基线，并在模拟的指挥和控制任务中与人类专家的表现相匹配。
2022-05-11 cs.LG cs.MA
STARDATA: A StarCraft AI Research Dataset
Facebook（脸书）
我们发布了一个包含65646个星际争霸回放的数据集，其中包含15.35亿帧和4.96亿个玩家动作。我们提供完整的游戏状态数据以及可以在星际争霸中查看的原始回放。游戏状态数据每3帧记录一次，这确保了适用于各种各样的机器学习任务，例如策略分类、反向强化学习、模仿学习、正向建模、部分信息抽取等。我们使用TorchCraft来提取和存储数据，它简化了从重放读取和直接从游戏读取的数据格式。此外，数据可以在不同的操作系统和平台上使用。该数据集只包含有效的、未损坏的回放，其质量和多样性由许多算法来保证。我们用各种统计数据说明了数据的多样性，并提供了从数据集受益的任务示例。我们在https://github.com/TorchCraft/StarData上提供数据集。恩塔罗阿顿！
2017-08-07 cs.AI
Learning Macromanagement in StarCraft from Replays using Deep Learning
IT University of Copenhagen（哥本哈根信息技术大学）
实时战略游戏星际争霸已被证明是一个具有挑战性的环境，人工智能技术，因此，目前的最先进的解决方案包括许多手工制作的模块。在本文中，我们展示了如何使用深度学习直接从游戏回放中学习星际争霸中的宏观管理决策。神经网络在从2,005个高技能玩家的重放中提取的789,571个状态-动作对上进行训练，在预测下一个构建动作时实现了54.6%和22.9%的前1和前3出错率。通过将经过训练的网络集成到开源的星际争霸机器人UAlbertaBot中，该系统可以显着优于游戏内置的人族机器人，并以固定的匆忙策略与UAlbertaBot竞争。据我们所知，这是第一次宏观管理任务是直接从星际争霸的回放中学习的。虽然最好的手工策略仍然是最先进的，但深度网络方法能够表达各种不同的策略，因此通过深度强化学习进一步提高网络的性能是未来研究的一个非常有前途的途径。最终，这种方法可能会产生更少依赖硬编码策略的强大星际争霸机器人。
2017-07-12 cs.AI
Hierarchical Reinforcement Learning in StarCraft Micromanagement with Influence Maps and Cluster-based Scripts
School of Artificial Intelligence and Automation, China University of Geosciences, Wuhan（中国地质大学（武汉）人工智能与自动化学院）；State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining, Anhui University of Science & Technology, Huainan（安徽省科学技术大学无人煤矿数字智能技术重点实验室）；Hubei Key Laboratory of Advanced Control and Intelligent Automation for Complex Systems, Wuhan（湖北省复杂系统先进控制与智能自动化重点实验室）；Engineering Research Center of Intelligent Technology for Geo-Exploration, Ministry of Education, Wuhan（地质探测智能技术工程研究中心，教育部，武汉）；School of Artificial Intelligence, Anhui University of Science & Technology, Hefei（安徽省科学技术大学人工智能学院）；Computer Science and Informatics, De Montfort University, Leicester, U.K.（德蒙福特大学计算机科学与信息学）
针对RTS游戏中多单位协调和稀疏奖励问题，提出HRL-IM/CBS框架，通过影响图哈希编码战场态势，聚类脚本实现动态局部协调，分层Q表结构提升样本效率和可解释性。
2026-06-29 cs.AI
High-Level Strategy Selection under Partial Observability in StarCraft: Brood War
Facebook AI Research（脸书人工智能研究院）
我们从强化学习的角度考虑了实时策略游戏对抗环境中的高级策略选择问题，其中采取行动对应于切换到相应的策略。在这里，一个好的策略成功地对抗对手的当前和可能的未来策略，这些策略只能使用部分观察来估计。我们研究是否可以在训练期间利用完整的游戏状态信息（以辅助预测任务的形式）来提高性能。在《星际争霸：母巢战争》机器人与强大的社区机器人之间进行的实验显示，在固定策略基线上，胜率有了实质性的提高，在使用辅助任务学习时，结果令人鼓舞。
2018-11-21 cs.LG stat.ML
Multi-Agent Deep Reinforcement Learning using Attentive Graph Neural Architectures for Real-Time Strategy Games
Korea University（高丽大学）；Electronics and Telecommunications Research Institute（电子通信研究院）
在实时的【形】策略（RTS）游戏人工智能研究中，各种多智能体深度强化学习（MADRL）算法得到了广泛而活跃的应用。大部分的研究是基于星际争霸2的环境，因为它是最知名的RTS游戏在世界范围内。在我们提出的基于MADRL的算法中，从根本上使用分布式MADRL，称为QMIX。除了基于QMIX的分布式计算，我们考虑状态分类，可以显着降低计算复杂性。此外，自我注意力机制用于识别图形形式的代理之间的关系。基于这些方法，我们提出了一个分类状态图注意力策略（CSGA-policy）。正如在性能评估中所观察到的，我们提出的CSGA策略与最知名的星际争霸II模拟环境，我们提出的算法在各种设置，以及预期。
2021-05-21 cs.AI
HLSMAC: A New StarCraft Multi-Agent Challenge for High-Level Strategic Decision-Making
本文提出了HLSMAC基准，基于《三十六计》设计12个星际争霸2场景，以评估多智能体强化学习的高层战略决策能力，并引入超越胜率的新指标，验证了其作为稳健测试平台的有效性。
2025-09-16 cs.AI cs.CV cs.GT
MASER: Multi-Agent Reinforcement Learning with Subgoals Generated from Experience Replay Buffer
KAIST（韩国科学技术院）
在本文中，我们考虑合作多智能体强化学习（MARL）稀疏奖励。为了解决这个问题，我们提出了一种新的方法命名为MASER：MARL与子目标产生的经验重放缓冲区。在广泛使用的集中训练与分散执行和一致的Q值分解MARL的假设下，MASER通过考虑个体Q值和总Q值，从经验重放缓冲区自动为多个代理生成适当的子目标。然后，MASER基于与Q学习相关的可操作表示为每个代理设计单独的内在奖励，以便代理在最大化联合动作值的同时达到子目标。数值结果表明，MASER显着优于星际争霸II微管理基准相比，其他国家的最先进的MARL算法。
2022-06-20 cs.AI cs.LG
TStarBots: Defeating the Cheating Level Builtin AI in StarCraft II in the Full Game
Tencent AI Lab（腾讯人工智能实验室）；University of Rochester（罗切斯特大学）；Northwestern University（西北大学）
星际争霸2（SC2）被广泛认为是最具挑战性的实时的战略（RTS）游戏。潜在的挑战包括一个大的观察空间，一个巨大的（连续和无限的）行动空间，部分观察，所有玩家的同时移动，以及长期的地平线延迟奖励本地决策。为了推动人工智能研究的前沿，Deepmind和暴雪联合开发了星际争霸II学习环境（SC2 LE），作为复杂决策系统的测试平台。SC2 LE提供了MoveToBeacon、CollectMineralShards、DefeatRoaches等少数小游戏，其中部分人工智能智能体已经达到了人类职业玩家的性能水平。但对于全游戏来说，目前的人工智能智能体还远未达到人类专业水平的表现。为了弥合这一差距，我们在本文中提出了两个完整的游戏AI代理-AI代理TStarBot 1基于平面动作结构上的深度强化学习，而人工智能智能体TStarBot 2基于分层动作结构上的硬编码规则。TStarBot 1和TStarBot 2都能够在一场完整的比赛中击败从1级到10级的内置人工智能智能体（AbyssalReef地图上的1v 1 Zerg-vs-Zerg游戏），注意到8级，9级和10级是作弊代理，具有不公平的优势，例如全地图上的全视野和资源收获提升。据我们所知，这是第一个公开的工作，调查人工智能智能体，可以击败内置的人工智能在星际争霸2完整的游戏。
2018-12-27 cs.AI
Towards a Deep Reinforcement Learning Approach for Tower Line Wars
University of Agder（阿格德大学）
近年来，强化学习取得了许多突破，最值得注意的可能是深度强化学习成功地玩并赢得了相对先进的计算机游戏。毫无疑问，当第一个AI掌握击败专业实时战略游戏玩家所需的复杂游戏时，深度强化学习将发挥重要作用。要做到这一点，需要有一个针对和促进人工智能研究的游戏环境，特别是深度强化学习。一些游戏环境已经存在，然而，这些要么过于简单，如雅达利2600或复杂，如暴雪娱乐的星际争霸II。我们提出了一个介于Atari 2600和星际争霸II之间的游戏环境，特别针对深度强化学习算法的研究。游戏环境是暴雪娱乐公司《魔兽争霸III》中塔线战争的一个变体。此外，作为环境可以包含深度增强算法的概念证明，我们提出并应用了深度Q增强架构。该架构简化了状态空间，使其适用于Q学习，并反过来提高了性能相比，目前最先进的方法。我们的实验表明，所提出的架构可以很好地学习游戏环境，并且比标准的Deep Q学习高出33%，这反过来证明了游戏环境的有用性。
2017-12-17 cs.AI
The StarCraft Multi-Agent Challenge
Russian-Armenian University（俄罗斯-亚美尼亚大学）；University of Oxford（牛津大学）；Facebook AI Research（脸书人工智能研究院）
在过去的几年里，深度多智能体强化学习（RL）已经成为一个非常活跃的研究领域。在这一领域，一个特别具有挑战性的问题是部分可观察的，合作的，多智能体学习，其中代理团队必须学会协调他们的行为，同时仅以他们的私人观察为条件。这是一个有吸引力的研究领域，因为这样的问题是相关的大量的现实世界中的系统，也更适合于评估比一般和问题。ALE和MuJoCo等标准化环境允许单代理RL超越玩具领域，如网格世界。然而，合作多智能体RL没有可比的基准。因此，该领域的大多数论文都使用一次性的玩具问题，难以衡量实际进展。在本文中，我们提出了星际争霸多智能体挑战赛（SMAC）作为一个基准问题，以填补这一空白。SMAC基于流行的实时战略游戏《星际争霸II》，专注于微观管理挑战，其中每个单元都由一个独立的代理控制，必须根据本地观察采取行动。我们为基准测试和评估的最佳实践提供了一套多样化的挑战地图和建议。我们还开源了一个深度多代理RL学习框架，包括最先进的算法。我们相信SMAC可以在未来几年提供一个标准的基准环境。我们最好的代理人的几个SMAC方案的视频可在：www.example.com.
2019-12-09 cs.LG cs.MA stat.ML
StarAlgo: A Squad Movement Planning Library for StarCraft using Monte Carlo Tree Search and Negamax
Czech Technical University in Prague（捷克技术大学）
即时战略（RTS）游戏最近已经成为人工智能研究的热门试验平台。它们代表了一个复杂的对抗领域，提供了许多有趣的人工智能挑战。有各种各样的研究支持软件工具，库和框架，特别是一个RTS游戏-星际争霸：母巢战争。这些工具旨在解决各种具体的子问题，如资源分配或对手建模，使研究人员可以专注于与他们相关的任务。我们提出了一个这样的工具-一个名为StarAlgo的库，它可以为游戏世界中的小队（战斗单位组）的协调运动制定计划。StarAlgo库可以使用以下两种算法之一来解决小队移动规划问题：考虑持续时间的蒙特卡罗树搜索（MCTSCD）和Negamax的略微修改版本。我们评估这两种算法，比较它们，并演示它们的用法。这个库是作为一个静态C++库实现的，可以很容易地插入到大多数星际AI机器人中。
2018-12-29 cs.AI
Agent-Temporal Attention for Reward Redistribution in Episodic Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
本文考虑了多智能体强化学习（MARL）任务，其中智能体在一集结束时获得共享的全局奖励。这种奖励的延迟性质影响了代理人在中间时间步评估其行为质量的能力。本文的重点是开发方法来学习情节奖励的时间重新分配，以获得密集的奖励信号。解决这样的MARL问题需要解决两个挑战：识别（1）沿着事件长度（沿着时间）的状态的相对重要性，以及（2）在任何单个时间步（在代理之间）个体代理状态的相对重要性。在本文中，我们介绍了代理时间注意奖励再分配情节多智能体强化学习（AREL），以解决这两个挑战。AREL使用注意力机制来表征动作对沿轨迹的状态转换的影响（时间注意力），以及每个代理在每个时间步如何受到其他代理的影响（代理注意力）。由AREL预测的重新分配的奖励是密集的，并且可以与任何给定的MARL算法集成。我们从粒子世界环境和星际争霸多智能体挑战赛的挑战性任务来评估AREL。与三种最先进的奖励再分配方法相比，AREL在粒子世界中获得了更高的奖励，并提高了星际争霸的胜率。我们的代码可在https://github.com/baicenxiao/AREL上获得。
2022-01-12 cs.AI cs.LG cs.MA
TLeague: A Framework for Competitive Self-Play based Distributed Multi-Agent Reinforcement Learning
Tencent Robotics X（腾讯机器人X实验室）；Tsinghua University（清华大学）
基于竞争自玩（CSP）的多智能体强化学习（MARL）近年来取得了惊人的突破。强大的AI在多个基准测试中获得，包括Dota 2，王者荣耀，雷神之锤III，星际争霸II，仅举几例。尽管取得了成功，但MARL训练非常需要数据，通常需要在训练期间从环境中看到数十亿（如果不是数万亿）帧，以便学习高性能代理。这给研究人员或工程师带来了不小的困难，并阻止了MARL在更广泛的现实问题中的应用。为了解决这个问题，在本文中，我们描述了一个框架，称为TLeague，旨在大规模的训练和实现几个主流的CSP-MARL算法。培训可以部署在单个机器或混合机器（CPU和GPU）集群中，其中以云原生方式支持标准Kubernetes。TLeague在执行分布式训练时实现了高吞吐量和合理的扩展。由于采用了模块化设计，该算法也易于扩展，用于解决其他多智能体问题或实现和验证MARL算法。我们在星际争霸II，ViZDoom和Pommerman上进行了实验，以显示TLeague的效率和有效性。该代码是开源的，可在https://github.com/tencent-ailab/tleague_projpage上获得
2020-11-30 cs.AI cs.LG cs.MA
Deep RTS: A Game Environment for Deep Reinforcement Learning in Real-Time Strategy Games
University of Agder（阿格德尔大学）
强化学习（RL）是近年来蓬勃发展的一个研究领域，在计算机游戏中基于人工智能的对手中显示出了巨大的潜力。这一成功主要归功于卷积神经网络的巨大能力，它可以从嘈杂和复杂的数据中提取有用的特征。游戏是测试和推动新RL算法边界的绝佳工具，因为它们提供了有价值的见解，可以了解算法在隔离环境中的性能如何，而不会产生现实生活中的后果。实时的【形】战略游戏（RTS）是一种具有巨大复杂性的游戏类型，在短期和长期规划中挑战玩家。有很多研究集中在RTS游戏中的应用RL，因此在不久的将来预计会有新的进展。然而，到目前为止，用于测试RTS AI的环境很少。文献中的环境通常过于简单，如microRTS，或者复杂，并且不可能在像星际争霸II这样的消费硬件上加速学习。本文介绍了Deep RTS游戏环境，用于测试RTS游戏的尖端人工智能算法。Deep RTS是一款专为人工智能研究而制作的高性能RTS游戏。它支持加速学习，这意味着与现有的RTS游戏相比，它可以以50000倍的速度学习。深度RTS具有灵活的配置，可以在几种不同的RTS场景中进行研究，包括部分可观察的状态空间和地图复杂性。我们通过在高端消费类硬件上与microRTS、ELF和星际争霸II进行性能比较，证明Deep RTS实现了我们的承诺。使用Deep RTS，我们证明了Deep Q-网络代理在70%以上的时间内击败随机播放代理。Deep RTS可在http…
2018-08-15 cs.AI cs.LG
MazeBase: A Sandbox for Learning from Games
New York University（纽约大学）；Courant Institute（库朗研究所）；Facebook AI Research（脸书人工智能研究院）
本文介绍了迷宫基地：一个简单的2D游戏环境，设计作为一个沙箱的机器学习方法的推理和规划。在其中，我们创建了10个简单的游戏，体现了一系列算法任务（例如，if-then语句或集合否定）。通过强化学习在这些游戏上部署了各种神经模型（全连接、卷积网络、记忆网络），无论是否有程序生成的课程。尽管任务很简单，但模型的性能远非最佳，这为未来的发展指明了方向。我们还展示了迷宫基地的多功能性，用它来模拟小的战斗场景，从星际争霸。在MazeBase版本上训练的模型可以直接应用于《星际争霸》，在那里它们一直击败游戏中的AI。
2016-01-07 cs.AI cs.LG cs.NE
A Comprehensive Review of Multi-Agent Reinforcement Learning in Video Games
DigiPen Institute of Technology（迪吉彭理工学院）；Suzhou City University（苏州城市学院）；Soochow University（苏州大学）
本文综述了多智能体强化学习（MARL）在多品类电子游戏中的应用进展，分析了核心挑战与典型落地案例，提出了游戏复杂度评估新方法并指明未来研究方向。
2025-09-03 cs.LG
Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration
Tsinghua University（清华大学）；Nanjing University（南京大学）；University of Alberta（阿尔伯塔大学）；NetEase（网易）
深度协作多智能体强化学习（MARL）中的有效探索在复杂协调问题中仍然具有挑战性。在本文中，我们介绍了一种新的情节多智能体强化学习与好奇心驱动的探索，称为EMC。我们利用流行的因子分解MARL算法的洞察力，即“诱导”的个体Q值，即，用于本地执行的各个效用函数是本地动作观察历史的嵌入，并且可以捕获由于集中式训练期间的回报反向传播而引起的代理之间的交互。因此，我们使用个人Q值的预测误差作为协调探索的内在奖励，并利用情景记忆开发探索的信息经验，以促进政策培训。由于代理的个人Q-价值函数的动态捕捉状态的新颖性和来自其他代理的影响，我们的内在奖励可以诱导协调探索新的或有前途的状态。我们说明了我们的方法的优点，通过教学的例子，并证明其显着优于国家的最先进的MARL基线上具有挑战性的任务，在星际争霸II微观管理基准。
2021-11-22 cs.AI cs.LG
MAIDCRL: Semi-centralized Multi-Agent Influence Dense-CNN Reinforcement Learning
Missouri State University（密苏里州立大学）
本文提出半集中式多智能体密集CNN强化学习MAIDCRL，通过在MAIDRL中引入卷积层，显著提升了在复杂异构SMAC场景下的学习性能、收敛速度及胜率。
2024-02-12 cs.AI cs.LG
State-based Episodic Memory for Multi-Agent Reinforcement Learning
Nanjing University（南京大学）
多智能体强化学习（MARL）算法通过利用集中式训练和分散式执行（CTDE）范式，近年来取得了可喜的进展。然而，现有的MARL算法仍然受到样本效率低下的问题。在本文中，我们提出了一个简单而有效的方法，称为基于状态的情景记忆（SEM），以提高样本效率在MARL。SEM采用情景记忆（EM）对MARL中CTDE的集中训练过程进行监督。据我们所知，SEM是第一个将EM引入MARL的工作。从理论上证明了SEM在MARL中的空间复杂度和时间复杂度都低于最初提出的基于状态和动作的EM（SAEM），后者是用于单智能体强化学习的。在星际争霸多智能体挑战赛（SMAC）上的实验结果表明，在MARL中引入情景记忆可以提高样本效率，与SAEM相比，SEM可以降低存储开销和时间开销。
2021-10-19 cs.AI cs.LG cs.MA
Fidelity-Induced Interpretable Policy Extraction for Reinforcement Learning
Xiangtan University（湘潭大学）；Nanjing University（南京大学）
针对深度强化学习智能体决策不透明及现有可解释策略提取方法解释与行为不一致的问题，提出保真度诱导策略提取方法FIPE，通过将保真度测量集成到强化学习反馈中提升一致性与交互性能。
2023-09-12 cs.AI cs.LG
Value-Decomposition Multi-Agent Actor-Critics
University of Virginia（弗吉尼亚大学）
利用额外的状态信息是多智能体强化学习（MARL）的一个研究热点。QMIX使用非负函数近似器表示联合动作值，并在多智能体基准测试（星际争霸II微观管理任务）上实现了迄今为止的最佳性能。然而，我们的实验表明，在某些情况下，QMIX与A2 C不兼容，A2 C是一种提高算法训练效率的训练范式。为了在训练效率和算法性能之间获得合理的权衡，我们将值分解扩展到与A2 C兼容的演员-评论家，并提出了一种新的演员-评论家框架，值分解演员-评论家（VDACs）。我们评估VDACs的星际争霸II微观管理任务的测试平台上，并表明，所提出的框架提高了其他演员批评的方法的中位数性能。此外，我们使用一组烧蚀实验，以确定的关键因素，有助于VDAC的性能。
2020-12-18 cs.AI cs.LG cs.MA
Local Advantage Networks for Cooperative Multi-Agent Reinforcement Learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；City of Amsterdam（阿姆斯特丹市）
LAN 算法利用 dueling 架构和个体优势函数学习去中心化最佳响应策略，并通过与智能体数量无关的集中式评论家稳定训练，在 StarCraft II 基准上达到最先进性能且高度可扩展。
2023-10-26 cs.AI cs.LG
Arena: a toolkit for Multi-Agent Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
介绍了一个用于多智能体强化学习（MARL）研究的工具包Arena。在MARL中，它通常需要为每个代理定制观察，奖励和动作，改变合作-竞争代理交互，以及与第三方代理一起玩等。我们提供了一种新颖的模块化设计，称为Interface，用于以两种方式操纵此类例程：1）不同的接口可以连接和组合，这将OpenAI Gym Wrappers概念扩展到MARL场景。2)在MARL训练或测试期间，接口可以嵌入到包装的OpenAI Gym兼容环境或原始环境兼容代理中。我们为几个流行的MARL平台提供现成的接口，包括星际争霸II，Pommerman，ViZDoom，Soccer等。这些接口有效地支持自玩RL和合作竞争混合MARL。此外，Arena可以方便地扩展到您自己喜欢的MARL平台。
2019-07-20 cs.AI cs.LG cs.MA
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
2021-11-01 cs.LG
RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，强化学习在多智能体领域面临着一些挑战，例如信用分配问题。价值函数分解是一种很有前途的方法来处理信用分配问题下的集中训练与分散执行（CTDE）范式。然而，现有的价值函数分解方法不能处理ad-hoc合作，即，适应新的配置的队友在测试时。具体而言，这些方法没有明确地利用代理之间的关系，不能适应不同大小的输入。为了解决这些限制，我们提出了一种新的方法，称为感知信用分配（RACA），它实现了zero-shot泛化在ad-hoc合作的情况下。RACA利用一个基于图的关系编码器来编码代理之间的拓扑结构。此外，RACA利用了一个基于注意力的观察抽象机制，可以推广到任意数量的队友与固定数量的参数。实验表明，我们的方法优于基线方法的StarCraftII微管理基准和特设合作方案。
2022-06-02 cs.AI cs.LG
$K$-Level Policy Gradients for Multi-Agent Reinforcement Learning
Department of Computer Science, TU Darmstadt（图恩-达姆施塔特技术大学计算机科学系）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森人工智能中心）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（图恩-达姆施塔特技术大学认知科学中心）；Center for Artificial Intelligence and Data Science, University of Würzburg（弗赖堡大学人工智能与数据科学中心）
提出KPG方法，通过递归更新智能体策略以解决深度MARL中的协调失败问题，理论证明其单调收敛至局部纳什均衡，并在StarCraft II和多智能体MuJoCo中表现优异。
2025-09-15 cs.AI cs.LG
Intrinsically-Motivated Reinforcement Learning: A Brief Introduction
Tencent Robotics X Lab（腾讯机器人X实验室）
强化学习是机器学习的三大基本范式之一。它在许多复杂的任务中表现出令人印象深刻的性能，如围棋和星际争霸，越来越多地参与智能制造和自动驾驶。然而，强化学习一直遭受探索-利用的困境。本文研究了强化学习中探索性学习的改进问题，并引入了内在动机强化学习。与经典的探索策略形成鲜明对比的是，内在动机强化学习利用内在学习动机提供可持续的探索激励。对现有的内在报酬方法进行了分类，分析了它们在实际应用中存在的不足。此外，我们提出了一种新的内在奖励方法，通过Rényi状态熵最大化，克服了以前的方法的缺点，并提供了强大的探索激励。最后，通过大量的仿真实验，验证了该模块具有较高的效率和鲁棒性.
2022-06-02 cs.LG
Credit Assignment with Meta-Policy Gradient for Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
奖励分解是多智能体强化学习集中训练分散执行（CTDE）范式中的一个关键问题。为了充分利用全局信息，利用所有代理的状态和相关环境将Q值分解为单个信用，我们提出了一个通用的基于元学习的混合网络与Meta策略梯度~（MNMPG）框架来提取全局层次结构以进行精细的奖励分解。通过效用网络，从“练习更新”前后的情节奖励差异推导出用于学习全局层次结构的激励信号。我们的方法是一般适用于CTDE方法使用单调混合网络。在星际争霸II微管理基准测试上的实验表明，我们的方法只需要一个简单的效用网络，就能够在5个超硬场景中的4个场景上超过当前最先进的MARL算法。当与基于角色的效用网络相结合时，可以进一步实现更好的性能。
2021-02-24 cs.AI cs.LG cs.MA
Disturbing Reinforcement Learning Agents with Corrupted Rewards
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
强化学习（RL）算法最近在解决复杂游戏（如Atari或Starcraft）方面取得了成功，并在现实世界的应用中产生了巨大的影响，如网络安全或自动驾驶。在缺点方面，最近的工作已经表明RL算法的性能如何在奖励函数的软变化的影响下下降。然而，很少有工作已经做了如何敏感这些干扰取决于攻击的侵略性和学习探索策略。在本文中，我们建议填补这一空白，在文献中分析不同的攻击策略的奖励扰动的基础上的影响，并研究在学习器中的效果取决于其探索策略。为了解释所有的行为，我们选择了一个子类的MDP：情节，随机目标唯一的奖励MDP，特别是，一个可理解的网格域作为基准。在这个领域中，我们证明了平滑地制作对抗性奖励能够误导学习者，并且使用低探索概率值，学习到的策略对腐败奖励更鲁棒。最后，在所提出的学习场景中，出现了一个违反直觉的结果：在每个学习片段中攻击是成本最低的攻击策略。
2021-02-12 cs.AI cs.LG
MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在现实世界中，许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题，许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解，其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为，例如VDN（值分解网络）和QMIX。然而，这些基线往往忽略了情况的随机性。我们提出了MMD-MIX，一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外，为了提高数据采样效率，我们受到了REM（随机混合）的启发，REM是一种鲁棒的RL算法，将随机性显式引入MMD-MIX。实验表明，MMD-MIX优于星际争霸多智能体挑战赛（SMAC）环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
Never Explore Repeatedly in Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）；Harvard University（哈佛大学）；Washington University (St. Louis)（华盛顿大学（圣路易斯））
针对多智能体强化学习中因神经统计近似器表达能力有限导致的重复探索问题，提出动态奖励缩放方法，稳定已探索区域内在奖励波动、促进广泛探索，在稀疏奖励的严苛环境中提升了性能。
2023-08-19 cs.AI cs.LG cs.MA
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
我们提出并解决了一个新的Few-Shot RL问题，其中一个任务的特点是由一个子任务图，它描述了一组子任务和它们的依赖关系是未知的代理。智能体需要在适应阶段快速适应任务，以最大化测试阶段的回报。而不是直接学习的元策略，我们开发了一个元学习者与子任务图推理（MSGI），推断的潜在参数的任务，通过与环境的交互，并最大限度地提高潜在参数的回报。为了促进学习，我们采用了一种内在的奖励，这种奖励是由鼓励有效探索的置信上限（UCB）激发的。我们的实验结果表明，该方法能够准确地推断潜在的任务参数，并适应更有效地比现有的Meta RL和层次RL方法。
2020-04-14 cs.AI cs.LG stat.ML
Cooperative Exploration for Multi-Agent Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
探索对于深度强化学习的良好结果至关重要，并引起了广泛关注。然而，现有的多智能体深度强化学习算法仍然主要使用基于噪声的技术。最近，已经开发了考虑多个代理之间的合作的探索方法。然而，现有的方法遭受一个共同的挑战：代理人的斗争，以确定值得探索的状态，并很难协调对这些国家的探索努力。为了解决这个问题，在本文中，我们提出了合作多智能体探索（CMAE）：代理共享一个共同的目标，而探索。目标是从多个投影状态空间通过归一化熵为基础的技术。然后，训练代理以协调的方式实现这一目标。我们证明了CMAE在各种任务上的表现始终优于基线，包括稀疏奖励版本的多粒子环境（MPE）和星际争霸多智能体挑战（SMAC）。
2021-07-23 cs.AI
S2RL: Do We Really Need to Perceive All States in Deep Multi-Agent Reinforcement Learning?
Zhejiang University（浙江大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
协作式多智能体强化学习（MARL）已被广泛应用于许多实际应用中，其中每个智能体基于自己的观察做出决策。大多数主流方法在对分散的局部效用函数建模时，将每个局部观测作为一个整体来处理。但是，它们忽略了这样一个事实，即局部观测信息可以进一步划分为若干实体，并且只有部分实体有助于模型推理。此外，不同实体的重要性可能会随着时间的推移而发生变化。为了提高分散策略的性能，注意力机制被用来捕捉本地信息的特征。然而，现有的注意力模型依赖于密集的全连接图，不能更好地感知重要状态。为此，我们提出了一个基于稀疏状态的MARL（S2RL）框架，它利用稀疏的注意力机制，以丢弃不相关的信息，在当地的意见。分别通过自注意和稀疏注意力机制估计局部效用函数，然后在中心评价器中将局部效用函数组合成标准联合价值函数和辅助联合价值函数。我们将S2RL框架设计为即插即用模块，使其足够通用，可以应用于各种方法。在星际争霸II上的大量实验表明，S2RL可以显着提高许多最先进方法的性能。
2022-06-20 cs.AI cs.LG
Exploiting Semantic Epsilon Greedy Exploration Strategy in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）
多智能体强化学习（MARL）可以对许多现实世界的应用进行建模。然而，许多MARL方法依赖于贪婪的探索，这可能会阻碍在困难的情况下访问有利的状态。在本文中，我们提出了一种新的方法QMIX（SEG）处理MARL。它利用价值函数分解方法QMIX训练每Agent策略和一种新的语义外延贪婪（SEG）探索策略。SEG是对传统的贪婪搜索策略的简单扩展，但实验表明它可以大大提高MARL的性能。我们首先将动作聚类成具有相似效果的动作组，然后在一个双层的贪婪探索层次结构中使用这些组进行动作选择。我们认为，SEG有利于语义探索，探索在空间组的行动，这比原子行动具有更丰富的语义意义。实验表明，QMIX（SEG）大大优于QMIX，并导致强大的性能竞争力与当前国家的最先进的MARL方法在星际争霸多智能体挑战赛（SMAC）的基准。
2022-01-27 cs.AI cs.LG cs.MA
Neural-encoding Human Experts' Domain Knowledge to Warm Start Reinforcement Learning
Institute for Robotics and Intelligent Machines（机器人与智能机器研究所）；Georgia Institute of Technology（佐治亚理工学院）
深度强化学习已经在各种任务中取得了成功，例如游戏和机器人操作。然而，试图学习\textit{tabula rasa}忽略了许多领域的逻辑结构以及来自领域专家的丰富的现成知识，这些知识可以帮助“热启动”学习过程。我们提出了一种新的强化学习技术，允许智能初始化的神经网络的权重和架构。我们的方法允许将领域知识直接编码到神经决策树中，并通过策略梯度更新来改进该知识。我们在两个OpenAI Gym任务和两个修改后的星际争霸2任务上实证验证了我们的方法，表明我们的新架构优于多层感知器和递归架构。我们的知识为基础的框架发现优越的政策相比，模仿学习为基础的和先验知识为基础的方法。重要的是，我们证明了我们的方法可以被未经训练的人使用，相对于训练前的基线，最初提供>80%的预期奖励增加（p < 0.001），这导致策略优化后的预期奖励增加>60%（p = 0.011）。
2020-09-23 cs.AI cs.LG stat.ML
XuanCe: A Comprehensive and Unified Deep Reinforcement Learning Library
Anhui University（安徽大学）；Peng Cheng Laboratory（鹏城实验室）；Southeast University（东南大学）；Tongji University（同济大学）；Tianjin University（天津大学）
XuanCe是一个兼容PyTorch、TensorFlow和MindSpore的全面统一深度强化学习库，提供超40种算法，支持多硬件与操作系统，在MuJoCo、Atari等基准上表现优异。
2023-12-25 cs.AI cs.DL cs.LG
Revisiting the Master-Slave Architecture in Multi-Agent Deep Reinforcement Learning
Microsoft Research（微软研究院）
人工智能中的许多任务需要多个智能体的协作。我们测试了多智能体领域的深度强化学习。最近的研究工作往往采取两种看似冲突的观点，分散的观点，其中每个代理人应该有自己的控制器;和集中的观点，其中一个假设有一个更大的模型控制所有代理人。在这方面，我们重新审视主从架构的想法，将这两个角度在一个框架内。这样的层级结构自然地利用了彼此的优势。结合这两种观点的想法是直观的，可以很好地从许多现实世界的系统动机，然而，在各种可能的实现，我们强调三个关键要素，即组成的动作表示，可学习的通信和独立推理。网络设计，以促进这些明确的，我们的建议始终优于最新的竞争方法在合成实验中，当应用于具有挑战性的星际微观管理任务。
2017-12-20 cs.AI
