An Empirical Study on Google Research Football Multi-agent Scenarios
Institute of Automation, CAS（中国科学院自动化研究所）；Digital Brain Lab（数字脑实验室）；ShanghaiTech University（上海科技大学）；Huawei Cloud（华为云）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
Yan Song, He Jiang, Zheng Tian, Haifeng Zhang, Yingping Zhang, Jiangcheng Zhu, Zonghong Dai, Weinan Zhang, Jun Wang
关于 Google Research Football（GRF）的多智能体强化学习（MARL）研究很少关注 11v11 多智能体全场对战场景，并且据我们所知，目前尚未有面向公众发布的该场景开放基准。在本工作中，我们通过提供一种基于种群的多智能体 MARL 训练流程和超参数设置来填补这一空白，该方案在多智能体足球场景下能够在 200 万步内从零开始超越难度为 1.0 的内置机器人。我们的实验可作为独立近端策略优化（IPPO）预期性能的参考，IPPO 是一种先进的多智能体强化学习算法，其中每个智能体在各种训练配置下独立地最大化自身策略。同时，我们开源了训练框架 Light-MALib，它通过分布式和异步化实现扩展了 MALib 代码库，并增加了针对足球比赛的额外分析工具。最后，我们为基于种群训练构建强大的足球 AI 提供了指导，并发布了多样化的预训练策略用于基准测试。目标是让任何在 GRF 上进行实验的研究者都能获得先发优势，并提供一个简单易用的基于种群的训练框架，以便通过自博弈进一步改进其智能体。实现代码可在 https://github.com/Shanghai-Digital-Brain-Laboratory/DB-Football 获取。
英文摘要：
Few multi-agent reinforcement learning (MARL) research on Google Research Football (GRF) focus on the 11v11 multi-agent full-game scenario and to the best of our knowledge, no open benchmark on this scenario has been released to the public. In this work, we fill the gap by providing a population-based MARL training pipeline and hyperparameter settings on multi-agent football scenario that outperforms the bot with difficulty 1.0 from scratch within 2 million steps. Our experiments serve as a reference for the expected performance of Independent Proximal Policy Optimization (IPPO), a state-of-the-art multi-agent reinforcement learning algorithm where each agent tries to maximize its own policy independently across various training configurations. Meanwhile, we open-source our training framework Light-MALib which extends the MALib codebase by distributed and asynchronized implementation with additional analytical tools for football games. Finally, we provide guidance for building strong football AI with population-based training and release diverse pretrained policies for benchmarking. The goal is to provide the community with a head start for whoever experiment their works on GRF and a simple-to-use population-based training framework for further improving their agents through self-play. The implementation is available at https://github.com/Shanghai-Digital-Brain-Laboratory/DB-Football.
Google Research Football: A Novel Reinforcement Learning Environment
Google Research（谷歌研究院）；Jagiellonian University（雅盖隆大学）
强化学习领域的最新进展已经通过虚拟学习环境（如视频游戏）加速，其中新的算法和想法可以以安全和可再现的方式快速测试。我们介绍了Google Research Football Environment，这是一个新的强化学习环境，在这个环境中，智能体被训练在一个先进的、基于物理的3D模拟器中踢足球。由此产生的环境具有挑战性，易于使用和自定义，并且可以在宽松的开源许可证下使用。此外，它还支持多人和多智能体实验。我们提出了三个不同难度的足球基准和报告基线结果的三个常用的强化算法（IMPALA，PPO和Ape-X DQN）的完整游戏场景。我们还提供了一套更简单的方案与足球学院，并展示了几个有前途的研究方向。
多智能体足球是人工智能研究中一个尚未解决的挑战。现有的工作集中在解决游戏的简化场景，或者利用专家演示。在本文中，我们开发了一个多智能体系统来玩完整的11对11游戏模式，没有演示。这种游戏模式包含了对现代强化学习算法的主要挑战;多智能体协调，长期规划和非传递性。为了应对这些挑战，我们提出了TiZero;一个自我进化的多智能体系统，从头开始学习。TiZero引入了几项创新，包括自适应课程学习，一种新颖的自我游戏策略，以及一个共同优化多个代理策略的目标。在实验中，它在Google Research Football环境中的表现远远优于以前的系统，将胜率提高了30%以上。为了展示TiZero的创新的普遍性，他们在足球之外的几个环境中进行了评估;过度烹饪，多智能体粒子环境，井字游戏和连接四。
Graph Neural Network based Agent in Google Research Football
Central South University of Forestry and Technology（中南林业科技大学）；Fordham University（福特汉姆大学）；Zhejiang University（浙江大学）
深度神经网络（DNN）可以近似价值函数或策略用于强化学习，这使得强化学习算法更强大。然而，在强化学习的特定情况下，一些DNN，如卷积神经网络（CNN），无法提取足够的信息或需要太长时间才能从输入中获得足够的特征。例如，Google Research Football的输入数据是球员位置的小地图，这是一个训练代理踢足球的强化学习环境。这些信息不仅包含在玩家的坐标中，还包含在不同玩家之间的关系中。CNN既不能提取足够的信息，也不需要太长的训练时间。为了解决这个问题，本文提出了一种以图神经网络（GNN）为模型的深度q学习网络（DQN）。GNN将输入数据转换为更好地表示足球运动员位置的图，以便提取不同运动员之间交互的更多信息。通过两个GNN来近似其本地和目标价值函数，该DQN允许玩家通过使用价值函数来了解每个预期动作的预期价值，从而从他们的经验中学习。所提出的模型证明了GNN在足球比赛中的强大功能，其表现优于其他DRL模型，步骤明显减少。
SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference
Brain Team（大脑团队）；Google Research（谷歌研究院）
我们提出了一个现代可扩展的强化学习代理，称为SEED（可扩展的，高效的深度RL）。通过有效地利用现代加速器，我们表明，它不仅可以训练每秒数百万帧，但也降低了成本的实验相比，目前的方法。我们通过一个简单的架构实现了这一点，该架构具有集中式推理和优化的通信层。SEED采用了两种最先进的分布式算法，IMPALA/V-trace（策略梯度）和R2D2（Q-learning），并在Atari-57，DeepMind Lab和Google Research Football上进行了评估。我们提高了足球的艺术水平，并能够在Atari-57上以三倍的速度达到艺术水平。对于我们考虑的场景，运行实验的成本降低了40%到80%。实验的实现是开源的，因此可以复制结果并尝试新的想法。
Maximum Entropy Heterogeneous-Agent Reinforcement Learning
Institute for AI, Peking University（北京大学人工智能研究院）；National Key Laboratory of General AI, BIGAI（北京智源人工智能研究院通用人工智能全国重点实验室）；University of Technology Sydney（悉尼科技大学）；Tencent AI Lab（腾讯人工智能实验室）
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
Multi-Agent Reinforcement Learning is a Sequence Modeling Problem
Shanghai Jiao Tong University（上海交通大学）；Digital Brain Lab（数字大脑实验室）；University of Oxford（牛津大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；University College London（伦敦大学学院）；Beijing Institute for General AI（北京通用人工智能研究院）；Institute for AI, Peking University（北京大学人工智能研究院）
大序列模型（SM），如GPT系列和BERT，在视觉，语言和最近的强化学习任务中表现出出色的性能和泛化能力。一个自然的后续问题是如何将多智能体决策抽象为SM问题，并受益于SM的蓬勃发展。在本文中，我们介绍了一种新的架构命名为多智能体Transformer（MAT），有效地铸造合作的多智能体强化学习（MARL）到SM问题，其中的任务是代理的观察序列映射到代理的最佳动作序列。我们的目标是建立MARL和SM之间的桥梁，使现代序列模型的建模能力可以释放MARL。我们MAT的核心是一个编码器-解码器架构，它利用多智能体优势分解定理将联合策略搜索问题转化为顺序决策过程;这使得多智能体问题只有线性时间复杂度，最重要的是，赋予MAT单调的性能改善保证。与诸如决策Transformer仅适合预先收集的离线数据的现有技术不同，MAT通过来自环境的在线试验和错误以策略上的方式进行训练。为了验证MAT，我们对StarCraftII，Multi-Agent MuJoCo，Dexterous Hands Manipulation和Google Research Football基准进行了广泛的实验。结果表明，MAT与包括MAPPO和HAPPO在内的强大基线相比，实现了卓越的性能和数据效率。此外，我们证明，MAT是一个很好的几个短的学习者看不见的任务，无论代理的数量的变化。请访问我们的项目页面https://si…
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（RL）对计算要求很高，需要处理许多数据点。同步方法具有训练稳定性，同时具有较低的数据吞吐量。相比之下，异步方法实现了高吞吐量，但是由于“陈旧策略”而遭受稳定性问题和较低的样本效率。为了结合这两种方法的优点，我们提出了高吞吐量同步深度强化学习（HTS-RL）。在HTS-RL中，我们同时执行学习和推出，设计一个系统设计，避免“陈旧的政策”，并确保演员与环境副本以异步的方式进行交互，同时保持完全的确定性。我们评估了我们在Atari游戏和Google Research Football环境中的方法。与同步基线相比，HTS-RL快2-6 $\times$。与最先进的异步方法相比，HTS-RL具有竞争力的吞吐量，并始终实现更高的平均情节奖励。
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind；Google Research（谷歌研究院）
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差，最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨，那就是多智能体强化学习（MARL）。在这里，我们调查是否以对象为中心的表示也是有益的，在充分合作的MARL设置。具体来说，我们研究了两种方法，将代理为中心的归纳偏见到我们的RL算法：1。引入一个以代理为中心的注意力模块，并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标（即不使用动作标签），用作MARL的辅助损失，或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上，以主体为中心的表示学习导致主体之间更复杂的合作策略的出现，以及增强的样本效率和泛化能力。
ACE: Cooperative Multi-agent Q-learning with Bidirectional Action-Dependency
The University of Sydney（悉尼大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Group LTD（商汤科技集团）；Institute for AI, Peking University（北京大学人工智能研究院）
多智能体强化学习（MARL）存在非平稳性问题，即当多个智能体同时更新策略时，每一次迭代的目标都在不断变化。本文从第一性原理出发，提出了双向动作依赖Q学习（ACE）方法来解决非平稳性问题。ACE发展的核心是顺序决策过程，其中一次只允许一个代理采取行动。在这个过程中，每个代理最大化其价值函数给定的行动所采取的前代理在推理阶段。在学习阶段，每个代理最小化TD错误，这取决于后续代理如何对他们选择的动作做出反应。考虑到双向依赖的设计，ACE有效地将多Agent MDP转化为单Agent MDP。我们通过识别适当的网络表示来制定动作依赖关系，从而在一个向前传递中隐式地计算顺序决策过程，从而实现ACE框架。为了验证ACE，我们将其与两个MARL基准的强基线进行比较。在Google Research Football和StarCraft Multi-Agent Challenge上的实验结果表明，ACE算法的性能明显优于现有算法。特别是在SMAC任务上，ACE在几乎所有的硬地图和超硬地图上都达到了100%的成功率。我们进一步研究广泛的研究问题，ACE，包括扩展，推广，和实用性。提供代码以方便进一步研究。
Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）
多智能体强化学习（MARL）中的状态空间随着智能体的数量呈指数增长。这种维数灾难导致了较差的可扩展性和低样本效率，抑制了MARL数十年。为了打破这一诅咒，我们提出了一个统一的代理置换框架，利用置换不变性（PI）和置换等变性（PE）的诱导偏差，以减少多智能体状态空间。我们的见解是，置换的实体在分解的多智能体状态空间的顺序不会改变的信息。具体来说，我们提出了两个新的实现：动态置换网络（DPN）和超策略网络（HPN）。其核心思想是构建独立的实体PI输入和PE输出网络模块，以端到端的方式连接实体分解的状态空间和动作空间。DPN通过两个独立的模块选择网络来实现这种连接，这两个网络一致地将相同的输入模块分配给相同的输入实体（保证PI），并将相同的输出模块分配给相同的实体相关输出（保证PE）。HPN用超网络代替DPN的模块选择网络，直接生成相应的模块权值，增强了模型的表示能力。在SMAC、Google Research Football和MPE上的大量实验表明，所提方法显著提高了现有MARL算法的性能和学习效率。值得注意的是，在SMAC中，我们在几乎所有的硬和超硬场景中实现了100%的胜率（以前从未实现过）。
LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud（华为云）；Hefei Comprehensive National Science Center, Institute of Artificial Intelligence（合肥综合性国家科学中心人工智能研究院）
PMAT: Optimizing Action Generation Order in Multi-Agent Reinforcement Learning
National University of Defense Technology（国防科技大学）；Shanghai Jiao Tong University（上海交通大学）；University of Bristol（布里斯托大学）；Intelligent Game and Decision Lab（智能游戏与决策实验室）
DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning
South China University of Technology（华南理工大学）；Shenzhen University（深圳大学）；The Hong Kong University of Science and Technology（香港科技大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
Bridging MARL to SARL: An Order-Independent Multi-Agent Transformer via Latent Consensus
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL?
Zhejiang University（浙江大学）；Zhejiang Provincial Engineering Research Center for Real-Time SmartTech in Urban Security Governance, School of Computer and Computing Science, Hangzhou City University（浙江省实时智慧城市治理实时智能技术工程研究中心，计算机与计算科学学院，杭州市大学）；State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江区）区块链与数据安全研究院）
CooT: Learning to Coordinate In-Context with Coordination Transformers
Graduate Institute of Communication Engineering, National Taiwan University (NTU)（国立台湾大学通信工程研究所）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立台湾大学人工智能研究中心）；University of Utah（犹他大学）
Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）代理的能力很大程度上取决于环境生成的学习场景的多样性。实时战略（RTS）环境下，生成不同的现实场景是具有挑战性的。RTS环境的特点是智能实体/非RL代理合作和竞争的RL代理与大的状态和动作空间在很长一段时间内，在一个无限的空间的可行的，但不一定是现实的，涉及复杂的交互场景不同的RL和非RL代理。然而，大多数现有的模拟器依赖于基于预定义的设置/布局随机生成环境，并为研究人员提供有限的灵活性和对环境动态的控制，以根据他们的需求生成多样化的现实场景。为了解决这个问题，第一次，我们正式介绍的好处，采用现有的正式场景规约语言，SCENIC，以帮助研究人员建模和生成不同的场景在RTS环境中的灵活，系统和编程的方式。为了展示这些好处，我们将SCENIC与现有的RTS环境Google Research Football（GRF）模拟器进行了接口，并引入了一个由32个真实场景组成的基准测试，在SCENIC中进行编码，以训练RL代理并测试其泛化能力。我们还展示了研究人员/RL从业者如何通过直观地使用SCENIC对随机编程策略进行建模，从而结合他们的领域知识来加快培训过程。
Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出分层视觉奖励塑造方法，以VLM作为通用势函数、vLLM自适应选择技能，并证明其保持最优策略，在Google Research Football中提升胜率与常识对齐。
Transformer是现代NLP模型的支柱。在本文中，我们提出了RealFormer，一个简单而通用的技术来创建剩余注意力层Transformer网络，显着优于规范的Transformer及其变体（BERT，ETC等）。在各种各样的任务上，包括Masked Language Modeling、GLUE、SQuAD、Neural机器翻译、WikiHop、HotpotQA、Natural Questions和OpenKP。我们还根据经验观察到，RealFormer稳定了训练，并导致模型具有更稀疏的注意力。RealFormer的源代码和预先训练的检查点可以在https://github.com/google-research/google-research/tree/master/realformer上找到。
