With the vast amount of data collected on football and the growth of computing abilities, many games involving decision choices can be optimized. The underlying rule is the maximization of an expected utility of outcomes and the law of large numbers. The data available allows us to compute with high accuracy the probabilities of outcomes of decisions and the well defined points system in the game allows us to have the necessary terminal utilities. With some well established theory we can then optimize choices at a single play level.
Google Research Football: A Novel Reinforcement Learning Environment
Google Research（谷歌研究院）；Jagiellonian University（雅盖隆大学）
强化学习领域的最新进展已经通过虚拟学习环境（如视频游戏）加速，其中新的算法和想法可以以安全和可再现的方式快速测试。我们介绍了Google Research Football Environment，这是一个新的强化学习环境，在这个环境中，智能体被训练在一个先进的、基于物理的3D模拟器中踢足球。由此产生的环境具有挑战性，易于使用和自定义，并且可以在宽松的开源许可证下使用。此外，它还支持多人和多智能体实验。我们提出了三个不同难度的足球基准和报告基线结果的三个常用的强化算法（IMPALA，PPO和Ape-X DQN）的完整游戏场景。我们还提供了一套更简单的方案与足球学院，并展示了几个有前途的研究方向。
Maximising the Set-Piece Return: Optimising Football Corner Tactics with Graph Reinforcement Learning
School of Computer Science, University of Birmingham, Birmingham, UK（伯明翰大学计算机科学学院）；Nottingham Forest Football Club, Nottingham, UK（诺丁汉森林足球俱乐部）；Oxford Robotics Institute, University of Oxford, Oxford, UK（牛津大学机器人研究所）；School of Sport, Exercise and Rehabilitation Sciences, University of Birmingham, Birmingham, UK（伯明翰大学运动、体能与康复科学学院）
An Empirical Study on Google Research Football Multi-agent Scenarios
Institute of Automation, CAS（中国科学院自动化研究所）；Digital Brain Lab（数字脑实验室）；ShanghaiTech University（上海科技大学）；Huawei Cloud（华为云）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
多智能体足球是人工智能研究中一个尚未解决的挑战。现有的工作集中在解决游戏的简化场景，或者利用专家演示。在本文中，我们开发了一个多智能体系统来玩完整的11对11游戏模式，没有演示。这种游戏模式包含了对现代强化学习算法的主要挑战;多智能体协调，长期规划和非传递性。为了应对这些挑战，我们提出了TiZero;一个自我进化的多智能体系统，从头开始学习。TiZero引入了几项创新，包括自适应课程学习，一种新颖的自我游戏策略，以及一个共同优化多个代理策略的目标。在实验中，它在Google Research Football环境中的表现远远优于以前的系统，将胜率提高了30%以上。为了展示TiZero的创新的普遍性，他们在足球之外的几个环境中进行了评估;过度烹饪，多智能体粒子环境，井字游戏和连接四。
Celebrating Diversity in Shared Multi-Agent Reinforcement Learning
Tsinghua University（清华大学）
最近，深度多智能体强化学习（MARL）已经显示出解决复杂协作任务的前景。它的成功部分是因为代理之间的参数共享。然而，这种共享可能会导致代理人的行为相似，并限制他们的协调能力。在本文中，我们的目标是在共享多智能体强化学习的优化和表示中引入多样性。具体来说，我们提出了一个信息理论正则化，以最大限度地提高代理的身份和他们的轨迹之间的互信息，鼓励广泛的探索和多样化的个性化行为。在表示中，我们将代理特定的模块中的共享神经网络架构，这是正规化的L1范数，以促进学习共享的代理，同时保持必要的多样性。实证结果表明，我们的方法在Google Research Football和超级硬的星际争霸II微观管理任务上实现了最先进的性能。
SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference
Brain Team（大脑团队）；Google Research（谷歌研究院）
我们提出了一个现代可扩展的强化学习代理，称为SEED（可扩展的，高效的深度RL）。通过有效地利用现代加速器，我们表明，它不仅可以训练每秒数百万帧，但也降低了成本的实验相比，目前的方法。我们通过一个简单的架构实现了这一点，该架构具有集中式推理和优化的通信层。SEED采用了两种最先进的分布式算法，IMPALA/V-trace（策略梯度）和R2D2（Q-learning），并在Atari-57，DeepMind Lab和Google Research Football上进行了评估。我们提高了足球的艺术水平，并能够在Atari-57上以三倍的速度达到艺术水平。对于我们考虑的场景，运行实验的成本降低了40%到80%。实验的实现是开源的，因此可以复制结果并尝试新的想法。
Agent-Centric Representations for Multi-Agent Reinforcement Learning
DeepMind；Google Research（谷歌研究院）
以对象为中心的表示最近在处理关系推理任务方面取得了重大进展。通过在神经架构中构建强的以对象为中心的归纳偏差，最近的努力已经提高了这些问题的机器学习算法的泛化和数据效率。涉及关系推理的一个问题类别仍然未得到充分探讨，那就是多智能体强化学习（MARL）。在这里，我们调查是否以对象为中心的表示也是有益的，在充分合作的MARL设置。具体来说，我们研究了两种方法，将代理为中心的归纳偏见到我们的RL算法：1。引入一个以代理为中心的注意力模块，并在代理之间建立显式连接2。添加以代理为中心的无监督预测目标（即不使用动作标签），用作MARL的辅助损失，或作为预训练步骤的基础。我们在Google Research Football环境和DeepMind Lab 2D上评估了这些方法。经验上，以主体为中心的表示学习导致主体之间更复杂的合作策略的出现，以及增强的样本效率和泛化能力。
Graph Neural Network based Agent in Google Research Football
Central South University of Forestry and Technology（中南林业科技大学）；Fordham University（福特汉姆大学）；Zhejiang University（浙江大学）
深度神经网络（DNN）可以近似价值函数或策略用于强化学习，这使得强化学习算法更强大。然而，在强化学习的特定情况下，一些DNN，如卷积神经网络（CNN），无法提取足够的信息或需要太长时间才能从输入中获得足够的特征。例如，Google Research Football的输入数据是球员位置的小地图，这是一个训练代理踢足球的强化学习环境。这些信息不仅包含在玩家的坐标中，还包含在不同玩家之间的关系中。CNN既不能提取足够的信息，也不需要太长的训练时间。为了解决这个问题，本文提出了一种以图神经网络（GNN）为模型的深度q学习网络（DQN）。GNN将输入数据转换为更好地表示足球运动员位置的图，以便提取不同运动员之间交互的更多信息。通过两个GNN来近似其本地和目标价值函数，该DQN允许玩家通过使用价值函数来了解每个预期动作的预期价值，从而从他们的经验中学习。所提出的模型证明了GNN在足球比赛中的强大功能，其表现优于其他DRL模型，步骤明显减少。
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
深度强化学习（RL）对计算要求很高，需要处理许多数据点。同步方法具有训练稳定性，同时具有较低的数据吞吐量。相比之下，异步方法实现了高吞吐量，但是由于“陈旧策略”而遭受稳定性问题和较低的样本效率。为了结合这两种方法的优点，我们提出了高吞吐量同步深度强化学习（HTS-RL）。在HTS-RL中，我们同时执行学习和推出，设计一个系统设计，避免“陈旧的政策”，并确保演员与环境副本以异步的方式进行交互，同时保持完全的确定性。我们评估了我们在Atari游戏和Google Research Football环境中的方法。与同步基线相比，HTS-RL快2-6 $\times$。与最先进的异步方法相比，HTS-RL具有竞争力的吞吐量，并始终实现更高的平均情节奖励。
LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud（华为云）；Hefei Comprehensive National Science Center, Institute of Artificial Intelligence（合肥综合性国家科学中心人工智能研究院）
DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning
South China University of Technology（华南理工大学）；Shenzhen University（深圳大学）；The Hong Kong University of Science and Technology（香港科技大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
Scenic4RL: Programmatic Modeling and Generation of Reinforcement Learning Environments
University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）代理的能力很大程度上取决于环境生成的学习场景的多样性。实时战略（RTS）环境下，生成不同的现实场景是具有挑战性的。RTS环境的特点是智能实体/非RL代理合作和竞争的RL代理与大的状态和动作空间在很长一段时间内，在一个无限的空间的可行的，但不一定是现实的，涉及复杂的交互场景不同的RL和非RL代理。然而，大多数现有的模拟器依赖于基于预定义的设置/布局随机生成环境，并为研究人员提供有限的灵活性和对环境动态的控制，以根据他们的需求生成多样化的现实场景。为了解决这个问题，第一次，我们正式介绍的好处，采用现有的正式场景规约语言，SCENIC，以帮助研究人员建模和生成不同的场景在RTS环境中的灵活，系统和编程的方式。为了展示这些好处，我们将SCENIC与现有的RTS环境Google Research Football（GRF）模拟器进行了接口，并引入了一个由32个真实场景组成的基准测试，在SCENIC中进行编码，以训练RL代理并测试其泛化能力。我们还展示了研究人员/RL从业者如何通过直观地使用SCENIC对随机编程策略进行建模，从而结合他们的领域知识来加快培训过程。
Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出分层视觉奖励塑造方法，以VLM作为通用势函数、vLLM自适应选择技能，并证明其保持最优策略，在Google Research Football中提升胜率与常识对齐。
Multi-Agent Reinforcement Learning is a Sequence Modeling Problem
Shanghai Jiao Tong University（上海交通大学）；Digital Brain Lab（数字大脑实验室）；University of Oxford（牛津大学）；Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；University College London（伦敦大学学院）；Beijing Institute for General AI（北京通用人工智能研究院）；Institute for AI, Peking University（北京大学人工智能研究院）
大序列模型（SM），如GPT系列和BERT，在视觉，语言和最近的强化学习任务中表现出出色的性能和泛化能力。一个自然的后续问题是如何将多智能体决策抽象为SM问题，并受益于SM的蓬勃发展。在本文中，我们介绍了一种新的架构命名为多智能体Transformer（MAT），有效地铸造合作的多智能体强化学习（MARL）到SM问题，其中的任务是代理的观察序列映射到代理的最佳动作序列。我们的目标是建立MARL和SM之间的桥梁，使现代序列模型的建模能力可以释放MARL。我们MAT的核心是一个编码器-解码器架构，它利用多智能体优势分解定理将联合策略搜索问题转化为顺序决策过程;这使得多智能体问题只有线性时间复杂度，最重要的是，赋予MAT单调的性能改善保证。与诸如决策Transformer仅适合预先收集的离线数据的现有技术不同，MAT通过来自环境的在线试验和错误以策略上的方式进行训练。为了验证MAT，我们对StarCraftII，Multi-Agent MuJoCo，Dexterous Hands Manipulation和Google Research Football基准进行了广泛的实验。结果表明，MAT与包括MAPPO和HAPPO在内的强大基线相比，实现了卓越的性能和数据效率。此外，我们证明，MAT是一个很好的几个短的学习者看不见的任务，无论代理的数量的变化。请访问我们的项目页面https://si…
PMAT: Optimizing Action Generation Order in Multi-Agent Reinforcement Learning
National University of Defense Technology（国防科技大学）；Shanghai Jiao Tong University（上海交通大学）；University of Bristol（布里斯托大学）；Intelligent Game and Decision Lab（智能游戏与决策实验室）
Maximum Entropy Heterogeneous-Agent Reinforcement Learning
Institute for AI, Peking University（北京大学人工智能研究院）；National Key Laboratory of General AI, BIGAI（北京智源人工智能研究院通用人工智能全国重点实验室）；University of Technology Sydney（悉尼科技大学）；Tencent AI Lab（腾讯人工智能实验室）
MAIS\&NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China（MAIS与NLPR，自动化研究所，中国科学院，北京，中国）；School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences, Beijing, China（先进交叉学科学院，中国科学院大学，北京，中国）
Democratizing Tool Learning with Environments Fully Simulated by a Free 8B Language Model
National Key Laboratory for Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室）；School of Computer Science, Peking University（北京大学计算机科学学院）；LLM Department, Tencent（腾讯LLM部门）
