Game Plan: What AI can do for Football, and What Football can do for AI
DeepMind；Liverpool Football Club（利物浦足球俱乐部）
Karl Tuyls, Shayegan Omidshafiei, Paul Muller, Zhe Wang, Jerome Connor, Daniel Hennes, Ian Graham, William Spearman, Tim Waskett, Dafydd Steele, Pauline Luc, Ad… 展开作者
Karl Tuyls, Shayegan Omidshafiei, Paul Muller, Zhe Wang, Jerome Connor, Daniel Hennes, Ian Graham, William Spearman, Tim Waskett, Dafydd Steele, Pauline Luc, Adria Recasens, Alexandre Galashov, Gregory Thornton, Romuald Elie, Pablo Sprechmann, Pol Moreno, Kris Cao, Marta Garnelo, Praneet Dutta, Michal Valko, Nicolas Heess, Alex Bridgland, Julien Perolat, Bart De Vylder, Ali Eslami, Mark Rowland, Andrew Jaegle, Remi Munos, Trevor Back, Razia Ahamed, Simon Bouton, Nathalie Beauguerlange, Jackson Broshear, Thore Graepel, Demis Hassabis
The rapid progress in artificial intelligence (AI) and machine learning has opened unprecedented analytics possibilities in various team and individual sports, including baseball, basketball, and tennis. More recently, AI techniques have been applied to football, due to a huge increase in data collection by professional teams, increased computational power, and advances in machine learning, with the goal of better addressing new scientific challenges involved in the analysis of both individual players' and coordinated teams' behaviors. The research challenges associated with predictive and prescriptive football analytics require new developments and progress at the intersection of statistical learning, game theory, and computer vision. In this paper, we provide an overarching perspective highlighting how the combination of these fields, in particular, forms a unique microcosm for AI research, while offering mutual benefits for professional teams, spectators, and broadcasters in the years to come. We illustrate that this duality makes football analytics a game changer of tremendous value, in terms of not only changing the game of football itself, but also in terms of what this domain can mean for the field of AI. We review the state-of-the-art and exemplify the types of analysis enabled by combining the aforementioned fields, including illustrative examples of counterfactual analysis using predictive models, and the combination of game-theoretic analysis of penalty kicks with statistical learning of player attributes. We conclude by highlighting envisioned downstream impacts, including possibilities for extensions to other sports (real and virtual).
多智能体足球是人工智能研究中一个尚未解决的挑战。现有的工作集中在解决游戏的简化场景，或者利用专家演示。在本文中，我们开发了一个多智能体系统来玩完整的11对11游戏模式，没有演示。这种游戏模式包含了对现代强化学习算法的主要挑战;多智能体协调，长期规划和非传递性。为了应对这些挑战，我们提出了TiZero;一个自我进化的多智能体系统，从头开始学习。TiZero引入了几项创新，包括自适应课程学习，一种新颖的自我游戏策略，以及一个共同优化多个代理策略的目标。在实验中，它在Google Research Football环境中的表现远远优于以前的系统，将胜率提高了30%以上。为了展示TiZero的创新的普遍性，他们在足球之外的几个环境中进行了评估;过度烹饪，多智能体粒子环境，井字游戏和连接四。
TiKick: Towards Playing Multi-agent Football Full Games from Single-agent Demonstrations
Tsinghua University（清华大学）；National University of Defense Technology（国防科技大学）；RealAI（瑞莱智慧）；Tencent AI Lab（腾讯人工智能实验室）
深度强化学习（DRL）在复杂的视频游戏上实现了超人的性能（例如，星际争霸II和Dota II）。然而，目前的DRL系统仍然受到多智能体协调，稀疏奖励，随机环境等的挑战。为了解决这些挑战，我们采用了足球视频游戏，例如，Google Research Football（GRF）作为我们的测试平台，开发了一个端到端的基于学习的AI系统（表示为TiKick）来完成这项具有挑战性的任务。在这项工作中，我们首先从联盟训练中获得的单智能体专家的自我比赛中生成了一个大型重放数据集。然后，我们开发了一个分布式学习系统和新的离线算法，从固定的单智能体数据集中学习强大的多智能体AI。据我们所知，Tikick是第一个基于学习的人工智能系统，可以接管多智能体谷歌研究足球完整游戏，而以前的工作可以控制单个智能体或在玩具学术场景上进行实验。大量的实验进一步表明，我们的预训练模型可以加速现代多智能体算法的训练过程，我们的方法在各种学术场景中达到了最先进的性能。
Unifying Behavioral and Response Diversity for Open-ended Learning in Zero-sum Games
Shanghai Jiao Tong University（上海交通大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University College London（伦敦大学学院）
衡量和促进政策多样性对于解决存在战略周期且没有一致赢家的具有强非传递动态的游戏至关重要（例如，石头剪刀布）。考虑到这一点，通过开放式学习来维护一个多样化的政策库是一个有吸引力的解决方案，它可以生成自动课程，以避免被利用。然而，在传统的开放式学习算法，有没有广泛接受的定义的多样性，这使得它很难构建和评估的多样性政策。在这项工作中，我们总结了以前的多样性的概念，并致力于提供一个统一的多样性措施，在多智能体开放式学习，包括马尔可夫游戏中的所有元素，基于行为多样性（BD）和响应多样性（RD）。在轨迹分布层次上，我们将状态-动作空间中的BD重新定义为占有测度的差异。对于奖励动力学，我们提出RD通过政策在遇到不同对手时的反应来表征多样性。我们还表明，目前的许多多样性措施属于BD或RD的类别之一，但不是两者兼而有之。利用这种统一的多样性测度，设计了开放式学习中寻求最佳对策时相应的多样性促进目标和种群有效性。我们验证我们的方法在两个相对简单的游戏，如矩阵游戏，非传递混合模型，和复杂的\textit{Google Research Football}环境。在矩阵博弈和非传递混合模型中，我们发现的种群具有最低的可利用性和最高的种群有效性;在\textit{Google Research Football}中，我们发现的种群在与不同水平的对手进行交互时具有最大的目标差。
TacticGen: Grounding Adaptable and Scalable Generation of Football Tactics
School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Real Analytics, London（Real Analytics，伦敦）；Birmingham City Football Club, Birmingham（伯明翰城足球俱乐部，伯明翰）；Management School, University of Liverpool（利物浦大学管理学院）；School of Computing Science, Simon Fraser University（Simon Fraser大学计算机科学学院）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
Decoding the mechanisms of the Hattrick football manager game using Bayesian network structure learning
Bayesian AI research lab（贝叶斯人工智能研究实验室）；Machine Intelligence and Decision Systems (MInDS) research group（机器智能与决策系统（MInDS）研究组）；School of Electronic Engineering and Computer Science（电子工程与计算机科学学院）；Queen Mary University of London（伦敦女王大学）
"Does 4-4-2 exist?" -- An Analytics Approach to Understand and Classify Football Team Formations in Single Match Situations
Leibniz Information Centre for Science and Technology (TIB)（莱布尼茨科学技术信息中心（TIB））；Leibniz Universität Hannover（汉诺威莱布尼茨大学）；German Sport University Cologne（科隆德国体育大学）；L3S Research Center, Leibniz Universität Hannover & Leibniz Information Centre for Science and Technology (TIB)（L3S研究中心，汉诺威莱布尼茨大学 & 莱布尼茨科学技术信息中心（TIB））
