Expected Possession Value of Control and Duel Actions for Soccer Player's Skills Estimation
本文扩展了控球期望值（EPV）模型，通过引入衰减效应、控球风险和对抗能力评估，更准确地估计足球运动员技能，并预测下赛季球员表现。
2024-06-02 cs.AI cs.LG
player2vec: A Language Modeling Approach to Understand Player Behavior in Games
KTH Royal Institute of Technology（瑞典皇家理工学院）；King（金德科技公司）
本文提出player2vec，将远程Transformer语言建模方法扩展到游戏行为数据，通过自监督学习玩家表示，并验证其在拟合行为分布和揭示行为模式方面的有效性。
2024-06-07 cs.AI cs.CL cs.LG
Strategic Multi-Agent Learning for Interpretable Action Valuation of All Players in Football
Nagoya University（名古屋大学）；The University of Tokyo（东京大学）；The Hong Kong University of Science and Technology（香港科技大学）；RIKEN（理化学研究所）
本研究提出一种受马尔可夫完美均衡启发的多智能体行动估值框架，通过分解Q值并利用可扩展决策状态，在95场J1联赛数据上实现比独立基线更上下文敏感的球员行动排名。
2026-10-28 cs.LG
Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games
两个玩家零和同时动作游戏在视频游戏、金融市场、战争、商业竞争和许多其他设置中很常见。我们首先介绍了强化学习的基本概念，在两个玩家零和同时行动游戏，并讨论了这种类型的游戏所带来的独特挑战。然后，我们介绍了两个新的代理，试图通过使用联合行动深度Q网络（DQN）来处理这些挑战。第一个代理，称为最佳反应策略（BRAT），使用模仿学习建立对手策略的显式模型，然后使用该模型找到最佳反应以利用对手的策略。第二个代理，元纳什DQN，建立一个隐式模型，其对手的政策，以产生一个上下文变量，用作Q值计算的一部分。一个明确的极小极大的Q值是用来找到行动接近纳什均衡。我们发现经验，这两个代理收敛到纳什均衡在一个简单的矩阵游戏的自我发挥设置，同时也表现良好的游戏具有较大的状态和动作空间。这些新的算法进行评估香草RL算法，以及最新的最先进的多代理和两个代理算法。这项工作结合了传统的强化学习，博弈论和元学习的思想。
2021-10-10 cs.GT cs.LG
Reinforcement learning with restrictions on the action set
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）
考虑一个2人标准型博弈，随着时间的推移不断重复。我们引入了一个自适应学习过程，在每个阶段，玩家只观察自己实现的收益。我们假设代理人不知道自己的支付函数，也没有其他球员的信息。此外，我们假设他们有自己的行动集的限制，这样，在每个阶段，他们的选择是有限的，他们的行动集的一个子集。我们证明了经验分布的发挥收敛到纳什均衡的零和和潜在的游戏，游戏中一个球员有两个行动。
2013-06-12 cs.GT cs.LG math.PR
Valuing Player Actions in Counter-Strike: Global Offensive
New York University（纽约大学）
尽管电子竞技的兴趣越来越大，但它缺乏基本的体育分析资源，例如可访问的数据或经过验证和可复制的分析框架。即使是第二大最受欢迎的电子竞技《反恐精英：全球攻势》（CSGO）也存在这些问题。因此，对CSGO球员进行定量评估对于球队、媒体、投注者和球迷来说是一项重要的任务，但却很困难。为了解决这个问题，我们介绍（1）CSGO的数据模型与开源实现;（2）图距离测量定义CSGO中的距离;（3）上下文感知框架，以价值球员的行动的基础上，他们的球队获胜的机会的变化。使用超过7000万个游戏内CSGO事件，我们证明了我们的框架的一致性和独立性相比，现有的估值框架。我们还提供了演示高影响区带识别和不确定性估计的用例。
2020-11-04 cs.AI cs.LG stat.ML
Decentralized Multi-Player Q-Learning in Episodic Markov Decision Processes with Information Asymmetry
University of California, Los Angeles（加州大学洛杉矶分校）
本研究针对三种信息不对称的回合式表格MDP去中心化多智能体强化学习问题，提出对应算法，证明其遗憾值在对数因子内匹配单智能体Q学习速率，边界适用于小智能体数量或小动作集场景。
2026-08-14 cs.LG
Modeling Player Personality Factors from In-Game Behavior and Affective Expression
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本研究探索从游戏内行为与情感对话决策预测玩家人格指标，用随机森林回归基于62名玩家的《辐射：新维加斯》游玩数据验证了部分人格的可预测性，为后续大规模数据与更复杂模型研究奠定基础。
2023-08-27 cs.AI cs.HC cs.LG
Leveraging Cluster Analysis to Understand Educational Game Player Experiences and Support Design
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
教育游戏设计师了解观众的游戏风格和体验的能力是改进游戏设计的重要工具。由于游戏需要进行大规模的玩家测试，设计师需要廉价的自动化方法来对玩家与游戏的交互模式进行分类。在本文中，我们提出了一个简单的，可重复使用的过程中使用的最佳实践数据聚类，可行的小型教育游戏工作室内使用。我们利用该方法来分析一个实时的战略游戏，处理游戏遥测数据，以确定类别的球员根据他们在游戏中的行动，他们收到的反馈，以及他们在游戏中的进展。对这些集群的解释性分析为游戏设计者提供了可操作的见解。
2022-10-18 cs.HC cs.LG cs.MM
Predicting In-game Actions from Interviews of NBA Players
Technion（以色列理工学院）
体育竞赛在计算机和社会科学中得到了广泛的研究，目的是了解运动员在不确定性下的行为。虽然有大量的计算工作对球员指标预测的基础上，过去的表现，很少尝试纳入游戏外的信号已经作出。具体来说，之前还不清楚从球员访谈中收集的语言信号是否可以添加表现指标中没有出现的信息。为了弥合这一差距，我们定义了预测NBA球员在比赛中的行为与平均值偏差的文本分类任务，这些行为与战略选择，球员行为和风险相关，使用他们在比赛前选择的语言。我们收集了一个数据集的成绩单从关键NBA球员的赛前采访和他们在比赛中的表现指标，总共在5,226采访指标对。我们设计了神经模型来预测球员的动作，基于他们开放式访谈中越来越复杂的语言信号。我们的模型可以单独基于文本信号进行预测，也可以结合过去的性能指标进行预测。我们基于文本的模型的表现优于仅在性能指标上训练的强基线，证明了语言使用对动作预测的重要性。此外，采用文本输入和过去表现指标的模型产生了最好的结果。最后，由于神经网络是出了名的难以解释，我们提出了一种方法来进一步了解我们的模型已经学会了什么。特别是，我们提出了一个基于LDA的分析，我们解释模型预测的相关主题。我们发现，我们表现最好的文本模型与直观地与每个预测任务相关的主题最相关，并且更好的模型与信息量更大的主题具有更高的相关性。
2020-07-01 cs.AI cs.CL cs.LG
Deep Reinforcement Learning in Ice Hockey for Context-Aware Player Evaluation
Simon Fraser University（西蒙弗雷泽大学）
已经提出了各种机器学习模型来评估职业运动员的表现。然而，他们只有有限的能力来模拟玩家的表现如何取决于游戏环境。本文提出了一种捕获游戏上下文的新方法：我们应用深度强化学习（DRL）从国家曲棍球联盟（NHL）的3M逐场比赛事件中学习动作值Q函数。神经网络表示使用基于占有的LSTM集成了连续上下文信号和游戏历史。学习的Q函数用于评估玩家在不同游戏情境下的行为。为了评估玩家的整体表现，我们引入了一个新的游戏影响指标（GIM），聚合玩家的行动的价值。实证评估表明，GIM是一致的，在整个赛季，并与标准的成功措施和未来的工资高度相关。
2018-07-16 cs.AI cs.LG stat.ML
Optimal Cooperative Multiplayer Learning Bandits with Noisy Rewards and No Communication
University of California, Los Angeles（加州大学洛杉矶分校）；Princeton University（普林斯顿大学）
针对合作多玩家老虎机中奖励噪声且无法通信的问题，提出基于上下置信界的算法，实现渐近最优的遗憾界，并优于现有最先进方法。
2023-11-10 cs.LG cs.MA stat.ML
A Methodology for Player Modeling based on Machine Learning
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
人工智能正逐渐受到更多的关注，作为增加数字游戏沉浸感的基本特征。在几种人工智能方法中，玩家建模正在成为一种重要的方法。其主要思想是理解和建模玩家的特征和行为，以开发更好的AI。在这项工作中，我们讨论了这个新领域的几个方面。我们提出了一个分类法来组织这个领域，讨论了这个主题的几个方面，从实现决策到模型试图描述的内容。然后，我们分类，在我们的分类法，在这个领域的一些最重要的作品。我们还提出了一种使用ML处理玩家建模的通用方法，并实例化了这种方法来模拟游戏《文明IV》中玩家的偏好。这种方法的实例化有几个步骤。我们首先讨论了一个通用的表示，无论是什么被建模，并评估它与战略游戏文明IV执行实验。继续所提出的方法的实例化，我们评估了使用游戏得分信息来区分不同偏好的适用性。我们提出了一个虚拟代理人在游戏中的特征，比较他们的行为与他们所陈述的偏好。一旦我们描述了这些智能体的特征，我们就能够观察到不同的偏好会产生不同的行为，这些行为可以通过几个游戏指标来衡量。然后，我们解决了偏好建模问题作为一个二元分类任务，与监督学习的方法。我们比较了四种不同的方法，基于不同的范式（SVM，AdaBoost，NaiveBayes和JRip），在不同虚拟代理的一组比赛中对其进行评估。我们使用学习的模型来推断人类玩家的偏好来结束我们的工作。使用一些评估的分类器，我们获得了超过60%的准确率，大多数推断的偏好。
2013-12-13 cs.AI cs.LG
Modeling Matches as Language: A Generative Transformer Approach for Counterfactual Player Valuation in Football
Department of Artificial Intelligence, University of Seoul, Seoul, Republic of Korea（首尔大学人工智能系）；Institute for Sports and Preventive Medicine, Saarland University, Saarbrücken, Germany（萨尔兰州预防医学研究所）；Chair for Sports Analytics, Saarland University（萨尔兰州体育分析教授职位）
本文提出ScoutGPT，通过将足球比赛事件视为序列标记，利用生成式Transformer模型模拟反事实球员估值，提升对球员转会效果的预测能力。
2026-08-05 cs.AI cs.LG
Multiplayer Information Asymmetric Contextual Bandits
Princeton University（普林斯顿大学）
本文提出多人信息不对称上下文赌博机框架，通过改进LinUCB和设计基于探索后承诺的ETC算法，在仅一种或两种不对称情况下均实现O(√T)最优遗憾。
2025-03-11 cs.LG
Large-Scale In-Game Outcome Forecasting for Match, Team and Players in Football using an Axial Transformer Neural Network
本文提出基于轴向变压器神经网络的足球比赛结果预测方法，能够高效预测球员、队伍和比赛层面的动作总次数，适用于战术决策和体育博彩等应用。
2025-11-24 cs.LG
Time Series Modeling for Dream Team in Fantasy Premier League
英格兰超级联赛中的足球运动员的表现在很大程度上因赛季和球队而异。显然，一种能够预测和分析这些球员在场上滑稽动作的未来的方法将在很大程度上帮助管理。在梦幻超级联赛这样的模拟环境中，来自世界各地的爱好者参与并管理整个赛季的球员目录。由于积分系统的动态性质，没有已知的方法来制定梦之队。本研究的目的是解决这个问题，使用自回归综合移动平均（ARIMA）和递归神经网络（RNNs）的时间序列预测的球员点和随后的最大化的总积分使用线性规划（LPP）的混合。考虑到过去三个赛季的球员积分，通过对ARIMA和RNN进行不同的建模，然后创建一个相同的集合，对当前赛季进行了预测。在此之前，适当的数据预处理技术被部署，以提高准备模型的有效性。采用LPP方法对守门员、后卫、中场和前锋等球员类型以及总预算的约束进行了有效优化。对拟议团队的验证是在即将到来的赛季中完成的，球员们的表现超出了预期，并有助于加强解决方案的可行性。同样，所提出的方法可以扩展到英超联赛的官方经理在球场上。
2019-09-19 cs.CY cs.LG
Dynamics of Boltzmann Q-Learning in Two-Player Two-Action Games
USC Information Sciences Institute（南加州大学信息科学研究所）
我们考虑在两个玩家的两个动作的游戏与玻尔兹曼探索机制的Q-学习的动力学。对于任何非零的探索率的动力学是耗散的，这保证了代理策略收敛到休息点，通常不同于游戏的纳什均衡（NE）。我们提供了一个全面的表征不同的游戏的休息点结构，并检查这种结构的灵敏度，由于探索的噪音。我们的研究结果表明，对于一类具有多个NE的游戏，学习动力学的渐近行为在临界探索率下会发生剧烈的变化。此外，我们证明，对于某些游戏与一个单一的NE，它是可能的有额外的休息点（不对应于任何NE），持续为一个有限范围的探索率和消失时，双方球员的探索率趋于零。
2012-03-01 cs.GT cs.LG cs.MA
MVP-Shapley: Feature-based Modeling for Evaluating the Most Valuable Player in Basketball
University of Science and Technology of China（科学技术大学）；Netease, Fuxi AI Lab（网易凤凰人工智能实验室）；University at Buffalo（布法罗大学）
提出一种基于Shapley值的MVP评估框架，通过特征处理、胜负模型训练和贡献分配，结合因果优化实现球员排名，并在NBA数据集上验证有效性。
2026-05-28 cs.GT cs.LG
Behavior Structformer: Learning Players Representations with Structured Tokenization
King（金氏集团）
本文提出 Behavior Structformer，通过结构化分词将追踪事件转为稠密 token 并结合 Transformer 序列化处理，显著提升用户行为建模效果。
2024-06-07 cs.CL cs.LG
Game Redesign in No-regret Game Playing
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究的游戏重新设计的问题，其中外部设计师有能力改变支付函数在每一轮，但招致的设计成本偏离原来的游戏。玩家应用无遗憾学习算法以有限的反馈重复玩改变的游戏。设计者的目标是（i）激励所有玩家频繁地采取特定的目标动作配置文件;以及（ii）产生小的累积设计成本。我们提出了游戏重新设计算法，保证目标动作配置文件是在T-o（T）轮，而只产生o（T）的累积设计成本。游戏重新设计描述了积极和消极的应用：一个仁慈的设计者，激励玩家采取与原始游戏的解决方案相比具有更好的社会福利的目标动作配置文件，或者一个恶意攻击者，其目标动作配置文件使自己受益，但不是玩家。四个经典游戏的模拟证实了我们提出的重新设计算法的有效性。
2021-10-18 cs.GT cs.LG
Choose Your Battles: Distributed Learning Over Multiple Tug of War Games
Stanford University（斯坦福大学）；Tel Aviv University（特拉维夫大学）
本文提出一种分布式算法，用于多个拔河游戏的均衡问题，通过简单随机近似算法更新动作，并利用稀疏1位通信决定切换游戏，确保满足服务质量奖励向量。
2026-04-12 cs.GT cs.LG cs.MA
A Soft Inducement Framework for Incentive-Aided Steering of No-Regret Players
Bilkent University（比尔肯特大学）
本文研究中介如何借助信息与激励引导双人正则形式博弈中的无遗憾参与者，刻画可引导条件与恒定支付下界，并提出一次性信息设计的 Stackelberg 增强方法以常数因子提升收敛速率。
2025-08-29 cs.GT cs.IT cs.LG
Beyond Winning and Losing: Modeling Human Motivations and Behaviors Using Inverse Reinforcement Learning
近年来，强化学习（RL）方法已被应用于建模游戏，并取得了巨大的成功，在各种环境中实现了超人的表现，如雅达利，围棋和扑克。然而，这些研究大多集中在赢得游戏，在很大程度上忽略了丰富而复杂的人类动机，这是理解不同球员的不同行为所必需的。在本文中，我们提出了一种新的方法，称为多动机行为建模（MMBM），考虑到多方面的人类动机和模型的底层价值结构的球员使用逆RL。我们的方法不需要访问系统的动态，使得它可行的大型多人在线游戏等复杂的交互式环境建模。MMBM在魔兽世界阿凡达历史数据集上进行了测试，该数据集记录了超过70，000名用户在三年内的游戏体验。我们的模型揭示了不同玩家群体的价值结构存在显著差异。利用动机建模的结果，我们还预测和解释了他们的不同的游戏行为，并提供了一个定量评估的游戏环境的重新设计如何影响玩家的行为。
2018-07-05 cs.AI cs.LG stat.ML
Two-Player Zero-Sum Games with Bandit Feedback
University of Neuchâtel（内阿捷尔大学）
本文提出三种算法用于双人零和博弈，通过实例依赖性分析实现了有效的 regret bounds，展示了 ETC 和动作对消除算法在零和博弈中的应用。
2026-02-19 cs.GT cs.LG
Decentralized Online Bandit Optimization on Directed Graphs with Regret Bounds
AI Sweden（瑞典人工智能研究所）
我们考虑一个分散的多人游戏，发挥了$T$轮，领导者，追随者的层次结构描述的有向无环图。对于每一轮，图形结构决定了玩家的顺序以及玩家如何观察彼此的动作。在每一轮结束时，所有玩家都会根据他们的联合行动获得联合强盗奖励，用于更新玩家策略，以最大限度地减少联合伪遗憾。我们提出了一个学习算法的启发单人多臂土匪问题，并表明它实现了次线性联合伪遗憾的回合数的对抗性和随机土匪奖励。此外，我们量化了由于我们的问题的分散性质与集中设置相比所产生的成本。
2023-01-27 cs.GT cs.LG
Measuring Football Players' On-the-ball Contributions From Passes During Games
SciSports
近年来，已经提出了几种用于量化单个足球运动员在比赛中的表现的性能指标。虽然比赛中的大多数控球动作都是由传球组成的，但目前许多可用的指标只关注于测量投篮的质量。为了帮助弥合这一差距，我们提出了一种新的方法来衡量球员的传球在比赛中的贡献。我们提出的方法测量了每次传球对得分线的预期影响。
2018-09-13 cs.LG stat.AP
Bayesian Learning of Play Styles in Multiplayer Video Games
Bryn Mawr College（布林莫尔学院）；University of Pennsylvania（宾夕法尼亚大学）
在线多人游戏中游戏的复杂性已经产生了对玩家成功使用的不同游戏风格或策略进行建模的强烈兴趣。我们开发了一个分层贝叶斯回归方法的在线多人游戏战地3的性能建模为一个功能的角色，游戏类型，并采取该球员在他们的每一场比赛的地图。我们使用Dirichlet过程之前，使我们的回归模型中具有类似玩家特定系数的玩家聚类，这使我们能够发现我们的Battlefield 3玩家样本中的共同游戏风格。这种贝叶斯半参数聚类方法有几个优点：不需要指定常见游戏风格的数量，玩家可以在多个聚类之间移动，并且所产生的分组通常具有直接的解释。我们详细研究了《战地3》玩家中最常见的游戏风格，并发现了表现出整体高性能的玩家群体，以及在特定游戏类型、地图和角色中表现特别出色的玩家群体。我们还能够区分具有特定游戏风格的稳定成员的玩家和在比赛中表现出多种游戏风格的混合玩家。对这种不同游戏风格的景观进行建模将有助于游戏开发人员为新参与者开发专门的教程，并改善在线匹配队列中互补团队的建设。
2021-12-14 cs.LG stat.ME
Building a 3-Player Mahjong AI using Deep Reinforcement Learning
University of Cambridge（剑桥大学）
麻将是19世纪末在中国开发的一种流行的多人信息游戏，具有一些对人工智能研究非常具有挑战性的特征。Sanma是日本Riichi麻将的3人版本，具有独特的特点，包括较少的瓷砖，因此，更具侵略性的游戏风格。因此，它本身具有挑战性和巨大的研究兴趣，但尚未进行探索。在本文中，我们介绍了Meowjong，一个使用深度强化学习的Sanma AI。我们定义了一个信息丰富和紧凑的2维数据结构编码的可观察的信息在一个三马游戏。我们为Sanma的5个动作--丢弃、Pon、Kan、Kita和Riichi预训练了5个卷积神经网络（CNN），并使用Monte Carlo策略梯度方法通过自我强化学习增强了主要动作的模型，即丢弃模型。Meowjong的模型通过监督学习实现了与4人麻将AI相当的测试精度，并从强化学习中获得了显着的进一步增强。作为Sanma的第一个AI，我们声称Meowjong在这个游戏中是最先进的。
2022-05-14 cs.AI cs.LG
Learning Stationary Nash Equilibrium Policies in $n$-Player Stochastic Games with Independent Chains
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们考虑一个子类的$n$ -球员随机游戏，其中球员有自己的内部状态/动作空间，而他们通过他们的支付功能耦合。假设参与者的内部链由独立的转移概率驱动。此外，参与者只能接收他们的收益的实现，而不是实际的功能，并且不能观察彼此的状态/动作。对于这类游戏，我们首先表明，找到一个固定的纳什均衡（NE）的政策，没有任何假设的奖励功能是互动的。然而，对于一般的奖励函数，我们开发多项式时间学习算法的基础上双平均和双镜像下降，收敛于平均Nikaido-Isoda距离的$ε$ -NE政策几乎肯定或预期。特别是，在额外的假设下的奖励功能，如社会福利，我们推导出多项式上界的迭代次数，以实现高概率的$ε$ -NE政策。最后，我们评估所提出的算法在学习$ε$ -NE政策的有效性，在智能电网的能量管理的数值实验。
2023-03-22 cs.GT cs.LG cs.MA
It Takes Two to Negotiate: Modeling Social Exchange in Online Multiplayer Games
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Ropar（罗帕尔印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过标注《外交》游戏中的聊天消息，分析谈判策略，发现其可预测长期结果，但对短期结果预测作用有限，并提供了公开数据集。
2023-11-15 cs.CL cs.GT cs.LG
Riemannian Optimization for Multi-Player Quantum Games on Product Unitary Manifolds
Ruhr University Bochum（波鸿鲁尔大学）
本文提出酉策略矩阵指数算法（USMEA），一种用于扩展EWL多人量子博弈混合策略的黎曼优化方法，实现联合学习酉动作与混合概率，并验证收敛性。
2026-09-09 cs.AI cs.GT cs.LG
