Multi-Agent Reinforcement Learning for Dynamic Pricing: Balancing Profitability,Stability and Fairness
本文通过模拟市场环境评估了多智能体强化学习方法在动态定价中的表现，发现MAPPO在盈利、稳定性和公平性方面表现更优。
2026-02-28 cs.AI cs.LG
Game Theoretic Rating in N-player general-sum games with Equilibria
DeepMind（深度思维）；University College London（伦敦大学学院）；Google（谷歌）；Carnegie Mellon University（卡内基梅隆大学）
博弈中的评级策略是博弈论和人工智能的一个重要研究领域，可以应用于任何现实世界的竞争或合作环境。传统上，只有策略之间的传递依赖关系被用于对策略进行评级（例如Elo），然而最近的工作已经扩展了评级，以利用博弈论解决方案来更好地对非传递博弈中的策略进行评级。本文推广了这些思想，并根据收益评级系统提出了适用于正规型博弈中N人一般和策略评级的新算法。这使得成熟的解决方案概念，如均衡，能够被利用来有效地评估具有复杂策略交互的游戏中的策略，这些策略交互出现在多智能体训练和许多智能体之间的真实世界交互中。我们经验验证我们的方法对现实世界的正常形式的数据（英超联赛）和多智能体强化学习代理评估。
2022-10-05 cs.GT cs.LG cs.MA
Learning Correlated Stackelberg Equilibrium in General-Sum Multi-Leader-Single-Follower Games
Shandong University（山东大学）；University of Chicago（芝加哥大学）；College of William & Mary（威廉与玛丽学院）
许多现实世界的战略游戏涉及多个玩家之间的互动。我们研究了一个层次化的多人博弈结构，其中具有不对称角色的玩家可以分为领导者和追随者，这种设置通常被称为Stackelberg博弈或领导者-追随者博弈。特别是，我们专注于Stackelberg游戏的情况下，有多个领导者和一个追随者，称为多领导者-单追随者（MLSF）的游戏。我们提出了一种新的非对称均衡的概念，称为相关Stackelberg均衡（CSE）的MLSF游戏。我们设计了在线学习算法，使玩家以分布式的方式进行交互，并证明了它可以实现无外部Stackelberg后悔学习。这进一步转化为通过从无外部遗憾减少到无交换遗憾来近似CSE的收敛。在我们的工作的核心，我们解决了如何学习平衡的领导者-跟随者游戏与嘈杂的强盗反馈平衡的探索和开发在不同的学习结构的复杂问题。
2022-10-22 cs.LG stat.ML
Competitive Policy Optimization
ETH Zürich（苏黎世联邦理工学院）；California Institute of Technology（加州理工学院）
在竞争马尔可夫决策过程中，策略优化的一个核心挑战是设计具有理想收敛性和稳定性的有效优化方法。为了解决这个问题，我们提出了竞争政策优化（CoPO），一种新的策略梯度的方法，利用竞争游戏的博弈论性质，以获得政策更新。受竞争梯度优化方法的启发，我们得到了一个双线性近似的游戏目标。相比之下，现成的策略梯度方法仅利用线性近似，因此不捕获参与者之间的交互。我们以两种方式实例化CoPO：（i）竞争性策略梯度，以及（ii）信任区域竞争性策略优化。我们从理论上研究了这些方法，并在一组全面的，但具有挑战性的，竞争性的游戏上实证研究了它们的行为。我们观察到，他们提供了稳定的优化，收敛到复杂的战略，以及更高的分数时，发挥对基线策略梯度方法。
2020-06-18 cs.GT cs.LG cs.MA
Player Modeling using Behavioral Signals in Competitive Online Games
DePaul University（德保罗大学）
竞争性网络游戏使用评级系统来匹配具有相似技能的玩家，以确保玩家获得满意的体验。在本文中，我们专注于解决不同方面的游戏行为建模时，创建比赛的球员的重要性。为此，我们从超过75，000场大逃杀比赛的数据集中设计了几个行为特征，并根据检索到的特征创建了玩家模型。然后，我们使用创建的模型来预测数据中不同玩家群体的排名。预测的排名进行比较，三个流行的评级系统。我们的研究结果表明，简单的行为模型优于主流评级系统。一些行为特征为所有玩家群体提供了准确的预测，而另一些行为特征则被证明对某些玩家群体有用。这项研究的结果强调了在分配任务时考虑球员行为的不同方面，如目标，策略和专业知识的必要性。
2021-11-29 cs.GT cs.LG
Human-Level Competitive Pokémon via Scalable Offline Reinforcement Learning with Transformers
本研究针对竞技宝可梦单打场景，通过重构人类对战日志构建大规模离线数据集，训练基于Transformer的序列模型实现无显式搜索的自适应对战策略，最终智能体达到人类玩家前10%的水平。
2025-07-30 cs.LG
FightLadder: A Benchmark for Competitive Multi-Agent Reinforcement Learning
Princeton University（普林斯顿大学）
本研究提出了面向竞争性多智能体强化学习的轻量级开源基准FightLadder，配套前沿算法实现与评估指标，验证了平台可行性并揭示了无人类知识下训练不可利用智能体的难度，助力该领域研究发展。
2024-06-24 cs.AI cs.LG cs.MA
Decentralized Stochastic Multi-Player Multi-Armed Walking Bandits
SUNY-Binghamton University（纽约州立大学宾汉姆顿分校）
多人多臂强盗是一个越来越相关的决策问题，认知无线电系统的应用程序的动机。大多数关于这个问题的研究都集中在这样一个设定上，即玩家对所有的手臂都有\textit{full access}，并且当拉动同一只手臂时没有奖励，因此所有玩家都以最大化他们的累积奖励为目标来解决同一个强盗问题。然而，这些设置忽略了许多现实世界应用中的几个重要因素，其中玩家具有\textit{limited access}到\textit{a dynamic local subset of arms}（即，手臂有时可能是"行走“的，并且玩家无法接近）。为此，本文提出了一个\textit{multi-player multi-armed walking bandits}模型，旨在解决上述建模问题。现在的目标是最大化的奖励，但是，玩家只能从本地子集拉手臂，只有收集一个完整的奖励，如果没有其他玩家拉相同的arm.We采用置信上限（UCB）来处理的探索开发权衡，并采用分布式优化技术，以妥善处理冲突。通过仔细整合这两种技术，我们提出了一个分散的算法与近最优保证的遗憾，并可以很容易地实现，以获得有竞争力的经验性能。
2022-12-12 cs.AI cs.LG cs.MA
Fast Policy Extragradient Methods for Competitive Games with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文研究了竞争对策的平衡点计算问题，该问题通常被建模为带有概率单纯形约束的约束鞍点最优化问题。尽管最近的努力在理解的最后一个收敛的extragradient方法在无约束的设置，这些方法的理论基础，在约束设置，特别是那些使用乘法更新，仍然非常不足，即使当目标函数是双线性的。受熵正则化在单智能体强化学习和对策论中的算法作用的启发，我们开发了可证明有效的超梯度方法来找到量子响应平衡（QRE）-这是零和两人矩阵对策的熵正则化解决方案-以线性速率。所提出的算法可以以分散的方式实现，其中每个玩家使用自己的收益迭代地执行对称和乘法更新，而不直接观察对手的动作。此外，通过控制熵正则化的旋钮，该算法可以以次线性的速率找到非正则矩阵对策的近似纳什均衡，而不需要假设纳什均衡是唯一的.我们的方法也导致有效的政策extragradial算法解决（熵正则化）零和马尔可夫游戏在类似的速度。我们所有的收敛速度几乎是无量纲的，这是独立的状态和动作空间的大小的对数因子，突出的积极作用，熵正则化加速收敛。
2023-01-19 cs.GT cs.IT cs.LG
Incorporating Rivalry in Reinforcement Learning for a Competitive Game
Italian Institute of Technology（意大利理工学院）；University of British Columbia（英属哥伦比亚大学）
强化学习与社会代理的最新进展使我们能够在一些交互任务上实现人类水平的性能。然而，大多数交互式场景并不具有单独的最终目标性能;相反，这些代理人与人类交互时的社会影响同样重要，并且在大多数情况下，从未正确探索过。这项预注册研究的重点是提供一种基于竞争性社会影响的新型学习机制。我们的场景探索了不同的基于强化学习的智能体与人类玩家玩竞争性纸牌游戏。基于竞争性竞争的概念，我们的分析旨在研究我们是否可以从人类的角度改变对这些代理人的评估。
2020-11-02 cs.AI cs.LG
Improved algorithms for online load balancing
Kyushu University（九州大学）；RIKEN AIP（理化学研究所革新智能综合研究中心）
在重复博弈的框架下，我们考虑了一个在线负载均衡问题及其扩展。在每一轮中，玩家在$K$服务器上选择一个分布（任务分配），然后环境显示每个服务器的负载，这决定了每个服务器处理分配任务的计算时间。在所有回合之后，玩家的成本由累积计算时间向量的某个范数来度量。如果范数是$L_\infty$ -范数，则成本是完工时间。我们的目标是尽量减少遗憾，即，最小化参与者的成本相对于事后最佳固定分布的成本。我们提出了一般规范的算法，并证明了他们的遗憾界。特别是，对于$L_\infty$ -范数，我们的遗憾界匹配的最佳已知的界限和所提出的算法运行在多项式时间每次审判涉及线性规划和二阶规划，而没有多项式时间算法是以前已知的，以实现的界限。
2020-07-21 cs.DS cs.LG
Behavioral Player Rating in Competitive Online Shooter Games
DePaul University（德保罗大学）
竞争性在线游戏使用评级系统进行匹配;基于进度的算法，根据玩家玩游戏的结果，通过可解释的评级来估计玩家的技能水平。然而，玩家的整体体验是由游戏结果之外的因素塑造的。在本文中，我们从游戏中的统计数据中设计了几个功能来建模玩家，并创建了准确代表他们的行为和真实表现水平的评级。然后，我们比较了我们的行为评级与三个主流评级系统创建的评级预测排名的球员在四个流行的游戏模式，从竞争激烈的射击游戏类型的估计能力。我们的研究结果表明，行为评级提出了更准确的性能估计，同时保持所创建的表示的可解释性。考虑玩家的游戏行为的不同方面并使用行为评级进行匹配可以导致与玩家的目标和兴趣更一致的匹配，从而导致更愉快的游戏体验。
2022-07-01 cs.AI cs.LG cs.SI
Simple data balancing achieves competitive worst-group-accuracy
CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；INRIA - PSL（法国国家信息与自动化研究所-巴黎文理研究大学）；Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；Facebook AI Research（脸书人工智能研究院）；INRIA（法国国家信息与自动化研究所）
我们研究学习分类器的问题，这些分类器在（已知或未知）数据组中表现良好。在观察到常见的最差组精度数据集存在严重的不平衡之后，我们开始将最先进的方法与通过子采样或重新加权数据来简单平衡类和组的方法进行比较。我们的研究结果表明，这些数据平衡基线达到了最先进的精度，同时训练更快，不需要额外的超参数。此外，我们强调，访问组信息对于模型选择来说是最关键的，而在训练过程中不是那么重要。总而言之，我们的研究结果要求更仔细地检查最坏组精度优化研究的基准和方法。
2022-02-18 cs.AI cs.CR cs.LG
Competitive Gradient Descent
California Institute of Technology（加州理工学院）
本文提出了一种新的二人竞争对策纳什均衡的数值计算算法。我们的方法是一个自然的推广梯度下降到两个球员设置的更新是由一个正则化的双线性局部近似的底层游戏的纳什均衡。它避免了交替梯度下降中出现的振荡和发散行为。使用数值实验和严格的分析，我们提供了一个详细的比较\emph{optimism}和\emph{consensus}的基础上的方法，并表明，我们的方法避免了任何不必要的变化的梯度动力学，同时实现指数（局部）凹凸零和对策收敛。我们的方法的收敛性和稳定性是强大的球员之间的相互作用，而不适应的步长，这是不是与以前的方法的情况下。在我们对非凸-凹问题的数值实验中，现有的方法由于对参与者之间的相互作用敏感而容易发散和不稳定，而我们从未观察到我们的算法发散。选择更大步长的能力还允许我们的算法实现更快的收敛，如模型评估的数量所测量的。
2020-07-01 cs.GT cs.LG math.OC
DNQ: Deep Nash Q-Network for Partially Observable n-Player Games
IEEE
针对多智能体同时博弈问题，提出DNQ框架，通过求解器在环的均衡监督训练智能体，并对比成对与精确均衡求解方法的可扩展性。
2026-07-17 cs.GT cs.LG
Graph Embedding Augmented Skill Rating System
Shanghai University（上海大学）
本文提出基于技能差距图和随机游走图嵌入学习玩家表示，并扩展经典 Elo 系统为 GElo，通过玩家活跃度与嵌入余弦相似度调整评分，实验表明其评估比原始 Elo 更可靠。
2023-04-17 cs.LG
MESOB: Balancing Equilibria & Social Optimality
Amazon（亚马逊）；University of California Berkeley（加州大学伯克利分校）；Citadel Securities（城堡证券）
本文提出 MESOB 双目标平均场优化框架及 MESOB-OMO 方法，用于在大规模多智能体竞争与合作博弈中渐近选择 Nash 均衡并促进社会均等化，广告出价模拟验证了其平衡多方利益的优势。
2023-07-16 cs.GT cs.LG cs.MA
MLFEF: Machine Learning Fusion Model with Empirical Formula to Explore the Momentum in Competitive Sports
Beijing Jiaotong University（北京交通大学）
本文基于网球大满贯男单比赛数据，构建了数据驱动和经验公式融合模型，用于量化动量因素，通过SVM、随机森林和XGBoost算法分析动量变化趋势。
2026-03-24 cs.LG
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Polymatrix Competitive Gradient Descent
California Institute of Technology（加州理工学院）；Georgia Institute of Technology（佐治亚理工学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Nvidia（英伟达）
许多经济游戏和机器学习方法可以被视为竞争性优化问题，其中多个代理最小化其各自的目标函数，这取决于所有代理的动作。虽然梯度下降是单智能体优化的可靠的基本主力，但它经常导致竞争优化中的振荡。在这项工作中，我们提出了多矩阵竞争梯度下降（PCGD）作为一种方法来解决一般和竞争优化涉及任意数量的代理。我们的方法的更新获得的纳什均衡的局部多项式矩阵近似的二次正则化，可以有效地计算通过求解线性方程组。我们证明了局部收敛的PCGD稳定不动点的$n$球员一般和游戏，并表明，它不需要适应步长的球员的相互作用的强度。我们使用PCGD优化多智能体强化学习中的策略，并在Snake，马尔可夫足球和电力市场游戏中展示了其优势。在Snake和Markov足球比赛中，PCGD训练的代理优于同时梯度下降，辛梯度调整和extragradial训练的代理，在电力市场游戏中，PCGD训练速度比同时梯度下降和extragradial方法都快。
2021-11-16 cs.LG cs.MA math.OC
Action2Score: An Embedding Approach To Score Player Action
Korea University（高丽大学）；Soonchunhyang University（顺天乡大学）
多人在线对战竞技场（MOBA）是最成功的游戏类型之一。MOBA游戏，如英雄联盟，有竞争的环境，玩家比赛他们的排名。在大多数MOBA游戏中，玩家的排名取决于比赛结果（赢或输）。这似乎是自然的，因为团队比赛的性质，但在某种意义上说，这是不公平的，因为球员谁把很多努力失去了他们的排名只是在情况下的损失，有些球员甚至得到免费乘坐队友的努力，在情况下的胜利。为了减少基于团队的排名系统的副作用，并公正地评估球员的表现，我们提出了一种新的嵌入模型，将球员的行动转化为定量分数的基础上，行动的各自贡献的团队的胜利。我们的模型是使用基于序列的深度学习模型构建的，该模型具有用于团队比赛的新颖损失函数。基于序列的深度学习模型使用GRU单元来处理团队游戏中从游戏开始到玩家结束的动作序列，该GRU单元选择性地从先前步骤和当前输入中获取隐藏状态。损失函数的设计目的是帮助动作得分反映最终得分和团队的成功。我们表明，我们的模型可以公平地评估球员的个人表现，并分析球员的各自行动的贡献。
2022-07-21 cs.LG
PandaSkill - Player Performance and Skill Rating in Esports: Application to League of Legends
PandaScore（熊猫比分公司）
PandaSkill利用机器学习从个人统计数据评估玩家表现，并通过贝叶斯框架OpenSkill和双重评级系统更新技能评级，在五年职业《英雄联盟》数据上验证了其预测能力和专家一致性。
2025-01-20 cs.LG
An Elo-like System for Massive Multiplayer Competitions
Stanford University（斯坦福大学）
评分系统在竞技体育和比赛中发挥着重要作用。他们提供了一个衡量球员技能的标准，这激励了竞争性的表现，并实现了平衡的比赛。在本文中，我们提出了一个新的贝叶斯评分系统的比赛与许多参与者。它广泛适用于具有离散排名比赛的竞赛形式，例如在线编程竞赛，障碍赛和一些视频游戏。我们的系统的简单性，使我们能够证明理论上的界限的鲁棒性和运行时间。此外，我们表明，该系统调整激励：也就是说，一个球员谁寻求最大限度地提高他们的评级永远不会想表现不佳。在实验上，该评级系统在预测准确性上与现有系统相媲美或超过现有系统，并且计算速度比现有系统快一个数量级。
2021-01-02 cs.GT cs.IR cs.LG
Understanding and Reducing the Class-Dependent Effects of Data Augmentation with A Two-Player Game Approach
Shanghai Jiao Tong University（上海交通大学）；Duke Kunshan University（杜克大学）
本文针对数据增强在多类分类中产生的不公平类依赖效应，提出类依赖乘性权重方法CLAM，将分类器训练表述为对抗性双人博弈并设计收敛的乘性权重算法，实验证明该方法能在几乎不影响平均准确率的情况下使各类别性能分布更公平。
2025-06-30 cs.AI cs.CV cs.CY
Using Machine Learning to Predict Game Outcomes Based on Player-Champion Experience in League of Legends
University of Central Florida（中佛罗里达大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
英雄联盟（LoL）是世界上最广泛玩的多人在线战斗竞技场（MOBA）游戏。LoL的一个重要方面是竞争性排名游戏，它利用基于技能的匹配系统来组建公平的团队。然而，玩家的技能水平差异很大，这取决于他们选择扮演的英雄或英雄。在本文中，我们提出了一种方法来预测排名LoL游戏中的游戏结果的基础上，玩家的经验与他们选择的冠军。使用深度神经网络，我们发现在所有玩家都选择了冠军之后，游戏结果可以以75.1%的准确率预测，这发生在游戏开始之前。我们的研究结果对玩LoL和匹配有重要意义。首先，个人冠军的技术在比赛的结果中起着重要的作用，无论球队的组成。其次，即使在基于技能的匹配之后，在游戏开始之前，团队技能仍然存在很大差异。最后，玩家应该只玩他们已经掌握的冠军，如果他们想赢得比赛。
2021-08-05 cs.HC cs.LG
CollabBench: Benchmarking and Unleashing Collaborative Ability of LLMs with Diverse Players via Proactive Engagement
Shanghai Institute of AI for Education（上海人工智能教育研究院）；School of Computer Science（计算机科学学院）；East China Normal University（东华大学）；Tencent Inc.（腾讯公司）；Shanghai Innovation Institute（上海创新研究院）
提出CollabBench基准，通过多样化玩家模拟和协作智能体训练范式，提升LLM在合作游戏中的任务效率和情感适应能力。
2026-06-04 cs.AI cs.CL cs.CY
