Online Reinforcement Learning in Stochastic Games
我们研究了平均奖励随机博弈中的在线强化学习。SG在马尔可夫环境中对两人零和博弈进行建模，其中状态转换和一步支付由学习者和对手同时确定。我们提出了UCSG算法，实现了一个次线性的遗憾相比，与任意对手竞争时的游戏值。该结果改进了相同设置下的先前结果。遗憾边界依赖于直径，这是一个内在的价值有关的混合性质的SGs。如果我们让对手对学习者采取乐观的最佳对策，UCSG会找到样本复杂度为$\tilde{\mathcal{O}}\left(\text{poly}(1/\varepsilon)\right)$的$\varepsilon$ -maximin平稳策略，其中$\varepsilon$是最佳策略的差距。
2017-12-02 cs.LG
It Takes Two to Negotiate: Modeling Social Exchange in Online Multiplayer Games
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Ropar（罗帕尔印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本研究通过标注《外交》游戏中的聊天消息，分析谈判策略，发现其可预测长期结果，但对短期结果预测作用有限，并提供了公开数据集。
2023-11-15 cs.CL cs.GT cs.LG
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们研究了未知马尔可夫博弈中的在线学习，这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明，在这种具有挑战性的设置，实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后，我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏，并提出了一个算法，实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后，$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界（据我们所知）。重要的是，我们的后悔界限与对手行动空间的大小无关。因此，即使对手的行为是完全可观察的，我们的遗憾界限也会改善现有的分析（例如，(Xie例如，2020年））的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Solving Online Threat Screening Games using Constrained Action Space Reinforcement Learning
Singapore Management University（新加坡管理大学）；Harvard University（哈佛大学）
在有限的资源和筛查能力下对潜在威胁进行大规模筛查是机场、海港和其他入境口岸感兴趣的问题。对手可以观察筛选程序，并在由于资源能力有限而出现筛选空白的时候到达。为了捕捉港口和对手之间的这种游戏，这个问题之前被表示为Stackelberg游戏，称为威胁筛查游戏（TSG）。考虑到与解决TSG相关的显著复杂性和客户到达的不确定性，现有工作假设被屏蔽者在时间窗口开始时到达并被分配安全资源。实际上，像机场乘客这样的被屏蔽者会根据航班时间突然到达，不受固定时间窗口的限制。为了解决这个问题，我们提出了一个在线的威胁筛选模型，在该模型中，筛选策略是自适应确定的乘客到达，同时满足一个硬约束的可接受的风险不筛选的威胁。为了解决具有风险硬边界的在线问题，我们将其表示为具有动作空间（风险硬边界）约束的强化学习（RL）问题。我们提供了一种新的方法来有效地对深度强化学习中的动作输出执行线性不等式约束。我们表明，我们的解决方案使我们能够显着减少screenee等待时间，同时保证风险的约束。
2019-11-20 cs.AI cs.GT cs.LG
Reinforcement Learning for Efficient Toxicity Detection in Competitive Online Video Games
California Institute of Technology（加州理工学院）
本文提出一种基于上下文赌博机的强化学习算法，利用领域知识变量进行高效毒性检测采样，在《使命召唤》数据上优于基线，助力游戏环境安全。
2025-03-26 cs.LG
Policy Optimization and Statistical Inference for Online Contextual Matrix Games
University of California, Irvine（加州大学欧文分校）；University of Michigan（密歇根大学）
针对策略收益随情境变化的在线博弈问题，提出在线上下文矩阵博弈框架与OnGameLearn算法，经模拟和酒店定价应用验证，可有效平衡探索利用并具备统计保证。
2026-08-19 cs.LG math.ST stat.ME
Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning
UCLA（加州大学洛杉矶分校）；NYU Shanghai（纽约大学上海分校）；Cohere（Cohere公司）
针对平均场博弈中纳什均衡学习难的问题，提出一种结合Munchausen RL与在线镜像下降的深度强化学习算法，通过内环回放缓冲区缓解灾难性遗忘，在四个经典算例上收敛性优于现有最优算法。
2024-03-06 cs.GT cs.LG cs.MA
Machine Learning Prediction of Gamer's Private Networks
Okanagan College（奥肯那根学院）
玩家专用网络（GPN）是WTFast创建的客户端/服务器技术，用于使在线游戏的网络性能更快，更可靠。GPN使用中间英里服务器和专有算法，通过广域网更好地将在线视频游戏玩家连接到他们的游戏服务器。在线游戏是一个巨大的娱乐市场，网络延迟是玩家竞争优势的一个关键方面。这个市场意味着不同的竞争公司实施了许多不同的网络架构方法，并且这些架构正在不断发展。因此，确保WTFast客户端和他们希望玩的在线游戏之间的最佳连接是一个非常难以自动化的问题。使用机器学习，我们分析了来自GPN连接的历史网络数据，以探索网络延迟预测的可行性，这是优化的关键部分。我们的下一步将是从GPN Minecraft服务器和机器人收集实时数据（包括客户端/服务器负载，数据包和端口信息以及特定的游戏状态信息）。我们将在强化学习模型中使用这些信息以及对延迟的预测，以改变客户端和服务器的配置，从而实现最佳网络性能。这些研究和实验将提高GPN系统的服务质量和可靠性。
2020-12-07 cs.DC cs.LG
Online Monotone Games
算法博弈论（AGT）专注于设计和分析交互代理的算法，在游戏框架内严格形式化交互。AGT的结果在网络广告在线竞标拍卖和网络路由协议等领域找到了应用。单调博弈是代理策略自然收敛到均衡状态的博弈。AGT以前的结果已经获得了凸，社会凸，或光滑的游戏，但不是单调的游戏。我们的主要理论贡献是定义的单调游戏设置和它的扩展到在线设置，一个新的概念，后悔这个设置，并伴随算法，实现次线性后悔。我们展示了在线单调博弈论在各种问题领域的效用，包括变分不等式，强化学习和生成对抗网络。
2017-10-19 cs.GT cs.LG math.OC
Optimistic Online Learning in Symmetric Cone Games
Singapore University of Technology and Design（新加坡科技设计大学）；National University of Singapore（新加坡国立大学）；Centre for Quantum Technologies（量子技术中心）；Archimedes/Athena Research Center（Archimedes/Athena研究中心）
本文提出了一种在对称锥博弈中计算近似纳什均衡的乐观在线学习算法，该算法具有通用性和高效的迭代复杂度。
2026-03-02 cs.GT cs.LG math.OC
Online Learning in Periodic Zero-Sum Games
University of Washington（华盛顿大学）；SUTD（新加坡科技设计大学）
冯·诺依曼的极小极大定理是博弈论中的一个开创性成果，它指出零和博弈存在一个本质上唯一的均衡解。经典的学习结果建立在这个定理上，表明在零和博弈中，在线无悔动态收敛到时间平均意义上的均衡。在过去的几年里，一个关键的研究方向集中在表征这种动态的日常行为。在这个方向的一般结果表明，广泛的类在线学习动态循环，正式庞加莱经常性，在零和游戏。我们分析了这些在线学习行为的鲁棒性的情况下，定期零和游戏的时不变的平衡。这个模型概括了通常的重复博弈公式，同时也是一个现实的和自然的模型，玩家之间的重复竞争，取决于外源环境的变化，如时间的影响，每周的趋势，和季节性。有趣的是，即使在最简单的这种情况下，时间平均收敛也可能失败，尽管平衡是固定的。相比之下，使用新的分析方法，我们表明，庞加莱递归证明推广，尽管这些动力系统的复杂性，非自治的性质。
2021-11-05 cs.GT cs.LG cs.MA
Near-Optimal Online Egalitarian learning in General Sum Repeated Matrix Games
Chalmers University of Technology（查尔姆斯理工大学）；Microsoft Research Lab（微软研究院）
我们研究两个玩家一般和重复有限游戏，每个玩家的奖励是从一个未知的分布。我们的目标是找到平等主义的谈判解决方案（EBS）的重复游戏，这可以导致更高的回报比最大化的价值，双方球员。我们最重要的贡献是推导出一个算法，同时实现，为双方球员，一个高概率的遗憾界的顺序$\mathcal{O}(\sqrt[3]{\ln T}\cdot T^{2/3})$后，任何$T$轮的比赛。我们证明了我们的上限是近最优的证明下限的$Ω(T^{2/3})$的任何算法。
2019-06-04 cs.GT cs.LG
Time-varying constrained proximal type dynamics in multi-agent network games
在本文中，我们研究了仿射时变耦合约束和时变通信网络下的多智能体网络博弈。我们专注于采用近端动态的游戏类，并研究其收敛到一个持久的均衡。考虑解决问题的假设进行了讨论和动机。我们开发了一个迭代均衡寻求算法，只使用本地信息，收敛到一类特殊的游戏均衡。它的推导是出于几个例子，表明原来的游戏动态收敛失败。最后，我们应用所设计的算法来解决一个有约束的一致性问题，验证了理论结果。
2019-11-19 cs.GT cs.MA math.OC
Differentially Private Online Distributed Aggregative Games With Time-Varying and Non-Identical Communication and Feedback Delays
本文提出了一种在线分布式双平均算法，以处理具有时间变化和非相同通信和反馈延迟的差分隐私在线分布式聚合博弈中的隐私泄露问题，并实现了可证明的低遗憾界。
2025-12-13 cs.GT math.OC
On the Convergence of No-Regret Learning Dynamics in Time-Varying Games
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文研究了动态多智能体环境下无悔学习算法的收敛性，刻画了时变博弈中乐观梯度下降（OGD）的收敛界限，并扩展至一般和多人博弈，为元学习和动态遗憾保证提供了新见解。
2023-10-18 cs.GT cs.LG
Asynchronous and time-varying proximal type dynamics multi-agent network games
在本文中，我们研究了非合作多智能体网络游戏的背景下，邻近型动力学。这些动态出现在不同的应用中，因为它们描述了多代理网络中的分布式决策，例如，在意见动力学、分布式模型拟合和网络信息融合中，每个代理的目标是仅使用本地信息来寻求均衡。我们分析了这类游戏的几个共轭，提供收敛结果，或设计寻求平衡的算法时，原来的动态无法收敛。对于仅受局部约束的游戏，我们研究了同步/异步动态和时变通信网络。对于除耦合约束外的博弈问题，我们设计了一个收敛于一类特殊博弈均衡的均衡搜索算法。最后，我们通过数值模拟的意见动力学和分布式模型拟合的理论结果进行了验证。
2019-09-24 cs.GT math.OC
Gradient-free Online Learning in Games with Delayed Rewards
出于对在线广告和推荐系统的应用，我们考虑了一个具有延迟奖励和异步的基于回报的反馈的博弈模型。与以前的工作相比，延迟多武装土匪，我们专注于多人游戏与连续的动作空间，我们研究的长期行为的战略代理遵循无悔的学习政策（但在其他方面不知道正在玩的游戏，他们的对手的目标等）。为了解释缺乏一致的信息流（例如，奖励可能无序到达，具有先验无限延迟等），我们引入了一种无梯度的学习策略，其中收益信息在到达时被放置在优先级队列中。在此一般情况下，我们得到新的代理人的遗憾的界限，此外，在一个标准的对角线假设下，我们表明，诱导序列的发挥收敛到纳什均衡的概率$1$，即使选择一个行动和接收相应的奖励之间的延迟是无界的。
2020-06-19 cs.GT math.OC
Monte Carlo Continual Resolving for Online Strategy Computation in Imperfect Information Games
在线游戏算法产生高质量的策略，其离线替代方案所需的一小部分内存和计算。连续解析（CR）是最近一种理论上合理的在线游戏方法，已被用于在扑克中超越人类专业人士。然而，该算法的某些部分是扑克特有的，它具有其他不完美信息游戏所不具有的许多特性。我们提出了一个域独立的制定CR适用于任何两个球员的零和扩展形式的游戏，一个抽象的解决算法。我们进一步描述和实现其蒙特卡洛变体（MCCR），它使用蒙特卡洛反事实后悔最小化（MCCFR）作为一个解决方案。我们证明了CR的正确性，并显示了一个$O(T^{-1/2})$依赖MCCR的可利用的计算时间。此外，我们提出了一个实证比较MCCR与增量树建设在线结果抽样和信息集MCTS在几个领域。
2019-03-08 cs.GT
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
Sound Algorithms in Imperfect Information Games
搜索从一开始就在计算机游戏研究中扮演着基础性的角色。虽然在线搜索通常用于国际象棋和围棋等完美信息游戏，但不完美信息游戏的在线搜索方法只是相对较新的。本文讨论的问题是什么是一个健全的在线算法，在一个不完美的信息设置的两个玩家零和游戏。我们认为，~固定策略~的可利用性和$ε$ -纳什均衡的定义是不适合衡量在线算法的最坏情况下的性能。因此，我们正式$ε$健全，一个概念，连接最坏情况下的性能的在线算法的性能的$ε$ -纳什均衡。由于$ε$ -稳健性通常很难计算，因此我们引入了一个一致性框架-一个将在线算法的行为与纳什均衡连接起来的层次结构。这些多层次的一致性描述了在线算法在什么意义上“就像一个固定的纳什均衡“。这些概念进一步说明了完美和不完美信息设置之间的差异，因为相同的一致性保证在完美和不完美信息博弈中具有不同的最坏情况在线表现。可靠性和一致性层次的定义最终提供了适当的工具来分析在线算法在重复不完美信息博弈。因此，我们以一种新的方式检查了以前的一些在线算法，为它们的最坏情况性能保证带来了新的见解。
2021-03-02 cs.GT
Stability in Online Assignment Games
IRIT, Université Toulouse Capitole（图卢兹第一大学 IRIT）
本文研究了在线分配游戏中随机算法的稳定性，通过引入两种不稳定性度量标准，分析了次优匹配对稳定性的影响。
2026-02-20 cs.GT
Optimal Online Bookmaking for Binary Games
California Institute of Technology（加州理工学院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
该研究将在线博彩的最坏情形收益最大化问题形式化为最优在线做市博弈，借助双平衡树技术提出最优策略，给出二元赛事情形下的精确解，确保决定性投注序列下庄家损失一致。
2025-01-12 cs.GT cs.IT cs.LG
The Complexity of Online Graph Games
本文从博弈论视角分析在线图问题，提出从 TQBF 归约在线顶点子集博弈的框架，并证明带有未标记地图的 NP 完全顶点子集问题的在线版本构成一类 PSPACE 完全问题。
2023-11-27 cs.CC cs.GT
Online Learning in Supply-Chain Games
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics（图卢兹经济学院）；IBM Research - Tokyo（IBM研究院（东京））；Luiss University（路易斯大学）；IBM Research - Haifa（IBM研究院（海法））
我们研究了一个供应商和零售商之间的重复博弈，他们希望在不完全知道问题参数的情况下最大化各自的利润。在描述了具有完全信息的阶段博弈的Stackelberg均衡的唯一性之后，我们证明了即使部分知道需求和生产成本的联合分布，自然学习动态保证了供应商和零售商的联合策略配置文件收敛到阶段博弈的Stackelberg均衡。我们还证明了有限时间的供应商的遗憾和渐近界的零售商的遗憾，其中具体的利率取决于类型的知识初步提供给玩家。在特殊情况下，当供应商是不是战略（垂直一体化），我们证明了最佳的有限时间后悔的零售商的遗憾（或，相当于，社会福利）时，成本和需求是逆向生成的需求被删失。
2022-07-08 cs.GT cs.LG
Semi-Decentralized Coordinated Online Learning for Continuous Games with Coupled Constraints via Augmented Lagrangian
Technical University of Munich（慕尼黑工业大学）
我们考虑了一类凹连续对策，其中每个局中人的相应的容许策略轮廓是基于仿射耦合约束的。我们提出了一种新的算法，导致相关的人口动态走向纳什均衡。该算法基于一种适合于无遗憾在线学习框架的镜像上升算法和增广拉格朗日方法。该算法的去中心化方面对应于每个参与者的代理需要关于她如何对耦合约束做出贡献的本地信息和由中央协调器广播的价格向量的方面。所以每个参与人都不需要知道种群的行动。此外，不需要中央主协调器的特定控制。我们给出了一个步长和拉格朗日增广程度的条件，使得该算法收敛到一个广义纳什均衡。
2019-10-21 cs.GT cs.LG cs.SY
Game Solving with Online Fine-Tuning
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；Department of Computing Science, University of Alberta（阿尔伯塔大学计算科学系）；Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学资讯工程学系）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本文提出在线微调方法，在搜索中调整AlphaZero启发式，以解决游戏求解中分布外局面评估不准确的问题，显著节省计算时间并可扩展至任意树搜索算法。
2023-11-13 cs.AI cs.GT cs.LG
A Game Theoretic Algorithm for Elite Customer Identification in Online Fashion E-Commerce
Myntra是一家位于印度的在线时尚电子商业公司。Myntra是印度时尚电子商业的市场领导者，客户体验是最重要的，我们的很大一部分资源都致力于此。在这里，我们描述了一种识别合格客户的算法，以便Myntra为他们提供优惠的产品退货处理。我们宣布平台上的上述符合条件的客户群为精英客户。我们的算法，以确定合格/精英客户是基于健全的原则博弈论。它简单，易于实现和可扩展。
2021-05-01 cs.GT
Player Modeling using Behavioral Signals in Competitive Online Games
DePaul University（德保罗大学）
竞争性网络游戏使用评级系统来匹配具有相似技能的玩家，以确保玩家获得满意的体验。在本文中，我们专注于解决不同方面的游戏行为建模时，创建比赛的球员的重要性。为此，我们从超过75，000场大逃杀比赛的数据集中设计了几个行为特征，并根据检索到的特征创建了玩家模型。然后，我们使用创建的模型来预测数据中不同玩家群体的排名。预测的排名进行比较，三个流行的评级系统。我们的研究结果表明，简单的行为模型优于主流评级系统。一些行为特征为所有玩家群体提供了准确的预测，而另一些行为特征则被证明对某些玩家群体有用。这项研究的结果强调了在分配任务时考虑球员行为的不同方面，如目标，策略和专业知识的必要性。
2021-11-29 cs.GT cs.LG
Online coalitional games for real-time payoff distribution with applications to energy markets
受市场运行在快速的时间尺度上的启发，我们提出了一个框架，在线联盟游戏与时变联盟的价值，并提出实时支付分配机制。具体来说，我们设计了两个在线分布式算法来跟踪Shapley值和核心，这两个最广泛研究的联盟博弈论的支付分配标准。我们表明，我们提出的算法产生的收益分布轨迹收敛到一个邻域的时变解决方案。我们采用了运营商理论的角度来看，我们的算法的收敛性。实时本地电力市场和合作能源预测市场的数值模拟说明了我们的算法的性能：{在线支付和静态支付（Shapley和核心）的参与者之间的差异很小;在线算法大大提高了市场参与者的数量方面的机制的可扩展性。
2023-01-28 cs.GT cs.SY eess.SY
Participation Incentives in Online Cooperative Games
本文研究在线合作博弈中的参与激励问题，提出满足参与激励公理和早期到达激励的新机制，并在超可加价值下确保个体理性。
2025-02-27 cs.GT
Fast Rates for Nonparametric Online Learning: From Realizability to Learning in Games
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们研究快速收敛速度的非参数在线回归的设置，即后悔的定义相对于一个任意的函数类，具有有限的复杂性。我们的贡献是双重的：-在实现设置的非参数在线回归的绝对损失，我们提出了一个随机适当的学习算法，得到一个接近最佳的累积损失方面的连续脂肪粉碎维度的假设类。在在线分类的设置与Littlestone维数$d$类，我们的界减少到$d \cdot {\rm poly} \log T$。这个结果回答了一个问题，即适当的学习器是否可以实现接近最优的累积损失;以前，即使是在线分类，最著名的累积损失是$\tilde O( \sqrt{dT})$。此外，对于实值（回归）设置，在这项工作之前，对于不适当的学习者来说，甚至还不知道连续脂肪粉碎维度上接近最佳缩放的累积损失界限。- 利用上述结果，我们展示了一个Littlestone维$d$的一般和二元博弈的独立学习算法，其中每个玩家都实现了遗憾$\tilde O(d^{3/4} \cdot T^{1/4})$。这一结果推广了Syrgkanis等人（2015）的类似结果，他们表明，在有限游戏中，最佳后悔可以从对抗环境中的$O(\sqrt{T})$加速到游戏环境中的$O(T^{1/4})$。为了建立上述结果，我们引入了几种新技术，包括：实现实值类的最佳累积损失的分层聚合规则，Hanneke等人（2021）的适当在线可实现学习器的多尺度扩展，一种方法来证明这种非参数学…
2022-04-12 cs.DS cs.GT cs.LG
A "Game of Like" : Online Social Network Sharing As Strategic Interaction
本文提出一个基础博弈模型，将在线社交网络内容分享视为用户间的策略互动，并借鉴凯恩斯选美竞赛类比分析内容放大与回音室现象。
2023-07-11 cs.GT cs.SI
Distributed payoff allocation in coalitional games via time varying paracontractions
我们提出了一个部分运营商理论的表征的可接近性原则，并基于此特征，我们解释了一个特定的分布式支付分配算法是一个序列的时变paracractions。此外，我们还提出了一个分布式算法，在联盟博弈的背景下，时变通信网络。所提出的算法中的状态收敛到预定义的期望集合内的共识。对于收敛性分析，我们依赖于仿收缩的算子理论性质。
2019-11-28 cs.GT cs.SY eess.SY
Offline Nash Solvers Meet Online Tree Search in Multi-Agent Games on Graphs
School of Aerospace Engineering, Georgia Institute of Technology（佐治亚理工学院航空航天工程学院）
多智能体追逃博弈计算纳什均衡策略有挑战，本文提出原始引导树搜索框架PGTS，结合离线精确纳什均衡计算与在线树搜索，实验表明其显著优于现有基线，在多种图拓扑上对对手保持稳健性能。
2026-08-07 cs.GT cs.MA
Convergence Analysis of the Best Response Algorithm for Time-Varying Games
本文针对时变博弈中智能体基于历史行动的最佳响应算法，给出强单调性条件下的指数收敛充分条件，并证明在时变情形下算法可渐近跟踪演化均衡，通过经济市场数值实验验证了分析结果。
2023-09-01 cs.GT cs.MA math.OC
Online Learning and Solving Infinite Games with an ERM Oracle
Ben-Gurion University（本-古里安大学）
本文提出仅依赖ERM预言机的在线二分类算法，并推广到非参数博弈中，证明在有限fat-threshold维度条件下可收敛到近似均衡，为双重预言机等实践方法提供理论依据。
2023-07-10 cs.AI cs.GT cs.LG
Online Optimization in Games via Control Theory: Connecting Regret, Passivity and Poincaré Recurrence
我们提出了一个新的控制理论的在线优化和游戏中的学习的理解，通过被动的概念。无源性是控制理论中的一个基本概念，它抽象了物理系统中的能量守恒和耗散。它已成为分析一般反馈系统的标准工具，博弈动力学属于这一类型。我们的出发点是要表明，所有连续时间跟随正则化领导者（FTRL）动态，其中包括著名的复制动态，是无损的，即它是被动的，没有能量耗散。有趣的是，我们证明了被动意味着有界遗憾，连接两个基本的控制理论和在线优化的原语。FTRL中能量守恒的观察激励我们提出一个无损学习动力学家族，每个家族都有一个简单梯度结构的潜在能量函数。该族在凸组合下是封闭的;作为直接推论，FTRL动力学的任何凸组合是无损的，因此具有有界遗憾。这使我们能够扩展Fox和Shamma [Games，2013]的框架，不仅证明游戏动态的全局渐近稳定性结果，而且还证明了Poincaré递归结果。直觉上，当无损游戏（例如图形常和游戏）与无损学习动态耦合时，它们的反馈互连也是无损的，这导致了类似于能量保持的递归行为，推广了Piliouras和Shamma [SODA，2014]以及Mertikopoulos，Papadimitriou和Piliouras [SODA，2018]的结果。
2021-06-15 cs.GT cs.LG cs.SY
No-Regret Learning in Time-Varying Zero-Sum Games
University of Southern California（南加利福尼亚大学）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）
在固定的两人零和博弈中，从重复博弈中学习是博弈论和在线学习中的经典问题。我们考虑这个问题的一个变体，其中游戏收益矩阵随时间变化，可能是以对抗的方式。我们首先提出了三个性能指标来指导这个问题的算法设计：1）充分研究的个人遗憾，2）二元差距的扩展，和3）一个新的措施，称为动态纳什均衡遗憾，它量化了玩家的回报和极大极小博弈值之间的累积差异。接下来，我们开发了一个单一的无参数算法，同时享有所有这三个性能指标的有利保证。这些保证是适应不同的非平稳措施的回报矩阵，重要的是，恢复最好的已知结果时，回报矩阵是固定的。我们的算法是基于一个两层结构的元算法学习一组黑盒基学习满足一定的属性，随着几个新的成分专门设计的时变游戏设置。实验结果进一步验证了算法的有效性。
2022-01-30 cs.GT cs.LG stat.ML
A Formal Framework for Critical-Mass Collapse in Online Multiplayer Games
Georgia Institute of Technology（佐治亚理工学院）
本文提出一个正式框架，用于分析在线多人游戏中因玩家基数下降导致的可持续性崩溃问题，引入临界质量阈值和怀旧倒置点，探讨游戏衰退、保护风险及虚拟世界空置现象。
2026-04-15 cs.GT cs.SI
Online Learning of Counter Categories and Ratings in PvP Games
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出一种将Elo原理扩展至实时学习反制类别的在线更新算法，在保留标量评分可解释性的同时处理非传递性关系，并在零和竞技游戏中验证了其实用性。
2025-02-06 cs.AI cs.GT cs.LG
Online Game with Time-Varying Coupled Inequality Constraints
本文研究了具有时变耦合约束的在线博弈，提出了一种基于镜像下降和原始-对偶策略的去中心化在线学习算法，实现了次线性遗憾和约束违背，并证明了博弈序列收敛到变分GNE。
2023-06-28 cs.GT
On the Last-iterate Convergence in Time-varying Zero-sum Games: Extra Gradient Succeeds where Optimism Fails
该文研究时变双线性零和博弈的算法最后迭代行为，发现周期博弈中EG收敛而OGDA、动量法发散，收敛扰动博弈中若博弈以快于1/t的速率稳定则所有算法均收敛。
2023-10-04 cs.GT
Computing Bayes Nash Equilibrium Strategies in Auction Games via Simultaneous Online Dual Averaging
本文提出一种通过离散化类型与行动空间并采用在线对偶平均算法学习分布策略的框架，以高效计算拍卖博弈中的贝叶斯纳什均衡，实验证明其能快速逼近解析均衡。
2023-05-09 cs.GT
Fully Online Decentralized Learning in Stochastic Games with Unknown Independent Chains
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对未知独立链随机博弈，提出完全在线分散的镜像下降算法，以O(T^{-1/2})遗憾率逼近平稳NE，避免指数复杂度，并给出近似粗相关均衡保证。
2026-10-02 cs.GT cs.LG cs.MA
Online and Offline Dynamic Influence Maximization Games Over Social Networks
本文研究社交网络中多影响者的动态影响力最大化博弈，提出单影响者在线无悔算法，并证明多影响者离线情形存在唯一纳什均衡，在线情形可收敛到ε-纳什均衡。
2023-09-25 cs.GT cs.MA cs.SY
Vortices Instead of Equilibria in MinMax Optimization: Chaos and Butterfly Effects of Online Learning in Zero-Sum Games
我们建立了零和游戏中的算法实验“惨败”，以确认最大最小均衡的独特，尖锐的预测。近一个世纪以来，人们一直把零和博弈视为经济稳定的典型象征，但我们证明，在零和博弈中，在线学习动态的日常行为无法做出有意义的预测。具体地说，具有常数步长的乘性权值更新（MWU）在对偶（支付）空间中是李雅普诺夫混沌。简单地说，让我们假设一个观察者问玩配对便士游戏的代理人他们是喜欢正面还是反面（以及到目前为止的总收益是多少）。在收益空间中，与任意一组小的初始条件相一致的可能答案的范围随时间呈指数增长。这个结果在算法上和博弈理论上都是鲁棒的：1）算法鲁棒性：混沌对使用FTRL算法的任何一般子族的代理都是鲁棒的，众所周知的后悔最小化动态，即使当代理混合和匹配动态时，使用不同或缓慢减小的步长。2)博弈论鲁棒性：混沌对零和游戏（严格竞争游戏）的所有仿射变体，具有任意大量代理的网络变体，甚至对超越这些的竞争设置都是鲁棒的。我们的结果与在线学习的时间平均收敛到（近似）纳什均衡形成鲜明对比，这一结果被广泛报道为“（弱）收敛到均衡”。
2019-05-29 cs.GT math.DS
Online Scalarization in Vector-Valued Games
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电气与计算机工程学院）
本文研究了重复多玩家向量值博弈，其中玩家通过线性标量化评估收益向量。提出双层学习框架，外层学习者在慢速时间尺度上选择标量化，内层带宽无悔学习者在快速时间尺度上选择动作。通过带宽在线镜像下降与稳定重要加权算法，推导出有限时间性能保证。
2026-05-08 cs.GT
Efficient Online Algorithmic Strategies for Several Two-Player Games with Different or Identical Player Roles
在本文中，我们介绍了新的算法策略，有效地发挥两个球员的游戏中，球员有不同或相同的球员角色。在角色相同的情况下，玩家为同一个目标（赢得游戏）而竞争。在不同参与者角色的情况下，假设其中一个参与者提出问题以识别秘密模式，另一个参与者回答问题。第一个玩家的目的是问尽可能少的问题（或者问题和它们的数量满足一些先前已知的约束），秘密玩家的目的是以将第一个玩家问的问题数量最大化的方式回答问题（或者以迫使第一个玩家打破游戏约束的方式）。我们认为以前已知的游戏（或扩展他们的）和新类型的游戏，本文介绍。
2013-03-23 cs.DS cs.GT
Differential Games of Competition in Online Content Diffusion
在线内容的获取占互联网流量的很大一部分。大多数这样的内容是用户生成的多媒体项，即，内容的所有者在网上发布的在本文中，我们专注于那些提供内容的人如何利用在线平台，以便从其庞大的潜在观众群中获利。实际上，像Vimeo或YouTube这样的平台提供了加速内容传播的工具，即，推荐名单和其他重新排序机制。因此，可以通过支付广告费用来增加内容的受欢迎程度：这样做，它将以一定的优先级出现在推荐列表中，并且将更频繁地被平台用户访问。最终，这种加速机制导致在线内容之间的竞争，以获得人气。在这种情况下，我们的重点是加速策略的结构，内容提供方应该使用，以最佳地促进内容给定一定的每日预算。这种最佳对策实际上取决于竞争的内容提供方所采取的策略。此外，它是内容的潜在受欢迎程度和为平台广告服务支付的费用的函数。我们制定的问题作为一个微分游戏，我们解决它的无限地平线的情况下，通过推导出的游戏的某些纳什均衡的结构。
2013-12-02 cs.GT cs.SI
$Q$ Can Play That Game: Online Fitted $Q$-Iteration for Continuous-Action Zero-Sum Markov Games with Convex-Concave Function Approximation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology (MIT) Lincoln Labs（麻省理工学院林肯实验室）
针对连续动作零和马尔可夫博弈，提出凸-凹函数逼近的在线拟合Q-迭代方法，首次为非LQ博弈提供有限样本保证。
2026-10-06 cs.GT cs.MA
Online Parameter Identification of Generalized Non-cooperative Game
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海自主智能无人系统科学中心）
本文针对广义非合作博弈中的参数辨识问题，提出一种基于正则化损失和KKT条件的在线算法，在参数线性及学习率递减假设下达到O(√K)遗憾界，并通过Nash-Cournot仿真验证其性能接近离线方法。
2023-10-14 cs.GT cs.LG cs.SY
LUCIDGames: Online Unscented Inverse Dynamic Games for Adaptive Trajectory Prediction and Planning
Stanford University（斯坦福大学）
现有的博弈论规划方法假设机器人知道其他代理的目标函数先验，而在实际情况下，这是很少的情况。本文介绍了LUCIDGames，逆最优控制算法，能够估计其他代理的目标函数在实时，并将这些估计在线到一个滚动时域博弈论规划。LUCIDGames解决了逆最优控制问题，通过在递归参数估计框架中重新铸造它。LUCIDGames使用无迹卡尔曼滤波器（UKF）迭代更新其他代理的成本函数参数的贝叶斯估计，随着从其他代理的观察轨迹收集更多数据，在线改进该估计。然后，规划者考虑到其他代理的贝叶斯参数估计的不确定性，规划的轨迹机器人受到不确定性椭圆约束。该算法假设机器人和环境中的其他代理之间没有显式的通信或协调。LUCIDGames的MPC实现演示了复杂自动驾驶场景的实时性能，更新频率为40 Hz。实验结果表明，LUCIDGames提高了机器人的性能，现有的博弈论和传统的MPC规划方法。我们的LUCIDGames的实现可以在www.example.com上找到。
2020-11-16 cs.GT cs.RO
Online Competitive Information Gathering for Partially Observable Trajectory Games
Vanderbilt University（范德比大学）
本文针对部分可观测随机博弈中连续规划难处理的问题，提出一种基于粒子估计与随机梯度博弈的在线轨迹规划方法，在追逃和仓库场景中验证其能实现主动信息收集并优于被动方法。
2025-06-02 cs.AI cs.GT cs.MA
Teams in Online Scheduling Polls: Game-Theoretic Aspects
考虑在团队组织中举行一次重要会议。考虑到可用性的限制，正在使用在线时间安排投票，以决定会议的确切时间。决策将在会议期间做出，因此每个团队都希望最大限度地提高其在会议中的相对出席率（即，其参与团队成员的比例）。我们引入了一个相应的游戏，每个团队可以声明（在调度投票）一个较低的总可用性，以提高其相对出勤率-的回报。我们特别感兴趣的情况下，团队可以形成联盟。我们提供了一个有效的算法，给定一个联盟，找到一个最佳的方式为每个团队在一个联盟，以提高其回报。相比之下，我们表明，决定是否存在这样的联盟是NP难的。我们还研究了纳什均衡的存在性：寻找各种小规模的团队和联盟的纳什均衡可以在多项式时间内完成，而它是coNP难的，如果联盟的大小是无限的。
2016-11-27 cs.GT
