A "Quantal Regret" Method for Structural Econometrics in Repeated Games
我们提出了一个通用的方法来推断球员的价值观，从他们的行动在重复的游戏。该方法扩展并改进了（Nekipelov等人，EC 2015），并基于这样的假设，即玩家更有可能表现出后悔程度较低的行动序列。我们在两个不同的数据集上评估这种“量子遗憾”方法，这些数据集来自具有受控玩家值的重复游戏的实验：（Selten和Chmura，AER 2008）在各种两个玩家2x2游戏上的实验和我们自己在广告拍卖上的实验（Noti等人，WWW 2014）。我们发现，量子后悔方法是一致的，显着更精确的比任何“经典”的计量经济学方法，是基于纳什均衡，或“最小后悔”的方法（Nekipelov等人，EC 2015）。
2017-02-16 cs.GT
Last Round Convergence and No-Instant Regret in Repeated Games with Asymmetric Information
本文考虑重复博弈，其中一个局中人比其他局中人拥有更多的信息。特别是，我们研究重复的两个玩家零和游戏，只有列玩家知道的支付矩阵A的游戏。假设在重复玩这个游戏时，行玩家在每一轮都使用无遗憾算法来选择策略，以最小化她的（伪）遗憾。我们开发了一个无即时后悔算法列播放器表现出最后一轮收敛到极大极小均衡。我们表明，我们的算法是有效的对一个大的流行的无遗憾算法的行播放器，包括乘性权重更新算法，在线镜像下降法/遵循正则化领导，线性乘性权重更新算法，和乐观的乘性权重更新。
2023-02-15 cs.GT
Clairvoyant Regret Minimization: Equivalence with Nemirovski's Conceptual Prox Method and Extension to General Convex Games
Piliouras等人最近的一篇论文。[2021，2022]介绍了一种用于正规形式游戏的解耦学习算法-称为千里眼MWU（CMWU）。在本文中，我们证明了CMWU等价于Nemirovski [2004]描述的概念性prox方法。这种连接立即表明，它是可能的扩展CMWU算法的任何凸游戏，一个问题由Piliouras等人留下的开放。我们呼吁由此产生的算法-再次相当于概念prox方法-千里眼OMD。与此同时，我们表明，我们的分析产生了一个改进的遗憾界相比，由Piliouras等人，因为CMWU的遗憾只与玩家数量的平方根有关，而不是玩家本身的数量。
2022-08-31 cs.GT
Polynomial-Time Linear-Swap Regret Minimization in Imperfect-Information Sequential Games
该研究针对序贯博弈中可高效实现的最强理性概念这一长期开放问题，证明可通过多项式时间迭代实现无线性交换遗憾，且该理性概念强于无触发遗憾，可高效逼近线性偏离相关均衡。
2023-11-07 cs.GT
Regret Minimizing Equilibria and Mechanisms for Games with Strict Type Uncertainty
机制设计在代理交互协议的构建中有着广泛的应用。在标准设置中，类型（例如，效用函数）不为其他代理所知，也不为机制设计者所知。当这种不确定性被概率量化时，一种机制会导致代理之间的不完全信息博弈。然而，在许多情况下，效用函数的不确定性不容易量化。研究了不完全信息博弈问题，其中不确定性是严格的或不可量化的。我们建议使用极大极小遗憾作为决策标准，在这样的游戏，一个强大的方法来处理类型的不确定性。我们定义了最小最大遗憾均衡，并证明了这些存在于有限游戏的混合策略。在此框架下，采用极大极小遗憾作为设计者自身的优化准则，研究了机制设计问题，并对此类机构的自动优化进行了研究。
2012-07-11 cs.GT
Sync Pure Counterfactual Regret Minimization in Incomplete Information Extensive Form Games
本文结合同步虚构博弈与纯CFR，提出同步PCFR算法，在不完全信息扩展形式博弈中收敛速度比CFR+快约一个数量级且内存更省。
2023-11-13 cs.GT
Optimizing Sensor Allocation against Attackers with Uncertain Intentions: A Worst-Case Regret Minimization Approach
本文提出一种基于最坏情况遗憾最小化的传感器分配优化方法，以应对攻击者意图不确定的多阶段攻击，并利用混合整数线性规划求解零和与非零和博弈下的最优分配策略。
2023-06-22 cs.GT
Let's be Honest: An Optimal No-Regret Framework for Zero-Sum Games
我们重新讨论了在分散环境下求解两人零和博弈的问题。我们提出了一个简单的算法框架，同时实现诚实的遗憾以及对抗性遗憾的最佳利率，并解决了开放的问题，消除对数项收敛到游戏的价值。我们分三步实现这一目标。首先，我们提供了一个新的分析乐观镜像下降（OMD），它可以被修改，以保证快速收敛的诚实的遗憾和游戏的价值，当玩家正在合作玩。其次，我们提出了一种新的算法，称为鲁棒乐观镜像下降（ROMD），它达到了最佳的对抗性遗憾，而事先不知道的时间范围。最后，我们提出了一个简单的信令方案，它使我们能够桥接OMD和ROMD，以实现两全其美。数值例子支持我们的理论主张，并表明我们的非自适应ROMD算法可以竞争OMD与自适应步长选择。
2018-06-06 cs.GT
Regret Pruning for Learning Equilibria in Simulation-Based Games
近年来，经验博弈理论分析（EGTA）已成为一个强大的工具，分析游戏中的一个确切的规格的效用是不可用的。相反，EGTA假定访问oracle，即，一个模拟器，它可以生成无偏的噪声样本的球员的未知效用，给定的战略配置文件。因此，可以通过重复查询模拟器来经验地估计效用。最近，已经提出了各种渐进采样（PS）算法，其旨在产生PAC风格的学习保证（例如，具有高概率的近似纳什均衡）使用尽可能少的模拟器查询。最近的一项工作介绍了一种修剪技术，称为遗憾修剪，进一步减少模拟器的数量放在PS算法，旨在学习纯纳什均衡查询。在本文中，我们解决了一个严重的限制，这种原始的遗憾修剪方法-它只能保证真正的纯纳什均衡的经验博弈的近似均衡的真实游戏，并无法提供任何强有力的保证近似纯纳什均衡的功效。这是一个重要的限制，因为在许多游戏中，纯纳什均衡在计算上很难找到，甚至不存在。我们介绍三种新的遗憾修剪的变化。前两个变化概括了原来的遗憾修剪方法，以保证近似纯纳什均衡的经验博弈。第三种变化更进一步，甚至对经验博弈的所有近似混合纳什均衡产生强保证。我们使用这些遗憾修剪的变化，设计两种新的渐进式采样算法，PS-REG+和PS-REG-M，实验优于以前的国家的最先进的算法学习纯和混合平衡，分别基于模拟的游戏。
2022-11-30 cs.GT
Last-Iterate Convergence in Adaptive Regret Minimization for Approximate Extensive-Form Perfect Equilibrium
针对扩展型完美均衡（EFPE）求解中平均策略计算成本高和固定扰动存在权衡的问题，提出自适应遗憾最小化算法RTCFR，通过动态调整扰动实现末次迭代收敛，显著提升了求解性能。
2025-08-11 cs.GT
Efficient Regret Minimization in Non-Convex Games
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文研究非凸损失函数重复博弈中的后悔最小化问题。最小化后悔的标准概念在计算上是困难的。因此，我们定义了一个自然的概念，遗憾，允许有效的优化和推广离线保证收敛到近似的局部最优。我们给出了基于梯度的方法，实现最佳遗憾，这反过来又保证收敛到平衡在这个框架中。
2017-07-31 cs.GT cs.LG stat.ML
Regret-Minimizing Double Oracle for Extensive-Form Games
提出统一的 Regret-Minimizing Double Oracle 框架分析扩展式博弈双预言机方法，并设计 PDO，将 XDO 的指数级样本复杂度降为关于信息集数的多项式级，且实证收敛更快。
2023-07-13 cs.GT
Simultaneous AlphaZero: Extending Tree Search to Markov Games
University of Colorado Boulder（科罗拉多大学博尔德分校）
同时AlphaZero通过矩阵游戏求解器扩展了AlphaZero框架，以处理多步骤双人零和马尔可夫游戏中的同时行动和不确定性。
2026-08-17 cs.GT
Semi Bandit Dynamics in Congestion Games: Convergence to Nash Equilibrium and No-Regret Guarantees
本文提出一种在线梯度下降新变体，在半老虎机反馈下使拥塞游戏收敛至纳什均衡并取得次线性遗憾，收敛速率仅多项式依赖于玩家和设施数量，解决了Du等人2022年的开放问题。
2023-06-27 cs.GT
A Lower Bound on Swap Regret in Extensive-Form Games
针对扩展式博弈中多项式轮次的无交换遗憾学习算法是否存在的开放问题，本文证明其下界，指出实现ε平均交换遗憾至少需exp(Ω(min{m^(1/14), ε^(-1/6)}))轮，排除了poly(m,1/ε)轮算法的可能。
2024-06-19 cs.GT
Solving Imperfect-Information Games via Discounted Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）是一类迭代算法，是最流行的，在实践中，最快的方法来近似解决大规模的信息博弈。在本文中，我们引入了新的CFR变体，1）以各种方式从早期迭代中折扣遗憾（在某些情况下，积极和消极的遗憾不同），2）以各种方式重新加权迭代以获得输出策略，3）使用非标准的遗憾最小化器和/或4）利用“乐观遗憾匹配”。它们在许多环境中显著提高了性能。首先，我们引入了一个变体，在每个测试的游戏中，包括大规模的现实设置中，它的性能都优于CFR+，这是现有的最先进的算法。CFR+是一个强大的基准：没有其他算法已经能够胜过it. Finally，我们表明，与CFR+，许多重要的新的变种是兼容的现代信息游戏修剪技术和一个也是兼容的游戏树中的采样。
2019-02-21 cs.AI cs.GT
Efficient $Φ$-Regret Minimization with Low-Degree Swap Deviations in Extensive-Form Games
本文针对扩展式博弈中交换遗憾最小化问题，引入$k$-中介偏差集并开发参数化算法，在特定条件下实现多项式或拟多项式轮数复杂度，填补了现有极端算法间的场景空白。
2025-02-13 cs.GT
Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents
在两人零和博弈中，如果两个博弈者都最小化他们的平均外部后悔，那么策略剖面的平均值收敛到一个纳什均衡。然而，对于n人一般和游戏，遗憾最小化的理论保证较少被理解。尽管如此，反事实遗憾最小化（CFR），一个流行的遗憾最小化算法的广泛形式的游戏，产生了获奖的三人德州扑克代理在年度电脑扑克比赛（ACPC）。在本文中，我们提供了第一套理论性质的遗憾最小化算法在非零和游戏证明，解决方案消除迭代严格控制。我们正式定义\emph{dominated actions}在扩展形式的游戏，显示CFR避免迭代严格支配的行动和战略，并证明，删除迭代支配的行动是足以赢得一个模拟锦标赛在一个小的扑克游戏。此外，对于两个玩家的非零和游戏，我们绑定的最坏情况下的性能，并表明，在实践中，后悔最小化可以产生非常接近均衡的策略。我们的理论进步使我们对CFR进行了新的修改，用于两个以上玩家的游戏，更有效，可以用来生成比以前更强大的策略。此外，我们提出了一个新的三人德州扑克代理，是使用CFR和一种新的游戏分解方法。我们的新代理赢得了2012年ACPC的三人项目，并击败了以前比赛中的三人项目，同时需要比2011年冠军更少的资源来产生。最后，我们表明，我们的CFR修改计算出一个战略，我们的新代理在四分之一的时间标准CFR使用一半的内存质量相等。
2013-04-30 cs.GT cs.MA
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Stochastic Regret Minimization in Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
蒙特卡罗反事实后悔最小化算法（MCCFR）是一种最先进的算法，用于解决对于满树遍历来说太大的序列博弈。它通过使用可以通过采样计算的梯度估计来工作。然而，序列博弈的随机方法还没有得到广泛的研究超过MCCFR。在本文中，我们开发了一个用于开发随机后悔最小化方法的新框架。这个框架允许我们使用任何遗憾最小化算法，再加上任何梯度估计。MCCFR算法可以作为我们框架的一个特例进行分析，这种分析导致了更强的收敛性理论，同时得到了一个简化的证明。我们的框架允许我们实例化几个新的随机方法来解决序列游戏。我们在三个游戏上进行了大量的实验，其中我们的方法的一些变体优于MCCFR。
2020-02-19 cs.AI cs.GT cs.LG
No-Regret Learning in Bayesian Games
Northwestern University（西北大学）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）
最近的价格的无政府状态分析游戏的完全信息表明，粗糙的相关均衡，其特点是从无悔学习动态的结果，有接近最优的福利。这项工作提供了两个主要的技术成果，将这一结论提升到不完全信息的游戏，即，贝叶斯博弈首先，贝叶斯博弈中的近最优福利直接来自于当私有信息公开时，在同一博弈中的近最优福利的基于平滑性的证明。其次，在这些不完全信息博弈中，无悔学习动态收敛于贝叶斯粗相关均衡。这些结果是通过将贝叶斯博弈解释为完全信息的随机博弈来实现的。
2015-11-19 cs.GT cs.LG
Efficient Last-Iterate Convergence in Regret Minimization via Adaptive Reward Transformation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
针对遗憾最小化中Reward Transformation框架对参数敏感且易陷入局部最优的问题，提出动态调参的自适应方法，确保理论一致性并实现线性收敛，显著加速了NFGs和EFGs中的末次迭代收敛。
2025-09-17 cs.GT cs.LG
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
No-Regret Learning in Extensive-Form Games with Imperfect Recall
University of Alberta（阿尔伯塔大学）
反事实遗憾最小化（CFR）是一种有效的无遗憾学习算法，用于决策问题建模为广泛的游戏。CFR的后悔界限取决于完美回忆的要求：玩家总是记得透露给他们的信息以及信息透露的顺序。然而，在没有完美回忆的游戏中，CFR的保证不适用。在本文中，我们提出了第一个遗憾时，适用于一般类的游戏不完美的回忆CFR界。此外，我们表明，CFR适用于任何抽象属于我们的一般类的结果，不仅为抽象的游戏，但对于完整的游戏以及遗憾界。我们验证了我们的理论，并展示了如何不完美的回忆可以用来交易一个小的增加，在三个领域的记忆显着减少遗憾：骰子卷扑克，幻影井字游戏，虚张声势。
2012-05-03 cs.AI cs.GT
Meta-Learning in Self-Play Regret Minimization
Charles University Prague（查尔斯大学布拉格）；University of Alberta（阿尔伯塔大学）
本文将离线元学习扩展到更具挑战性的自博弈遗憾最小化设置中，通过在策略选择时整合所有决策状态信息以促进全局通信，在正则形式博弈和河牌扑克子博弈中显著优于现有最先进的遗憾最小化算法。
2025-04-26 cs.GT cs.LG
A Competition-based Pricing Strategy in Cloud Markets using Regret Minimization Techniques
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文将云提供商竞争建模为不完全信息博弈，提出基于遗憾最小化算法的定价策略，通过迭代更新策略概率加速遗憾收敛，实验证明其能显著提升利润并改善投资回报率。
2023-09-20 cs.AI cs.GT
Regret minimization in stochastic non-convex learning via a proximal-gradient approach
The Technion（以色列理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（科利特人工智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
出于在机器学习和运筹学中的应用，我们研究了在线约束下随机一阶预言反馈的后悔最小化问题，并且可能是非光滑的非凸问题。在这种情况下，外部遗憾的最小化是无法达到的一阶方法，所以我们专注于通过一个近似梯度映射定义的局部遗憾措施。为了实现没有（本地）遗憾，在这种情况下，我们开发了一种基于随机一阶反馈的梯度方法，以及一种更简单的方法，当访问一个完美的一阶预言是可能的。这两种方法都是最小-最大顺序最优的，我们也建立了一个边界上的数量的搜索梯度查询这些方法需要。作为我们的研究结果的一个重要应用，我们还获得了一个链接在线和离线非凸随机优化表现为一个新的梯度计划的复杂性保证匹配那些通过方差降低技术。
2020-10-13 cs.GT cs.LG math.OC
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Model-free Neural Counterfactual Regret Minimization with Bootstrap Learning
University of Science and Technology of China（中国科学技术大学）；New York University（纽约大学）
反事实后悔最小化算法在解决大规模不完美信息博弈问题上取得了许多令人瞩目的成果。神经网络近似CFR（neural CFR）是一种很有前途的技术，它通过对相似状态之间的决策信息进行泛化，减少了计算量和内存消耗。目前的神经CFR算法必须近似累积的遗憾。然而，在大规模的IIG中，有效和准确的近似仍然是一个严峻的挑战。在本文中，一个新的CFR变体，递归CFR（ReCFR），提出。在ReCFR中，递归替代值（Recursive Substitute Values，RSV）被学习并用于替代累积的遗憾。证明了ReCFR能够以$O({1}/{\sqrt{T}})$的速度收敛到纳什均衡.在ReCFR的基础上，提出了一种新的具有自举学习的无模型神经CFR（Neural ReCFR-B）。由于RSV的递归和非累积性质，Neural ReCFR-B具有比其他神经CFR更低的方差训练目标。实验结果表明，神经ReCFR-B是具有竞争力的国家的最先进的神经CFR算法在一个更低的训练成本。
2022-04-19 cs.GT cs.LG
Reduced Space and Faster Convergence in Imperfect-Information Games via Regret-Based Pruning
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）算法是求解零和信息博弈的最常用的迭代算法。基于后悔的修剪（RBP）是一种改进，允许临时修剪性能不佳的操作，从而加快CFR。我们引入了Total RBP，这是一种新形式的RBP，它可以减少CFR的空间需求，因为动作被修剪。我们证明，在零和游戏中，它渐近修剪任何行动，不是一个最佳对策的一部分，一些纳什均衡。这导致可证明的更快收敛和更低的空间要求。实验表明，总RBP结果在空间上减少了一个数量级，减少因子随着游戏大小的增加而增加。
2016-09-12 cs.AI cs.GT
Swap Regret and Correlated Equilibria Beyond Normal-Form Games
University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出多面体博弈中的轮廓交换遗憾概念，证明其亚线性最小化是学习算法不可被对手操纵的充要条件，并给出高效算法保证$O(\sqrt{T})$遗憾，同时揭示其诱导的相关均衡与第三方调解可实现结果间的差距。
2025-02-27 cs.GT cs.LG
No-Regret Learning in Games with Noisy Feedback: Faster Rates and Adaptivity via Learning Rate Separation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；EPFL（洛桑联邦理工学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
当学习者与其他优化代理参与连续游戏时，我们研究了遗憾最小化的问题：在这种情况下，如果所有玩家都遵循无遗憾算法，则相对于完全对抗的环境，可以实现显着降低的遗憾。我们研究这个问题的背景下，变分稳定的游戏（一类连续的游戏，其中包括所有的凹凸和单调的游戏），当玩家只能获得噪声估计他们的个人收益梯度。如果噪声是加性的，博弈论和纯粹的对抗设置享受类似的遗憾保证;然而，如果噪声是乘法的，我们表明，学习者可以，事实上，实现恒定的遗憾。我们通过具有学习率分离的乐观梯度方案来实现这种更快的速度-也就是说，该方法的外推和更新步骤根据噪声分布调整到不同的时间表。随后，为了消除对精细超参数调整的需要，我们提出了一种完全自适应的方法，该方法可以获得与非自适应方法几乎相同的保证，同时在不了解游戏或噪声配置文件的情况下操作。
2023-03-17 cs.GT cs.LG
Evolutionary Dynamics and $Φ$-Regret Minimization in Games
SUTD（新加坡科技设计大学）；DeepMind（深度思维）
后悔已经被确立为在线学习的一个基本概念，并且同样在游戏中的学习动力学分析中具有重要的应用。后悔量化了学习者的表现与事后的基线之间的差异。众所周知，遗憾最小化算法收敛于游戏中的某些均衡;然而，在博弈论中使用的传统形式的遗憾主要考虑允许偏离确定性行动或策略的基线。在本文中，我们重新审视了我们对遗憾的理解，从整个\emph{mixed}策略空间（即，概率分布在纯策略），镜头下的先前建立的$Φ$ -后悔框架，它提供了一个连续的更强的后悔措施。重要的是，$Φ$ -后悔使学习代理考虑偏离和混合策略，概括了几个现有的后悔概念，如外部，内部和交换后悔，从而扩大了从基于后悔的学习算法分析中获得的见解。我们在这里证明，经过充分研究的进化学习算法的复制动力学（RD）无缝地最大限度地减少了最强的可能形式的$Φ$ -遗憾的通用$2 \times 2$游戏，没有任何修改的基础算法本身。随后，我们进行实验验证我们的理论结果在一套144 $2 \times 2$游戏，其中RD表现出不同的行为。最后，我们提供的经验证据，$Φ$ -遗憾最小化的RD在一些较大的游戏，暗示进一步的机会，$Φ$ -遗憾为基础的研究，从理论和实证的角度来看，这样的算法。
2021-06-28 cs.GT cs.LG cs.MA
Comparing Uniform Price and Discriminatory Multi-Unit Auctions through Regret Minimization
该研究从单投标人学习出价视角对比统一价格与歧视性多单位拍卖，刻画两者在不同反馈下的遗憾缩放规律，发现非最坏场景下统一价格拍卖学习速率更快，对称单位需求场景也存在类似差异。
2025-10-22 cs.GT stat.ML
Regret Minimization in Bilateral Trade With Perturbed Markets
Politecnico di Milano（米兰理工大学）
研究在存在扰动的市场中，通过设计算法实现兼顾对抗性和随机性的懊悔最小化，提升交易收益。
2026-05-11 cs.GT cs.LG
Polylogarithmic Nash Regret in Matrix Games with Bandit Feedback
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出乐观支付平衡算法，在有限矩阵博弈中实现对数多项式的纳什遗憾，解决了非唯一均衡下的开放问题，证明观察对手动作足以达到该保证。
2026-09-29 cs.GT cs.LG
Minimizing Regret in Discounted-Sum Games
本文研究了加权对策图上折扣和对策的最小化后悔问题。我们给算法的一般问题的计算最小遗憾的控制器（夏娃）以及几个变种，这取决于哪些策略的环境（亚当）被允许使用。我们还考虑了在这些情况下为夏娃合成无遗憾策略的问题。
2018-05-04 cs.FL cs.GT cs.LO
No-Regret Learning in Network Stochastic Zero-Sum Games
无悔学习被广泛用于计算两人零和对策的纳什均衡。然而，对于网络随机零和对策，由于参与者只能获得局部信息，且费用函数包含不确定性，遗憾分析仍然缺乏.这样的对策模型可以在安全游戏中找到，当一组检查员一起工作来检测一组逃避者时。本文提出了一种分布式随机镜像下降（D-SMD）方法，并分别建立了凸-凹代价和强凸-强凹代价下的遗憾界$O(\sqrt{T})$和$O(\log T)$.我们的边界匹配的最知名的一阶在线优化算法。然后，我们证明了D-SMD的时间平均迭代收敛到纳什均衡集。最后，我们证明了在严格凸-严格凹的条件下，D-SMD的实际迭代几乎必然收敛到Nash平衡点。
2022-05-29 cs.GT math.OC
Game Redesign in No-regret Game Playing
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究的游戏重新设计的问题，其中外部设计师有能力改变支付函数在每一轮，但招致的设计成本偏离原来的游戏。玩家应用无遗憾学习算法以有限的反馈重复玩改变的游戏。设计者的目标是（i）激励所有玩家频繁地采取特定的目标动作配置文件;以及（ii）产生小的累积设计成本。我们提出了游戏重新设计算法，保证目标动作配置文件是在T-o（T）轮，而只产生o（T）的累积设计成本。游戏重新设计描述了积极和消极的应用：一个仁慈的设计者，激励玩家采取与原始游戏的解决方案相比具有更好的社会福利的目标动作配置文件，或者一个恶意攻击者，其目标动作配置文件使自己受益，但不是玩家。四个经典游戏的模拟证实了我们提出的重新设计算法的有效性。
2021-10-18 cs.GT cs.LG
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Deep Counterfactual Regret Minimization
Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
反事实遗憾最小化（CFR）是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏，通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR，其解决方案被映射回完整的游戏。这个过程可能是有问题的，因为抽象的方面通常是手动的和特定于领域的，抽象算法可能会错过游戏的重要战略细微差别，并且存在鸡和蛋的问题，因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化，CFR的一种形式，避免了抽象的需要，而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明，深CFR是原则性的，并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Learning not to Regret
Charles University（查理大学）；Czech Technical University（捷克技术大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）；EquiLibre Technologies
本文提出“学习不后悔”框架，通过元学习神经预测后悔匹配算法，在相似博弈分布上实现均衡求解的快速收敛，并在河牌扑克实验中取得超十倍改进。
2024-02-19 cs.GT cs.LG
Optimism Without Regularization: Constant Regret in Zero-Sum Games
SUTD（新加坡科技设计大学）；Aarhus University（奥胡斯大学）
本文提出在零和博弈中无需正则化即可实现常数遗憾的乐观 fictitious play 方法，并证明其在无正则化情况下具有最优速率。
2026-01-14 cs.GT cs.LG
On the Convergence of No-Regret Learning Dynamics in Time-Varying Games
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文研究了动态多智能体环境下无悔学习算法的收敛性，刻画了时变博弈中乐观梯度下降（OGD）的收敛界限，并扩展至一般和多人博弈，为元学习和动态遗憾保证提供了新见解。
2023-10-18 cs.GT cs.LG
Convergence to Nash Equilibrium and No-regret Guarantee in (Markov) Potential Games
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）
针对随机成本与赌博机反馈下的势博弈及马尔可夫势博弈，提出带充分探索和递归梯度估计的 Frank-Wolfe 变体，实现纳什均衡收敛、次线性遗憾，并将马尔可夫情形的纳什遗憾改进至 O(T^{4/5})。
2024-04-04 cs.GT cs.LG
Multiplicative Optimism for Constant Regret in Games
MIT（麻省理工学院）；Google Deepmind（谷歌DeepMind）
本文提出乘性乐观遗憾匹配（MORM），一种非耦合学习规则，在有限一般和博弈中实现常数遗憾，并扩展到对抗性效用场景。
2026-09-21 cs.GT cs.LG math.OC
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
Is Learning in Games Good for the Learners?
Google（谷歌）
本文提出允许非对称后悔约束的广义均衡，刻画重复博弈中奖励与后悔的权衡，并分析面对不同无后悔学习者时的最优收益及 Stackelberg 策略学习复杂度。
2023-12-16 cs.GT cs.LG
Distributed No-Regret Learning in Multi-Agent Systems
Cornell University（康奈尔大学）
在这篇教程文章中，我们概述了在以重复未知游戏为模型的多智能体系统中分布式无悔学习的新挑战和代表性结果。四个新兴的游戏特点-动态性，不完全和不完美的反馈，有限理性，和异质性-挑战规范的游戏模型进行了探讨。对于这四个特征中的每一个，我们阐明了它在游戏建模、后悔的概念、可行的游戏结果以及分布式学习算法的设计和分析中的含义和后果。
2020-02-20 cs.GT cs.LG cs.MA
On the Convergence of No-Regret Dynamics in Information Retrieval Games with Proportional Ranking Functions
本文研究了信息检索博弈中发布者的策略性行为，证明了具有凹激活函数的比例排序函数能诱导无悔学习动态收敛，并揭示了激活函数凹性与博弈凹性的等价性，同时分析了不同选择对发布者与用户福利及收敛速率的影响。
2025-01-29 cs.GT cs.IR
Constant Individual Regret in General Games
Massachusetts Institute of Technology（麻省理工学院）
针对完全信息反馈下的有限N玩家标准型博弈，提出确定性完全非耦合的ECHO-OFTRL算法，消除个体遗憾与时间跨度的多对数依赖，保证各玩家遗憾上界为O(poly(N, log m_max))。
2026-09-01 cs.GT cs.LG
Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；LJK（让·昆廷诺实验室）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）；Criteo AI Lab（Criteo人工智能实验室）
在博弈论学习中，多个智能体同时遵循各自的利益，因此从每个参与者的角度来看，环境是不稳定的。在这种情况下，学习算法的性能通常由其遗憾来衡量。然而，无悔算法在博弈论保证方面并不平等：根据它们的调整方式，其中一些可能会使系统达到平衡，而另一些可能会产生循环，混乱或其他发散的轨迹。为了解决这个问题，我们提出了一系列基于乐观镜像下降的无遗憾策略，具有以下理想的属性：i）它们不需要任何事先调整或游戏知识; ii）它们都实现了O（\sqrt{T}）对任意的，对抗性的对手的遗憾; iii）它们收敛到收敛对手的最佳对策。此外，如果所有参与者都使用，则iv）它们保证O（1）社会遗憾;而v）在所有变分稳定博弈（包括所有单调和凹凸零和博弈的一类博弈）中，诱导的博弈序列收敛到纳什均衡，个人遗憾为O（1）。
2021-10-16 cs.GT cs.LG math.OC
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
