Iterated Regret Minimization: A More Realistic Solution Concept
对于一些著名的博弈，如旅行者困境或蜈蚣博弈，传统的博弈论解决方案的概念--最著名的是纳什均衡--预测的结果与经验观察不一致。在本文中，我们引入了一个新的解决方案的概念，迭代遗憾最小化，表现出相同的定性行为，在许多游戏的兴趣，包括旅行者的困境，蜈蚣游戏，纳什讨价还价，和Bertrand竞争的实验中观察到的。顾名思义，迭代后悔最小化包括迭代删除不最小化后悔的策略。
2008-10-16 cs.GT
Equilibrium Finding in Normal-Form Games Via Greedy Regret Minimization
我们扩展了经典的遗憾最小化框架，在范式的游戏近似均衡greenweighting迭代的基础上，在运行时观察到的遗憾。理论上，我们的方法保留了所有以前的收敛速度保证。从经验上讲，在人工智能基准测试Diplomacy的大型随机生成游戏和范式子游戏上的实验表明，无论何时使用采样，贪婪权重都优于以前的方法，有时甚至是几个数量级。
2022-04-11 cs.GT
Knightian Robustness from Regret Minimization
我们考虑的拍卖中，球员有非常有限的知识，他们自己的估值。具体地说，一个博弈者$i$所拥有的关于真实估值的信息$θ^*$由一组分布组成，其中$θ_i^*$是从其中一个分布中得出的。我们分析了社会福利性能的VCG机制，不受限制的组合拍卖，当Boghtian球员，要么（a）选择一个遗憾最小化策略，或（b）诉诸遗憾最小化，只有进一步完善自己的一套非支配策略，如果需要的话。我们证明这种性能是非常好的。
2014-04-01 cs.GT
Sample Efficient Omniprediction and Downstream Swap Regret for Non-Linear Losses
University of Pennsylvania（宾夕法尼亚大学）
该研究定义决策交换遗憾以统一全预测与下游交换遗憾预测，提出在线算法及在线到批处理样本复杂度界，并首次为非线性 Lipschitz 损失实现多项式样本保证。
2025-02-18 cs.GT cs.LG
Constant Swap Regret in General-Sum Games via Two-Scale Higher-Order Optimism
Adobe Research（奥多比研究院）
本文提出一种确定性和非耦合的学习动力学，在一般和博弈中实现常数个体交换遗憾，并通过预测偏离收益和更新转移矩阵，同时提供对抗鲁棒变体。
2026-09-22 cs.GT cs.LG
Iterated Regret Minimization in Game Graphs
最近，J.Y. Halpern和R.在经典的战略游戏。对于许多感兴趣的博弈，这种新的解决方案概念提供的解决方案被认为比传统博弈概念（如纳什均衡）提供的解决方案更合理。虽然计算迭代后悔显式矩阵游戏的概念和计算上很容易，没有什么是已知的计算迭代后悔的矩阵被定义为隐式使用游戏树，游戏DAG或更一般的游戏图的游戏。本文研究了图上无限持续时间两人定量非零和博弈的迭代后悔最小化问题。我们认为可达性目标不一定是对立的。每一条边都是用整数加权的--每个参与者一个--而收益是由沿着路径的权重之和来定义的。根据图的类别，我们给出多项式或伪多项式时间算法来计算一个策略，最大限度地减少一个固定的球员的遗憾。最后，我们给出算法来计算的两个球员，最小化树的迭代遗憾的战略，并严格正权重的图。
2010-04-15 cs.GT
Solving imperfect-information games via exponential counterfactual regret minimization
一般来说，两个代理人的决策问题可以建模为一个两个球员的游戏，一个典型的解决方案是找到一个纳什均衡在这样的游戏。反事实后悔最小化（CFR）是一种求解不完全信息下两人零和博弈纳什均衡策略的著名方法。CFR方法采用后悔匹配算法迭代地逐步降低后悔值，使平均策略接近纳什均衡。虽然基于CFR的方法在不完全信息博弈领域取得了显著的成功，但在收敛效率方面仍有改进的余地。为了解决这个问题，我们提出了一种新的基于CFR的方法命名为指数反事实后悔最小化（ECFR）。在ECFR算法中，采用指数加权技术对迭代过程中的瞬时后悔值进行加权。从理论上证明了ECFR算法的收敛性。一组广泛的实验测试的结果表明，ECFR算法的收敛速度比当前国家的最先进的基于CFR的方法。
2020-12-04 cs.GT
Full Swap Regret and Discretized Calibration
Google（谷歌公司）
针对结构化标准型博弈中策略嵌入d维空间的交换遗憾最小化问题，提出完全交换遗憾最小化框架及高效算法，获对应遗憾界，并将其应用于在线预测，实现低校准误差。
2025-02-13 cs.GT cs.LG
Improved Multi-Dimensional Forecasting for Swap Regret
Cornell University（康奈尔大学）
针对未知目标的多个下游代理，提出一种预测器，同时保证所有代理的次线性交换遗憾，在二维空间中实现多项式时间算法，遗憾界为$\tilde{O}(\sqrt{kT})$，并推广到低维和高维环境。
2026-06-28 cs.GT cs.LG
Uncoupled Learning Dynamics with $O(\log T)$ Swap Regret in Multiplayer Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
在本文中，我们建立了有效的\emph{uncoupled}学习动态，以便在一般和多人游戏中的所有玩家，每个玩家的\emph{swap regret}后，$T$重复的游戏是有界的$O(\log T)$，提高了以前的最佳界限的$O(\log^4 (T))$。同时，我们也保证了在对抗机制中最优的$O(\sqrt{T})$交换遗憾。为了获得这些结果，我们的主要贡献是表明，当所有的球员遵循我们的动态与\emph{time-invariant}学习率，动态的\emph{second-order path lengths}的时间$T$是有界的$O(\log T)$，一个基本的属性，可能有进一步的影响超越接近最佳的边界（交换）遗憾。我们提出的学习动力学以一种新颖的方式将\emph{optimistic}正则化学习与\emph{self-concordant barriers}的使用相结合。此外，我们的分析非常简单，绕过了Daskalakis，Fishelson和Golowich最近开发的高阶平滑的繁琐框架（NeurIPS'21）。
2022-10-05 cs.GT cs.LG
Adaptive Regret Minimization in Bounded-Memory Games
最小化后悔的在线学习算法在涉及在不确定环境中重复做出决策的情况下提供了强有力的保证，例如，驾驶员每天决定开车上班的路线。虽然后悔最小化已被广泛研究重复游戏，我们研究后悔最小化的更丰富的一类游戏称为有界记忆游戏。在两人有限记忆-m博弈的每一轮中，两个玩家同时进行一个动作，观察一个结果并获得奖励。奖励可以取决于最后m个结果以及玩家在当前回合中的动作。对于重复游戏，标准的后悔概念不再适用，因为行为和奖励可能取决于游戏的历史。为了解释这种普遍性，我们引入了k-自适应后悔的概念，它比较了通过对一个假设的k-自适应对手的算法规定的行动所获得的奖励，以及事后对同一对手的最佳专家所获得的奖励。粗略地说，一个假设的k-适应对手调整她的策略，以防御者的行动完全一样，真正的对手会在每个窗口的k轮。我们的定义是由一组专家参数化，其中可以包括固定和自适应防御策略。我们研究了完美和不完美信息的有界记忆博弈中自适应遗憾最小化的内在复杂性，并设计了相应的算法。我们证明了一个硬度的结果表明，与不完美的信息，任何k-自适应后悔最小化算法（与固定的战略专家）必须是低效的，除非NP=RP，即使对一个不经意的对手。相比之下，对于完美和不完美信息的有界记忆博弈，我们提出了近似0-自适应遗憾最小化算法，以对抗时间为n^{O（1）}的遗忘对手。
2013-09-05 cs.GT
Clairvoyant Regret Minimization: Equivalence with Nemirovski's Conceptual Prox Method and Extension to General Convex Games
Piliouras等人最近的一篇论文。[2021，2022]介绍了一种用于正规形式游戏的解耦学习算法-称为千里眼MWU（CMWU）。在本文中，我们证明了CMWU等价于Nemirovski [2004]描述的概念性prox方法。这种连接立即表明，它是可能的扩展CMWU算法的任何凸游戏，一个问题由Piliouras等人留下的开放。我们呼吁由此产生的算法-再次相当于概念prox方法-千里眼OMD。与此同时，我们表明，我们的分析产生了一个改进的遗憾界相比，由Piliouras等人，因为CMWU的遗憾只与玩家数量的平方根有关，而不是玩家本身的数量。
2022-08-31 cs.GT
Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏，我们表明，乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$，改善了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）之前的约束$O(1/T^{3/4})$ 2）相反，我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好，解决了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）中提出的一个悬而未决的问题。对于一般的多人博弈，我们证明了当他们将乐观对冲与Blum和Mansour（JMLR'07）的经典外部到内部还原相结合时，每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接，我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
Forecasting for Swap Regret for All Downstream Agents
University of Pennsylvania（宾夕法尼亚大学）
本文提出面向任意下游智能体的事件无偏预测方法，在低维达到最优 O(sqrt(T))、高维在平滑最优响应下达到维度无关的 O(T^{2/3}) swap regret。
2024-06-15 cs.GT cs.LG
Simultaneous Swap Regret Minimization via KL-Calibration
USC（美国大学）
本文提出KL校准概念，证明其等价于对数损失的交换遗憾，设计算法实现$O(T^{1/3})$的KL校准误差，推广了现有结果，同时适用于更多损失形式和实际/伪交换遗憾场景。
2025-11-15 cs.DS cs.GT cs.LG
Sync Pure Counterfactual Regret Minimization in Incomplete Information Extensive Form Games
本文结合同步虚构博弈与纯CFR，提出同步PCFR算法，在不完全信息扩展形式博弈中收敛速度比CFR+快约一个数量级且内存更省。
2023-11-13 cs.GT
Sublogarithmic Swap Regret in Multiplayer General-Sum Games via Hybrid Regularization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对多人一般和博弈，提出结合Blum–Mansour归约与混合正则化的无耦合学习动力学，实现次对数级交换遗憾，得到首个此类个体保证及近似相关均衡。
2026-08-06 cs.GT cs.LG
Optimizing Sensor Allocation against Attackers with Uncertain Intentions: A Worst-Case Regret Minimization Approach
本文提出一种基于最坏情况遗憾最小化的传感器分配优化方法，以应对攻击者意图不确定的多阶段攻击，并利用混合整数线性规划求解零和与非零和博弈下的最优分配策略。
2023-06-22 cs.GT
Last-Iterate Convergence in Adaptive Regret Minimization for Approximate Extensive-Form Perfect Equilibrium
针对扩展型完美均衡（EFPE）求解中平均策略计算成本高和固定扰动存在权衡的问题，提出自适应遗憾最小化算法RTCFR，通过动态调整扰动实现末次迭代收敛，显著提升了求解性能。
2025-08-11 cs.GT
Efficient Regret Minimization in Non-Convex Games
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文研究非凸损失函数重复博弈中的后悔最小化问题。最小化后悔的标准概念在计算上是困难的。因此，我们定义了一个自然的概念，遗憾，允许有效的优化和推广离线保证收敛到近似的局部最优。我们给出了基于梯度的方法，实现最佳遗憾，这反过来又保证收敛到平衡在这个框架中。
2017-07-31 cs.GT cs.LG stat.ML
Regret-Minimizing Double Oracle for Extensive-Form Games
提出统一的 Regret-Minimizing Double Oracle 框架分析扩展式博弈双预言机方法，并设计 PDO，将 XDO 的指数级样本复杂度降为关于信息集数的多项式级，且实证收敛更快。
2023-07-13 cs.GT
From External to Swap Regret 2.0: An Efficient Reduction and Oblivious Adversary for Large Action Spaces
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）；CSAIL（计算机科学与人工智能实验室）
提出从外部遗憾到交换遗憾的高效归约，不要求动作空间有限，显著降低轮数和每轮复杂度，并证明其蕴含近似相关均衡存在，回答了开放问题。
2025-02-24 cs.AI cs.GT cs.LG
Coherent Swap Regret and Channel-Proof Learning
Sohail (Neel) Sarkar
针对量子博弈中局部CPTP偏差，提出相干交换遗憾作为基准，并通过熵镜像上升算法实现O(√(dT log d))的遗憾界，揭示了非幺正使用推荐寄存器是困难根源，并应用于有限量子博弈达到ε-近似可分量子相关均衡。
2026-06-01 cs.GT cs.LG math.OC
Solving Imperfect-Information Games via Discounted Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）是一类迭代算法，是最流行的，在实践中，最快的方法来近似解决大规模的信息博弈。在本文中，我们引入了新的CFR变体，1）以各种方式从早期迭代中折扣遗憾（在某些情况下，积极和消极的遗憾不同），2）以各种方式重新加权迭代以获得输出策略，3）使用非标准的遗憾最小化器和/或4）利用“乐观遗憾匹配”。它们在许多环境中显著提高了性能。首先，我们引入了一个变体，在每个测试的游戏中，包括大规模的现实设置中，它的性能都优于CFR+，这是现有的最先进的算法。CFR+是一个强大的基准：没有其他算法已经能够胜过it. Finally，我们表明，与CFR+，许多重要的新的变种是兼容的现代信息游戏修剪技术和一个也是兼容的游戏树中的采样。
2019-02-21 cs.AI cs.GT
Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents
在两人零和博弈中，如果两个博弈者都最小化他们的平均外部后悔，那么策略剖面的平均值收敛到一个纳什均衡。然而，对于n人一般和游戏，遗憾最小化的理论保证较少被理解。尽管如此，反事实遗憾最小化（CFR），一个流行的遗憾最小化算法的广泛形式的游戏，产生了获奖的三人德州扑克代理在年度电脑扑克比赛（ACPC）。在本文中，我们提供了第一套理论性质的遗憾最小化算法在非零和游戏证明，解决方案消除迭代严格控制。我们正式定义\emph{dominated actions}在扩展形式的游戏，显示CFR避免迭代严格支配的行动和战略，并证明，删除迭代支配的行动是足以赢得一个模拟锦标赛在一个小的扑克游戏。此外，对于两个玩家的非零和游戏，我们绑定的最坏情况下的性能，并表明，在实践中，后悔最小化可以产生非常接近均衡的策略。我们的理论进步使我们对CFR进行了新的修改，用于两个以上玩家的游戏，更有效，可以用来生成比以前更强大的策略。此外，我们提出了一个新的三人德州扑克代理，是使用CFR和一种新的游戏分解方法。我们的新代理赢得了2012年ACPC的三人项目，并击败了以前比赛中的三人项目，同时需要比2011年冠军更少的资源来产生。最后，我们表明，我们的CFR修改计算出一个战略，我们的新代理在四分之一的时间标准CFR使用一半的内存质量相等。
2013-04-30 cs.GT cs.MA
Mediator Interpretation and Faster Learning Algorithms for Linear Correlated Equilibria in General Extensive-Form Games
本文揭示了线性交换遗憾与非定时通信偏差的等价性，并据此开发了更快的无遗憾算法，用于在一般扩展式博弈中高效计算线性相关均衡，理论和实践性能均大幅提升。
2024-03-16 cs.GT
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Watermarked Game Solving via Perturbed Regret Minimization
Computer Science Department, CMU（卡内基梅隆大学计算机科学系）；Strategic Machine, Inc.（战略机器有限公司）；Strategy Robot, Inc.（策略机器人有限公司）；Optimized Markets, Inc.（优化市场有限公司）
本文针对现有博弈智能体水印技术仅适用于完美信息博弈的局限，提出集成于学习过程、可用于不完美信息博弈的扰动遗憾最小化水印方法，其水印代价小且易检测。
2026-08-18 cs.GT
Strategizing against No-Regret Learners in First-Price Auctions
Stanford University（斯坦福大学）
研究重复首价拍卖等博弈中优化者对抗无遗憾学习者的策略，证明基于均值的算法在标准首价拍卖中可限制优化者效用，但在贝叶斯设定下不可，并证实无多面体交换遗憾算法是限制效用的必要条件。
2024-02-13 cs.DS cs.GT cs.LG
Efficient Last-Iterate Convergence in Regret Minimization via Adaptive Reward Transformation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
针对遗憾最小化中Reward Transformation框架对参数敏感且易陷入局部最优的问题，提出动态调参的自适应方法，确保理论一致性并实现线性收敛，显著加速了NFGs和EFGs中的末次迭代收敛。
2025-09-17 cs.GT cs.LG
Stochastic Regret Minimization in Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
蒙特卡罗反事实后悔最小化算法（MCCFR）是一种最先进的算法，用于解决对于满树遍历来说太大的序列博弈。它通过使用可以通过采样计算的梯度估计来工作。然而，序列博弈的随机方法还没有得到广泛的研究超过MCCFR。在本文中，我们开发了一个用于开发随机后悔最小化方法的新框架。这个框架允许我们使用任何遗憾最小化算法，再加上任何梯度估计。MCCFR算法可以作为我们框架的一个特例进行分析，这种分析导致了更强的收敛性理论，同时得到了一个简化的证明。我们的框架允许我们实例化几个新的随机方法来解决序列游戏。我们在三个游戏上进行了大量的实验，其中我们的方法的一些变体优于MCCFR。
2020-02-19 cs.AI cs.GT cs.LG
Is Learning in Games Good for the Learners?
Google（谷歌）
本文提出允许非对称后悔约束的广义均衡，刻画重复博弈中奖励与后悔的权衡，并分析面对不同无后悔学习者时的最优收益及 Stackelberg 策略学习复杂度。
2023-12-16 cs.GT cs.LG
Why Alternation Speeds Up Counterfactual Regret Minimization?
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
该研究针对交替更新加快反事实遗憾最小化的直觉，通过对比交替RM⁺与单侧预测RM⁺，得出二分定理，揭示交替加速源于stale成本，为交替更新的作用提供了理论支撑。
2026-10-16 cs.GT
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Meta-Learning in Self-Play Regret Minimization
Charles University Prague（查尔斯大学布拉格）；University of Alberta（阿尔伯塔大学）
本文将离线元学习扩展到更具挑战性的自博弈遗憾最小化设置中，通过在策略选择时整合所有决策状态信息以促进全局通信，在正则形式博弈和河牌扑克子博弈中显著优于现有最先进的遗憾最小化算法。
2025-04-26 cs.GT cs.LG
A Competition-based Pricing Strategy in Cloud Markets using Regret Minimization Techniques
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文将云提供商竞争建模为不完全信息博弈，提出基于遗憾最小化算法的定价策略，通过迭代更新策略概率加速遗憾收敛，实验证明其能显著提升利润并改善投资回报率。
2023-09-20 cs.AI cs.GT
Team Belief DAG: Generalizing the Sequence Form to Team Games for Fast Computation of Correlated Team Max-Min Equilibria via Regret Minimization
提出团队信念DAG（TB-DAG）表示法，将团队策略描述为凸集，通过遗憾最小化技术指数级提升相关团队极大极小均衡的计算速度和规模。
2024-02-17 cs.GT
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Pareto-Optimal Algorithms for Learning in Games
研究重复博弈中的最优学习算法，提出渐近帕累托最优概念，证明无交换遗憾算法是帕累托最优的充分条件，并引入渐近菜单证明此类算法策略等价。
2024-02-14 cs.GT
Regret minimization in stochastic non-convex learning via a proximal-gradient approach
The Technion（以色列理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（科利特人工智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
出于在机器学习和运筹学中的应用，我们研究了在线约束下随机一阶预言反馈的后悔最小化问题，并且可能是非光滑的非凸问题。在这种情况下，外部遗憾的最小化是无法达到的一阶方法，所以我们专注于通过一个近似梯度映射定义的局部遗憾措施。为了实现没有（本地）遗憾，在这种情况下，我们开发了一种基于随机一阶反馈的梯度方法，以及一种更简单的方法，当访问一个完美的一阶预言是可能的。这两种方法都是最小-最大顺序最优的，我们也建立了一个边界上的数量的搜索梯度查询这些方法需要。作为我们的研究结果的一个重要应用，我们还获得了一个链接在线和离线非凸随机优化表现为一个新的梯度计划的复杂性保证匹配那些通过方差降低技术。
2020-10-13 cs.GT cs.LG math.OC
Model-free Neural Counterfactual Regret Minimization with Bootstrap Learning
University of Science and Technology of China（中国科学技术大学）；New York University（纽约大学）
反事实后悔最小化算法在解决大规模不完美信息博弈问题上取得了许多令人瞩目的成果。神经网络近似CFR（neural CFR）是一种很有前途的技术，它通过对相似状态之间的决策信息进行泛化，减少了计算量和内存消耗。目前的神经CFR算法必须近似累积的遗憾。然而，在大规模的IIG中，有效和准确的近似仍然是一个严峻的挑战。在本文中，一个新的CFR变体，递归CFR（ReCFR），提出。在ReCFR中，递归替代值（Recursive Substitute Values，RSV）被学习并用于替代累积的遗憾。证明了ReCFR能够以$O({1}/{\sqrt{T}})$的速度收敛到纳什均衡.在ReCFR的基础上，提出了一种新的具有自举学习的无模型神经CFR（Neural ReCFR-B）。由于RSV的递归和非累积性质，Neural ReCFR-B具有比其他神经CFR更低的方差训练目标。实验结果表明，神经ReCFR-B是具有竞争力的国家的最先进的神经CFR算法在一个更低的训练成本。
2022-04-19 cs.GT cs.LG
Evolutionary Dynamics and $Φ$-Regret Minimization in Games
SUTD（新加坡科技设计大学）；DeepMind（深度思维）
后悔已经被确立为在线学习的一个基本概念，并且同样在游戏中的学习动力学分析中具有重要的应用。后悔量化了学习者的表现与事后的基线之间的差异。众所周知，遗憾最小化算法收敛于游戏中的某些均衡;然而，在博弈论中使用的传统形式的遗憾主要考虑允许偏离确定性行动或策略的基线。在本文中，我们重新审视了我们对遗憾的理解，从整个\emph{mixed}策略空间（即，概率分布在纯策略），镜头下的先前建立的$Φ$ -后悔框架，它提供了一个连续的更强的后悔措施。重要的是，$Φ$ -后悔使学习代理考虑偏离和混合策略，概括了几个现有的后悔概念，如外部，内部和交换后悔，从而扩大了从基于后悔的学习算法分析中获得的见解。我们在这里证明，经过充分研究的进化学习算法的复制动力学（RD）无缝地最大限度地减少了最强的可能形式的$Φ$ -遗憾的通用$2 \times 2$游戏，没有任何修改的基础算法本身。随后，我们进行实验验证我们的理论结果在一套144 $2 \times 2$游戏，其中RD表现出不同的行为。最后，我们提供的经验证据，$Φ$ -遗憾最小化的RD在一些较大的游戏，暗示进一步的机会，$Φ$ -遗憾为基础的研究，从理论和实证的角度来看，这样的算法。
2021-06-28 cs.GT cs.LG cs.MA
Comparing Uniform Price and Discriminatory Multi-Unit Auctions through Regret Minimization
该研究从单投标人学习出价视角对比统一价格与歧视性多单位拍卖，刻画两者在不同反馈下的遗憾缩放规律，发现非最坏场景下统一价格拍卖学习速率更快，对称单位需求场景也存在类似差异。
2025-10-22 cs.GT stat.ML
Regret Minimization in Bilateral Trade With Perturbed Markets
Politecnico di Milano（米兰理工大学）
研究在存在扰动的市场中，通过设计算法实现兼顾对抗性和随机性的懊悔最小化，提升交易收益。
2026-05-11 cs.GT cs.LG
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Deep Counterfactual Regret Minimization
Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
反事实遗憾最小化（CFR）是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏，通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR，其解决方案被映射回完整的游戏。这个过程可能是有问题的，因为抽象的方面通常是手动的和特定于领域的，抽象算法可能会错过游戏的重要战略细微差别，并且存在鸡和蛋的问题，因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化，CFR的一种形式，避免了抽象的需要，而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明，深CFR是原则性的，并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Approximately Bisubmodular Regret Minimization in Billboard and Social Media Advertising
Indian Institute of Technology Jammu（詹穆印度理工学院）
本文提出了一种近似双次模影响模型，用于解决多模式广告中非单调、非次模的 regret 最小化问题，并通过实验验证了其在减少总 regret 和满足广告需求方面的有效性。
2025-11-26 cs.DB cs.DS cs.GT
Fast swap regret minimization and applications to approximate correlated equilibria
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出一种计算高效的交换遗憾最小化算法，在 polylog 轮内达到 εT 交换遗憾，并应用于加速收敛到 ε-相关均衡，解决多个开放问题，同时给出匹配下界。
2023-11-14 cs.AI cs.DS cs.GT
Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
基于后悔最小化的自博弈方法已经成为计算大型二人零和扩展型博弈纳什均衡的最新方法。这些方法从根本上依赖于玩家的顺序策略空间的层次结构来构造一个后悔最小化器，递归地最小化游戏树中每个决策点的后悔。在本文中，我们介绍了第一个有效的后悔最小化算法计算的扩展形式的相关平衡在大型两人一般和游戏没有机会移动。设计这样的算法比设计对应的纳什均衡更具挑战性，因为定义相关计划空间的约束缺乏层次结构，甚至可能形成循环。我们表明，一些约束是冗余的，可以排除考虑，并提出了一个有效的算法，生成的空间的扩展形式的相关计划增量从剩余的约束。这种结构分解是通过一个特殊的保凸操作，我们硬币规模扩展。我们表明，一个遗憾的最小化可以设计为任何两个凸集的扩展，从分解，我们然后得到一个全球遗憾的最小化。我们的算法产生可行的迭代。实验表明，它显着优于以前的方法，对于较大的问题，它是唯一可行的选择。
2019-10-28 cs.AI cs.GT cs.LG
Bilateral Trade: A Regret Minimization Perspective
Università degli Studi di Milano（米兰大学）；Toulouse School of Economics (TSE)（图卢兹经济学院）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工与自然智能研究所）；Istituto Italiano di Tecnologia（意大利理工学院）；Sapienza Università di Roma（罗马一大（罗马智慧大学））
双边贸易是经济学中的一个基本话题，它模拟了两个战略代理人（卖方和买方）之间的中介问题，这两个战略代理人愿意交易他们持有私人估值的商品。在本文中，我们投在$T$轮的卖方/买方互动的后悔最小化框架的双边贸易问题，没有事先知道他们的私人估值。我们的主要贡献是一个完整的表征后悔制度的固定价格机制与不同的反馈模型和私人估值，作为基准的最佳固定价格在事后。更准确地说，我们证明了以下关于遗憾的严格界限：-对于全反馈的$Θ(\sqrt{T})$（即，直接揭示机制）。- $Θ(T^{2/3})$用于现实反馈（即，定价机制）和独立的卖方/买方估值与有界密度。- $Θ(T)$提供真实的反馈和卖方/买方估价，密度有限。- $Θ(T)$提供真实的反馈和独立的卖方/买方估价。- $Θ(T)$用于对抗性设置。
2021-09-08 cs.GT cs.LG econ.TH
Variance Reduction in Monte Carlo Counterfactual Regret Minimization (VR-MCCFR) for Extensive Form Games using Baselines
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
从交互样本中学习不完全信息博弈策略是一个具有挑战性的问题。这种情况下的一种常用方法，蒙特卡罗反事实后悔最小化（MCCFR），由于方差很大，长期收敛速度很慢。在本文中，我们介绍了一种方差减少技术（VR-MCCFR），适用于任何采样变量的MCCFR。使用这种技术，每次迭代的估计值和更新被重新制定为采样值和状态动作基线的函数，类似于它们在策略梯度强化学习中的使用。新的公式允许从同一事件中的其他估计中自举估计，沿着采样轨迹传播基线的好处;即使从其他估计中自举，估计仍然是无偏的。最后，我们表明，给定一个完美的基线，值估计的方差可以减少到零。实验结果表明，VR-MCCFR带来了一个数量级的加速，而经验方差减少了三个数量级。降低的方差允许CFR+首次与采样一起使用，将加速提高到两个数量级。
2018-09-09 cs.AI cs.GT
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
