Optimal Alternating Regret for Online Learning and Games
Shanghai University of Finance and Economics（上海财经大学）；Yale University（耶鲁大学）
该研究解决在线线性与凸优化的交替遗憾问题，提出OLO和OCO的最优算法，改进了此前的遗憾界，获得更快的博弈均衡收敛速度，还证明了对应的下界。
2026-08-26 cs.GT cs.LG stat.ML
Swap Regret and Correlated Equilibria Beyond Normal-Form Games
University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出多面体博弈中的轮廓交换遗憾概念，证明其亚线性最小化是学习算法不可被对手操纵的充要条件，并给出高效算法保证$O(\sqrt{T})$遗憾，同时揭示其诱导的相关均衡与第三方调解可实现结果间的差距。
2025-02-27 cs.GT cs.LG
Evolutionary Dynamics and $Φ$-Regret Minimization in Games
SUTD（新加坡科技设计大学）；DeepMind（深度思维）
后悔已经被确立为在线学习的一个基本概念，并且同样在游戏中的学习动力学分析中具有重要的应用。后悔量化了学习者的表现与事后的基线之间的差异。众所周知，遗憾最小化算法收敛于游戏中的某些均衡;然而，在博弈论中使用的传统形式的遗憾主要考虑允许偏离确定性行动或策略的基线。在本文中，我们重新审视了我们对遗憾的理解，从整个\emph{mixed}策略空间（即，概率分布在纯策略），镜头下的先前建立的$Φ$ -后悔框架，它提供了一个连续的更强的后悔措施。重要的是，$Φ$ -后悔使学习代理考虑偏离和混合策略，概括了几个现有的后悔概念，如外部，内部和交换后悔，从而扩大了从基于后悔的学习算法分析中获得的见解。我们在这里证明，经过充分研究的进化学习算法的复制动力学（RD）无缝地最大限度地减少了最强的可能形式的$Φ$ -遗憾的通用$2 \times 2$游戏，没有任何修改的基础算法本身。随后，我们进行实验验证我们的理论结果在一套144 $2 \times 2$游戏，其中RD表现出不同的行为。最后，我们提供的经验证据，$Φ$ -遗憾最小化的RD在一些较大的游戏，暗示进一步的机会，$Φ$ -遗憾为基础的研究，从理论和实证的角度来看，这样的算法。
2021-06-28 cs.GT cs.LG cs.MA
No-Regret Learning in Games with Noisy Feedback: Faster Rates and Adaptivity via Learning Rate Separation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；EPFL（洛桑联邦理工学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
当学习者与其他优化代理参与连续游戏时，我们研究了遗憾最小化的问题：在这种情况下，如果所有玩家都遵循无遗憾算法，则相对于完全对抗的环境，可以实现显着降低的遗憾。我们研究这个问题的背景下，变分稳定的游戏（一类连续的游戏，其中包括所有的凹凸和单调的游戏），当玩家只能获得噪声估计他们的个人收益梯度。如果噪声是加性的，博弈论和纯粹的对抗设置享受类似的遗憾保证;然而，如果噪声是乘法的，我们表明，学习者可以，事实上，实现恒定的遗憾。我们通过具有学习率分离的乐观梯度方案来实现这种更快的速度-也就是说，该方法的外推和更新步骤根据噪声分布调整到不同的时间表。随后，为了消除对精细超参数调整的需要，我们提出了一种完全自适应的方法，该方法可以获得与非自适应方法几乎相同的保证，同时在不了解游戏或噪声配置文件的情况下操作。
2023-03-17 cs.GT cs.LG
Polylogarithmic Nash Regret in Matrix Games with Bandit Feedback
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出乐观支付平衡算法，在有限矩阵博弈中实现对数多项式的纳什遗憾，解决了非唯一均衡下的开放问题，证明观察对手动作足以达到该保证。
2026-09-29 cs.GT cs.LG
Game Redesign in No-regret Game Playing
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
我们研究的游戏重新设计的问题，其中外部设计师有能力改变支付函数在每一轮，但招致的设计成本偏离原来的游戏。玩家应用无遗憾学习算法以有限的反馈重复玩改变的游戏。设计者的目标是（i）激励所有玩家频繁地采取特定的目标动作配置文件;以及（ii）产生小的累积设计成本。我们提出了游戏重新设计算法，保证目标动作配置文件是在T-o（T）轮，而只产生o（T）的累积设计成本。游戏重新设计描述了积极和消极的应用：一个仁慈的设计者，激励玩家采取与原始游戏的解决方案相比具有更好的社会福利的目标动作配置文件，或者一个恶意攻击者，其目标动作配置文件使自己受益，但不是玩家。四个经典游戏的模拟证实了我们提出的重新设计算法的有效性。
2021-10-18 cs.GT cs.LG
Multiplicative Optimism for Constant Regret in Games
MIT（麻省理工学院）；Google Deepmind（谷歌DeepMind）
本文提出乘性乐观遗憾匹配（MORM），一种非耦合学习规则，在有限一般和博弈中实现常数遗憾，并扩展到对抗性效用场景。
2026-09-21 cs.GT cs.LG math.OC
Tight Regret Upper and Lower Bounds for Optimistic Hedge in Two-Player Zero-Sum Games
The University of Tokyo（东京大学）；RIKEN（日本研究机构）
本文研究两人零和博弈中乐观Hedge算法遗憾界对动作数量m和n的依赖最优性。通过将遗憾上界转化为优化问题，在已知对手动作数时将社会与个体遗憾界改进至O(sqrt(log m log n))，并给出匹配的算法依赖下界，最后提升了算法的末次迭代收敛率与动态遗憾界。
2025-10-13 cs.GT cs.LG stat.ML
Learning not to Regret
Charles University（查理大学）；Czech Technical University（捷克技术大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）；EquiLibre Technologies
本文提出“学习不后悔”框架，通过元学习神经预测后悔匹配算法，在相似博弈分布上实现均衡求解的快速收敛，并在河牌扑克实验中取得超十倍改进。
2024-02-19 cs.GT cs.LG
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Optimism Without Regularization: Constant Regret in Zero-Sum Games
SUTD（新加坡科技设计大学）；Aarhus University（奥胡斯大学）
本文提出在零和博弈中无需正则化即可实现常数遗憾的乐观 fictitious play 方法，并证明其在无正则化情况下具有最优速率。
2026-01-14 cs.GT cs.LG
On the Convergence of No-Regret Learning Dynamics in Time-Varying Games
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文研究了动态多智能体环境下无悔学习算法的收敛性，刻画了时变博弈中乐观梯度下降（OGD）的收敛界限，并扩展至一般和多人博弈，为元学习和动态遗憾保证提供了新见解。
2023-10-18 cs.GT cs.LG
Convergence to Nash Equilibrium and No-regret Guarantee in (Markov) Potential Games
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）
针对随机成本与赌博机反馈下的势博弈及马尔可夫势博弈，提出带充分探索和递归梯度估计的 Frank-Wolfe 变体，实现纳什均衡收敛、次线性遗憾，并将马尔可夫情形的纳什遗憾改进至 O(T^{4/5})。
2024-04-04 cs.GT cs.LG
Bounds for Approximate Regret-Matching Algorithms
University of Alberta（阿尔伯塔大学）
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化（CFR）。在CFR中，许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏，通常需要抽象来使CFR易于处理。抽象通常是手动调整的，可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案，可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入，允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法，并包括不同形式的后悔，如交换，内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配（RRM），并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
ESCHER: Eschewing Importance Sampling in Games by Computing a History Value Function to Estimate Regret
Carnegie Mellon University（卡内基梅隆大学）；DeepMind（深度思维）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
最近的技术近似纳什均衡在非常大的游戏杠杆神经网络学习近似最优的政策（战略）。一个有前途的研究方向是使用神经网络来近似反事实后悔最小化（CFR）或其现代变体。DREAM是目前唯一一种基于CFR的神经方法，它是无模型的，因此可以扩展到非常大的游戏，它在估计的遗憾目标上训练神经网络，由于从蒙特卡洛CFR（MCCFR）继承的重要性采样项，该目标可能具有极高的方差。在本文中，我们提出了一个无偏的无模型方法，不需要任何重要性采样。我们的方法，ESCHER，是原则性的，并保证以高概率收敛到一个近似的纳什均衡。我们发现，ESCHER的估计后悔的方差是数量级低于梦想和其他基线。然后，我们表明，ESCHER优于现有的艺术状态-梦想和神经虚构的自我发挥（NFSP）-在一些游戏和差异变得戏剧性的游戏大小的增加。在非常大的黑棋比赛中，ESCHER能够在$90\%$的时间内击败DREAM和NFSP。
2022-10-11 cs.AI cs.GT cs.LG
Is Learning in Games Good for the Learners?
Google（谷歌）
本文提出允许非对称后悔约束的广义均衡，刻画重复博弈中奖励与后悔的权衡，并分析面对不同无后悔学习者时的最优收益及 Stackelberg 策略学习复杂度。
2023-12-16 cs.GT cs.LG
Distributed No-Regret Learning in Multi-Agent Systems
Cornell University（康奈尔大学）
在这篇教程文章中，我们概述了在以重复未知游戏为模型的多智能体系统中分布式无悔学习的新挑战和代表性结果。四个新兴的游戏特点-动态性，不完全和不完美的反馈，有限理性，和异质性-挑战规范的游戏模型进行了探讨。对于这四个特征中的每一个，我们阐明了它在游戏建模、后悔的概念、可行的游戏结果以及分布式学习算法的设计和分析中的含义和后果。
2020-02-20 cs.GT cs.LG cs.MA
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们研究了未知马尔可夫博弈中的在线学习，这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明，在这种具有挑战性的设置，实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后，我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏，并提出了一个算法，实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后，$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界（据我们所知）。重要的是，我们的后悔界限与对手行动空间的大小无关。因此，即使对手的行为是完全可观察的，我们的遗憾界限也会改善现有的分析（例如，(Xie例如，2020年））的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；LJK（让·昆廷诺实验室）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）；Criteo AI Lab（Criteo人工智能实验室）
在博弈论学习中，多个智能体同时遵循各自的利益，因此从每个参与者的角度来看，环境是不稳定的。在这种情况下，学习算法的性能通常由其遗憾来衡量。然而，无悔算法在博弈论保证方面并不平等：根据它们的调整方式，其中一些可能会使系统达到平衡，而另一些可能会产生循环，混乱或其他发散的轨迹。为了解决这个问题，我们提出了一系列基于乐观镜像下降的无遗憾策略，具有以下理想的属性：i）它们不需要任何事先调整或游戏知识; ii）它们都实现了O（\sqrt{T}）对任意的，对抗性的对手的遗憾; iii）它们收敛到收敛对手的最佳对策。此外，如果所有参与者都使用，则iv）它们保证O（1）社会遗憾;而v）在所有变分稳定博弈（包括所有单调和凹凸零和博弈的一类博弈）中，诱导的博弈序列收敛到纳什均衡，个人遗憾为O（1）。
2021-10-16 cs.GT cs.LG math.OC
Constant Individual Regret in General Games
Massachusetts Institute of Technology（麻省理工学院）
针对完全信息反馈下的有限N玩家标准型博弈，提出确定性完全非耦合的ECHO-OFTRL算法，消除个体遗憾与时间跨度的多对数依赖，保证各玩家遗憾上界为O(poly(N, log m_max))。
2026-09-01 cs.GT cs.LG
Near-Optimal No-Regret Learning in General Games
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们发现，乐观对冲-一个常见的变体的乘法权重更新与近因偏差-达到${\rm poly}(\log T)$遗憾在多人一般和游戏。特别地，当游戏的每个玩家使用乐观对冲来迭代地更新她的策略以响应到目前为止的游戏历史时，则在$T$轮交互之后，每个玩家经历总的遗憾，即${\rm poly}(\log T)$。我们的界限以指数方式改善了标准无遗憾学习者在游戏中可获得的$O({T}^{1/2})$遗憾，具有近因偏见的无遗憾学习者可获得的$O(T^{1/4})$遗憾（Syrgkanis等人，2015），以及最近在两人游戏的特殊情况下为乐观对冲显示的${O}(T^{1/6})$界限（Chen & Pen，2020）。我们的界限的一个推论是，乐观对冲收敛到粗相关均衡在一般的游戏中的速度$\tilde{O}\left(\frac 1T\right)$。
2023-01-24 cs.LG
Robust No-Regret Learning in Min-Max Stackelberg Games
Brown University（布朗大学）；Pomona College（波莫纳学院）
无遗憾学习算法的行为在两个玩家的最小-最大（即零和）游戏中得到了很好的理解。本文研究了具有依赖策略集的最小-最大博弈中的无悔学习行为，其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏，即，最小最大Stackelberg，游戏。我们考虑两种设置，一种是只有第一个玩家使用无遗憾算法选择他们的行动，而第二个玩家最好的反应，另一种是两个玩家都使用无遗憾算法。对于前一种情况下，我们表明，无悔动力学收敛到Stackelberg均衡。对于后者的情况下，我们引入了一种新的类型的遗憾，我们称之为拉格朗日遗憾，并表明，如果双方球员最大限度地减少他们的拉格朗日遗憾，然后发挥收敛到Stackelberg均衡。然后，我们观察到这两种设置中的在线镜像下降（OMD）动态分别对应于已知的嵌套（即，顺序）梯度下降-上升（GDA）算法和一个新的同步GDA类算法，从而建立这些算法的收敛到Stackelberg平衡。最后，我们分析了OMD动态的鲁棒性扰动调查在线最小-最大Stackelberg游戏。我们证明了OMD动力学是强大的一个大类的在线最小最大游戏独立的策略集。在依赖的情况下，我们证明了OMD动态的鲁棒性实验模拟他们在网上费舍尔市场，一个典型的例子，一个最小-最大的Stackelberg游戏依赖的策略集。
2022-04-13 cs.GT cs.LG econ.TH
Stochastic Regret Minimization in Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
蒙特卡罗反事实后悔最小化算法（MCCFR）是一种最先进的算法，用于解决对于满树遍历来说太大的序列博弈。它通过使用可以通过采样计算的梯度估计来工作。然而，序列博弈的随机方法还没有得到广泛的研究超过MCCFR。在本文中，我们开发了一个用于开发随机后悔最小化方法的新框架。这个框架允许我们使用任何遗憾最小化算法，再加上任何梯度估计。MCCFR算法可以作为我们框架的一个特例进行分析，这种分析导致了更强的收敛性理论，同时得到了一个简化的证明。我们的框架允许我们实例化几个新的随机方法来解决序列游戏。我们在三个游戏上进行了大量的实验，其中我们的方法的一些变体优于MCCFR。
2020-02-19 cs.AI cs.GT cs.LG
Lazy-CFR: fast and near optimal regret minimization for extensive games with imperfect information
Tsinghua University（清华大学）；BNRist Center（BNRist中心）；State Key Lab for Intell. Tech. & Sys.（智能技术与系统国家重点实验室）；THBI Lab（THBI实验室）；Dept. of Comp. Sci. & Tech.（计算机科学与技术系）
反事实遗憾最小化（CFR）算法是求解不完全信息下二人零和广式对策的最常用算法，在实际应用中取得了很好的效果。然而，CFR的性能并没有得到充分的理解，因为经验结果的遗憾是远远优于上限证明\cite{zinkevich2008regret}。另一个问题是CFR必须在每轮中遍历整个博弈树，这在大规模博弈中是耗时的。本文提出了一种新的技术，懒惰更新，它可以避免遍历整个游戏树的CFR，以及新的分析与懒惰更新的CFR遗憾。我们的分析也可以应用到香草CFR，导致一个更严格的遗憾界比\cite{zinkevich2008regret}。受惰性更新的启发，我们进一步提出了一种新的CFR变体，命名为Lazy-CFR。与vanilla CFR中遍历$O(|\mathcal{I}|)$信息集相比，Lazy-CFR每轮只需要遍历$O(\sqrt{|\mathcal{I}|})$信息集，而遗憾界几乎保持不变，其中$\mathcal{I}$是所有信息集的类。因此，与vanilla CFR相比，Lazy-CFR表现出更好的收敛结果。实验结果一致表明，Lazy-CFR显著优于vanilla CFR。
2018-12-25 cs.LG stat.ML
Regret Matching+: (In)Stability and Fast Convergence in Games
FAIR, Meta AI（元宇宙人工智能基础人工智能研究院）；HEC Paris（巴黎高等商学院）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）
本文揭示了Regret Matching+ (RM+)及其预测版本的不稳定性，通过重启和截断正象限两种修复方法，实现了个体遗憾$O(T^{1/4})$和社会遗憾$O(1)$的快速收敛，并在矩阵和扩展形式博弈中验证了其优势。
2023-05-24 cs.GT cs.LG
Adversarial Learning in Games with Bandit Feedback: Logarithmic Pure-Strategy Maximin Regret
The University of Tokyo and RIKEN（东京大学和RIKEN）；University of Southern California（美国南加州大学）；University of Washington（华盛顿大学）
研究在轮盘反馈下通过Tsallis-INF和Maximin-UCB算法实现零和博弈的纯策略最大化遗憾最小化，提出两种算法并推广至双线性博弈。
2026-02-06 cs.GT cs.LG
A Horizon-Independent Regret Bound for Optimistic Hedge in General-Sum Games
本文证明常步长乐观 Hedge 在一般和博弈中达到常数个体遗憾，并导出粗相关均衡间隙，通过实解析递推消除时间范围依赖。
2026-09-22 cs.GT cs.LG
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich（苏黎世联邦理工学院）
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题，证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡，并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
Bayes correlated equilibria, no-regret dynamics in Bayesian games, and the price of anarchy
National Institute of Informatics（信息学研究所）
本文研究贝叶斯博弈的均衡计算与无政府代价，提出不真实交换遗憾变体及其高效最小化算法，证明动力学收敛至通信均衡，并将无政府代价下界从Bayes-Nash均衡扩展至所提动力学获得的均衡。
2025-06-29 cs.GT cs.LG
No-Regret Learning in Dynamic Stackelberg Games
University of California, Berkeley（加利福尼亚大学伯克利分校）；Purdue University（普渡大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在Stackelberg博弈中，领导者采用随机策略，跟随者选择最佳策略作为回应。我们认为一个标准的Stackelberg游戏的扩展，称为离散时间动态Stackelberg游戏，有一个潜在的状态空间，影响领导者的奖励和可用的策略，并根据领导者和追随者的选择策略的马尔可夫方式演变。虽然标准的Stackelberg游戏已被用来提高调度安全域，他们的部署往往是有限的，需要完整的信息的追随者的效用函数。相反，我们考虑的情况下，跟随者的效用函数是未知的领导者，但是，它可以线性参数化。然后，我们的目标是提供一个算法，规定一个随机策略的领导者在游戏的每一步的基础上观察如何追随者在前面的步骤作出反应。我们设计了一个无遗憾的学习算法，具有很高的概率，实现了遗憾界（相比，事后的最佳政策），这是次线性的时间步长的数量;次线性的程度取决于代表追随者的效用函数的功能的数量。所提出的学习算法的后悔度与状态空间的大小和多项式中其余的博弈参数无关。我们表明，所提出的学习算法优于现有的无模型强化学习方法。
2022-02-10 cs.GT cs.LG
Regret Circuits: Composability of Regret Minimizers
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
遗憾最小化是解决大规模问题的有力工具，它最近被用于解决大规模可拓形式博弈的突破性结果。这是通过将单纯形后悔最小化器组成一个扩展形式博弈策略空间的整体后悔最小化框架来实现的。在本文中，我们研究一般的可组合后悔极小化。我们推导出一个微积分构造的复合凸集，从简单的凸集上的保凸运算得到的遗憾极小。我们表明，局部遗憾最小化的简单的集合可以与额外的遗憾最小化到一个聚合遗憾最小化的复合集。作为一个应用程序，我们表明，CFR框架可以很容易地从我们的框架。我们还展示了将缩减（约束）操作纳入我们框架的方法。首先，他们能够构建CFR推广的扩展形式的游戏与一般的凸策略约束，可以跨越决策点。
2019-02-17 cs.AI cs.GT cs.LG
Learning in Markov Games with Adaptive Adversaries: Policy Regret, Fundamental Barriers, and Efficient Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究含自适应对手的 Markov 博弈学习，提出以策略遗憾替代外部遗憾，刻画无界记忆、非平稳及指数策略集导致的根本障碍，并在一致对手条件下给出达到 √T 遗憾的高效算法。
2024-12-09 cs.AI cs.GT cs.LG
Deep Counterfactual Regret Minimization
Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
反事实遗憾最小化（CFR）是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏，通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR，其解决方案被映射回完整的游戏。这个过程可能是有问题的，因为抽象的方面通常是手动的和特定于领域的，抽象算法可能会错过游戏的重要战略细微差别，并且存在鸡和蛋的问题，因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化，CFR的一种形式，避免了抽象的需要，而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明，深CFR是原则性的，并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Efficient Phi-Regret Minimization in Extensive-Form Games via Online Mirror Descent
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；MIT（麻省理工学院）
一个概念上有吸引力的方法来学习可拓形式游戏（EFG）是将它们转换为正常形式游戏（NFG）。这种方法使我们能够直接将NFG中最先进的技术和分析转化为学习EFG，但由于转换引入的游戏大小的指数爆炸，通常会遭受计算上的困难。在本文中，我们解决这个问题的自然和重要的设置为\emph{$Φ$-Hedge}算法-一个通用的算法，能够学习一大类NFG的平衡。我们表明，$Φ$ -对冲可以直接用于学习纳什均衡（零和设置），正常形式的粗相关均衡（NFCCE），和扩展形式的相关均衡（EFCE）的EFG。我们证明，在这些设置中，\emph{$Φ$-Hedge}算法是等效的标准在线镜像下降（OMD）算法EFG与适当的扩张正则化，并运行在多项式时间。这种新的连接进一步使我们能够设计和分析一类新的OMD算法的基础上修改其对数分区函数。特别是，我们设计了一个改进的算法与平衡技术，实现了一个尖锐的$\widetilde{\mathcal{O}}(\sqrt{XAT})$ EFCE下的带反馈的EFG $X$信息集，$A$的行动，和$T$情节后悔。据我们所知，这是第一个这样的速率，符合信息论的下限。
2022-10-27 cs.GT cs.LG stat.ML
Near-Optimal No-Regret Learning Dynamics for General Convex Games
Columbia University（哥伦比亚大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
最近的一系列工作已经建立了解耦的学习动力学，使得当被游戏中的所有玩家采用时，在$T$重复之后，每个玩家的\emph{regret}在$T$中以多项式方式增长，这是在无遗憾框架内的传统保证上的指数改进。然而，到目前为止，这些结果仅限于某些类别的游戏与结构化的战略空间-如正规形式和扩展形式的游戏。关于$O(\text{polylog} T)$后悔界限是否可以获得一般的凸和紧凑的策略集-这发生在许多基本模型在经济学和多智能体系统-同时保留有效的策略更新是一个重要的问题。在本文中，我们回答了这一问题，在积极的建立第一个解耦的学习算法与$O(\log T)$每球员遗憾一般\emph{convex games}，即游戏凹效用函数支持的任意凸和紧凑的策略集。我们的学习动力学是基于一个实例的乐观的后续正规化的领导者在适当的\emph{lifted}空间使用\emph{self-concordant regularizer}，特别是，不是一个障碍的可行区域。此外，我们的学习动力学是有效地实现给定的凸策略集访问一个接近的预言，导致$O(\log\log T)$每次迭代的复杂性，我们也给扩展时，访问只有一个\emph{linear}优化预言是假设的。最后，我们调整我们的动态，以保证$O(\sqrt{T})$在对抗制度的遗憾。即使在那些特殊的情况下，以前的结果适用，我们的算法提高了国家的最先进的遗憾界无论…
2022-10-16 cs.GT cs.LG
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出OMG和SOMG算法，在KL正则化下实现对数遗憾，提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
No-Regret Learning in Unknown Games with Correlated Payoffs
ETH Zürich（苏黎世联邦理工学院）
我们考虑的问题，学习玩一个重复的多智能体游戏与未知的奖励函数。单人在线学习算法在提供完全信息反馈时获得强遗憾边界，不幸的是，这在许多现实世界的场景中是不可用的。仅仅是Bandit反馈，即，仅观察所选动作的结果产生了实质上更差的性能。在本文中，我们考虑了一个自然的模型，除了获得奖励的嘈杂测量，玩家还可以观察对手的行动。这个反馈模型，再加上奖励函数的规律性假设，使我们能够利用高斯过程（GP）的不同游戏结果之间的相关性。我们提出了一种新的基于置信区间的强盗算法GP-MW，它利用GP模型的奖励函数和运行的乘法权重（MW）的方法。我们得到了新的依赖于核的遗憾界，可与已知的界限在全信息设置，同时大大改善现有的强盗的结果。我们实验证明了GP-MW在随机矩阵游戏中的有效性，以及现实世界中的交通路由和电影推荐问题。在我们的实验中，GP-MW始终优于几个基线，而其性能通常与能够获得完整信息反馈的方法相当。
2019-10-28 cs.GT cs.LG cs.MA
Online Learning for Uninformed Markov Games: Empirical Nash-Value Regret and Non-Stationarity Adaptation
University of Washington（华盛顿大学）；University of Southern California（南加州大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出了一种参数无关算法，通过经验纳什价值遗憾度量，在对手非平稳性适应下实现O(min{√K + (CK)^{1/3},√LK})的遗憾界。
2026-02-06 cs.GT cs.LG stat.ML
Doubly Optimal No-Regret Learning in Monotone Games
Yale University（耶鲁大学）
针对多玩家光滑单调博弈，提出加速乐观梯度（AOG）算法，同时实现最优$O(\sqrt{T})$遗憾与最优$O(1/T)$最后迭代收敛，并将动态遗憾改进至$O(\log T)$。
2023-09-04 cs.GT cs.LG
Fast and Furious Symmetric Learning in Zero-Sum Games: Gradient Descent as Fictitious Play
Singapore University of Technology and Design（新加坡科技设计大学）；Google DeepMind（谷歌DeepMind）；Yale University（耶鲁大学）
该研究针对加权n维对称零和博弈，证明对称初始化下任意平局规则的虚拟博弈有O(√T)悔值，且步长足够大的恒定步长梯度下降在几乎所有对称初始化下也有该悔值，首次在大于2×2的零和博弈中验证了梯度下降的极速行为。
2025-06-16 cs.GT cs.LG
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
RLCFR: Minimize Counterfactual Regret by Deep Reinforcement Learning
Harbin Institute of Technology, ShenZhen（哈尔滨工业大学（深圳））
反事实后悔最小化（CFR）是处理不完全信息二人零和博弈决策问题的一种常用方法。与现有的研究，主要是探索解决更大规模的问题或加快解决方案的效率，我们提出了一个框架，RLCFR，旨在提高CFR方法的泛化能力。在RLCFR中，博弈策略由CFR在强化学习框架中求解。将交互式策略更新的动态过程建模为马尔可夫决策过程。我们的方法，RLCFR，然后学习一个政策，以选择适当的方式在迭代过程中的遗憾更新。此外，逐步奖励函数制定学习的行动政策，这是成比例的迭代策略是如何在每一步。大量的实验结果表明，我们的方法的泛化能力显着提高，与现有的国家的最先进的方法相比。
2020-09-10 cs.GT cs.LG stat.ML
Alternative Function Approximation Parameterizations for Solving Games: An Analysis of $f$-Regression Counterfactual Regret Minimization
University of Alberta（阿尔伯塔大学）
函数逼近是构造大型决策问题的一种强大方法，在强化学习和博弈领域取得了巨大成就。回归反事实遗憾最小化（Reconstruction Counterfactual Regret Minimization，RCFR）是一种近似求解具有归一化校正线性单元（Normalized Rectified Linear Unit，ReLU）参数化策略的不完美信息博弈的简单算法。相比之下，更传统的softmax参数化在强化学习领域是标准的，并且产生了对动作数量有更好依赖的后悔界限。我们推导出近似误差感知的遗憾界$(Φ, f)$遗憾匹配，它适用于一般类的链接功能和遗憾的目标。这些边界恢复了更严格的限制RFR和提供一个理论上的理由，RFR实施替代政策参数化（$f$ -RFR），包括softmax。我们提供了可利用的界限$f$ -RFR的多项式和指数的链接函数在零和不完美信息游戏和经验研究如何链接函数相互作用的严重程度的近似。我们发现，以前研究的ReLU参数化在近似误差较小时表现更好，而softmax参数化在近似误差较大时表现更好。
2020-05-01 cs.AI cs.GT cs.LG
Constant regret in general games via higher-order optimism
Univ. Mohammed VI Polytechnic（穆罕默德六世大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔工业大学）；LIG（信息与信号处理实验室）
本文提出带折扣的高阶乐观算法（HOOD），作为OptFTRL的变体，可在N玩家标准型博弈中保证O(N³log²K)的个体遗憾，消除了此前实现一般博弈常数遗憾的关键障碍，且与同期独立工作有相似性。
2026-09-04 cs.GT cs.LG
No Internal Regret via Neighborhood Watch
University of Pennsylvania（宾夕法尼亚大学）
我们提出了一个算法，达到O（\sqrt{T}）的内部（因此外部）遗憾有限游戏的局部可观测性条件下的部分监测。最近，这个条件已经被（Bartok，Zynga，and Szepesvari，2011）证明了，对于部分监控博弈，相对于i.i.d.，它意味着O（\sqrt{T}）的速度。对手，作者强调，同样适用于非随机对手。我们的结果是肯定的，它完成了对有限部分监控博弈的可能速率的表征，这是Cesa Bianchi，Lugosi和Stoltz，2006年提出的一个开放性问题。我们的遗憾保证也适用于更一般的随机信号部分监控模型。
2011-08-30 cs.GT cs.LG
R2-B2: Recursive Reasoning-Based Bayesian Optimization for No-Regret Learning in Games
National University of Singapore（新加坡国立大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出了一种递归推理形式主义贝叶斯优化（BO）建模的推理过程中的相互作用的有限理性，自私的代理未知的，复杂的，和成本评估的支付函数在重复的游戏，我们称之为递归推理为基础的BO（R2-B2）。我们的R2-B2算法是通用的，因为它不约束不同代理的支付函数之间的关系，因此可以应用于各种类型的游戏，如常和，一般和，和共同支付游戏。我们证明，通过在2级或以上的推理，并在一个比其他代理更高的水平，我们的R2-B2代理可以实现更快的渐近收敛到没有遗憾，比没有利用递归推理。我们还提出了一个计算成本更低的R2-B2变体，称为R2-B2-Lite，代价是较弱的收敛保证。我们的R2-B2算法的性能和通用性的经验证明，使用合成游戏，对抗机器学习，和多智能体强化学习。
2020-06-30 cs.AI cs.GT cs.LG
On the Limitations and Possibilities of Nash Regret Minimization in Zero-Sum Matrix Games under Noisy Feedback
University of Washington（华盛顿大学）
本文研究噪声反馈下零和矩阵博弈的Nash遗憾最小化，证明现有算法存在$\Omega(\sqrt{T})$下界，并提出首个实现实例相关$\text{polylog}(T)$遗憾的算法，经实证验证。
2025-05-24 cs.GT cs.LG
Constant Swap Regret in General-Sum Games via Two-Scale Higher-Order Optimism
Adobe Research（奥多比研究院）
本文提出一种确定性和非耦合的学习动力学，在一般和博弈中实现常数个体交换遗憾，并通过预测偏离收益和更新转移矩阵，同时提供对抗鲁棒变体。
2026-09-22 cs.GT cs.LG
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）；Strategic Machine, Inc.（Strategic Machine 公司）
最近，Daskalakis，Fishelson和Golowich（DFG）（NeurIPS '21）表明，如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新（OMWU），则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾，从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng（NeurIPS '20），这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度，并且在无遗憾框架内，它是最佳的-直到$T$中的多对数因子。为了获得这些结果，我们开发了新的技术，用于建立高阶光滑的学习动态涉及不动点运算。具体来说，我们建立了无内部后悔学习动力学的Stoltz和Lugosi（马赫学习'05）等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的（表现更好的）线性变换，使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外，我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour（BM）（JMLR '07）。我们这样做是通过引入一种技术的基础上的柯西积分公式，规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Regret Minimization with Adaptive Opponents in Repeated Games
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；University of Maryland, College Park（马里兰大学学院公园分校）
针对重复博弈中自适应对手的遗憾最小化问题，提出重复策略遗憾（RP-Regret）指标，并设计三种算法实现次线性遗憾，同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。
2026-06-04 cs.AI cs.GT cs.LG
No-Regret Dynamics in the Fenchel Game: A Unified Framework for Algorithmic Convex Optimization
Yale University（耶鲁大学）；Georgia Institute of Technology（佐治亚理工学院）；Technion - Israel Institute of Technology（以色列理工学院）
我们开发了一个算法框架，用于解决凸优化问题，使用无悔博弈动力学。通过将最小化凸函数的问题转化为以顺序方式求解最小-最大博弈的辅助问题，我们可以考虑两个必须一个接一个地选择行动的玩家中的每一个的一系列策略。这些策略的共同选择是所谓的无遗憾学习算法，我们描述了一些这样的，并证明他们的遗憾的界限。然后，我们表明，许多经典的一阶凸优化方法-包括平均梯度梯度下降，弗兰克-沃尔夫算法，Nesterov的加速方法，和加速邻近的方法-可以被解释为我们的框架的特殊情况下，只要每个球员作出了正确的选择无悔的策略。在这个框架中证明收敛率变得非常简单，因为它们可以通过插入适当的已知后悔界限来实现。我们的框架还产生了一些新的一阶方法的特殊情况下，凸优化，以前不知道。
2023-02-18 cs.GT cs.LG math.OC
Uncoupled Learning Dynamics with $O(\log T)$ Swap Regret in Multiplayer Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
在本文中，我们建立了有效的\emph{uncoupled}学习动态，以便在一般和多人游戏中的所有玩家，每个玩家的\emph{swap regret}后，$T$重复的游戏是有界的$O(\log T)$，提高了以前的最佳界限的$O(\log^4 (T))$。同时，我们也保证了在对抗机制中最优的$O(\sqrt{T})$交换遗憾。为了获得这些结果，我们的主要贡献是表明，当所有的球员遵循我们的动态与\emph{time-invariant}学习率，动态的\emph{second-order path lengths}的时间$T$是有界的$O(\log T)$，一个基本的属性，可能有进一步的影响超越接近最佳的边界（交换）遗憾。我们提出的学习动力学以一种新颖的方式将\emph{optimistic}正则化学习与\emph{self-concordant barriers}的使用相结合。此外，我们的分析非常简单，绕过了Daskalakis，Fishelson和Golowich最近开发的高阶平滑的繁琐框架（NeurIPS'21）。
2022-10-05 cs.GT cs.LG
No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
Politecnico di Milano（米兰理工大学）；Carnegie Mellon University（卡内基梅隆大学）
在规范型博弈中，简单的、解耦的无悔动力学收敛到相关均衡的存在是多智能体系统理论中的一个著名结果。具体来说，20多年前就已经知道，当所有参与者在重复的正态形式博弈中寻求最小化他们的内部遗憾时，经验的博弈频率收敛到正态形式相关均衡。可拓形式（也就是树形）博弈通过对连续和同时移动以及私有信息进行建模来推广正规形式博弈。由于博弈中的序列性质和部分信息的存在，广义形式的相关性与正规形式的相关性有显着不同的性质，其中许多仍然是开放的研究方向。扩展形式相关均衡（EFCE）是规范形式相关均衡的自然扩展形式对应。然而，目前尚不清楚EFCE是否是由于解偶联剂动力学而出现的。在本文中，我们给出了第一个非耦合的无悔动力学收敛到集的EFCE在$n$ -播放器一般和扩展形式的游戏，完美的回忆。首先，我们引入了一个概念的触发遗憾的扩展形式的游戏，扩展了正常形式的游戏中的内部遗憾。当每个玩家都有低触发后悔时，经验的游戏频率接近EFCE。然后，我们给出了一个有效的无触发后悔算法。该算法将触发后悔问题分解为局中人在每个决策点的局部子问题，并由每个决策点的局部解构造局中人的全局策略。
2022-09-02 cs.AI cs.GT cs.LG
