Uncoupled and Convergent Learning in Monotone Games under Bandit Feedback
该研究针对赌博机反馈下的单调光滑博弈，提出基于镜像下降的强非耦合无悔学习算法，实现不同场景下的收敛速率提升，并拓展至时变博弈，给出首个非渐近结果。
2024-08-15 cs.GT
Multiplicative Optimism for Constant Regret in Games
MIT（麻省理工学院）；Google Deepmind（谷歌DeepMind）
本文提出乘性乐观遗憾匹配（MORM），一种非耦合学习规则，在有限一般和博弈中实现常数遗憾，并扩展到对抗性效用场景。
2026-09-21 cs.GT cs.LG math.OC
Near-Optimal No-Regret Learning Dynamics for General Convex Games
Columbia University（哥伦比亚大学）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
最近的一系列工作已经建立了解耦的学习动力学，使得当被游戏中的所有玩家采用时，在$T$重复之后，每个玩家的\emph{regret}在$T$中以多项式方式增长，这是在无遗憾框架内的传统保证上的指数改进。然而，到目前为止，这些结果仅限于某些类别的游戏与结构化的战略空间-如正规形式和扩展形式的游戏。关于$O(\text{polylog} T)$后悔界限是否可以获得一般的凸和紧凑的策略集-这发生在许多基本模型在经济学和多智能体系统-同时保留有效的策略更新是一个重要的问题。在本文中，我们回答了这一问题，在积极的建立第一个解耦的学习算法与$O(\log T)$每球员遗憾一般\emph{convex games}，即游戏凹效用函数支持的任意凸和紧凑的策略集。我们的学习动力学是基于一个实例的乐观的后续正规化的领导者在适当的\emph{lifted}空间使用\emph{self-concordant regularizer}，特别是，不是一个障碍的可行区域。此外，我们的学习动力学是有效地实现给定的凸策略集访问一个接近的预言，导致$O(\log\log T)$每次迭代的复杂性，我们也给扩展时，访问只有一个\emph{linear}优化预言是假设的。最后，我们调整我们的动态，以保证$O(\sqrt{T})$在对抗制度的遗憾。即使在那些特殊的情况下，以前的结果适用，我们的算法提高了国家的最先进的遗憾界无论…
2022-10-16 cs.GT cs.LG
Tight Regret Upper and Lower Bounds for Optimistic Hedge in Two-Player Zero-Sum Games
The University of Tokyo（东京大学）；RIKEN（日本研究机构）
本文研究两人零和博弈中乐观Hedge算法遗憾界对动作数量m和n的依赖最优性。通过将遗憾上界转化为优化问题，在已知对手动作数时将社会与个体遗憾界改进至O(sqrt(log m log n))，并给出匹配的算法依赖下界，最后提升了算法的末次迭代收敛率与动态遗憾界。
2025-10-13 cs.GT cs.LG stat.ML
Sublogarithmic Swap Regret in Multiplayer General-Sum Games via Hybrid Regularization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对多人一般和博弈，提出结合Blum–Mansour归约与混合正则化的无耦合学习动力学，实现次对数级交换遗憾，得到首个此类个体保证及近似相关均衡。
2026-08-06 cs.GT cs.LG
Constant Swap Regret in General-Sum Games via Two-Scale Higher-Order Optimism
Adobe Research（奥多比研究院）
本文提出一种确定性和非耦合的学习动力学，在一般和博弈中实现常数个体交换遗憾，并通过预测偏离收益和更新转移矩阵，同时提供对抗鲁棒变体。
2026-09-22 cs.GT cs.LG
Clairvoyant Regret Minimization: Equivalence with Nemirovski's Conceptual Prox Method and Extension to General Convex Games
Piliouras等人最近的一篇论文。[2021，2022]介绍了一种用于正规形式游戏的解耦学习算法-称为千里眼MWU（CMWU）。在本文中，我们证明了CMWU等价于Nemirovski [2004]描述的概念性prox方法。这种连接立即表明，它是可能的扩展CMWU算法的任何凸游戏，一个问题由Piliouras等人留下的开放。我们呼吁由此产生的算法-再次相当于概念prox方法-千里眼OMD。与此同时，我们表明，我们的分析产生了一个改进的遗憾界相比，由Piliouras等人，因为CMWU的遗憾只与玩家数量的平方根有关，而不是玩家本身的数量。
2022-08-31 cs.GT
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
Swap Regret and Correlated Equilibria Beyond Normal-Form Games
University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出多面体博弈中的轮廓交换遗憾概念，证明其亚线性最小化是学习算法不可被对手操纵的充要条件，并给出高效算法保证$O(\sqrt{T})$遗憾，同时揭示其诱导的相关均衡与第三方调解可实现结果间的差距。
2025-02-27 cs.GT cs.LG
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）；Strategic Machine, Inc.（Strategic Machine 公司）
最近，Daskalakis，Fishelson和Golowich（DFG）（NeurIPS '21）表明，如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新（OMWU），则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾，从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng（NeurIPS '20），这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度，并且在无遗憾框架内，它是最佳的-直到$T$中的多对数因子。为了获得这些结果，我们开发了新的技术，用于建立高阶光滑的学习动态涉及不动点运算。具体来说，我们建立了无内部后悔学习动力学的Stoltz和Lugosi（马赫学习'05）等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的（表现更好的）线性变换，使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外，我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour（BM）（JMLR '07）。我们这样做是通过引入一种技术的基础上的柯西积分公式，规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Bayes correlated equilibria, no-regret dynamics in Bayesian games, and the price of anarchy
National Institute of Informatics（信息学研究所）
本文研究贝叶斯博弈的均衡计算与无政府代价，提出不真实交换遗憾变体及其高效最小化算法，证明动力学收敛至通信均衡，并将无政府代价下界从Bayes-Nash均衡扩展至所提动力学获得的均衡。
2025-06-29 cs.GT cs.LG
Regret Matching+: (In)Stability and Fast Convergence in Games
FAIR, Meta AI（元宇宙人工智能基础人工智能研究院）；HEC Paris（巴黎高等商学院）；Columbia University（哥伦比亚大学）；University of Southern California（南加州大学）
本文揭示了Regret Matching+ (RM+)及其预测版本的不稳定性，通过重启和截断正象限两种修复方法，实现了个体遗憾$O(T^{1/4})$和社会遗憾$O(1)$的快速收敛，并在矩阵和扩展形式博弈中验证了其优势。
2023-05-24 cs.GT cs.LG
Constant regret in general games via higher-order optimism
Univ. Mohammed VI Polytechnic（穆罕默德六世大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔工业大学）；LIG（信息与信号处理实验室）
本文提出带折扣的高阶乐观算法（HOOD），作为OptFTRL的变体，可在N玩家标准型博弈中保证O(N³log²K)的个体遗憾，消除了此前实现一般博弈常数遗憾的关键障碍，且与同期独立工作有相似性。
2026-09-04 cs.GT cs.LG
No-Regret Learning in Unknown Games with Correlated Payoffs
ETH Zürich（苏黎世联邦理工学院）
我们考虑的问题，学习玩一个重复的多智能体游戏与未知的奖励函数。单人在线学习算法在提供完全信息反馈时获得强遗憾边界，不幸的是，这在许多现实世界的场景中是不可用的。仅仅是Bandit反馈，即，仅观察所选动作的结果产生了实质上更差的性能。在本文中，我们考虑了一个自然的模型，除了获得奖励的嘈杂测量，玩家还可以观察对手的行动。这个反馈模型，再加上奖励函数的规律性假设，使我们能够利用高斯过程（GP）的不同游戏结果之间的相关性。我们提出了一种新的基于置信区间的强盗算法GP-MW，它利用GP模型的奖励函数和运行的乘法权重（MW）的方法。我们得到了新的依赖于核的遗憾界，可与已知的界限在全信息设置，同时大大改善现有的强盗的结果。我们实验证明了GP-MW在随机矩阵游戏中的有效性，以及现实世界中的交通路由和电影推荐问题。在我们的实验中，GP-MW始终优于几个基线，而其性能通常与能够获得完整信息反馈的方法相当。
2019-10-28 cs.GT cs.LG cs.MA
No-Regret Learning in Bayesian Games
Northwestern University（西北大学）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）
最近的价格的无政府状态分析游戏的完全信息表明，粗糙的相关均衡，其特点是从无悔学习动态的结果，有接近最优的福利。这项工作提供了两个主要的技术成果，将这一结论提升到不完全信息的游戏，即，贝叶斯博弈首先，贝叶斯博弈中的近最优福利直接来自于当私有信息公开时，在同一博弈中的近最优福利的基于平滑性的证明。其次，在这些不完全信息博弈中，无悔学习动态收敛于贝叶斯粗相关均衡。这些结果是通过将贝叶斯博弈解释为完全信息的随机博弈来实现的。
2015-11-19 cs.GT cs.LG
Near-Optimal $Φ$-Regret Learning in Extensive-Form Games
Meta AI；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）
本文针对多人扩展式博弈提出高效非耦合学习动态，将触发遗憾从 $O(T^{1/4})$ 指数级改进至 $O(\log T)$，并以近最优速率收敛到相关均衡。
2023-09-19 cs.GT cs.LG
Phi-Actor-Critic: Steering General-Sum Games to Pareto-Efficient Correlated Equilibria
Politecnico di Milano（米兰理工大学）；Tilburg University（蒂尔堡大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南瑞士应用科学与艺术大学）
提出Φ-Actor-Critic框架，通过交换遗憾最小化引导多智能体学习向高社会福利的关联均衡收敛，并采用集中式注意力批评家高效估计反事实遗憾，结合拉格朗日均衡选择机制优化社会福利。
2026-06-11 cs.GT cs.LG cs.MA
Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
基于后悔最小化的自博弈方法已经成为计算大型二人零和扩展型博弈纳什均衡的最新方法。这些方法从根本上依赖于玩家的顺序策略空间的层次结构来构造一个后悔最小化器，递归地最小化游戏树中每个决策点的后悔。在本文中，我们介绍了第一个有效的后悔最小化算法计算的扩展形式的相关平衡在大型两人一般和游戏没有机会移动。设计这样的算法比设计对应的纳什均衡更具挑战性，因为定义相关计划空间的约束缺乏层次结构，甚至可能形成循环。我们表明，一些约束是冗余的，可以排除考虑，并提出了一个有效的算法，生成的空间的扩展形式的相关计划增量从剩余的约束。这种结构分解是通过一个特殊的保凸操作，我们硬币规模扩展。我们表明，一个遗憾的最小化可以设计为任何两个凸集的扩展，从分解，我们然后得到一个全球遗憾的最小化。我们的算法产生可行的迭代。实验表明，它显着优于以前的方法，对于较大的问题，它是唯一可行的选择。
2019-10-28 cs.AI cs.GT cs.LG
Faster Rates for No-Regret Learning in General Games via Cautious Optimism
MIT EECS（麻省理工学院电子工程与计算机科学系）；Google DeepMind（谷歌DeepMind）
本文提出首个非耦合学习算法，结合经典OMWU与自适应非单调学习率，在多人一般和博弈中实现 $O(n \log^2 d \log T)$ 的每玩家遗憾值，指数级改善了对动作数量的依赖并降低了对迭代次数的依赖。
2025-03-31 cs.GT cs.LG math.OC
Cautious Optimism: A Meta-Algorithm for Near-Constant Regret in General Games
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文提出谨慎乐观元算法框架COFTRL，可自适应调控FTRL学习节奏，在一般博弈自博弈场景达近最优对数遗憾，对抗场景保平方根遗憾，无需单调步长且对动作空间维度依赖指数级优于既往方法。
2025-11-14 cs.GT cs.LG math.OC
Faster No-Regret Learning Dynamics for Extensive-Form Correlated and Coarse Correlated Equilibria
最近出现的趋势，在游戏中学习的文献一直关注提供更快的学习动力学相关和粗糙的相关均衡正规形式的游戏。对于具有更大挑战性的扩展形式游戏，人们所知甚少，这种游戏可以捕捉连续和同时的动作，以及不完美的信息。在本文中，我们建立了快速的无遗憾学习动力学\textit{extensive-form correlated equilibria (EFCE)}在多人一般和信息扩展形式的游戏。当所有玩家都遵循我们的加速动态时，游戏的相关分布是$O(T^{-3/4})$近似EFCE，其中$O(\cdot)$符号在游戏描述中抑制参数多项式。这显著提高了$O(T^{-1/2})$的最佳先验率。为了实现这一点，我们开发了一个框架，通过预测执行加速\emph{Phi-regret minimization}。我们的关键技术贡献之一-使我们能够使用我们的通用模板-是通过结构化马尔可夫链的精细扰动分析来表征与\emph{trigger deviation functions}相关的不动点的稳定性。此外，对于更简单的解决方案的概念的扩展形式的\emph{coarse}相关平衡（EFCCE），我们给出了一个新的简洁的封闭形式的相关不动点的特征，绕过昂贵的计算所需的平稳分布的EFCE。我们的结果将EFCCE更接近\emph{normal-form coarse correlated equilibria}的每迭代的复杂性…
2022-02-11 cs.GT
Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文针对一般和马尔可夫博弈中风险敏感多智能体强化学习的均衡偏差问题，提出风险平衡遗憾新概念，并设计自博弈算法学习多种均衡，证明其具有近最优遗憾保证。
2024-05-04 cs.GT cs.LG
Fast swap regret minimization and applications to approximate correlated equilibria
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出一种计算高效的交换遗憾最小化算法，在 polylog 轮内达到 εT 交换遗憾，并应用于加速收敛到 ε-相关均衡，解决多个开放问题，同时给出匹配下界。
2023-11-14 cs.AI cs.DS cs.GT
Optimal Alternating Regret for Online Learning and Games
Shanghai University of Finance and Economics（上海财经大学）；Yale University（耶鲁大学）
该研究解决在线线性与凸优化的交替遗憾问题，提出OLO和OCO的最优算法，改进了此前的遗憾界，获得更快的博弈均衡收敛速度，还证明了对应的下界。
2026-08-26 cs.GT cs.LG stat.ML
Polynomial-Time Linear-Swap Regret Minimization in Imperfect-Information Sequential Games
该研究针对序贯博弈中可高效实现的最强理性概念这一长期开放问题，证明可通过多项式时间迭代实现无线性交换遗憾，且该理性概念强于无触发遗憾，可高效逼近线性偏离相关均衡。
2023-11-07 cs.GT
Actively Learning to Coordinate in Convex Games via Approximate Correlated Equilibrium
研究凸博弈中协调者如何在未知玩家成本函数时，通过主动查询玩家遗憾并利用贝叶斯优化学习近似相关均衡，提出的学习框架在交通分配博弈实验中得到验证。
2025-09-13 cs.GT
Strategic Teaching and Learning in Games
University of California, Davis（加州大学戴维斯分校）
已知在所有有限博弈中存在导致纳什均衡的非耦合学习策略。为什么玩家应该使用这种学习启发式方法？它们从何而来？我们表明，没有解耦的学习启发式导致纳什均衡在所有有限的游戏，玩家有动机采取，这将是进化稳定的，或者可以“学习自己”。相反，一个参与者有动机在战略上教导这样一个学习对手，以确保至少Stackelberg领导者的回报。不可能的结果仍然完好无损时，限制类的一般游戏，两个球员的游戏，潜在的游戏，游戏与战略补充或2x2游戏，其中学习是已知的“好”。更一般地说，它也适用于非耦合学习算法，导致相关的均衡，合理化的结果，迭代可接受的结果，或最小遏制集。一个可能的结果限制在“战略平凡”的游戏失败，如果一些通用的游戏之外，这一类被认为是以及。
2015-04-23 cs.AI cs.GT cs.LG
Mediator Interpretation and Faster Learning Algorithms for Linear Correlated Equilibria in General Extensive-Form Games
本文揭示了线性交换遗憾与非定时通信偏差的等价性，并据此开发了更快的无遗憾算法，用于在一般扩展式博弈中高效计算线性相关均衡，理论和实践性能均大幅提升。
2024-03-16 cs.GT
$\widetilde{O}(T^{-1})$ Convergence to (Coarse) Correlated Equilibria in Full-Information General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对马尔可夫博弈中缺乏近优收敛速率的问题，本文证明OFTRL算法结合适当价值更新过程能在全信息一般和马尔可夫博弈中于T次迭代内找到 $\widetilde{O}(T^{-1})$-近似的（粗）相关均衡。
2024-04-23 cs.AI cs.GT cs.LG
Optimistic Mirror Descent Either Converges to Nash or to Strong Coarse Correlated Equilibria in Bimatrix Games
我们证明了，对于任何足够小的固定$ε> 0$，当两个局中人都是一般和两个局中人时，（双矩阵）游戏采用乐观镜像下降（OMD），具有平滑正则化，学习率$η= O(ε^2)$和$T = Ω(\text{poly}(1/ε))$重复，或者动态达到$ε$ -近似纳什均衡（NE），或者游戏的平均相关分布是$Ω(\text{poly}(ε))$ -强粗相关均衡（CCE）：任何可能的单方面偏离不仅使玩家更糟，而且将使其效用降低$Ω(\text{poly}(ε))$。作为一个直接的后果，当OMD的迭代是有界远离纳什均衡的双矩阵游戏，我们保证收敛到一个确切的CCE后，只有$O(1)$迭代。我们的研究结果表明，解耦的无遗憾学习算法可以收敛到CCE的一般和游戏显着快于NE，例如，零和游戏。为了建立这一点，我们表明，当OMD没有达到任意接近NE，（累积）遗憾的两个球员不仅是负面的，但随时间线性衰减。考虑到后悔是在线学习中性能的标准衡量标准，我们的研究结果表明，游戏中的无后悔学习算法的循环行为可以从效率方面得到证明。
2022-10-07 cs.GT
Near-Optimal Policy Optimization for Correlated Equilibrium in General-Sum Markov Games
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文针对一般和马尔可夫博弈中的相关均衡计算问题，提出一种结合平滑值更新与乐观跟随正则化领导者算法的无耦合策略优化方法，将收敛速率提升至近最优水平。
2024-05-01 cs.GT cs.LG math.OC
Learning in Multi-Player Stochastic Games
Columbia University（哥伦比亚大学）
本文研究了有限时间内多局中人随机博弈中的同时学习问题。虽然随机博弈的典型目标解是一个纳什均衡，但这对许多参与者来说是难以解决的。相反，我们专注于{ \it相关均衡}的变体，如那些广泛的形式的游戏研究。我们从对抗性MDP问题的一个困难结果开始：即使对于3的视野，获得对最佳非平稳策略的次线性遗憾也是\textsf{NP} -当奖励和过渡都是对抗性的时。这意味着，收敛到最弱的自然解概念-正规形式的粗相关equilibrium-是不可能的，通过黑盒减少到一个没有遗憾的算法，即使在随机游戏与恒定的地平线（除非$\textsf{NP}\subseteq\textsf{BPP}$）。相反，我们转向一个不同的目标：当所有参与者使用这些算法时，{ \it生成}一个均衡。我们的主要结果是算法产生的{ \it extensive-form}相关的平衡，其运行时间是指数的地平线，但多项式的所有其他参数。我们给出了一个类似的算法，这是多项式的所有参数的“快速混合”随机游戏。我们还展示了一种方法，有效地达到正常形式的粗相关平衡的“单控制器”随机游戏，遵循传统的无悔的方法。当共享的随机性是可用的，这两个生成算法可以扩展到同时遗憾界和收敛在传统意义上。
2022-10-25 cs.AI cs.GT cs.LG
Correlated Chance Sampling for Monte Carlo Counterfactual Regret Minimization
IIIS, Tsinghua University（清华大学交叉信息研究院）
该研究提出相关机会采样MCCFR（CCS-MCCFR），通过修改机会采样器实现局部频率误差更小的采样，在多种扑克游戏中显著降低可利用性，且无额外超参数与时间开销。
2026-07-30 cs.GT
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Team Belief DAG: Generalizing the Sequence Form to Team Games for Fast Computation of Correlated Team Max-Min Equilibria via Regret Minimization
提出团队信念DAG（TB-DAG）表示法，将团队策略描述为凸集，通过遗憾最小化技术指数级提升相关团队极大极小均衡的计算速度和规模。
2024-02-17 cs.GT
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
Learning not to Regret
Charles University（查理大学）；Czech Technical University（捷克技术大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）；EquiLibre Technologies
本文提出“学习不后悔”框架，通过元学习神经预测后悔匹配算法，在相似博弈分布上实现均衡求解的快速收敛，并在河牌扑克实验中取得超十倍改进。
2024-02-19 cs.GT cs.LG
A Horizon-Independent Regret Bound for Optimistic Hedge in General-Sum Games
本文证明常步长乐观 Hedge 在一般和博弈中达到常数个体遗憾，并导出粗相关均衡间隙，通过实解析递推消除时间范围依赖。
2026-09-22 cs.GT cs.LG
Policy Regret in Repeated Games
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在线学习中的\emph{policy regret}的概念是一个很好的定义？适应性对手的常见情况下的性能指标，更传统的数量，如外部遗憾不考虑。我们重新审视政策后悔的概念，并首先表明，有在线学习设置中，政策后悔和外部后悔是不相容的：任何序列的发挥，实现了有利的遗憾方面的一个定义必须做差的方面。然后，我们专注于博弈论的设置，对手是一个自私的代理。在这种情况下，我们表明，外部遗憾和政策遗憾是不冲突的，事实上，一个广泛的类的算法可以确保一个有利的遗憾就这两个定义，只要对手也使用这样的算法。我们还表明，发挥无政策遗憾算法的序列收敛到一个\emph{policy equilibrium}，一个新的概念，我们引进的均衡。将其与外部遗憾联系起来，我们证明了无外部遗憾参与者收敛到的粗糙相关均衡是政策均衡的严格子集。因此，在博弈论的背景下，没有外部后悔的每一个博弈序列也不承认政策后悔，但反之则不成立。
2020-03-22 cs.GT cs.LG stat.ML
Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏，我们表明，乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$，改善了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）之前的约束$O(1/T^{3/4})$ 2）相反，我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好，解决了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）中提出的一个悬而未决的问题。对于一般的多人博弈，我们证明了当他们将乐观对冲与Blum和Mansour（JMLR'07）的经典外部到内部还原相结合时，每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接，我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
No-Regret Learning and Equilibrium Computation in Quantum Games
本文研究量子智能体在去中心化系统中采用无悔算法的动态，证明其收敛于可分离量子纳什均衡，并提出可分离量子粗略相关均衡（QCCE）作为一般多人量子博弈的解决方案，且计算可化为半定规划，同时发现不可学习的纠缠QCCE。
2024-12-02 cs.GT quant-ph
Meta-Learning in Self-Play Regret Minimization
Charles University Prague（查尔斯大学布拉格）；University of Alberta（阿尔伯塔大学）
本文将离线元学习扩展到更具挑战性的自博弈遗憾最小化设置中，通过在策略选择时整合所有决策状态信息以促进全局通信，在正则形式博弈和河牌扑克子博弈中显著优于现有最先进的遗憾最小化算法。
2025-04-26 cs.GT cs.LG
Revenue Guarantees of No-Swap-Regret Dynamics in First Price Auctions
Department of Computer Science, Aarhus University（奥胡斯大学计算机系）
研究离散第一价格拍卖中近似相关均衡的收益，证明任何ε-近似相关均衡的收益至少为v2 - Θ(1/k) - Θ(εk^2)，首次给出无交换遗憾投标人产生的收益的多项式收敛速度。
2026-06-04 cs.GT
Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
MIT（麻省理工学院）
本文提出精确性作为统一原则，几何刻画了梯度下降、镜像下降和FTRL无遗憾的偏差类别，并引入保守相关均衡，揭示不同一阶方法控制不同偏差类。
2026-09-23 cs.GT cs.LG math.OC
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
No Weighted-Regret Learning in Adversarial Bandits with Delays
Stanford University（斯坦福大学）；New York University（纽约大学）
考虑一个场景，其中玩家在$T$轮中的每轮$t$中选择一个动作，并在延迟$d_{t}$轮之后观察所产生的成本。成本函数和延迟序列由对手选择。我们表明，在一个非合作的游戏，预期的加权遍历分布的发挥收敛到一组粗糙的相关均衡，如果玩家使用的算法，有“没有加权遗憾”在上述情况下，即使他们有线性遗憾，由于太大的延迟。对于两个玩家的零和游戏，我们表明，没有加权后悔是足够的加权遍历平均发挥收敛到纳什均衡集。我们证明，FKM算法与$n$维度达到预期的遗憾$O\left(nT^{\frac{3}{4}}+\sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}}\right)$和EXP3算法与$K$武器达到预期的遗憾$O\left(\sqrt{\log K\left(KT+D\right)}\right)$，即使当$D=\sum_{t=1}^{T}d_{t}$和$T$是未知的。这些界限使用了一种新的加倍技巧，在温和的假设下，可证明保留了$D$和$T$已知时的遗憾界限。利用这些界，我们证明了FKM和EXP3甚至对$d_{t}=O\left(t\log t\right)$也没有加权后悔。因此，没有加权遗憾的算法可以用来近似一个有限的或凸的未知的游戏，只能模拟与强盗反馈的CCE，即使模拟涉及显着的延迟。
2022-05-13 cs.GT cs.LG
Efficient Phi-Regret Minimization in Extensive-Form Games via Online Mirror Descent
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；MIT（麻省理工学院）
一个概念上有吸引力的方法来学习可拓形式游戏（EFG）是将它们转换为正常形式游戏（NFG）。这种方法使我们能够直接将NFG中最先进的技术和分析转化为学习EFG，但由于转换引入的游戏大小的指数爆炸，通常会遭受计算上的困难。在本文中，我们解决这个问题的自然和重要的设置为\emph{$Φ$-Hedge}算法-一个通用的算法，能够学习一大类NFG的平衡。我们表明，$Φ$ -对冲可以直接用于学习纳什均衡（零和设置），正常形式的粗相关均衡（NFCCE），和扩展形式的相关均衡（EFCE）的EFG。我们证明，在这些设置中，\emph{$Φ$-Hedge}算法是等效的标准在线镜像下降（OMD）算法EFG与适当的扩张正则化，并运行在多项式时间。这种新的连接进一步使我们能够设计和分析一类新的OMD算法的基础上修改其对数分区函数。特别是，我们设计了一个改进的算法与平衡技术，实现了一个尖锐的$\widetilde{\mathcal{O}}(\sqrt{XAT})$ EFCE下的带反馈的EFG $X$信息集，$A$的行动，和$T$情节后悔。据我们所知，这是第一个这样的速率，符合信息论的下限。
2022-10-27 cs.GT cs.LG stat.ML
On the Convergence of No-Regret Learning Dynamics in Time-Varying Games
Carnegie Mellon University（卡内基梅隆大学）；University of California Irvine（加州大学欧文分校）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文研究了动态多智能体环境下无悔学习算法的收敛性，刻画了时变博弈中乐观梯度下降（OGD）的收敛界限，并扩展至一般和多人博弈，为元学习和动态遗憾保证提供了新见解。
2023-10-18 cs.GT cs.LG
Efficient Learning and Computation of Linear Correlated Equilibrium in General Convex Games
本文针对一般凸博弈提出高效无悔学习动态和椭球法扩展，证明线性相关均衡是可在多项式时间内计算并可高效学习的最紧均衡概念。
2024-12-28 cs.GT
Barriers to Welfare Maximization with No-Regret Learning
Yale University（耶鲁大学）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文针对无遗憾学习达到逼近最优社会福利的粗相关均衡所需迭代次数，首次给出两人一般和博弈的计算下界，通过扩展经典归约并利用最大团不可近似性与植入团猜想，证明即使在集中式计算中也无法在多项式时间内获得非平凡稀疏性。
2024-11-04 cs.GT cs.LG
Learning Equilibria in Mean-Field Games: Introducing Mean-Field PSRO
多智能体学习的最新进展已经看到了一系列算法的引入，这些算法围绕基于人口的训练方法PSRO，表现出收敛到纳什均衡、相关均衡和粗相关均衡。值得注意的是，当代理数量增加时，学习最佳响应变得更加困难，因此阻碍了PSRO训练方法。平均场对策的范式提供了一个渐近解，当考虑的游戏是匿名对称的。不幸的是，平均场近似引入了非线性，这阻止了PSRO的直接适应。基于最优化和对抗性遗憾最小化理论，本文避开了这一问题，引入了平均场PSRO，它是PSRO的一种改进，可以学习平均场博弈中的纳什均衡、粗相关均衡和相关均衡。关键是用新定义的平均场无对抗后悔学习器或黑盒优化来代替精确的分布计算步骤。我们比较了该方法与标准PSRO算法的渐近复杂度，通过压缩时间混合权值，极大地提高了经验Bandit收敛速度，并保证了其对支付噪声的理论鲁棒性。最后，我们说明了平均场PSRO的速度和精度的几个平均场游戏，演示收敛到强和弱平衡。
2022-08-29 cs.GT cs.MA
No-regret learning and mixed Nash equilibria: They do not mix
Columbia University（哥伦比亚大学）；National Technical University of Athens（雅典国立技术大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Criteo AI Lab（Criteo人工智能实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
了解一般$N$ -玩家游戏中的无悔动力学行为是在线学习和博弈论的一个基本问题。该领域的一个民间结果表明，在有限游戏中，在无悔学习下的经验频率收敛于游戏的粗略相关均衡集。相比之下，我们对动态的日常行为如何与博弈的纳什均衡相关联的理解要有限得多，并且对于某些类别的博弈（例如零和博弈或拥塞博弈），只有部分结果是已知的。在本文中，我们研究的动态“跟随正规化的领导者”（FTRL），可以说是最好的研究类无悔动态，我们建立了一个全面的负面结果表明，混合纳什均衡的概念是对立的无悔学习。具体来说，我们表明，任何纳什均衡，这是不严格的（在每个球员有一个独特的最佳对策）不能是稳定的，吸引下的动态FTRL。这一结果对于预测学习过程的结果具有重要意义，因为它明确地表明，只有严格的（因此是纯的）纳什均衡才能成为其稳定的极限点。
2020-10-20 cs.GT cs.LG math.OC
A Proof that Coarse Correlated Equilibrium Implies Nash Equilibrium in Two-Player Zero-Sum Games
本文给出简洁证明，说明两人零和博弈中粗相关均衡的边缘策略即纳什均衡，并推广到ε-粗相关均衡蕴含2ε-纳什均衡，从而无外部遗憾算法可收敛至纳什均衡。
2023-10-15 cs.GT
No-Regret Learning in Games is Turing Complete
University of Colorado Boulder（科罗拉多大学博尔德分校）；Singapore University of Technology and Design（新加坡科技设计大学）
游戏是多智能体机器学习设置（例如生成对抗网络（GANs））的自然模型。这些游戏中算法交互的理想结果被编码为游戏理论均衡概念，例如纳什均衡和粗相关均衡。由于直接计算均衡通常是不切实际的，人们通常旨在设计迭代收敛到均衡的学习算法。越来越多的负面结果使人们对这一目标产生了怀疑，从不收敛到混乱甚至武断的行为。在本文中，我们在这个列表中添加了一个强否定结果：游戏中的学习是图灵完备的。具体来说，我们证明图灵完备性的复制动态矩阵游戏，最简单的可能设置之一。我们的结果暗示了博弈中学习算法的可达性问题的不确定性，其中一个特例是确定均衡收敛。
2022-02-24 cs.GT cs.LG math.DS
