No-regret learning and mixed Nash equilibria: They do not mix
Columbia University（哥伦比亚大学）；National Technical University of Athens（雅典国立技术大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Criteo AI Lab（Criteo人工智能实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
了解一般$N$ -玩家游戏中的无悔动力学行为是在线学习和博弈论的一个基本问题。该领域的一个民间结果表明，在有限游戏中，在无悔学习下的经验频率收敛于游戏的粗略相关均衡集。相比之下，我们对动态的日常行为如何与博弈的纳什均衡相关联的理解要有限得多，并且对于某些类别的博弈（例如零和博弈或拥塞博弈），只有部分结果是已知的。在本文中，我们研究的动态“跟随正规化的领导者”（FTRL），可以说是最好的研究类无悔动态，我们建立了一个全面的负面结果表明，混合纳什均衡的概念是对立的无悔学习。具体来说，我们表明，任何纳什均衡，这是不严格的（在每个球员有一个独特的最佳对策）不能是稳定的，吸引下的动态FTRL。这一结果对于预测学习过程的结果具有重要意义，因为它明确地表明，只有严格的（因此是纯的）纳什均衡才能成为其稳定的极限点。
2020-10-20 cs.GT cs.LG math.OC
Regret Minimization in Population Network Games: Vanishing Heterogeneity and Convergence to Equilibria
School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院）；Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）
本文用遗憾概率分布与连续性方程分析平滑遗憾匹配，证明大规模异质多智能体的遗憾方差会衰减并形成共识，从而在竞争与合作场景中收敛至量子响应均衡。
2025-07-23 cs.AI cs.GT cs.MA
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Swap Regret and Correlated Equilibria Beyond Normal-Form Games
University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出多面体博弈中的轮廓交换遗憾概念，证明其亚线性最小化是学习算法不可被对手操纵的充要条件，并给出高效算法保证$O(\sqrt{T})$遗憾，同时揭示其诱导的相关均衡与第三方调解可实现结果间的差距。
2025-02-27 cs.GT cs.LG
Polynomial-Time Linear-Swap Regret Minimization in Imperfect-Information Sequential Games
该研究针对序贯博弈中可高效实现的最强理性概念这一长期开放问题，证明可通过多项式时间迭代实现无线性交换遗憾，且该理性概念强于无触发遗憾，可高效逼近线性偏离相关均衡。
2023-11-07 cs.GT
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）；Strategic Machine, Inc.（Strategic Machine 公司）
最近，Daskalakis，Fishelson和Golowich（DFG）（NeurIPS '21）表明，如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新（OMWU），则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾，从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng（NeurIPS '20），这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度，并且在无遗憾框架内，它是最佳的-直到$T$中的多对数因子。为了获得这些结果，我们开发了新的技术，用于建立高阶光滑的学习动态涉及不动点运算。具体来说，我们建立了无内部后悔学习动力学的Stoltz和Lugosi（马赫学习'05）等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的（表现更好的）线性变换，使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外，我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour（BM）（JMLR '07）。我们这样做是通过引入一种技术的基础上的柯西积分公式，规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Faster No-Regret Learning Dynamics for Extensive-Form Correlated and Coarse Correlated Equilibria
最近出现的趋势，在游戏中学习的文献一直关注提供更快的学习动力学相关和粗糙的相关均衡正规形式的游戏。对于具有更大挑战性的扩展形式游戏，人们所知甚少，这种游戏可以捕捉连续和同时的动作，以及不完美的信息。在本文中，我们建立了快速的无遗憾学习动力学\textit{extensive-form correlated equilibria (EFCE)}在多人一般和信息扩展形式的游戏。当所有玩家都遵循我们的加速动态时，游戏的相关分布是$O(T^{-3/4})$近似EFCE，其中$O(\cdot)$符号在游戏描述中抑制参数多项式。这显著提高了$O(T^{-1/2})$的最佳先验率。为了实现这一点，我们开发了一个框架，通过预测执行加速\emph{Phi-regret minimization}。我们的关键技术贡献之一-使我们能够使用我们的通用模板-是通过结构化马尔可夫链的精细扰动分析来表征与\emph{trigger deviation functions}相关的不动点的稳定性。此外，对于更简单的解决方案的概念的扩展形式的\emph{coarse}相关平衡（EFCCE），我们给出了一个新的简洁的封闭形式的相关不动点的特征，绕过昂贵的计算所需的平稳分布的EFCE。我们的结果将EFCCE更接近\emph{normal-form coarse correlated equilibria}的每迭代的复杂性…
2022-02-11 cs.GT
Approximating Nash Equilibria in General-Sum Games via Meta-Learning
Charles University Prague（布拉格查尔斯大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Brown University（布朗大学）
针对一般和博弈中寻找纳什均衡的难题，提出基于元学习的遗憾最小化方法以降低策略相关性，促使算法逼近纳什均衡，实验证明其近似效果显著优于现有技术。
2025-04-26 cs.GT cs.LG
Phi-Actor-Critic: Steering General-Sum Games to Pareto-Efficient Correlated Equilibria
Politecnico di Milano（米兰理工大学）；Tilburg University（蒂尔堡大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南瑞士应用科学与艺术大学）
提出Φ-Actor-Critic框架，通过交换遗憾最小化引导多智能体学习向高社会福利的关联均衡收敛，并采用集中式注意力批评家高效估计反事实遗憾，结合拉格朗日均衡选择机制优化社会福利。
2026-06-11 cs.GT cs.LG cs.MA
Fast swap regret minimization and applications to approximate correlated equilibria
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出一种计算高效的交换遗憾最小化算法，在 polylog 轮内达到 εT 交换遗憾，并应用于加速收敛到 ε-相关均衡，解决多个开放问题，同时给出匹配下界。
2023-11-14 cs.AI cs.DS cs.GT
On the Complexity of Computing Sparse Equilibria and Lower Bounds for No-Regret Learning in Games
本文研究了正则形式与扩展形式博弈中无悔学习的复杂性，证明了扩展形式博弈存在超多项式下界，并首次为乘法权重更新等经典算法给出了依赖维度的非平凡下界。
2023-11-24 cs.GT
Last-Iterate Convergence of No-Regret Learning for Equilibria in Bargaining Games
University of Michigan（密歇根大学）
本文证明FTRL算法在最后通牒博弈及多轮讨价还价博弈中可实现最后迭代收敛到纳什均衡，并通过实验验证其广泛适用性。
2025-07-03 cs.GT cs.LG
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Mediator Interpretation and Faster Learning Algorithms for Linear Correlated Equilibria in General Extensive-Form Games
本文揭示了线性交换遗憾与非定时通信偏差的等价性，并据此开发了更快的无遗憾算法，用于在一般扩展式博弈中高效计算线性相关均衡，理论和实践性能均大幅提升。
2024-03-16 cs.GT
No-Regret Learning and Equilibrium Computation in Quantum Games
本文研究量子智能体在去中心化系统中采用无悔算法的动态，证明其收敛于可分离量子纳什均衡，并提出可分离量子粗略相关均衡（QCCE）作为一般多人量子博弈的解决方案，且计算可化为半定规划，同时发现不可学习的纠缠QCCE。
2024-12-02 cs.GT quant-ph
Team Belief DAG: Generalizing the Sequence Form to Team Games for Fast Computation of Correlated Team Max-Min Equilibria via Regret Minimization
提出团队信念DAG（TB-DAG）表示法，将团队策略描述为凸集，通过遗憾最小化技术指数级提升相关团队极大极小均衡的计算速度和规模。
2024-02-17 cs.GT
Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏，我们表明，乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$，改善了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）之前的约束$O(1/T^{3/4})$ 2）相反，我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好，解决了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）中提出的一个悬而未决的问题。对于一般的多人博弈，我们证明了当他们将乐观对冲与Blum和Mansour（JMLR'07）的经典外部到内部还原相结合时，每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接，我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
Optimistic Mirror Descent Either Converges to Nash or to Strong Coarse Correlated Equilibria in Bimatrix Games
我们证明了，对于任何足够小的固定$ε> 0$，当两个局中人都是一般和两个局中人时，（双矩阵）游戏采用乐观镜像下降（OMD），具有平滑正则化，学习率$η= O(ε^2)$和$T = Ω(\text{poly}(1/ε))$重复，或者动态达到$ε$ -近似纳什均衡（NE），或者游戏的平均相关分布是$Ω(\text{poly}(ε))$ -强粗相关均衡（CCE）：任何可能的单方面偏离不仅使玩家更糟，而且将使其效用降低$Ω(\text{poly}(ε))$。作为一个直接的后果，当OMD的迭代是有界远离纳什均衡的双矩阵游戏，我们保证收敛到一个确切的CCE后，只有$O(1)$迭代。我们的研究结果表明，解耦的无遗憾学习算法可以收敛到CCE的一般和游戏显着快于NE，例如，零和游戏。为了建立这一点，我们表明，当OMD没有达到任意接近NE，（累积）遗憾的两个球员不仅是负面的，但随时间线性衰减。考虑到后悔是在线学习中性能的标准衡量标准，我们的研究结果表明，游戏中的无后悔学习算法的循环行为可以从效率方面得到证明。
2022-10-07 cs.GT
Equilibria in Repeated Games under No-Regret with Dynamic Benchmarks
本文提出动态基准一致性概念，证明在重复博弈中，动态基准一致策略与无遗憾策略产生相同的均衡集，并揭示独立算法能促进强协调。
2025-01-22 cs.GT econ.TH
Equilibrium Finding in Normal-Form Games Via Greedy Regret Minimization
我们扩展了经典的遗憾最小化框架，在范式的游戏近似均衡greenweighting迭代的基础上，在运行时观察到的遗憾。理论上，我们的方法保留了所有以前的收敛速度保证。从经验上讲，在人工智能基准测试Diplomacy的大型随机生成游戏和范式子游戏上的实验表明，无论何时使用采样，贪婪权重都优于以前的方法，有时甚至是几个数量级。
2022-04-11 cs.GT
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
Massachusetts Institute of Technology（麻省理工学院）；Aerospace Control Laboratory（航空控制实验室）；Laboratory of Information and Decision Systems（信息与决策系统实验室）
研究非对称信息下对抗团队博弈，提出概率鲁棒极小极大遗憾均衡（PR-MRE），结合极小极大遗憾推理的无分布鲁棒性与概率信息，通过鲁棒双线性规划及新型元求解器 PRMRE-PSRO 实现策略学习，实验证明其在隐藏类型上性能更优，行为更稳健。
2026-11-09 cs.AI cs.GT cs.LG
Polylogarithmic Nash Regret in Matrix Games with Bandit Feedback
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出乐观支付平衡算法，在有限矩阵博弈中实现对数多项式的纳什遗憾，解决了非唯一均衡下的开放问题，证明观察对手动作足以达到该保证。
2026-09-29 cs.GT cs.LG
Learning Equilibria in Mean-Field Games: Introducing Mean-Field PSRO
多智能体学习的最新进展已经看到了一系列算法的引入，这些算法围绕基于人口的训练方法PSRO，表现出收敛到纳什均衡、相关均衡和粗相关均衡。值得注意的是，当代理数量增加时，学习最佳响应变得更加困难，因此阻碍了PSRO训练方法。平均场对策的范式提供了一个渐近解，当考虑的游戏是匿名对称的。不幸的是，平均场近似引入了非线性，这阻止了PSRO的直接适应。基于最优化和对抗性遗憾最小化理论，本文避开了这一问题，引入了平均场PSRO，它是PSRO的一种改进，可以学习平均场博弈中的纳什均衡、粗相关均衡和相关均衡。关键是用新定义的平均场无对抗后悔学习器或黑盒优化来代替精确的分布计算步骤。我们比较了该方法与标准PSRO算法的渐近复杂度，通过压缩时间混合权值，极大地提高了经验Bandit收敛速度，并保证了其对支付噪声的理论鲁棒性。最后，我们说明了平均场PSRO的速度和精度的几个平均场游戏，演示收敛到强和弱平衡。
2022-08-29 cs.GT cs.MA
Beyond Equilibria: Mechanisms for Repeated Combinatorial Auctions
我们研究了组合拍卖域中的机制设计。我们专注于重复拍卖的设置，其动机是拍卖许可证或广告空间。我们认为代理行为模型，他们要么采用常见的学习技术，以尽量减少他们的投标策略的遗憾，或采用短视的最佳对策。我们要求：什么时候可以将基本拍卖问题的黑盒近似算法转换为在多次迭代中平均保持原始算法的近似因子的机制？我们提出了一个广泛的一类算法时，代理最小化外部遗憾的一般减少。我们还提出了一个新的机制，达到平均$O(\sqrt{m})$近似的组合拍卖问题时，代理应用最佳响应动态。
2009-09-30 cs.GT
Efficient Phi-Regret Minimization in Extensive-Form Games via Online Mirror Descent
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；MIT（麻省理工学院）
一个概念上有吸引力的方法来学习可拓形式游戏（EFG）是将它们转换为正常形式游戏（NFG）。这种方法使我们能够直接将NFG中最先进的技术和分析转化为学习EFG，但由于转换引入的游戏大小的指数爆炸，通常会遭受计算上的困难。在本文中，我们解决这个问题的自然和重要的设置为\emph{$Φ$-Hedge}算法-一个通用的算法，能够学习一大类NFG的平衡。我们表明，$Φ$ -对冲可以直接用于学习纳什均衡（零和设置），正常形式的粗相关均衡（NFCCE），和扩展形式的相关均衡（EFCE）的EFG。我们证明，在这些设置中，\emph{$Φ$-Hedge}算法是等效的标准在线镜像下降（OMD）算法EFG与适当的扩张正则化，并运行在多项式时间。这种新的连接进一步使我们能够设计和分析一类新的OMD算法的基础上修改其对数分区函数。特别是，我们设计了一个改进的算法与平衡技术，实现了一个尖锐的$\widetilde{\mathcal{O}}(\sqrt{XAT})$ EFCE下的带反馈的EFG $X$信息集，$A$的行动，和$T$情节后悔。据我们所知，这是第一个这样的速率，符合信息论的下限。
2022-10-27 cs.GT cs.LG stat.ML
Policy Regret in Repeated Games
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在线学习中的\emph{policy regret}的概念是一个很好的定义？适应性对手的常见情况下的性能指标，更传统的数量，如外部遗憾不考虑。我们重新审视政策后悔的概念，并首先表明，有在线学习设置中，政策后悔和外部后悔是不相容的：任何序列的发挥，实现了有利的遗憾方面的一个定义必须做差的方面。然后，我们专注于博弈论的设置，对手是一个自私的代理。在这种情况下，我们表明，外部遗憾和政策遗憾是不冲突的，事实上，一个广泛的类的算法可以确保一个有利的遗憾就这两个定义，只要对手也使用这样的算法。我们还表明，发挥无政策遗憾算法的序列收敛到一个\emph{policy equilibrium}，一个新的概念，我们引进的均衡。将其与外部遗憾联系起来，我们证明了无外部遗憾参与者收敛到的粗糙相关均衡是政策均衡的严格子集。因此，在博弈论的背景下，没有外部后悔的每一个博弈序列也不承认政策后悔，但反之则不成立。
2020-03-22 cs.GT cs.LG stat.ML
Paradoxes of Game Theoretic Equilibria and Price of Anarchy
Google Deepmind（谷歌DeepMind）
研究博弈论均衡与无政府价格的悖论，指出将多智能体学习简化为静态均衡和黑箱后悔分析存在问题，通过分析内部纳什均衡、拥堵博弈等情况揭示相关不足，并研究非原子极限下的均衡变化，强调需重新评估基于动态的最坏情况均衡框架。
2026-07-14 cs.GT cs.LG cs.MA
$\widetilde{O}(T^{-1})$ Convergence to (Coarse) Correlated Equilibria in Full-Information General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对马尔可夫博弈中缺乏近优收敛速率的问题，本文证明OFTRL算法结合适当价值更新过程能在全信息一般和马尔可夫博弈中于T次迭代内找到 $\widetilde{O}(T^{-1})$-近似的（粗）相关均衡。
2024-04-23 cs.AI cs.GT cs.LG
Is Learning in Games Good for the Learners?
Google（谷歌）
本文提出允许非对称后悔约束的广义均衡，刻画重复博弈中奖励与后悔的权衡，并分析面对不同无后悔学习者时的最优收益及 Stackelberg 策略学习复杂度。
2023-12-16 cs.GT cs.LG
A Black-box Approach for Non-stationary Multi-agent Reinforcement Learning
本文针对非平稳多智能体系统提出一种黑盒方法，利用平稳环境下的学习和测试预言机，在已知或未知非平稳程度Δ时分别实现亚线性遗憾，并能测试纳什均衡、相关均衡和粗相关均衡等多种均衡类型。
2024-05-03 cs.AI cs.GT cs.LG
Generalized Mirror Descents in Congestion Games
Institute of Information Management, National Chiao Tung University（台湾交通大学信息管理研究所）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
不同类型的动力学已经在重复的游戏中进行了研究，其中之一最近受到了广泛关注，包括那些基于机器学习领域的“无遗憾”算法。众所周知，基于通用无遗憾算法的动态可能不会收敛到纳什均衡，而是收敛到更大的一组结果，即粗相关均衡。此外，基于通用无遗憾算法的收敛结果通常使用较弱的收敛概念：平均策略而不是实际策略的收敛。已经完成的一些工作表明，当使用一个特定的无遗憾算法，众所周知的乘法更新算法，收敛的实际播放到均衡，可以显示和更好的质量的结果方面的无政府状态无政府代价可以达到原子拥塞游戏和负载均衡游戏。是否有更多的自然无遗憾动力学的情况下，表现良好，在适当的游戏类的收敛和质量的结果，动态收敛？我们积极回答这个问题的公告牌模型表明，当采用镜像下降算法，一个著名的通用无遗憾算法，实际发挥迅速收敛到非原子拥塞游戏的均衡。此外，强盗模型考虑了一个可能更现实和普遍的设置，只有部分信息，其中在每个时间步每个球员只知道她自己的当前播放策略的成本，但没有任何未播放策略的成本。对于类原子拥塞游戏，我们提出了一个家庭的强盗算法的基础上的镜像下降算法先前提出的，并表明，当每个球员单独采用这样的强盗算法，他们的联合（混合）战略配置文件迅速收敛的影响。
2016-10-13 cs.GT cs.LG
On the Complexity of Correlated Equilibria Beyond Normal-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
本文研究了相关均衡在非正常形式游戏（如扩展形式游戏、拥堵或路由游戏等）中的复杂性问题，证明了在凹二次游戏中计算相关均衡的难度等同于计算收缩映射的固定点，并提出了在一般凹游戏中计算多维Φ-均衡的多项式时间近似方案。
2026-05-17 cs.GT
Ultracoarse Equilibria and Ordinal-Folding Dynamics in Operator-Algebraic Models of Infinite Multi-Agent Games
Bahcesehir University（巴塞希尔大学）；Turkish Aeronautical Association University（土耳其航空协会大学）
提出无限多智能体博弈的算子代数框架，证明非交换遗憾学习动力学收敛至唯一随机最优反应均衡，并用序数折叠指数刻画超限收敛时间。
2025-07-25 cs.AI cs.GT cs.MA
Semicoarse Correlated Equilibria and LP-Based Guarantees for Gradient Dynamics in Normal-Form Games
本文证明正规形式博弈中投影梯度上升满足更强的线性 $Φ$-遗憾，提出半粗相关均衡这一新解概念，并利用基于线性规划的对偶方法分析了伯特兰竞争和第一价格拍卖中梯度学习收敛到纳什均衡的条件。
2025-06-04 cs.GT
Survival of the strictest: Stable and unstable equilibria under regularized learning with partial information
National Technical University of Athens（雅典国立技术大学）；Columbia University（哥伦比亚大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
本文研究了一般N人对策中无悔学习的纳什均衡收敛性质。具体来说，我们专注于原型遵循正则化领导者（FTRL）家族的算法，我们认为全谱的不确定性，玩家可能会遇到的-从嘈杂的，基于预言的反馈，强盗，基于回报的信息。在这个一般的背景下，我们建立了纳什均衡的稳定性和它的支持之间的全面等价：一个纳什均衡是稳定的，并以任意高的概率吸引，当且仅当它是严格的（即，每个均衡策略具有唯一的最佳响应）。这种等价性将现有的进化博弈论民间定理的连续时间版本扩展到真正的算法学习环境，并且为预测游戏中无悔学习的日常行为提供了明确的细化标准
2021-02-04 cs.GT cs.LG cs.MA
A Continuation Method for Nash Equilibria in Structured Games
结构化博弈表示最近引起了人们的兴趣，作为多智能体人工智能场景的模型，理性行为最常见的特点是纳什均衡。本文提出了有效的，精确的算法计算纳什均衡结构化的游戏表示，包括图形游戏和多智能体影响图（MAID）。该算法是从正常形式和扩展形式的游戏由于Govindan和威尔逊的延续方法;他们遵循的轨迹通过扰动的游戏和他们的平衡空间，利用游戏结构，通过快速计算的雅可比矩阵的支付函数。理论上保证他们至少能找到一个博弈均衡，而且可能找到更多。我们的方法提供了第一个有效的算法计算精确的平衡，在图形游戏任意拓扑结构，第一个算法，利用细粒度的结构特性的MAID。实验结果证明了算法的有效性，并将其与前人进行了比较。图形游戏算法的运行时间与以前的近似算法的运行时间相似，并且往往更好。MAID算法可以有效地解决比以前的方法可解的游戏大得多的游戏。
2011-09-29 cs.GT
No-Regret Learning in Games is Turing Complete
University of Colorado Boulder（科罗拉多大学博尔德分校）；Singapore University of Technology and Design（新加坡科技设计大学）
游戏是多智能体机器学习设置（例如生成对抗网络（GANs））的自然模型。这些游戏中算法交互的理想结果被编码为游戏理论均衡概念，例如纳什均衡和粗相关均衡。由于直接计算均衡通常是不切实际的，人们通常旨在设计迭代收敛到均衡的学习算法。越来越多的负面结果使人们对这一目标产生了怀疑，从不收敛到混乱甚至武断的行为。在本文中，我们在这个列表中添加了一个强否定结果：游戏中的学习是图灵完备的。具体来说，我们证明图灵完备性的复制动态矩阵游戏，最简单的可能设置之一。我们的结果暗示了博弈中学习算法的可达性问题的不确定性，其中一个特例是确定均衡收敛。
2022-02-24 cs.GT cs.LG math.DS
Learning Nash Equilibria in Congestion Games
UC Berkeley（加州大学伯克利分校）；Ecole Polytechnique（巴黎综合理工学院）
我们研究了重复拥塞博弈，其中多个种群的玩家共享资源，并在每次迭代，一个分散的决定，利用资源。我们调查以下问题：给定一个模型，每个球员如何更新他们的策略，所产生的动态的战略配置文件收敛到纳什均衡的一杆游戏？我们特别考虑了一个模型，其中玩家使用具有次线性后悔折扣的算法更新他们的策略。我们表明，由此产生的序列的战略配置文件收敛到一组纳什均衡的意义上的Cesàro手段。然而，一般不能保证强收敛。我们证明了强收敛性可以保证一类算法的折扣后悔上界为零，并满足一个附加条件。我们称这样的算法AREP算法，近似复制器，因为它们可以被解释为一个离散时间近似的复制方程，模型的连续时间演化的人口战略，这是已知的收敛类的拥塞游戏。特别是，我们证明了折扣对冲算法属于AREP类，这保证了它的强收敛性。
2014-07-31 cs.GT cs.LG
Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
基于后悔最小化的自博弈方法已经成为计算大型二人零和扩展型博弈纳什均衡的最新方法。这些方法从根本上依赖于玩家的顺序策略空间的层次结构来构造一个后悔最小化器，递归地最小化游戏树中每个决策点的后悔。在本文中，我们介绍了第一个有效的后悔最小化算法计算的扩展形式的相关平衡在大型两人一般和游戏没有机会移动。设计这样的算法比设计对应的纳什均衡更具挑战性，因为定义相关计划空间的约束缺乏层次结构，甚至可能形成循环。我们表明，一些约束是冗余的，可以排除考虑，并提出了一个有效的算法，生成的空间的扩展形式的相关计划增量从剩余的约束。这种结构分解是通过一个特殊的保凸操作，我们硬币规模扩展。我们表明，一个遗憾的最小化可以设计为任何两个凸集的扩展，从分解，我们然后得到一个全球遗憾的最小化。我们的算法产生可行的迭代。实验表明，它显着优于以前的方法，对于较大的问题，它是唯一可行的选择。
2019-10-28 cs.AI cs.GT cs.LG
On the Interplay between Social Welfare and Tractability of Equilibria
本文建立平滑性保证的完全效率与无悔学习收敛性之间的联系，统一多类博弈的均衡计算，并证明无悔动态可获得更优福利界且收敛至粗相关均衡。
2025-01-09 cs.GT
A "Quantal Regret" Method for Structural Econometrics in Repeated Games
我们提出了一个通用的方法来推断球员的价值观，从他们的行动在重复的游戏。该方法扩展并改进了（Nekipelov等人，EC 2015），并基于这样的假设，即玩家更有可能表现出后悔程度较低的行动序列。我们在两个不同的数据集上评估这种“量子遗憾”方法，这些数据集来自具有受控玩家值的重复游戏的实验：（Selten和Chmura，AER 2008）在各种两个玩家2x2游戏上的实验和我们自己在广告拍卖上的实验（Noti等人，WWW 2014）。我们发现，量子后悔方法是一致的，显着更精确的比任何“经典”的计量经济学方法，是基于纳什均衡，或“最小后悔”的方法（Nekipelov等人，EC 2015）。
2017-02-16 cs.GT
The Query Complexity of Correlated Equilibria
我们考虑的复杂性，找到一个相关的均衡的$n$球员的游戏模型，允许算法在纯策略配置文件的球员的收益查询。已知基于后悔的随机化动态有效地产生近似相关均衡，即，在时间上是玩家数量的多项式$n$。在这里，我们表明，随机化和近似是必要的：没有有效的确定性算法可以达到甚至一个近似的相关平衡，没有有效的随机算法可以达到一个确切的相关平衡。结果是通过从所需的支付查询的数量以下的边界获得的。
2017-12-25 cs.DS cs.GT econ.TH
No Weighted-Regret Learning in Adversarial Bandits with Delays
Stanford University（斯坦福大学）；New York University（纽约大学）
考虑一个场景，其中玩家在$T$轮中的每轮$t$中选择一个动作，并在延迟$d_{t}$轮之后观察所产生的成本。成本函数和延迟序列由对手选择。我们表明，在一个非合作的游戏，预期的加权遍历分布的发挥收敛到一组粗糙的相关均衡，如果玩家使用的算法，有“没有加权遗憾”在上述情况下，即使他们有线性遗憾，由于太大的延迟。对于两个玩家的零和游戏，我们表明，没有加权后悔是足够的加权遍历平均发挥收敛到纳什均衡集。我们证明，FKM算法与$n$维度达到预期的遗憾$O\left(nT^{\frac{3}{4}}+\sqrt{n}T^{\frac{1}{3}}D^{\frac{1}{3}}\right)$和EXP3算法与$K$武器达到预期的遗憾$O\left(\sqrt{\log K\left(KT+D\right)}\right)$，即使当$D=\sum_{t=1}^{T}d_{t}$和$T$是未知的。这些界限使用了一种新的加倍技巧，在温和的假设下，可证明保留了$D$和$T$已知时的遗憾界限。利用这些界，我们证明了FKM和EXP3甚至对$d_{t}=O\left(t\log t\right)$也没有加权后悔。因此，没有加权遗憾的算法可以用来近似一个有限的或凸的未知的游戏，只能模拟与强盗反馈的CCE，即使模拟涉及显着的延迟。
2022-05-13 cs.GT cs.LG
No-Regret Learning in Bayesian Games
Northwestern University（西北大学）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）
最近的价格的无政府状态分析游戏的完全信息表明，粗糙的相关均衡，其特点是从无悔学习动态的结果，有接近最优的福利。这项工作提供了两个主要的技术成果，将这一结论提升到不完全信息的游戏，即，贝叶斯博弈首先，贝叶斯博弈中的近最优福利直接来自于当私有信息公开时，在同一博弈中的近最优福利的基于平滑性的证明。其次，在这些不完全信息博弈中，无悔学习动态收敛于贝叶斯粗相关均衡。这些结果是通过将贝叶斯博弈解释为完全信息的随机博弈来实现的。
2015-11-19 cs.GT cs.LG
Near-Optimal $Φ$-Regret Learning in Extensive-Form Games
Meta AI；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）
本文针对多人扩展式博弈提出高效非耦合学习动态，将触发遗憾从 $O(T^{1/4})$ 指数级改进至 $O(\log T)$，并以近最优速率收敛到相关均衡。
2023-09-19 cs.GT cs.LG
A Proof that Coarse Correlated Equilibrium Implies Nash Equilibrium in Two-Player Zero-Sum Games
本文给出简洁证明，说明两人零和博弈中粗相关均衡的边缘策略即纳什均衡，并推广到ε-粗相关均衡蕴含2ε-纳什均衡，从而无外部遗憾算法可收敛至纳什均衡。
2023-10-15 cs.GT
Computing Nash Equilibria in Multiplayer DAG-Structured Stochastic Games with Persistent Imperfect Information
Ganzfried Research（甘兹弗里德研究所）
许多重要的现实世界的设置包含多个玩家在一个未知的持续时间与概率状态转换的相互作用，自然建模为随机游戏。随机博弈算法的研究主要集中在两人零和博弈、完全信息博弈和局部信息不扩散博弈。我们提出了一个算法近似纳什均衡在多人一般和随机博弈与持续不完美的信息，延伸到整个游戏。我们在一个4人的海军战略规划场景中进行了实验。使用一个新的程序，我们能够证明，我们的算法计算的战略，密切接近纳什均衡在这个游戏中。
2021-02-18 cs.AI cs.CR cs.GT
Learning in Continuous Games from Pairwise Preference Feedback
Singapore University of Technology and Design（新加坡科技设计大学）
本文研究连续博弈中仅依赖成对偏好反馈的学习问题，提出序数遗憾基准与块归一化伪梯度动力学，实现次线性遗憾及纳什收敛，无需重建基数效用。
2026-10-06 cs.GT cs.LG math.OC
MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Mathematical Institute, University of Oxford（牛津大学数学系）；Citadel Securities（Citadel证券公司）
多智能体游戏的强化学习最近引起了很多关注。然而，鉴于解决大型人口博弈的纳什均衡的挑战，现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体，要么旨在解决（粗）相关均衡，要么需要访问模拟器，要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML（Mean-Field Occupation-Measure Learning），用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法，用于可证明地解决纳什均衡（直到平均场近似差距，随着参与者$N$的数量变为无穷大而消失），超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差，该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏，和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏，其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品，我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Learning Stationary Correlated Equilibria in Constrained General-Sum Stochastic Games
研究了具有未知马尔可夫动态的约束一般和随机对策。提出了一种分布式约束无遗憾Q-学习方案（CNRQ），以保证收敛到博弈的平稳相关均衡集。现有技术仅解决无约束的情况，用嵌套的控制回路来构造，并且没有收敛结果。CNRQ是一个单循环的三时标异步随机近似算法，具有集值更新增量。一个严格的收敛性分析与微分包含参数的随机逼近的情况下，异步递归包含集值平均场的理论最近的扩展。给出了CNRQ在异构无线网络（HetNets）中的分散式资源控制的示例性应用的数值结果。
2015-06-01 cs.GT cs.MA
First-order (coarse) correlated equilibria in non-concave games
本文研究光滑非凹博弈中的一阶粗糙相关均衡，证明了在线梯度上升的普适近似性质，并将原始-对偶无政府代价分析与广义Lyapunov函数估计问题相联系。
2025-11-04 cs.GT
Uncoupled Learning Rules for Seeking Equilibria in Repeated Plays: An Overview
在这篇文章中，我们考虑使用学习规则的有限博弈的重复博弈，其逐期行为概率或经验分布收敛于阶段博弈的某些均衡概念。我们的主要重点是解耦和完全解耦的学习规则。前者依赖于参与者只知道自己的收益函数，并能够监控其他人采取的行动，后者假设参与者只知道自己过去实现的收益。我们使用这些规则突出可能和不可能结果之间的边界。我们还概述了几个非耦合和完全非耦合的学习规则，其中大部分利用概念的遗憾作为解决方案的概念，以寻求回报，提高行动的配置文件。
2013-10-21 cs.GT
Track selection in Multifunction Radars: Nash and correlated equilibria
从博弈论的角度研究了多功能雷达网中多目标跟踪的航迹选择问题。该问题被表述为一个非合作博弈。雷达被认为是在这个游戏中的球员与公用事业建模使用一个适当的跟踪精度标准和他们的策略是观察到的目标，其数量是已知的。首先，对于协调问题，纳什均衡的特点，为了找到平衡点，提出了一种分布式算法的基础上的最佳响应动态。然后，将分析扩展到目标部分可观测性、雷达连通性和雷达间利益异质的情况。利用相关均衡解的概念，提出了一种基于遗憾匹配的分布式算法。所提出的算法表现良好相比，集中式的方法显着更高的复杂性。
2017-04-14 cs.GT
Convergence of Regret Matching in Potential Games and Constrained Optimization
Carnegie Mellon University（卡内基梅隆大学）；Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室）；University of California, Irvine（加利福尼亚大学欧文分校）；Massachusetts Institute of Technology（麻省理工学院）；University of Oxford（牛津大学）；Strategy Robot, Inc.（Strategy Robot 公司）；Strategic Machine, Inc.（Strategic Machine 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
本文研究遗憾匹配（RM）及其变体的收敛性，证明RM+在约束优化中收敛到ε-KKT点且复杂度为O_ε(1/ε^4)，而RM在两人势博弈中收敛到纳什均衡需指数级迭代，首次确立RM与RM+的最坏情况分离。
2025-11-17 cs.GT cs.LG math.OC
