Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
Mediator Interpretation and Faster Learning Algorithms for Linear Correlated Equilibria in General Extensive-Form Games
本文揭示了线性交换遗憾与非定时通信偏差的等价性，并据此开发了更快的无遗憾算法，用于在一般扩展式博弈中高效计算线性相关均衡，理论和实践性能均大幅提升。
2024-03-16 cs.GT
Minimal Regret Walras Equilibria for Combinatorial Markets
Trier University（特里尔大学）；University of Passau（帕绍大学）
本文提出Δ-遗憾瓦尔拉斯均衡的概念，通过参数化社会福利问题和敏感性理论，建立了低遗憾均衡的算法和下界推导方法。
2026-02-10 cs.GT math.OC
Team Belief DAG: Generalizing the Sequence Form to Team Games for Fast Computation of Correlated Team Max-Min Equilibria via Regret Minimization
提出团队信念DAG（TB-DAG）表示法，将团队策略描述为凸集，通过遗憾最小化技术指数级提升相关团队极大极小均衡的计算速度和规模。
2024-02-17 cs.GT
Optimistic Mirror Descent Either Converges to Nash or to Strong Coarse Correlated Equilibria in Bimatrix Games
我们证明了，对于任何足够小的固定$ε> 0$，当两个局中人都是一般和两个局中人时，（双矩阵）游戏采用乐观镜像下降（OMD），具有平滑正则化，学习率$η= O(ε^2)$和$T = Ω(\text{poly}(1/ε))$重复，或者动态达到$ε$ -近似纳什均衡（NE），或者游戏的平均相关分布是$Ω(\text{poly}(ε))$ -强粗相关均衡（CCE）：任何可能的单方面偏离不仅使玩家更糟，而且将使其效用降低$Ω(\text{poly}(ε))$。作为一个直接的后果，当OMD的迭代是有界远离纳什均衡的双矩阵游戏，我们保证收敛到一个确切的CCE后，只有$O(1)$迭代。我们的研究结果表明，解耦的无遗憾学习算法可以收敛到CCE的一般和游戏显着快于NE，例如，零和游戏。为了建立这一点，我们表明，当OMD没有达到任意接近NE，（累积）遗憾的两个球员不仅是负面的，但随时间线性衰减。考虑到后悔是在线学习中性能的标准衡量标准，我们的研究结果表明，游戏中的无后悔学习算法的循环行为可以从效率方面得到证明。
2022-10-07 cs.GT
No-regret learning and mixed Nash equilibria: They do not mix
Columbia University（哥伦比亚大学）；National Technical University of Athens（雅典国立技术大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Criteo AI Lab（Criteo人工智能实验室）；Singapore University of Technology and Design（新加坡科技设计大学）
了解一般$N$ -玩家游戏中的无悔动力学行为是在线学习和博弈论的一个基本问题。该领域的一个民间结果表明，在有限游戏中，在无悔学习下的经验频率收敛于游戏的粗略相关均衡集。相比之下，我们对动态的日常行为如何与博弈的纳什均衡相关联的理解要有限得多，并且对于某些类别的博弈（例如零和博弈或拥塞博弈），只有部分结果是已知的。在本文中，我们研究的动态“跟随正规化的领导者”（FTRL），可以说是最好的研究类无悔动态，我们建立了一个全面的负面结果表明，混合纳什均衡的概念是对立的无悔学习。具体来说，我们表明，任何纳什均衡，这是不严格的（在每个球员有一个独特的最佳对策）不能是稳定的，吸引下的动态FTRL。这一结果对于预测学习过程的结果具有重要意义，因为它明确地表明，只有严格的（因此是纯的）纳什均衡才能成为其稳定的极限点。
2020-10-20 cs.GT cs.LG math.OC
Swap Regret and Correlated Equilibria Beyond Normal-Form Games
University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出多面体博弈中的轮廓交换遗憾概念，证明其亚线性最小化是学习算法不可被对手操纵的充要条件，并给出高效算法保证$O(\sqrt{T})$遗憾，同时揭示其诱导的相关均衡与第三方调解可实现结果间的差距。
2025-02-27 cs.GT cs.LG
Equilibrium Finding in Normal-Form Games Via Greedy Regret Minimization
我们扩展了经典的遗憾最小化框架，在范式的游戏近似均衡greenweighting迭代的基础上，在运行时观察到的遗憾。理论上，我们的方法保留了所有以前的收敛速度保证。从经验上讲，在人工智能基准测试Diplomacy的大型随机生成游戏和范式子游戏上的实验表明，无论何时使用采样，贪婪权重都优于以前的方法，有时甚至是几个数量级。
2022-04-11 cs.GT
Local Nash Equilibria are Isolated, Strict Local Nash Equilibria in `Almost All' Zero-Sum Continuous Games
我们证明了微分纳什均衡是通用的连续零和博弈中的局部纳什均衡。也就是说，存在零和博弈的开稠密子集，其局部纳什均衡是非退化微分纳什均衡。结果扩展以前的结果的零和设置，在那里我们得到更强的结果，特别是，我们表明，当地的纳什均衡一般双曲临界点。我们进一步证明了零和博弈的微分纳什均衡是结构稳定的。介绍这些扩展的目的是最近重新关注机器学习和优化中的零和游戏。对抗学习和生成对抗网络方法被吹捧为比替代方案更强大。零和博弈是这些方法的核心。许多工作都是在临界点的双曲性假设下进行的。我们的研究结果证明了这一假设，显示'几乎所有'零和游戏承认当地的纳什均衡是双曲线。
2020-02-03 cs.GT
Beyond Equilibria: Mechanisms for Repeated Combinatorial Auctions
我们研究了组合拍卖域中的机制设计。我们专注于重复拍卖的设置，其动机是拍卖许可证或广告空间。我们认为代理行为模型，他们要么采用常见的学习技术，以尽量减少他们的投标策略的遗憾，或采用短视的最佳对策。我们要求：什么时候可以将基本拍卖问题的黑盒近似算法转换为在多次迭代中平均保持原始算法的近似因子的机制？我们提出了一个广泛的一类算法时，代理最小化外部遗憾的一般减少。我们还提出了一个新的机制，达到平均$O(\sqrt{m})$近似的组合拍卖问题时，代理应用最佳响应动态。
2009-09-30 cs.GT
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）；Strategic Machine, Inc.（Strategic Machine 公司）
最近，Daskalakis，Fishelson和Golowich（DFG）（NeurIPS '21）表明，如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新（OMWU），则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾，从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng（NeurIPS '20），这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度，并且在无遗憾框架内，它是最佳的-直到$T$中的多对数因子。为了获得这些结果，我们开发了新的技术，用于建立高阶光滑的学习动态涉及不动点运算。具体来说，我们建立了无内部后悔学习动力学的Stoltz和Lugosi（马赫学习'05）等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的（表现更好的）线性变换，使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外，我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour（BM）（JMLR '07）。我们这样做是通过引入一种技术的基础上的柯西积分公式，规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Regret Minimization and Convergence to Equilibria in General-sum Markov Games
针对对抗场景下马尔可夫博弈遗憾最小化难以实现的问题，提出首个所有智能体执行时可提供次线性交换遗憾保证、且收敛到相关均衡的去中心化高效无通信学习算法，其核心是将策略优化在线学习归约为加权遗憾最小化，通过控制路径长度实现目标。
2025-06-16 cs.AI cs.GT cs.LG
Approximating Nash Equilibria in General-Sum Games via Meta-Learning
Charles University Prague（布拉格查尔斯大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Brown University（布朗大学）
针对一般和博弈中寻找纳什均衡的难题，提出基于元学习的遗憾最小化方法以降低策略相关性，促使算法逼近纳什均衡，实验证明其近似效果显著优于现有技术。
2025-04-26 cs.GT cs.LG
On the Complexity of Correlated Equilibria Beyond Normal-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
本文研究了相关均衡在非正常形式游戏（如扩展形式游戏、拥堵或路由游戏等）中的复杂性问题，证明了在凹二次游戏中计算相关均衡的难度等同于计算收缩映射的固定点，并提出了在一般凹游戏中计算多维Φ-均衡的多项式时间近似方案。
2026-05-17 cs.GT
Regret Minimization in Population Network Games: Vanishing Heterogeneity and Convergence to Equilibria
School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院）；Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）
本文用遗憾概率分布与连续性方程分析平滑遗憾匹配，证明大规模异质多智能体的遗憾方差会衰减并形成共识，从而在竞争与合作场景中收敛至量子响应均衡。
2025-07-23 cs.AI cs.GT cs.MA
Last-Iterate Convergence of No-Regret Learning for Equilibria in Bargaining Games
University of Michigan（密歇根大学）
本文证明FTRL算法在最后通牒博弈及多轮讨价还价博弈中可实现最后迭代收敛到纳什均衡，并通过实验验证其广泛适用性。
2025-07-03 cs.GT cs.LG
Semicoarse Correlated Equilibria and LP-Based Guarantees for Gradient Dynamics in Normal-Form Games
本文证明正规形式博弈中投影梯度上升满足更强的线性 $Φ$-遗憾，提出半粗相关均衡这一新解概念，并利用基于线性规划的对偶方法分析了伯特兰竞争和第一价格拍卖中梯度学习收敛到纳什均衡的条件。
2025-06-04 cs.GT
No-Regret Learning and Equilibrium Computation in Quantum Games
本文研究量子智能体在去中心化系统中采用无悔算法的动态，证明其收敛于可分离量子纳什均衡，并提出可分离量子粗略相关均衡（QCCE）作为一般多人量子博弈的解决方案，且计算可化为半定规划，同时发现不可学习的纠缠QCCE。
2024-12-02 cs.GT quant-ph
On the Interplay between Social Welfare and Tractability of Equilibria
本文建立平滑性保证的完全效率与无悔学习收敛性之间的联系，统一多类博弈的均衡计算，并证明无悔动态可获得更优福利界且收敛至粗相关均衡。
2025-01-09 cs.GT
A "Quantal Regret" Method for Structural Econometrics in Repeated Games
我们提出了一个通用的方法来推断球员的价值观，从他们的行动在重复的游戏。该方法扩展并改进了（Nekipelov等人，EC 2015），并基于这样的假设，即玩家更有可能表现出后悔程度较低的行动序列。我们在两个不同的数据集上评估这种“量子遗憾”方法，这些数据集来自具有受控玩家值的重复游戏的实验：（Selten和Chmura，AER 2008）在各种两个玩家2x2游戏上的实验和我们自己在广告拍卖上的实验（Noti等人，WWW 2014）。我们发现，量子后悔方法是一致的，显着更精确的比任何“经典”的计量经济学方法，是基于纳什均衡，或“最小后悔”的方法（Nekipelov等人，EC 2015）。
2017-02-16 cs.GT
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Sampling Equilibria: Fast No-Regret Learning in Structured Games
游戏中的学习和均衡计算是计算机科学和经济学的基本问题，其应用范围从政治到机器学习。这一领域的大部分工作都围绕着一个名为\emph{randomized weighted majority}（RWM）的简单算法，也称为“对冲”或“乘法权重更新”，众所周知，它可以在对抗环境中实现统计上的最佳速率（Littlestone和Warren '94，Freund和Schapire '99）。不幸的是，RWM有一个固有的计算障碍：它需要在所有可能的动作上维护和采样分布。在典型的感兴趣的设置中，动作空间是指数级的大，似乎使RWM在实践中无用。在这项工作中，我们反驳了这一概念的各种\emph{structured}游戏，显示它是可能的有效地（近似）采样的动作空间在RWM中的\emph{polylogarithmic}时间。这给出了用于诸如\emph{(discrete) Colonel Blotto game}、\emph{matroid congestion}、\emph{matroid security}和基本\emph{dueling games}等问题的第一个有效的无遗憾算法。作为一个直接的推论，我们给出了一个多对数时间元算法来计算近似纳什均衡这些游戏是指数速度比以前的方法在几个重要的设置。此外，我们的算法是第一个有效地计算均衡，这些游戏的一般总和，两个以上的球员，并为上校布洛托，多种资源类…
2022-07-15 cs.DM cs.DS cs.GT
Equilibria in Repeated Games under No-Regret with Dynamic Benchmarks
本文提出动态基准一致性概念，证明在重复博弈中，动态基准一致策略与无遗憾策略产生相同的均衡集，并揭示独立算法能促进强协调。
2025-01-22 cs.GT econ.TH
Equilibria in Auctions With Ad Types
本文研究了半可分位置拍卖（称为广告类型设置）的均衡质量与贪婪或最优分配结合广义第二价格（GSP）或Vickrey-Clarke-Groves（VCG）定价。我们做出三个贡献：首先给出了在贪婪分配和GSP定价、贪婪分配和VCG定价以及最优分配和GSP定价下的无政府状态下的无政府代价（PoA）的上界和下界。其次，我们给出了贝叶斯-纳什均衡特征的两个球员，两个插槽的情况下（所有的拍卖格式），并表明，存在一个收入层次结构和收入等价在某些格式。最后，我们使用无遗憾学习算法和来自大型在线广告平台的竞价数据和无遗憾学习算法来评估半现实条件下的机制的性能。对于福利，我们发现，最佳实现的福利比（经验PoA模拟）是广泛优于我们的上限PoA;收入，我们发现，在实践中的层次结构有时可能同意简单的理论，但一般出现敏感的潜在分布的投标人估值。
2021-03-10 cs.GT
A Proof that Coarse Correlated Equilibrium Implies Nash Equilibrium in Two-Player Zero-Sum Games
本文给出简洁证明，说明两人零和博弈中粗相关均衡的边缘策略即纳什均衡，并推广到ε-粗相关均衡蕴含2ε-纳什均衡，从而无外部遗憾算法可收敛至纳什均衡。
2023-10-15 cs.GT
Polylogarithmic Nash Regret in Matrix Games with Bandit Feedback
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出乐观支付平衡算法，在有限矩阵博弈中实现对数多项式的纳什遗憾，解决了非唯一均衡下的开放问题，证明观察对手动作足以达到该保证。
2026-09-29 cs.GT cs.LG
First-order (coarse) correlated equilibria in non-concave games
本文研究光滑非凹博弈中的一阶粗糙相关均衡，证明了在线梯度上升的普适近似性质，并将原始-对偶无政府代价分析与广义Lyapunov函数估计问题相联系。
2025-11-04 cs.GT
Uncoupled Learning Rules for Seeking Equilibria in Repeated Plays: An Overview
在这篇文章中，我们考虑使用学习规则的有限博弈的重复博弈，其逐期行为概率或经验分布收敛于阶段博弈的某些均衡概念。我们的主要重点是解耦和完全解耦的学习规则。前者依赖于参与者只知道自己的收益函数，并能够监控其他人采取的行动，后者假设参与者只知道自己过去实现的收益。我们使用这些规则突出可能和不可能结果之间的边界。我们还概述了几个非耦合和完全非耦合的学习规则，其中大部分利用概念的遗憾作为解决方案的概念，以寻求回报，提高行动的配置文件。
2013-10-21 cs.GT
Phi-Actor-Critic: Steering General-Sum Games to Pareto-Efficient Correlated Equilibria
Politecnico di Milano（米兰理工大学）；Tilburg University（蒂尔堡大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南瑞士应用科学与艺术大学）
提出Φ-Actor-Critic框架，通过交换遗憾最小化引导多智能体学习向高社会福利的关联均衡收敛，并采用集中式注意力批评家高效估计反事实遗憾，结合拉格朗日均衡选择机制优化社会福利。
2026-06-11 cs.GT cs.LG cs.MA
Track selection in Multifunction Radars: Nash and correlated equilibria
从博弈论的角度研究了多功能雷达网中多目标跟踪的航迹选择问题。该问题被表述为一个非合作博弈。雷达被认为是在这个游戏中的球员与公用事业建模使用一个适当的跟踪精度标准和他们的策略是观察到的目标，其数量是已知的。首先，对于协调问题，纳什均衡的特点，为了找到平衡点，提出了一种分布式算法的基础上的最佳响应动态。然后，将分析扩展到目标部分可观测性、雷达连通性和雷达间利益异质的情况。利用相关均衡解的概念，提出了一种基于遗憾匹配的分布式算法。所提出的算法表现良好相比，集中式的方法显着更高的复杂性。
2017-04-14 cs.GT
Is Learning in Games Good for the Learners?
Google（谷歌）
本文提出允许非对称后悔约束的广义均衡，刻画重复博弈中奖励与后悔的权衡，并分析面对不同无后悔学习者时的最优收益及 Stackelberg 策略学习复杂度。
2023-12-16 cs.GT cs.LG
Distance-based Equilibria in Normal-Form Games
我们提出了一个简单的不确定性修改的代理模型在范式的游戏，在任何给定的策略配置文件，代理只能访问一组“可能的配置文件”，在一定的距离内，从实际的行动配置文件。我们研究了代理使用众所周知的理由选择策略的各种实例，例如，考虑最坏的情况，或尽量减少遗憾，以应付这种不确定性。行为模型中的任何此类修改都会自然地引发相应的均衡概念;基于距离的均衡。我们描述了各种平衡之间的关系，以及它们与已知的现有解决方案概念（如颤抖的手完美）的联系。此外，我们提供存在性结果，并表明，对于某些类的游戏，这样的解决方案的概念，实际上可以导致更好的结果。
2020-02-08 cs.GT
Generalized Mirror Descents in Congestion Games
Institute of Information Management, National Chiao Tung University（台湾交通大学信息管理研究所）；Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
不同类型的动力学已经在重复的游戏中进行了研究，其中之一最近受到了广泛关注，包括那些基于机器学习领域的“无遗憾”算法。众所周知，基于通用无遗憾算法的动态可能不会收敛到纳什均衡，而是收敛到更大的一组结果，即粗相关均衡。此外，基于通用无遗憾算法的收敛结果通常使用较弱的收敛概念：平均策略而不是实际策略的收敛。已经完成的一些工作表明，当使用一个特定的无遗憾算法，众所周知的乘法更新算法，收敛的实际播放到均衡，可以显示和更好的质量的结果方面的无政府状态无政府代价可以达到原子拥塞游戏和负载均衡游戏。是否有更多的自然无遗憾动力学的情况下，表现良好，在适当的游戏类的收敛和质量的结果，动态收敛？我们积极回答这个问题的公告牌模型表明，当采用镜像下降算法，一个著名的通用无遗憾算法，实际发挥迅速收敛到非原子拥塞游戏的均衡。此外，强盗模型考虑了一个可能更现实和普遍的设置，只有部分信息，其中在每个时间步每个球员只知道她自己的当前播放策略的成本，但没有任何未播放策略的成本。对于类原子拥塞游戏，我们提出了一个家庭的强盗算法的基础上的镜像下降算法先前提出的，并表明，当每个球员单独采用这样的强盗算法，他们的联合（混合）战略配置文件迅速收敛的影响。
2016-10-13 cs.GT cs.LG
Efficient Learning and Computation of Linear Correlated Equilibrium in General Convex Games
本文针对一般凸博弈提出高效无悔学习动态和椭球法扩展，证明线性相关均衡是可在多项式时间内计算并可高效学习的最紧均衡概念。
2024-12-28 cs.GT
Efficient Phi-Regret Minimization in Extensive-Form Games via Online Mirror Descent
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Peking University（北京大学）；MIT（麻省理工学院）
一个概念上有吸引力的方法来学习可拓形式游戏（EFG）是将它们转换为正常形式游戏（NFG）。这种方法使我们能够直接将NFG中最先进的技术和分析转化为学习EFG，但由于转换引入的游戏大小的指数爆炸，通常会遭受计算上的困难。在本文中，我们解决这个问题的自然和重要的设置为\emph{$Φ$-Hedge}算法-一个通用的算法，能够学习一大类NFG的平衡。我们表明，$Φ$ -对冲可以直接用于学习纳什均衡（零和设置），正常形式的粗相关均衡（NFCCE），和扩展形式的相关均衡（EFCE）的EFG。我们证明，在这些设置中，\emph{$Φ$-Hedge}算法是等效的标准在线镜像下降（OMD）算法EFG与适当的扩张正则化，并运行在多项式时间。这种新的连接进一步使我们能够设计和分析一类新的OMD算法的基础上修改其对数分区函数。特别是，我们设计了一个改进的算法与平衡技术，实现了一个尖锐的$\widetilde{\mathcal{O}}(\sqrt{XAT})$ EFCE下的带反馈的EFG $X$信息集，$A$的行动，和$T$情节后悔。据我们所知，这是第一个这样的速率，符合信息论的下限。
2022-10-27 cs.GT cs.LG stat.ML
Semi Bandit Dynamics in Congestion Games: Convergence to Nash Equilibrium and No-Regret Guarantees
本文提出一种在线梯度下降新变体，在半老虎机反馈下使拥塞游戏收敛至纳什均衡并取得次线性遗憾，收敛速率仅多项式依赖于玩家和设施数量，解决了Du等人2022年的开放问题。
2023-06-27 cs.GT
Policy Regret in Repeated Games
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在线学习中的\emph{policy regret}的概念是一个很好的定义？适应性对手的常见情况下的性能指标，更传统的数量，如外部遗憾不考虑。我们重新审视政策后悔的概念，并首先表明，有在线学习设置中，政策后悔和外部后悔是不相容的：任何序列的发挥，实现了有利的遗憾方面的一个定义必须做差的方面。然后，我们专注于博弈论的设置，对手是一个自私的代理。在这种情况下，我们表明，外部遗憾和政策遗憾是不冲突的，事实上，一个广泛的类的算法可以确保一个有利的遗憾就这两个定义，只要对手也使用这样的算法。我们还表明，发挥无政策遗憾算法的序列收敛到一个\emph{policy equilibrium}，一个新的概念，我们引进的均衡。将其与外部遗憾联系起来，我们证明了无外部遗憾参与者收敛到的粗糙相关均衡是政策均衡的严格子集。因此，在博弈论的背景下，没有外部后悔的每一个博弈序列也不承认政策后悔，但反之则不成立。
2020-03-22 cs.GT cs.LG stat.ML
Hedging in games: Faster convergence of external and swap regrets
我们考虑玩家运行对冲算法或其乐观变体以重复玩$n$动作游戏$T$回合的设置。1)对于两人游戏，我们表明，乐观对冲的遗憾衰减在$\tilde{O}( 1/T ^{5/6} )$，改善了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）之前的约束$O(1/T^{3/4})$ 2）相反，我们表明香草对冲的收敛速度并不比$\tildeΩ(1/ \sqrt{T})$更好，解决了Syrgkanis，Agarwal，Luo和Schapire（NIPS'15）中提出的一个悬而未决的问题。对于一般的多人博弈，我们证明了当他们将乐观对冲与Blum和Mansour（JMLR'07）的经典外部到内部还原相结合时，每个玩家的交换遗憾以$\tilde{O}(m^{1/2} (n/T)^{3/4})$的速率衰减。该算法还可以被修改以实现针对自身的相同速率和针对对手的$\tilde{O}(\sqrt{n/T})$速率。通过标准连接，我们的上界也意味着更快的收敛到两人游戏中的粗相关均衡和多人游戏中的相关均衡。
2020-10-19 cs.DS cs.GT
Optimally Installing Strict Equilibria
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种奖励设计框架，通过数学刻画和线性规划优化的迭代算法，将期望行为作为严格均衡安装于多种标准解概念及马尔可夫完美等价物下，并推广至有限理性智能体。
2025-03-05 cs.GT cs.LG
$\widetilde{O}(T^{-1})$ Convergence to (Coarse) Correlated Equilibria in Full-Information General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对马尔可夫博弈中缺乏近优收敛速率的问题，本文证明OFTRL算法结合适当价值更新过程能在全信息一般和马尔可夫博弈中于T次迭代内找到 $\widetilde{O}(T^{-1})$-近似的（粗）相关均衡。
2024-04-23 cs.AI cs.GT cs.LG
Axiomatic Approach to Solutions of Games
我们考虑在策略等价下不变的范式对策的解。我们考虑额外的属性，可以预期（或期望）从一个游戏的解决方案，我们观察到以下几点：-即使是最弱的个人理性的概念限制的解决方案是均衡。这一观察结果适用于所有类型的解决方案：在纯策略，混合策略和相关策略中，相应的均衡概念是纯纳什，纳什和粗相关。一个行动剖面是（严格）同时最大化者，如果它同时全局（严格）最大化所有参与者的收益。- 如果我们要求一个同时最大化者（如果存在）是一个解，那么这个解包含纯纳什均衡集。- 不存在严格同时最大化者（如果存在的话）是唯一解的解。
2014-02-20 cs.GT
Learning Nash Equilibria in Congestion Games
UC Berkeley（加州大学伯克利分校）；Ecole Polytechnique（巴黎综合理工学院）
我们研究了重复拥塞博弈，其中多个种群的玩家共享资源，并在每次迭代，一个分散的决定，利用资源。我们调查以下问题：给定一个模型，每个球员如何更新他们的策略，所产生的动态的战略配置文件收敛到纳什均衡的一杆游戏？我们特别考虑了一个模型，其中玩家使用具有次线性后悔折扣的算法更新他们的策略。我们表明，由此产生的序列的战略配置文件收敛到一组纳什均衡的意义上的Cesàro手段。然而，一般不能保证强收敛。我们证明了强收敛性可以保证一类算法的折扣后悔上界为零，并满足一个附加条件。我们称这样的算法AREP算法，近似复制器，因为它们可以被解释为一个离散时间近似的复制方程，模型的连续时间演化的人口战略，这是已知的收敛类的拥塞游戏。特别是，我们证明了折扣对冲算法属于AREP类，这保证了它的强收敛性。
2014-07-31 cs.GT cs.LG
Bounding Inefficiency of Equilibria in Continuous Actions Games using Submodularity and Curvature
具有连续策略集的游戏出现在几个机器学习问题中（例如对抗学习）。对于这样的游戏，简单的无遗憾学习算法存在于几种情况下，并确保收敛到粗相关均衡（CCE）。然而，这种均衡在社会功能方面的效率还没有得到很好的理解。在本文中，我们定义了一类有效的效用博弈与连续的战略，并提供其CCE的效率界。我们的界限依赖于社会功能是一个单调的DR-次模函数。我们进一步完善我们的边界的基础上的曲率的社会功能。此外，我们将我们的效率界扩展到一类满足近似次模性质的非次模函数。最后，我们证明了有效的效用游戏与连续的策略可以设计成最大化单调DR-子模函数不相交的约束与近似保证。我们得到的近似保证是基于这种游戏的均衡的效率，可以改善现有的文献中。我们说明和验证我们的预算分配游戏和传感器覆盖问题的结果。
2019-03-03 cs.GT
Learning Equilibria in Mean-Field Games: Introducing Mean-Field PSRO
多智能体学习的最新进展已经看到了一系列算法的引入，这些算法围绕基于人口的训练方法PSRO，表现出收敛到纳什均衡、相关均衡和粗相关均衡。值得注意的是，当代理数量增加时，学习最佳响应变得更加困难，因此阻碍了PSRO训练方法。平均场对策的范式提供了一个渐近解，当考虑的游戏是匿名对称的。不幸的是，平均场近似引入了非线性，这阻止了PSRO的直接适应。基于最优化和对抗性遗憾最小化理论，本文避开了这一问题，引入了平均场PSRO，它是PSRO的一种改进，可以学习平均场博弈中的纳什均衡、粗相关均衡和相关均衡。关键是用新定义的平均场无对抗后悔学习器或黑盒优化来代替精确的分布计算步骤。我们比较了该方法与标准PSRO算法的渐近复杂度，通过压缩时间混合权值，极大地提高了经验Bandit收敛速度，并保证了其对支付噪声的理论鲁棒性。最后，我们说明了平均场PSRO的速度和精度的几个平均场游戏，演示收敛到强和弱平衡。
2022-08-29 cs.GT cs.MA
Fast swap regret minimization and applications to approximate correlated equilibria
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出一种计算高效的交换遗憾最小化算法，在 polylog 轮内达到 εT 交换遗憾，并应用于加速收敛到 ε-相关均衡，解决多个开放问题，同时给出匹配下界。
2023-11-14 cs.AI cs.DS cs.GT
Approximating Nash Equilibria for Black-Box Games: A Bayesian Optimization Approach
博弈论已经成为一个强大的框架，用于建模大范围的多代理场景。许多算法的解决方案需要离散的，有限的游戏，有一个封闭形式的规范的回报。相比之下，许多现实世界的应用程序需要建模与连续的行动空间和黑盒效用函数，其中的回报信息是唯一的形式，经验（往往昂贵和/或嘈杂）的观察策略配置文件。据我们所知，很少有工具可以解决这类昂贵的黑盒连续博弈。在本文中，我们开发了一种方法来找到均衡的顺序决策框架中使用贝叶斯优化这样的游戏。所提出的方法进行了验证的合成游戏问题的不同程度的噪音和动作空间维度的集合。结果表明，它是能够改善最大遗憾在噪声和高维在更大程度上比分层或离散化的方法。
2018-06-11 cs.GT
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
Massachusetts Institute of Technology（麻省理工学院）；Aerospace Control Laboratory（航空控制实验室）；Laboratory of Information and Decision Systems（信息与决策系统实验室）
研究非对称信息下对抗团队博弈，提出概率鲁棒极小极大遗憾均衡（PR-MRE），结合极小极大遗憾推理的无分布鲁棒性与概率信息，通过鲁棒双线性规划及新型元求解器 PRMRE-PSRO 实现策略学习，实验证明其在隐藏类型上性能更优，行为更稳健。
2026-11-09 cs.AI cs.GT cs.LG
No-Regret Learning in Games is Turing Complete
University of Colorado Boulder（科罗拉多大学博尔德分校）；Singapore University of Technology and Design（新加坡科技设计大学）
游戏是多智能体机器学习设置（例如生成对抗网络（GANs））的自然模型。这些游戏中算法交互的理想结果被编码为游戏理论均衡概念，例如纳什均衡和粗相关均衡。由于直接计算均衡通常是不切实际的，人们通常旨在设计迭代收敛到均衡的学习算法。越来越多的负面结果使人们对这一目标产生了怀疑，从不收敛到混乱甚至武断的行为。在本文中，我们在这个列表中添加了一个强否定结果：游戏中的学习是图灵完备的。具体来说，我们证明图灵完备性的复制动态矩阵游戏，最简单的可能设置之一。我们的结果暗示了博弈中学习算法的可达性问题的不确定性，其中一个特例是确定均衡收敛。
2022-02-24 cs.GT cs.LG math.DS
No-Regret Learning in Bayesian Games
Northwestern University（西北大学）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）
最近的价格的无政府状态分析游戏的完全信息表明，粗糙的相关均衡，其特点是从无悔学习动态的结果，有接近最优的福利。这项工作提供了两个主要的技术成果，将这一结论提升到不完全信息的游戏，即，贝叶斯博弈首先，贝叶斯博弈中的近最优福利直接来自于当私有信息公开时，在同一博弈中的近最优福利的基于平滑性的证明。其次，在这些不完全信息博弈中，无悔学习动态收敛于贝叶斯粗相关均衡。这些结果是通过将贝叶斯博弈解释为完全信息的随机博弈来实现的。
2015-11-19 cs.GT cs.LG
Near-Optimal $Φ$-Regret Learning in Extensive-Form Games
Meta AI；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）；Carnegie Mellon University（卡内基梅隆大学）
本文针对多人扩展式博弈提出高效非耦合学习动态，将触发遗憾从 $O(T^{1/4})$ 指数级改进至 $O(\log T)$，并以近最优速率收敛到相关均衡。
2023-09-19 cs.GT cs.LG
A Note on the Pure Nash Equilibria for Evolutionary Games on Networks
最近，一个新的模型扩展了标准的复制者方程的一个有限的一组球员连接在一个任意的图是在进化博弈动力学。将局中人视为多种群动态对策的子种群，用图的顶点表示，子种群之间的关系由一条边表示。在每一个时刻，图中连接顶点的成员都在玩一个2人游戏，并收集一个决定所选策略是消失还是繁荣的回报。该模型描述了一组有限的球员由一个图形模拟的复制动态连接的游戏动态。证明了混合平衡点的稳定性与网络拓扑结构之间的关系。更具体地，在混合稳态下评估的系统的雅可比矩阵的特征值是图的邻接矩阵的特征值乘以标量。本文研究了这些博弈的纯（严格）纳什均衡以及它如何连接到网络。给出了协调博弈或反协调博弈的纯稳态为（严格）纳什均衡的充要条件。
2021-11-14 cs.GT
Anti-Coordination Games and Stable Graph Colorings
出于对网络反协调博弈中非严格和严格纯策略均衡的理解，我们分别定义了图中稳定和严格稳定着色的概念。我们的特点的情况下，当这种着色存在，当决策问题是NP-困难的。这些对应于在反协调博弈中寻找纯策略均衡，我们还分析了其无政府状态的无政府代价。我们进一步考虑了有向情况，一个概括，捕捉协调和反协调。证明了有向图中非严格平衡点的判定问题是NP-困难的。我们的概念也有多个连接到其他组合问题，我们的结果解决了一些开放的问题，在这些领域，最显着的复杂性，严格不友好的分区问题。
2013-08-14 cs.DM cs.GT
Convergence Analysis of No-Regret Bidding Algorithms in Repeated Auctions
游戏和无悔算法之间的联系在文献中得到了广泛的研究。一个基本的结果是，当所有参与者都采取无悔策略时，这会产生一个行动序列，其时间平均值是博弈的粗相关均衡。然而，在存在多个均衡的情况下，对均衡选择的了解要少得多。在这项工作中，我们研究了拍卖中无遗憾出价算法的收敛性。除了理论上的兴趣，出价动态拍卖是一个重要的问题，从实践的角度来看，以及。我们研究了投标人之间的重复博弈，其中在每个时间步出售单个物品，投标人的价值来自未知分布。我们表明，如果投标人使用任何基于均值的学习规则，那么投标人收敛到真实的纯纳什均衡在第二价格拍卖，在VCG拍卖中的多插槽设置和贝叶斯纳什均衡在第一价格拍卖的高概率。我们注意到基于平均值的算法涵盖了各种各样的已知的无悔算法，如Exp3，UCB，$ε$贪婪等。此外，我们分析的收敛性的个别迭代产生这样的学习算法，而不是序列的时间平均值。我们的实验证实了我们的理论发现，并且在使用其他策略（如深度Q学习）时也发现了类似的收敛。
2020-09-14 cs.GT
Efficient Regret Minimization Algorithm for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
基于后悔最小化的自博弈方法已经成为计算大型二人零和扩展型博弈纳什均衡的最新方法。这些方法从根本上依赖于玩家的顺序策略空间的层次结构来构造一个后悔最小化器，递归地最小化游戏树中每个决策点的后悔。在本文中，我们介绍了第一个有效的后悔最小化算法计算的扩展形式的相关平衡在大型两人一般和游戏没有机会移动。设计这样的算法比设计对应的纳什均衡更具挑战性，因为定义相关计划空间的约束缺乏层次结构，甚至可能形成循环。我们表明，一些约束是冗余的，可以排除考虑，并提出了一个有效的算法，生成的空间的扩展形式的相关计划增量从剩余的约束。这种结构分解是通过一个特殊的保凸操作，我们硬币规模扩展。我们表明，一个遗憾的最小化可以设计为任何两个凸集的扩展，从分解，我们然后得到一个全球遗憾的最小化。我们的算法产生可行的迭代。实验表明，它显着优于以前的方法，对于较大的问题，它是唯一可行的选择。
2019-10-28 cs.AI cs.GT cs.LG
