On Last-Iterate Convergence Beyond Zero-Sum Games
大多数关于学习动态的\emph{last-iterate convergence}的现有结果仅限于两个玩家的零和游戏,并且仅适用于关于玩家遵循什么动态的严格假设。在本文中,我们提供了新的结果和技术,适用于更广泛的家庭的游戏和学习动态。首先,我们使用基于后悔的分析表明,在一类游戏,包括常和多矩阵和战略零和游戏,动态,如\emph{optimistic mirror descent (OMD)}有\emph{bounded second-order path lengths},一个属性,即使玩家采用不同的算法和预测机制。这使我们能够获得$O(1/\sqrt{T})$率和最佳的$O(1)$后悔界限。我们的分析还揭示了一个令人惊讶的性质:OMD要么达到任意接近纳什均衡,或者它在效率上优于\emph{robust price of anarchy}。此外,对于潜在的游戏,我们建立了收敛到$ε$ -均衡后,$O(1/ε^2)$迭代镜像下降下的一个广泛的一类正则化,以及最佳的$O(1)$遗憾界的OMD变种。我们的框架还扩展到近潜在的游戏,并统一了已知的分析,分布式学习在费舍尔的市场模型。最后,我们分析了\emph{optimistic gradient descent (OGD)}在一般和连续博弈中的收敛性、效率和鲁棒性。
2022-03-22 cs.GT
Fast Rates in $α$-Potential Games via Regularized Mirror Descent
California Institute of Technology(加州理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了在α-势游戏中利用KL正则化进行离线学习NE的问题,提出了一种可验证的参考锚定离线数据覆盖框架,并提出了Offline Potential Mirror Descent算法,实现了加速的1/n统计收敛率,超越了传统离线多智能体学习的1/√n收敛率。
2026-05-18 cs.GT
Fast and Furious Symmetric Learning in Zero-Sum Games: Gradient Descent as Fictitious Play
Singapore University of Technology and Design(新加坡科技设计大学);Google DeepMind(谷歌DeepMind);Yale University(耶鲁大学)
该研究针对加权n维对称零和博弈,证明对称初始化下任意平局规则的虚拟博弈有O(√T)悔值,且步长足够大的恒定步长梯度下降在几乎所有对称初始化下也有该悔值,首次在大于2×2的零和博弈中验证了梯度下降的极速行为。
2025-06-16 cs.GT cs.LG
A bi-convex optimization problem to compute Nash equilibrium in n-player games and an algorithm
在本文中,我们提出了双凸目标函数和线性约束的优化问题,使得优化问题的全局极小值集是相同的一个n人一般和范式对策的纳什均衡集。我们进一步表明,目标函数是一个不变凸函数,并考虑投影梯度下降算法。我们证明了投影梯度下降方案收敛到目标函数的部分最优。我们还提出了某些测试案例的仿真结果显示收敛到一个纳什均衡策略。
2015-04-26 cs.GT
Alternating Mirror Descent for Constrained Min-Max Games
Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
本文研究策略空间受限的两人双线性零和对策。这种约束的自然发生的一个实例是当使用混合策略时,其对应于概率单纯形约束。我们提出并分析了交替镜像下降算法,其中每个球员轮流采取行动后,镜像下降算法的约束优化。我们解释交替镜像下降作为一个交替离散的斜梯度流的对偶空间,并使用凸优化和修改的能量函数的工具,建立一个$O(K^{-2/3})$界后,$K$迭代的平均遗憾。这定量地验证了该算法的更好的行为比镜像下降算法的同时版本,这是已知的发散,并产生一个$O(K^{-1/2})$平均遗憾界。在无约束的特殊情况下,我们的结果恢复了零和博弈的交替梯度下降算法的行为(Bailey et al.,COLT 2020)。
2022-06-08 cs.GT cs.LG math.DS
A Study of Gradient Descent Schemes for General-Sum Stochastic Games
Indian Institute of Science(印度科学学院)
零和随机博弈很容易解决,因为它们可以被转换为简单的马尔可夫决策过程。然而,这不是一般和随机游戏的情况。Filar和Vrieze [2004]给出了一般和随机博弈的一个相当一般的优化问题公式。然而,该优化问题具有非线性目标和非线性约束,具有特殊的结构。由于这个优化问题的目标和约束的梯度都被很好地定义,基于梯度的方案似乎是一个自然的选择。我们讨论了两人随机博弈的梯度调整方案。我们在模拟中表明,该计划确实收敛到一个纳什均衡,一个简单的地形勘探问题建模为一般和随机游戏。然而,事实证明,只有全局最小值的优化问题对应的基本一般和随机博弈的纳什均衡,而梯度计划只能保证收敛到局部最小值。然后,我们提供了重要的必要条件梯度计划收敛到纳什均衡一般和随机游戏。
2015-07-01 cs.GT cs.LG
An Empirical Study on Computing Equilibria in Polymatrix Games
纳什均衡是战略自主智能体系统行为的重要基准。多矩阵游戏是多人游戏的简洁而富有表现力的表示,它模拟了玩家之间的成对交互。解决这些游戏的算法的经验性能很少受到关注,尽管它们的广泛应用。在本文中,我们进行了一个全面的实证研究,两个突出的算法计算样本平衡在这些游戏中,Lemke的算法,计算一个精确的平衡,和一个梯度下降的方法,计算一个近似的平衡。我们的研究涵盖了一些有趣的应用程序所产生的游戏。我们发现Lemke算法可以在合理的时间内计算相对较大的游戏中的精确均衡。如果我们愿意接受(高质量的)近似均衡,那么我们可以使用下降法来处理更大的博弈。我们还报告了哪些游戏对每个算法最具挑战性。
2016-03-16 cs.GT
Gradient-extrapolation-based distributed mirror descent algorithm for multi-cluster aggregative games
College of Artificial Intelligence, Nankai University(南开大学人工智能学院)
本文针对多集群聚合博弈的纳什均衡求解问题,提出带梯度外推的分布式镜像下降算法,在非欧几里得场景下实现$\tilde{O}(1/k)$收敛,经能源系统需求响应算例验证有效。
2026-08-26 cs.GT math.OC
Zero-Sum Games and Linear Programming Duality
本文针对零和博弈极小极大定理与线性规划强对偶定理的互推问题,修正了 Dantzig 的不完整证明,并扩展其博弈构造以判定最优解的存在性。
2023-10-22 cs.GT math.OC
Computing Approximate Equilibria in Sequential Adversarial Games by Exploitability Descent
DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
在本文中,我们提出了可利用性下降,一个新的算法来计算近似平衡的两个球员零和扩展形式的游戏与不完美的信息,直接对最坏情况下的对手的政策优化。我们证明,当遵循这种优化,利用一个球员的战略渐近收敛到零,因此,当两个球员采用这种优化,联合政策收敛到一个纳什均衡。与虚拟游戏(XFP)和反事实遗憾最小化(CFR)不同,我们的收敛结果与优化的策略有关,而不是平均策略。我们的实验表明,收敛速度相媲美的XFP和CFR在四个基准游戏中的表格的情况下。使用函数逼近,我们发现,我们的算法优于表格版本中的两个游戏,据我们所知,这是第一个这样的结果,在这类算法之间的不完美信息游戏。
2020-06-12 cs.AI cs.GT cs.LG
LP-Duality Theory and the Cores of Games
LP-对偶理论在核的研究中一直扮演着核心的角色,从早期到现在。然而,尽管这项工作的范围很广,但仍然存在一些基本的差距。我们使用LP对偶理论的以下构建块来解决这些差距:1。总单模块性(TUM)。2.互补松弛条件和严格互补。我们的探索TUM导致定义新的游戏,其核心的特点,并给出了新的方式使用核心归属,以执行这些游戏的应用程序中自然产生的约束。后者包括:1.寻找最小最大公平、最大最小公平和公平核心估算的有效算法。2.在分配博弈的推广中鼓励多样性和避免过度代表。互补性使我们能够证明分配博弈及其推广的核心归属的新性质。
2023-03-12 cs.DS cs.GT econ.TH
Game Efficiency through Linear Programming Duality
博弈的效率通常用无政府状态的无政府代价(PoA)来量化,PoA定义为博弈均衡解的目标函数值与最优结果的最差比值。鉴于数学规划工具在算法设计中的巨大影响,以及无政府状态的无政府代价和不同度量(如近似和竞争比)的相似性,开发一种基于对偶的方法来表征游戏的效率是很有趣的。本文提出了一种基于线性规划对偶的对策有效性研究方法。我们表明,该方法提供了一个通用的配方来分析游戏的效率,并得出导致改进的概念。这种方法特别适合于约束《行动纲领》。具体来说,在我们的方法中的双重程序自然会导致竞争力的PoA界限,(几乎)最佳的几类游戏。该方法确实捕获了平滑框架以及一些当前的非平滑技术/概念。我们展示了各种各样的游戏和环境的适用性,从拥塞游戏贝叶斯福利,从全信息设置不完全信息的。
2017-08-22 cs.DM cs.DS cs.GT
Adaptively Perturbed Mirror Descent for Learning in Games
CyberAgent(赛博agent公司);University of Electro-Communications(电气通信大学)
针对带噪声的单调博弈场景,提出自适应扰动镜像下降算法APMD,通过按间隔更新弹弓策略调整扰动幅度,实现有速率保障的纳什均衡求解,且收敛速度显著提升。
2024-06-24 cs.GT cs.LG
Poincaré Recurrence, Cycles and Spurious Equilibria in Gradient-Descent-Ascent for Non-Convex Non-Concave Zero-Sum Games
Columbia University(哥伦比亚大学);Singapore University of Technology and Design(新加坡科技设计大学)
我们研究了一个广泛的非凸非凹极大极小博弈,推广了标准的双线性零和对策。在这个类中,玩家控制一个光滑函数的输入,该函数的输出被应用于一个双线性零和对策。这类游戏的动机是生成对抗网络中竞争的间接性质,其中玩家控制神经网络的参数,而实际竞争发生在生成器和神经网络捕获的分布之间。我们从理论上建立,根据问题的具体情况,梯度下降上升动力学可以表现出各种行为对立的收敛到游戏理论上有意义的最小-最大的解决方案。具体来说,不同形式的递归行为(包括周期性和庞加莱递归)是可能的,以及收敛到虚假的(非最小-最大)平衡的初始条件的积极措施。在技术层面上,我们的分析结合了优化理论,对策论和动力系统的工具。
2019-10-28 cs.GT cs.LG math.OC
Continuous-time Discounted Mirror-Descent Dynamics in Monotone Concave Games
University of Toronto(多伦多大学)
本文针对具有单调性的凹连续核博弈,提出基于强凸或勒让德正则化器的两类折扣镜像下降动力学,证明其在不同单调伪梯度博弈中的收敛性,拓展了镜像下降动力学的适用场景。
2019-12-07 cs.GT cs.LG cs.MA
Generalized Mirror Descents in Congestion Games
Institute of Information Management, National Chiao Tung University(台湾交通大学信息管理研究所);Institute of Information Science, Academia Sinica(中央研究院信息科学研究所)
不同类型的动力学已经在重复的游戏中进行了研究,其中之一最近受到了广泛关注,包括那些基于机器学习领域的“无遗憾”算法。众所周知,基于通用无遗憾算法的动态可能不会收敛到纳什均衡,而是收敛到更大的一组结果,即粗相关均衡。此外,基于通用无遗憾算法的收敛结果通常使用较弱的收敛概念:平均策略而不是实际策略的收敛。已经完成的一些工作表明,当使用一个特定的无遗憾算法,众所周知的乘法更新算法,收敛的实际播放到均衡,可以显示和更好的质量的结果方面的无政府状态无政府代价可以达到原子拥塞游戏和负载均衡游戏。是否有更多的自然无遗憾动力学的情况下,表现良好,在适当的游戏类的收敛和质量的结果,动态收敛?我们积极回答这个问题的公告牌模型表明,当采用镜像下降算法,一个著名的通用无遗憾算法,实际发挥迅速收敛到非原子拥塞游戏的均衡。此外,强盗模型考虑了一个可能更现实和普遍的设置,只有部分信息,其中在每个时间步每个球员只知道她自己的当前播放策略的成本,但没有任何未播放策略的成本。对于类原子拥塞游戏,我们提出了一个家庭的强盗算法的基础上的镜像下降算法先前提出的,并表明,当每个球员单独采用这样的强盗算法,他们的联合(混合)战略配置文件迅速收敛的影响。
2016-10-13 cs.GT cs.LG
Solving Min-Max Optimization with Hidden Structure via Gradient Descent Ascent
Columbia University(哥伦比亚大学);Singapore University of Technology and Design(新加坡科技设计大学)
许多最近的AI架构都受到了零和对策的启发,然而,它们的动态行为仍然没有得到很好的理解。受此启发,我们研究标准梯度下降上升(GDA)动力学在一个特定的类的非凸非凹零和对策,我们称之为隐藏的零和对策。在这个类中,玩家控制平滑但可能非线性函数的输入,其输出被用作凹凸游戏的输入。与一般的零和对策不同,这些博弈有一个定义明确的解的概念;实现“隐藏”凹凸博弈的冯-诺依曼均衡的结果。我们证明,如果隐藏的游戏是严格凸凹然后香草GDA收敛不仅是当地的纳什,但通常的冯诺依曼解决方案。如果博弈缺乏严格的凸性,GDA可能无法收敛到任何均衡,然而,通过应用标准的正则化技术,我们可以证明收敛到一个轻微扰动的零和对策的冯诺依曼解决方案。我们的收敛保证是非局部的,据我们所知,这是第一个非凸非凹游戏的结果。最后,我们讨论了我们的框架与生成对抗网络的联系。
2021-01-13 cs.GT cs.LG math.OC
Gradient Descent Ascent in Min-Max Stackelberg Games
最小-最大优化问题(即,最小-最大游戏)最近已经吸引了大量的关注,因为它们对广泛的机器学习问题的适用性已经变得明显。本文研究了具有相依策略集的极大极小对策,其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏,即,Stackelberg博弈,其相关解的概念是Stackelberg均衡,纳什均衡的推广。求解最小-最大博弈的最流行的算法之一是梯度下降上升(GDA)。我们提出了一个简单的推广GDA的最小最大Stackelberg游戏依赖的策略集,但它可能不会收敛到Stackelberg均衡。然后,我们介绍了两个变种的GDA,它假设访问的最佳Karush库恩塔克(KKT)乘数的游戏的约束的解决方案预言。我们表明,这样的预言存在于一个大类的凸-凹最小-最大Stackelberg游戏,并提供证据证明,我们的GDA变体与这样的预言收敛在$O(\frac{1}{\varepsilon^2})$迭代$\varepsilon$ -Stackelberg平衡,改善目前已知的最有效的算法收敛在$O(\frac{1}{\varepsilon^3})$迭代。然后,我们表明,解决Fisher市场,一个典型的例子,最小-最大Stackelberg游戏,使用我们的新算法,对应于买家和卖家使用短视的最佳反应动态在一个重复的市场,使我们能够证明这些动态的收敛在$O(\frac{1}{\varepsi…
2022-08-20 cs.GT econ.TH
Projected Exploitability Descent for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
提出投影可利用性下降(PED)算法,通过最小化多人广义可利用性函数来近似纳什均衡,在三人Kuhn扑克上表现稳定,并与FP和CFR对比,提出混合算法FP-PED。
2026-06-28 cs.AI cs.GT cs.MA
A Unified Variational Design of Predictive Mirror Descent in Convex Games under Stochastic Feedback
New York University(纽约大学);City University of Hong Kong(香港城市大学)
本文通过构造带辅助记忆状态的随机镜像微分博弈,提出预测反馈的变分路径,导出一般镜像几何中的双通道预测镜像动力学,并在局部镜像正则性、局部Bregman增长条件和有界布朗扩散下,建立了有限时域局部终端时间界的期望和高概率保证,以及局部化邻域的退出概率估计,为稳定均衡附近的最后迭代性能提供了统一的变分构造和局部随机保证。
2026-06-01 cs.GT math.OC
Approximating N-Player Nash Equilibrium through Gradient Descent
本文提出一种基于梯度下降的N-玩家一般和博弈近似纳什均衡计算方法,通过定义基于纯策略最佳响应的距离度量将均衡求解转化为全局优化问题,并在GAMUT多种博弈上验证其优于Tsaknakis-Spirakis、虚拟对弈和遗憾匹配等基线方法。
2025-01-06 cs.GT
Stochastic Gradient Descent Ascent is Suboptimal for Nonconvex-PŁ Min-Max Games
本研究证明在非凸-PL 极小极大博弈中,随机梯度下降上升法(SGDA)的复杂度下界与现有上界匹配,且在小时间尺度比例下可能失败,凸显其局限性并支持替代方法。
2026-10-14 cs.GT cs.LG stat.ML
Let's be Honest: An Optimal No-Regret Framework for Zero-Sum Games
我们重新讨论了在分散环境下求解两人零和博弈的问题。我们提出了一个简单的算法框架,同时实现诚实的遗憾以及对抗性遗憾的最佳利率,并解决了开放的问题,消除对数项收敛到游戏的价值。我们分三步实现这一目标。首先,我们提供了一个新的分析乐观镜像下降(OMD),它可以被修改,以保证快速收敛的诚实的遗憾和游戏的价值,当玩家正在合作玩。其次,我们提出了一种新的算法,称为鲁棒乐观镜像下降(ROMD),它达到了最佳的对抗性遗憾,而事先不知道的时间范围。最后,我们提出了一个简单的信令方案,它使我们能够桥接OMD和ROMD,以实现两全其美。数值例子支持我们的理论主张,并表明我们的非自适应ROMD算法可以竞争OMD与自适应步长选择。
2018-06-06 cs.GT
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity
Mila and DIRO, Université de Montréal(蒙特利尔大学 Mila 与 DIRO)
用于求解无约束光滑博弈的两个最突出的算法是经典的随机梯度下降-上升(SGDA)和最近引入的随机共识优化(SCO)[Mescheder等人,2017年]。已知SGDA收敛到特定类别游戏的稳定点,但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗问题,但其收敛保证仅限于其确定性变体。在这项工作中,我们引入了期望的互补性条件,解释它的好处,并提供了第一个最后一个收敛保证SGDA和SCO在此条件下解决一类随机变分不等式问题是潜在的非单调。我们证明了这两种方法的线性收敛的解决方案的邻域时,他们使用恒定的步长,我们提出了有见地的步长切换规则,以保证收敛到精确的解决方案。此外,我们的收敛性保证下的任意采样范式,因此,我们给的见解的复杂性miniquantum。
2021-11-04 cs.GT cs.LG math.OC
Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning
UCLA(加州大学洛杉矶分校);NYU Shanghai(纽约大学上海分校);Cohere(Cohere公司)
针对平均场博弈中纳什均衡学习难的问题,提出一种结合Munchausen RL与在线镜像下降的深度强化学习算法,通过内环回放缓冲区缓解灾难性遗忘,在四个经典算例上收敛性优于现有最优算法。
2024-03-06 cs.GT cs.LG cs.MA
Efficient Phi-Regret Minimization in Extensive-Form Games via Online Mirror Descent
Salesforce Research(Salesforce研究院);Princeton University(普林斯顿大学);UC Berkeley(加州大学伯克利分校);Peking University(北京大学);MIT(麻省理工学院)
一个概念上有吸引力的方法来学习可拓形式游戏(EFG)是将它们转换为正常形式游戏(NFG)。这种方法使我们能够直接将NFG中最先进的技术和分析转化为学习EFG,但由于转换引入的游戏大小的指数爆炸,通常会遭受计算上的困难。在本文中,我们解决这个问题的自然和重要的设置为\emph{$Φ$-Hedge}算法-一个通用的算法,能够学习一大类NFG的平衡。我们表明,$Φ$ -对冲可以直接用于学习纳什均衡(零和设置),正常形式的粗相关均衡(NFCCE),和扩展形式的相关均衡(EFCE)的EFG。我们证明,在这些设置中,\emph{$Φ$-Hedge}算法是等效的标准在线镜像下降(OMD)算法EFG与适当的扩张正则化,并运行在多项式时间。这种新的连接进一步使我们能够设计和分析一类新的OMD算法的基础上修改其对数分区函数。特别是,我们设计了一个改进的算法与平衡技术,实现了一个尖锐的$\widetilde{\mathcal{O}}(\sqrt{XAT})$ EFCE下的带反馈的EFG $X$信息集,$A$的行动,和$T$情节后悔。据我们所知,这是第一个这样的速率,符合信息论的下限。
2022-10-27 cs.GT cs.LG stat.ML
Second-Order Mirror Descent: Convergence in Games Beyond Averaging and Discounting
University of Toronto(多伦多大学)
本文提出博弈论镜像下降的二阶连续时间动力学 MD2,无需时间平均或贴现即可收敛到单纯 VSS,并给出无悔、指数收敛、离散噪声情形保证及新动力学推导。
2023-06-30 cs.GT cs.LG cs.SY
Pricing in Resource Allocation Games Based on Lagrangean Duality and Convexification
我们考虑一个基本的资源分配游戏,其中玩家的策略空间是$R^m$的子集,成本/效用函数由一些公共向量$u\in R^m$参数化,否则,只取决于自己的策略选择。玩家的策略可以被解释为资源消耗的向量,联合策略简档自然会导致总消耗向量。资源可以被定价,也就是说,游戏通过价格向量$λ\in R^m_+$增加,并且玩家具有准线性的总成本/效用,这意味着除了原始成本/效用之外,玩家需要为每个消耗单位支付相应的价格。我们调查以下问题:对于哪些聚合消费向量$u$,我们可以找到价格$λ$,诱导实现目标消费配置文件的均衡?为了回答这个问题,我们重新审视了一个著名的基于对偶的框架,并得出了几个特征的存在,这样的$u$和$λ$使用凸化技术。我们表明,有限的战略空间或某些凹游戏,平衡存在性问题减少到解决一个结构良好的LP。然后,我们考虑一类单调聚合游戏的属性,玩家的成本/效用函数可能取决于诱导负载的战略配置文件。对于这个类,我们证明了一个充分条件的基础上以前的特征。我们证明,这个框架可以帮助统一的四个在很大程度上独立的流在文献中的部分:在运输系统中的收费,瓦尔拉斯市场均衡,交易网络和通信网络中的拥塞控制。
2020-02-21 cs.GT math.OC
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University(耶鲁大学);MIT CSAIL(麻省理工学院CSAIL);University of Southern California(南加州大学);University of Virginia(弗吉尼亚大学)
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念,证明经典在线梯度下降无需修改即可达到最优近端遗憾界,并据此定义近端相关均衡,统一并拓展了在线学习与博弈论中的多种均衡概念。
2026-11-17 cs.GT cs.LG
Independent Policy Mirror Descent for Markov Potential Games: Scaling to Large Number of Players
ETH Zurich(苏黎世联邦理工学院)
针对多智能体强化学习中纳什均衡学习算法难适配大量智能体的问题,提出带KL正则化的独立策略镜像下降算法,将迭代复杂度与智能体数的依赖从线性降至√N,且与动作空间规模无关。
2024-08-15 cs.GT cs.LG cs.MA
Last-iterate Convergence in Regularized Graphon Mean Field Game
本文首次研究了正则化单调图平均场博弈中镜像下降算法的末次迭代收敛性,在表格型和线性等多种设定下证明了收敛率,并通过实验验证了算法性能。
2024-10-11 cs.GT
Faster Game Solving via Predictive Blackwell Approachability: Connecting Regret Matching and Mirror Descent
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);Strategic Machine, Inc.(Strategic Machine 公司);Strategy Robot, Inc.(Strategy Robot 公司);Optimized Markets, Inc.(Optimized Markets 公司)
布莱克威尔可接近性是一个推理具有向量值回报的重复博弈的框架。我们引入预测Blackwell可接近性,其中给出下一个回报向量的估计,并且决策者试图基于该估计的准确性来实现更好的性能。为了推导出实现预测Blackwell可接近性的算法,我们首先展示了四个著名算法之间的强大连接。跟随正则化领导者(FTRL)和在线镜像下降(OMD)是在线凸优化中最流行的后悔极小化算法。尽管这种流行,遗憾匹配(RM)和遗憾匹配+(RM+)算法已在解决大型游戏的实践中首选(作为反事实遗憾最小化框架内的局部遗憾最小化)。我们表明,RM和RM+是运行FTRL和OMD的结果,分别选择半空间,以迫使在任何时候在底层的Blackwell可接近性游戏的算法。通过将FTRL或OMD的预测变体应用于该连接,我们获得预测Blackwell可接近性算法,以及RM和RM+的预测变体。在18个常见的零和扩展形式的基准游戏的实验中,我们表明,预测RM+加上反事实遗憾最小化收敛速度远远快于最快的先验算法(CFR+,DCFR,LCFR)在所有的游戏,但两个扑克游戏,有时两个或更多的数量级。
2021-03-08 cs.AI cs.GT cs.LG
Algorithmic Asymmetry in Zero-Sum Games: Unilateral Recovery of Fast Convergence Against a Slow Opponent
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Tennessee(田纳西大学)
本文研究零和博弈的算法非对称性,提出智能体用交替乐观梯度下降(AOGD)可补偿普通梯度下降(GD)对手的缓慢收敛,使联合动态以O(1/T)速率收敛到纳什均衡。
2026-08-11 cs.GT math.OC
Local and adaptive mirror descents in extensive-form games
CREST, ENSAE, IP Paris(巴黎IP大学ENSAE学院CREST研究所);ENS Lyon(里昂高等师范学院);Omron Sinic X(欧姆龙Sinic X);Deepmind(深度思维公司);CRITEO AI Lab(CRITEO人工智能实验室)
本文提出一种局部自适应镜像下降算法,用于零和不完美信息博弈中学习ε-最优策略,通过固定采样和时变正则化降低方差,实现高概率收敛速率~O(T^{-1/2})及近乎最优的博弈参数依赖。
2023-09-01 cs.GT cs.LG stat.ML
Ergodic Deviation-Robust Equilibrium under Mirror Descent Learning in Finite Games
提出遍历偏差鲁棒均衡(EDRE),一种针对熵镜像下降学习的动态相关均衡概念,要求极限分布为ε-纳什均衡、全程偏差增益为√T量级且为EMD不动点,并证明其在势博弈中存在性及PPAD难度。
2026-06-17 cs.GT math.DS math.OC
Optimization, Learning, and Games with Predictable Sequences
University of Pennsylvania(宾夕法尼亚大学)
我们提供了几个应用程序的乐观镜像下降,一个在线学习算法的基础上的想法,可预测的序列。首先,我们恢复镜像Prox算法离线优化,证明了一个扩展的霍尔德光滑函数,并将结果应用到鞍点型问题。其次,我们证明了一个版本的乐观镜像下降(它有一个密切的关系,指数权重算法)可以使用两个强非耦合的球员在有限零和矩阵游戏收敛到极大极小均衡的速度为O((log T)/T)。这解决了Daskalakis et al 2011的一个问题。此外,我们认为部分信息版本的问题。然后,我们将结果应用到凸规划,并展示了一个简单的算法的近似最大流问题。
2013-11-08 cs.GT cs.LG
Regularized policy gradient with learned mixtures of Gaussians for games with continuous actions
Czech Technical University in Prague(布拉格捷克理工大学);Carnegie Mellon University(卡内基梅隆大学);Artificial Intelligence Center(人工智能中心);Strategy Robot, Inc.(策略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司)
提出一种结合磁镜下降与高斯混合重参数化的策略梯度算法,用于连续动作博弈,通过自我对弈训练,在多个博弈中优于现有方法并减少样本需求。
2026-09-30 cs.GT cs.MA
A Unified Approach to Reinforcement Learning, Quantal Response Equilibria, and Two-Player Zero-Sum Games
Carnegie Mellon University(卡内基梅隆大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);DeepMind(深度思维);Meta AI;Columbia University(哥伦比亚大学)
本文提出磁性镜像下降算法,统一解决双人零和博弈中的均衡求解与强化学习问题,首次实现一阶反馈下扩展式博弈分位数响应均衡的线性收敛,并在表格设置中达到与CFR相当的性能。
2023-04-11 cs.AI cs.GT cs.LG
Stochastic Semi-Gradient Descent for Learning Mean Field Games with Population-Aware Function Approximation
MIT(麻省理工学院);Columbia University(哥伦比亚大学)
针对传统平均场博弈(MFGs)学习方法的效率与稳定性问题,提出将策略和群体视为统一参数的视角,开发SemiSGD方法及群体感知线性函数近似(PA-LFA),并通过理论分析与实验验证其收敛性与有效性。
2025-02-14 cs.GT cs.LG cs.MA
Completeness of Unbounded Best-First Game Algorithms
LAMSADE, Université Paris-Dauphine, PSL, CNRS(巴黎 Dauphine 大学 LAMSADE、PSL、法国国家科学研究中心(CNRS))
在这篇文章中,我们证明了以下游戏搜索算法的完备性:无界最佳优先极大极小与完成和下降与完成,即我们表明,有足够的时间,他们找到最好的游戏策略。然后,我们推广这两个算法的背景下,完美的信息多人游戏。我们表明,这些推广也是完整的:他们找到一个平衡点。
2021-09-11 cs.AI cs.GT
Local Stackelberg equilibrium seeking in generalized aggregative games
我们提出了一个两层,半分散算法计算局部解的Stackelberg均衡问题的聚合游戏耦合约束。具体来说,我们专注于一个单一的领导者,多个追随者的问题,等价重铸后的Stackelberg游戏作为一个数学规划与互补约束(MPCC),我们迭代凸化的正则化版本的MPCC作为内部问题,其解决方案产生一个序列的可行下降方向为原来的MPCC。因此,通过在每一个外迭代追求一个下降方向,我们建立收敛到一个局部Stackelberg平衡。最后,所提出的算法进行了测试的数值案例研究,涉及一个层次的实例充电协调的插电式电动汽车(PEVs)。
2020-06-06 cs.GT cs.MA cs.SY
A duality principle for selection games
一张餐桌上有k个座位,有n份食物。客人们依次挑选食物,直到全部吃光。每个客人都有一个根据他喜欢吃多少食物的排名;这些排名是众所周知的。一个勇敢的骑士总是喜欢一个食物部门超过另一个,如果它提供严格更愉快的收集食物给一个或多个其他球员(没有给一个不太愉快的收集任何其他球员),即使它使他自己的收集不那么愉快。一个粗野的粗人总是选择当前最能给他带来乐趣的那一口,而不管他自己和别人将来是否会消费。我们展示了当所有的客人都是勇敢的骑士时食物的分配方式与当所有的客人都是粗鲁的粗人时是一样的,但是顺序相反。这暗示并推广了Kohler和Ehrasekaran(1971)关于两个参与者策略性地最大化他们自己的享受的经典结果。我们还处理的情况下,表包含一个混合物的粗鲁的粗人和英勇的骑士。我们的主要结果也可以公式化的选择是由群体的游戏。在这个公式中,令人惊讶的事实是,一个群体总是可以找到一个选择,这个选择对群体中的每个成员都是同时最优的。
2012-02-21 cs.GT math.CO
A Robust Framework for Analyzing Gradient-Based Dynamics in Bilinear Games
在这项工作中,我们建立了一个频域框架分析基于梯度的算法在线性极小极大最优化问题,具体来说,我们的方法是基于Z变换,一个强大的工具,应用于控制理论和信号处理,以表征线性离散时间系统。我们采用我们的框架来获得乐观梯度下降/上升(OGDA)的稳定性的第一个严格分析,梯度下降/上升的自然变体,Daskalakis等人在双线性游戏中表现出最后的收敛性。\cite{DBLP:journals/corr/abs-1711-00141}。重要的是,我们的分析比现有的分析要简单得多,也更简洁。此外,基于OGDA的直觉,我们考虑了一个基于梯度的算法,通过多个历史步骤来增加优化的内存。我们减少收敛-鞍点-双线性游戏的动态多项式的稳定性,有效的算法方案是行之有效的。作为一个直接的推论,我们得到了广泛的一类算法-包含OGDA作为一个特殊情况-与最后的收敛保证的纳什均衡的游戏空间。
2020-10-07 cs.GT math.OC
Competitive Gradient Descent
California Institute of Technology(加州理工学院)
本文提出了一种新的二人竞争对策纳什均衡的数值计算算法。我们的方法是一个自然的推广梯度下降到两个球员设置的更新是由一个正则化的双线性局部近似的底层游戏的纳什均衡。它避免了交替梯度下降中出现的振荡和发散行为。使用数值实验和严格的分析,我们提供了一个详细的比较\emph{optimism}和\emph{consensus}的基础上的方法,并表明,我们的方法避免了任何不必要的变化的梯度动力学,同时实现指数(局部)凹凸零和对策收敛。我们的方法的收敛性和稳定性是强大的球员之间的相互作用,而不适应的步长,这是不是与以前的方法的情况下。在我们对非凸-凹问题的数值实验中,现有的方法由于对参与者之间的相互作用敏感而容易发散和不稳定,而我们从未观察到我们的算法发散。选择更大步长的能力还允许我们的算法实现更快的收敛,如模型评估的数量所测量的。
2020-07-01 cs.GT cs.LG math.OC
Solving Zero-Sum Games through Alternating Projections
在这项工作中,我们建立了一个自然的一阶迭代算法,模拟冯诺依曼的交替投影方法在零和对策的近线性和强收敛。首先,我们提供了一个精确的分析乐观梯度下降/上升(OGDA)-梯度下降/上升的乐观变种-\emph{unconstrained}双线性游戏,沿几个方向扩展和加强以前的结果。我们的表征是基于一个封闭形式的解决方案,我们得到的动力学,而我们的结果也揭示了一些令人惊讶的属性。事实上,我们的主要算法的贡献是建立在我们发现的OGDA的几何特征,即,极限点的动态是正交投影的初态的空间吸引子。受此性质的启发,我们证明了一个自然类的\emph{constrained}双线性游戏的平衡是交叉的无约束的驻点与相应的概率单纯形。因此,我们采用OGDA来实现交替投影过程,在$\widetilde{\mathcal{O}}(\log^2(1/ε))$迭代中收敛到$ε$近似纳什均衡。我们的技术补充了最近的工作,在追求最后的最小最大优化保证。最后,我们说明了一个-在原则上-平凡的减少从任何游戏的假设类的实例,而不改变空间的平衡。
2021-08-17 cs.GT math.OC
Reinforcement Learning in Nonzero-sum Linear Quadratic Deep Structured Games: Global Convergence of Policy Optimization
我们研究基于模型和无模型的政策优化一类非零和随机动态博弈称为线性二次(LQ)的深度结构游戏。在这样的游戏中,玩家通过一组状态和动作的加权平均(线性回归)相互作用。在本文中,我们专注于齐次权重,然而,对于无限人口的特殊情况下,所得到的结果扩展到渐近消失的权重,其中玩家学习序列加权平均场均衡。尽管在政策空间中的优化的非凸性和政策优化一般不收敛于游戏设置的事实,我们证明了所提出的基于模型和无模型的策略梯度下降和自然策略梯度下降算法全局收敛到子游戏完美纳什均衡。据我们所知,这是第一个结果,提供了一个全局收敛的证明,在一个非零和LQ游戏的政策优化。所提出的算法的显着特点之一是,他们的参数空间是独立的球员的数量,当状态空间的维度是显着大于动作空间,他们提供了一个更有效的计算方式相比,在行动空间中的规划和学习的算法。最后,通过数值模拟验证了理论结果。
2020-12-14 cs.GT math.OC
The Mechanics of n-Player Differentiable Games
DeepMind(深度思维);University of Oxford(牛津大学)
支撑深度学习的基石是保证目标上的梯度下降收敛到局部最小值。不幸的是,这种保证在生成对抗网络等存在多个交互损失的环境中失败了。基于梯度的方法在游戏中的行为还没有得到很好的理解-随着对抗和多目标架构的激增,它变得越来越重要。在本文中,我们开发了新的技术来理解和控制一般游戏中的动态。关键的结果是将二阶动力学分解为两个分量。第一个与势博弈有关,它可以简化为隐函数上的梯度下降;第二个与哈密顿博弈有关,这是一类遵守守恒律的新博弈,类似于经典力学系统中的守恒律。这种分解激发了辛梯度调整(SGA),一种在一般游戏中寻找稳定不动点的新算法。基本实验表明,SGA与最近提出的在GANs中寻找稳定固定点的算法相比具有竞争力-同时适用于更一般的游戏并具有保证。
2018-06-06 cs.GT cs.LG cs.MA
On the Equivalence of Zero-Sum Games and Conic Programs
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
研究证明了零和游戏与锥程序的强对偶性等价性,建立了统一框架,并展示了如何通过对偶对求解博弈价值和纳什均衡。
2026-04-11 cs.GT math.OC
Penalty-regulated dynamics and robust learning procedures in games
Inria(法国国立信息学及应用数学研究院);CNRS (French National Center for Scientific Research)(法国国家科学研究中心)
从启发式学习计划n人对策,我们推导出一类新的连续时间学习动态组成的复制器一样的漂移调整的惩罚项,使游戏的策略空间的边界排斥。这些惩罚调节的动态相当于参与者保持其持续收益的指数折扣总和,然后使用平滑的最佳对策来选择基于这些表现得分的行动。由于这种固有的双重性,建议的动态满足一个变种的民间定理的进化对策论,他们收敛到(任意精确)近似的纳什均衡在潜在的游戏。受流量工程应用的启发,我们进一步利用这种对偶性来设计一个离散时间,基于收益的学习算法,该算法保留了这些收敛特性,只需要玩家观察他们在游戏中的收益:此外,该算法在存在随机扰动和观测误差的情况下仍然是鲁棒的,并且它不需要玩家之间的任何同步。
2014-04-06 cs.GT cs.LG math.OC
Differentiable Game Mechanics
University of Oxford(牛津大学);DeepMind(深度思考(DeepMind))
深度学习建立在目标函数的梯度下降收敛到局部最小值的基本保证之上。不幸的是,这种保证在诸如生成对抗网络的设置中失败,这些设置表现出多个相互作用的损失。基于梯度的方法在游戏中的行为还没有得到很好的理解-随着对抗和多目标架构的激增,它变得越来越重要。在本文中,我们开发了新的工具来理解和控制的动态n-玩家微分游戏。关键的结果是将博弈雅可比矩阵分解为两个分量。第一,对称的组成部分,是有关潜在的游戏,减少到梯度下降的隐函数。第二,反对称部分,涉及到汉密尔顿游戏,一类新的游戏,遵守守恒定律类似于经典力学系统中的守恒定律。辛梯度调整(SGA),一种新的算法,用于寻找稳定的不动点微分游戏的分解动机。基本实验表明,SGA与最近提出的在GANs中寻找稳定不动点的算法相比具有竞争力-同时适用于更一般的情况,并具有保证。
2019-05-13 cs.GT cs.LG cs.MA
ApproxED: Approximate exploitability descent via learned best responses
Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(策略机器人公司);Optimized Markets, Inc.(优化市场公司);Strategic Machine, Inc.(战略机器公司)
本文提出两种新方法(基于学习的best response函数和候选best response集成),通过最小化近似可利用性来求解连续动作空间博弈的近似纳什均衡,并在多种连续博弈和GAN训练中优于先前方法。
2024-06-12 cs.AI cs.GT cs.LG
Regret Matching+: (In)Stability and Fast Convergence in Games
FAIR, Meta AI(元宇宙人工智能基础人工智能研究院);HEC Paris(巴黎高等商学院);Columbia University(哥伦比亚大学);University of Southern California(南加州大学)
本文揭示了Regret Matching+ (RM+)及其预测版本的不稳定性,通过重启和截断正象限两种修复方法,实现了个体遗憾$O(T^{1/4})$和社会遗憾$O(1)$的快速收敛,并在矩阵和扩展形式博弈中验证了其优势。
2023-05-24 cs.GT cs.LG
Global Convergence to Nash Equilibrium in Nonconvex General-Sum Games under the $n$-Sided PL Condition
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与智能研究所)
本文提出了一种在非凸一般和博弈中实现全局收敛到纳什均衡的算法,基于n边PL条件扩展了PL条件,并分析了其收敛性及实验性能。
2026-02-12 cs.GT cs.MA cs.NA
Domain Adversarial Training: A Game Perspective
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Waterloo(滑铁卢大学)
领域自适应的主要工作集中在使用领域对抗训练来学习不变表示。在本文中,我们从博弈论的角度来解释这种方法。将领域对抗训练中的最优解定义为局部纳什均衡,我们证明了领域对抗训练中的梯度下降可能违反优化器的渐近收敛保证,通常会阻碍传输性能。我们的分析使我们用高阶ODE求解器(即,Runge-Kutta),我们得到渐近收敛保证。这一系列优化器明显更稳定,并允许更积极的学习率,从而在用作标准优化器的直接替代品时获得更高的性能增益。我们的实验表明,结合最先进的领域对抗方法,我们在不到一半的训练迭代中实现了高达3.5%的改进。我们的优化器很容易实现,没有额外的参数,并且可以插入任何领域对抗框架。
2022-02-10 cs.CV cs.GT cs.LG