Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Entropy-regularized Optimal Transport Generative Models
KTH Royal Institute of Technology（KTH皇家理工学院）
我们研究使用熵正则化的最优运输（EOT）成本在开发生成模型学习隐式分布。提出了两种生成模型。一个直接使用EOT成本在一次性优化问题和其他使用EOT成本迭代对抗游戏。所提出的生成模型表现出改进的性能比当代模型MNSIT上的图像生成。
2018-11-16 cs.LG stat.ML
Provable Computational and Statistical Guarantees for Efficient Learning of Continuous-Action Graphical Games
Purdue University（普渡大学）
在本文中，我们研究了学习的纯策略纳什均衡集和精确结构的一个连续行动的图形游戏的二次支付通过观察一个小的扰动均衡集的问题。一个连续动作的图形游戏可能有一个不可数的纳什均衡集。我们提出了一个$\ell_{12}-$块正则化的方法，恢复图形游戏，其纳什均衡是$ε$ -纳什均衡的游戏，从该数据生成（真正的游戏）。在一个稍微严格的条件下，真正的游戏的参数，我们的方法恢复的图形游戏的确切结构。我们的方法有一个对数样本的复杂性相对于玩家的数量。它也在多项式时间中运行。
2019-11-08 cs.GT cs.LG stat.ML
Linear Last-Iterate Convergence Rates for Optimistic Learning in Harmonic Games
Georgia Tech（佐治亚理工学院）；SUTD（新加坡科技设计大学）；Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）；Yale（耶鲁大学）
该研究证明多人调和博弈中，乐观正则化跟随领导者算法（OFTRL）的最后迭代可在线性速率下收敛到纳什均衡，相关结论也适用于外梯度FTRL变体。
2026-10-14 cs.GT cs.LG
Beyond Least-Squares: Fast Rates for Regularized Empirical Risk Minimization through Self-Concordance
INRIA - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
我们考虑的学习方法的基础上正则化的凸经验风险的平方希尔伯特范数，设置，包括线性预测和非线性预测通过正定内核。为了超越一般的分析，从$n$的观察，导致收敛速度的超额风险为$O(1/\sqrt{n})$，我们假设个人的损失是自协调的，也就是说，他们的三阶导数是有界的二阶导数。此设置包括最小二乘以及所有广义线性模型，如logistic和softmax回归。对于此类损失，我们提供了偏差-方差分解，并表明最小二乘回归中常见的假设（例如源和容量条件）可以通过改进偏差项来适应以获得快速的非渐进收敛率。方差项或两者兼而有之。
2019-06-18 cs.AI cs.LG math.ST
Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
Arizona State University（亚利桑那州立大学）
针对原始稀疏图忽略数据几何信息的问题，提出支持正则化稀疏图（SRSG），通过支持正则化项鼓励局部平滑，并采用快速近端梯度下降求解，实验证明其在聚类上优于其他方法。
2024-09-25 cs.LG math.OC
Provable Sample Complexity Guarantees for Learning of Continuous-Action Graphical Games with Nonparametric Utilities
Purdue University（普渡大学）
本文研究了具有非参数效用函数的连续行动博弈的精确结构学习问题。我们提出了一个$\ell_1$正则化的方法，鼓励稀疏的傅立叶变换的系数恢复的效用。我们的方法通过访问非常少的纳什均衡和它们的噪声效用来工作。在一定的技术条件下，我们的方法也恢复了这些效用函数的确切结构，从而恢复了游戏的确切结构。此外，我们的方法只需要一个对数数量的样本的数量方面的球员和运行在多项式时间。我们遵循原始-对偶证人框架提供可证明的理论保证。
2020-04-01 cs.GT cs.LG stat.ML
From Behavior to Sparse Graphical Games: Efficient Recovery of Equilibria
Purdue University（普渡大学）
在本文中，我们研究的纯策略纳什均衡（PSNE）集的图形游戏从嘈杂的观察单独的球员的联合行动的精确恢复的问题。我们考虑稀疏线性影响博弈-一类具有线性收益的图形博弈，用n个节点（参与者）的有向图表示，且入度至多为k。我们提出了一个基于$\ell_1$正则化逻辑回归的算法，用于精确地恢复PSNE集，该算法在计算上是高效的-即在多项式时间内运行-并且在统计上是高效的-即具有对数样本复杂度。具体而言，我们表明，足够数量的样本所需的确切PSNE恢复规模为$\mathcal{O}(\mathrm{poly}(k) \log n)$。我们还验证了我们的理论结果，使用合成实验。
2016-10-19 cs.GT cs.LG stat.ML
Fast Regularized Discrete Optimal Transport with Group-Sparse Regularizers
NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
正则化离散最优迁移（OT）是一个强大的工具来衡量两个离散分布之间的距离，已经从两个不同的域上的数据样本构造。虽然它在机器学习中有广泛的应用，但在某些情况下，仅来自一个域的采样数据将具有类标签，例如无监督的领域自适应。在这类问题设置中，经常利用组稀疏正则化器作为正则化项来处理类标签。特别地，它可以通过将具有相同类别标签的数据样本对应到一个组稀疏正则化项来保持数据样本上的标签结构。因此，我们可以测量的距离，同时利用标签信息，通过解决正则化优化问题与基于梯度的算法。然而，当类或数据样本的数量很大时，梯度计算是昂贵的，因为正则化项的数量和它们各自的大小也很大。本文提出了一种快速离散OT与组稀疏正则化。我们的方法基于两个想法。第一个是安全地跳过必须为零的梯度的计算。第二个是有效地提取预期为非零的梯度。我们的方法保证返回与原始方法相同的目标函数值。实验表明，我们的方法是高达8.6倍的速度比原来的方法，而不降低准确性。
2023-03-14 cs.LG stat.ML
HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China（中国海洋大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一种新的方法，用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择（HSR）。通过采用分层特征选择，可以压缩全局字典的规模和维数，这直接有助于减少稀疏表示的计算开销，而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器（ELM-AE）分层。对于Gabor小波部分，可以在多个尺度和方向上提取局部特征，形成基于Gabor特征的图像，从而提高识别率。此外，当人脸图像被遮挡时，基于Gabor特征的遮挡字典存在冗余，可以相应地压缩全局字典的规模。对于ELM-AE部分，基于Gabor特征的全局字典的维数可以被压缩，因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化，我们的方法可以产生更稀疏和更强大的表示相比，正则化稀疏表示基于分类（SRC），这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明，与SRC和基于Gabor特征的SRC（GSRC）等相关工作相比，该方法在计算量方面具有很大的优势。此外，我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
许多重要的机器学习应用涉及正则化非凸双层优化。然而，现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子，并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中，我们研究了一个近似梯度型算法，采用近似隐式微分（AID）计划的非凸双层优化可能非凸和非光滑正则化。特别地，该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数，全面分析了算法的全局收敛性。特别是，我们正式建立了收敛的模型参数的临界点的双层问题，并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外，我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
Learning Sparse Polymatrix Games in Polynomial Time and Sample Complexity
Department of Computer Science Purdue University（普渡大学计算机科学系）；Purdue University（普渡大学）
我们考虑的问题，学习稀疏多矩阵游戏的战略相互作用的观察。我们证明了基于$\ell_{1,2}$ -组正则化逻辑回归的多项式时间方法可以恢复一个博弈，其纳什均衡是生成数据的博弈的$ε$ -纳什均衡（真实游戏），在策略简档的$\mathcal{O}(m^4 d^4 \log (pd))$样本中-其中$m$是玩家的纯策略的最大数量，$p$是玩家的数量，并且$d$是博弈图的最大度。在对真实游戏的支付矩阵稍微更严格的可分性条件下，我们证明了我们的方法可以学习与真实游戏完全相同的纳什均衡的游戏。我们还表明，$Ω(d \log (pm))$样本是必要的任何方法，始终恢复一个游戏，具有相同的纳什均衡作为真正的游戏，从观察到的战略互动。我们通过仿真实验验证了我们的理论结果。
2017-11-20 cs.LG
Fast Regularized Policy Mirror Descent with One-Step TD Updates
Fudan University（复旦大学）
本研究分析结合单步TD更新的策略镜像下降算法，证明其在有限折扣MDP中全局线性收敛，并在随机设置下给出无需轨迹重置的样本复杂度保证。
2026-10-01 cs.LG math.OC
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington（华盛顿大学）
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要，包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归，称为SR 3。关键思想是解决正则化问题的松弛，这与最先进的方法相比有三个优点：（1）松弛问题的解在误差、假阳性和条件方面是优越的，（2）松弛允许用于凸和非凸公式的极快算法，以及（3）该方法适用于复合正则化子，例如全变差（TV）及其非凸变体。我们证明了SR3的优势（计算效率，更高的精度，更快的收敛速度，更大的灵活性）在一系列的正则化回归问题的合成和真实的数据，包括压缩感知，LASSO，矩阵完成，电视正则化，和组稀疏的应用。为了促进可重复的研究，我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Online Regularized Nonlinear Acceleration
Princeton University（普林斯顿大学）；INRIA（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）
正则化非线性加速（RNA）通过对梯度法等算法进行后处理迭代来估计函数的最小值。它可以被看作是安德森加速的正则化版本，安德森加速是数值分析的经典加速方案。新方案可证明地提高了固定步长梯度下降法的收敛速度，其经验性能可与拟牛顿法相媲美。然而，RNA不能加速更快的多步算法，如Nesterov的方法，并且在这种情况下经常出现分歧。在这里，我们调整RNA来克服这些问题，使我们的计划可以用于快速算法，如梯度法与动量。我们证明了一般凸极小化问题的二次型和渐近最优速率的最优复杂性界。此外，这一新方案在网上工作，即，外推解估计可以在每次迭代时重新注入，从而显著提高了经典加速方法的数值性能。
2019-06-21 cs.LG math.OC stat.ML
Online Regularized Learning Algorithm for Functional Data
Zhejiang University（浙江大学）
近年来，函数线性模型在统计学和机器学习中引起了越来越多的关注，其目的是恢复斜率函数或其函数预测器。研究再生核Hilbert空间中泛函线性模型的在线正则化学习算法。分别给出了多项式衰减步长和常数步长下超差预测误差和估计误差的收敛性分析。快速收敛速度可以通过容量相关分析得出。通过引入显式正则化项，提高了非正则化在线学习算法在步长多项式衰减时的饱和边界，并在没有容量假设的情况下建立了估计误差的快速收敛速度.然而，它仍然是一个开放的问题，以获得容量无关的收敛速度的估计误差的非正则化在线学习算法与衰减步长。在定步长条件下，预测误差和估计误差的收敛速度与文献中的结果相当。
2022-11-24 cs.LG stat.ML
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods
Chinese University of Hong Kong（香港中文大学）；Princeton University（普林斯顿大学）；University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出基于熵正则化外梯度的一阶优化方法，将最优传输问题转为双线性极小极大问题，实现了$\tilde{O}(n^2/\beta)$的运行时间，数值性能优于Sinkhorn等经典算法。
2024-06-20 cs.DS cs.IT cs.LG
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Policy Optimization finds Nash Equilibrium in Regularized General-Sum LQ Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）
该研究探究相对熵正则化对一般和N智能体博弈纳什均衡的影响，证明满足熵正则化条件时策略优化算法可线性收敛到纳什均衡，还提出δ增强技术在正则化不足时实现ε-纳什均衡。
2024-09-13 cs.AI cs.GT cs.LG
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation（万事达卡公司）；Georgia Institute of Technology（佐治亚理工学院）
我们探讨使用政策近似，以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法，它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下，通过更新正则化Q函数，算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力，转移以前的训练经验，使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案，以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡，同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI；MIT（麻省理工学院）
No-press Diplomacy是一个复杂的策略游戏，涉及合作和竞争，是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功，但在涉及与人类合作的领域中，自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法，我们称之为DiL-piKL，规范化的奖励最大化的政策对人类模仿学习的政策，以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后，我们表明，DiL-piKL可以扩展到一个自我发挥的强化学习算法，我们称之为RL-DiL-piKL，它提供了一个模型的人类发挥，同时训练代理，以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中，62名人类参与者的技能水平从初学者到专家，两名梁龙代理人的平均得分都高于所有其他参与者，他们玩了两局以上，根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
Learning in nonatomic games, Part I: Finite action spaces and population games
Tweag I/O（Tweag I/O公司）；CNRS（法国国家科学研究中心）；University of Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）；University of Liverpool（利物浦大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；Sorbonne Université（索邦大学）；UPMC（巴黎第六大学）
我们研究了在非原子游戏中学习的各种动态的长期行为，在离散和连续的时间。我们考虑的动力学类型包括虚拟游戏及其正则化变体、最佳回复动力学（同样，可能是正则化的），以及双重平均/“跟随正则化领导者”的动力学（它们本身包括作为特例的复制者动力学和弗里德曼的投影动力学）。我们的分析关注的实际轨迹的发挥和它的时间平均，我们涵盖潜在的和单调的游戏，以及游戏的进化稳态（全球或其他）。我们专注于有限行动空间的游戏，连续行动空间的非原子游戏在本文的第二部分中详细讨论。
2021-07-04 cs.GT cs.LG math.OC
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University（比尔肯特大学）；Özyeğin University（奥兹耶金大学）
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈，证明了相关算子的收缩性，提出结合软Q学习与经验转移核的无模型学习方法，给出有限样本界与收敛速率，并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
(Doubly) Exponential Lower Bounds for Follow the Regularized Leader in Potential Games
Carnegie Mellon University（卡内基梅隆大学）；University of California, Irvine（加州大学尔湾分校）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
本文证明了在势游戏中，FTRL算法收敛到纳什均衡可能需要指数时间，并展示了虚构玩在多人势游戏中可能需要双指数时间，从而为游戏学习算法提供了更强的下界。
2026-01-30 cs.GT
A regularized variance-reduced modified extragradient method for stochastic hierarchical games
针对含期望值与分层项的N参与者随机分层博弈，提出迭代正则化、平滑的方差缩减修正超梯度框架，并给出收敛速率、复杂度及非精确下层求解扩展。
2024-01-25 cs.GT math.OC
Cycles in adversarial regularized learning
Univ. Grenoble Alpes, CNRS, Inria, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔信息实验室）；UC Berkeley（加州大学伯克利分校）；Singapore University of Technology and Design（新加坡科技设计大学）
正则化学习是在线优化、机器学习和计算机科学的许多其他领域中的基本技术。在这些设置中出现的一个自然问题是正则化学习算法在面对彼此时的行为。我们研究这个问题的自然配方耦合正则化学习动态零和游戏。我们表明，系统的行为是庞加莱经常性的，这意味着几乎每一个轨迹重访其起点的任何（任意小）的邻域无限频繁。这种循环行为对于代理对正则化机制的选择（每个代理可以使用不同的正则化器）、代理效用的正仿射变换是鲁棒的，并且它在网络竞争的情况下也持续存在，即，零和多矩阵博弈
2017-09-08 cs.GT cs.LG
Follow-the-Regularized-Leader Routes to Chaos in Routing Games
Cracow University of Economics（克拉科夫经济大学）；Chulalongkorn University（朱拉隆功大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Singapore University of Technology and Design（新加坡科技设计大学）
我们研究了在博弈中跟随规则化领导者（FoReL）动力学的混沌行为的出现。我们专注于增加人口规模或规模的拥塞游戏的成本的影响，并推广最近的结果不稳定，混沌行为的乘法权重更新动力学更大的一类FoReL动力学。我们建立，即使在简单的线性非原子拥塞游戏与两个平行的链接和任何固定的学习率，除非游戏是完全对称的，增加人口规模或规模的成本导致学习动力学变得不稳定，并最终混乱，在这个意义上的李约克和正拓扑熵。此外，我们发现了新的非标准现象的存在，如稳定的纳什均衡和混沌在同一个游戏中的共存。我们还观察到一个混沌吸引子的同时创建另一个混沌吸引子被摧毁。最后，虽然FoReL动态可以是奇怪的和非平衡的，我们证明了时间平均仍然收敛到一个精确的平衡，任何选择的学习率和任何规模的成本。
2021-02-17 cs.GT cs.LG math.DS
Regularized policy gradient with learned mixtures of Gaussians for games with continuous actions
Czech Technical University in Prague（布拉格捷克理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Artificial Intelligence Center（人工智能中心）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
提出一种结合磁镜下降与高斯混合重参数化的策略梯度算法，用于连续动作博弈，通过自我对弈训练，在多个博弈中优于现有方法并减少样本需求。
2026-09-30 cs.GT cs.MA
Shaping Large Population Agent Behaviors Through Entropy-Regularized Mean-Field Games
平均场博弈（MFG）被引入到有效地分析近似纳什均衡在大人口设置。在这项工作中，我们考虑熵正则化的平均场游戏与一个有限的状态动作空间中的离散时间设置。我们表明，熵正则化提供了必要的正则性条件，缺乏标准的有限平均场游戏。这样的正则性条件使我们能够设计不动点迭代算法来找到唯一的平均场平衡（MFE）。此外，在正则化中使用的参考策略提供了一个额外的参数，通过它可以控制种群的行为。我们首先考虑一个随机博弈与大量的$N$同质代理。我们建立了在$N$趋于无穷大的极限情况下存在纳什均衡的条件，我们证明了无限人口的情况下的纳什均衡也是$N$ -代理系统的$ε$ -纳什均衡，其中次优$ε$是为了$\mathcal{O}\big(1/\sqrt{N}\big)$。最后，我们通过一个资源分配的例子验证了理论保证，并证明了使用参考策略来控制大量人口的行为的有效性。
2022-07-22 cs.GT cs.SY eess.SY
Prediction Accuracy of Learning in Games : Follow-the-Regularized-Leader meets Heisenberg
本文借鉴 Heisenberg 不确定性原理，用协方差演化分析两人零和博弈中 FTRL 的预测准确性，给出连续时间及 Euler、Symplectic 离散化的协方差增长率并建立相应不等式，证明 Symplectic 离散化更优。
2024-06-15 cs.GT
Last-iterate Convergence in Regularized Graphon Mean Field Game
本文首次研究了正则化单调图平均场博弈中镜像下降算法的末次迭代收敛性，在表格型和线性等多种设定下证明了收敛率，并通过实验验证了算法性能。
2024-10-11 cs.GT
The equivalence of dynamic and strategic stability under regularized learning in games
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）
该研究针对有限博弈中无悔学习策略演化认知不足的问题，通过优反应闭包的集合式稳定性标准，证明了正则化学习下策略稳定性与动态稳定性的等价性，并给出了不同正则化方法的收敛速率。
2023-11-04 cs.GT cs.LG math.OC
The impact of uncertainty on regularized learning in games
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、国家科学研究中心、Inria、格勒诺布尔INP、LIG）
该研究考察带随机冲击的FTRL博弈学习动力学，发现不确定性使策略趋近纯策略，明确其极限为纯纳什均衡及稳定集条件，还证明随机性会破坏零和博弈等的确定性回复性，使动力学向边界漂移。
2025-06-16 cs.GT cs.LG math.OC
Learning Regularized Graphon Mean-Field Games with Unknown Graphons
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文针对图子未知的正则化图子平均场博弈，提出GMFG-PPO优化算法及基于核嵌入的图子估计算法，首次实现从采样智能体中学习图子，并证明其收敛性与降低可利用性的有效性。
2023-10-26 cs.GT cs.LG stat.ML
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出OMG和SOMG算法，在KL正则化下实现对数遗憾，提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
Learning Regularized Monotone Graphon Mean-Field Games
本文研究正则化图平均场博弈，证明了任意λ-正则化GMFG纳什均衡的存在性（条件更弱），并提出了弱单调GMFG下仅依赖弱单调条件的离散时间学习算法，附带动作-价值函数估计子模块，实证验证了算法效率。
2023-10-12 cs.GT cs.SY eess.SY
Horizon-Independent Contraction for Continuous-Time Discounted Regularized Mean-Field Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带折扣和熵正则化的非平稳连续时间平均场博弈，证明大折扣率下有限时域MFG满足与时域无关的收缩条件，推导了有限与无限时域均衡的收敛率及相关误差界。
2026-08-31 cs.GT cs.SY eess.SY
Survival of the strictest: Stable and unstable equilibria under regularized learning with partial information
National Technical University of Athens（雅典国立技术大学）；Columbia University（哥伦比亚大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
本文研究了一般N人对策中无悔学习的纳什均衡收敛性质。具体来说，我们专注于原型遵循正则化领导者（FTRL）家族的算法，我们认为全谱的不确定性，玩家可能会遇到的-从嘈杂的，基于预言的反馈，强盗，基于回报的信息。在这个一般的背景下，我们建立了纳什均衡的稳定性和它的支持之间的全面等价：一个纳什均衡是稳定的，并以任意高的概率吸引，当且仅当它是严格的（即，每个均衡策略具有唯一的最佳响应）。这种等价性将现有的进化博弈论民间定理的连续时间版本扩展到真正的算法学习环境，并且为预测游戏中无悔学习的日常行为提供了明确的细化标准
2021-02-04 cs.GT cs.LG cs.MA
Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning
University of California, Berkeley（加州大学伯克利分校）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。
2026-09-29 cs.AI cs.GT cs.LG
Fast Rates in $α$-Potential Games via Regularized Mirror Descent
California Institute of Technology（加州理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了在α-势游戏中利用KL正则化进行离线学习NE的问题，提出了一种可验证的参考锚定离线数据覆盖框架，并提出了Offline Potential Mirror Descent算法，实现了加速的1/n统计收敛率，超越了传统离线多智能体学习的1/√n收敛率。
2026-05-18 cs.GT
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多智能体强化学习（MARL）--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展，但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战，不幸的是，现有理论仍然高度不足。在本文中，我们专注于竞争性多智能体RL的最基本的设置，即两个玩家零和马尔可夫游戏，并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理，其中的政策是通过熵正则化的乐观乘性权重更新（OMWU）的方法更新和更新的值在一个较慢的时间尺度。我们表明，在全信息表格设置中，所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡，这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性，并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Learning in quantum games
Stanford University（斯坦福大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）
在本文中，我们介绍了一类学习动力学的一般量子游戏，我们称之为“跟随量子正则化的领导者”（FTQL），在参考经典的“跟随正则化的领导者”（FTRL）模板学习有限的游戏。我们表明，诱导量子态动力学分解成（i）一个经典的，交换的组件，它管理的方式类似于FTRL下的混合策略的演变系统的本征值的动力学;和（ii）一个非交换的组件系统的本征向量，没有经典的对应。尽管这个非经典的组件带来的并发症，我们发现，FTQL动力学招致不超过不断的遗憾，在所有的量子游戏。此外，调整经典概念的稳定性，以占量子游戏的状态空间的非线性几何，我们表明，只有纯量子平衡可以是稳定的，吸引下FTQL，而作为一个部分的逆，满足一定的“变分稳定”条件的纯平衡总是吸引。最后，我们证明了FTQL动力学在量子最小-最大博弈中是庞加莱递归的，以这种方式扩展了量子复制子动力学的一个非常新的结果。
2023-02-05 cs.GT cs.LG math.OC
Independent Natural Policy Gradient Methods for Potential Games: Finite-time Global Convergence with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
多智能体系统中的一个主要挑战是，系统复杂性随着智能体的数量及其动作空间的大小而急剧增长，这在现实世界的场景中是典型的，例如自动驾驶汽车，机器人团队，网络路由，因此，迫切需要设计分散或独立的算法，其中每个代理的更新仅基于其局部观察，而不需要引入复杂的通信/协调机制。在这项工作中，我们研究了有限时间收敛的独立的熵正则化自然政策梯度（NPG）方法的潜在的游戏，在代理的效用函数的差异，由于单边偏差完全匹配的一个共同的势函数。所提出的熵正则化NPG方法使每个代理根据自己的收益部署对称，分散和乘法更新。我们表明，所提出的方法收敛到量子响应均衡（QRE）-均衡的熵正则化游戏-在一个次线性的速度，这是独立的动作空间的大小和增长最次线性与代理的数量。吸引人的是，收敛速度进一步成为独立的代理商的数量的重要特殊情况下，相同的利益游戏，导致第一种方法，收敛在一个无量纲的速度。我们的方法可以作为一种平滑技术，找到一个近似的纳什均衡（NE）的非正则化问题，而无需假设平稳策略是孤立的。
2022-08-29 cs.GT cs.IT cs.LG
A Coupled Optimization Framework for Correlated Equilibria in Normal-Form Game
本文提出非正则化博弈框架，将正则形式博弈的策略提升为联合行动上的非正则化测度，并通过熵正则化获得具有闭式解的次优相关均衡，为相关均衡建立了耦合优化基础。
2024-04-03 cs.GT math.OC
Reduced Space and Faster Convergence in Imperfect-Information Games via Regret-Based Pruning
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）算法是求解零和信息博弈的最常用的迭代算法。基于后悔的修剪（RBP）是一种改进，允许临时修剪性能不佳的操作，从而加快CFR。我们引入了Total RBP，这是一种新形式的RBP，它可以减少CFR的空间需求，因为动作被修剪。我们证明，在零和游戏中，它渐近修剪任何行动，不是一个最佳对策的一部分，一些纳什均衡。这导致可证明的更快收敛和更低的空间要求。实验表明，总RBP结果在空间上减少了一个数量级，减少因子随着游戏大小的增加而增加。
2016-09-12 cs.AI cs.GT
From Poincaré Recurrence to Convergence in Imperfect Information Games: Finding Equilibrium via Regularization
DeepMind（深度思维）；SUTD（新加坡科技设计大学）
本文研究了序列不完全信息博弈中的跟随正则化领导者动态。我们推广现有的结果Poincaré复发正常形式的游戏，零和两个球员的不完美信息游戏和其他序列游戏设置。然后，我们研究如何适应奖励（通过添加一个正则化项）的游戏可以在单调游戏中提供强收敛保证。我们继续展示如何利用这种奖励适应技术来构建精确收敛到纳什均衡的算法。最后，我们展示了这些见解如何直接用于构建零和两人不完美信息博弈（IIG）的最先进的无模型算法。
2020-02-19 cs.GT cs.LG stat.ML
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡，为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Regret, equilibrium, and learning in games: A guided tour
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）
本文围绕博弈学习的遗憾、均衡与学习，结合单智能体和多智能体场景，研究正则化学习策略及相关理论，为该领域提供入门性阐述。
2026-08-11 cs.GT cs.LG math.OC
Multi-agent learning under uncertainty: Recurrence vs. concentration
Stanford University（斯坦福大学）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LIG）
本文研究了在不确定性下多智能体学习的收敛性，发现强单调博弈中正则化学习的动力学可能无限次远离均衡，但总能返回附近并集中于该区域。
2025-12-09 cs.GT cs.LG math.OC
Cautious Optimism: A Meta-Algorithm for Near-Constant Regret in General Games
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文提出谨慎乐观元算法框架COFTRL，可自适应调控FTRL学习节奏，在一般博弈自博弈场景达近最优对数遗憾，对抗场景保平方根遗憾，无需单调步长且对动作空间维度依赖指数级优于既往方法。
2025-11-14 cs.GT cs.LG math.OC
Body-Reservoir Governance in Repeated Games: Embodied Decision-Making, Dynamic Sentinel Adaptation, and Complexity-Regularized Optimization
The Open University of Japan（日本开放大学）
本文提出身体储备治理架构，通过动态哨兵和复杂性正则化优化，在重复博弈中实现高效合作，减少计算成本并提升适应性。
2026-02-24 cs.GT cs.MA cs.NE
Asynchronous Gradient Play in Zero-Sum Multi-agent Games
Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在竞争性多智能体博弈中通过梯度博弈寻找均衡吸引了越来越多的关注，重点是设计有效的策略，其中智能体以分散和对称的方式运行，并保证收敛。虽然在理解零和两人矩阵游戏方面已经做出了重大努力，但零和多智能体游戏的性能仍然没有得到充分的探索，特别是在存在延迟反馈的情况下，这使得梯度游戏的可扩展性和弹性受到质疑。在本文中，我们取得了进展，通过研究异步梯度播放零和多矩阵对策下的延迟反馈。我们首先建立了熵正则化的乐观乘性权重更新（OMWU）方法的最后一步线性收敛到量子响应平衡（QRE），有限理性下的解决方案的概念，在没有延迟。虽然在温和的统计假设下，即使反馈被随机延迟，线性收敛也继续保持，但由于学习率的可容忍范围较小，它以明显较慢的速度收敛。此外，我们证明了熵正则化OMWU -通过采用两个时间尺度的学习率在延迟感知的方式-享有更快的最后一个收敛在固定的延迟，并继续可证明收敛，即使当延迟是任意有界的平均时间的方式。我们的方法还导致有限的时间保证近似的纳什均衡（NE），通过缓和的正则化量。据我们所知，这项工作是第一个，旨在了解异步梯度发挥在零和多矩阵游戏在广泛的延迟假设下，突出了学习率分离的作用。
2022-11-16 cs.GT cs.IT cs.LG
Game on Random Environment, Mean-field Langevin System and Neural Networks
Ecole Polytechnique, IP Paris（巴黎理工学院（IP Paris））；Université Paris-Saclay（巴黎-萨克雷大学）；Université Paris-Dauphine, PSL Research University（巴黎多芬纳大学（PSL研究大学））
本文研究了一类由相对熵正则化的对策，其中局中人的策略通过一个随机环境变量耦合。除了这类博弈的平衡点的存在唯一性外，我们还证明了相应的平均场Langevin系统的边际律在不同的情况下都能收敛到博弈的平衡点.作为应用，当将时间范围视为环境时，动态游戏可以被视为随机环境下的游戏。在实践中，我们的结果可以应用于分析监督学习背景下的深度神经网络以及生成对抗网络的随机梯度下降算法。
2020-04-22 cs.GT cs.LG cs.NE
