Increasing Iterate Averaging for Solving Saddle-Point Problems
Columbia University(哥伦比亚大学)
机器学习和博弈论中的许多问题都可以表述为鞍点问题,各种一阶方法已经被开发出来并在实践中证明是有效的。在一般的凹凸假设下,大多数一阶方法只保证遍历收敛率,即迭代的一致平均以鞍点残差的$O(1/T)$收敛率收敛。然而,在数值上,迭代本身往往比均匀平均收敛得快得多。这一观察结果促使越来越多的平均方案,把更多的权重放在后面的迭代,而不是通常的均匀平均。我们表明,这种增加平均计划,适用于各种一阶方法,能够保持$O(1/T)$收敛速度,没有额外的假设或计算开销。在零和博弈求解、市场均衡计算和图像去噪等方面的大量数值实验证明了所提方案的有效性。特别是,增加的平均值在所有测试问题中始终优于均匀平均值。在解决矩阵和扩展形式的游戏时,增加平均值也始终优于最后一次迭代。对于矩阵游戏,一阶方法配备了增加平均优于竞争激烈的CFR $^+$算法。
2020-06-13 cs.GT cs.LG math.OC
Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression
Johns Hopkins University(约翰斯·霍普金斯大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Harvard University(哈佛大学)
随机梯度下降(SGD)已被证明在许多深度学习应用中具有良好的推广性。在实践中,人们经常以几何衰减步长运行SGD,即,一个恒定的初始步长,然后是多个几何步长衰减,并使用最后一个步长作为输出。已知这种SGD对于经典的有限维线性回归问题几乎是最小最大最优的(Ge等人,2019年)。然而,在过度参数化设置下对SGD的最后一个周期的尖锐分析仍然是开放的。在本文中,我们提供了一个问题相关的分析的最后一个风险界的SGD与衰减步长,(过参数化)线性回归问题。特别是,对于最后一个具有(尾部)几何衰减步长的SGD,我们证明了几乎匹配的上限和下限的超额风险。此外,我们提供了一个额外的风险下限与多项式衰减步长的最后一个SGD和几何衰减步长的优势,在一个实例的方式,这补充了极大极小率比较在以前的作品。
2022-07-11 cs.LG math.OC stat.ML
On the Last-Iterate Convergence of Shuffling Gradient Methods
Stern School of Business, New York University(纽约大学斯特恩商学院);Arena Technologies(Arena科技公司)
本文首次在无强凸性条件下证明了混洗梯度方法关于目标函数值的最后迭代收敛速率,弥合了实践与理论之间的差距,结果接近现有下界或达到平均迭代的最佳上界水平。
2024-06-06 cs.LG math.OC stat.ML
Average-and Last-Iterate Lower Bounds for Optimistic Matrix Mirror-Prox in Quantum Zero-Sum Games
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过显式量子零和博弈,证明了乐观矩阵镜像近端算法在平均迭代和最后迭代收敛上的下界,并揭示了乐观梯度下降-上升和乐观矩阵乘法权重更新的收敛速率。
2026-10-01 cs.GT cs.LG math.OC
Convergence of Extragradient SVRG for Variational Inequalities: Error Bounds and Increasing Iterate Averaging
研究变分不等式外梯度SVRG算法在弱于强单调性的误差界条件下的最后迭代线性收敛性,并扩展至弱锐性假设与递增迭代平均技术。
2023-12-30 cs.GT math.OC
Last-iterate convergence of modified predictive method via high-resolution differential equation on bilinear game
本文研究双线性博弈中修正预测方法(MPM)对应的高分辨率微分方程(MPM-HRDE)的收敛性,给出了解的唯一性和收敛结果,填补了文献空白并扩展了相关工作。
2024-05-23 math.OC
Last Iterate Convergence of AdaGrad-Norm for Convex Non-Smooth Optimization
Yaroslavl Demidov State University(雅罗斯拉夫尔·杰米多夫国立大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文研究AdaGrad方法最后迭代的收敛性,推导出最终点的次优界,并证明在最优步长下,最后迭代收敛速率为O(1/N^{1/4}),并通过下界构造证明该速率是紧的。
2026-04-12 math.OC
Large-Step Last-Iterate Convergence of Random-Reshuffling Stochastic Gradient Descent
Hong Kong University of Science and Technology(香港科技大学)
针对RR-SGD最后迭代的步长限制问题,通过保留采样偏差消除1/n因子,建立了大步长下的最后迭代收敛界,其收敛率在对数因子内与平均迭代匹配。
2026-10-15 cs.LG math.OC stat.ML
Fast Last-Iterate Convergence of Learning in Games Requires Forgetful Algorithms
Yale(耶鲁大学);MIT(麻省理工学院);HEC Paris(巴黎高等商学院);Columbia(哥伦比亚大学);USC(南加州大学)
本文证明乐观乘性权重更新等不快速遗忘过去的算法在两人零和博弈中最后迭代收敛可能任意慢,存在常数对偶间隙,揭示了遗忘性对快速收敛的必要性。
2025-01-21 cs.GT cs.LG math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题,证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率,并说明动量可加速早期收敛。
2025-05-16 math.OC
Exponential Convergence of Gradient Methods in Concave Network Zero-sum Games
University of British Columbia(不列颠哥伦比亚大学)
受生成对抗网络的启发,我们研究了凹网络零和博弈(NNORGs)中纳什均衡的计算问题,NNORGs是线性支付的二人零和博弈的多人推广.推广以前的结果,我们表明,各种博弈论性质的凹凸两个球员零和游戏保持在这个推广。然后,我们推广了最后的收敛结果先前在两个球员零和游戏。我们分析收敛速度时,球员更新他们的策略使用梯度上升,其变体,乐观梯度上升,显示最后的收敛在三个设置-当球员的收益是线性的,强凹和Lipschitz,强凹和光滑。我们提供的实验结果支持这些理论研究结果。
2020-07-10 cs.GT cs.LG math.OC
On the Last Iterate Convergence of Momentum Methods
Boston University(波士顿大学);George Mason University(乔治梅森大学)
SGD with Momentum(SGDM)是一种广泛用于机器学习问题大规模优化的算法族。然而,当优化通用凸函数时,任何SGDM算法都没有比普通SGD算法更好的优势。此外,即使是最新的结果需要改变的SGDM算法,如平均的迭代和投影到一个有界域,这是很少使用在实践中。在本文中,我们主要关注的SGDM的最后一个收敛速度。第一次证明了对于任意的常数动量因子,存在一个Lipschitz凸函数,使得SGDM的最后一步迭代在经过$T$迭代后收敛速度为$Ω(\frac{\ln T}{\sqrt{T}})$.基于这一事实,我们研究了一类(自适应和非自适应)基于Follow-The-Regularized-Leader-based SGDM算法的增加动量和收缩更新。对于这些算法,我们证明了最后一个无约束凸随机优化问题的最佳收敛$O(\frac{1}{\sqrt{T}})$没有投影到有界域,也没有知识的$T$。此外,我们展示了各种基于FTRL的SGDM与自适应步长一起使用时的结果。实证结果也显示。
2022-07-24 cs.LG math.OC stat.ML
Revisiting the Last-Iterate Convergence of Stochastic Gradient Methods
Stern School of Business, New York University(纽约大学斯特恩商学院)
本文研究随机梯度方法的最后迭代收敛性,提出统一证明方法,适用于一般领域、复合目标、非欧几里得范数、Lipschitz条件、光滑性和强凸性,并扩展到重尾和亚Weibull噪声。
2026-03-19 cs.LG math.OC stat.ML
Tight last-iterate convergence rates for no-regret learning in multi-player games
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT EECS(麻省理工学院电子工程与计算机科学系)
研究了多人博弈中无遗憾学习算法的最后收敛速度问题。我们表明,乐观梯度(OG)算法与一个恒定的步长,这是没有遗憾的,实现了最后一次搜索率$O(1/\sqrt{T})$的间隙函数在光滑单调游戏。这一结果解决了Mertikopoulos & Zhou(2018)的一个问题,他们询问是否可以应用额外梯度方法(如OG)来实现多智能体学习环境中的改进保证。我们的上限的证明使用了一种新的技术,围绕在每次迭代的潜在功能的自适应选择。我们还表明,$O(1/\sqrt{T})$率是紧的所有$p$ -SCLI算法,其中包括OG作为一种特殊情况。作为我们的下界分析的副产品,我们还提出了Arjevani等人的猜想的证明。(2015)这比以前的方法更直接。
2020-10-26 cs.LG math.OC
On the Last-Iterate Convergence of Clipped Gradient Methods
New York University(纽约大学)
本研究针对重尾噪声下随机梯度下降(SGD)无法收敛的问题,为结合梯度截断的Clipped-SGD算法,首次证明了高概率下的最优最后迭代收敛速率,填补了相关理论空白。
2026-10-16 cs.LG math.OC stat.ML
Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
Department of Computer Science, University of British Columbia(计算机科学系,不列颠哥伦比亚大学)
本文研究了随机近似算法在处理加法复合凸优化问题时,最后迭代的收敛速度,证明了在组件凸性和光滑性条件下,收敛速度为~O(1/√T),并适用于多任务和联邦学习中的图引导正则化。
2026-02-05 cs.LG math.OC stat.ML
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);Meta AI Research(Meta人工智能研究院)
多智能体强化学习(MARL)--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展,但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战,不幸的是,现有理论仍然高度不足。在本文中,我们专注于竞争性多智能体RL的最基本的设置,即两个玩家零和马尔可夫游戏,并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理,其中的政策是通过熵正则化的乐观乘性权重更新(OMWU)的方法更新和更新的值在一个较慢的时间尺度。我们表明,在全信息表格设置中,所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡,这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性,并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
A New Randomized Primal-Dual Algorithm for Convex Optimization with Optimal Last Iterate Rates
针对一类非光滑约束凸优化问题,提出了一种新的统一随机块坐标原始对偶法,该算法涵盖了文献中已有的不同变量和模型设置.我们证明了我们的算法达到最佳的$\mathcal{O}(n/k)$和$\mathcal{O}(n^2/k^2)$收敛速度(直到一个常数因子)在两种情况下:一般凸性和强凸性,分别,其中$k$是迭代计数器和n是块坐标的数量。我们的收敛速度是通过三个标准:原始目标残差和原始可行性违反,双重目标残差,和原始-对偶期望差距。此外,我们对原始问题的速度是在最后一个序列上。我们的对偶收敛保证还需要一个Lipschitz连续性假设。我们指定我们的算法来处理两个重要的特殊情况,我们的利率仍然适用。最后,我们验证了我们的算法在两个研究的数值例子,并比较它与现有的两种方法。我们的结果表明,所提出的方法具有令人鼓舞的性能在不同的实验。
2021-10-28 math.OC stat.ML
Last-iterate convergence analysis of stochastic momentum methods for neural networks
Northeast Normal University(东北师范大学);Changchun Humanities and Sciences College(长春人文学院);Imperial College London(帝国理工学院)
随机动量法是人工神经网络中求解大规模随机最优化问题的一种常用加速技术。现有的随机动量方法在非凸随机背景下的收敛性结果大多是从随机输出和最小输出两个方面讨论收敛性的。为此,我们解决的最后一个收敛的最后一个输出(称为最后一个收敛)的随机动量方法的非凸随机最优化问题,与传统的优化理论共形。在统一的框架下,我们证明了随机动量方法的最后收敛性,包括随机重球动量和随机Nesterov加速梯度动量。动量因子可以固定为常数,而不是现有分析中的时变系数。最后,在MNIST和CIFAR-10数据集上验证了随机动量方法的收敛性。
2022-05-30 cs.LG cs.NA math.NA
Last-Iterate Complexity of SGD for Convex and Smooth Stochastic Problems
本文证明在凸光滑随机优化问题中,无需随机梯度方差一致有界的不可验证假设,SGD 即可达到 $\tilde O(T^{-1/2})$ 的最后迭代复杂度,解决了此前仅能对遍历函数值差距给出界的问题。
2025-07-18 math.OC
Gradient Descent's Last Iterate is Often (slightly) Suboptimal
Weizmann Institute of Science(魏茨曼科学研究所);University of Toronto(多伦多大学)
本文研究了使用梯度下降或其随机变体进行凸Lipschitz函数最小化时最后迭代收敛性,证明了在无先验知识的情况下,无法避免在任何时间范围内具有多项对数因子的次优误差。
2026-10-27 cs.LG math.OC
Last-Iterate Convergence of Optimistic Gradient Method for Monotone Variational Inequalities
过去的超梯度(PEG)[Popov,1980]方法,也被称为乐观梯度法,随着机器学习的变分不等式公式的出现,最近在优化界引起了人们的兴趣。最近,在无约束的情况下,Golowich等人[2020]证明了对于具有Lipschitz Jacobian的Lipschitz和单调算子,可以实现关于算子平方范数的$O(1/N)$最后一次收敛速度。在这项工作中,通过引入一种新的分析,通过势函数,我们表明:(i)这$O(1/N)$最后一个收敛可以实现没有任何假设的雅可比算子,和(ii)它可以扩展到约束的情况下,这是没有得到之前,即使在Lipschitz雅可比。这个证明与Golowich等人[2020]的证明有很大不同,而且它的发现是计算机辅助的。这些结果解决了单调变分不等式的PEG的最后收敛性问题。
2022-10-31 math.OC
Revisiting AdaGrad in Stochastic Convex Optimization: Last Iterates, High Probability, and Lower Bounds
Shanghai University of Finance and Economics(上海财经大学)
本文重新审视随机凸优化中的AdaGrad方法,证明其无通用最后迭代速率,并给出紧下界,同时表明有界迭代条件下可消除log T损失,达到O(1/√T)速率。
2026-09-29 cs.LG math.OC
Last Iterate Convergence of Incremental Methods and Applications in Continual Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文首次在一般凸光滑和凸Lipschitz设置下建立了增量梯度法与增量近端法最后迭代的收敛性保证,其oracle复杂度界几乎匹配平均迭代的最优界,并将结果推广到加权平均和随机排列更新,同时论证了强正则化对持续学习中防止灾难性遗忘的关键作用。
2024-06-28 cs.LG math.OC
Last-Iterate Convergence Rate of Normalized Gradient Descent under Hölder Smoothness
Toyota Motor Corporation(丰田汽车公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究归一化梯度下降在Hölder光滑凸目标下的末次迭代收敛速率,提出恒定步长含对数开销的上界,并证明线性递减步长可达到最优阶,无需先验参数知识。
2026-10-06 cs.LG math.OC
Last iterate convergence of SGD for Least-Squares in the Interpolation regime
EPFL(洛桑联邦理工学院)
受最近成功的神经网络,有能力完美地拟合数据和推广,我们研究了无噪声模型的基本最小二乘设置。我们假设最佳预测器完美地拟合输入和输出$\langle θ_* , ϕ(X) \rangle = Y$,其中$ϕ(X)$代表可能无限维的非线性特征映射。为了解决这个问题,我们考虑了由恒定步长的随机梯度下降(SGD)的最后一阶给出的估计。在这方面,我们的贡献有两个方面:(一)A(随机)优化的角度来看,我们展示了一个原型问题,我们可以显式地显示收敛的SGD最终收敛的非强凸问题与恒定的步长,而通常的结果使用某种形式的平均值和(ii)从统计的角度来看,我们在过参数化设置中给出了显式的非渐近收敛速率,并利用问题的细粒度参数化来展示可以比$O(1/T)$更快的多项式速率。建立了与再生核Hilbert空间的联系。
2021-06-02 cs.LG math.OC stat.ML
Exact convergence rate of the last iterate in subgradient methods
本研究针对有界次梯度非光滑凸函数最小化问题,提出新证明技术得到投影次梯度方法最后迭代点的精确最坏收敛速率,推导了最优恒定步长,并构造了达到黑箱方法下界的最优次梯度方法,证明步长序列需依赖迭代次数。
2023-07-20 math.OC
Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size
University of Michigan(密歇根大学);National University of Singapore(新加坡国立大学)
研究SGD在贪心步长下对光滑二次插值问题的最后轮收敛,证明t次迭代达到O(1/t^{3/4})收敛速度,改进了Attia等人提出的O(1/t^{1/2})保证。
2026-04-10 cs.LG cs.NA math.NA
An Improved Last-Iterate Convergence Rate for Anchored Gradient Descent Ascent
本文研究了锚定梯度下降上升算法在光滑凸-凹min-max问题中的最后迭代收敛性,证明了改进的精确O(1/t)收敛速率,通过AI系统自主证明。
2026-04-04 cs.AI math.OC
A Minimax Analysis of the Last Iterate of the SubGradient Method in Finite Dimension
Aarhus University(奥胡斯大学);University of Ottawa(渥太华大学);University of Bristol(布里斯托大学)
研究\(\mathbb{R}^2\)上凸Lipschitz目标函数的次梯度法最后一次迭代,采用常数步长\(\eta = \Theta(1/\sqrt{n})\),证明其优化误差为\(1/\sqrt{n}\)阶,解决了相关开放问题。
2026-11-04 math.OC
Extragradient-Type Methods with $\mathcal{O} (1/k)$ Last-Iterate Convergence Rates for Co-Hypomonotone Inclusions
本文提出两种Nesterov加速的外梯度方法求解余次单调包含问题,分别基于Tseng分裂和“过去”FBFS方案,在适当条件下证明残差范数达到$\mathcal{O}(1/k)$末次迭代收敛速率,并给出额外锚定梯度方法的对比分析。
2023-10-14 math.OC stat.ML
Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
Google Research(谷歌研究院)
针对DP-SGD最后迭代隐私核算的挑战,本研究放弃强假设,为循环采样、梯度裁剪的DP-SGD变体建立了基于小步长和利普希茨光滑性的RDP上界,提升了最后迭代隐私核算的实用性。
2025-02-10 cs.CR cs.DS cs.LG
New Bounds for the Last Iterate of the Stochastic subGradient Method
Department of Computer Science, Aarhus University(阿arhus大学计算机科学系);School of Electrical Engineering and Computer Science, University of Ottawa(渥太华大学电气工程与计算机科学学院);School of Mathematics, University of Bristol(布里斯托大学数学学院)
针对一维凸Lipschitz目标,证明在i.i.d.次梯度噪声下,固定步长随机次梯度方法的最后迭代优化误差为$1/\sqrt{n}$,去除了对数因子;无i.i.d.假设时误差为$(\log n)/\sqrt{n}$,否定了一个开放问题。
2026-06-24 cs.LG math.OC
Last-Iterate Convergence of Anchored Gradient Descent
Yale University(耶鲁大学)
本文研究了单调包含问题,提出扩展锚定梯度下降方法并证明了其在切线残差下的O(1/√T)收敛率。
2026-04-14 math.OC
Improved Last-Iterate Convergence of Shuffling Gradient Methods for Nonsmooth Convex Optimization
Zijian Liu(刘子健);Zhengyuan Zhou(周正元)
针对带正则化的非光滑凸优化,本文首次为shuffling梯度方法提供了改进的末次迭代分析,证明RR和SS策略均优于Proximal GD,并给出了RR方案下后缀平均的近最优收敛结果。
2025-05-29 cs.LG math.OC stat.ML
Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations
University of California, Berkeley(加州大学伯克利分校)
本文采用流体动力学中的高分辨率微分方程(HRDEs)为多种鞍点优化方法建模,证明该模型能区分不同方法的收敛特征,并证明OGDA在一般单调变分不等式下具有末次迭代收敛性。
2023-07-31 cs.LG math.OC stat.ML
Last-Iterate Convergence of Clipped SGD with Linear Decay
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Nanjing University(南京大学)
本文研究重尾噪声下Clipped SGD的最后迭代收敛性,针对不同目标函数及存在因果敌手的场景给出误差界,并提供对应下界。
2026-10-14 cs.LG math.OC
Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation
Department of Computer Science, Yale University(耶鲁大学计算机科学系);Department of Electrical Engineering and Computer Sciences, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系);Department of Industrial Engineering and Operations Research, Columbia University(哥伦比亚大学工业工程与运筹学系);Department of Computer Sciences, University of Wisconsin-Madison(威斯康星大学麦迪逊分校计算机科学系)
本文针对黎曼流形上的测地强单调博弈,首次建立了 RGD 及其随机和自适应变体(SRGD、FARGD)的几何无关最后迭代线性收敛保证,并证明了样本复杂度的最优性和对条件数的独立性。
2025-11-10 cs.GT cs.LG math.OC
Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities
Yale University(耶鲁大学)
单调变分不等式是数学规划中的一个中心问题,它统一和推广了光滑凸优化、二人零和对策、凹凸鞍点问题、Korpelevich [1976]提出的外梯度算法和Popov [1980]提出的最优梯度下降-上升算法可以说是求解单调变分不等式的两种最经典和最流行的方法。尽管历史悠久,但以下主要问题仍然存在。对于带约束的单调和Lipschitz变分不等式,超梯度算法或乐观梯度下降-上升算法的最终收敛速度是多少?我们通过证明额外梯度算法和乐观梯度下降-上升算法对于任意凸可行集都具有严格的$O\left(\frac{1}{\sqrt{T}}\right)$最后迭代收敛速度来解决这个悬而未决的问题,该收敛速度与Golowich等人的下限相匹配。[2020 a,b]。我们的比率是用标准差距函数来衡量的。在我们的研究结果的核心在于一个非标准的性能指标-切线残差,它可以被看作是一个适应的范数的运营商,考虑到当地的约束。我们使用切线残差(或切线残差的微小变化)作为势函数来分析额外梯度算法(或乐观梯度下降-上升算法),并证明了它在两个连续迭代之间是不增加的。
2022-05-16 cs.DS cs.GT cs.LG
Optimal Primal-Dual Algorithm with Last iterate Convergence Guarantees for Stochastic Convex Optimization Problems
针对带函数约束的复合非光滑随机凸优化,提出基于增广拉格朗日和约束线性化的Aug-ConEx算法,首次在最后迭代上取得无额外log K因子的最优及加速收敛保证。
2024-10-24 math.OC
Differential Dynamic Programming for Nonlinear Dynamic Games
当多个具有不同目标的代理选择对动态系统的控制输入时,动态博弈出现。动态博弈模型广泛应用于经济、国防和能源系统。然而,与单智能体控制问题相比,动态博弈的计算方法相对有限。在单智能体的情况下,只有非常专业的动态游戏可以精确地解决,所以近似算法是必需的。本文将单智能体控制的微分动态规划算法推广到非零和全信息动态博弈的情形。该方法的工作原理是计算二次近似的动态规划方程。近似结果在静态二次游戏,递归解决。收敛性证明表明,该算法迭代足够接近迭代的牛顿法继承其收敛性能。最后给出了数值算例。
2018-09-21 math.OC
Making the Last Iterate of SGD Information Theoretically Optimal
Microsoft Research(微软研究院);Massachusetts Institute of Technology(麻省理工学院)
随机梯度下降(SGD)算法是求解大规模优化问题最常用的算法之一。而经典的凸问题SGD理论分析研究(后缀)\emph{averages}的迭代,并获得信息理论上的最优次优界,SGD的\emph{last point}是,到目前为止,在实践中最优选的选择。然而,SGD \cite{shamir2013stochastic}的最后一点的最佳已知结果与信息理论下限相比是次优的,因为$\log T$因子,其中$T$是迭代次数。\cite{harvey2018tight}表明,事实上,这个额外的$\log T$因子对于分别用于非强凸和强凸设置的$\OTheta{\frac{1}{\sqrt{t}}}$和$\OTheta{\frac{1}{t}}$的标准步长序列是紧的。类似地,即使对于次梯度下降(GD),当应用于非光滑凸函数时,最著名的步长序列仍然导致$O(\log T)$ -次优收敛速度(在最终的收敛速度上)。这项工作的主要贡献是设计新的步长序列,享受信息理论上的次优性的\emph{last point}的SGD以及GD的最佳界限。我们通过设计一个修改方案来实现这一点,该方案将一个步长序列转换为另一个步长序列,使得具有修改序列的SGD/GD的最后一点具有与具有原始序列的SGD/GD的平均值相同的次优性保证。我们还表明,我们的结果具有很高的概率。我们通过仿真验证了我们的结果,这表明,新的步长序列…
2019-05-29 cs.LG math.OC
Convergence Rate of Generalized Nash Equilibrium Learning in Strongly Monotone Games with Linear Constraints
本文研究线性联合凸约束和强单调伪梯度博弈中的广义纳什均衡学习,提出基于部分正则化的收敛算法,并首次给出单点和两点收益反馈下迭代收敛到变分GNE的速率。
2025-07-16 math.OC
Cluster formation in iterated Mean Field Games
该研究构建一维迭代平均场博弈模型刻画意见谱系上的联盟形成过程,证明当最终耦合为特定紧支集光滑偶函数形式时,种群随迭代次数增加会聚集成离散群体,并探讨了其对意见动力学与政治系统的意义。
2023-11-06 math.DS math.OC
Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文分析插值情形下光滑凸损失中 SGD 最后迭代的总体收敛,给出含最优点梯度方差的风险界,并在零方差情形将速率改进至 O(1/√T)。
2025-07-28 cs.LG math.OC stat.ML
Last-Iterate Convergence of Optimistic Multiplicative Weight Update
King Abdullah University of Science and Technology(卡塔尔科学与技术大学)
本文证明乐观乘性权重更新(OMWU)在光滑凸-凹鞍点问题中以足够小的常数学习率渐近收敛,无需唯一性、严格互补性、误差界或接近解的初始化。
2026-06-11 cs.LG math.OC
Parameter-Free Non-Ergodic Extragradient Algorithms for Solving Monotone Variational Inequalities
Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
本文提出无参数非平稳额外梯度算法,解决单调变分不等式问题,实现非渐进最后迭代保证,适用于局部Lipschitz算子,并在多个应用中展示出优越性能。
2026-04-15 cs.LG math.OC
Last-iterate Convergence of ADMM on Multi-affine Quadratic Equality Constrained Problem
Technical University of Munich(慕尼黑工业大学)
本文研究了ADMM在多仿射二次等式约束问题中的收敛性,证明了在特定条件下ADMM具有线性收敛率,并通过机器人运动中的实例验证了理论结果。
2026-03-12 math.OC
Last-Iterate Convergence of Single-Loop Stochastic Methods for Constrained Convex-Concave Minimax Problems
RIKEN AIP(理化学研究所先进智能计算中心);Sauder School of Business, University of British Columbia(不列颠哥伦比亚大学 Sauder 商学院);Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong(香港中文大学系统工程与工程管理系)
研究约束凸-凹极小极大问题单环随机方法的最后迭代收敛性,引入扰动框架正则化问题,得到PS-EG和PS-OGDA方法。在已知或未知优化视界时分别给出收敛速率保证,无约束时PS-EG在梯度范数上有更优随时收敛速率。
2026-07-14 math.OC
A Mini-Batch Counterexample to Last-Iterate Convergence in Definable Optimization
本文针对带可定义势函数的小批量随机近似的收敛猜想,构造出迭代不收敛的小批量反例,明确其聚点集为[-1,1],且构造过程使用了Chat-GPT 5.6和Gemini Pro 3.1。
2026-08-20 math.OC
Last-Iterate Performance of Gradient Descent and Relaxed Proximal Point via $s$-Composability
École Polytechnique(巴黎综合理工学院)
本文利用$s$-可组合性证明常数步长最优性及银调度的末次迭代最坏情况目标间隙常数,解决多个开放问题。
2026-09-22 math.OC
Improving the Last-Iterate Guarantees of Anytime Algorithms for Stochastic Monotone Variational Inequalities
University of British Columbia(不列颠哥伦比亚大学)
本研究提出一种带Halpern锚定的单循环随机算法,用于约束凸-凹问题和单调变分不等式,实现任意时间最后迭代收敛速率$O(t^{-1/4})$,优于现有$O(t^{-1/5})$,并适用于无界可行集和无界方差场景。
2026-09-25 cs.LG math.OC
Extragradient Method: $O(1/K)$ Last-Iterate Convergence for Monotone Variational Inequalities and Connections With Cocoercivity
MIPT(莫斯科物理技术学院);Mila(米拉人工智能研究所);UdeM(蒙特利尔大学);Johns Hopkins University(约翰斯·霍普金斯大学)
外梯度法(EG)(Korpelevich,1976)是求解鞍点和变分不等式问题(VIP)的最常用的方法之一。尽管它的历史悠久,并在优化社区的显着关注,仍然存在重要的开放性问题的收敛EG。在本文中,我们解决了这样的问题之一,并推导出EG的第一个最后一个$O(1/K)$收敛速度,对于单调和Lipschitz VIP,不需要对算子进行任何额外的假设,这与这种类型的唯一已知结果不同(Golowich等人,2020),它依赖于算子的雅可比矩阵的Lipschitzness。该速率是根据减少运算符的平方范数给出的。此外,当原算子为单调Lipschitz算子时,我们建立了EG、乐观梯度法和Hamilton梯度法的更新算子的(非)余尾性的几个结果.
2022-02-22 cs.LG math.OC
Last Iterate Convergence of Popov Method for Non-monotone Stochastic Variational Inequalities
Arizona State University(亚利桑那州立大学)
本文针对非单调随机变分不等式,引入p-拟尖锐算子类,证明随机Popov方法在线性增长下几乎必然收敛并给出末次迭代速率,数值实验显示其优于随机投影方法。
2023-10-25 math.OC