Theoretical analysis of Adam using hyperparameters close to one without Lipschitz smoothness
Meiji University（明治大学）
自适应矩估计（Adam）及其变体等自适应方法的收敛性和收敛速度分析在非凸优化问题中得到了广泛的研究。分析基于预期或经验平均损失函数为Lipschitz平滑（即，其梯度是Lipschitz连续的），并且学习率取决于Lipschitz连续梯度的Lipschitz常数。同时，Adam及其变体的数值评估表明，使用小的常数学习率而不依赖于Lipschitz常数和接近1的超参数（$β_1$和$β_2$）对于训练深度神经网络是有利的。由于计算Lipschitz常数是NP困难的，Lipschitz光滑条件将是不切实际的。本文在不假设Lipschitz光滑性条件的情况下对Adam进行了理论分析，以弥合理论与实践之间的差距。主要的贡献是显示理论证据，亚当使用小学习率和超参数接近1表现良好，而以前的理论结果都是超参数接近零。我们的分析还导致发现Adam在大批量的情况下表现良好。此外，我们表明，亚当表现良好，当它使用递减的学习率和超参数接近1。
2022-06-27 cs.LG math.OC
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology（计算机科学与技术学院 国防科技大学）；Center for Machine Learning Research (CMLR) Peking University（机器学习研究中心（CMLR） 北京大学）
本文针对重尾噪声下的非凸SGD收敛问题，重新探究梯度归一化与裁剪的作用，证明归一化单独即可保证收敛，二者结合可提升收敛速率，还提出了加速变体并给出统一理论与实践指导。
2025-11-19 cs.LG math.OC stat.ML
Clipping the Price of Adaptivity at the Tail
Tel Aviv University（特拉维夫大学）；University of Pittsburgh（匹兹堡大学）
针对自适应随机凸优化中无法同时适应初始距离和Lipschitz常数不确定性的问题，提出一种在尾部对模型输出进行剪裁的方法，实现了对数级别的自适应。
2026-06-23 cs.LG math.OC
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Northwestern University（西北大学）
针对机器学习中存在的非均匀平滑性问题，本文提出了一种结合梯度裁剪与方差缩减的快速随机拟牛顿方法，实现了最优的样本复杂度并取得显著的收敛加速效果。
2024-09-26 cs.LG math.OC
Convex and Non-convex Optimization Under Generalized Smoothness
Massachusetts Institute of Technology（麻省理工学院）
针对经典优化分析依赖梯度利普希茨条件的局限，本文推广非均匀光滑条件，提出轨迹梯度界化的分析技术，无需梯度裁剪即可得到多种方法在凸/非凸场景的经典收敛率，还可处理重尾噪声。
2023-11-03 cs.LG math.OC stat.ML
High-Probability Convergence of Clipped SGD under Heavy-Tailed Noise and $(L_0,L_1)$-Smoothness
MCAS（麦吉尔-西奈大学（McGill-Sinai Academy））；MBZUAI（穆罕默德·本·拉希德智能研究院（MBZUAI））
本文研究重尾噪声与 $(L_0,L_1)$-光滑性下凸优化的 Clip-SGD 收敛问题，首次建立高概率收敛界，并统一恢复确定性和 $L_1=0$ 随机特例。
2026-09-30 cs.LG math.OC
Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
Department of Computer Science, University of Maryland, College Park.（计算机科学系，马里兰大学 College Park 分校）；Department of Computer Science（计算机科学系）；Engineering, University of Texas Arlington（工程学院，德克萨斯大学阿灵顿分校）
针对常见机器学习模型不满足Lipschitz平滑性的问题，本文在不假设该条件下重新审视了Shuffling型梯度方法的收敛率，提出步长策略使其在较弱假设下匹配当前最佳收敛率，并在多种凸性条件下证明了收敛性，数值实验验证了其有效性。
2025-07-11 cs.LG math.OC stat.ML
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University（国立台湾大学）
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择，提出数据相关的小损失与渐变悔界，设计的算法兼具良好悔速率与计算效率，并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
Improved Analysis of Clipping Algorithms for Non-convex Optimization
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
梯度裁剪通常用于训练深度神经网络，部分原因是其在缓解梯度爆炸问题方面的实用性。最近，\citet{zhang2019gradient}通过引入一个新的假设，即$(L_0, L_1)$ -光滑性，表明剪切（随机）梯度下降（GD）比香草GD/SGD收敛得更快，该假设描述了深度神经网络中通常遇到的梯度剧烈波动。然而，他们的迭代复杂性的问题依赖的参数是相当悲观的，裁剪与其他关键技术，如动量加速，仍然缺乏理论依据。在本文中，我们提出了一个通用的框架来研究裁剪算法，其中也考虑到动量方法的差距。我们提供的框架在确定性和随机设置的收敛性分析，并证明我们的结果与现有的下限进行比较，证明了我们的结果的紧密性。我们的研究结果意味着，效率的裁剪方法不会退化，即使在高度非光滑的地区的景观。实验证实了基于裁剪的方法在深度学习任务中的优越性。
2020-10-29 cs.LG math.OC stat.ML
Almost Sure Convergence Analysis of Stochastic Gradient Methods with Clipping and Additive Noise
University of Waterloo（滑铁卢大学）
本文证明带裁剪和加性高斯噪声的随机梯度下降在光滑性和噪声有界假设下几乎必然收敛，并推广至动量变体，为裁剪方法的路径行为提供理论基础。
2026-09-17 cs.LG math.OC math.PR
On Lipschitz Continuity and Smoothness of Loss Functions in Learning to Rank
在二元分类和回归问题中，损失函数的Lipschitz连续性和光滑性在经验风险最小化算法的泛化误差界中起着关键作用。在本文中，我们将展示这两个属性如何影响泛化误差界的学习排序问题。学习排序问题涉及向量值的预测，因此选择的规范，其中Lipschitz连续性和光滑性的定义变得至关重要。选择$\ell_\infty$规范在我们的定义Lipschitz连续性允许我们改善现有的界限。此外，在平滑的假设下，我们的选择使我们能够证明率之间的插值$1/\sqrt{n}$和$1/n$率。将我们的结果应用到ListNet（一种流行的学习排序方法）中，可以提供最先进的性能保证。
2016-09-13 cs.LG stat.ML
Convergence Guarantees of Gradient Descent for Neural Networks via Generalized Lipschitz Smoothness
该研究针对无特殊初始化或数据集要求的一般前馈神经网络，利用激活函数的广义利普希茨光滑性，证明了梯度下降的收敛性，给出了最小平方梯度范数的收敛速率。
2026-09-29 cs.LG
Non-Uniform Smoothness for Gradient Descent
University of Michigan（密歇根大学）；University of Sydney（悉尼大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）
本文提出局部一阶光滑性预言机（LFSO），推广Lipschitz梯度条件，用于梯度下降步长调优，并在非强凸平坦极小值问题上实现全局线性收敛，超越一般一阶方法的下界。
2023-11-15 cs.LG math.OC
Glocal Smoothness: Line search and adaptive step sizes can help in theory too!
Stanford University（斯坦福大学）
本文提出全球局部平滑性概念，通过函数属性定义，允许用迭代无关常数界迭代复杂度，展示线搜索优于固定步长，且在某些情况下梯度下降比加速方法更优。
2026-05-15 cs.LG math.OC
From Dual Tracking to Clipping: Provably Faster Distributionally Robust Multi-Objective Optimization
Department of Computer Science（计算机科学系）；Texas A& M University（德克萨斯A&M大学）；University of Maryland（马里兰大学）
本文提出分布鲁棒多目标优化（DR-MOO），通过多梯度下降算法（MGDA）在非凸设定下实现ε-Pareto- stationary点，改进样本复杂度至O(ε^{-4})。
2026-10-07 cs.LG math.OC
Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
MIPT（莫斯科物理技术学院）；Skoltech（斯克里普奇学院）；Yandex；EPFL（瑞士联邦理工学院）；Innopolis University（因诺波利斯大学）
本文提出符号算子方法处理非凸优化中的重尾噪声，在$(L_0,L_1)$-光滑性下给出首个高概率收敛界，并证明SignSGD在训练大语言模型中优于裁剪和归一化。
2025-05-27 cs.LG math.OC
DP-SGD with weight clipping
MAGNET INRIA
针对差分隐私梯度下降中传统梯度裁剪的偏差问题，提出利用模型Lipschitz值公开上界和搜索域位置实现精细化噪声调整的新算法，实证显示其差分隐私保证更优且实践性能超过现有方法。
2025-02-10 cs.CR cs.LG
Convergence of Stochastic Gradient Methods under Heavy-Tailed Noise and Hölder Smoothness
Indian Institute of Science Education and Research Kolkata（印度科学教育与研究学院加尔各答分校）；The University of Manchester（曼彻斯特大学）
本文在Hölder光滑和重尾噪声下，证明标准SGD、δ-GClip和G-Clip的收敛速率，其中G-Clip在极重尾区域首次获得收敛保证。
2026-09-14 cs.LG math.OC stat.ML
Adaptive proximal algorithms for convex optimization under local Lipschitz continuity of the gradient
KU Leuven（鲁汶大学）；Kyushu University（九州大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
提出自适应近端梯度法adaPG和自适应原始-对偶算法adaPD及其变体，利用局部光滑模量估计实现无回溯步长自适应，处理非光滑项，数值实验验证其优于现有方法。
2024-03-13 cs.LG math.OC
A Communication-Efficient Distributed Gradient Clipping Algorithm for Training Deep Neural Networks
George Mason University（乔治梅森大学）；Meta Platforms, Inc.（元平台公司）；University of Birmingham（伯明翰大学）；Texas A&M University（得克萨斯农工大学）
在深度神经网络的分布式训练中，人们通常在每台机器上运行随机梯度下降（SGD）或其变体，并定期与其他机器进行通信。然而，SGD在训练一些深度神经网络（例如，RNN，LSTM），因为梯度爆炸问题。梯度裁剪通常用于解决单机环境中的这个问题，但在分布式环境中探索这项技术仍处于起步阶段：梯度裁剪方案是否可以利用多台机器来享受并行加速仍然是个谜。其主要技术难点在于同时处理非凸损失函数、非Lipschitz连续梯度和跳过通信轮。在本文中，我们探索了LSTM在以前的工作中所满足的损失景观的松弛平滑假设，并设计了一种通信高效的梯度裁剪算法。该算法可以在多台机器上运行，其中每台机器采用梯度裁剪方案，并在多个基于梯度的更新步骤之后与其他机器通信。我们的算法被证明有$O\left(\frac{1}{Nε^4}\right)$迭代复杂性和$O(\frac{1}{ε^3})$通信复杂性，寻找一个$ε$ -平稳点在齐次数据设置，其中$N$是机器的数量。这表明，我们的算法享有线性加速比和减少通信轮。我们的证明依赖于新的分析技术估计截断随机变量，我们相信是独立的利益。我们在多个基准数据集和各种场景上的实验表明，我们的算法在实践中确实表现出快速的收敛速度，从而验证了我们的理论。
2022-10-13 cs.DC cs.LG math.OC
Extended convexity and smoothness and their applications in deep learning
College of Electronics and Information Engineering, Tongji University（电子信息工程学院，同济大学）
本文扩展了强凸性和Lipschitz平滑性概念以阐明深度学习非凸优化机制，证明经验风险最小化等价于优化局部梯度范数与结构误差，并揭示SGD与跳跃连接等技术可有效优化这两者。
2025-04-30 cs.DS cs.LG math.OC
Dynamic Regret of Online Mirror Descent for Relatively Smooth Convex Cost Functions
University of Toronto（多伦多大学）
在线凸优化算法在动态环境中的性能通常用动态后悔来表示，动态后悔度量决策者对一系列时变比较器的性能。在分析动态后悔问题时，以往的研究往往假设代价函数是Lipschitz连续或一致光滑的。然而，在实践中有许多重要的成本函数不满足这些条件。在这种情况下，先前的分析是不适用的，不能保证优化性能。在这封信中，我们表明，它是可能的约束的动态遗憾，即使没有Lipschitz连续性和一致光滑性。我们采用相对光滑的概念，相对于一些用户定义的正则化函数，这是一个更温和的要求的成本函数。我们首先表明，相对平滑下，动态后悔有一个上界的基础上的路径长度和功能的变化。然后，我们表明，与一个相对较强的凸性的附加条件，动态后悔可以有界的路径长度和梯度变化。这些遗憾的界限提供了性能保证各种各样的在线优化问题，出现在不同的应用领域。最后，我们提出了数值实验，证明了采用正则化函数的优势，在该函数下的成本函数是相对平滑的。
2022-02-25 cs.LG math.OC
A first-order primal-dual method with adaptivity to local smoothness
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Linköping University（林雪平大学）
我们考虑的问题找到一个鞍点的凹凸目标$\min_x \max_y f(x) + \langle Ax, y\rangle - g^*(y)$，其中$f$是一个凸函数的局部Lipschitz梯度和$g$是凸的，可能是不光滑的。我们提出了一个自适应版本的Condat-Vestival算法，它交替原始梯度步骤和双邻近步骤。该方法通过一个简单的规则，涉及$\|A\|$和$f$最近计算的梯度的范数实现步长自适应。在标准假设下，我们证明了一个$\mathcal{O}(k^{-1})$遍历收敛速度。此外，当$f$也是局部强凸和$A$有充分的行秩秩时，我们证明了我们的方法以线性速度收敛。数值实验说明了算法的实用性能。
2021-10-28 cs.LG math.OC
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed Smoothness Conditions
UC Davis（加州大学戴维斯分校）
本文提出一种全单循环、免Hessian求逆的随机双层优化算法，在标准光滑性假设下达到最优复杂度，并扩展至多目标鲁棒情形，实验验证其性能优势。
2023-06-21 cs.LG math.OC stat.ML
Rethinking SIGN Training: Provable Nonconvex Acceleration without First- and Second-Order Gradient Lipschitz
National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）
本文重新审视基于符号的随机方法，在更现实的一阶和二阶平滑性假设下分析其收敛性，提出松弛二阶条件实现非凸加速，并证明在分布式环境中利用快速通信压缩gossip协议时该加速持续存在，扩展了基于符号算法的可证明适用性。
2023-10-23 cs.LG
On the Convergence of Differentially Private Federated Learning on Non-Lipschitz Objectives, and with Normalized Client Updates
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Purdue University（普渡大学）
对于具有非Lipschitz目标函数的差分私有联邦学习（FL）（即，当梯度范数没有界时）。其主要原因是裁剪操作（即，投影到固定半径的$\ell_2$球上，称为剪切阈值），用于限制平均更新对每个客户端更新的灵敏度，这引入了偏差，这取决于剪切阈值和FL中的局部步骤的数量，并且分析这一点并不容易。对于Lipschitz函数，Lipschitz常数用作具有零偏差的平凡限幅阈值。然而，Lipschitz性在许多实际情况下并不成立;此外，验证它和计算Lipschitz常数是困难的。因此，限幅阈值的选择是重要的，并且在实践中需要大量的调谐。在本文中，我们提供了第一个收敛结果，私人FL光滑\textit{convex}目标\textit{for a general clipping threshold} - \textit{without assuming Lipschitzness}。我们还研究了一种更简单的裁剪（用于边界敏感性）替代方案，即\textit{normalization} --在这种情况下，我们只使用客户端更新中的单位向量的缩放版本，完全丢弃幅度信息。{The理论上证明了基于归一化的私有FL算法在光滑凸函数上比基于裁剪的算法具有更好的收敛性。我们证实了我们的理论与合成实验以及基准数据集上的实验。
2022-04-16 cs.DC cs.LG eess.SP
EPISODE: Episodic Gradient Clipping with Periodic Resampled Corrections for Federated Learning with Heterogeneous Data
George Mason University（乔治梅森大学）；Shanghai Jiao Tong University（上海交通大学）
梯度裁剪是用于具有爆炸梯度的深度神经网络（例如递归神经网络）的重要技术。最近的研究表明，这些网络的损失函数不满足传统的光滑条件，而是满足放松的光滑条件，即，梯度的Lipschitz常数根据梯度范数线性地缩放。由于这种观察，几个梯度裁剪算法已经开发的非凸和松弛光滑的功能。然而，现有的算法只适用于单机或多机设置与同质的数据在机器上。目前还不清楚如何设计证明有效的梯度裁剪算法在一般的联邦学习（FL）设置与异构数据和有限的通信回合。在本文中，我们设计的EPISODE，第一个算法来解决FL问题的异构数据在非凸和松弛光滑设置。该算法的关键成分是两个新的技术称为\textit{episodic gradient clipping}和\textit{periodic resampled corrections}。在每轮开始时，EPISODE从每个客户端重新采样随机梯度并获得全局平均梯度，其用于（1）确定是否对整个轮应用梯度裁剪以及（2）为每个客户端构造局部梯度校正。值得注意的是，我们的算法和分析提供了一个统一的框架下的任何噪声水平的随机梯度的同质和异质数据，它实现了最先进的复杂性结果。特别是，我们证明了EPISODE可以实现线性加速的机器数量，它需要显着减少通信轮。在几个异构数据集上的实验表明，EPISODE的性能优于FL中的几个强基线。
2023-02-14 cs.LG math.OC
Functions with average smoothness: structure, algorithms, and learning
我们提出了一个程序的平均光滑性分析，有效地学习度量空间上的实值函数。我们没有使用Lipschitz常数作为正则化器，而是在每个点定义一个局部斜率，并将函数复杂度作为这些值的平均值。由于平均值可以显著小于最大值，因此这种复杂性度量可以产生相当尖锐的泛化边界-假设这些边界允许用我们的局部斜率平均值替换Lipschitz常数的改进。我们的第一个主要贡献是获得这样的分布敏感的界限。这需要克服许多技术挑战，其中最艰巨的挑战可能是限制{ \em empirical}覆盖数，这可能比环境数表现得更差。我们的组合结果是伴随着有效的算法，用于平滑的标签的随机样本，以及保证从样本到整个空间的扩展将继续，以高概率，平均平滑。一路上，我们发现了一个令人惊讶的丰富的组合和分析结构，在我们定义的函数类。
2020-11-08 cs.LG math.PR math.ST
Exploiting Smoothness in Statistical Learning, Sequential Prediction, and Stochastic Optimization
Michigan State University（密歇根州立大学）
在过去的几年里，凸优化和学习问题之间的密切联系，在统计和序列框架，已经转移了算法机器学习的重点，以检查这种相互作用。特别地，一方面，这种交织在重新评估学习算法的性能方面提出了新的挑战，包括在由凸性强加的假设下的泛化和遗憾界限，例如损失函数的分析性质（例如，Lipschitzness、强凸性和光滑性）。另一方面，规模空前的数据集的出现，要求开发新的和更有效的优化算法来解决大规模的学习问题。本论文的首要目标是重新评估统计学习、序贯预测/在线学习和随机优化中损失函数的平滑性，并阐明其后果。特别是，我们研究如何平滑的损失函数可能是有益的或有害的，在这些设置中的样本复杂性，统计一致性，遗憾分析，收敛速度，并研究如何平滑可以利用设计更有效的学习算法。
2014-07-19 cs.LG
Adaptive Strategies in Non-convex Optimization
BOSTON UNIVERSITY GRADUATE SCHOOL OF ARTS AND SCIENCES（波士顿大学文理研究生院）；University of Science and Technology of China（中国科学技术大学）
本文研究非凸优化中的自适应策略，提出噪声自适应、梯度尺度自适应及面向无界平滑性的广义 SignSGD 算法，在不依赖先验参数的情况下取得与最优方法相当的理论与实证性能。
2023-07-07 cs.LG math.OC stat.ML
Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
本文提出了一种在一般光滑性下具有证明收敛性的去中心化优化框架，通过梯度跟踪与裁剪技术，在无界梯度不一致性条件下实现更稳定的收敛性能。
2026-01-07 cs.LG math.OC
A Convergence Theory for Federated Average: Beyond Smoothness
University of British Columbia（不列颠哥伦比亚大学）；Adobe Research（奥多比研究院）；Columbia University（哥伦比亚大学）；McGill University（麦吉尔大学）
联邦学习使得大量边缘计算设备能够学习模型，而无需联合进行数据共享。作为该设置中的领先算法，Federated Average FedAvg在本地设备上并行运行随机梯度下降（SGD）并且仅偶尔对序列进行平均，由于其简单性和低通信成本而被广泛使用。然而，尽管最近的研究工作，它缺乏理论分析的假设下超越平滑。本文分析了FedAvg的收敛性。与已有工作不同的是，我们放宽了强光滑性的假设。更具体地说，我们假设半光滑性和半Lipschitz性质的损失函数，其中有一个额外的一阶项的假设定义。此外，我们还假设梯度上有界，这比收敛性分析格式中常用的有界梯度假设要弱。作为一种解决方案，本文对联邦学习的收敛性进行了理论研究。
2022-11-03 cs.LG stat.ML
Smoothness and Stability in GANs
Stanford University（斯坦福大学）；Preferred Networks, Inc.（优选网络公司）；The Institute of Statistical Mathematics（统计数学研究所）
生成对抗网络（GANs）在训练过程中通常表现出不稳定的行为。在这项工作中，我们开发了一个原则性的理论框架，用于理解各种类型的GANs的稳定性。特别是，我们得到的条件，保证最终平稳的发电机时，它是训练梯度下降，必须满足的条件，由发散，最小化的GAN和发电机的架构。我们发现现有的GAN变体满足这些条件中的一些，但不是全部。使用工具，从凸分析，最优运输，再生内核，我们构建了一个GAN，同时满足这些条件。在这个过程中，我们解释和澄清各种现有的GAN稳定技术，包括Lipschitz约束，梯度惩罚，和光滑的激活函数的需要。
2020-02-11 cs.LG stat.ML
Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们考虑的随机组合优化问题提出的\cite{wang2017stochastic}，它的应用范围从估计到统计和机器学习。我们提出了第一个基于ADMM的算法com-SVR-ADMM，并证明了com-SVR-ADMM对强凸和Lipschitz光滑目标线性收敛，并且具有$O( \log S/S)$的收敛速度，当目标是凸和Lipschitz光滑时，它改进了\cite{wang2016accelerating}的$O(S^{-4/9})$速度.此外，当目标为凸但不具有Lipschitz光滑性时，com-SVR-ADMM具有$O(1/\sqrt{S})$的速率.我们还进行了实验，并表明它优于现有的算法。
2017-05-22 cs.LG stat.ML
Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses
Google Research（谷歌研究院）
针对DP-SGD最后迭代隐私核算的挑战，本研究放弃强假设，为循环采样、梯度裁剪的DP-SGD变体建立了基于小步长和利普希茨光滑性的RDP上界，提升了最后迭代隐私核算的实用性。
2025-02-10 cs.CR cs.DS cs.LG
Langevin Monte Carlo Beyond Lipschitz Gradient Continuity
Brno University of Technology（布尔诺理工大学）；University of Warsaw（华沙大学）；Norwegian University of Science and Technology (NTNU)（挪威科技大学（NTNU））
本研究提出非精确近端朗之万算法IPLA，突破LMC的传统L-光滑性假设，将其适用范围拓展至多项式增长、超二次势函数，实现更优收敛速率并给出马尔可夫链矩的界，提升分析鲁棒性且控制计算成本。
2024-12-12 cs.LG stat.ML
Convergence of Clipped SGD on Convex $(L_0,L_1)$-Smooth Functions
本文在$(L_0,L_1)$-光滑凸函数上分析带梯度裁剪的SGD，证明其高概率收敛速率与$L$光滑情形下的SGD速率相当，并提出一种具有相同保证的自适应SGD变体，通过实验验证了理论与算法选择。
2025-06-03 math.OC
Avoiding Bias in Clipped SGD for Overparameterized Models under Generalized Smoothness
MSU AI Center（莫斯科国立大学人工智能中心）；University of Zurich（苏黎世大学）
本文证明在过参数化和温和批次大小假设下，裁剪SGD和归一化SGD不会因裁剪引入偏差，其收敛速度与确定性方法相同，并利用(L0,L1)-光滑性改进了已知收敛率，同时扩展到重尾噪声等挑战性场景。
2026-05-26 math.OC
Escaping saddle points without Lipschitz smoothness: the power of nonlinear preconditioning
本文提出涵盖$(L_0,L_1)$-光滑性与各向异性光滑性的新充分条件，证明非线性预条件化（含梯度裁剪）在无Lipschitz光滑性假设下仍能规避鞍点，并以对数维度依赖高效达到二阶平稳性。
2025-09-19 math.OC
Shuffling the Stochastic Mirror Descent via Dual Lipschitz Continuity and Kernel Conditioning
Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理）
本文提出双重核条件（DKC）正则性条件，结合相对光滑性，为梯度提供双重Lipschitz连续性，从而在非凸相对光滑问题中建立随机重洗镜像下降法的复杂度界和迭代收敛性。
2026-03-17 cs.LG math.OC stat.ML
Nonlinearly Preconditioned Gradient Methods: Momentum and Stochastic Analysis
本文研究光滑非凸优化的非线性预条件梯度方法，提出一种带sigmoid预条件的heavy ball型算法及其随机变体，在广义光滑条件下证明收敛性，并在机器学习任务上验证了其有效性。
2025-10-13 math.OC
Sharp First-Order Lower Bounds for Higher-Order Smooth Nonconvex Optimization
Department of Computer Science, Indiana University（计算机科学系，印第安纳大学）
针对高阶光滑非凸优化，通过块链机制构造硬实例，首次证明了匹配已知上界的一阶下界，如Hessian Lipschitz情形下的Ω(ε^{-7/4})和三阶光滑情形下的Ω(ε^{-5/3})。
2026-09-23 cs.LG math.OC
Optimal Parameter-Free Second-order Acceleration with Inexact Hessians under Generalized Smoothness
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；MIRAI（未来研究院）
针对广义Hessian光滑性下的二阶凸优化，提出无参数自适应算法，其复杂度匹配下界，并在远离与接近解时分别实现几何与经典收敛。
2026-09-29 math.OC
Nonlinearly Preconditioned Gradient Methods under Generalized Smoothness
该研究基于抽象凸性提出适用范围更广的广义光滑性，构建涵盖梯度裁剪法的非线性预条件梯度方法框架，为$(L_0,L_1)$-光滑函数类提供新见解，并验证了方法在凸与非凸场景下的收敛性。
2025-06-16 math.OC
Trust Region Methods For Nonconvex Stochastic Optimization Beyond Lipschitz Smoothness
本文针对梯度非全局Lipschitz光滑的非凸随机优化问题，提出一阶和二阶信赖域方法，在广义光滑性条件下分别实现一阶和二阶稳定收敛，并通过方差缩减达到最优复杂度。
2025-02-06 math.OC
Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems
Colorado School of Mines（科罗拉多矿业学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
（全局）Lipschitz光滑性条件在建立大多数最优化方法的收敛性理论中是至关重要的。不幸的是，大多数机器学习和信号处理问题都不是Lipschitz光滑的。这促使我们将Lipschitz光滑性条件的概念推广到相对光滑性条件，它是由任何有限阶多项式目标函数所满足的。此外，这项工作开发了新的Bregman散度为基础的算法，保证收敛到一个二阶稳定点的任何相对光滑的问题。此外，当我们将Bregman发散度专门化为欧氏距离时，所提出的最优化方法涵盖了邻近交替最小化和邻近交替线性化最小化。因此，这项工作不仅发展保证最优化方法的非Lipschitz光滑问题，但也解决了一个公开的问题，显示二阶收敛保证这些交替最小化方法。
2019-04-22 cs.IT cs.LG math.IT
An Efficient Stochastic First-Order Algorithm for Nonconvex--Strongly Concave Minimax Optimization beyond Lipschitz Smoothness
Dalian University of Technology（大连理工大学）
本文提出NSGDA-M算法，用于解决非凸-强凹最优化问题，超越Lipschitz光滑性假设，在期望和高概率下均能高效找到ε-stationary点。
2026-08-04 math.OC
A Fast Newton Method Under Local Lipschitz Smoothness
Université de Toulouse, INP, IRIT（图卢兹大学，国立理工学院，IRIT）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；NAXYS, University of Namur（南纳大学 NAXYS）
本文提出了一种快速的二阶方法，通过局部光滑性条件而非全局Lipschitz条件，达到最优复杂度，以寻找一阶ε-驻点。算法利用Hessian信息计算牛顿步和负曲率步，并结合Krylov子空间实现迭代实现。
2026-02-17 math.OC
Accelerated Stochastic Method under $(H_0,H_1)$-Smoothness and Heavy-Tailed Noise
MSU AI Center（莫斯科国立大学人工智能中心）；HSE University（高等经济大学）；Innopolis University（伊诺波利斯大学）
针对重尾噪声下的凸$(H_0,H_1)$-光滑优化，提出结合裁剪、投影和阶段重启的加速随机方法，使用单样本无小批量，证明高概率收敛且代价依赖为对数级。
2026-09-29 math.OC
Gradient-Variation Online Learning under Generalized Smoothness
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
本文在广义光滑性条件下系统研究梯度变化在线学习，扩展乐观镜像下降算法，并提出无需曲率先验的两层通用算法，实现凸与强凸函数的最优遗憾，应用于博弈快速收敛与随机优化。
2024-11-03 cs.LG math.OC
Sparse Polyak: an adaptive step size rule for high-dimensional M-estimation
Texas A&M University（德克萨斯理工大学）
针对高维M估计中标准Polyak步长因平滑度度量不匹配而失效的问题，提出稀疏Polyak自适应步长，通过估计受限Lipschitz平滑常数，实现更快收敛与更优统计精度。
2025-10-14 cs.LG math.OC stat.ML
Convergence of ease-controlled Random Reshuffling gradient Algorithms under Lipschitz smoothness
Sapienza, University of Rome（罗马第一大学）；Department of Computer, Control and Management Engineering A. Ruberti（A. Ruberti 计算机、控制与管理工程系）
针对大量光滑非凸函数平均值的最小化问题，提出带看门狗规则和无导数线搜索的易控IG/RR算法方案，在Lipschitz光滑假设下证明收敛，实验验证其计算量与在线算法相当且目标函数下降更快。
2024-05-20 cs.LG math.OC
Analysis of a Class of Stochastic Component-Wise Soft-Clipping Schemes
针对优化算法通用性不足的问题，该研究提出并分析了一大类随机软裁剪方案，在标准假设下证明了其收敛性与速率，计算成本与随机梯度下降相当，为这类方法的应用提供了理论支撑。
2024-06-24 math.OC
