Provable Adaptivity of Adam under Non-uniform Smoothness
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking University（北京大学）；Chinese Academy of Mathematics and Systems Science（中国科学院数学与系统科学研究院）；Microsoft（微软）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文针对现有Adam收敛分析依赖的L-光滑假设不适用于多数深度学习任务的问题，首次在$(L_0, L_1)$-光滑条件下证明了学习率递减的RR Adam的收敛性，并在相同设置下严谨对比证明Adam收敛速度优于SGD。
2024-06-24 cs.LG math.OC
Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
Department of Computer Science, University of Maryland, College Park.（计算机科学系，马里兰大学 College Park 分校）；Department of Computer Science（计算机科学系）；Engineering, University of Texas Arlington（工程学院，德克萨斯大学阿灵顿分校）
针对常见机器学习模型不满足Lipschitz平滑性的问题，本文在不假设该条件下重新审视了Shuffling型梯度方法的收敛率，提出步长策略使其在较弱假设下匹配当前最佳收敛率，并在多种凸性条件下证明了收敛性，数值实验验证了其有效性。
2025-07-11 cs.LG math.OC stat.ML
A Note on the Convergence of Mirrored Stein Variational Gradient Descent under $(L_0,L_1)-$Smoothness Condition
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；KAUST（阿卜杜拉国王科技大学）
本文建立了总体极限的MiraminStein变分梯度法~（MSVGD）的一个下降引理。该下降引理不依赖于MSVGD的路径信息，而是依赖于镜像分布$\nablaΨ_{\#}π\propto\exp(-V)$的简单假设。我们的分析表明，MSVGD可以适用于更广泛的一类非光滑$V$的约束抽样问题。我们还调查的复杂性的人口限制MSVGD方面的尺寸$d$。
2022-06-20 cs.LG math.OC math.ST
Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy
Hebrew University（希伯来大学）；Google（谷歌）；TTI-Chicago（芝加哥丰田技术研究所）
该研究探讨深度2网络高效学习的假设是否适用于更深网络，通过平滑分析框架证明深度3 ReLU网络及双平滑条件下的深度2网络学习均具难度，结果基于局部伪随机生成器存在的假设。
2023-10-04 cs.LG stat.ML
A Unified Theory of Stochastic Proximal Point Methods without Smoothness
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文提出一个统一理论框架，在无光滑性假设下，通过参数化假设和单一定理，为随机近端点方法的多种变体（包括新提出的三种）建立线性收敛保证，并恢复现有方法的最优复杂度。
2024-05-24 cs.LG math.OC
On Lipschitz Continuity and Smoothness of Loss Functions in Learning to Rank
在二元分类和回归问题中，损失函数的Lipschitz连续性和光滑性在经验风险最小化算法的泛化误差界中起着关键作用。在本文中，我们将展示这两个属性如何影响泛化误差界的学习排序问题。学习排序问题涉及向量值的预测，因此选择的规范，其中Lipschitz连续性和光滑性的定义变得至关重要。选择$\ell_\infty$规范在我们的定义Lipschitz连续性允许我们改善现有的界限。此外，在平滑的假设下，我们的选择使我们能够证明率之间的插值$1/\sqrt{n}$和$1/n$率。将我们的结果应用到ListNet（一种流行的学习排序方法）中，可以提供最先进的性能保证。
2016-09-13 cs.LG stat.ML
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Why gradient clipping accelerates training: A theoretical justification for adaptivity
Massachusetts Institute of Technology（麻省理工学院）
我们为梯度裁剪在训练深度神经网络中的有效性提供了理论解释。关键成分是一个新的平滑条件来自实际的神经网络训练的例子。我们观察到，梯度平滑度是一阶优化算法分析的核心概念，通常被假设为常数，它在深度神经网络的训练轨迹上表现出显著的可变性。此外，这种平滑性与梯度范数正相关，并且与文献中的标准假设相反，它可以随着梯度的范数而增长。这些经验的观察限制了现有的理论分析的算法，依赖于一个固定的边界上的平滑度的适用性。这些观察促使我们引入一种新的松弛梯度平滑，比常用的Lipschitz平滑假设弱。在新的条件下，我们证明了两个流行的方法，即\emph{gradient clipping}和\emph{normalized gradient}，收敛速度任意快于梯度下降与固定步长。我们进一步解释了为什么这种自适应缩放的梯度法可以加速经验收敛，并在流行的神经网络训练环境中验证了我们的结果。
2020-02-10 cs.LG math.OC
AdaGrad under Anisotropic Smoothness
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对AdaGrad在大批量设置下理论优势未明的问题，提出各向异性广义平滑性假设并分析AdaGrad，证明其比统一步长算法具有更好的维度依赖性和更快收敛性，经逻辑回归和指令微调实验验证。
2024-10-14 cs.LG math.OC
The Geometry of Sign Gradient Descent
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tuebingen（图宾根大学）；Google Research（谷歌研究院）；Mila（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）
基于符号的优化方法在机器学习中具有良好的分布式优化通信代价和在神经网络训练中的优异性能，因此受到广泛的关注。此外，它们与Adam等所谓的自适应梯度方法密切相关。最近的工作signSGD使用了一个非标准的“可分离平滑”的假设，而一些老作品研究的符号梯度下降的最陡下降的$\ell_\infty$ -范数。在这项工作中，我们统一了这些现有的结果，显示可分离的光滑性和$\ell_\infty$ -光滑性之间的密切联系，并认为后者是更弱，更自然的假设。然后，我们继续研究的光滑常数相对于$\ell_\infty$ -范数，从而隔离几何性质的目标函数，影响基于符号的方法的性能。简而言之，我们发现基于符号的方法优于梯度下降，如果（i）Hessian在某种程度上集中在其对角线上，并且（ii）其最大特征值远大于平均特征值。这两个属性在深度网络中很常见。
2020-02-19 cs.LG stat.ML
Robustness to Unbounded Smoothness of Generalized SignSGD
George Mason University（乔治梅森大学）；Boston University（波士顿大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
非凸优化中的传统分析通常依赖于平滑性假设，即要求梯度是Lipschitz。然而，最近的证据表明，这种平滑条件并没有捕捉到一些深度学习目标函数的属性，包括涉及递归神经网络和LSTM的目标函数。相反，它们满足一个更宽松的条件，具有潜在的无界光滑性。在这种宽松的假设下，理论和经验表明，梯度剪切SGD比香草SGD具有优势。在本文中，我们表明，裁剪是不必要的亚当型算法在处理这种情况下：我们从理论上证明，广义SignSGD算法可以获得类似的收敛速度SGD裁剪，但不需要明确的裁剪。这一系列算法的一端恢复SignSGD，另一端非常类似于流行的Adam算法。我们的分析强调了动量在分析SignSGD型和Adam型算法中的关键作用：它不仅减少了噪声的影响，从而消除了以前SignSGD型算法分析中对大型小批量的需要，而且还大大减少了无界平滑和梯度范数的影响。我们还在一组深度学习任务上将这些算法与流行的优化器进行了比较，观察到我们可以在击败其他人的同时匹配Adam的性能。
2022-08-23 cs.LG math.OC
What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）
本文从理论上刻画了有界二阶异质性条件下 Local SGD 等本地更新算法在联邦优化中的紧收敛界与极小极大复杂度，并基于共识误差分析框架给出更锐利的有限时间收敛保证，同时扩展至在线联邦学习的遗憾界分析。
2025-06-30 cs.AI cs.LG cs.MA
Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed Smoothness Conditions
UC Davis（加州大学戴维斯分校）
本文提出一种全单循环、免Hessian求逆的随机双层优化算法，在标准光滑性假设下达到最优复杂度，并扩展至多目标鲁棒情形，实验验证其性能优势。
2023-06-21 cs.LG math.OC stat.ML
Convergence of AdaGrad for Non-convex Objectives: Simple Proofs and Relaxed Assumptions
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出辅助函数$ξ$简化AdaGrad非凸收敛分析，在更弱假设下得到$\mathcal{O}(1/\varepsilon^2)$速率，并证明$(L_0,L_1)$-光滑条件下学习率阈值的必要性。
2023-09-28 cs.LG math.OC
Symmetry-quotient Flatness and Generalization
本文提出对称商空间下的平坦性理论，证明商线性稳定性、商平坦性、输入光滑性与泛化之间的定理级联系，并给出基于批大小和学习率的显式界及人群泛化界。
2026-09-29 cs.LG stat.ML
Single-Timescale Multi-Sequence Stochastic Approximation Without Fixed Point Smoothness: Theories and Applications
School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）；Department of Computational Applied Math and Operations Research, Rice University（莱斯大学计算应用数学与运筹学系）
本文在不假设不动点光滑性的条件下建立了多序列随机逼近的单时间尺度收敛理论，给出强单调及部分强单调情形下的收敛速率，并将其成功应用于双层优化和通信高效的分布式学习。
2024-10-17 cs.LG
Exploiting Smoothness in Statistical Learning, Sequential Prediction, and Stochastic Optimization
Michigan State University（密歇根州立大学）
在过去的几年里，凸优化和学习问题之间的密切联系，在统计和序列框架，已经转移了算法机器学习的重点，以检查这种相互作用。特别地，一方面，这种交织在重新评估学习算法的性能方面提出了新的挑战，包括在由凸性强加的假设下的泛化和遗憾界限，例如损失函数的分析性质（例如，Lipschitzness、强凸性和光滑性）。另一方面，规模空前的数据集的出现，要求开发新的和更有效的优化算法来解决大规模的学习问题。本论文的首要目标是重新评估统计学习、序贯预测/在线学习和随机优化中损失函数的平滑性，并阐明其后果。特别是，我们研究如何平滑的损失函数可能是有益的或有害的，在这些设置中的样本复杂性，统计一致性，遗憾分析，收敛速度，并研究如何平滑可以利用设计更有效的学习算法。
2014-07-19 cs.LG
Quantifying the generalization error in deep learning in terms of data distribution and neural network smoothness
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Brown University（布朗大学）
深度学习的准确性，即，深度神经网络可以通过将总误差分为三种主要类型来表征：近似误差、优化误差和泛化误差。虽然有一些令人满意的答案的问题的近似和优化，少得多的是已知的理论的推广。现有的大多数推广理论工作未能解释神经网络在实践中的性能。为了得到一个有意义的界限，我们研究了分类问题的神经网络的泛化误差的数据分布和神经网络光滑。我们引入覆盖复杂度（CC）来衡量学习数据集的难度，并引入连续模的倒数来量化神经网络的光滑性。通过同时考虑CC和神经网络平滑度，得到了预期精度/误差的定量界。虽然大多数的分析是一般性的，而不是特定的神经网络，我们验证了我们的理论假设和结果数值神经网络的几个数据集的图像。数值结果证实，训练网络的期望误差与类数的平方根成正比，与CC成线性关系。我们还观察到在训练过程中测试损失和神经网络平滑度之间存在明显的一致性。此外，我们经验证明，神经网络的平滑度下降时，网络的大小增加，而平滑度是不敏感的训练数据集的大小。
2020-06-26 cs.LG stat.ML
Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JHU（约翰斯·霍普金斯大学）；KAUST（阿卜杜拉国王科技大学）
本文针对凸$(L_0,L_1)$-光滑优化问题，为梯度裁剪、Polyak步长和自适应梯度下降等方法推导出不依赖标准光滑性假设且避免指数依赖的改进收敛速率，并提出新的加速方法。
2024-12-25 cs.LG math.OC
Glocal Smoothness: Line search and adaptive step sizes can help in theory too!
Stanford University（斯坦福大学）
本文提出全球局部平滑性概念，通过函数属性定义，允许用迭代无关常数界迭代复杂度，展示线搜索优于固定步长，且在某些情况下梯度下降比加速方法更优。
2026-05-15 cs.LG math.OC
Revisiting Convergence of AdaGrad with Relaxed Assumptions
Center for Data Science, Zhejiang University（浙江大学数据科学中心）；School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
本研究在更贴合实际的通用噪声模型与广义光滑性假设下，重新分析带动量的AdaGrad的非凸优化收敛性，得到不依赖先验参数的概率收敛速率，且该速率匹配已知下界。
2024-09-13 cs.LG math.OC stat.ML
Variance-reduced Clipping for Non-convex Optimization
MIT–IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
本文针对$(L_0,L_1)$平滑非凸优化，将SPIDER方差缩减与裁剪学习率结合，把随机梯度复杂度改进至阶最优的$O(ε^{-3})$及有限和情形的$O(\sqrt{n}ε^{-2}+n)$，并在视觉任务上验证性能。
2023-06-02 cs.LG math.OC stat.ML
On the Interaction of Batch Noise, Adaptivity, and Compression, under $(L_0,L_1)$-Smoothness: An SDE Approach
University of Basel（巴塞尔大学）；University of Oslo（奥斯陆大学）；MBZUAI（马克斯·普朗克智能系统研究所）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
本文通过随机微分方程（SDE）框架，在$(L_0,L_1)$-光滑性假设下统一分析分布式压缩SGD及其符号变体，揭示了梯度噪声、通信压缩和自适应更新之间的相互作用，并提出了新的SDE模型以准确捕捉学习率限制与几何特性的关系。
2026-05-22 cs.LG stat.ML
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Northwestern University（西北大学）
针对机器学习中存在的非均匀平滑性问题，本文提出了一种结合梯度裁剪与方差缩减的快速随机拟牛顿方法，实现了最优的样本复杂度并取得显著的收敛加速效果。
2024-09-26 cs.LG math.OC
Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent
University of Kaiserslautern（凯泽斯劳滕大学）
近年来，关于随机梯度下降算法的稳定性和推广性的研究已成为一个热点。然而，现有的稳定性分析需要对梯度的有界性、损失函数的强光滑性和凸性等条件进行限制性假设。在本文中，我们提供了一个细粒度的分析稳定性和推广的SGD大幅放宽这些假设。首先，我们建立稳定性和推广SGD通过删除现有的有界梯度假设。关键的想法是引入一个新的稳定性措施，称为平均模型稳定性，我们开发新的边界控制的风险SGD迭代。这产生的泛化边界取决于最佳模型的行为，并导致有史以来第一次已知的快速边界在低噪声设置使用稳定性方法。其次，光滑性假设放宽考虑损失函数与持有人连续（子）梯度，我们表明，最佳的界限仍然是通过平衡计算和稳定性。据我们所知，这给出了第一个已知的稳定性和推广范围的SGD甚至不可微的损失函数。最后，我们研究了具有（强）凸目标但非凸损失函数的学习问题。
2020-06-15 cs.LG stat.ML
Convergence Analysis of SGD under Expected Smoothness
Meiji University（明治大学）
本文在期望光滑条件下对随机梯度下降进行自包含收敛性分析，细化条件、推导梯度范数界，并证明多种步长下的O(1/K)收敛速率，统一扩展了近期研究。
2025-10-26 cs.LG
A first-order primal-dual method with adaptivity to local smoothness
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Linköping University（林雪平大学）
我们考虑的问题找到一个鞍点的凹凸目标$\min_x \max_y f(x) + \langle Ax, y\rangle - g^*(y)$，其中$f$是一个凸函数的局部Lipschitz梯度和$g$是凸的，可能是不光滑的。我们提出了一个自适应版本的Condat-Vestival算法，它交替原始梯度步骤和双邻近步骤。该方法通过一个简单的规则，涉及$\|A\|$和$f$最近计算的梯度的范数实现步长自适应。在标准假设下，我们证明了一个$\mathcal{O}(k^{-1})$遍历收敛速度。此外，当$f$也是局部强凸和$A$有充分的行秩秩时，我们证明了我们的方法以线性速度收敛。数值实验说明了算法的实用性能。
2021-10-28 cs.LG math.OC
Parameter-Agnostic Optimization under Relaxed Smoothness
ETH Zurich（苏黎世联邦理工学院）
针对$(L_0, L_1)$-光滑性下现有算法仍需调优步长的问题，提出NSGD-M实现无问题参数先验的近最优收敛，证明指数项不可避免，且确定性场景下可通过回溯线搜索抵消，给出首个广义光滑性下的参数无关收敛结果。
2023-11-06 cs.LG math.OC stat.ML
Stochastic Saddle Avoidance Beyond Unit Excitation and Smoothness: A Pathwise Lyapunov-Perron Framework
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出路径式李雅普诺夫-佩龙框架，在不满足单位激励假设的常见随机优化场景下，证明随机递推的严格鞍点规避结果，确立相关算法收敛到原目标函数的局部极小值点。
2026-08-07 cs.LG math.DS math.OC
Mirror Descent with Relative Smoothness in Measure Spaces, with application to Sinkhorn and EM
Ecole normale supérieure（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA Paris（法国国家信息与自动化研究所巴黎分所）；CREST（经济与统计研究中心）；ENSAE（法国国立统计与经济管理学院）；IP Paris（巴黎理工学院）
机器学习中的许多问题都可以表述为在测度的向量空间上优化凸泛函。本文研究了无限维情形下镜像下降算法的收敛性。定义Bregman发散通过方向导数，我们推导出该计划的相对光滑和凸的泛函对的收敛性。这样的假设允许处理非光滑泛函，如Kullback-Leibler（KL）分歧。应用我们的结果到联合分布和KL，我们证明了连续情形下熵最优输运的Sinkhorn原迭代对应于镜像下降，并得到了它的（次）线性收敛的新证明.我们还表明，期望最大化（EM）总是可以正式书面作为一个镜像下降。当只优化的潜在分布，而固定的混合物参数-这对应于Richardson-露西反卷积方案在信号处理-我们得到次线性收敛率。
2022-10-11 cs.LG math.OC stat.ML
Mirror Descent Under Generalized Smoothness
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Software Technology, Zhejiang University（浙江大学软件技术学院）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
本文提出一种新的 $\ell_*$-光滑性概念，将经典光滑性推广到一般范数空间，并证明镜像下降类算法在此条件下收敛率与经典光滑性一致。
2026-05-30 cs.LG math.OC
Theoretical analysis of Adam using hyperparameters close to one without Lipschitz smoothness
Meiji University（明治大学）
自适应矩估计（Adam）及其变体等自适应方法的收敛性和收敛速度分析在非凸优化问题中得到了广泛的研究。分析基于预期或经验平均损失函数为Lipschitz平滑（即，其梯度是Lipschitz连续的），并且学习率取决于Lipschitz连续梯度的Lipschitz常数。同时，Adam及其变体的数值评估表明，使用小的常数学习率而不依赖于Lipschitz常数和接近1的超参数（$β_1$和$β_2$）对于训练深度神经网络是有利的。由于计算Lipschitz常数是NP困难的，Lipschitz光滑条件将是不切实际的。本文在不假设Lipschitz光滑性条件的情况下对Adam进行了理论分析，以弥合理论与实践之间的差距。主要的贡献是显示理论证据，亚当使用小学习率和超参数接近1表现良好，而以前的理论结果都是超参数接近零。我们的分析还导致发现Adam在大批量的情况下表现良好。此外，我们表明，亚当表现良好，当它使用递减的学习率和超参数接近1。
2022-06-27 cs.LG math.OC
On Linear Stability of SGD and Input-Smoothness of Neural Networks
Stanford University（斯坦福大学）
探讨了神经网络第一层中参数和输入数据的乘法结构，以建立损失函数相对于参数的景观和模型函数相对于输入数据的景观之间的连接。通过这种联系，它表明，平坦极小正则化的梯度的模型函数，这解释了良好的推广性能的平坦极小。然后，我们超越了平坦性，并考虑高阶矩的梯度噪声，并表明，随机梯度下降（SGD）往往施加约束，这些时刻的线性稳定性分析SGD周围的全球最小值。与乘法结构一起，我们确定了SGD的Sobolev正则化效应，即SGD正则化了模型函数关于输入数据的Sobolev范数。最后，泛化误差和对抗性鲁棒性的范围内提供的SGD发现的解决方案的假设下的数据分布。
2021-11-28 cs.LG
Extended convexity and smoothness and their applications in deep learning
College of Electronics and Information Engineering, Tongji University（电子信息工程学院，同济大学）
本文扩展了强凸性和Lipschitz平滑性概念以阐明深度学习非凸优化机制，证明经验风险最小化等价于优化局部梯度范数与结构误差，并揭示SGD与跳跃连接等技术可有效优化这两者。
2025-04-30 cs.DS cs.LG math.OC
Sign Operator for Coping with Heavy-Tailed Noise in Non-Convex Optimization: High Probability Bounds Under $(L_0, L_1)$-Smoothness
MIPT（莫斯科物理技术学院）；Skoltech（斯克里普奇学院）；Yandex；EPFL（瑞士联邦理工学院）；Innopolis University（因诺波利斯大学）
本文提出符号算子方法处理非凸优化中的重尾噪声，在$(L_0,L_1)$-光滑性下给出首个高概率收敛界，并证明SignSGD在训练大语言模型中优于裁剪和归一化。
2025-05-27 cs.LG math.OC
Nonparametric adaptive active learning under local smoothness condition
Université de Mons（蒙斯大学）；Faculté polytechnique（理工学院）；Département de Mathématique et recherche opérationnelle（数学与运筹学系）；e-mail（电子邮件）
主动学习通常用于标记数据，当标记过程是昂贵的。几种主动学习算法已经在理论上被证明比它们的被动对应物执行得更好。然而，这些算法依赖于一些假设，这些假设本身包含一些特定的参数。本文研究了非参数环境下的自适应主动学习问题。我们提出了一种新的算法，在更一般的假设下比以前已知的算法是有效的，而且可以适应这些假设中使用的参数。这使我们能够处理更大类的分布，从而避免排除像高斯分布这样的重要密度。我们的算法实现了极大极小的收敛速度，因此，执行几乎以及最知名的非自适应算法。
2021-02-22 cs.LG stat.ML
Smooth Sailing: Improving Active Learning for Pre-trained Language Models with Representation Smoothness Analysis
TakeLab（TakeLab实验室）；Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
本文通过表征平滑性分析解决预训练语言模型主动学习中的实际挑战，提出无需验证集的早停技术，并发现任务适应能改善主动学习，有效降低了标签复杂度。
2023-10-23 cs.CL cs.LG
Improved Analysis of Score-based Generative Modeling: User-Friendly Bounds under Minimal Smoothness Assumptions
Peking University（北京大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Duke University（杜克大学）
我们给出了一个改进的基于分数的生成式建模的理论分析。在分数估计与小$L^2$错误（平均跨时间步），我们提供了有效的收敛保证任何数据分布的二阶矩，通过采用提前停止或假设光滑条件的分数函数的数据分布。我们的结果不依赖于任何对数不等式或函数不等式的假设，并有一个对数依赖的光滑性。特别是，我们表明，只有在有限的二阶矩条件下，近似以下在$ε$ -准确性的反向KL发散可以在$\tilde O\left(\frac{d \log (1/δ)}ε\right)$步骤：1）方差- $δ$高斯扰动的任何数据分布; 2）数据分布与$1/δ$ -平滑得分函数。我们的分析还提供了不同的离散近似之间的定量比较，并可能指导在实践中的离散点的选择。
2023-02-02 cs.LG
A simple parameter-free and adaptive approach to optimization under a minimal local smoothness assumption
University of California, Berkeley（加州大学伯克利分校）；Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
研究了在\emph{budgeted number of evaluations}下函数的优化问题。我们只假设函数在其全局最优点附近是\emph{locally}光滑的。优化的难度根据1）函数评估的\emph{noise} $b$的量和2）函数的局部平滑度$d$来测量。较小的$d$导致较小的优化误差。我们采用了一种新的、简单的、无参数的方法。首先，对于$b$和$d$的所有值，这种方法至少恢复了最先进的遗憾保证。其次，我们的方法还获得了这些结果，同时\textit{agnostic}的值都$b$和$d$。这导致第一算法自然地适应于噪声$b$的\textit{unknown}范围，并且导致在中等和低噪声范围中的显著改进。第三，我们的方法也获得了显着的改善，在国家的最先进的SOO算法时，噪声是非常低的，其中包括确定性反馈下的优化（$b=0$）的情况下。在那里，在我们的最小局部平滑假设下，这种改进是指数量级的，并且适用于一类函数，该函数涵盖了从业者优化的绝大多数函数（$d=0$）。我们表明，我们的算法改进证明了在实验中，我们凭经验表明，在共同的基准更快的收敛。
2019-02-23 cs.LG stat.ML
Kernel Density Estimation Bias under Minimal Assumptions
DELL（戴尔）
核密度估计是一种非常流行的从样本中近似密度函数的技术。准确性通常是很好理解的，粗略地说，取决于核衰减和真密度的局部平滑度。然而，文献中的具体陈述经常在非常具体的设置（简化或过于保守的假设）中引用，或者错过重要但微妙的点（例如，通常在没有提到紧性的情况下，在全局范围内应用泰勒展开）。本文的贡献是双重的（a）我们证明，当带宽是一个任意可逆矩阵趋于零，有必要保持一定的平衡之间的\emph{kernel decay}和\emph{magnitudes of bandwidth eigenvalues}，事实上，没有足够的衰减的估计可能甚至没有界（b）我们给出了严格的推导与明确的常数的偏差的界限，在可能的最小假设。这将核衰减，带宽范数，带宽行列式和密度平滑性联系起来。民间传说泰勒公式的问题可以用更复杂的密度假设来解决（例如Wand和Jones的“Kernel Smoothing”第95页）;我们证明这实际上是不必要的，可以单独通过内核衰减来处理。
2019-01-02 cs.LG math.ST stat.ML
Provably Convergent Decentralized Optimization over Directed Graphs under Generalized Smoothness
Department of Electrical and Computer Engineering, Clemson University（电气与计算机工程系，克莱姆森大学）
本文提出了一种在一般光滑性下具有证明收敛性的去中心化优化框架，通过梯度跟踪与裁剪技术，在无界梯度不一致性条件下实现更稳定的收敛性能。
2026-01-07 cs.LG math.OC
Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
Simon Fraser University（西蒙弗雷泽大学）；Stony Brook University（石溪大学）
本文在非均匀光滑假设下，研究最速下降法及RMSProp和Adam的确定性对角变体的收敛率，证明在逻辑回归、softmax策略梯度等目标上符号梯度下降线性收敛且快于梯度下降，并在两层神经网络上证明RMSProp和Adam可线性收敛。
2026-05-28 cs.LG math.OC
Convergence of score-based generative modeling for general data distributions
Johns Hopkins University（约翰斯·霍普金斯大学）；Duke University（杜克大学）
基于分数的生成建模（SGM）已经发展成为一种非常成功的方法，用于学习从复杂的数据分布（如图像和音频）中生成样本。它是基于进化一个将白噪声转换为来自学习分布的样本，使用评分函数或梯度log-pdf的估计值。以前的收敛性分析，这些方法都遭受了强假设的数据分布或指数依赖关系，因此无法提供有效的保证，在实践中出现的多峰和非光滑分布，并观察到良好的经验性能。我们考虑一种流行的SGM -去噪扩散模型-并给出一般数据分布的多项式收敛保证，没有与函数不等式或光滑性相关的假设。假设$L^2$ -准确的分数估计，我们得到Wasserstein距离保证任何分布的有界支持或充分衰减的尾巴，以及电视保证分布进一步平滑的假设。
2022-10-03 cs.LG math.PR math.ST
Why Smooth Stability Assumptions Fail for ReLU Learning
Department of Mathematics（数学系）；Kabale University（卡巴大学）
本文指出ReLU激活函数的非平滑性导致传统稳定性假设失效，并提出非光滑意识的稳定性框架以应对这一问题。
2025-12-26 cs.LG math.OC
Convergence of Adam Under Relaxed Assumptions
Massachusetts Institute of Technology（麻省理工学院）
本文在更贴合实际的广义平滑性假设下，严格证明了Adam算法以O(ε⁻⁴)梯度复杂度收敛到ε-平稳点，还提出方差缩减版Adam将梯度复杂度加速至O(ε⁻³)，完善了Adam的收敛理论。
2023-11-07 cs.LG math.OC stat.ML
Efficiently Escaping Saddle Points under Generalized Smoothness via Self-Bounding Regularity
Cornell University（康奈尔大学）
本文研究了非凸函数（不一定光滑）的一阶优化方法，提出了一种新的框架，系统分析了在广义平滑性下一阶优化算法的收敛性，首次建立了在广义平滑性下一阶方法达到二阶 stationary 点的收敛保证。
2026-06-04 cs.LG math.OC
Methods with Local Steps and Random Reshuffling for Generally Smooth Non-Convex Federated Optimization
KAUST（阿卜杜拉国王科技大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；MIPT（莫斯科物理技术学院）
本文针对广义光滑非凸联邦优化问题，提出并分析了结合局部步、客户端部分参与和随机重排的新方法，在Polyak-Łojasiewicz条件下给出理论保证，并通过实验验证了方法的有效性。
2025-04-11 cs.LG math.OC
Active Learning of Halfspaces under a Margin Assumption
The Hebrew University（希伯来大学）
我们推导并分析了一种新的，高效的，基于池的半空间主动学习算法，称为ALuMA。大多数以前的算法显示指数改进的标签的复杂性，假设在实例空间的分布接近均匀。这种假设在实际应用中很少成立。相反，我们研究了标签复杂性下的大利润率的假设-一个更现实的条件下，如基于利润率的算法，如SVM的成功。我们的算法计算效率高，并带有正式的保证其标签的复杂性。它也自然地扩展到不可分的情况和非线性内核。实验结果表明，该算法明显优于其他主动学习算法.
2012-02-24 cs.LG stat.ML
Bayesian Fisher's Discriminant for Functional Data
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；Institute of Statistics, National Chung-Hsing University（中兴大学统计学研究所）；Institute of Networking and Multimedia, National Taiwan University（台湾大学网路与多媒体研究所）
我们提出了一个贝叶斯框架的高斯过程，以扩大费舍尔的判别分类功能数据，如光谱和图像。我们的扩展Fisher判别式的概率结构是明确制定的，我们利用先验概率的函数数据的平滑假设。现有的方法，直接采用平滑假设的功能数据可以显示为特殊情况下，在这个框架内给出相应的先验知识，而他们的未知数的估计是一步近似的建议MAP估计。各种模拟研究和不同的实际应用的实证结果表明，该方法显着优于其他Fisher的判别方法的功能数据。
2014-12-09 cs.LG stat.ML
On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond
Baidu Research（百度研究院）
FedProx算法是一种简单而强大的分布式邻近点优化方法，广泛用于异构数据的联邦学习（FL）。尽管它的流行和显着的成功在实践中见证了，FedProx的理论理解在很大程度上是研究不足：FedProx的吸引人的收敛行为，到目前为止，在某些非标准和不切实际的局部函数的相异度假设下，其特征在于，结果仅限于光滑优化问题。为了弥补这些不足，我们开发了一种新的局部相异性不变收敛理论FedProx和它的小批量随机扩展通过镜头的算法稳定性。因此，我们有助于获得一些新的和更深入的见解FedProx的非凸联邦优化，包括：1）收敛保证独立于局部相异性类型条件; 2）收敛保证非光滑FL问题;和3）线性加速的大小和采样设备的数量。我们的理论首次揭示了FedProx要获得有利的复杂性界限，局部相异性和平滑性不是必须的。一系列基准FL数据集上的初步实验结果报告，以证明的好处，提高FedProx的采样效率的miniquantum。
2022-06-10 cs.LG stat.ML
Unimodal Bandits without Smoothness
Supelec（高等电力学院）；KTH（瑞典皇家理工学院）
考虑具有连续手臂的随机强盗问题，其中期望报酬是手臂的连续单峰函数，对期望报酬函数的光滑性和结构没有进一步的假设.针对这些问题，我们提出了随机五分法（SP）算法，并给出了有限时间后悔和优化误差的上界。特别是，我们表明，对于任何预期的奖励功能$μ$的行为作为$μ(x)=μ(x^\star)-C|x-x^\star|^ξ$本地周围的最大化$x^\star$的一些$ξ, C>0$，SP算法是顺序最优的。即当时间范围$T$变大时，其遗憾和优化误差尺度分别为$O(\sqrt{T\log(T)})$和$O(\sqrt{\log(T)/T})$。这些缩放是在不了解$ξ$和$C$的情况下实现的。我们的算法是基于渐近最优序贯统计检验，用于连续修剪的间隔，包含最好的手臂具有高概率。据我们所知，SP算法构成了第一个顺序臂选择规则，该规则分别实现了遗憾和优化误差缩放为$O(\sqrt{T})$和$O(1/\sqrt{T})$，对于非平滑的预期奖励函数以及具有未知平滑度的平滑函数，最高可达对数因子。
2015-03-06 cs.LG
Partition-Based Active Learning for Graph Neural Networks
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
我们研究了半监督学习问题与图神经网络（GNNs）在主动学习设置。我们提出了GraphPart，一种新的基于分区的主动学习方法的GNNs。GraphPart首先将图分割成不相交的分区，然后在每个分区中选择代表节点进行查询。该方法的动机是一个新的分析的分类错误下现实的平滑假设的图形和节点功能。在多个基准数据集上进行的大量实验表明，该方法在广泛的注释预算约束下优于现有的GNN主动学习方法。此外，所提出的方法不引入额外的超参数，这对于模型训练至关重要，特别是在标记验证集可能不可用的主动学习设置中。
2023-03-17 cs.AI cs.LG
