Convergence Analysis of STORM Under Different Geometries
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）
本文在无平均光滑性假设下，通过构造辅助序列，证明了STORM算法在非凸、凸和强凸目标上分别达到最优收敛速率，并给出了相应的迭代界。
2026-10-02 cs.LG math.OC
Exploiting Smoothness in Statistical Learning, Sequential Prediction, and Stochastic Optimization
Michigan State University（密歇根州立大学）
在过去的几年里，凸优化和学习问题之间的密切联系，在统计和序列框架，已经转移了算法机器学习的重点，以检查这种相互作用。特别地，一方面，这种交织在重新评估学习算法的性能方面提出了新的挑战，包括在由凸性强加的假设下的泛化和遗憾界限，例如损失函数的分析性质（例如，Lipschitzness、强凸性和光滑性）。另一方面，规模空前的数据集的出现，要求开发新的和更有效的优化算法来解决大规模的学习问题。本论文的首要目标是重新评估统计学习、序贯预测/在线学习和随机优化中损失函数的平滑性，并阐明其后果。特别是，我们研究如何平滑的损失函数可能是有益的或有害的，在这些设置中的样本复杂性，统计一致性，遗憾分析，收敛速度，并研究如何平滑可以利用设计更有效的学习算法。
2014-07-19 cs.LG
Smoothness-Adaptive Contextual Bandits
Stanford University（斯坦福大学）
研究了一类随机协变量的非参数多臂强盗问题，其中一个关键的复杂性驱动因素是支付函数关于协变量的光滑性。以往的研究主要集中在推导极小极大最优算法的情况下，它是一个先验已知如何顺利的支付函数。然而，在实践中，支付函数的平滑度通常是事先不知道的，并且平滑度的错误指定可能会严重恶化现有方法的性能。在这项工作中，我们考虑一个框架，支付函数的平滑度是未知的，并研究何时以及如何算法可以适应未知的平滑度。首先，我们建立，设计算法，适应未知的光滑的支付函数，在一般情况下，是不可能的。然而，在自相似条件下（这不会降低手头的动态优化问题的极大极小复杂性），我们建立适应未知的平滑是可能的，并进一步设计了一个通用的策略，实现平滑自适应性能。我们的政策在整个决策过程中推断收益的平滑性，同时利用现成的非自适应政策的结构。我们建立，无论是可微或不可微的支付函数的问题设置，这种政策相匹配（对数尺度）的后悔率，是可以实现的平滑的回报是已知的先验。
2021-10-15 cs.LG stat.ML
A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness
Northwestern University（西北大学）
针对机器学习中存在的非均匀平滑性问题，本文提出了一种结合梯度裁剪与方差缩减的快速随机拟牛顿方法，实现了最优的样本复杂度并取得显著的收敛加速效果。
2024-09-26 cs.LG math.OC
Robustness to Unbounded Smoothness of Generalized SignSGD
George Mason University（乔治梅森大学）；Boston University（波士顿大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
非凸优化中的传统分析通常依赖于平滑性假设，即要求梯度是Lipschitz。然而，最近的证据表明，这种平滑条件并没有捕捉到一些深度学习目标函数的属性，包括涉及递归神经网络和LSTM的目标函数。相反，它们满足一个更宽松的条件，具有潜在的无界光滑性。在这种宽松的假设下，理论和经验表明，梯度剪切SGD比香草SGD具有优势。在本文中，我们表明，裁剪是不必要的亚当型算法在处理这种情况下：我们从理论上证明，广义SignSGD算法可以获得类似的收敛速度SGD裁剪，但不需要明确的裁剪。这一系列算法的一端恢复SignSGD，另一端非常类似于流行的Adam算法。我们的分析强调了动量在分析SignSGD型和Adam型算法中的关键作用：它不仅减少了噪声的影响，从而消除了以前SignSGD型算法分析中对大型小批量的需要，而且还大大减少了无界平滑和梯度范数的影响。我们还在一组深度学习任务上将这些算法与流行的优化器进行了比较，观察到我们可以在击败其他人的同时匹配Adam的性能。
2022-08-23 cs.LG math.OC
Estimating a Function and Its Derivatives Under a Smoothness Condition
Adelphi University（阿德菲大学）
该研究针对带噪声数据下未知光滑函数及其偏导数的估计问题，提出两类带光滑性约束的估计量，证明其可通过二次规划求解且具备一致性与收敛速率，并通过股票期权估值数值实验验证了有效性。
2024-05-16 cs.LG math.ST stat.ML
K-nn active learning under local smoothness condition
有大量的工作收敛速度无论是在被动或主动学习。在这里，我们概述了一些已经获得的结果，更具体地说，在一个非参数设置下的平滑度和裕度噪声的假设。我们还讨论了这些基本假设的相对优点，把主动学习的角度与最近的被动学习的工作。我们提供了一种新的主动学习算法的收敛速度优于被动学习，使用一个特定的平滑假设定制的$k$ -最近的邻居。与其他最近的算法不同，这种平滑性假设提供了对实例空间的边缘分布的依赖。因此，我们的算法避免了强密度假设，假设存在的密度函数的边缘分布的实例空间，因此更普遍适用。
2021-05-04 cs.LG stat.ML
How Does the Smoothness Approximation Method Facilitate Generalization for Federated Adversarial Learning?
Central South University（中南大学）；Xiangjiang Laboratory（湘江实验室）；Shanghai Jiao Tong University（上海交通大学）
本文研究了联邦对抗学习的泛化问题，通过算法稳定性度量评估VFAL和SFAL在三种平滑近似方法下的泛化性能，发现RSA最能减少泛化误差，并建议在数据异构场景下使用SFAL。
2024-12-19 cs.AI cs.LG
Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）
本文首次在$(L_0,L_1)$-广义光滑性假设下提出并分析了归一化分布式误差反馈算法，证明了其在非凸随机优化问题中达到$O(1/\sqrt{K})$收敛速率，且无需数据异质性假设，步长调节独立于问题参数，并在多个任务上优于非归一化算法。
2024-10-22 cs.LG
Deep learning is adaptive to intrinsic dimensionality of model smoothness in anisotropic Besov space
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Kyushu Institute of Technology（九州工业大学）
深度学习在各种任务中表现出了卓越的性能，特别是对于高维数据集，如图像。为了理解这一特性，我们研究了深度学习在各向异性Besov空间上的近似和估计能力。各向异性的Besov空间的特征在于方向相关的光滑性，并包括迄今为止已经研究过的几个函数类。我们证明了深度学习的近似误差和估计误差仅取决于各个方向上平滑参数的平均值。因此，如果目标函数的光滑性是高度各向异性的，则可以避免维数灾难。与现有的研究不同，我们的分析不需要输入数据的低维结构。我们还研究了深度学习的最小最大最优性，并将其性能与核方法（更一般地说，线性估计）进行了比较。结果表明，如果目标函数具有各向异性平滑性，深度学习对输入维度具有更好的依赖性，并且对于具有空间非均匀平滑性的函数，深度学习实现了自适应速率。
2021-09-30 cs.LG stat.ML
Optimal Algorithms for Stochastic Bilevel Optimization under Relaxed Smoothness Conditions
UC Davis（加州大学戴维斯分校）
本文提出一种全单循环、免Hessian求逆的随机双层优化算法，在标准光滑性假设下达到最优复杂度，并扩展至多目标鲁棒情形，实验验证其性能优势。
2023-06-21 cs.LG math.OC stat.ML
Predictive Local Smoothness for Stochastic Gradient Methods
Northeastern University（东北大学）；Huaqiao University（华侨大学）
随机梯度法在非凸优化中占主导地位，特别是对于深度模型，但由于固定的光滑性而具有较低的渐近收敛性。为了解决这个问题，我们提出了一个简单而有效的方法来改善随机梯度方法称为预测局部平滑（PLS）。首先，我们创建一个收敛条件来建立随局部平滑度自适应变化的学习率。其次，局部平滑度可以通过最新的梯度来预测。第三，我们使用自适应学习率来更新随机梯度，以探索线性收敛速度。通过应用PLS方法，我们实现了三种流行算法的新变体：PLS-随机梯度下降（PLS-SGD），PLS-加速SGD（PLS-AccSGD）和PLS-AMSGrad。此外，我们提供了更简单的证明，以确保其线性收敛。实验结果表明，改进后的算法具有更好的性能增益，如更快的收敛速度和更好的抑制梯度的爆炸和消失。
2018-05-23 cs.LG math.OC stat.ML
Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis
George Mason University（乔治梅森大学）
针对 RNN/LSTM 等无界光滑场景，本文提出 BO-REP 双层优化算法，通过归一化动量、初始化精炼与周期性下层更新实现与有界光滑条件相当的随机复杂度。
2024-01-17 cs.LG math.OC
A Nearly Optimal Single Loop Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
George Mason University（乔治梅森大学）
本文针对上层函数可能具有无界光滑性的随机双层优化问题，提出单循环算法SLIP，避免了嵌套循环的调参困难，并证明其达到近最优复杂度，实验表现显著优于现有基线。
2024-12-28 cs.LG math.OC
An Accelerated Algorithm for Stochastic Bilevel Optimization under Unbounded Smoothness
George Mason University（乔治梅森大学）
针对上层非凸、无界光滑且下层强凸的随机双层优化问题，提出带递归动量的归一化随机梯度下降与带平均的随机Nesterov加速梯度结合的AccBO算法，将$\u03b5$-平稳点预言机复杂度降至$\tilde{O}(1/\u03b5^3)$，实验验证其加速效果与性能优势。
2025-01-15 cs.LG math.OC
Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits
Istituto Italiano di Tecnologia（意大利技术研究院）；CREST, ENSAE, IP Paris（巴黎政治经济统计高等学校经济与统计研究中心，巴黎综合理工学院联盟）；University College London（伦敦大学学院）
研究了强凸函数的零级优化问题。我们的目标是找到最小的功能，其值的顺序探索，测量噪声。我们研究了函数的高阶光滑性对优化误差和累积遗憾的影响。为了解决这个问题，我们考虑一个随机近似的投影梯度下降算法。梯度估计的随机过程涉及两个函数的评价和平滑内核。我们推导出该算法在约束和无约束的设置和证明极小极大下界的任何顺序搜索方法。我们的研究结果表明，零阶算法在样本复杂度和问题参数方面接近最优。基于此算法，我们还提出了一个估计的最小值的函数实现几乎尖锐的预言行为。我们将我们的结果与最先进的技术进行比较，突出了一些关键的改进。
2022-11-24 cs.LG math.OC stat.ML
Last-Iterate Convergence Rate of Normalized Gradient Descent under Hölder Smoothness
Toyota Motor Corporation（丰田汽车公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文研究归一化梯度下降在Hölder光滑凸目标下的末次迭代收敛速率，提出恒定步长含对数开销的上界，并证明线性递减步长可达到最优阶，无需先验参数知识。
2026-10-06 cs.LG math.OC
Complexity Lower Bounds of Adaptive Gradient Algorithms for Non-convex Stochastic Optimization under Relaxed Smoothness
George Mason University（乔治梅森大学）
本文在 $(L_0, L_1)$-光滑条件下研究自适应梯度算法的复杂度下界，证明 AdaGrad 多种变体对问题参数至少存在二次依赖，并揭示该设定比标准光滑设定本质上更难。
2025-05-07 cs.LG math.OC
Glocal Smoothness: Line search and adaptive step sizes can help in theory too!
Stanford University（斯坦福大学）
本文提出全球局部平滑性概念，通过函数属性定义，允许用迭代无关常数界迭代复杂度，展示线搜索优于固定步长，且在某些情况下梯度下降比加速方法更优。
2026-05-15 cs.LG math.OC
Near-Optimal Lower Bounds For Convex Optimization For All Orders of Smoothness
Microsoft Research India（微软印度研究院）；Microsoft Quantum and Microsoft Research（微软量子与微软研究院）；Google Research India（谷歌印度研究院）；Vector Institute（向量研究院）
研究了优化高光滑凸函数的复杂性。对于一个正整数$p$，我们希望找到凸函数$f$的一个$ε$ -近似最小值，给定对该函数及其一阶$p$的oracle访问，假设$f$的$p$阶导数是Lipschitz。最近，三个独立的研究小组（Jiang等人，PLMR 2019; Gasnikov等人，PLMR 2019; Bubeck等人，PLMR 2019）开发了一种新算法，通过$\tilde{O}(1/ε^{\frac{2}{3p+1}})$ oracle调用常量$p$来解决此问题。已知这对于确定性算法是最优的（直到对数因子），但是随机算法的已知下界不匹配该界。我们证明了一个新的下界，匹配这个界（对数因子），并持有不仅随机算法，而且量子算法。
2021-12-02 cs.LG math.OC quant-ph
A new Gradient TD Algorithm with only One Step-size: Convergence Rate Analysis using $L$-$λ$ Smoothness
SonyAI（索尼AI）
本文提出仅需单步长的Impression GTD算法，利用$L$-$\lambda$光滑性证明其至少以$O(1/t)$速率收敛，并达到线性收敛，实验验证其优于现有GTD算法。
2023-09-02 cs.AI cs.LG
Why gradient clipping accelerates training: A theoretical justification for adaptivity
Massachusetts Institute of Technology（麻省理工学院）
我们为梯度裁剪在训练深度神经网络中的有效性提供了理论解释。关键成分是一个新的平滑条件来自实际的神经网络训练的例子。我们观察到，梯度平滑度是一阶优化算法分析的核心概念，通常被假设为常数，它在深度神经网络的训练轨迹上表现出显著的可变性。此外，这种平滑性与梯度范数正相关，并且与文献中的标准假设相反，它可以随着梯度的范数而增长。这些经验的观察限制了现有的理论分析的算法，依赖于一个固定的边界上的平滑度的适用性。这些观察促使我们引入一种新的松弛梯度平滑，比常用的Lipschitz平滑假设弱。在新的条件下，我们证明了两个流行的方法，即\emph{gradient clipping}和\emph{normalized gradient}，收敛速度任意快于梯度下降与固定步长。我们进一步解释了为什么这种自适应缩放的梯度法可以加速经验收敛，并在流行的神经网络训练环境中验证了我们的结果。
2020-02-10 cs.LG math.OC
Smoothness-Adaptive Dynamic Pricing with Nonparametric Demand Learning
Nankai University（南开大学）；University of Toronto（多伦多大学）
针对非参数 Hölder 平滑需求函数的动态定价，论文证明未知平滑度 β 下无法自适应达到 minimax 最优遗憾，并提出自相似性条件与无需先验 β 的平滑度自适应算法。
2023-11-01 cs.LG econ.EM stat.ML
AdaGrad under Anisotropic Smoothness
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对AdaGrad在大批量设置下理论优势未明的问题，提出各向异性广义平滑性假设并分析AdaGrad，证明其比统一步长算法具有更好的维度依赖性和更快收敛性，经逻辑回归和指令微调实验验证。
2024-10-14 cs.LG math.OC
Theoretical analysis of Adam using hyperparameters close to one without Lipschitz smoothness
Meiji University（明治大学）
自适应矩估计（Adam）及其变体等自适应方法的收敛性和收敛速度分析在非凸优化问题中得到了广泛的研究。分析基于预期或经验平均损失函数为Lipschitz平滑（即，其梯度是Lipschitz连续的），并且学习率取决于Lipschitz连续梯度的Lipschitz常数。同时，Adam及其变体的数值评估表明，使用小的常数学习率而不依赖于Lipschitz常数和接近1的超参数（$β_1$和$β_2$）对于训练深度神经网络是有利的。由于计算Lipschitz常数是NP困难的，Lipschitz光滑条件将是不切实际的。本文在不假设Lipschitz光滑性条件的情况下对Adam进行了理论分析，以弥合理论与实践之间的差距。主要的贡献是显示理论证据，亚当使用小学习率和超参数接近1表现良好，而以前的理论结果都是超参数接近零。我们的分析还导致发现Adam在大批量的情况下表现良好。此外，我们表明，亚当表现良好，当它使用递减的学习率和超参数接近1。
2022-06-27 cs.LG math.OC
Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness
Department of Computer Science, University of Maryland, College Park.（计算机科学系，马里兰大学 College Park 分校）；Department of Computer Science（计算机科学系）；Engineering, University of Texas Arlington（工程学院，德克萨斯大学阿灵顿分校）
针对常见机器学习模型不满足Lipschitz平滑性的问题，本文在不假设该条件下重新审视了Shuffling型梯度方法的收敛率，提出步长策略使其在较弱假设下匹配当前最佳收敛率，并在多种凸性条件下证明了收敛性，数值实验验证了其有效性。
2025-07-11 cs.LG math.OC stat.ML
Gradient-Variation Online Adaptivity for Accelerated Optimization with Hölder Smoothness
本文研究了Hölder平滑函数的在线学习，设计了无需预知平滑参数的梯度变分在线学习算法，通过在线到批处理转换及检测程序，首次为离线强凸优化提出了一种在平滑与非平滑机制下均具最优或近最优收敛的通用加速方法。
2025-11-04 cs.LG math.OC
A first-order primal-dual method with adaptivity to local smoothness
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Linköping University（林雪平大学）
我们考虑的问题找到一个鞍点的凹凸目标$\min_x \max_y f(x) + \langle Ax, y\rangle - g^*(y)$，其中$f$是一个凸函数的局部Lipschitz梯度和$g$是凸的，可能是不光滑的。我们提出了一个自适应版本的Condat-Vestival算法，它交替原始梯度步骤和双邻近步骤。该方法通过一个简单的规则，涉及$\|A\|$和$f$最近计算的梯度的范数实现步长自适应。在标准假设下，我们证明了一个$\mathcal{O}(k^{-1})$遍历收敛速度。此外，当$f$也是局部强凸和$A$有充分的行秩秩时，我们证明了我们的方法以线性速度收敛。数值实验说明了算法的实用性能。
2021-10-28 cs.LG math.OC
Near-optimal learning with average Hölder smoothness
Purdue University（普渡大学）
本文将平均Lipschitz光滑性推广为平均Hölder光滑性，在可实现与不可知回归设置下给出上下界风险界并建立极小极大速率，同时提出无需显式函数类表示即可达到近最优速率的算法。
2023-10-30 cs.LG math.ST stat.ML
On Lipschitz Continuity and Smoothness of Loss Functions in Learning to Rank
在二元分类和回归问题中，损失函数的Lipschitz连续性和光滑性在经验风险最小化算法的泛化误差界中起着关键作用。在本文中，我们将展示这两个属性如何影响泛化误差界的学习排序问题。学习排序问题涉及向量值的预测，因此选择的规范，其中Lipschitz连续性和光滑性的定义变得至关重要。选择$\ell_\infty$规范在我们的定义Lipschitz连续性允许我们改善现有的界限。此外，在平滑的假设下，我们的选择使我们能够证明率之间的插值$1/\sqrt{n}$和$1/n$率。将我们的结果应用到ListNet（一种流行的学习排序方法）中，可以提供最先进的性能保证。
2016-09-13 cs.LG stat.ML
Near-Optimal Convergence of Accelerated Gradient Methods under Generalized and $(L_0, L_1)$-Smoothness
Applied AI Institute, Moscow, Russia（应用人工智能研究所，莫斯科，俄罗斯）
本文研究了在满足最近提出的$\ell$-光滑性条件的凸优化问题中的一阶方法。虽然加速梯度下降法（AGD）在$L$-光滑性下能达到最优复杂度$O(\sqrt{L} R / \sqrt{\varepsilon})$，但现有方法在$\ell$-光滑性下的扩展要么引入额外的初始梯度依赖，要么有指数因子$ L_1 R $，或者需要昂贵的辅助子程序。本文解决了这一开放问题，通过新的Lyapunov函数和设计新的算法，实现了$O(\sqrt{\ell(0)} R / \sqrt{\varepsilon})$的oracle复杂度，对于小$\varepsilon$和几乎任何$\ell$。例如，在$(L_0, L_1)$-光滑性下，我们的界$O(\sqrt{L_0} R / \sqrt{\varepsilon})$在小$\varepsilon$范围内被证明是最佳的，并去除了先前加速算法中所有非常数的乘法因子。
2026-05-21 cs.LG math.OC
Gradient-Normalized Smoothness for Optimization with Approximate Hessians
EPFL（洛桑联邦理工学院）
本研究提出梯度归一化平滑性新概念，构建结合近似二阶信息与梯度正则化的优化算法，为近似二阶算法提供通用全局收敛保证，适用于多类函数及逻辑回归、非凸优化等场景。
2025-06-16 cs.LG math.OC
Fighting Bandits with a New Kind of Smoothness
University of Michigan（密歇根大学）
我们定义了一个新的家庭的算法的对抗性多臂土匪问题，并提供了一个简单的分析技术的基础上凸平滑。我们证明了两个主要结果。首先，我们通过\emph{Tsallis entropy}，其中包括EXP3作为一个特殊的情况下，正则化实现了$Θ(\sqrt{TN})$极大极小遗憾。其次，我们证明了一个广泛的一类扰动方法实现了近最优的遗憾低至$O(\sqrt{TN \log N})$，如果扰动分布有界的风险率。例如，Gumbel、Weibull、Frechet、Pareto和Gamma分布都满足这个关键属性。
2015-12-14 cs.GT cs.LG stat.ML
What Makes Local Updates Effective: The Role of Data Heterogeneity and Smoothness
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）
本文从理论上刻画了有界二阶异质性条件下 Local SGD 等本地更新算法在联邦优化中的紧收敛界与极小极大复杂度，并基于共识误差分析框架给出更锐利的有限时间收敛保证，同时扩展至在线联邦学习的遗憾界分析。
2025-06-30 cs.AI cs.LG cs.MA
Parameter-Agnostic Optimization under Relaxed Smoothness
ETH Zurich（苏黎世联邦理工学院）
针对$(L_0, L_1)$-光滑性下现有算法仍需调优步长的问题，提出NSGD-M实现无问题参数先验的近最优收敛，证明指数项不可避免，且确定性场景下可通过回溯线搜索抵消，给出首个广义光滑性下的参数无关收敛结果。
2023-11-06 cs.LG math.OC stat.ML
Theoretically Better and Numerically Faster Distributed Optimization with Smoothness-Aware Quantization Techniques
Texas A&M University（德州农工大学）；KAUST（阿卜杜拉国王科技大学）
为了解决分布式机器学习的高通信成本，近年来已经投入了大量的工作来设计各种压缩策略，例如稀疏化和量化，以及能够使用它们的优化算法。最近，Safaryan等人（2021）开创了一种截然不同的压缩设计方法：他们首先使用局部训练数据来形成局部平滑度矩阵，然后提出设计一种能够利用其中包含的平滑度信息的压缩器。虽然这种新颖的方法导致通信的大量节省，但它仅限于稀疏化，因为它严重依赖于压缩算子的线性。在这项工作中，我们将他们的平滑感知压缩策略推广到任意无偏压缩算子，其中也包括稀疏化。专门我们的结果随机量化，我们保证显着节省通信复杂性相比，标准量化。特别是，我们证明了块量化与$n$块理论上优于单块量化，导致通信复杂性降低了$\mathcal{O}(n)$因子，其中$n$是分布式系统中的节点数。最后，我们提供了大量的数值证据与凸优化问题，我们的平滑感知量化策略优于现有的量化方案，以及上述平滑感知稀疏化策略的三个评估指标：迭代次数，通信的比特总量，和挂钟时间。
2022-10-12 cs.LG math.OC
Stability and Convergence of Stochastic Gradient Clipping: Beyond Lipschitz Continuity and Smoothness
KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度算法在应用于不具有Lipschitz连续和/或有界梯度的函数时通常是不稳定的。梯度裁剪是一种简单而有效的技术，可以稳定训练过程，解决容易出现梯度爆炸问题的问题。尽管它的广泛流行，梯度裁剪启发式算法的收敛特性知之甚少，特别是对于随机问题。建立了次梯度快速增长的非光滑凸函数的剪裁随机（次）梯度法（SCD）的定性和定量收敛结果。我们的分析表明，裁剪增强了SGD的稳定性，裁剪SGD算法在许多情况下具有有限的收敛速度。在标准假设下，我们还研究了带动量的剪切方法的收敛性，其中包括剪切SGD作为特殊情况。与一个新的李雅普诺夫分析，我们表明，所提出的方法达到了最好的已知率所考虑的一类问题，证明了有效性的裁剪方法也在这一制度。数值结果证实了我们的理论发展。
2021-06-10 cs.LG math.OC
The Geometry of Sign Gradient Descent
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tuebingen（图宾根大学）；Google Research（谷歌研究院）；Mila（米拉魁北克人工智能研究所）；McGill University（麦吉尔大学）
基于符号的优化方法在机器学习中具有良好的分布式优化通信代价和在神经网络训练中的优异性能，因此受到广泛的关注。此外，它们与Adam等所谓的自适应梯度方法密切相关。最近的工作signSGD使用了一个非标准的“可分离平滑”的假设，而一些老作品研究的符号梯度下降的最陡下降的$\ell_\infty$ -范数。在这项工作中，我们统一了这些现有的结果，显示可分离的光滑性和$\ell_\infty$ -光滑性之间的密切联系，并认为后者是更弱，更自然的假设。然后，我们继续研究的光滑常数相对于$\ell_\infty$ -范数，从而隔离几何性质的目标函数，影响基于符号的方法的性能。简而言之，我们发现基于符号的方法优于梯度下降，如果（i）Hessian在某种程度上集中在其对角线上，并且（ii）其最大特征值远大于平均特征值。这两个属性在深度网络中很常见。
2020-02-19 cs.LG stat.ML
Highly-Smooth Zero-th Order Online Optimization Vianney Perchet
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机系）；CREST - ENSAE（法国国立统计与经济管理学院经济与统计研究中心）
凸函数的极小化问题是许多学科中的一个重要方法论问题，而凸函数的极小化问题只能通过部分信息和噪声信息来获得。在本文中，我们考虑凸优化与噪声零阶信息，即噪声函数的评价在任何期望的点。我们专注于高平滑度的问题，例如逻辑回归。我们表明，相对于基于梯度的算法，高阶平滑可以用来提高估计率，精确的依赖于我们的上界的平滑程度。特别是，我们表明，无限可微的功能，我们恢复相同的依赖于样本大小的梯度算法，与一个额外的维度依赖因子。这是做凸和强凸函数，有限的地平线和任何时候的算法。最后，我们也恢复了类似的结果，在在线优化设置。
2016-05-26 cs.LG math.OC
Data-Dependent Bounds for Online Portfolio Selection Without Lipschitzness and Smoothness
National Taiwan University（国立台湾大学）
该研究首次为非利普希茨、非光滑损失的在线凸优化场景下的在线投资组合选择，提出数据相关的小损失与渐变悔界，设计的算法兼具良好悔速率与计算效率，并给出新型理论分析方法。
2023-11-04 cs.LG math.OC stat.ML
Optimal mini-batch and step sizes for SAGA
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；IMAG, Univ Montpellier, CNRS（IMAG，蒙彼利埃大学，法国国家科学研究中心）
最近，它已被证明的步长的家庭方差约化梯度法称为JacSketch方法依赖于预期的平滑常数。特别地，如果可以先验地计算该期望平滑度常数，则可以安全地设置大得多的步长，这将导致快得多的收敛速度。我们填补了这一空白，并提供了简单的封闭形式表达式的预期平滑常数和仔细的数值实验验证这些界限。使用这些界限，因为SAGA算法是这个JacSketch家庭的一部分，我们建议一个新的标准做法，为SAGA设置的步长和小批量大小是有竞争力的数值网格搜索。此外，我们现在可以证明，SAGA算法的总复杂度在小批量大小中线性下降到预定义的值：最佳小批量大小。这是一个罕见的结果，在随机方差减少文献中，只有以前的喀秋莎算法。最后，我们猜想，这是许多其他的随机方差减少的方法的情况下，我们的边界和分析的预期平滑常数是关键，以延长这些结果。
2019-09-18 cs.LG math.OC stat.ML
Mirror Descent Under Generalized Smoothness
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；School of Software Technology, Zhejiang University（浙江大学软件技术学院）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院）
本文提出一种新的 $\ell_*$-光滑性概念，将经典光滑性推广到一般范数空间，并证明镜像下降类算法在此条件下收敛率与经典光滑性一致。
2026-05-30 cs.LG math.OC
Lower Complexity Bounds of Finite-Sum Optimization Problems: The Results and Construction
Peking University（北京大学）
本文研究了有限和最优化问题的复杂性下界，其中目标函数是$n$各个分量函数的平均值。我们考虑近端增量一阶（PIFO）算法，它可以访问每个组件功能的梯度和近端预言。为了结合无环方法，我们还允许PIFO算法偶尔获得完整的梯度。我们开发了一种新的方法来构建硬实例，划分的三对角矩阵的经典例子到$n$组。这种构造对PIFO算法的分析是友好的。在此基础上，当目标函数为凸-凹或非凸-强-凹且分支函数类为$L$ -平均光滑时，我们建立了有限和Minimax最优化问题的复杂性下界.大多数这些边界几乎匹配现有的上界的对数因子。我们也可以推导出类似的下界有限和最小化问题的光滑和平均光滑的假设下，以前的工作。我们的下界意味着光滑函数的邻近预言并不比梯度预言强大得多。
2023-01-06 cs.LG math.OC stat.ML
Accelerated zero-order SGD under high-order smoothness and overparameterized regime
Lomonosov MSU（罗蒙诺索夫莫斯科大学）；ISP RAS（俄罗斯科学院信息问题研究所）；HSE University（高等经济大学）；MIPT（莫斯科物理技术学院）；MSU Institute for Artificial Intelligence（莫斯科大学人工智能研究所）；Innopolis University（因诺波利斯大学）；IITP RAS（俄罗斯科学院信息传输问题研究所）；Skoltech（斯科尔科沃科学技术研究院）
本文提出一种适用于高阶光滑凸随机优化问题的加速零阶随机梯度下降算法，在过参数化情形下具有最优预言机复杂度，并给出两类噪声下的收敛保证及最大可容许噪声水平估计。
2024-11-21 cs.LG math.OC
Improved Guarantees for Langevin Monte Carlo with Average Smoothness
L2S, CNRS, Centrale Sup\'elec, Universit\'e Paris-Saclay e2
针对强对数凹情形下的 Langevin Monte Carlo，利用平均坐标光滑常数而非全局光滑常数，改进了 Wasserstein 距离下的非渐近误差界，并推广至变步长、Laplacian-Lipschitz 势及有限和问题。
2026-05-29 cs.LG math.ST stat.TH
Classification algorithms using adaptive partitioning
基于自适应树划分的二进制分类算法制定和分析其风险性能和友好的数值实现。这些算法可以被看作是生成贝叶斯集的集合近似，因此属于集合估计的一般类别。与大多数研究的基于树的算法相比，该算法在生成的分区上利用分段常数近似[IEEE Trans. Inform. Theory 52（2006）1335-1353; Mach.学习. 66（2007）209-242]，我们考虑装饰树，这允许我们导出高阶方法。这些方法的收敛速度推导出的边缘条件的参数$α$和速度$s$的最佳逼近的贝叶斯集的装饰自适应分区。它们也可以用回归函数的Besov平滑性$β$来表示，该回归函数通过自适应分区上的分段多项式来控制其可逼近性。算法的执行不需要平滑度或裕度条件的知识。Besov光滑条件比通常使用的赫尔德条件弱，后者控制非自适应分区的近似，因此对于给定的回归函数，可以导致更高的收敛速率。这又缓解了平滑度和边缘参数之间的兼容性冲突。
2014-11-04 math.ST stat.TH
