Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness
EPFL (LIONS)（苏黎世联邦理工学院（LIONS））；Université Paris-Saclay (CVN)（巴黎-萨克雷大学（CVN））
本文提出了一种结合最速下降与条件梯度的非欧几里得优化方法，通过广义$(L_0,L_1)$-平滑性实现梯度范数截断的扩展，并在深度学习中展示了其收敛性和应用效果。
2026-02-04 cs.LG stat.ML
Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；JHU（约翰斯·霍普金斯大学）；KAUST（阿卜杜拉国王科技大学）
本文针对凸$(L_0,L_1)$-光滑优化问题，为梯度裁剪、Polyak步长和自适应梯度下降等方法推导出不依赖标准光滑性假设且避免指数依赖的改进收敛速率，并提出新的加速方法。
2024-12-25 cs.LG math.OC
Revisiting Gradient Clipping: Stochastic bias and tight convergence guarantees
EPFL（洛桑联邦理工学院）；Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔研究中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
该研究针对梯度裁剪收敛保证依赖特定阈值与强噪声假设的问题，推导了其与任意裁剪阈值相关的紧收敛界，证明随机场景下标准假设无法保证收敛到最优解，并通过实验验证了理论结果。
2023-11-09 cs.DC cs.LG math.OC
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping
MIPT（莫斯科物理技术学院）；HSE（高等经济学院）；ICS RAS（俄罗斯科学院系统编程研究所）
本文提出了一种新的加速随机一阶方法--剪切SSTM，用于求解随机梯度中带重尾分布噪声的光滑凸随机最优化问题，并给出了该方法的第一个高概率复杂度界，填补了带重尾噪声的随机最优化理论的空白.我们的方法是基于加速随机梯度下降（SGD）和随机梯度裁剪的一个特殊的变种。我们将我们的方法扩展到强凸的情况下，并证明了新的复杂性界限，在这种情况下优于国家的最先进的结果。最后，我们扩展了我们的证明技术，并推导出第一个非平凡的高概率复杂性界的SGD裁剪没有轻尾假设的噪声。
2020-10-23 cs.LG math.OC
AdaCliP: Adaptive Clipping for Private SGD
UC San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
隐私保护机器学习算法对于在用户数据上学习模型以保护敏感信息至关重要。受此启发，已经提出了用于训练机器学习模型的差分私有随机梯度下降（SGD）算法。在每一步，这些算法修改梯度并添加与修改的梯度的灵敏度成比例的噪声。在这个框架下，我们提出了AdaCliP，一个理论上激励差分私人SGD算法，可证明增加了更少的噪声相比，以前的方法，通过使用坐标明智的自适应裁剪的梯度。我们的经验表明，AdaCliP减少了增加的噪声量，并产生更好的准确性模型。
2019-10-23 cs.CR cs.LG stat.ML
DP-SGD with weight clipping
MAGNET INRIA
针对差分隐私梯度下降中传统梯度裁剪的偏差问题，提出利用模型Lipschitz值公开上界和搜索域位置实现精细化噪声调整的新算法，实证显示其差分隐私保证更优且实践性能超过现有方法。
2025-02-10 cs.CR cs.LG
Adaptive Learning Rate Clipping Stabilizes Learning
University of Warwick（华威大学）
使用随机梯度下降训练的人工神经网络可能会被具有高损失的“坏批次”所破坏。这对于具有小批量大小、高阶损失函数或不稳定的高学习率的训练通常是有问题的。为了稳定学习，我们开发了自适应学习率限幅（ALRC），将反向传播损失限制在其运行均值以上的标准差范围内。ALRC的目的是补充现有的学习算法：我们的算法是计算成本低，可以应用于任何损失函数或批量大小，是强大的超参数选择，不影响反向传播梯度分布。在CIFAR-10超算上的实验表明，ALCR在不稳定的均方误差训练中减少了错误，而稳定的均方误差训练不受影响。我们还表明，ALRC减少不稳定的均方误差部分扫描透射电子显微镜完成。我们的源代码可在https://github.com/Jeffrey-Ede/ALRC上公开获取
2019-06-24 cs.LG stat.ML
Robust Stochastic Optimization via Gradient Quantile Clipping
LPSM, UMR 8001（数学与建模科学实验室（UMR 8001））；Université Paris Cité（巴黎城市大学）；DMA, École normale supérieure（巴黎高等师范学院数学科学部）
本文提出一种基于梯度范数分位数的SGD裁剪策略，利用马尔可夫链分析处理裁剪偏差，在凸与非凸目标下均能容忍重尾样本与异常值，实现鲁棒高效的优化。
2024-10-12 cs.LG stat.ML
Improved Analysis of Clipping Algorithms for Non-convex Optimization
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
梯度裁剪通常用于训练深度神经网络，部分原因是其在缓解梯度爆炸问题方面的实用性。最近，\citet{zhang2019gradient}通过引入一个新的假设，即$(L_0, L_1)$ -光滑性，表明剪切（随机）梯度下降（GD）比香草GD/SGD收敛得更快，该假设描述了深度神经网络中通常遇到的梯度剧烈波动。然而，他们的迭代复杂性的问题依赖的参数是相当悲观的，裁剪与其他关键技术，如动量加速，仍然缺乏理论依据。在本文中，我们提出了一个通用的框架来研究裁剪算法，其中也考虑到动量方法的差距。我们提供的框架在确定性和随机设置的收敛性分析，并证明我们的结果与现有的下限进行比较，证明了我们的结果的紧密性。我们的研究结果意味着，效率的裁剪方法不会退化，即使在高度非光滑的地区的景观。实验证实了基于裁剪的方法在深度学习任务中的优越性。
2020-10-29 cs.LG math.OC stat.ML
Why gradient clipping accelerates training: A theoretical justification for adaptivity
Massachusetts Institute of Technology（麻省理工学院）
我们为梯度裁剪在训练深度神经网络中的有效性提供了理论解释。关键成分是一个新的平滑条件来自实际的神经网络训练的例子。我们观察到，梯度平滑度是一阶优化算法分析的核心概念，通常被假设为常数，它在深度神经网络的训练轨迹上表现出显著的可变性。此外，这种平滑性与梯度范数正相关，并且与文献中的标准假设相反，它可以随着梯度的范数而增长。这些经验的观察限制了现有的理论分析的算法，依赖于一个固定的边界上的平滑度的适用性。这些观察促使我们引入一种新的松弛梯度平滑，比常用的Lipschitz平滑假设弱。在新的条件下，我们证明了两个流行的方法，即\emph{gradient clipping}和\emph{normalized gradient}，收敛速度任意快于梯度下降与固定步长。我们进一步解释了为什么这种自适应缩放的梯度法可以加速经验收敛，并在流行的神经网络训练环境中验证了我们的结果。
2020-02-10 cs.LG math.OC
Almost Sure Convergence Analysis of Stochastic Gradient Methods with Clipping and Additive Noise
University of Waterloo（滑铁卢大学）
本文证明带裁剪和加性高斯噪声的随机梯度下降在光滑性和噪声有界假设下几乎必然收敛，并推广至动量变体，为裁剪方法的路径行为提供理论基础。
2026-09-17 cs.LG math.OC math.PR
Revisiting Gradient Normalization and Clipping for Nonconvex SGD under Heavy-Tailed Noise: Necessity, Sufficiency, and Acceleration
College of Computer Science and Technology National University of Defense Technology（计算机科学与技术学院 国防科技大学）；Center for Machine Learning Research (CMLR) Peking University（机器学习研究中心（CMLR） 北京大学）
本文针对重尾噪声下的非凸SGD收敛问题，重新探究梯度归一化与裁剪的作用，证明归一化单独即可保证收敛，二者结合可提升收敛速率，还提出了加速变体并给出统一理论与实践指导。
2025-11-19 cs.LG math.OC stat.ML
Clipping Makes Distributed and Federated Asynchronous SGD Robust to Stragglers
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文理论证明梯度裁剪能消除异步SGD中最大延迟对复杂度的影响，基于次Weibull梯度噪声模型，首次实现异步优化的高概率收敛。
2026-06-12 cs.DC cs.LG math.OC
On the Convergence of DP-SGD with Adaptive Clipping
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文首次系统分析了带分位数裁剪的SGD（QC-SGD）的收敛性，揭示了其偏差问题及分位数与步长调度的缓解机制，并将结果扩展到差分隐私场景，为DP-QC-SGD建立了首个理论保证。
2024-12-27 cs.CR cs.LG math.OC
Clip21: Error Feedback for Gradient Clipping
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Institut Polytechnique de Paris（巴黎理工学院）；KAUST（阿卜杜拉国王科技大学）
针对差分隐私约束下分布式梯度裁剪引入偏差导致收敛变慢的问题，本文提出Clip21误差反馈机制，首次在光滑非凸情形下达到与分布式梯度下降相同的O(1/K)收敛速率，并显著优于已有方法。
2023-05-30 cs.LG math.OC stat.ML
High-Dimensional Privacy-Utility Dynamics of Noisy Stochastic Gradient Descent on Least Squares
Pennsylvania State University（宾夕法尼亚州立大学）；McGill University（麦吉尔大学）；Boston University（波士顿大学）
本文采用扩散近似从连续时间视角精确分析带 ℓ2 正则化最小二乘中噪声 SGD 的高维统计风险与隐私损失动态，并研究无需显式梯度敏感度或裁剪的变体。
2025-10-19 cs.LG
Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits
KAUST Center of Excellence for Generative AI（知识增强人工智能卓越中心）；ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Georgia Institute of Technology（佐治亚理工学院）
本文首次研究重尾噪声下的二阶优化，建立样本复杂度紧下界，提出基于梯度和Hessian Clipping的算法，证明其高概率上界几乎匹配理论极限，为算法设计提供鲁棒策略。
2025-10-12 cs.LG math.OC
Why are Adaptive Methods Good for Attention Models?
MIT（麻省理工学院）；EPFL（洛桑联邦理工学院）；Google Research（谷歌研究院）
虽然随机梯度下降（SGD）仍然是深度学习中的\emph{de facto}算法，但已观察到像Clipped SGD/Adam这样的自适应方法在重要任务（如注意力模型）中的表现优于SGD。与自适应方法相比，SGD表现不佳的设置尚未得到很好的理解。在本文中，我们提供的经验和理论证据表明，随机梯度中的噪声的重尾分布是SGD的性能不佳的原因之一。给出了重尾噪声下自适应梯度法的第一个紧收敛上界和下界。此外，我们演示了梯度裁剪如何在解决重尾梯度噪声中发挥关键作用。随后，我们展示了如何裁剪可以应用于实践中开发的\emph{adaptive}坐标明智的裁剪算法（ACClip），并证明其优越的性能BERT预训练和微调任务。
2020-10-23 cs.LG math.OC
Clipped SGD Algorithms for Performative Prediction: Tight Bounds for Clipping Bias and Remedies
Bar-Ilan University（巴伊兰大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了决策相关数据分布下 clipped SGD 算法的收敛性，刻画了 PCSGD 算法中的 clipping bias 界限并提出最优步长设计与 DiceSGD 算法作为修正方法，数值实验验证了理论发现。
2025-01-30 cs.CR cs.LG math.OC
From Dual Tracking to Clipping: Provably Faster Distributionally Robust Multi-Objective Optimization
Department of Computer Science（计算机科学系）；Texas A& M University（德克萨斯A&M大学）；University of Maryland（马里兰大学）
本文提出分布鲁棒多目标优化（DR-MOO），通过多梯度下降算法（MGDA）在非凸设定下实现ε-Pareto- stationary点，改进样本复杂度至O(ε^{-4})。
2026-10-07 cs.LG math.OC
Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees
Carnegie Mellon University（卡内基梅隆大学）；Faculty of Technical Sciences, University of Novi Sad（诺威萨大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺威萨大学理学院）
该研究针对重尾噪声下的在线学习收敛问题，提出非线性SGD通用框架，在无噪声矩假设下为多种非线性方法建立高概率收敛保证，理论和实验均验证了框架的优越性。
2025-03-21 cs.LG math.OC
PPO-Clip Attains Global Optimality: Towards Deeper Understandings of Clipping
National Yang Ming Chiao Tung University（台湾阳明交通大学）
本文首次在表格和神经网络函数近似设定下证明了PPO-Clip变体的全局收敛性，通过引入广义目标、熵镜像下降和两步策略改进方法，揭示了裁剪机制仅影响收敛速率的前置常数。
2024-02-19 cs.AI cs.LG
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google（谷歌公司）
我们重新研究了差异私人经验风险最小化（ERM）的问题。我们证明了对于无约束凸广义线性模型（GLM），可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险，其中${\texttt{rank}}$是GLM问题中特征矩阵的秩，$n$是数据样本数，$ε$是隐私参数.这个界限是通过差分私有梯度下降（DP-GD）来实现的。此外，通过第一个无约束的私人ERM的下限，我们表明，我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是，不依赖于环境模型空间（$p$）的维数。（请注意，${\texttt{rank}}\leq \min\{n, p\}$。）此外，我们还得到了一个类似的超额人口风险界，它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置（即，其中的目标函数是非凸的，但保持GLM结构），我们进一步表明，DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后，我们表明，对于凸GLM，在实践中常用的DP-GD的一个变体（涉及裁剪个别梯度）也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此，我们提供了一个结构引理，其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
A Communication-Efficient Distributed Gradient Clipping Algorithm for Training Deep Neural Networks
George Mason University（乔治梅森大学）；Meta Platforms, Inc.（元平台公司）；University of Birmingham（伯明翰大学）；Texas A&M University（得克萨斯农工大学）
在深度神经网络的分布式训练中，人们通常在每台机器上运行随机梯度下降（SGD）或其变体，并定期与其他机器进行通信。然而，SGD在训练一些深度神经网络（例如，RNN，LSTM），因为梯度爆炸问题。梯度裁剪通常用于解决单机环境中的这个问题，但在分布式环境中探索这项技术仍处于起步阶段：梯度裁剪方案是否可以利用多台机器来享受并行加速仍然是个谜。其主要技术难点在于同时处理非凸损失函数、非Lipschitz连续梯度和跳过通信轮。在本文中，我们探索了LSTM在以前的工作中所满足的损失景观的松弛平滑假设，并设计了一种通信高效的梯度裁剪算法。该算法可以在多台机器上运行，其中每台机器采用梯度裁剪方案，并在多个基于梯度的更新步骤之后与其他机器通信。我们的算法被证明有$O\left(\frac{1}{Nε^4}\right)$迭代复杂性和$O(\frac{1}{ε^3})$通信复杂性，寻找一个$ε$ -平稳点在齐次数据设置，其中$N$是机器的数量。这表明，我们的算法享有线性加速比和减少通信轮。我们的证明依赖于新的分析技术估计截断随机变量，我们相信是独立的利益。我们在多个基准数据集和各种场景上的实验表明，我们的算法在实践中确实表现出快速的收敛速度，从而验证了我们的理论。
2022-10-13 cs.DC cs.LG math.OC
Clip Body and Tail Separately: High Probability Guarantees for DPSGD with Heavy Tails
Renmin University of China（中国人民大学）；Tokyo Institute of Technology（东京工业大学）；Emory University（埃默里大学）
针对DPSGD在重尾梯度下裁剪损失过大的问题，提出判别性裁剪（DC-DPSGD），通过子空间识别区分主体与尾部梯度并采用不同裁剪阈值，在非凸条件下降低经验梯度范数，实验显示准确率最多提升9.72%。
2024-05-27 cs.CR cs.LG
Convergence of Stein Variational Gradient Descent under a Weaker Smoothness Condition
KAUST（阿卜杜拉国王科技大学）
Stein变分梯度下降（SVGD）是Langevin型算法的一个重要替代方案，用于从$π(x) \propto \exp(-V(x))$形式的概率分布中采样。在现有的Langevin型算法和SVGD理论中，常假设势函数$V$是$L$ -光滑的.然而，这个限制性条件排除了一大类潜在的功能，如多项式的次数大于$2$。本文研究了具有$(L_0,L_1)$ -光滑位势分布的SVGD算法的收敛性。这种放松的平滑假设是由Zhang等人[2019 a]引入的，用于分析梯度裁剪算法。在独立于概率的辅助条件下，我们给出了一个下降引理，证明了算法在每次迭代时减小了$\mathrm{KL}$发散，并证明了在种群极限下SVGD的复杂度界.
2022-06-01 cs.LG math.PR math.ST
Mirror Descent Strikes Again: Optimal Stochastic Convex Optimization under Infinite Noise Variance
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of California, Davis（加州大学戴维斯分校）
研究了噪声方差为无穷大时的随机凸优化问题。具体地说，当随机梯度是无偏的且具有一致有界的$(1+κ)$阶矩时，对于某些$κ\in (0,1]$，我们根据优化问题的迭代次数、维数和相关的几何参数，量化了具有一类特殊的一致凸镜映射的随机镜像下降算法的收敛速度.有趣的是，该算法不需要任何显式的梯度裁剪或归一化，这已被广泛用于最近的几个经验和理论工作。我们补充我们的收敛结果与信息理论的下限表明，没有其他算法只使用随机一阶预言机可以实现提高利率。我们的研究结果有几个有趣的后果，设计在线/流随机逼近算法的鲁棒统计和机器学习中出现的问题。
2022-02-23 cs.LG math.OC stat.ML
DP-SGD-Global-Adapt-V2-S: Triad Improvements of Privacy, Accuracy and Fairness via Step Decay Noise Multiplier and Step Decay Upper Clipping Threshold
University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）；College of Saint Benedict and Saint John’s University（圣本笃学院与圣约翰大学）；Mississippi State University（密西西比州立大学）
本文针对DP-SGD效用与公平性下降问题，提出DP-SGD-Global-Adapt-V2-S，通过步进衰减噪声乘子和上裁剪阈值，在多个数据集上同时提升隐私保护下的准确率与公平性。
2025-02-05 cs.CR cs.LG
Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping
Inria, CNRS, Ecole Normale Supérieure PSL Research University（法国国家科学研究中心、巴黎高等师范学院PSL研究大学）；Department of Management Science and Information Systems（管理科学与信息系统系）；Faculty of Engineering and Natural Sciences（工程与自然科学学院）；Department of Mathematics（数学系）
本文研究重尾噪声 SGD 的差分隐私，证明 $α$-稳定扰动可在无需梯度裁剪下为非凸损失实现 $(0,O(1/n))$-DP。
2025-05-12 cs.CR cs.LG math.ST
Nonconvex Stochastic Optimization under Heavy-Tailed Noises: Optimal Convergence without Gradient Clipping
Stern School of Business, New York University（纽约大学斯特恩商学院）
针对重尾噪声下的非凸随机优化，本文通过重新审视Batched NSGDM算法，首次证明了无需梯度裁剪即可在放宽平滑条件下达到最优收敛速率，并给出了尾部指数未知情况下的首个收敛速率。
2025-05-29 cs.LG math.OC stat.ML
(Nearly) Optimal Private Linear Regression via Adaptive Clipping
Google（谷歌）
我们研究了差分私有线性回归问题，其中每个数据点都是从一个固定的亚高斯分布中采样的。我们提出并分析了一个单通道小批量随机梯度下降方法（DP-AMBSSGD），在每次迭代中的点被采样而不替换。为DP添加噪声，但在线估计噪声标准偏差。与现有的具有次优误差界的$(ε, δ)$ -DP技术相比，DP-AMBSSGD能够在关键参数方面提供接近最优的误差界，所述关键参数如维度$d$、点的数量$N$和观测中的噪声的标准偏差$σ$。例如，当对$d$维协变量进行i.i.d.采样时，根据正态分布，则由于隐私引起的DP-AMBSSGD的超额误差是$\frac{σ^2 d}{N}(1+\frac{d}{ε^2 N})$，即，当样本数为线性回归的标准操作方案$N= Ω(d \log d)$时，误差是有意义的。相比之下，现有的有效方法在这种情况下的误差界限是：$\mathcal{O}\big(\frac{d^3}{ε^2 N^2}\big)$，即使是$σ=0$。也就是说，对于常数$ε$，现有技术需要$N=Ω(d\sqrt{d})$来提供非平凡结果。
2022-07-12 cs.CR cs.LG math.OC
Private Gradient Descent for Linear Regression: Tighter Error Bounds and Instance-Specific Uncertainty Estimation
Paul G Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
本文改进分析了线性回归中差分隐私梯度下降的迭代分布，证明在适当超参数下样本复杂度仅线性依赖数据维度，并构造了能自适应特定数据集方差的置信区间。
2024-02-21 cs.CR cs.LG
Enhancing DPSGD via Per-Sample Momentum and Low-Pass Filtering
针对DPSGD中DP噪声与裁剪偏差难以同时缓解的问题，本文提出DP-PMLF方法，融合逐样本动量与无额外隐私消耗的低通滤波，理论上提升收敛速度，实证上优化了隐私-效用权衡。
2025-11-11 cs.AI cs.CR cs.LG
Parameter-free Clipped Gradient Descent Meets Polyak
Kyoto University（京都大学）；OIST（冲绳科学技术大学院大学）；NII（信息学研究机构）；NTT Communication Science Laboratories（NTT通信科学实验室）
针对现有无参数优化方法仅聚焦步长、未覆盖梯度裁剪阈值等超参数的问题，提出无需调参的非精确Polyak步长裁剪梯度下降方法，理论上收敛速率渐近独立于L，实验验证了其有效性。
2024-10-31 cs.LG math.OC
Toward Understanding Why Adam Converges Faster Than SGD for Transformers
Carnegie Mellon University（卡内基梅隆大学）
本文提出方向锐度概念解释 Adam 训练 Transformer 时比 SGD 收敛更快的原因，发现少数坐标损害 SGD，并证明逐坐标裁剪可降低锐度、加速优化。
2023-05-31 cs.AI cs.LG
Constrained Gradient Descent: A Powerful and Principled Evasion Attack Against Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Duke University（杜克大学）；Tel Aviv University（特拉维夫大学）
我们提出了针对深度神经网络的新的、更有效的有针对性的白盒攻击。我们的攻击更好地与攻击者的目标保持一致：（1）欺骗模型，使目标类的概率高于任何其他类，同时（2）保持在被攻击输入的$ε$距离内。首先，我们展示了一个损失函数，显式编码（1），并表明自动PGD发现更多的攻击。其次，我们提出了一种新的攻击方法，约束梯度下降（CGD），使用我们的损失函数的改进，捕捉（1）和（2）。CGD寻求以原则性的方式满足两个攻击者目标-错误分类和有界$\ell_{p}$ -范数-作为优化的一部分，而不是经由自组织后处理技术（例如，投影或剪切）。我们发现CGD在CIFAR 10（0.9- 4.2%）和ImageNet（8.6- 13.6%）上比最先进的攻击更成功，同时消耗更少的时间（11.4- 18.8%）。统计测试证实，我们的攻击优于其他领先的防御不同的数据集和值的$ε$。
2022-06-21 cs.CR cs.CV cs.LG
Optimize Weight Rounding via Signed Gradient Descent for the Quantization of LLMs
Intel（英特尔公司）
针对大语言模型部署的高内存存储问题，提出融合QAT与PTQ优势的SignRound方法，通过SignSGD仅200步优化权重量化，在低比特量化下实现显著性能提升且无额外推理开销。
2024-10-08 cs.AI cs.CL cs.LG
Improving Differentially Private SGD via Randomly Sparsified Gradients
KU Leuven（鲁汶大学）
本文提出一种利用随机稀疏化（RS）增强差分隐私随机梯度下降（DP-SGD）的轻量级方法，通过在裁剪和加噪前稀疏化梯度以优化收敛界权衡，实验证明其能提升性能并降低通信成本与增强隐私保护。
2023-06-28 cs.CR cs.LG
Random Function Descent
University of Mannheim（曼海姆大学）
本文提出用“随机函数”框架取代经典“凸函数”框架，通过“随机泰勒近似”重新发现梯度下降，提出Random Function Descent (RFD)步长调度方案，为梯度裁剪和学习率预热等启发式方法提供了理论基础。
2024-10-15 cs.LG math.OC stat.ML
Enhancing DP-SGD through Non-monotonous Adaptive Scaling Gradient Weight
School of Computer Science and Big Data, Minjiang University（闽江学院计算机科学与大数据学院）；School of Information, Renmin University of China（中国人民大学信息学院）；RMIT University（皇家墨尔本理工大学）
本文提出DP-PSASC，通过非单调自适应梯度缩放替代传统裁剪，并集成动量方法，以增强DP-SGD在隐私保护下的模型效用，尤其在处理小梯度时表现优越。
2024-11-05 cs.AI cs.LG
Near Optimal Private and Robust Linear Regression
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
本文研究了线性回归的正则统计估计问题，即由$n$ i.i.d.~ $(\varepsilon,δ)$下的示例-当某些响应变量被不利地破坏时的差分隐私。我们提出了一种流行的差分私有随机梯度下降（DP-SGD）算法的变体，该算法具有两个创新点：一个完整的批量梯度下降，以提高样本的复杂性和一个新的自适应裁剪，以保证鲁棒性。当没有对抗性腐败时，该算法改进了现有的最先进的方法，并实现了接近最优的样本复杂度。在标签损坏的情况下，这是第一个有效的线性回归算法，以保证$(\varepsilon,δ)$ -DP和鲁棒性。合成实验证实了我们的方法的优越性。
2023-01-30 cs.CR cs.LG math.ST
Backpropagation Clipping for Deep Learning with Differential Privacy
我们提出了反向传播裁剪，这是一种用于隐私保护深度学习的差分隐私随机梯度下降（DP-SGD）的新变体。我们的方法裁剪每个可训练层的输入（在向前传递期间）及其上游梯度（在向后传递期间），以确保层梯度的有界全局灵敏度;这种组合取代了现有DP-SGD变体中的梯度裁剪步骤。我们的方法很容易在现有的深度学习框架中实现。我们的实证评估的结果表明，反向传播裁剪提供了更高的准确性，在较低的值的隐私参数$ε$相比，以前的工作。我们使用$ε= 0.07$对MNIST的准确度达到98.7%，使用$ε= 3.64$对CIFAR-10的准确度达到74%。
2022-02-17 cs.LG
Noise Is Not the Main Factor Behind the Gap Between SGD and Adam on Transformers, but Sign Descent Might Be
University of British Columbia（不列颠哥伦比亚大学）；CIFAR（加拿大高等研究院）；Amii（阿尔伯塔机器智能研究所）
本文通过改变批量大小直至全批量来检验重尾噪声假设，证明随机性并非 Transformer 上 Adam 优于 SGD 的主因，并发现大批量 Adam 的行为接近带动量的符号下降。
2023-04-27 cs.LG math.OC
Lap2: Revisiting Laplace DP-SGD for High Dimensions via Majorization Theory
Iowa State University（爱荷华州立大学）；University of Connecticut（康涅狄格大学）；University of Kansas（堪萨斯大学）
Lap2通过主导理论解决高维下拉普拉斯DP-SGD的裁剪限制，提升隐私保护下的模型性能。
2026-03-07 cs.CR cs.LG
Adaptive Gradient Clipping for Robust Federated Learning
EPFL（苏黎世联邦理工学院）；University of Copenhagen（哥本哈根大学）
针对联邦学习中静态梯度裁剪对不同攻击鲁棒性不一致的问题，本文提出自适应鲁棒裁剪方法ARC，动态调整裁剪阈值，在保持理论鲁棒性保证的同时改善收敛性，并通过图像分类实验验证其在异构对抗环境下的有效性。
2025-05-09 cs.LG
Convex and Non-convex Optimization Under Generalized Smoothness
Massachusetts Institute of Technology（麻省理工学院）
针对经典优化分析依赖梯度利普希茨条件的局限，本文推广非均匀光滑条件，提出轨迹梯度界化的分析技术，无需梯度裁剪即可得到多种方法在凸/非凸场景的经典收敛率，还可处理重尾噪声。
2023-11-03 cs.LG math.OC stat.ML
High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise
Carnegie Mellon University（卡内基梅隆大学）；Faculty of Technical Sciences, University of Novi Sad（诺维萨德大学技术科学学院）；Faculty of Sciences, University of Novi Sad（诺维萨德大学理学院）
本文针对重尾噪声下的流式在线学习，提出非线性SGD一般框架，在非凸和强凸情形下分别建立指数与噪声无关的高概率收敛界，并证明裁剪并非最优非线性选择。
2024-05-01 cs.LG math.OC math.ST
Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noise
Temple University（特拉华大学）
针对重尾噪声下的非凸双层优化问题，提出一种无需裁剪的归一化随机方差缩减梯度下降算法，并首次给出严格收敛性证明。
2026-05-25 cs.LG
High-Dimensional Private Linear Regression with Optimal Rates
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）；University of Oxford（牛津大学）；Tel Aviv University（特拉维夫大学）
本文研究了高维随机数据下的差分隐私线性回归，提出了一种满足零集中差分隐私的单次DP梯度下降算法，证明了其在well-conditioned数据下的非渐近风险为O(γ + γ²/ρ²)，并展示了在ill-conditioned情况下隐私参数ρ对风险指数的影响。
2026-04-26 cs.LG stat.ML
Dual Space Preconditioning for Gradient Descent in the Overparameterized Regime
研究双空间预条件化梯度下降的收敛性质，分析其在过参数化线性模型中的隐式偏置及收敛特性。
2026-08-12 cs.LG stat.ML
DP-MacAdam: Differentially Private Mechanism with Adaptive Clipping and Adaptive Momentum
University of Southern California（南加州大学）
提出DP-MacAdam算法，通过联合利用梯度均值和方差估计进行自适应裁剪和动量更新，在无需手动调整裁剪阈值的情况下提升模型效用。
2026-06-03 cs.CR cs.LG
Adaptive Gradient Regularization: A Faster and Generalizable Optimization Technique for Deep Neural Networks
Great Bay University（大湾区大学）；Illinois Institute of Technology（伊利诺伊理工学院）；The Abdus Salam International Centre for Theoretical Physics（阿卜杜勒·萨拉姆国际理论物理中心）；Peking University（北京大学）；Kyoto University（京都大学）
本文提出自适应梯度正则化（AGR）技术，通过动态正则化梯度方向来优化深度神经网络训练，仅添加三行代码即可提升Adan和AdamW等优化器的效率与泛化性能。
2024-08-20 cs.LG
Why is Normalization Preferred? A Worst-Case Complexity Theory for Stochastically Preconditioned SGD under Heavy-Tailed Noise
Department of Mathematics, University of California, Berkeley, CA, USA（加州大学伯克利分校数学系）；Department of EECS, University of California, Berkeley, CA, USA（加州大学伯克利分校电子工程与计算机科学系）；Department of IEOR, University of California, Berkeley, CA, USA（加州大学伯克利分校工业工程与运营研究系）
本文提出针对重尾噪声下的随机预条件SGD的最坏情况复杂性理论，证明归一化在收敛速率上优于裁剪，解释了大规模训练中归一化的偏好。
2026-02-13 cs.LG cs.NA math.NA
DPSUR: Accelerating Differentially Private Stochastic Gradient Descent Using Selective Update and Release
The Hong Kong Polytechnic University（香港理工大学）
本文提出 DPSUR 框架，通过验证测试评估梯度并选择性更新模型，结合裁剪策略和阈值机制，在差分隐私约束下实现比 DPSGD 更快的收敛和更高的模型效用。
2023-11-29 cs.CR cs.LG
