Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD?
American University of Beirut（贝鲁特美国大学）
本研究探讨DP-SGD下权重共享对仅解码器LLM的影响，发现未共享嵌入在效用和内存效率上均优于权重共享，为隐私保护训练提供了更优的架构选择。
2026-10-01 cs.LG
SGD method for entropy error function with smoothing l0 regularization for neural networks
VNPT AI；Viettel High Technology Industries Corporation（越南电信高科技产业公司）；Università degli studi dell’Aquila（拉奎拉大学）；Thai Nguyen University of Education（太原师范大学）
针对熵误差函数训练神经网络收敛慢、易陷入局部最小值的问题，提出带平滑l0正则化的熵函数，经实证验证显著提升预测性能与分类精度。
2024-05-28 cs.LG
Improved Stability and Generalization Guarantees of the Decentralized SGD Algorithm
Inria Paris - Ecole Normale Supérieure, PSL Research University（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院，PSL研究大学）；Inria, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃大学）；Univ. Lille, Inria, CNRS, Centrale Lille（里尔大学，法国国家信息与自动化研究所，法国国家科学研究中心，里尔中央理工学院）；Inria, Université Côte d’Azur（法国国家信息与自动化研究所，蔚蓝海岸大学）
本文基于算法稳定性重新分析 D-SGD 的泛化误差，证明其在凸、强凸和非凸设置下均可达到类似经典 SGD 的界，并给出依赖优化过程的改进界，说明通信图在特定情形下反而可能改善泛化。
2024-06-13 cs.LG stat.ML
DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM
University of California, Los Angeles（加州大学洛杉矶分校）
由差分私有随机梯度下降（DP-SGD）训练的机器学习（ML）模型的效用比非私有模型低得多。为了减轻这种退化，我们提出了一个DP拉普拉斯平滑SGD（DP-LSSGD）训练ML模型与差分隐私（DP）的保证。DP-LSSGD的核心是拉普拉斯平滑，它平滑掉高斯机制中使用的高斯噪声。在高斯机制中使用的相同数量的噪声下，DP-LSSGD获得了相同的DP保证，但在实践中，DP-LSSGD使凸和非凸ML模型的训练更加稳定，并使训练的模型能够更好地泛化。与DP-SGD算法相比，该算法实现简单，额外的计算复杂性和内存开销可以忽略不计。DP-LSSGD适用于训练各种ML模型，包括DNN。代码可在\url{https://github.com/BaoWangMath/DP-LSSGD}上获得。
2019-12-07 cs.CR cs.LG stat.ML
When Do Fewer Coordinates Suffice in DP-SGD?
Guangdong Provincial Key Laboratory of IRADS, Beijing Normal-Hong Kong Baptist University（广东省级信息检索与数据分析重点实验室，北京师范大学-香港 Baptist 大学）
本文提出一种无需公共数据的两阶段坐标稀疏私有训练方法TP-TopK，通过私有预热阶段识别坐标支撑集，使得噪声项缩放比例从全参数维度d降至活跃维度k，并在非凸平稳性边界下给出坐标限制有效的条件。
2026-06-03 cs.LG stat.ML
Asymptotics of SGD in Sequence-Single Index Models and Single-Layer Attention Networks
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；École Normale Supérieure, PSL（巴黎高等师范学院（PSL））；CNRS（法国国家科学研究中心）；University Rennes（雷恩大学）；Ensai（法国国立统计与信息分析学院）
针对序列单指标模型及简化单层注意力架构，推导总体损失闭式表达式并刻画高维SGD动力学，揭示两训练阶段及序列长度、位置编码对收敛的影响，为注意力模型学习提供可解释理论基础。
2025-06-03 cond-mat.dis-nn cs.LG stat.ML
Massively Distributed SGD: ImageNet/ResNet-50 Training in a Flash
Sony Corporation（索尼公司）
由于大型小批量训练的不稳定性和梯度同步的开销，将分布式深度学习扩展到大规模GPU集群级别具有挑战性。我们通过批量大小控制和标签平滑来解决大型小批量训练的不稳定性。我们使用2D-Torus all-reduce解决梯度同步的开销。具体来说，2D-Torus all-reduce将GPU排列在逻辑2D网格中，并在不同方向上执行一系列集体操作。这两种技术是用神经网络库（NNL）实现的。我们在122秒内成功训练了ImageNet/ResNet-50，在ABCI集群上没有显著的准确性损失。
2019-03-05 cs.CV cs.LG
Online Robust Regression via SGD on the l1 loss
EPFL（洛桑联邦理工学院）
我们考虑在线设置中的鲁棒线性回归问题，其中我们可以以流式方式访问数据，一个数据点接一个数据点。更具体地，对于真实参数$θ^*$，我们考虑损坏的高斯线性模型$y = \langle x , \ θ^* \rangle + \varepsilon + b$，其中对抗性噪声$b$可以以概率$η$取任何值，否则等于零。我们认为这个对手是健忘的（即，独立于数据的$b$），因为这是唯一可能保持一致性的污染模型。目前的算法依赖于手头的全部数据，以便识别和删除离群值。相比之下，我们在这项工作中，随机梯度下降的$\ell_1$损失收敛到真正的参数向量在$\tilde{O}( 1 / (1 - η)^2 n )$率是独立的污染测量值。我们的证明依赖于优雅的平滑的非光滑$\ell_1$损失的高斯数据和一个经典的非渐近分析的Polyak-Ruppert平均SGD。此外，我们提供了实验证据的效率，这个简单的和高度可扩展的算法。
2020-07-01 cs.LG math.OC stat.ML
On the Provable Suboptimality of Momentum SGD in Nonstationary Stochastic Optimization
Cornell University（康奈尔大学）
本文研究了在强凸性和光滑性条件下，随机梯度下降及其动量变体（Polyak重球和Nesterov）在跟踪时间变化最优解时的性能，揭示了动量方法在分布偏移下导致的显式漂移放大惩罚，并证明了这种惩罚并非分析伪影，而是信息论障碍，为动量方法在动态环境中的经验不稳定性提供了理论依据。
2026-07-27 cs.LG math.OC stat.ML
Adaptive Periodic Averaging: A Practical Approach to Reducing Communication in Distributed Learning
The University of Iowa（爱荷华大学）；Augusta University（奥古斯塔大学）
随机梯度下降（SGD）是机器学习任务的关键学习算法。由于其计算成本，人们越来越有兴趣在GPU集群等HPC资源上加速SGD。然而，并行SGD的性能仍然受到高通信成本的影响，即使在机器之间具有快速连接。缓解这个问题的一个简单方法，在许多现有的努力中使用，是使用恒定的平均周期，每隔几次迭代执行通信。在本文中，我们表明，在收敛和通信成本方面的最佳平均周期不是一个常数，而是在执行过程中变化。具体来说，我们观察到，减少计算节点之间的模型参数的方差是至关重要的周期性参数平均SGD的收敛。给定一个固定的通信预算，我们表明，这是更有益的同步更频繁地在早期的迭代，以减少初始的大方差和同步频率较低的训练过程的后期阶段。我们提出了一种实用的算法，自适应周期参数平均SGD（ADPSGD），以实现更小的模型参数的整体方差，从而更好的收敛性相比，恒定周期参数平均SGD（CPSGD）。我们评估我们的方法与几个图像分类基准，并表明，我们的ADPSGD确实实现了较小的训练损失和更高的测试精度与较小的通信相比，CPSGD。与梯度量化SGD相比，我们的算法实现了更快的收敛速度，只有一半的通信。与全通信SGD相比，在100 Gbps的节点连接下，加速比为1：14 ~ 1：27倍;在10 Gbps的节点连接下，加速比为1：46 ~ 1：95倍。
2021-01-19 cs.DC cs.LG stat.ML
Decentralized SGD and Average-direction SAM are Asymptotically Equivalent
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；JD Explore Academy, JD.com, Inc.（京东探索研究院，京东集团）；Artificial Intelligence and its Applications Institute, School of Informatics, University of Edinburgh（爱丁堡大学信息学院人工智能及其应用研究所）；The University of Sydney（悉尼大学）
该研究挑战去中心化学习损害泛化的传统认知，证明去中心化随机梯度下降（D-SGD）与平均方向锐度感知最小化（SAM）渐近等价，揭示去中心化的三大优势，为其大批量场景下的泛化优势提供理论支撑。
2023-11-09 cs.CY cs.DC cs.LG
Bias of Stochastic Gradient Descent or the Architecture: Disentangling the Effects of Overparameterization of Neural Networks
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
本文通过研究实现零训练误差的随机网络与SGD优化网络，解耦了优化与架构对泛化的影响，发现增加宽度的过参数化益处源于SGD偏置，而增加深度的不利影响则归因于架构偏置。
2025-02-01 cs.LG
The Break-Even Point on Optimization Trajectories of Deep Neural Networks
New York University（纽约大学）；Jagiellonian University（雅盖隆大学）；Stanford University（斯坦福大学）；Salesforce Research（Salesforce研究院）；Facebook AI Research（脸书人工智能研究院）
深度神经网络训练的早期阶段对于其最终性能至关重要。在这项工作中，我们研究了在训练的早期阶段使用的随机梯度下降（SGD）的超参数如何影响优化轨迹的其余部分。我们认为存在的“盈亏平衡”点上的轨迹，超过该曲率的损失表面和噪声的梯度是隐式正则化的SGD。特别是，我们证明了在多个分类任务中，在训练的初始阶段使用大的学习率降低了梯度的方差，并提高了梯度协方差的条件。从优化的角度来看，这些效果是有益的，并且在盈亏平衡点之后变得可见。补充以前的工作，我们还表明，使用低学习率的结果在不良条件下的损失表面，即使是神经网络与批量归一化层。简而言之，我们的工作表明，损失表面的关键属性在训练的早期阶段受到SGD的强烈影响。我们认为，研究所确定的效果对泛化的影响是一个很有前途的未来方向。
2020-02-21 cs.LG stat.ML
Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD
University of Utah（犹他大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文针对分层随机梯度下降（H-SGD）中局部聚合对收敛的影响缺乏理论解释的问题，提出上下散度概念分析其收敛上界，发现“三明治行为”并推广至多级别场景，为局部聚合的收敛增益提供理论洞见。
2024-04-11 cs.DC cs.IT cs.LG
Stochastic Resetting Mitigates Latent Gradient Bias of SGD from Label Noise
Seoul National University（首尔大学）；KAIST（韩国科学技术院）
本文针对噪声标签使 SGD 产生潜在梯度偏差并损害泛化的问题，引入统计物理中的随机重置机制，理论界定其有效条件并实验验证可显著提升泛化且易于兼容现有方法。
2025-03-04 cond-mat.stat-mech cs.AI cs.LG
Hybrid Variance-Reduced SGD Algorithms For Nonconvex-Concave Minimax Problems
我们开发了一种新的单循环方差缩减算法来解决一类涉及非凸线性目标函数的随机非凸-凸Minimax问题，该问题在机器学习和鲁棒优化等不同领域有着广泛的应用。这类问题由于其非光滑性、非凸性、非线性和目标函数的不可分离性而具有若干计算挑战。我们的方法依赖于最近的想法，包括平滑和混合偏方差减少技术的新组合。我们的算法和它的变种可以实现$\mathcal{O}(T^{-2/3})$ -收敛速度和最佳已知的预言复杂度在标准的假设下，其中$T$是迭代计数器。与现有的方法相比，它们具有一些计算上的优势，例如简单的实现和较少的参数调整要求。他们也可以与单样本或小批量的衍生估计，并与恒定或递减步长。我们通过两个数值例子，包括一个非光滑和非凸-非强凹极大极小模型，证明了我们的算法优于现有方法的优点。
2020-10-26 math.OC stat.ML
Towards understanding how momentum improves generalization in deep learning
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
具有动量的随机梯度下降（SGD）被广泛用于训练现代深度学习架构。虽然众所周知，使用动量可以在各种设置中导致更快的收敛速度，但也观察到动量产生更高的泛化。先前的工作认为，动量在训练过程中稳定了SGD噪声，这导致了更高的泛化能力。在本文中，我们采用了另一种观点，并首次实证表明，在某些深度学习问题中，与梯度下降（GD）相比，动量梯度下降（GD+M）显着提高了泛化能力。从这个观察，我们正式研究动量如何提高泛化。我们设计了一个二进制分类设置，其中一个隐藏层（过参数化）卷积神经网络与GD+M训练证明推广优于相同的网络与GD训练，当这两种算法类似地初始化。我们分析中的关键见解是，动量在数据集中是有益的，其中示例共享一些特征，但它们的边际不同。与记忆小边缘数据的GD相反，GD+M仍然学习这些数据中的特征，这要归功于其历史梯度。最后，我们实证验证我们的理论研究结果。
2022-07-13 cs.LG stat.ML
Benign Oscillation of Stochastic Gradient Descent with Large Learning Rates
Stanford University（斯坦福大学）；University of Chicago（芝加哥大学）；Harvard University（哈佛大学）；The University of Hong Kong（香港大学）
本文从理论上证明大学习率SGD引起的权重振荡有助于神经网络在强特征干扰下学习弱特征，从而提升泛化能力，并将该现象称为良性振荡。
2023-10-26 cs.LG math.OC stat.ML
How iteration order influences convergence and stability in deep learning
Google Research（谷歌研究院）；Department of Mathematics, Uppsala University（乌普萨拉大学数学系）；Department of Mathematics, University of Geneva（日内瓦大学数学系）
本文探讨了梯度更新顺序对训练稳定性与收敛的影响，通过反向SGD实验展示了在固定学习率和小批量情况下，迭代顺序改变可提升稳定性与收敛性。
2026-03-27 cs.LG math.DS stat.ML
Explicit and Implicit Graduated Optimization in Deep Neural Networks
Meiji University（明治大学）
本文实验评估了显式渐进优化算法的性能与局限，并将隐式渐进优化扩展到带动量的SGD，通过ResNet图像分类实验验证了其有效性。
2024-12-16 cs.LG
Learning with Synthetic Data via SGD in High-Dimensional Linear Regression
Renmin University of China（中国人民大学）；The University of Hong Kong（香港大学）
本研究通过高维线性回归中的SGD分析，发现混合训练合成数据导致模型崩溃，而两阶段训练可避免此问题，并提供了风险界、缩放定律及两阶段训练优于纯真实训练的充要条件。
2026-09-10 cs.AI cs.LG stat.ML
Sharpness-Aware Minimization Enhances Feature Quality via Balanced Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
本文发现 SAM 优化器通过自适应抑制已充分学习的特征来隐式均衡多样特征质量，从而克服 SGD 的简单性偏差，在包含冗余或虚假特征的数据集中显著提升特征质量与分布外泛化能力。
2024-05-30 cs.LG
Momentum Does Not Reduce Stochastic Noise in Stochastic Gradient Descent
本文通过收敛分析与最优batch size估计证明，momentum既不能减少SGD中的梯度噪声，也不能减少搜索方向噪声，且其带来的目标函数平滑优势有限。
2025-07-02 cs.LG math.OC
Information-Theoretic Generalization Bounds for Stochastic Gradient Descent with Predictable Virtual Noise
Electrical Engineering and Computer Science University of California, Merced（电气工程与计算机科学大学加州大学默塞德分校）
本文提出可预测的历史自适应虚拟扰动，通过条件高斯相对熵论证，推导出具有自适应虚拟噪声几何的随机梯度下降泛化界限，改进了传统固定敏感性和梯度偏差项。
2026-04-30 cs.LG
Extrapolation for Large-batch Training in Deep Learning
EPFL（洛桑联邦理工学院）
深度学习网络通常通过随机梯度下降（SGD）方法来训练，该方法通过估计训练数据的非常小的部分上的梯度来迭代地改进模型参数。当将批量大小增加到训练数据的相当大一部分以改善训练时间时，面临的主要障碍是性能的持续下降（泛化间隙）。为了解决这个问题，最近的工作建议在计算随机梯度时向模型参数添加小扰动，并报告由于平滑效应而提高的泛化性能。然而，人们对这种方法知之甚少;它通常需要特定于模型的噪声和微调。为了减轻这些缺点，我们建议使用计算效率高的外推（extragradiation）来稳定优化轨迹，同时仍然受益于平滑，以避免尖锐的最小值。从优化的角度来看，这种原则性的方法是有充分依据的，我们表明，在我们提出的统一框架中可以涵盖许多变化。我们证明了这种新方案的收敛性，并严格评估了其在ResNet，LSTM和Transformer上的经验性能。我们证明，在各种实验中，该计划允许扩展到比以前更大的批量，同时达到或超过SOTA的准确性。
2020-06-10 cs.LG stat.ML
Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization
Meiji University（明治大学）
本文提出了一种通过调整学习率和批量大小来平滑非凸函数的渐进优化算法，并放宽了σ- nice属性以扩大收敛保证的适用范围。
2026-01-24 cs.LG math.OC
Convergence Analysis of alpha-SVRG under Strong Convexity
Imperial College London（伦敦帝国学院）
本文针对强凸情形分析 alpha-SVRG，给出固定学习率下统一收敛速率，证明适当选择 alpha 可优于 SGD 与 SVRG，并经线性回归仿真验证。
2025-03-16 cs.LG stat.CO stat.ML
Stability and Generalization of lp-Regularized Stochastic Learning for GCN
University of Electronic Science and Technology of China（电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Nanjing Audit University（南京审计大学）；Zhejiang Normal University（浙江师范大学）
本文提出一种ℓp正则化随机学习框架及SGD近端算法，量化GCN在平滑性与稀疏性间的权衡，并通过稳定性分析建立理论理解，实验验证了其有效性。
2023-06-20 cs.LG stat.ML
Contextual Strongly Convex Simulation Optimization: Optimize then Predict with Inexact Solutions
School of Management, Fudan University, Shanghai 200433, China（复旦大学管理学院）；School of Data Science, Fudan University, Shanghai 200433, China（复旦大学数据科学学院）；Department of Industrial and Systems Engineering, University of Minnesota, Minneapolis, MN 55455, USA（明尼苏达大学工业与系统工程系）
本文提出一种"优化然后预测"方法，通过分析模拟优化算法的不精确性对最优性差距的影响，建立了收敛速率理论并验证了方法的有效性。
2025-12-26 cs.LG stat.ML
Muon with Finite Newton-Schulz: The Smoothing Benefit in Nonsmooth Nonconvex Optimization
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
该研究针对大型语言模型预训练优化器Muon，证明带有限牛顿-舒尔茨迭代的Muon可通过平滑极映射提升非光滑非凸优化的收敛性，其样本复杂度达最优，且优于采用精确极因子更新的Muon。
2026-08-28 cs.LG math.OC stat.ML
Data Dependent Convergence for Distributed Stochastic Optimization
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
在这篇论文中，我们提出了分布式随机梯度下降（SGD）算法，依赖于数据协方差谱特性的替代分析。因此，我们可以将分布式SGD的加速比和收敛速度问题与数据分布而不是目标函数的正则性相关。更精确地说，我们表明，这一速度取决于样本协方差阵的谱范数。这个规范的估计可以提供从业者对算法性能的潜在增益的指导。例如，许多具有低谱范数的稀疏数据集被证明可以在分布式设置中获得增益。为了建立这种数据的依赖性，我们首先研究了一个分布式的共识为基础的SGD算法，并表明收敛速率涉及的谱范数的样本协方差阵时，基本数据被假定为独立和同分布（同质）。这种依赖性使我们能够确定网络制度，证明是有益的数据集与低样本协方差谱范数。现有的共识为基础的分析证明是次优的同质设置。我们的分析方法还允许我们找到数据依赖的收敛速度，因为我们限制了通信量。将固定数量的数据分布在更多的节点上会减慢收敛速度;在渐近状态下，我们表明增加更多的机器可以帮助最小化二次可微损失。由于小批量结果不遵循共识结果，我们提出了一个不同的数据依赖性分析，从而为为什么某些数据集更适合小批量提供理论验证。我们也为本文的结果提供了经验证据。
2016-08-30 cs.LG math.OC stat.ML
Gap Aware Mitigation of Gradient Staleness
Technion - Israel Institute of Technology（以色列理工学院）
云计算作为深度神经网络的分布式训练平台正变得越来越流行。同步随机梯度下降（SSGD）在非专用环境中由于离散者而遭受实质性减速，这在云计算中是常见的。异步SGD（ASGD）方法不受这些减慢的影响，但由于梯度失效而很少使用，这会阻碍收敛过程。最近的技术在扩展到许多工作者（计算节点）时，缓解梯度陈旧性的成功有限。在本文中，我们定义的差距作为衡量梯度陈旧，并提出了间隙感知（GA），一种新的分布式方法，惩罚陈旧的梯度线性的差距，即使在扩展到大量的工人，表现良好。我们对CIFAR，ImageNet和WikiText-103数据集的评估表明，GA在最终测试准确性方面优于目前可接受的梯度惩罚方法。我们还提供了GA的收敛速度证明。尽管先前的信念，我们表明，如果GA的应用，势头变得有益的异步环境中，即使当工人的数量扩大。
2020-02-03 cs.LG stat.ML
Improved high-dimensional estimation with Langevin dynamics and stochastic weight averaging
Princeton University（普林斯顿大学）；Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出利用 Langevin 动力学和迭代平均来改进高维估计，证明在不显式平滑的情况下，Langevin 动力学可在n≈d^{k*/2}样本下成功恢复隐藏方向。
2026-03-06 cs.LG
Bias-Variance Trade-off in Physics-Informed Neural Networks with Randomized Smoothing for High-Dimensional PDEs
National University of Singapore（新加坡国立大学）；Brown University（布朗大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
针对高维偏微分方程中RS-PINN因随机平滑引入损失和梯度偏差影响收敛的问题，提出基于PDE非线性阶数的定制偏差校正技术，并构建平衡有偏与无偏版本优势的混合方法以优化偏差-方差权衡。
2023-11-26 cs.AI cs.LG cs.NA
An Exponential Averaging Process with Strong Convergence Properties
针对传统指数移动平均（EMA）因最新观测权重恒定而缺乏强随机收敛性的问题，提出权重以次谐波速率衰减的$p$-EMA方法，给出温和假设下的收敛保证，并探讨其在SGD自适应步长控制中的应用意义。
2025-05-15 cs.LG math.PR math.ST
AdaL: Adaptive Gradient Transformation Contributes to Convergences and Generalizations
Beijing Institute of Technology（北京理工大学）；Shenzhen University（深圳大学）
自适应优化方法在深度学习中得到了广泛的应用。它们根据过去的梯度自适应地缩放学习率，这已被证明是有效的，以加速收敛。然而，他们遭受的泛化性能差相比，SGD。最近的研究指出，平滑指数梯度噪声会导致泛化退化现象。受此启发，我们提出了AdaL，在原始梯度上进行了变换。AdaL通过在初始阶段放大梯度来加速收敛，并通过在后期收缩梯度来抑制振荡和稳定优化。这种改进增强了梯度噪声的平滑性，从而产生更好的泛化性能。我们已经从理论上证明了AdaL的收敛性，并在几个基准测试中证明了其有效性。
2021-07-04 cs.AI cs.LG
Tom: Leveraging trend of the observed gradients for faster convergence
PES University（PES大学）
深度学习的成功可以归因于各种因素，例如计算能力的增加，大数据集，深度卷积神经网络，优化器等，特别是优化器的选择影响泛化，收敛速度和训练稳定性。随机梯度下降（SGD）是一个一阶迭代优化器，它对所有参数均匀地更新梯度。这种统一的更新可能不适合整个训练阶段。对此的基本解决方案是采用微调的学习率调度器，其根据迭代来降低学习率。为了消除对学习率调整器的依赖性，自适应梯度优化器（诸如AdaGrad、AdaDelta、RMSProp、Adam）采用用于学习率的参数式缩放项，该参数式缩放项是梯度本身的函数。我们提出了Tom（趋势超过动量）优化器，这是Adam的一个新变体，它考虑了神经网络遍历的损失景观中的梯度所观察到的趋势。在建议的汤姆优化器，一个额外的平滑方程，以解决在优化过程中观察到的趋势。为趋势引入的平滑参数不需要调整，可以使用默认值。在CIFAR-10、CIFAR-100和CINIC-10图像数据集上的实验结果表明，Tom算法在精度和收敛速度上均优于Adagrad、Adadelta、RMSProp和Adam算法。源代码可在https://github.com/AnirudhMaiya/Tom上公开获取
2021-09-07 cs.LG
HYDRA: Pruning Adversarially Robust Neural Networks
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
在安全关键但计算资源受限的应用中，深度学习面临两个关键挑战：缺乏对对抗攻击的鲁棒性和大型神经网络（通常是数百万个参数）。虽然研究界已经广泛地探索了独立使用鲁棒训练和网络修剪来解决这些挑战之一，但只有少数最近的作品联合研究了它们。然而，这些工作继承了为良性训练开发的启发式修剪策略，当与鲁棒训练技术（包括对抗训练和可验证的鲁棒训练）集成时，该策略表现不佳。为了克服这一挑战，我们建议使修剪技术意识到强大的训练目标，并让训练目标指导搜索哪些连接修剪。我们意识到这一点，制定修剪目标作为一个经验的风险最小化问题，有效地解决了使用SGD。我们证明了我们的方法，名为HYDROGEN，实现了压缩网络与最先进的良性和强大的准确性，同时。我们使用四种强大的训练技术在CIFAR-10，SVHN和ImageNet数据集上证明了我们的方法的成功：迭代对抗训练，随机平滑，MixTrain和CROWN-IBP。我们还证明了非鲁棒网络中存在高度鲁棒的子网络。我们的代码和压缩网络可在\url{https://github.com/inspire-group/compactness-robustness}上公开获取。
2020-11-10 cs.CV cs.LG stat.ML
Graph Attention is Not Always Beneficial: A Theoretical Analysis of Graph Attention Mechanisms via Contextual Stochastic Block Models
Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）
本文基于CSBM从理论上界定图注意力何时优于图卷积，并提出多层GAT以缓解过平滑、放宽完美节点分类的SNR条件。
2025-05-13 cs.LG stat.ML
High dimensional theory of two-phase optimizers
Google DeepMind（谷歌DeepMind）
本文研究了双重相优化器在高维线性回归中的表现，揭示了LA在信号与噪声间的平衡优于SGD，并探讨了多工件版本通过超参数调整可减少噪声，SLA通过动量叠加实现加速。
2026-10-06 cs.LG math.ST stat.TH
Online simultaneous inference for quantiles via smoothed stochastic gradient descent
Department of Mathematics and Statistics（数学与统计学系）；Washington University in St.Louis（圣路易斯华盛顿大学）；Chair of Statistics（统计学教授职位）；Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Chicago（芝加哥大学）
本文提出基于平滑SGD的分位数在线同时推断方法，推导了相关理论界，提出在线乘数自助法，经模拟验证可准确估计分位数，适用于条件风险价值曲线等场景。
2026-09-02 cs.LG math.ST stat.ML
Not too little, not too much: a theoretical analysis of graph (over)smoothing
CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）
我们分析图平滑与\emph{mean aggregation}，其中每个节点连续接收其邻居的特征的平均值。事实上，人们很快就观察到，图神经网络（GNN）通常遵循具有重复聚合的消息传递（MP）的某种变体，可能会受到过平滑现象的影响：通过执行太多轮MP，节点特征往往会收敛到无信息的极限。在平均聚集的情况下，对于连通图，节点特征在整个图中变得恒定。在光谱的另一端，直观上很明显，一些MP回合是必要的，但现有的分析并没有同时表现出这两种现象：有益的“有限”平滑和极限中的过度平滑。在本文中，我们考虑了简化的线性GNNs，并严格分析了两个例子，其中有限数量的平均聚合步骤可证明在过度平滑之前提高了学习性能。我们考虑一个潜在空间随机图模型，其中节点特征是潜在变量的部分观测值，图包含它们之间的成对关系。我们表明，图平滑恢复一些丢失的信息，达到一定程度，通过两种现象：图平滑收缩数据中的非主方向比主方向更快，这对回归很有用，并且收缩社区内的节点比它们崩溃在一起更快，这提高了分类。
2022-10-10 cs.LG stat.ML
Rolling Ball Optimizer: Learning by ironing out loss landscape wrinkles
Deakin University（德肯大学）；Technology Innovation Institute（技术创新研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对神经网络损失景观的复杂纹理和噪声敏感问题，提出滚球优化器（RBO），通过模拟刚性球滚动整合大尺度信息，平滑损失函数，提升收敛速度与泛化性能。
2025-10-24 cs.AI cs.LG math.OC
Asymptotic Unbiased Sample Sampling to Speed Up Sharpness-Aware Minimization
School of Information Science and Technology, Beijing University of Technology（北京工业大学信息科学与技术学院）；Hangzhou Research Institute, School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院杭州研究院）；Nanchang Institute of Technology（南昌理工学院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）
针对SAM计算成本高的问题，提出基于梯度范数渐近无偏采样的AUSAM方法，在保持泛化性能的同时实现超70%加速，并适用于分类、姿态估计和量化等任务。
2025-03-28 cs.CV cs.LG
A continuous-time analysis of distributed stochastic gradient
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析了同步对分布式随机梯度算法的影响。通过利用生物群体感应的动力学模型的类比-其中代理之间的同步是通过与一个共同的信号通信诱导-我们量化同步如何可以显着降低噪声的幅度所感受到的个人分布式代理和他们的空间平均值。这种噪声降低又与由随机梯度近似施加的损失函数的平滑的降低相关联。通过对模型非凸目标的仿真，我们证明了耦合可以稳定更高的噪声水平并提高收敛性。我们提供了一个强凸函数的收敛性分析，推导出一个约束的预期偏差的空间平均的代理从全局最小的算法的基础上群体感应，相同的算法与动量，和弹性平均SGD（EASGD）算法。我们讨论了新算法的扩展，允许每个代理广播其当前的成功措施，并相应地塑造集体计算。我们用在CIFAR-10数据集上训练的卷积神经网络的数值实验来补充我们的理论分析，其中我们注意到EASGD的令人惊讶的正则化特性，即使应用于非分布式情况。这一观察结果表明，非分布式优化的替代二阶实时算法与动量方法具有竞争力。
2020-12-17 cs.LG math.OC
Subsampling is not Magic: Why Large Batch Sizes Work for Differentially Private Stochastic Optimisation
University of Helsinki（赫尔辛基大学）
本研究从理论上解释DP-SGD中大批量大小的有效性：将总梯度方差分解为子采样和噪声两部分，证明在无限迭代极限下噪声方差不变而子采样方差随批量增大而减小，从而降低总方差。
2024-09-19 cs.CR cs.LG stat.ML
