Qsparse-local-SGD: Distributed SGD with Quantization, Sparsification, and Local Computations
Adobe Inc.（奥多比公司）；UCLA（加州大学洛杉矶分校）；Amazon Web Services（亚马逊云科技）
通信瓶颈是大规模学习模型分布式优化中的一个重要问题。最近，已经提出了几种缓解这个问题的方法，包括不同形式的梯度压缩或计算局部模型并迭代地混合它们。在本文中，我们提出了\emph{Qsparse-local-SGD}算法，该算法通过跟踪真实梯度和压缩梯度之间的差异，将积极的稀疏化与量化和局部计算以及误差补偿相结合。我们提出了同步和异步实现的\emph{Qsparse-local-SGD}。我们分析了收敛的\emph{Qsparse-local-SGD}在\emph{distributed}设置为光滑的非凸和凸的目标函数。我们证明了\emph{Qsparse-local-SGD}收敛速度相同的香草分布SGD的许多重要类的稀疏和量化。我们使用\emph{Qsparse-local-SGD}在ImageNet上训练ResNet-50，并表明它比最先进的方法节省了大量的比特数，以达到目标精度。
2019-11-02 cs.DC cs.LG math.OC
Technical Report: Full Version of Analyzing and Optimizing Perturbation of DP-SGD Geometrically
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文从几何角度分析DP-SGD低效根源，发现方向噪声是关键因素，并提出分别扰动梯度方向与幅度的GeoDP策略，在同等隐私保证下提升模型效率。
2025-04-08 cs.AI cs.CV cs.DB
What You See is What You Get: Principled Deep Learning via Distributional Generalization
EPFL（洛桑联邦理工学院）；UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）
在机器学习中，在训练时间和测试时间具有类似的行为$-$，我们称之为“所见即所得”（WYSIWYG）属性$-$。然而，使用标准随机梯度下降（SGD）训练的模型不一定具有此属性，因为它们的复杂行为（如鲁棒性或子群性能）在训练和测试时间之间可能会有很大差异。相比之下，我们证明了差分私有（DP）训练可证明确保了高级别的WYSIWYG属性，我们使用分布式泛化的概念对其进行量化。应用这种联系，我们引入了新的概念工具，通过将泛化问题减少到优化问题来设计深度学习方法：为了减轻测试时的不必要行为，可以证明在训练数据上减轻这种行为是足够的。通过应用这种新颖的设计原理，它绕过了SGD的“病态”，我们构建了简单的算法，在几个分布式鲁棒性应用中与SOTA竞争，显着提高了DP-SGD的隐私与不同影响的权衡，并减轻了对抗训练中的鲁棒过拟合。最后，我们还改进了DP，稳定性和分布推广的理论界限。
2022-10-17 cs.AI cs.CR cs.CV
On the Convergence of DP-SGD with Adaptive Clipping
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
本文首次系统分析了带分位数裁剪的SGD（QC-SGD）的收敛性，揭示了其偏差问题及分位数与步长调度的缓解机制，并将结果扩展到差分隐私场景，为DP-QC-SGD建立了首个理论保证。
2024-12-27 cs.CR cs.LG math.OC
Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach
Iowa State University（爱荷华州立大学）
在这项工作中，我们考虑分布式学习中基于随机梯度下降（SGD）的分布式算法的弹性与潜在的拜占庭攻击者，谁可以发送任意信息到参数服务器，以破坏训练过程。为此，我们提出了一个新的Lipschitz启发的坐标明智的中位数方法（LICM-SGD），以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者，同时在非凸设置中几乎肯定会收敛到一个固定区域。此外，我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息，这使得它对实际实现具有吸引力。此外，我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上，时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验，以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中，LICM-SGD还实现了更快的运行时间，这要归功于它的低计算时间复杂度。
2019-09-10 cs.DC cs.LG stat.ML
AET-SGD: Asynchronous Event-triggered Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）
通信开销是设计有效的分布式学习算法的主要瓶颈。最近，事件触发技术已经被提出来减少计算节点之间的信息交换，从而减轻通信成本。然而，大多数现有的事件触发的方法只考虑启发式事件触发的阈值。它们还忽略了计算和网络延迟的影响，这对训练性能起着重要作用。在本文中，我们提出了一个异步事件触发的随机梯度下降（SGD）框架，称为AET-SGD，i）减少计算节点之间的通信成本，ii）减轻延迟的影响。与基线事件触发方法相比，AET-SGD采用线性增加的事件触发阈值，在保持良好收敛性能的同时，显著降低了通信开销。我们实现了AET-SGD，并在多个代表性数据集上评估了其性能，包括MNIST，FashionMNIST，KMNIST和CIFAR 10。实验结果验证了设计的正确性，并显示了显着的通信成本降低从44倍到120倍，相比最先进的。我们的研究结果还表明，AET-SGD可以抵抗大延迟从掉队节点，同时获得体面的性能和期望的加速比。
2021-12-27 cs.LG
Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load
Technical University of Munich（慕尼黑工业大学）；Aalto University（阿尔托大学）
本文针对分布式SGD中的滞后节点问题，提出一种在运行过程中同时自适应调整工作节点数量和计算负载的新方案，从而在略微增加通信负载的代价下显著降低计算负载并加快收敛。
2023-04-17 cs.DC cs.IT cs.LG
Truncated Non-Uniform Quantization for Distributed SGD
City University of Hong Kong（香港城市大学）；The Hang Seng University of Hong Kong（香港恒生大学）；University of Hawaii at Manoa（马诺阿夏威夷大学）；Sun Yat-sen University（中山大学）
针对分布式学习通信瓶颈问题，提出含截断去噪与统计特征驱动非均匀量化的两阶段量化策略，推导最优闭式解，理论与实验验证其在通信效率和收敛性能间的更优平衡。
2024-02-02 cs.DC cs.LG
Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
通过确保学习算法中的差分隐私，可以严格地减轻大型模型记忆敏感训练数据的风险。在本文中，我们研究了两个算法，即，DP-SGD和DP-NSGD，它们首先剪切或归一化\textit{per-sample}梯度以限制灵敏度，然后添加噪声以混淆确切的信息。我们分析了这两个算法在非凸优化设置的两个共同的假设，并实现了率$\mathcal{O}\left(\sqrt[4]{\frac{d\log(1/δ)}{N^2ε^2}}\right)$的梯度范数的$d$维模型，$N$样本和$(ε,δ)$ -DP，这改善了以前的界限下弱得多的假设。具体来说，我们在DP-NSGD中引入了正则化因子，并表明它在收敛性证明中至关重要，并巧妙地控制了偏差和噪声的权衡。我们的证明特意处理了为私有设置指定的每个样本的梯度裁剪和标准化。从经验上讲，我们证明，这两种算法实现了类似的最佳精度，而DP-NSGD是比较容易调整比DP-SGD，因此可能有助于进一步节省隐私预算时，会计调整工作。
2022-06-27 cs.IT cs.LG math.IT
Guided parallelized stochastic gradient descent for delay compensation
The University of the South Pacific（南太平洋大学）
针对并行SGD算法中参数更新延迟导致高方差的问题，提出引导SGD（gSGD）算法，通过补偿延迟引起的不可预测偏差来引导收敛，实验证明该方法能减轻延迟影响并提升分类准确率。
2021-01-17 cs.LG cs.NE
Don't be so Monotone: Relaxing Stochastic Line Search in Over-Parameterized Models
RWTH Aachen University（亚琛工业大学）；University of British Columbia（不列颠哥伦比亚大学）
提出非单调线搜索加速SGD与Adam并提升收敛与泛化能力
2023-10-25 cs.LG math.OC
DP-SGD with weight clipping
MAGNET INRIA
针对差分隐私梯度下降中传统梯度裁剪的偏差问题，提出利用模型Lipschitz值公开上界和搜索域位置实现精细化噪声调整的新算法，实证显示其差分隐私保证更优且实践性能超过现有方法。
2025-02-10 cs.CR cs.LG
dSTAR: Straggler Tolerant and Byzantine Resilient Distributed SGD
University of California, Los Angeles（加州大学洛杉矶分校）；University of Pennsylvania（宾夕法尼亚大学）
dSTAR通过选择前k个响应工作节点的梯度并基于集成中位数过滤，同时应对掉队和拜占庭攻击，实现线性收敛和高精度，优于现有方法。
2026-09-21 cs.AI cs.CR cs.DC
Partial Model Averaging in Federated Learning: Performance Guarantees and Benefits
University of Southern California（南加州大学）；Amazon Alexa AI（亚马逊 Alexa AI）
局部随机梯度下降（SGD）与周期模型平均（FedAvg）是联邦学习的基础算法。该算法在多个工作者上独立运行SGD，并定期对所有工作者的模型进行平均。然而，当本地SGD与许多工人一起运行时，周期性平均会导致工人之间的显著模型差异，使全局损失缓慢收敛。虽然最近的先进优化方法解决了集中在非IID设置的问题，但由于潜在的周期性模型平均，仍然存在模型差异问题。我们提出了一个部分模型平均框架，减轻模型差异的问题，在联邦学习。部分平均鼓励局部模型在参数空间上保持彼此接近，并且它能够更有效地最小化全局损失。给定固定的迭代次数和大量的工人（128），部分平均比周期性的全平均实现了高达2.2%的高验证精度。
2022-01-11 cs.LG stat.ML
A Unified Momentum-based Paradigm of Decentralized SGD for Non-Convex Models and Heterogeneous Data
Shanghai University of Electric Power（上海电力大学）
新兴的分布式应用最近推动了去中心化机器学习的发展，特别是在物联网和边缘计算领域。在现实世界中，非凸性和数据异构性的常见问题导致效率低下，性能下降和开发停滞。大部分研究集中在上述问题之一，而没有一个更普遍的框架，已被证明是最佳的。为此，我们提出了一个统一的范式称为UMP，其中包括两个算法，D-SUM和GT-DSUM，基于分散的随机梯度下降（SGD）的动量技术。前者为一般非凸目标提供了收敛保证。同时，通过引入梯度跟踪来扩展后者，该梯度跟踪估计全局优化方向以减轻数据异构性（即，分布漂移）。我们可以覆盖大多数基于动量的变量，基于经典的重球或Nesterov的加速度与UMP中的不同参数。在理论上，我们严格提供了这两种方法的收敛性分析非凸目标，并进行了广泛的实验，证明了显着提高模型的准确性高达57.6%相比，其他方法在实践中。
2023-03-01 cs.DC cs.LG
Structured and Fast Optimization: The Kronecker SGD Algorithm
Department of XXX, University of YYY, Location, Country（YYY大学XXX系）；School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院）
本文提出Kronecker SGD算法，通过利用输入数据的结构化特性，实现计算负载与参数规模d的子线性增长，从而提升深度学习优化效率。
2026-01-24 cs.LG
DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM
University of California, Los Angeles（加州大学洛杉矶分校）
由差分私有随机梯度下降（DP-SGD）训练的机器学习（ML）模型的效用比非私有模型低得多。为了减轻这种退化，我们提出了一个DP拉普拉斯平滑SGD（DP-LSSGD）训练ML模型与差分隐私（DP）的保证。DP-LSSGD的核心是拉普拉斯平滑，它平滑掉高斯机制中使用的高斯噪声。在高斯机制中使用的相同数量的噪声下，DP-LSSGD获得了相同的DP保证，但在实践中，DP-LSSGD使凸和非凸ML模型的训练更加稳定，并使训练的模型能够更好地泛化。与DP-SGD算法相比，该算法实现简单，额外的计算复杂性和内存开销可以忽略不计。DP-LSSGD适用于训练各种ML模型，包括DNN。代码可在\url{https://github.com/BaoWangMath/DP-LSSGD}上获得。
2019-12-07 cs.CR cs.LG stat.ML
Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学前沿交叉科学学院）；School of Mathematical Sciences, University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；Ministry of Education Key Laboratory of Mathematics and Information Networks, School of Mathematical Sciences, Beijing University of Posts and Telecommunications（北京邮电大学数学科学学院数学与信息网络教育部重点实验室）
本文研究了容错分布式随机梯度下降，分析了带和不带局部动量的变体，推导了非凸光滑目标和满足Polyak-Lojasiewicz条件的收敛速率，并给出了匹配下界以证明上界是紧的。
2026-04-11 cs.LG math.OC
Distributed Sparse SGD with Majority Voting
Ozyegin University（厄兹耶金大学）；Imperial College London（帝国理工学院）
分布式学习，特别是分布式随机梯度下降（DSGD）的变体，被广泛用于通过利用多个工作者的计算资源来加速训练。然而，在实践中，由于需要在工作器和参数服务器之间交换大量信息，通信延迟成为瓶颈。缓解通信瓶颈的最有效策略之一是top-K稀疏化。然而，top-K稀疏化需要额外的通信负载来表示稀疏模式，并且工作者的稀疏模式之间的不匹配阻碍了高效通信协议的利用。为了解决这些问题，我们引入了一种新的基于多数表决的稀疏通信策略，在该策略中，工作人员首先寻求稀疏表示结构上的共识。这种策略提供了一个显着减少通信负载，并允许在两个通信方向上使用相同的稀疏水平。通过对CIFAR-10数据集的广泛模拟，我们证明了在测试精度没有任何损失的情况下，可以实现高达x4000的压缩。
2020-11-12 cs.DC cs.IT cs.LG
STSyn: Speeding Up Local SGD with Straggler-Tolerant Synchronization
Fudan University（复旦大学）
STSyn提出一种容忍滞后节点的局部SGD同步策略，每轮等待K个最快节点并持续利用所有有效局部更新，在非凸目标下证明收敛，显著提升时间与通信效率。
2023-05-29 cs.DC cs.IT cs.LG
When MiniBatch SGD Meets SplitFed Learning:Convergence Analysis and Performance Evaluation
针对拆分联邦学习在非独立同分布数据下的客户端漂移问题，提出融入小批量SGD的MiniBatch-SFL算法，分析其收敛性并通过实验验证其准确率优于传统SFL和FL。
2023-08-23 cs.AI cs.LG
SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（霍华德·米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院）；School of Electrical and Computer Engineering, Georgia Institute of Technology（电气与计算机工程学院，佐治亚理工学院）
本文通过在线小批量 SGD 训练两层 ReLU 神经网络，首次端到端理论刻画了虚假特征学习，发现 SGD 优先且指数级快速地学习虚假特征，且优化动力学中虚假与信号特征耦合，强虚假成分抑制信号学习。
2026-11-09 cs.LG stat.ML
Differentially Private Coordinate Descent for Composite Empirical Risk Minimization
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ Montpellier（蒙彼利埃大学）；Institut Universitaire de France（法国大学研究院）
机器学习模型可能会泄露有关用于训练它们的数据的信息。为了缓解这个问题，已经设计了像随机梯度下降（DP-SGD）这样的优化算法的差分私有（DP）变体，以在经验风险最小化（ERM）问题中权衡隐私的效用。在本文中，我们提出了一种新的方法，差分私人邻近坐标下降（DP-CD），解决复合DP-ERM问题。我们通过一个新的理论分析，不精确的坐标下降得到效用保证。我们的研究结果表明，由于更大的步长，DP-CD可以利用梯度坐标的不平衡，优于DP-SGD。我们还证明了新的下限复合DP-ERM坐标明智的规律性假设下，几乎匹配的DP-CD。对于实际的实现，我们建议使用我们的理论中出现的坐标阈值来裁剪梯度，避免昂贵的超参数调整。在真实数据和合成数据上的实验支持了我们的结果，并表明DP-CD优于DP-SGD。
2022-10-21 cs.CR cs.LG stat.ML
A Dynamic Weighting Strategy to Mitigate Worker Node Failure in Distributed Deep Learning
Lehigh University（里海大学）
针对分布式深度学习系统的节点故障等挑战，研究EASGD、AdaHessian等优化技术，提出动态加权策略缓解故障掉队节点问题，经多组实验验证可提升训练收敛速度与测试性能。
2024-09-14 cs.DC cs.LG
Clipped SGD Algorithms for Performative Prediction: Tight Bounds for Clipping Bias and Remedies
Bar-Ilan University（巴伊兰大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了决策相关数据分布下 clipped SGD 算法的收敛性，刻画了 PCSGD 算法中的 clipping bias 界限并提出最优步长设计与 DiceSGD 算法作为修正方法，数值实验验证了理论发现。
2025-01-30 cs.CR cs.LG math.OC
OptEx: Expediting First-Order Optimization with Approximately Parallelized Iterations
Guangdong Lab of AI and Digital Economy（广东省人工智能与数字经济实验室）；College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；School of Information Technology, Carleton University（卡尔顿大学信息技术学院）
针对一阶优化算法迭代顺序执行导致效率低下的问题，提出OptEx框架，通过核化梯度估计利用历史梯度预测实现迭代近似并行，在理论上保证了估计可靠性与Ω(√N)的加速率，实验验证其在多类任务中均能显著提升效率。
2024-10-29 cs.AI cs.LG stat.ML
How iteration order influences convergence and stability in deep learning
Google Research（谷歌研究院）；Department of Mathematics, Uppsala University（乌普萨拉大学数学系）；Department of Mathematics, University of Geneva（日内瓦大学数学系）
本文探讨了梯度更新顺序对训练稳定性与收敛的影响，通过反向SGD实验展示了在固定学习率和小批量情况下，迭代顺序改变可提升稳定性与收敛性。
2026-03-27 cs.LG math.DS stat.ML
Local MixVR: Breaking the Communication-Sample Dependence in Distributed Learning
Technion Haifa, Israel（技术离子海法分校，以色列）；EPFL Lausanne, Switzerland（洛桑联邦理工学院，瑞士）
提出Local MixVR框架，通过局部更新与方差缩减技术消除通信复杂度对样本总数N的依赖，实现仅与工作节点数M相关的通信复杂度，在M<O(N^{1/4})时优于现有最优方法。
2026-10-01 cs.LG
VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
本文提出 VAMO，在 SVRG 框架中融合小批量 SGD 与全批量零阶梯度，以低内存实现与维度无关的更快收敛，并在神经网络训练和 LLM 微调中验证优势。
2025-09-29 cs.LG math.OC
Lower Bounds and Proximally Anchored SGD for Non-Convex Minimization Under Unbounded Variance
School of Electrical and Computer Engineering, Purdue University（电子与计算机工程学院，普渡大学）
本文研究了非凸优化中无界方差条件下SGD变种的下界，并提出PASTA算法在多种非凸情形下达到最优复杂度。
2026-04-17 cs.LG math.OC
Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging
Department of Computer Science, ETH Zurich（计算机科学系，苏黎世联邦理工学院）；IST Austria（国际研究所）
本文提出避等待分组模型平均SGD（WAGMA-SGD），通过子组权重交换和分组allreduce减少全局通信，在保持与Allreduce-SGD相近收敛速率的同时，显著提升大规模深度学习训练吞吐量并缩短求解时间。
2025-08-21 cs.DC cs.LG
Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients
联邦学习（FL）是一种新的机器学习框架，它在大量分散的计算设备上训练联合模型。现有的方法，例如，联合平均（Federated Averaging，FedAvg）能够通过同步训练联合模型来提供优化保证，但是通常遭受掉队者，即，低计算能力或通信带宽的物联网设备，特别是异构优化问题。为了减轻落伍者的影响，本文提出了一种新的FL算法，即混合联邦学习（HFL），以实现学习效率和效果的平衡。它由两个主要组件组成：同步内核和异步更新器。与传统的同步FL方法不同，我们的HFL引入了异步更新器，该更新器主动从落伍者中提取非同步和延迟的局部权重。提出了一种自适应延迟SGD（AD-SGD）方法，将延迟的局部更新合并到联合模型中。理论分析表明，无论是凸优化问题还是非凸优化问题，该算法的收敛速度都是$\mathcal{O}(\frac{1}{t+τ})$。
2021-02-12 cs.DC cs.LG
Decentor-V: Lightweight ML Training on Low-Power RISC-V Edge Devices
Centro ALGORITMI / LASI, Universidade do Minho（ALGORITMI/LASI中心，Minho大学）
本文针对低功耗 RISC-V 边缘设备上缺乏高效设备端训练支持的问题，将轻量级优化算法 L-SGD 扩展到 RISC-V MCU，并提出 8 位量化版本，在几乎不损失精度的情况下显著降低内存占用并加快训练速度。
2025-09-10 cs.AR cs.LG
Shuffling the Data, Stretching the Step-size: Sharper Bias in constant step-size SGD
University of Pennsylvania（宾夕法尼亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Archimedes Research Unit（阿基米德研究单位）
本文研究了在有限和最小-最大优化问题中，通过随机重洗数据和Richardson-Romberg外推的组合，提升固定步长SGD的收敛性，提供理论保证和实验验证。
2026-04-11 cs.LG math.OC
Matched Specialization, Different Adaptation: Second-Moment Structure in Shared Representations
Doshisha University（同志社大学）；Keio Research Institute at SFC（庆应义塾大学SFC研究所）；Stroly Inc.（Stroly公司）
该研究在最小人工学习器中探究共享表征的专业化机制，通过不同干预方式揭示其形成、维持与潜在敏感性的规律，为理解表征专业化提供了实验依据。
2026-10-27 cs.LG cs.NE
Stabilized Sparse Online Learning for Sparse Data
Columbia University（哥伦比亚大学）
随机梯度下降（SGD）通常用于大规模机器学习问题的优化。Langford等人（2009）介绍了一种稀疏在线学习方法，通过截断梯度来诱导稀疏性。然而，对于高维稀疏数据，由于特征稀疏性的异质性，该方法收敛速度慢且方差大。为了缓解这个问题，我们引入了一个稳定的截断随机梯度下降算法。我们采用软阈值方案的权重向量，其中施加的收缩是自适应的每个功能中可用的信息量。所得到的稀疏权重向量的可变性进一步控制的稳定性选择集成的信息截断。为了更好地收敛，我们采用了一种退火策略的截断率，这导致了一个平衡的权衡之间的探索和利用学习稀疏的权重向量。数值实验表明，该算法在预测精度、稀疏性和稳定性方面优于原算法。
2017-05-09 cs.LG stat.ML
Adaptive Braking for Mitigating Gradient Delay
Cerebras Systems；Google（谷歌）
神经网络训练通常通过使用多个同步工作器并行计算梯度更新来加速。异步方法消除了同步开销，提高了硬件利用率，但代价是引入了梯度延迟，这阻碍了优化，并可能导致最终模型性能降低。我们引入自适应制动（AB），基于动量的优化器的修改，减轻梯度延迟的影响。AB基于梯度和速度的对齐动态缩放梯度。这可以抑制沿着损失表面的高曲率方向的振荡，稳定和加速异步训练。我们表明，在SGD之上应用AB和动量，可以在CIFAR-10和ImageNet-1 k上训练ResNet，延迟$D \geq$ 32个更新步骤，最终测试精度下降最小。
2020-07-10 cs.DC cs.LG math.OC
Information-Theoretic Greedy Layer-wise Training for Traffic Sign Recognition
本文通过信息论分析CNN逐层收敛特性，提出基于DIB和Rényi熵的贪婪逐层训练方法，在CIFAR和交通标志识别任务中表现优于现有基线且媲美SGD。
2025-10-31 cs.AI cs.LG
Taming Momentum in a Distributed Asynchronous Environment
Technion – Israel Institute of Technology（以色列理工学院）；University of Toronto Scarborough（多伦多大学士嘉堡校区）
尽管分布式计算可以显著减少深度神经网络的训练时间，但在保持高效率和最终准确性的同时扩展训练过程具有挑战性。分布式异步训练可以获得接近线性的加速，但这会导致梯度失效--这是将随机梯度下降扩展到大型集群的主要困难。动量，这是经常用来加速收敛和逃避局部极小值，加剧了梯度陈旧，从而阻碍收敛。我们建议DANA：一种用于异步分布式SGD的新技术，其通过计算模型参数的估计未来位置上的梯度来减轻梯度陈旧。因此，我们第一次表明，动量可以完全纳入异步训练，几乎没有影响到最终的准确性。我们对CIFAR和ImageNet数据集的评估表明，DANA在最终准确性和收敛速度方面都优于现有方法，同时在64个异步工人上扩展到16 K的总批量大小。
2020-10-14 cs.DC cs.LG stat.ML
Pipelined Backpropagation at Scale: Training Large Models without Batches
Cerebras；Tesla（特斯拉）；Cerebras Systems, Inc（Cerebras Systems 公司）；Google（谷歌）
新硬件可以大幅提高深度神经网络训练的速度和效率。为了指导未来硬件架构的开发，探索替代训练算法的硬件和机器学习属性是恰当的。在这项工作中，我们评估使用小批量，细粒度的流水线反向传播，异步流水线并行训练算法，具有显着的硬件优势。我们介绍了两种方法，尖峰补偿和线性权重预测，有效地减轻了由流水线反向传播的并行性造成的缺点，并在我们的设置中优于现有技术。我们表明，适当的规范化和小批量也可以帮助训练。使用我们的方法，使用批量大小为1的细粒度流水线反向传播可以匹配在CIFAR-10和ImageNet上训练的多个网络的SGD的准确性。简单的缩放规则允许使用现有的超参数进行传统训练，而无需额外的调整。
2021-04-10 cs.DC cs.LG stat.ML
LAWS: Look Around and Warm-Start Natural Gradient Descent for Quantum Neural Networks
William & Mary（威廉与玛丽学院）
变分量子算法（VQA）最近受到了研究界的极大关注，因为它们在有噪声的中间尺度量子计算机（NISQ）中有很好的性能。然而，在具有随机初始化参数的参数化量子线路（PQC）上运行的VQA的特征在于贫瘠高原（BP），其中梯度在量子比特的数量上呈指数地消失。在本文中，我们首先回顾量子自然梯度（QNG），这是最流行的算法之一，在VQA，从经典的一阶优化的角度来看。然后，我们提出了一个\underline{L} ook \underline{A} round \underline{W} arm- \underline{S} tart QNG（LAWS）算法，以减轻广泛存在的BP问题。LAWS是一种组合优化策略，它利用了模型参数初始化和QNG快速收敛的优点。LAWS重复地重新调整参数搜索空间，以用于下一次迭代参数更新。重新初始化的参数搜索空间是通过对接近当前最优的梯度进行采样来仔细选择的。此外，我们提出了一个统一的框架（WS-SGD）集成参数初始化技术到优化器。我们提供了收敛性证明的建议框架的凸和非凸目标函数的基础上Polyak-Lojasiewicz（PL）条件。实验结果表明，该算法在量子分类问题中能有效地降低BP算法的泛化能力。
2022-05-05 cs.LG quant-ph
Not All Samples Are Created Equal: Deep Learning with Importance Sampling
Idiap Research Institute（Idiap研究所）；École Polytechique Fédérale de Lausanne（洛桑联邦理工学院）
深度神经网络训练将大部分计算花费在正确处理的示例上，并且可以忽略。我们建议用一个原则性的重要性采样方案来减轻这种现象，该方案将计算集中在“信息丰富”的示例上，并减少训练过程中随机梯度的方差。我们的贡献是双重的：首先，我们推导出每个样本梯度范数的易处理的上界，其次，我们推导出利用重要性采样实现的方差减小的估计，这使得我们能够在它将导致实际加速时将其打开。由此产生的方案可以通过在标准SGD过程中改变几行代码来使用，并且我们通过实验证明，在图像分类，CNN微调和RNN训练上，对于固定的挂钟时间预算，它提供了高达一个数量级的训练损失的减少和5%至17%之间的测试误差的相对改善。
2019-10-28 cs.LG
Over-the-Air Federated Learning from Heterogeneous Data
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）；Math and CS Faculty, Weizmann Institute of Science（魏茨曼科学研究所数学与计算机科学学院）
联邦学习（FL）是一种集中式模型的分布式学习框架。在FL中，一组边缘设备使用其本地数据训练模型，同时与中央服务器重复交换其训练的更新。此过程允许以分布式方式调优集中式模型，而无需用户共享其可能的私有数据。在本文中，我们专注于在空中（OTA）FL，这是最近建议，以减少FL的通信开销，由于大量的用户在无线信道上的模型更新的重复传输。在OTA FL中，所有用户同时通过多址信道将其更新作为模拟信号发送，并且服务器接收模拟发送信号的叠加。然而，这种方法导致信道噪声直接影响优化过程，这可能降低训练模型的准确性。我们开发了一种收敛OTA FL（COTAF）算法，该算法增强了常见的本地随机梯度下降（SGD）FL算法，在用户处引入预编码，在服务器处进行缩放，从而逐渐减轻噪声的影响。我们分析了COTAF的收敛到损失最小化模型，并量化了统计异构设置的效果，即当每个用户的训练数据服从不同的分布时。我们的分析揭示了COTAF的能力，以实现类似的无差错信道上实现的收敛速度。我们的模拟证明了COTAF在使用非合成数据集进行训练时比香草OTA本地SGD的收敛性有所改善。此外，我们数值计算表明，由COTAF诱导的预编码显着提高了通过OTA FL训练的模型的收敛速度和精度。
2020-10-02 cs.IT cs.LG math.IT
ML-Doctor: Holistic Risk Assessment of Inference Attacks Against Machine Learning Models
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全研究中心）；UCL & Alan Turing Institute（伦敦大学学院与艾伦·图灵研究所）
针对机器学习（ML）模型的推理攻击允许攻击者学习有关训练数据、模型参数等的敏感信息。虽然研究人员已经深入研究了几种攻击，但他们都是孤立地进行的。因此，我们对攻击造成的风险缺乏全面了解，例如，它们可以应用于的不同场景，影响其性能的共同因素，它们之间的关系，或可能的防御措施的有效性。在本文中，我们通过对机器学习模型的不同推理攻击进行首次整体风险评估来填补这一空白。我们集中在四个攻击-即，成员推断，模型反演，属性推断，模型窃取-并建立一个威胁模型分类。我们广泛的实验评估，运行在五个模型架构和四个图像数据集，表明训练数据集的复杂性起着重要的作用，相对于攻击的性能，而模型窃取和成员推断攻击的有效性是负相关的。我们还表明，像DP-SGD和知识蒸馏防御只能减轻一些推理攻击。我们的分析依赖于一个模块化的可重用软件ML-Doctor，它使ML模型所有者能够评估部署模型的风险，并同样作为研究人员和从业者的基准工具。
2021-10-06 cs.AI cs.CR cs.LG
Uniform Generalization, Concentration, and Adaptive Learning
KAUST（阿卜杜拉国王科技大学）
任何学习算法的一个基本目标都是降低过拟合的风险。在数学上，这要求学习算法享有小的泛化风险，其在期望或概率中定义。这两种类型的概括在文献中常用。例如，期望中的泛化已被用于分析算法，如岭回归和SGD，而概率中的泛化则用于VC理论等。最近，第三个概念的推广已被研究，称为一致推广，这要求推广风险消失的期望一致所有有界的参数损失。事实上，一致推广等价于信息论稳定性约束，并且它恢复了学习理论中的经典结果。它可以在各种设置下实现，例如样本压缩方案、有限假设空间、有限域和差分隐私。然而，统一泛化和集中之间的关系仍然未知。在本文中，我们回答这个问题，证明，而在期望的推广并不意味着在概率的推广，在期望的统一推广意味着浓度。我们建立了一个链式规则的一致推广风险的组成的假设，并使用它来获得一个大的偏差界。最后，我们证明了该界是紧的。
2016-10-03 cs.IT cs.LG math.IT
Effective Dimension Aware Fractional-Order Stochastic Gradient Descent for Convex Optimization Problems
University of California, Merced（加州大学梅尔德分校）
本文提出2SEDFOSGD方法，将双尺度有效维度算法与分数阶随机梯度下降结合，以数据驱动方式自适应分数阶指数，在AR模型及MNIST、CIFAR-100数据集上验证了更快收敛和更稳健的参数估计。
2025-05-07 cs.LG math.OC
More Optimal Fractional-Order Stochastic Gradient Descent for Non-Convex Optimization Problems
University of California, Merced（加州大学默塞德分校）
本文提出2SEDFOSGD，将双尺度有效维度算法与分数阶随机梯度下降结合，通过数据驱动自适应分数阶指数，在非凸优化中实现更快收敛和更稳健的参数估计。
2025-05-05 cs.LG math.OC
Understanding SAM's Robustness to Noisy Labels through Gradient Down-weighting
Rochester Institute of Technology（罗彻斯特理工学院）；University of Science - VNUHCM（越南国立大学胡志明市理科大学）；Rowan University（罗文大学）
本文通过分析SAM在元素级别表现，揭示其对噪声标签鲁棒性的机制，并提出SANER方法提升泛化能力。
2026-03-30 cs.LG
Fast & Furious: Modelling Malware Detection as Evolving Data Streams
Federal University of Paraná（巴拉那联邦大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
恶意软件是对计算机系统的主要威胁，并对网络安全提出了许多挑战。勒索软件等针对性威胁每年造成数百万美元的损失。恶意软件感染的不断增加促使流行的反病毒（AV）开发专用的检测策略，其中包括精心制作的机器学习（ML）管道。然而，恶意软件开发人员不断改变他们的样本的功能，以绕过检测。恶意软件样本的这种不断演变导致数据分布的变化（即，概念漂移）直接影响ML模型的检测率，这在大多数文献工作中没有考虑。在这项工作中，我们评估了概念漂移对两个Android数据集的恶意软件分类器的影响：DREBIN（约130 K应用程序）和AndroZoo的子集（约285 K应用程序）。我们使用这些数据集来训练自适应随机森林（ARF）分类器以及随机梯度下降（SGD）分类器。我们还使用VirusTotal提交时间戳对所有数据集样本进行了排序，然后使用两种算法（Word 2 Vec和TF-IDF）从其文本属性中提取特征。然后，我们进行了实验，比较了两个特征提取器，分类器，以及四个漂移检测器（DDM，EDDM，ADWIN和KSWIN），以确定真实环境的最佳方法。最后，我们比较了一些可能的方法来减轻概念漂移，并提出了一种新的数据流管道，更新分类器和特征提取器。为此，我们进行了纵向评估：（i）对九年（2009-2018）收集的恶意软件样本进行分类，（ii）审查概念漂移检测算法以证明其普遍性，（iii）比较不同的ML方法以缓解问…
2022-08-16 cs.CR cs.LG
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks
Centre for Frontier AI Research (CFAR), A*STAR（新加坡科技研究局前沿人工智能研究中心）；National University of Singapore（新加坡国立大学）；Institute of High Performance Computing (IHPC), A*STAR（新加坡科技研究局高性能计算研究所）
过度参数化的深度神经网络（DNN）通常可以实现惊人的性能，但可能会导致严重的泛化误差。最近，Foret et al.（2020）建立了损失景观的清晰度与泛化误差之间的关系，其中提出了SharpingAware Minimizer（SAM）来减轻泛化的退化。不幸的是，SAM的计算成本大约是基本优化器（如随机梯度下降（SGD））的两倍。因此，本文提出了高效的共享感知最小化器（ESAM），它提高了SAM的效率，而不牺牲其泛化性能。ESAM包括两种新颖有效的训练策略--随机权值扰动和锐度敏感数据选择。在前者中，通过在每次迭代中扰动随机选择的权重集来近似锐度度量;在后者中，仅使用对锐度敏感的明智选择的数据子集来优化SAM损失。我们提供了理论解释，为什么这些策略表现良好。我们还通过对CIFAR和ImageNet数据集的广泛实验表明，ESAM比SAM提高了效率，从需要100%的额外计算到相对于基本优化器的40%，同时保持甚至提高了测试准确度。
2022-05-28 cs.AI cs.CV cs.LG
Variance-reduced Clipping for Non-convex Optimization
MIT–IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Massachusetts Institute of Technology（麻省理工学院）
本文针对$(L_0,L_1)$平滑非凸优化，将SPIDER方差缩减与裁剪学习率结合，把随机梯度复杂度改进至阶最优的$O(ε^{-3})$及有限和情形的$O(\sqrt{n}ε^{-2}+n)$，并在视觉任务上验证性能。
2023-06-02 cs.LG math.OC stat.ML
Unbiased and Sign Compression in Distributed Learning: Comparing Noise Resilience via SDEs
University of Basel（巴塞尔大学）；University of Oslo（奥斯陆大学）
本研究通过SDE分析DCSGD与DSignSGD，发现无偏压缩对梯度噪声更敏感，而符号压缩更鲁棒，并提出超参数缩放规则以缓解性能下降。
2025-02-28 cs.LG
Read the Signs: Towards Invariance to Gradient Descent's Hyperparameter Initialization
HEC Montreal（蒙特利尔高等商学院）
我们提出了ActiveLR，一个优化的Meta算法，本地化的学习率，$α$，并适应他们在每个时代根据是否在每个时代的梯度变化的迹象或没有。该符号意识算法知道从先前步骤到当前步骤，每个参数的更新是否过大或过小，并相应地调整$α$。我们实现了广泛使用和最近发布的梯度下降优化器的主动版本（我们的），即带有动量的SGD，AdamW，RAdam和AdaBelief。我们在ImageNet、CIFAR-10、WikiText-103、WikiText-2和PASCAL VOC上使用不同的模型架构（如ResNet和Transformers）进行的实验显示，泛化能力和训练集拟合度有所提高，并且测试优化器的Active变体的训练时间有所减少。结果还表明，这些优化的主动变量的初始学习率的不同值的鲁棒性。此外，减轻了使用大的小批量的不利影响。因此，ActiveLR简化了对两个最常用的超参数的超参数搜索的需要，这两个超参数需要大量的时间和计算成本来选择。我们鼓励人工智能研究人员和从业者使用他们选择的优化器的Active变体，以实现更快的训练，更好的泛化能力，并减少训练深度神经网络的碳足迹。
2023-01-24 cs.LG
Sharpness-Aware Minimization Can Hallucinate Minimizers
Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学）；Department of Mathematics, University of California, Los Angeles（数学系，加州大学洛杉矶分校）
本文揭示了基于尖锐度的最小化方法可能产生幻觉最小值的问题，并提出通过预热 SGD 来缓解该问题。
2026-02-05 cs.LG math.OC
