Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients
University of Michigan（密歇根大学）
本文提出结合部分二阶信息的方差缩减随机牛顿算法Mb-SVRN，证明当数据量足够大时，该方法能在很宽的小批量范围内实现独立于批量大小的快速线性收敛，显著提升了可扩展性与鲁棒性。
2024-04-23 cs.LG math.OC stat.ML
SGD for Variational Inference: Tackling Unbounded Variance via Preconditioning and Dynamic Batching
MaLGa；DIBRIS Università degli Studi di Genova（DIBRIS基因瓦大学）；Università degli Studi di Genova（基因瓦大学）；DIMA Università degli Studi di Genova（DIMA基因瓦大学）；IIT Università degli Studi di Genova（IIT基因瓦大学）
本文研究了变分推断中SGD优化ELBO的问题，通过预条件和动态批处理技术解决SGD中无界方差问题，并在椭圆位置-尺度族分布中证明了ELBO解的存在性和PSGD的收敛性保证。
2026-05-08 cs.LG math.OC
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney（悉尼大学）
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解，推导了草图线性回归中小批量大小的缩放定律，揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
自定进度学习和硬示例挖掘重新加权训练实例，以提高学习准确性。本文提出了两种改进的替代方案的基础上轻量级估计的样本不确定性的随机梯度下降（SGD）：方差预测概率的正确类跨迭代的小批量SGD，正确的类概率的决策阈值的接近。在六个数据集上进行的大量实验结果表明，我们的方法可靠地提高了各种网络架构的准确性，包括在其他流行的训练技术（如残差学习、动量、ADAM、批量归一化、dropout和蒸馏）之上的额外增益。
2018-01-06 cs.LG stat.ML
Optimal Initialization of Batch Bayesian Optimization
Yeshiva University（叶史瓦大学）
本文提出一种名为最小终端方差（MTV）的批量设计采集函数，通过优化而非随机抽样设计批量贝叶斯优化的初始及后续批次，以最小化质量估计方差，数值实验表明其优于其他方法。
2024-04-27 cs.LG stat.ML
Optimal mini-batch and step sizes for SAGA
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；IMAG, Univ Montpellier, CNRS（IMAG，蒙彼利埃大学，法国国家科学研究中心）
最近，它已被证明的步长的家庭方差约化梯度法称为JacSketch方法依赖于预期的平滑常数。特别地，如果可以先验地计算该期望平滑度常数，则可以安全地设置大得多的步长，这将导致快得多的收敛速度。我们填补了这一空白，并提供了简单的封闭形式表达式的预期平滑常数和仔细的数值实验验证这些界限。使用这些界限，因为SAGA算法是这个JacSketch家庭的一部分，我们建议一个新的标准做法，为SAGA设置的步长和小批量大小是有竞争力的数值网格搜索。此外，我们现在可以证明，SAGA算法的总复杂度在小批量大小中线性下降到预定义的值：最佳小批量大小。这是一个罕见的结果，在随机方差减少文献中，只有以前的喀秋莎算法。最后，我们猜想，这是许多其他的随机方差减少的方法的情况下，我们的边界和分析的预期平滑常数是关键，以延长这些结果。
2019-09-18 cs.LG math.OC stat.ML
Accelerated Variance Reduced Stochastic ADMM
The Chinese University of Hong Kong（香港中文大学）
近年来，许多方差缩减的随机交替方向乘子法（ADMM）方法（例如，SAG-ADMM、SDCA-ADMM和SVRG-ADMM）在强凸问题的线性收敛速度等方面取得了令人兴奋的进展。然而，一般凸问题的最佳已知收敛速度是O（1/T），而加速批处理算法的收敛速度是O（1/T^2），其中$T$是迭代次数。因此，现有的随机ADMM和批处理算法之间的收敛速度仍然存在差距。为了弥补这一差距，我们引入了动量加速技巧批量优化到随机方差降低梯度ADMM（SVRG-ADMM），这导致了加速（ASVRG-ADMM）方法。然后针对强凸和一般凸情形设计了两种不同的动量项更新规则。我们证明了ASVRG-ADMM对强凸问题线性收敛。ASVRG-ADMM算法除了具有较低的迭代复杂度外，还将一般凸问题的收敛速度从O（1/T）提高到O（1/T^2）。实验结果表明了ASVRG-ADMM算法的有效性。
2017-07-11 cs.LG stat.ML
Active Mini-Batch Sampling using Repulsive Point Processes
Microsoft Research（微软研究院）；Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
随机梯度下降（SGD）的收敛速度可以通过积极选择小批量来提高。我们探索的抽样方案，类似的数据点是不太可能被选中在同一个小批量。特别是，我们证明了这种排斥抽样方案降低了梯度估计的方差。这概括了最近关于使用决定点过程（DPP）进行小批量多样化的工作（Zhang等人，2017年）到更广泛的类排斥点过程。我们首先表明，由多样化的采样方差减少的现象，特别是推广到非平稳点过程。然后，我们表明，其他点的过程可能是计算更有效的比DPP。特别是，我们建议和调查泊松磁盘采样-经常遇到的计算机图形社区-这项任务。我们的经验表明，我们的方法在收敛速度和最终模型性能方面都优于标准SGD。
2018-06-20 cs.AI cs.LG stat.ML
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Augment your batch: better training with larger batches
Technion（以色列理工学院）；Habana-Labs（哈巴纳实验室）；ETH Zurich（苏黎世联邦理工学院）
大批量SGD对于深度神经网络的缩放训练很重要。然而，如果没有微调超参数时间表，模型的推广可能会受到阻碍。我们建议使用批量增强：在同一批中复制具有不同数据增强的样本实例。批量增强充当正则化器和加速器，提高泛化和性能扩展。我们分析了批量增强对梯度方差的影响，并表明它可以凭经验提高各种深度神经网络和数据集的收敛性。我们的研究结果表明，批量增强减少了必要的SGD更新的数量，以达到与最先进水平相同的精度。总体而言，这种简单而有效的方法通过允许同时使用更多的计算资源，实现了更快的训练和更好的泛化。
2019-01-27 cs.LG stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Computing and Data Science, The University of Hong Kong（香港大学计算与数据科学学院）；School of Computing and Data Science & Institute of Data Science, The University of Hong Kong（香港大学计算与数据科学学院及数据科学研究所）
研究小批量随机最陡下降在多类分类中的隐式偏差，揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响，并证明动量可实现小批量收敛，方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
SGD: General Analysis and Improved Rates
Télécom Paris Tech（巴黎电信学院）；University of Edinburgh（爱丁堡大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们提出了一个一般而简单的定理描述任意采样范式下的SGD的收敛性。我们的定理描述了一个无限阵列的SGD变量的收敛性，其中每个变量都与一个特定的概率定律相关联，该概率定律支配用于形成小批量的数据选择规则。这是第一次进行这样的分析，我们的大多数SGD变体在文献中从未明确考虑过。我们的分析依赖于最近推出的预期平滑的概念，并不依赖于一个统一的约束的随机梯度的方差。通过将我们的定理专门化到不同的小批量策略，例如替换抽样和独立抽样，我们推导出步长作为小批量大小的函数的精确表达式。有了这个，我们还可以确定优化总复杂度的小批量大小，并明确表明，随着最小值处评估的随机梯度的方差的增长，最佳小批量大小也会增长。对于零方差，最佳小批量大小为1。此外，我们证明了有见地的步长切换规则，它描述了当一个人应该从一个常数切换到一个逐步减少的步长制度。
2019-05-01 cs.LG math.OC stat.ML
Generalized Balancing Weights via Deep Neural Networks
NTT DATA Mathematical Systems Inc.（NTT数据数学系统公司）
本文提出 Neural Balancing Weights（NBW），通过优化 α-散度的变分表示直接估计密度比，以处理离散与连续混合干预下的多维因果效应估计问题。
2023-09-29 cs.LG stat.ML
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China（中国科学技术大学）
（小批量）随机梯度下降是一种流行的优化方法，已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差，可能会减慢收敛速度。在本文中，我们提出的对偶抽样策略，以减少方差，利用数据集的内部结构。在这种新策略下，小批量中的随机梯度不再是独立的，而是尽可能负相关的，而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题，只需预先计算对偶样本，并在每次迭代中重用结果，具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Direct Acceleration of Stochastic Root-Finding Without Variance Reduction and Regularization
Johns Hopkins University（约翰斯·霍普金斯大学）
针对传统锚点类加速方法因误差累积无法直接用于随机求根的问题，提出双锚点加速机制，在无方差缩减、固定批量规模下实现了对应复杂度，强单调场景下接近下界。
2026-08-13 cs.LG math.OC
A Regret-Variance Trade-Off in Online Learning
Università degli Studi di Milano（米兰大学）；ETH Zürich（苏黎世联邦理工学院）
我们考虑预测与专家的意见，为强凸和有界损失，并调查之间的权衡遗憾和“方差”（即，学习者预测和最佳专家预测的平方差）。对于$K$专家，已知指数加权平均（EWA）算法可以实现$O(\log K)$后悔。我们证明了EWA的一个变体要么实现了消极的遗憾（即，该算法优于最佳专家），或者保证方差和遗憾的$O(\log K)$界限。基于这一结果，我们展示了几个例子，说明如何在学习中利用预测的方差。在在线批量分析中，我们表明，一个大的经验方差允许提前停止在线批量转换，并优于类中最好的预测器的风险。当不考虑提前停止时，我们还恢复了模型选择聚集的最优速率。在在线预测与腐败的损失，我们表明，腐败的遗憾的影响可以补偿一个大的方差。在在线选择性抽样中，我们设计了一个算法，当方差较大时，抽样较少，同时保证期望中的最优后悔界。在在线学习中，我们使用一个类似的术语作为方差，以推导出该设置中的第一个高概率$O(\log K)$遗憾界。最后，我们将我们的结果扩展到在线线性回归的设置。
2022-06-06 cs.LG stat.ML
Learning Compact Features via In-Training Representation Alignment
Wayne State University（韦恩州立大学）
用于监督学习的深度神经网络（DNN）可以被视为特征提取器的流水线（即，最后隐藏层）和线性分类器（即，输出层），其与损失函数上的随机梯度下降（SGD）联合训练（例如，交叉熵）。在每个时期中，使用从训练集采样的小批量来估计损失函数的真实梯度，然后用小批量梯度来更新模型参数。虽然后者提供了前者的无偏估计，但它们受到来自采样小批次的大小和数量的大量方差的影响，导致噪声和跳跃更新。为了在估计真实梯度时稳定这种不期望的方差，我们提出了训练中表示对齐（ITRA），它明确地将两个不同小批次的特征分布与SGD训练过程中的匹配损失对齐。我们还提供了一个严格的分析的理想效果的匹配损失的特征表示学习：（1）提取紧凑的特征表示;（2）通过自适应加权机制减少过度适应小批量;（3）适应多模态。最后，我们对图像和文本分类进行了大规模的实验，以证明其优于强基线的性能。
2022-11-23 cs.LG
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Determinantal Point Processes for Mini-Batch Diversification
Disney Research（迪士尼研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
研究了随机梯度下降（SGD）的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量，我们提出了一个非均匀采样方案的基础上的决定性点过程（DPP）。DPP依赖于数据点之间的相似性度量，并为包含冗余数据的小批量提供低概率，为具有更多样化数据的小批量提供更高概率。这同时平衡了数据，并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD（DM-SGD）。我们发现，定期SGD和有偏见的版本分层抽样出现的特殊情况。此外，DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明，我们的方法在无监督设置中产生更多的可解释性和多样性的功能，并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories, USA（NEC实验室）
SGD是训练CNN广泛采用的方法。从概念上讲，它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中，我们展示了采样偏差，固有图像差和固定周期伪随机采样区分训练中的批次，从而影响它们的学习速度。因此，SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题，我们提出了不一致的随机梯度下降（ISGD），根据批次的学习状态动态地改变训练工作。具体来说，ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足，ISGD解决一个新的子问题，一个追逐逻辑加上一个保守约束，以加速对批处理的训练，同时避免剧烈的参数变化。在各种数据集上的大量实验表明，ISGD比SGD收敛得更快。在训练AlexNet时，ISGD比SGD快21.05%，在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上，使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论，最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是，ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
Adaptive Learning of the Optimal Batch Size of SGD
KAUST（阿卜杜拉国王科技大学）
SGD理论理解的最新进展导致了最佳批量大小的公式，该公式使有效数据通过的数量最小化，即，迭代次数乘以批量大小。然而，这个公式是没有实用价值的，因为它取决于在最佳的随机梯度的方差的知识。在本文中，我们设计了一个实用的SGD方法，能够学习的最佳批量大小自适应整个迭代强凸和光滑的功能。我们的方法可以证明这一点，并且在我们的实验中，合成和真实数据稳健地表现出接近最优的行为;也就是说，它的工作原理就像最优批量是先验已知的一样。此外，我们将我们的方法推广到几个新的批处理策略，在文献中没有考虑过，包括适合分布式实现的采样。
2021-11-19 cs.LG math.OC stat.ML
A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization
Texas A&M University（得克萨斯农工大学）
针对随机双层优化，提出单循环恒定批量一阶罚方法SICO，结合投影与指数移动平均，实现最优样本复杂度，解决开放问题。
2026-10-07 cs.LG math.OC
Variance Suppression: Balanced Training Process in Deep Learning
随机梯度下降使用从随机数据批次计算的求和梯度来更新参数。如果我们得到的数据是不平衡的，这种求和将导致不平衡的训练过程。为了解决这个问题，本文考虑了误差方差和误差均值。算法中还给出了两项折衷的自适应调整方法。由于该算法能有效抑制误差方差，我们将其命名为方差抑制梯度下降算法（VSSGD）。实验结果表明，VSSGD能加快训练过程，有效防止过拟合，提高网络在小样本情况下的学习能力。
2018-11-28 cs.LG stat.ML
On the Optimal Batch Size for Byzantine-Robust Distributed Learning
Nanjing University（南京大学）
研究固定梯度计算总数下拜占庭鲁棒分布式学习的最优批量大小问题，发现最优批量随拜占庭节点比例增加而增大，并提出ByzSGDnm方法缓解大批量导致的精度下降，在蓄意攻击下优于现有方法。
2023-05-23 cs.LG math.OC stat.ML
VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence
本文提出 VAMO，在 SVRG 框架中融合小批量 SGD 与全批量零阶梯度，以低内存实现与维度无关的更快收敛，并在神经网络训练和 LLM 微调中验证优势。
2025-09-29 cs.LG math.OC
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Borealis AI（北极光人工智能）
在随机优化算法中，批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果，但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题，我们建议向梯度中添加协方差噪声。我们证明，我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构，而不是梯度的方差。此外，在凸二次型上，我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明，我们的方法不仅提高了大批量训练中的泛化性能，而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Improving the convergence of SGD through adaptive batch sizes
Air Force Research Laboratory（空军研究实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出根据训练损失自适应调整 SGD 批量大小的方法，在保持 SGD 梯度计算量级的同时达到梯度下降的更新次数量级，并通过损失近似与实验验证其不增加总计算量。
2023-09-27 cs.LG math.OC stat.ML
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
