Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University（明治大学）
本文理论分析四种批量与学习率调度器，证明同时增大批量和学习率（含预热衰减）可稳定最小化全梯度范数并加速小批量 SGD，数值实验验证了结论。
2025-02-14 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
迭代硬约束保持（IHT）算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量（全）梯度信息，并且该信息是生成的序列的收敛性分析的关键。然而，当涉及到机器学习和高维统计应用时，这种优势变成了弱点，因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是，在这些应用中，目标函数具有求和结构，可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT（SIHT）算法。相对于以前的作品，其中增加和可变的小批量大小是必要的推导，我们固定的小批量大小根据一个下限，我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性，我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质，我们证明了随机小批量SIHT产生的序列是一个上鞅序列，并以概率1收敛。与以前的工作不同，我们不假设函数是一个限制强凸的。据我们所知，在制度的稀疏优化，这是第一次在文献中，它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略，通过观测全梯度范数衰减调整参数，以最小化SFO复杂度并加速SGD收敛，实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
随着复杂数据的大量增加，非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM（乘子的交替方向法）。我们证明了，给定一个适当的小批量大小，小批量随机ADMM无方差减少（VR）技术是收敛的，并达到$O(1/T)$的收敛速度，以获得一个非凸优化的稳定点，其中$T$表示的迭代次数。此外，我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM，并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地，我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后，大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Minimal time control of fed-batch processes with growth functions having several maxima
本文研究了具有复杂非单调动力学的分批补料反应器的最小时间最优控制问题，该问题的典型特征是两个Halfman模型的组合.最佳合成可能会出现几个奇异的弧线。全局最优轨迹结果的基础上提供的数值方法，认为平滑控制输入的近似方法。
2010-10-24 math.OC
On Large-Batch Training for Deep Learning: Generalization Gap and Sharp Minima
Northwestern University（西北大学）；Intel Corporation（英特尔公司）
随机梯度下降（SGD）方法及其变体是许多深度学习任务的首选算法。这些方法以小批量方式操作，其中对训练数据的一部分（例如$32$ - $512$数据点）进行采样以计算对梯度的近似。在实践中已经观察到，当使用较大的批次时，模型的质量会下降，如通过其概括能力所测量的。我们调查的原因，这种泛化下降的大批量政权和目前的数值证据支持的观点，即大批量的方法往往收敛到尖锐的极小值的训练和测试功能-众所周知，尖锐的极小值导致较差的泛化。相比之下，小批量方法始终收敛到平坦的最小值，我们的实验支持一个普遍持有的观点，这是由于梯度估计中的固有噪声。我们讨论了几种策略，试图帮助大批量方法消除这种泛化差距。
2017-02-09 cs.LG math.OC
Primal Method for ERM with Flexible Mini-batching Schemes and Non-convex Losses
The University of Edinburgh（爱丁堡大学）
在这项工作中，我们开发了一个新的算法正则化的经验风险最小化。我们的方法扩展了Shalev-Shwartz [02/2015]的最新技术，该技术能够对SDCA进行双自由分析，以实现任意的mini-square方案。此外，我们的方法是能够更好地利用信息的数据定义的ERM问题。对于凸的损失函数，我们的复杂性结果与QUARTZ的结果相匹配，QUARTZ是一种原始-对偶方法，也允许任意的mini-slave方案。双自由分析的优点在于，只要平均损失是凸的，即使对于非凸损失函数，它也能保证收敛。我们通过实验说明了能够设计任意的迷你的可伸缩方案的效用。
2015-06-07 cs.DS cs.LG math.OC
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University（理海大学）
针对一般随机梯度下降方法（SGD）的理论复杂度和实际性能的不足，提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下，我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和，这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度，通过随机梯度方差减少技术，并承认一个简单的并行实现与小批量。此外，PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Mini-batch stochastic Nesterov's smoothing method for constrained convex stochastic composite optimization
考虑一类约束凸随机组合最优化问题，其目标函数由一个可微凸分支和一个非光滑凸分支之和给出.非光滑分量具有显式的max结构，这可能不容易计算其邻近映射。为了解决这些问题，我们提出了一个小批量随机Nesterov平滑（MSNS）方法。建立了该方法的收敛性和最优迭代复杂度。数值结果表明，所提出的MSNS方法的支持向量机（SVM）模型的效率。
2021-09-11 math.OC
Trajectory of Mini-Batch Momentum: Batch Size Saturation and Convergence in High Dimensions
McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；Google Research（谷歌研究院）
在最小二乘问题上，当样本个数和维数都很大时，我们分析了大批量带动量随机梯度下降（SGD+M）的动力学。在这种情况下，我们表明，SGD+M的动态收敛到一个确定性的离散Volterra方程的维数增加，我们分析。我们确定了一个稳定的测量，隐式条件反射比（ICR），它调节SGD+M的能力，以加速算法。当批量大小超过该ICR时，SGD+M以$\mathcal{O}(1/\sqrtκ)$的速率线性收敛，匹配最佳的全批量动量（特别是执行和全批量一样好，但具有一小部分大小）。相比之下，对于小于ICR的批量，SGD+M的比例类似于单批SGD比例的倍数。我们给出了明确的选择学习率和动量参数的Hessian谱，实现这一性能。
2022-06-02 cs.LG math.OC math.PR
Mini-Batch Stochastic Halpern Algorithm for Nonexpansive Fixed Point Problems
Meiji University（明治大学）
本文提出小批量随机Halpern算法以解决大规模固定点问题中映射计算困难的问题，证明了算法在均方意义上收敛于初始点最近的固定点，并分析了步长设置对收敛速度的影响。
2026-07-14 math.OC
Mini-Batch Stochastic Krasnosel'ski\uı-Mann Algorithm for Nonexpansive Fixed Point Problems
Meiji University（明治大学）
本文提出小批量随机Krasnosel'ski\uı-Mann算法，用于解决大规模非扩张映射固定点问题，通过定义可计算的小批量随机映射作为无偏估计，实现算法收敛性和收敛速率分析。
2026-04-08 math.OC
Mini-Batch Stochastic Conjugate Gradient Algorithms with Minimal Variance
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang Gongshang University Hangzhou College of Commerce（浙江工商大学杭州商学院）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出一种无偏且最小化方差的随机梯度估计，并将其应用于SCGA和CGVR两种随机共轭梯度算法，证明了线性收敛速率，实验表明新算法在岭回归中收敛更快。
2026-10-27 math.OC
Doubly Accelerated Stochastic Variance Reduced Dual Averaging Method for Regularized Empirical Risk Minimization
NTT DATA Mathematical Systems Inc.（NTT DATA 数理系统公司）；The University of Tokyo（东京大学）
在本文中，我们发展了一个新的加速随机梯度法有效地解决凸正则化经验风险最小化问题的小批量设置。小批量的使用正在成为机器学习社区的黄金标准，因为小批量设置稳定了梯度估计，并且可以很容易地利用并行计算。我们提出的方法的核心是我们新的“双加速”技术和方差减少技术的结合。我们从理论上分析了我们提出的方法，并表明，我们的方法大大提高了以前的加速随机方法的小批量效率，基本上只需要大小$\sqrt{n}$小批量实现非强凸和强凸目标的最佳迭代复杂度，其中$n$是训练集的大小。此外，我们表明，即使在非小批量设置，我们的方法实现了最好的已知的收敛速度为非强和强凸的目标。
2017-09-19 cs.LG math.OC stat.ML
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University（西北大学）
小批量随机梯度下降（SGD）算法广泛用于训练机器学习模型，特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态，通过关注梯度的方差，可以轻松扩展到更深的线性网络，这是第一次研究这种性质。在线性回归的情况下，我们表明，在每次迭代的梯度范数是一个减函数的小批量大小$b$，因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络，我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉，即较小的批量产生较低的损失函数值，这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系，这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
A view of mini-batch SGD via generating functions: conditions of convergence, phase transitions, benefit from negative momenta
Technology Innovation Institute（技术创新研究院）；CMAP, Ecole Polytechnique（巴黎综合理工学院CMAP）；Skoltech（斯科尔科沃科技学院）；Yandex Research（Yandex研究院）
带动量的小批量SGD是学习大型预测模型的基本算法。在本文中，我们开发了一个新的分析框架，分析噪声平均性能的小批量SGD线性模型在恒定的学习率，动量和批量大小。我们的主要思想是考虑一个特殊的家庭的“频谱可表达”近似模型参数的二阶矩的动态。这允许获得损失值序列的生成函数的显式表达式。通过对生成函数的分析，我们发现：1）SGD动力学根据问题的谱分布表现出几种收敛和发散区域; 2）在幂律谱分布的情况下，这些收敛区域具有显式的稳定性条件和显式的损失渐近性; 3）在负动量下可以达到最优收敛速度.我们验证了我们的理论预测与MNIST，CIFAR 10和合成问题的广泛实验，并找到了一个很好的定量协议。
2023-03-09 cs.LG math.OC stat.ML
Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Meta；Tencent（腾讯）
Adam是训练深度神经网络的最有影响力的自适应随机算法之一，通过几个简单的反例指出，即使在简单的凸设置中，Adam也是发散的。为了提高Adam型算法的收敛性，人们进行了许多尝试，如降低自适应学习率、采用大批量、引入时间去相关技术、寻找类似的代理\textit{etc.}等。与现有方法相比，我们引入了一个易于检验的充分条件，该条件仅依赖于基学习率和历史二阶矩的组合参数，从而保证了广义Adam算法求解大规模非凸随机优化问题的全局收敛性.这个观察，加上这个充分条件，对亚当的分歧给出了更深层次的解释。另一方面，在实践中，mini-Adam和distributed-Adam在没有任何理论保证的情况下被广泛使用。进一步分析了分布式系统中批量大小和节点数对Adam收敛性的影响，从理论上证明了采用较大的小批量大小或较大的节点数可以线性加速小批量和分布式Adam的收敛，最后，我们应用通用的亚当和迷你-batch Adam的充分条件来解决反例，并在各种真实世界的数据集上训练几个神经网络。实验结果与理论分析完全一致。
2022-08-08 cs.DC cs.LG math.OC
The Effect of Mini-Batch Noise on the Implicit Bias of Adam
Princeton University（普林斯顿大学）
本文研究了小批量噪声如何影响Adam优化器中记忆的隐式偏差，发现大批次时高β₂会降低泛化能力，而小批次时需调整β₁和β₂以提升验证精度。
2026-05-07 cs.AI cs.LG math.OC
Optimal mini-batch and step sizes for SAGA
LTCI, Télécom ParisTech, Université Paris-Saclay（LTCI，巴黎高等电信学院，巴黎萨克雷大学）；IMAG, Univ Montpellier, CNRS（IMAG，蒙彼利埃大学，法国国家科学研究中心）
最近，它已被证明的步长的家庭方差约化梯度法称为JacSketch方法依赖于预期的平滑常数。特别地，如果可以先验地计算该期望平滑度常数，则可以安全地设置大得多的步长，这将导致快得多的收敛速度。我们填补了这一空白，并提供了简单的封闭形式表达式的预期平滑常数和仔细的数值实验验证这些界限。使用这些界限，因为SAGA算法是这个JacSketch家庭的一部分，我们建议一个新的标准做法，为SAGA设置的步长和小批量大小是有竞争力的数值网格搜索。此外，我们现在可以证明，SAGA算法的总复杂度在小批量大小中线性下降到预定义的值：最佳小批量大小。这是一个罕见的结果，在随机方差减少文献中，只有以前的喀秋莎算法。最后，我们猜想，这是许多其他的随机方差减少的方法的情况下，我们的边界和分析的预期平滑常数是关键，以延长这些结果。
2019-09-18 cs.LG math.OC stat.ML
Mini-batch Stochastic Approximation Methods for Nonconvex Stochastic Composite Optimization
考虑一类约束随机组合最优化问题，其目标函数由一个可微（可能非凸）分量和一个不可微（但凸）分量之和给出.为了解决这些问题，我们提出了一种随机随机投影梯度（RSPG）算法，在该算法中，适当的小批量的样本被采取在每次迭代取决于随机样本的总预算允许。RSPG算法还采用通用距离函数以允许利用可行域的几何形状。该算法的复杂性建立在一个统一的设置，这表明凸随机规划的算法的近最优的复杂性。一个后优化阶段也提出了显着减少的方差的解决方案返回的算法。此外，在RSPG算法的基础上，还讨论了一种仅利用随机零阶信息的无随机梯度算法。文中还提供了一些初步的数值结果。
2013-09-05 math.OC
Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients
University of Michigan（密歇根大学）
本文提出结合部分二阶信息的方差缩减随机牛顿算法Mb-SVRN，证明当数据量足够大时，该方法能在很宽的小批量范围内实现独立于批量大小的快速线性收敛，显著提升了可扩展性与鲁棒性。
2024-04-23 cs.LG math.OC stat.ML
A Mini-Batch Counterexample to Last-Iterate Convergence in Definable Optimization
本文针对带可定义势函数的小批量随机近似的收敛猜想，构造出迭代不收敛的小批量反例，明确其聚点集为[-1,1]，且构造过程使用了Chat-GPT 5.6和Gemini Pro 3.1。
2026-08-20 math.OC
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
该研究重新审视了SGD的稳定性边缘，揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
An Asynchronous Mini-Batch Algorithm for Regularized Stochastic Optimization
Department of Automatic Control, School of Electrical Engineering and ACCESS Linnaeus Center, Royal Institute of Technology (KTH)（皇家理工学院电气工程学院自动控制系及ACCESS林奈中心）
本文提出一种异步小批量算法，用于解决具有平滑损失函数的正则化随机优化问题，通过合理选择步长值，实现O(1/√T)和O(1/T)的收敛速度，理论结果在分布式计算环境中得到验证。
2015-05-18 cs.SY eess.SY math.OC
