Batch Ensemble for Variance Dependent Regret in Stochastic Bandits
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
针对在线强化学习中探索与利用的平衡难题,提出仅含批次数量这一个参数、不依赖损失分布特性的批量集成方案,可证明在随机多臂老虎机中达到近最优遗憾,并通过合成基准实验验证了有效性。
2024-09-13 cs.LG stat.ML
LHGEL: Large Heterogeneous Graph Ensemble Learning using Batch View Aggregation
Dept. of Electrical Engineering and Computer Science, Florida Atlantic University(电气工程与计算机科学系,佛罗里达大学)
针对大规模异构图学习的挑战,提出含批量视图聚合、残差注意力、多样性正则化的LHGEL集成框架,理论上缓解梯度消失,在5个真实网络上显著优于SOTA方法。
2025-10-03 cs.LG
Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent
Mila, Montreal, Canada(Mila,加拿大蒙特利尔);Meta Platforms, Menlo Park, California, USA(Meta平台,美国Menlo Park,加利福尼亚州)
针对符号下降和谱下降优化器,推导了非欧几里得梯度噪声尺度,并提出高效方差估计方法,实现自适应批大小,在Llama模型上减少高达66%训练步数。
2026-07-03 cs.AI cs.LG
Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity
本文提出一种基于临界批大小理论的自适应批大小与学习率联合调度策略,通过观测全梯度范数衰减调整参数,以最小化SFO复杂度并加速SGD收敛,实验验证其收敛速度优于现有调度器。
2025-08-07 cs.LG math.OC
The Kernelized Stochastic Batch Perceptron
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);The Hebrew University of Jerusalem(希伯来大学)
我们提出了一种新的方法来训练内核支持向量机,建立学习运行时保证我们的方法,比任何其他已知的内核化SVM优化方法,并表明我们的方法在实践中工作得很好相比,现有的替代品。
2012-06-21 cs.LG
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University(希伯来大学);Rutgers University(罗格斯大学)
随机对偶坐标上升法(SDCA)是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置,在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现,并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
Uncertainty Estimation via Stochastic Batch Normalization
National Research University Higher School of Economics(国立研究型大学高等经济学院);University of Amsterdam(阿姆斯特丹大学);Yandex(扬戴克斯)
在这项工作中,我们研究批量归一化技术,并提出其概率解释。我们提出了一个概率模型,并表明批量归一化极大化了其边缘化对数似然的下限。然后,根据新的概率模型,我们设计了一个算法,该算法在训练和测试过程中的行为一致。然而,推理在计算上变得低效。为了减少内存和计算成本,我们提出了随机批量归一化-一个有效的近似适当的推理过程。该方法为我们提供了一种可扩展的不确定性估计技术。我们在MNIST和CIFAR-10数据集的流行架构(包括深度卷积架构:VGG类和ResNets)上演示了随机批量归一化的性能。
2018-03-20 cs.LG stat.ML
Achieving Stable Training of Reinforcement Learning Agents in Bimodal Environments through Batch Learning
Arca Blanca Ltd.(阿尔卡布兰卡有限公司);Artefact Research Centre(阿特法克特研究中心)
本文针对双峰随机环境下的强化学习挑战,提出一种基于批量更新的表格Q学习方法,并在定价模拟中验证其比传统方法更有效且更具鲁棒性。
2023-07-03 cs.AI cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University(明治大学)
本文理论证明并实验验证,在训练深度神经网络时,使用递增批大小比恒定批大小能更快收敛到驻点,并降低计算成本。
2025-09-24 cs.LG
Batch-Expansion Training: An Efficient Optimization Framework
UC Santa Cruz(加州大学圣克鲁兹分校);Facebook Research(脸书研究院);Microsoft Corporation(微软公司)
我们提出了批量扩展训练(BET),这是一个在逐渐扩展的数据集上运行批量优化器的框架。与随机方法相反,批次不需要重新采样i.i.d.。在每次迭代时,从而使BET在分布式设置中以及当磁盘访问受到约束时更有效地利用资源。此外,BET可以很容易地与大多数批量优化器配对,不需要任何参数调整,并与现有的随机和批量方法相媲美。我们表明,当批量大小与外部迭代次数呈指数增长时,BET实现了强凸目标的最佳$O(1/ε)$数据访问收敛速度。并行和分布式环境下的实验表明,BET比标准的批处理和随机方法更好。
2018-02-23 cs.LG
Stochastic Weight Averaging in Parallel: Large-Batch Training that Generalizes Well
UC Berkeley(加州大学伯克利分校);Apple Inc.(苹果公司)
我们提出了并行随机权重平均(SWAP),这是一种加速DNN训练的算法。我们的算法使用大的小批量来快速计算近似解,然后通过对独立和并行计算的多个模型的权重进行平均来细化。由此产生的模型与那些用小批量训练的模型一样通用,但在更短的时间内生成。我们在计算机视觉数据集CIFAR10、CIFAR100和ImageNet上证明了训练时间的减少和所得模型的良好泛化性能。
2020-01-07 cs.LG stat.ML
Data efficient surrogate modeling for engineering design: Ensemble-free batch mode deep active learning for regression
Amazon(亚马逊);Department of Computer Science Vanderbilt University(计算机科学系 哥伦比亚大学);Department of Statistics Georgia State University(统计学系 佐治亚州立大学)
本文提出了一种无集成的批量模式深度主动学习方法,用于高效构建代理模型,提升工程设计优化中的计算效率。
2025-11-28 cs.AI cs.LG cs.NA
The Impact of Batch Learning in Stochastic Linear Bandits
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);Tilburg University(蒂尔堡大学);University of Jyväskylä(于韦斯屈莱大学)
本文研究批量学习在随机线性bandit中的影响,提供与策略无关的遗憾分析,证明批量学习对遗憾的影响为批量大小的乘法因子,并验证了有限臂与无限臂设置的理论一致性。
2022-09-01 cs.LG
On Constructing Confidence Region for Model Parameters in Stochastic Gradient Descent via Batch Means
Northwestern University(西北大学);Columbia Business School(哥伦比亚商学院)
在本文中,我们研究了一个简单的算法来构建渐近有效的置信区域的模型参数使用批均值方法。其主要思想是消除难以估计/估计成本高的协方差阵。在算法开发过程中,我们建立了基于Polyak-Ruppert平均的随机梯度下降估计的过程级泛函中心极限定理。我们还扩展了批平均值方法,以适应更一般的批量规格。
2020-01-31 cs.LG math.ST stat.ML
Never Go Full Batch (in Stochastic Convex Optimization)
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究了随机凸优化的$\text{full-batch}$优化算法的泛化性能:这些是一阶方法,只访问经验风险的精确梯度(而不是相对于单个数据点的梯度),包括广泛的算法,如梯度下降,镜像下降,以及它们的正则化和/或加速变体。我们提供了一个新的分离结果表明,虽然算法,如随机梯度下降可以概括和优化人口的风险,在$ε$后,$O(1/ε^2)$迭代,全批方法要么需要至少$Ω(1/ε^4)$迭代或表现出依赖于维度的样本复杂性。
2021-06-29 cs.LG math.OC
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
随着复杂数据的大量增加,非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM(乘子的交替方向法)。我们证明了,给定一个适当的小批量大小,小批量随机ADMM无方差减少(VR)技术是收敛的,并达到$O(1/T)$的收敛速度,以获得一个非凸优化的稳定点,其中$T$表示的迭代次数。此外,我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM,并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地,我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后,大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University(理海大学)
针对一般随机梯度下降方法(SGD)的理论复杂度和实际性能的不足,提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下,我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和,这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度,通过随机梯度方差减少技术,并承认一个简单的并行实现与小批量。此外,PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML
Stochastic Normalized Gradient Descent with Momentum for Large-Batch Training
Nanjing University(南京大学)
针对大批次SGD训练泛化精度下降的问题,提出带动量的随机归一化梯度下降方法SNGM,理论上可在相同梯度计算量下用更大批次收敛,实验中同批次规模下测试精度优于MSGD等主流方法。
2024-04-15 cs.LG stat.ML
Fast Variance Reduction Method with Stochastic Batch Size
University of California, Davis(加州大学戴维斯分校)
本文研究了一类具有随机批量的方差缩减方法--在每一步中,算法首先随机选择批量,然后选择一批样本进行方差缩减的随机更新。我们给出了这个框架的复合函数的线性收敛速度,并表明,每次数据访问达到最佳收敛速度的最佳策略是始终选择批量大小为1,这是等价于SAGA算法。然而,由于计算机体系结构中缓存/磁盘IO效应的存在,数据访问次数无法反映运行时间,因为1)随机内存访问比顺序存取慢得多,2)当数据太大而无法放入内存时,磁盘查找需要更长的时间。考虑到这些因素后,选择批量大小的$1$不再是最优的,所以我们提出了一个新的算法称为SAGA++,并展示了如何计算理论上的最优平均批量大小。我们的算法优于SAGA和其他现有的批量和随机求解器在真实数据集上。此外,我们还进行了一个精确的分析,比较不同的更新规则的方差减少方法,表明SAGA++收敛速度比SVRG在理论上。
2018-08-07 cs.LG stat.ML
The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient
School of Statistics, Renmin University of China(中国人民大学统计学院);School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院);School of Computing and Data Science & Institute of Data Science, The University of Hong Kong(香港大学计算与数据科学学院及数据科学研究所)
研究小批量随机最陡下降在多类分类中的隐式偏差,揭示批大小、动量和方差缩减对最大间隔行为和收敛率的影响,并证明动量可实现小批量收敛,方差缩减可恢复全批量隐式偏差。
2026-06-18 cs.LG stat.ML
The Impact of Batch Learning in Stochastic Bandits
Eindhoven University of Technology(埃因霍温理工大学);Jheronimus Academy of Data Science(赫罗尼姆斯数据科学学院);University in Jyväskylä(于韦斯屈莱大学);Tilburg University(蒂尔堡大学)
我们考虑强盗问题的一个特殊情况,即成批强盗。出于推荐系统和电子商务平台的自然限制,我们假设一个学习代理在一定的时间内观察成批的响应。与以前的工作不同,我们考虑了一个更实际的批处理学习的批处理为中心的场景。我们提供了一个政策不可知的遗憾分析,并展示了上界和下界的候选政策的遗憾。我们的主要理论结果表明,批量学习的影响可以用在线行为来衡量。最后,我们通过实证实验证明了理论结果的一致性,并对最佳批量选择进行了反思。
2021-11-03 cs.LG stat.ML
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
迭代硬约束保持(IHT)算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量(全)梯度信息,并且该信息是生成的序列的收敛性分析的关键。然而,当涉及到机器学习和高维统计应用时,这种优势变成了弱点,因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是,在这些应用中,目标函数具有求和结构,可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT(SIHT)算法。相对于以前的作品,其中增加和可变的小批量大小是必要的推导,我们固定的小批量大小根据一个下限,我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性,我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质,我们证明了随机小批量SIHT产生的序列是一个上鞅序列,并以概率1收敛。与以前的工作不同,我们不假设函数是一个限制强凸的。据我们所知,在制度的稀疏优化,这是第一次在文献中,它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University(东邦大学)
本文理论分析了Riemannian随机梯度下降(RSGD),证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$,并降低SFO复杂度,兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
An Efficient Batch Constrained Bayesian Optimization Approach for Analog Circuit Synthesis via Multi-objective Acquisition Ensemble
Fudan University(复旦大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
贝叶斯优化是一种很有前途的模拟电路综合方法。然而,贝叶斯优化框架的顺序性显著限制了其充分利用现实世界计算资源的能力。在本文中,我们提出了一个有效的并行贝叶斯优化算法,通过多目标获取函数Entrial(MACE),以进一步加快优化过程。通过从改进概率(PI)、预期改进(EI)和置信下限(LCB)的Pareto前沿采样查询点,我们结合了最先进的采集函数的优点,实现了无约束优化问题的探索和利用之间的微妙权衡。在此批量设计的基础上,进一步调整了约束优化问题的算法。通过将优化过程分为两个阶段,首先专注于寻找初始可行点,我们设法获得更多关于有效区域的信息,并可以更好地避免在不可行区域周围进行采样。在获得第一个可行点后,我们通过在捕获函数集成中引入一个特殊的惩罚项来偏向可行域。实验结果定量地表明,我们提出的算法可以减少高达74倍的整体模拟时间相比,差分进化(DE)的无约束优化问题时,批量大小为15。对于约束优化问题,我们提出的算法可以加快优化过程的15倍相比,加权期望改进贝叶斯优化(WEIBO)的方法,当批量大小为15。
2021-06-28 cs.LG cs.SY eess.SY
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University(明治大学)
本文理论分析四种批量与学习率调度器,证明同时增大批量和学习率(含预热衰减)可稳定最小化全梯度范数并加速小批量 SGD,数值实验验证了结论。
2025-02-14 cs.LG math.OC
On the Computation and Communication Complexity of Parallel SGD with Dynamic Batch Sizes for Stochastic Non-Convex Optimization
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)公司)
对于基于SGD的分布式随机最优化,计算复杂度和通信复杂度是两个最重要的性能度量,计算复杂度由随机梯度调用的数量方面的收敛速度来测量,通信复杂度由节点间通信循环的数量来测量。SGD在$N$工作者上的经典数据并行实现可以实现其收敛速度的线性加速,但在每批处理时会引起节点间通信轮。我们研究的好处,使用动态增加批量的并行SGD随机非凸优化的特点达到的收敛速度和所需的通信轮数。我们证明了对于P-L条件下的随机非凸优化问题,批规模呈指数增长的经典数据并行SGD算法仅使用$\log(T)$通信轮就能以线性加速比实现已知的最快$O(1/(NT))$收敛.对于一般的随机非凸优化问题,我们提出了一个类似催化剂的算法,该算法仅用$O(\sqrt{NT}\log(\frac{T}{N}))$通信轮就能实现已知最快的$O(1/\sqrt{NT})$收敛。
2019-05-10 cs.LG math.OC
Towards Theoretical Understanding of Large Batch Training in Stochastic Gradient Descent
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
随机梯度下降(SGD)几乎普遍用于训练非凸优化任务。最近,Keskar et al. [2017]提出的一个假设,即大批量方法倾向于收敛到尖锐的极小值,这一假设受到了越来越多的关注。我们从理论上证明了这一假设,通过提供新的性质的SGD在有限时间和渐近制度。特别是,我们给出了一个明确的逃逸时间SGD从局部最小值在有限时间制度,并证明SGD往往收敛到平坦的最小值在渐近制度(虽然可能需要指数时间收敛),无论批量大小。我们还发现,具有较大的学习率与批量大小的比率的SGD倾向于更快地收敛到平坦的最小值,然而,其泛化性能可能比具有较小的学习率与批量大小的比率的SGD差。我们包括数值实验来证实这些理论研究结果。
2018-12-03 cs.LG stat.ML
Iteration and Stochastic First-order Oracle Complexities of Stochastic Gradient Descent using Constant and Decaying Learning Rates
Meiji University(明治大学)
本文研究深度学习非凸优化中批量大小对SGD迭代复杂度和随机一阶预言机复杂度的影响,证明使用临界批量大小可最小化SFO复杂度,并通过数值实验验证了理论估计的准确性。
2024-02-23 cs.LG stat.ML
On the Role of Batch Size in Stochastic Conditional Gradient Methods
研究了随机条件梯度方法中批量大小的作用,揭示了批量大小与步长、噪声的交互关系,提出了适应性策略以提升大规模优化效率。
2026-10-20 cs.LG math.OC stat.ML
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan(密歇根大学)
本文提出了一种通用的小批量优化理论,展示了经典动量对梯度小批量大小的加速比例关系,从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh(爱丁堡大学);Lehigh University(理海大学)
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能,提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤(计算目标函数在起点处的梯度),然后执行大量的随机步骤。这个过程重复几次,最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中,我们不是选择一个函数,而是对$b$函数进行采样,计算它们的梯度,并在此基础上计算方向。我们分析了该方法的复杂性,并表明该方法受益于两个加速效果。首先,我们证明,只要$b$是低于一定的阈值,我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二,我们的迷你并行计划承认一个简单的并行实现,因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
Stochastic Batch Acquisition: A Simple Baseline for Deep Active Learning
University of Oxford(牛津大学);ServiceNow
本文提出一种基于分数或排名的随机批量采样策略来适配单点获取函数,在多种实验设置下能以远低于BatchBALD、BADGE等方法的计算成本取得相当性能,并质疑昂贵批量获取方法的实际价值。
2023-09-19 cs.LG stat.ML
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们解决的问题,使用小批量随机优化的支持向量机。我们发现,相同的数量,谱范数的数据,控制的并行化加速获得原始随机次梯度下降(SGD)和随机双坐标上升(SCDA)的方法,并使用它来获得新的变种的小批量SDCA。我们的保证,这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Critical Bach Size Minimizes Stochastic First-Order Oracle Complexity of Deep Learning Optimizer using Hyperparameters Close to One
Meiji University(明治大学)
实践结果表明,使用小的恒定学习率、接近1的超参数和大批量的深度学习优化器可以找到深度神经网络的模型参数,使损失函数最小化。我们首先展示了理论证据,动量方法(动量)和自适应矩估计(亚当)在这个意义上表现良好,理论性能指标的上限是小的恒定学习率,超参数接近一个,和一个大批量。接下来,我们表明,存在一个批量大小称为临界批量大小最小化随机一阶预言机(SFO)的复杂性,这是随机梯度计算成本,和SFO复杂性增加,一旦批量大小超过临界批量大小。最后,我们提供了支持我们的理论结果的数值结果。也就是说,数值结果表明,亚当使用一个小的恒定的学习率,超参数接近1,和临界批量大小最小化SFO复杂性比动量和随机梯度下降(SGD)具有更快的收敛。
2022-08-21 cs.LG math.OC
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh(爱丁堡大学);Lehigh University(利哈伊大学)
我们提出mS2GD:提出了一种改进半随机梯度下降(S2GD)算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题,该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤(计算目标函数在起点处的梯度),然后执行大量的随机步骤。这个过程重复几次,最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中,我们不是选择一个函数,而是对$b$函数进行采样,计算它们的梯度,并在此基础上计算方向。我们分析了该方法的复杂性,并表明它受益于两个加速效果。首先,我们证明,只要$b$是低于一定的阈值,我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二,我们的迷你并行计划承认一个简单的并行实现,因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Stochastic batch size for adaptive regularization in deep network optimization
Chung-Ang University(中央大学);University of California Los Angeles(加州大学洛杉矶分校)
提出了一种结合自适应正则化的一阶随机优化算法,适用于深度学习框架下的机器学习问题。自适应正则化是由随机过程施加在确定批量大小为每个模型参数在每次优化迭代。随机批量大小由遵循梯度范数分布的每个参数的更新概率确定,考虑到神经网络架构中的局部和全局属性,其中梯度范数的范围可以在层内和跨层变化。我们经验证明我们的算法的有效性,使用图像分类任务的基础上,传统的网络模型应用于常用的基准数据集。定量评估表明,我们的算法优于国家的最先进的优化算法的泛化能力,同时提供更低的敏感性,选择批量大小,往往在优化中发挥关键作用,从而实现更强大的鲁棒性的选择规律性。
2020-04-14 cs.CV cs.LG stat.ML
An Investigation into the Stochasticity of Batch Whitening
Inception Institute of Artificial Intelligence (IIAI)(起源人工智能研究院)
批量归一化(BN)通过在小批量内执行标准化而被广泛用于各种网络架构中。对这个过程的全面理解一直是深度学习社区的中心目标。不同于现有的作品,通常只分析标准化操作,本文研究了更一般的批白化(BW)。我们的工作源于这样的观察,即虽然各种白化变换等效地改善了条件反射,但它们在区分场景和训练生成对抗网络(GANs)中表现出显着不同的行为。我们把这种现象归因于BW引入的随机性。我们定量地研究了不同白化变换的随机性,并表明它与训练过程中的优化行为有很好的相关性。我们还研究了如何随机性与人口统计推断过程中的估计。基于我们的分析,我们提供了一个框架,设计和比较BW算法在不同的情况下。我们提出的BW算法在ImageNet分类上显著提高了残差网络。此外,我们发现BW的随机性可以提高GAN的性能,但牺牲了训练的稳定性。
2020-03-27 cs.CV cs.LG
Relationship between Batch Size and Number of Steps Needed for Nonconvex Optimization of Stochastic Gradient Descent using Armijo Line Search
Meiji University(明治大学)
本文对采用Armijo线搜索的SGD非凸优化进行收敛分析,证明所需步数随批量增大单调递减,SFO复杂度存在最优临界批量,并通过数值实验验证了理论结论。
2024-02-01 cs.LG math.OC
The Impact of the Mini-batch Size on the Variance of Gradients in Stochastic Gradient Descent
Northwestern University(西北大学)
小批量随机梯度下降(SGD)算法广泛用于训练机器学习模型,特别是深度学习模型。我们研究了线性回归和两层线性网络下的SGD动态,通过关注梯度的方差,可以轻松扩展到更深的线性网络,这是第一次研究这种性质。在线性回归的情况下,我们表明,在每次迭代的梯度范数是一个减函数的小批量大小$b$,因此方差的随机梯度估计是一个减函数的$b$。对于具有$L_2$损失的深度神经网络,我们证明梯度的方差是$1/b$中的多项式。结果支持了一个重要的直觉,即较小的批量产生较低的损失函数值,这是研究人员普遍认为的。证明技术展示了随机梯度估计和初始权重之间的关系,这是有用的进一步研究SGD的动力学。我们根据经验为我们在各种数据集和常用的深度网络结构上的结果提供了进一步的见解。
2020-04-27 cs.LG math.OC
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University(明治大学)
数值评估明确表明,对于深度学习优化器,如随机梯度下降、动量和自适应方法,批量大小每增加一倍,训练深度神经网络所需的步骤数就减半,并且在临界批量大小之外存在收益递减的区域。在本文中,我们确定实际的临界批量大小通过使用全局极小的随机一阶预言(SFO)的复杂性的优化。为了证明实际临界批量的存在性,我们设定了SFO复杂度的上、下界,并证明了在极小化上、下界的意义下存在临界批量.该证明意味着,如果SFO复杂性符合下限和上限,则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件,以适应下限和上限,并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
Effectiveness of Tree-based Ensembles for Anomaly Discovery: Insights, Batch and Streaming Active Learning
Washington State University(华盛顿州立大学)
该研究针对异常检测中需人工配置以减少误报的问题,基于树集成方法提出批量与流式主动学习算法及漂移检测方案,通过实验验证其在异常发现数量、多样性及流式场景下的优异性能。
2024-05-14 cs.LG stat.ML
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems
University of Pennsylvania(宾夕法尼亚大学);U.S. Army Research Laboratory(美国陆军研究实验室)
随机梯度下降是解决随机优化问题的经典工具,是现代机器学习和统计学的基石。在这项工作中,我们试图平衡的事实,衰减步长是需要精确的渐近收敛的事实,恒定的步长学习速度更快,在有限的时间内的错误。要做到这一点,而不是固定的小批量和步长在一开始,我们提出了一个策略,允许参数自适应地演变。具体而言,批量大小被设置为分段常数递增序列,其中当满足合适的误差准则时发生递增。此外,步长被选择为产生最快收敛的步长。整体算法,双尺度自适应(TSA)计划,开发凸和非凸随机优化问题。它继承了随机梯度法的精确渐近收敛性。更重要的是,在理论上实现了最佳的误差减少率,以及在计算成本的整体减少。实验上,我们观察到TSA相对于标准SGD获得了有利的折衷,标准SGD固定了小批量和步长,或者简单地允许一个分别增加或减少。
2020-07-09 cs.LG eess.SP
An Empirical Study of Large-Batch Stochastic Gradient Descent with Structured Covariance Noise
University of Toronto(多伦多大学);Vector Institute(向量研究所);Borealis AI(北极光人工智能)
在随机优化算法中,批量大小的选择对优化和推广起着重要的作用。增加所使用的批大小通常会提高优化效果,但会降低泛化能力。为了解决在大批量训练中保持最佳收敛的同时提高泛化能力的问题,我们建议向梯度中添加协方差噪声。我们证明,我们的方法的学习性能更准确地捕获的噪声的协方差矩阵的结构,而不是梯度的方差。此外,在凸二次型上,我们从理论上证明了它可以用噪声矩阵的Frobenius范数来刻画。我们对标准深度学习模型架构和数据集的实证研究表明,我们的方法不仅提高了大批量训练中的泛化性能,而且还以优化性能保持理想且训练持续时间不延长的方式实现了这一点。
2020-02-28 cs.LG stat.ML
Edge of Stochastic Stability: Revisiting the Edge of Stability for SGD
Princeton University(普林斯顿大学);MIT(麻省理工学院)
该研究重新审视了SGD的稳定性边缘,揭示了小批量SGD在边缘随机稳定性下的训练机制及批量尖锐度的稳定性特性。
2025-12-29 cs.LG math.OC stat.ML
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University(密歇根州立大学);NEC Laboratories America(NEC美国实验室)
距离度量学习(DML)是一个重要的任务,已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定(PSD)矩阵的约束。虽然随机梯度下降(SGD)已经成功地应用于提高DML的效率,但是它仍然可能在计算上是昂贵的,因为为了确保解是PSD矩阵,它必须在每次迭代时将更新的距离度量投影到PSD锥上,这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战,即小批量和自适应采样,以有效地减少更新次数(即,投影到PSD锥体上)。我们还开发了混合方法,结合自适应采样的强度与小批量在线学习技术,以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究,以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Compute Efficiency and Serial Runtime Tradeoffs for Stochastic Momentum Methods
Harvard University(哈佛大学);Kempner Institute at Harvard University(哈佛大学凯普纳研究所)
研究随机动量方法(如重球法和加速SGD)在一致线性回归中的批次大小权衡,证明重球法不改善SGD的计算效率前沿但允许更大批次减少串行运行时间,而加速SGD的计算效率与串行运行时间权衡依赖于谱衰减。
2026-06-18 cs.AI cs.LG math.OC
A Single-Loop, Constant-Batch First-Order Penalty Method for Stochastic Bilevel Optimization
Texas A&M University(得克萨斯农工大学)
针对随机双层优化,提出单循环恒定批量一阶罚方法SICO,结合投影与指数移动平均,实现最优样本复杂度,解决开放问题。
2026-10-07 cs.LG math.OC
On Large Batch Training and Sharp Minima: A Fokker-Planck Perspective
研究了随机梯度下降(SGD)算法的动态轨迹的统计性质。我们近似的小批量SGD和动量SGD的随机微分方程(SDES)。我们利用连续公式化的方法和Fokker-Planck方程的理论,对逃逸现象以及与大批量和尖锐极小值的关系进行了新的研究。特别是,我们发现,随机过程的解决方案往往收敛到平坦的最小值,无论批量大小的渐近制度。然而,收敛速度被严格证明取决于批量大小。这些结果与各种数据集和模型进行了经验验证。
2021-12-02 cs.LG math.ST stat.TH
On the Generalization Benefit of Noise in Stochastic Gradient Descent
DeepMind
长期以来,人们一直认为,在深度神经网络中,小批量随机梯度下降比大批量梯度下降更能泛化。然而,最近的论文对这一说法提出了质疑,认为这种效果只是次优超参数调整或批量大小较大时计算预算不足的结果。在本文中,我们对一系列流行的模型进行了精心设计的实验和严格的超参数扫描,这些模型验证了小批量或中等批量的批量在测试集上的表现可以大大超过非常大的批量。即使两个模型都经过相同次数的迭代训练,并且大批量实现较小的训练损失,也会发生这种情况。我们的研究结果证实了随机梯度中的噪声可以增强泛化能力。我们研究了如何最佳的学习率调度的时间预算的增长而变化,我们提供了一个理论帐户,我们的观察的基础上随机微分方程的角度SGD动态。
2020-06-26 cs.LG stat.ML
TASAC: a twin-actor reinforcement learning framework with stochastic policy for batch process control
Indian Institute of Technology Delhi(印度理工学院德里分校);International Institute of Information Technology Hyderabad(印度国际信息技术学院海得拉巴分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
由于其复杂的非线性动力学和批间变异性,间歇过程对过程控制提出了挑战。由于缺乏精确的模型和由此产生的工厂模型不匹配,这些问题变得更难解决先进的基于模型的控制策略。强化学习(RL),其中代理通过直接与环境交互来学习策略,在这种情况下提供了一种潜在的替代方案。具有Actor-Critic架构的RL框架最近变得流行,用于控制状态和动作空间连续的系统。它已被证明,演员和评论家网络的合奏进一步帮助代理学习更好的政策,由于增强的探索,由于同时策略学习。为此,目前的研究提出了一种随机演员-评论家RL算法,称为双演员软演员-评论家(TASAC),通过将演员学习的合奏,在最大熵框架,批处理控制。
2022-05-02 cs.LG cs.SY eess.SY
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology(佐治亚理工学院);NEC Laboratories, USA(NEC实验室)
SGD是训练CNN广泛采用的方法。从概念上讲,它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中,我们展示了采样偏差,固有图像差和固定周期伪随机采样区分训练中的批次,从而影响它们的学习速度。因此,SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题,我们提出了不一致的随机梯度下降(ISGD),根据批次的学习状态动态地改变训练工作。具体来说,ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足,ISGD解决一个新的子问题,一个追逐逻辑加上一个保守约束,以加速对批处理的训练,同时避免剧烈的参数变化。在各种数据集上的大量实验表明,ISGD比SGD收敛得更快。在训练AlexNet时,ISGD比SGD快21.05%,在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上,使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论,最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是,ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架,用于权衡保真度和成本计算随机梯度时,获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文,分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数,我们提出了一种算法,{ \it EE-Grad},依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle,并说明这些结果的情况下,强凸目标。我们还提供了一个简单的数值例子,证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Google Brain(谷歌大脑)
我们考虑机器学习的两个核心问题:我们如何预测最小值是否会推广到测试集,以及为什么随机梯度下降能找到推广良好的最小值?我们的工作是对Zhang et al.(2016)的回应,他表明深度神经网络可以很容易地记住随机标记的训练数据,尽管在相同输入的真实标签上泛化得很好。我们发现,同样的现象发生在小的线性模型。这些观察结果解释了贝叶斯证据,惩罚尖锐的最小值,但不变的模型参数化。我们还证明,当一个持有固定的学习率,有一个最佳的批量大小,最大限度地提高测试集的准确性。我们建议,小的小批量引入的噪声驱动器的参数朝向最小值的证据是大的。将随机梯度下降解释为随机微分方程,我们确定了“噪声尺度”$g = ε(\frac{N}{B} - 1) \approx εN/B$,其中$ε$是学习率,$N$是训练集大小,$B$是批量大小。因此,最佳批量大小与学习速率和训练集$B_{opt} \propto εN$的大小成比例。我们验证这些预测经验。
2018-02-14 cs.AI cs.LG stat.ML
Subsampling is not Magic: Why Large Batch Sizes Work for Differentially Private Stochastic Optimisation
University of Helsinki(赫尔辛基大学)
本研究从理论上解释DP-SGD中大批量大小的有效性:将总梯度方差分解为子采样和噪声两部分,证明在无限迭代极限下噪声方差不变而子采样方差随批量增大而减小,从而降低总方差。
2024-09-19 cs.CR cs.LG stat.ML