Influence-Based Mini-Batching for Graph Neural Networks
Technical University of Munich(慕尼黑工业大学);Google Research(谷歌研究院)
将图神经网络用于大型图是具有挑战性的,因为没有明确的方法来构建小批量。为了解决这个问题,以前的方法依赖于采样或图聚类。虽然这些方法通常会导致良好的训练收敛,但由于昂贵的随机数据访问,它们会引入显著的开销,并且在推理过程中表现不佳。在这项工作中,我们专注于推理过程中的模型行为。我们通过最大化节点对输出的影响得分来理论上建模批量构造。当我们不知道训练模型时,这种公式会导致输出的最佳近似。我们称这种方法为基于影响的最小化方法(IBMB)。与之前达到类似精度的方法相比,IBMB将推理速度提高了130倍。值得注意的是,通过自适应优化和正确的训练计划,IBMB还可以大大加快训练,这要归功于预先计算的批处理和连续的内存访问。与以前的方法相比,这导致每个epoch的训练速度快18倍,每个运行时的收敛速度快17倍。
2022-12-18 cs.AI cs.LG cs.SI
Stochastic Batch Augmentation with An Effective Distilled Dynamic Soft Label Regularizer
Xi’an Jiaotong University(西安交通大学);Northwestern Polytechnical University(西北工业大学)
数据增强已被广泛用于训练深度神经网络以改善泛化,无论是在原始空间(例如,图像空间)或表示空间。虽然是成功的,但在训练中很大程度上忽略了合成数据与原始数据之间的联系,而没有考虑训练中合成样本围绕原始样本的分布信息。因此,网络的行为并没有为此进行优化。然而,这种行为对于泛化至关重要,即使在对抗环境中,对于深度学习系统的安全性也是如此。在这项工作中,我们提出了一个框架,称为随机批量增强(SBA)来解决这些问题。SBA随机决定是否在由批调度器控制的迭代中进行扩增,并且其中通过将邻近分布中的相似性与原始样本相结合来引入“蒸馏"动态软标签正则化。所提出的正则化通过原始数据和虚拟数据的输出软最大值分布之间的KL-发散提供直接监督。我们在CIFAR-10、CIFAR-100和ImageNet上的实验表明,SBA可以提高神经网络的泛化能力,加快网络训练的收敛速度。
2020-06-27 cs.LG stat.ML
Concurrent Adversarial Learning for Large-Batch Training
National University of Singapore(新加坡国立大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Hong Kong University of Science and Technology(香港科技大学)
在使用大量GPU/TPU处理器训练神经网络时,大批量训练已成为一种常用技术。随着批量大小的增加,随机优化器往往收敛到尖锐的局部极小值,导致测试性能下降。目前的方法通常使用广泛的数据增强来增加批量大小,但我们发现数据增强的性能增益随着批量大小的增加而降低,并且数据增强在某个点之后变得不足。在本文中,我们建议使用对抗学习来增加大批量训练中的批量大小。尽管对抗学习是平滑决策表面和偏向平坦区域的自然选择,但它尚未成功应用于大批量训练,因为它需要在每一步至少进行两次连续的梯度计算,即使使用大量处理器,与普通训练相比,这至少会使运行时间增加一倍。为了克服这个问题,我们提出了一种新的并发对抗学习(ConAdv)方法,该方法通过利用静态参数来解耦对抗学习中的顺序梯度计算。实验结果表明,ConAdv可以成功地增加ImageNet上ResNet-50训练的批量大小,同时保持高精度。特别是,我们表明ConAdv在ImageNet ResNet-50训练中可以达到75.3\%的top-1准确率,批量大小为96 K,当将ConAdv与数据增强相结合时,准确率可以进一步提高到76.2\%。这是第一个成功将ResNet-50训练批量规模扩展到96 K的工作。
2022-01-23 cs.AI cs.LG
On gradient descent training under data augmentation with on-line noisy copies
Mie University(三重大学)
在机器学习中,数据增强(DA)是一种提高泛化性能的技术。在本文中,我们主要考虑了梯度下降的线性回归在DA下使用的数据集的噪声副本,其中噪声被注入到输入。我们分析了随机噪声副本新生成并在每个时期使用的情况;即,使用在线噪声拷贝的情况。因此,它被视为对通过DA方式将噪声注入到训练过程中的方法的分析;即,在线版本的DA,我们推导出了三种情况下的训练过程的平均行为,即平方误差和下的全批量训练,均方误差下的全批量和小批量训练。我们证明了,在所有情况下,用在线副本训练DA近似等于岭正则化,其正则化参数对应于注入噪声的方差。另一方面,我们证明了学习率在平方误差和下的全批和均方误差下的小批中乘以噪声拷贝数加1;即,DA与在线副本产生明显的加速训练。表观加速度和正则化效应分别来自原始数据和副本数据中的噪声。这些结果在数值实验中得到了证实。在数值实验中,我们发现我们的结果在欠参数化情况下可以近似地应用于通常的离线DA,而在过参数化情况下则不能。此外,我们还对带有离线噪声拷贝的DA下神经网络的训练过程进行了实验研究,发现我们对线性回归的分析可以应用于神经网络。
2022-06-16 cs.LG stat.ML
Mini-Batch Optimization of Contrastive Loss
KRAFTON(魁匠团);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Seoul National University(首尔国立大学);Yonsei University(延世大学)
本文研究对比学习的小批量优化理论,证明其与全批量优化等价的条件,并提出基于谱聚类识别高损失小批量以加速 SGD 的方法。
2023-07-12 cs.LG
Submodular Mini-Batch Training in Generative Moment Matching Networks
这篇文章被撤回,因为(1)它是在没有共同作者知情或同意的情况下上传的,(2)有剽窃的指控。
2017-08-03 cs.LG
Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
University of Michigan(密歇根大学)
本文提出了一种通用的小批量优化理论,展示了经典动量对梯度小批量大小的加速比例关系,从而实现小批量计算的完美并行化。
2026-05-18 cs.LG
Improving memory banks for unsupervised learning with large mini-batch, consistency and hard negative mining
Samsung AI Cambridge(三星AI剑桥)
通过基于实例的判别的无监督学习的一个重要组成部分是用于存储数据集中每个训练样本的特征表示的存储体。在本文中,我们介绍了3个改进的香草存储体为基础的配方,带来了巨大的准确性增益:(a)大的小批量:我们拉多个扩增的每个样本在同一批,并表明,这导致更好的模型和增强的存储体更新。(b)一致性:我们强制通过相同样本的不同扩增获得的logit接近,而不试图强制如先前方法所提出的关于负样本的区分。(c)硬负面挖矿:由于实例鉴别对于在视觉上太相似的样本没有意义,我们设计了一种新的最近邻方法,用于改进存储体,该方法逐渐合并先前由于实例级分类丢失而被迫分开的极其相似的数据样本。总的来说,我们的方法大大提高了香草内存银行为基础的实例歧视和优于所有现有的方法,可见和不可见的测试类别与余弦相似性。
2021-02-08 cs.CV cs.LG
Meta-Learning Mini-Batch Risk Functionals
Carnegie Mellon University(卡内基梅隆大学);DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室)
Supervised learning typically optimizes the expected value risk functional of the loss, but in many cases, we want to optimize for other risk functionals. In full-batch gradient descent , this is done by taking gradients of a risk functional of interest, such as the Conditional Value at Risk (CVaR) which ignores some quantile of extreme losses. However, deep learning must almost always use mini-batch gradient descent , and lack of unbiased estimators of various risk functionals make the right optimization procedure unclear. In this work, we introduce a meta-learning-based method of learning an…
2023-01-27 cs.LG
Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC(丰田技术研究所(芝加哥));Microsoft Research(微软研究院)
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析,这表明如何标准的梯度方法有时可能不足以获得显着的加速,并提出了一种新的加速梯度算法,它处理这个不足之处,享有一致的优越性保证,并在实践中工作良好。
2011-06-22 cs.LG
Training trajectories, mini-batch losses and the curious role of the learning rate
Google Research(谷歌研究院)
随机梯度下降在深度学习的几乎所有应用中都起着基础性的作用。然而,它收敛到全局最小值的能力仍然笼罩在神秘之中。在本文中,我们建议研究的损失函数的行为固定的小批量沿SGD轨迹。我们表明,损失函数在一个固定的批次似乎是显着的凸状。特别是对于ResNet,任何固定小批量的损失都可以通过二次函数精确建模,并且可以在足够大的学习率的梯度下降的一个步骤中达到非常低的损失值。我们提出了一个简单的模型,可以分析随机小批量和全批量的梯度之间的关系。我们的分析,使我们能够发现的等价性之间的聚合和特定的学习率调度。特别是,对于指数移动平均(EMA)和随机权重平均,我们表明我们提出的模型与ImageNet上观察到的训练轨迹相匹配。我们的理论模型预测,一个更简单的平均技术,平均只有两个点的许多步骤分开,显着提高精度相比,基线。我们使用ResNet架构在ImageNet和其他数据集上验证了我们的发现。
2023-02-01 cs.LG
Increasing Batch Size Improves Convergence of Stochastic Gradient Descent with Momentum
Meiji University(明治大学)
本文理论证明并实验验证,在训练深度神经网络时,使用递增批大小比恒定批大小能更快收敛到驻点,并降低计算成本。
2025-09-24 cs.LG
Disparity Between Batches as a Signal for Early Stopping
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
我们提出了一个用于评估使用小批量梯度下降训练的深度神经网络泛化能力的度量。我们的度量,称为梯度视差,是从训练集中提取的两个小批次的梯度向量之间的$\ell_2$范数距离。它是从一个给定的小批量的分类误差之间的差异的概率上限,当网络是在这个小批量训练,当网络是在从同一数据集采样的另一个小批量的点训练。我们的经验表明,梯度视差是一个非常有前途的早期停止标准(i)当数据有限时,因为它使用所有样本进行训练;(ii)当可用数据具有噪声标签时,因为它比验证数据更好地发出过拟合信号。此外,我们表明,在广泛的实验设置,梯度差距是密切相关的训练集和测试集之间的泛化误差,它也是非常翔实的标签噪声的水平。
2021-07-14 cs.LG
Scaling Laws for Dynamic Mini-Batch SGD in Sketched Linear Regression
The University of Sydney(悉尼大学)
本文通过分析单次批量SGD、有放回多次批量SGD和无放回多次批量SGD在幂律协方差谱下的风险分解,推导了草图线性回归中小批量大小的缩放定律,揭示了小批量对优化偏差、方差和波动项的影响。
2026-08-18 cs.LG
Mini-Batch Consistent Slot Set Encoder for Scalable Set Encoding
KAIST(韩国科学技术院);AITRICS
大多数现有的集合编码算法都是在隐含的假设下操作的,即所有的集合元素都是可访问的,并且在训练和推理期间有足够的计算和内存资源将集合加载到内存中。然而,当集合太大以至于不可能将所有集合元素加载到内存中时,或者当数据到达流时,这两个假设都失败了。为了解决大规模集合编码中的实际挑战,置换不变性和等变性的一般集合函数约束是不够的。我们引入了一个新的属性称为小批量一致性(MBC),需要大规模的小批量集编码。此外,我们提出了一个可扩展的和有效的注意力为基础的集编码机制,是服从迷你批处理的集,并能够更新集表示数据到达。所提出的方法坚持所需的对称性的不变性和等变性,以及保持MBC的任何分区的输入集。我们进行了广泛的实验,并表明我们的方法是计算效率高,结果在丰富的集合编码表示集结构化数据。
2021-10-26 cs.LG
Efficient Distance Metric Learning by Adaptive Sampling and Mini-Batch Stochastic Gradient Descent (SGD)
Michigan State University(密歇根州立大学);NEC Laboratories America(NEC美国实验室)
距离度量学习(DML)是一个重要的任务,已发现在许多领域的应用。DML的高计算成本来自于要确定的大量变量以及距离度量必须是半正定(PSD)矩阵的约束。虽然随机梯度下降(SGD)已经成功地应用于提高DML的效率,但是它仍然可能在计算上是昂贵的,因为为了确保解是PSD矩阵,它必须在每次迭代时将更新的距离度量投影到PSD锥上,这是昂贵的操作。我们通过在SGD中开发两种策略来应对这一挑战,即小批量和自适应采样,以有效地减少更新次数(即,投影到PSD锥体上)。我们还开发了混合方法,结合自适应采样的强度与小批量在线学习技术,以进一步提高SGD的DML的计算效率。我们证明了自适应采样和基于小批量的DML方法的理论保证。我们还进行了广泛的实证研究,以验证所提出的算法的有效性DML。
2013-04-03 cs.LG
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University(韩国亚洲大学)
研究SGD训练中主导子空间与损失、锐度的关系,通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项,实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
Online Dynamic Batching with Formal Guarantees for LLM Training
Tencent(腾讯)
提出在线动态批处理(ODB)系统,在数据加载器侧将批构建延迟到样本真实成本可观测时,解决离线批采样中预处理成本不可见问题,实现1.58-4.43x吞吐量提升,并提供无死锁有界终止的形式化保证。
2026-06-19 cs.DC cs.LG
SpliceMix: A Cross-scale and Semantic Blending Augmentation Strategy for Multi-label Image Classification
Nanjing University of Science and Technology(南京理工大学);JD Explore Academy(京东探索研究院);Anhui University(安徽大学);Yunnan University(云南大学)
本文提出SpliceMix多标签图像分类数据增强策略,通过网格拼接下采样图像混合语义缓解共现偏差,并与原始小批量拼接实现跨尺度交互,以简单高效的方式显著提升基线及现有方法的性能。
2023-11-26 cs.CV cs.LG
MBGDT:Robust Mini-Batch Gradient Descent
Northwestern University(西北大学)
在高维情况下,大多数机器学习方法即使存在少量离群值,其性能也是脆弱的。为了解决这个问题,我们希望引入一种新的方法与基础学习,如贝叶斯回归或随机梯度下降,以解决问题的脆弱性模型。因为小批量梯度下降允许比批量梯度下降更鲁棒的收敛,所以我们使用小批量梯度下降的方法,称为带有修剪的小批量梯度下降(MBGDT)。当我们将我们的方法应用于设计的数据集时,我们的方法显示出最先进的性能,并且比几个基线具有更大的鲁棒性。
2022-06-14 cs.AI cs.LG
Nested Mini-Batch K-Means
EPFL(洛桑联邦理工学院)
提出了一种新的算法,该算法通过使用Elkan(2003)的距离定界方法来加速Sculley(2010)的小批量k-means算法。我们认为,当将距离界限到一个小批量算法,已经使用的数据应优先重用。为此,我们建议使用嵌套的小批处理,从而在迭代t的小批处理中的数据在迭代t+1时自动重用。使用嵌套小批处理存在两个困难。首先,不平衡的数据使用可能会导致估计偏差,我们通过确保每个数据样本只对质心贡献一次来解决这个问题。第二个是在选择小批量的大小,我们解决的平衡过早微调的质心冗余引起的慢下来。实验表明,所得到的nmbatch算法是非常有效的,往往比标准的minibatch算法早100倍到达经验最小值的1%以内。
2016-09-12 cs.LG stat.ML
A Resizable Mini-batch Gradient Descent based on a Multi-Armed Bandit
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
为小批量梯度下降确定适当的批量大小总是很耗时,因为它通常依赖于网格搜索。本文考虑了一种可调整大小的小批量梯度下降(RMGD)算法的基础上,多臂强盗在网格搜索中通过选择一个合适的批量大小在每个时期的概率定义为它以前的成功/失败的函数,以实现最佳性能。这种可能性鼓励探索不同的批量大小,然后再利用批量大小的成功历史。在每个时期,RMGD从其概率分布中采样批量大小,然后使用所选择的批量大小进行小批量梯度下降。在获得每个时期的验证损失后,更新概率分布以包含采样批量的有效性。RMGD本质上帮助学习过程探索批量大小的可能域并利用成功的批量大小。实验结果表明,RMGD实现的性能优于最佳性能的单批大小。此外,很明显,它在比网格搜索更短的时间内达到了这一性能。令人惊讶的是,RMGD实现了比网格搜索更好的性能。
2018-02-27 cs.LG stat.ML
Improving Mini-batch Optimal Transport via Partial Transportation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
小批量最优传输(Mini-batch optimal transport,m-OT)是近年来被广泛应用于解决大规模应用中OT存储问题的一种方法。尽管它们的实用性,m-OT遭受误指定的映射,即,映射是最佳的小批量水平,但部分错误的比较与最佳运输计划之间的原始措施。出于错误指定的映射问题,我们提出了一种新的小批量方法,通过使用部分最优运输(POT)之间的小批量经验措施,我们称之为小批量部分最优运输(m-POT)。利用部分运输的洞察力,我们解释了m-OT中错误指定映射的来源,并激发了为什么通过POT限制小批量之间的运输质量可以减轻不正确的映射。最后,我们对各种应用程序进行了广泛的实验,如深度域自适应,部分域自适应,深度生成模型,颜色转移和梯度流,以证明m-POT与当前minibatch方法相比具有良好的性能。
2022-06-07 cs.LG stat.ML
Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond Examples
Inria(法国国家信息与自动化研究所);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(IRISA研究所);Institute of Advanced Research on Artificial Intelligence (IARAI)(人工智能高级研究所(IARAI))
针对现有mixup数据增强方法生成样本少、仅成对插值的局限,提出在嵌入空间对整个小批量凸包采样的MultiMix及序列数据适配的Dense MultiMix,以极低代价大幅增加损失项数,在四个基准上取得显著提升。
2023-11-09 cs.CV cs.LG
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University(利哈伊大学);Industrial and Systems Engineering(工业与系统工程(注:此处为系别,按规则不提取))
在本文中,我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法,但是,我们允许非均匀选择的“对偶”坐标SDCA。此外,概率可以随时间变化,使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程,通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
Determinantal Point Processes for Mini-Batch Diversification
Disney Research(迪士尼研究院);KTH Royal Institute of Technology(瑞典皇家理工学院)
研究了随机梯度下降(SGD)的小批量多样化方案。传统的SGD依赖于均匀采样数据点来形成一个小批量,我们提出了一个非均匀采样方案的基础上的决定性点过程(DPP)。DPP依赖于数据点之间的相似性度量,并为包含冗余数据的小批量提供低概率,为具有更多样化数据的小批量提供更高概率。这同时平衡了数据,并导致具有较低方差的随机梯度。我们将这种方法称为多样化小批量SGD(DM-SGD)。我们发现,定期SGD和有偏见的版本分层抽样出现的特殊情况。此外,DM-SGD将分层抽样推广到不存在离散特征以将数据分组的情况。我们的实验表明,我们的方法在无监督设置中产生更多的可解释性和多样性的功能,并在监督设置中获得更好的分类精度。
2017-08-23 cs.LG stat.ML
Mini-Batch Primal and Dual Methods for SVMs
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们解决的问题,使用小批量随机优化的支持向量机。我们发现,相同的数量,谱范数的数据,控制的并行化加速获得原始随机次梯度下降(SGD)和随机双坐标上升(SCDA)的方法,并使用它来获得新的变种的小批量SDCA。我们的保证,这两种方法表示在原来的非光滑原始问题的基础上的铰链损失。
2013-03-10 cs.LG math.OC
Distributed Mini-Batch SDCA
Lehigh University(理海大学);University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化(即SVM和SVM型目标)。我们的分析允许灵活的采样方案,包括数据分布在机器上的情况,并结合了对损失平滑度和/或数据传播(通过频谱范数测量)的依赖。
2015-07-29 cs.LG math.OC
Accelerated Mini-Batch Stochastic Dual Coordinate Ascent
Hebrew University(希伯来大学);Rutgers University(罗格斯大学)
随机对偶坐标上升法(SDCA)是解决机器学习中正则化损失最小化问题的一种有效方法。本文考虑了SDCA的扩展下的小批量设置,在实践中经常使用。我们的主要贡献是介绍了一个加速的小批量版本的SDCA和证明了这种方法的快速收敛速度。我们讨论了我们的方法在一个并行计算系统的实现,并比较结果的香草随机双坐标上升和加速确定性梯度下降方法的\cite{nesterov2007gradient}。
2013-05-12 cs.LG stat.ML
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架,用于权衡保真度和成本计算随机梯度时,获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文,分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数,我们提出了一种算法,{ \it EE-Grad},依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle,并说明这些结果的情况下,强凸目标。我们还提供了一个简单的数值例子,证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
Increasing Both Batch Size and Learning Rate Accelerates Stochastic Gradient Descent
Meiji University(明治大学)
本文理论分析四种批量与学习率调度器,证明同时增大批量和学习率(含预热衰减)可稳定最小化全梯度范数并加速小批量 SGD,数值实验验证了结论。
2025-02-14 cs.LG math.OC
Convergence of the mini-batch SIHT algorithm
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
迭代硬约束保持(IHT)算法是求解稀疏优化问题的一种有效的确定性算法。IHT算法受益于每个点处的批量(全)梯度信息,并且该信息是生成的序列的收敛性分析的关键。然而,当涉及到机器学习和高维统计应用时,这种优势变成了弱点,因为在每次迭代时计算批量梯度在计算上是昂贵的或不切实际的。幸运的是,在这些应用中,目标函数具有求和结构,可以利用该求和结构通过随机小批量梯度来近似批量梯度。本文研究了求解稀疏优化问题的小批量随机IHT(SIHT)算法。相对于以前的作品,其中增加和可变的小批量大小是必要的推导,我们固定的小批量大小根据一个下限,我们得出并显示我们的工作。为了证明目标价值函数的随机收敛性,我们首先建立了一个临界稀疏随机梯度下降性质。利用这个随机梯度下降性质,我们证明了随机小批量SIHT产生的序列是一个上鞅序列,并以概率1收敛。与以前的工作不同,我们不假设函数是一个限制强凸的。据我们所知,在制度的稀疏优化,这是第一次在文献中,它是通过固定的小批量大小的所有步骤的随机函数值的序列收敛概率为1。
2022-09-29 cs.LG math.OC
Don't Use Large Mini-Batches, Use Local SGD
EPFL(洛桑联邦理工学院);IIT Kanpur(印度理工学院坎普尔分校)
小批量随机梯度方法(SGD)是深度神经网络分布式训练的最新技术。近年来,小批量的急剧增加导致了关键的效率和可扩展性的提高。然而,进展面临着一个主要的障碍,因为大批量训练的模型通常不能很好地泛化,即它们在新数据上没有表现出良好的准确性。作为一种补救措施,我们提出了一个\emph{post-local} SGD,并表明它显着提高了泛化性能相比,大批量训练标准基准,同时享受相同的效率(时间准确性)和可扩展性。我们进一步提供了一个广泛的研究与主机的\emph{local SGD}变体的通信效率与性能的权衡。
2020-02-17 cs.LG stat.ML
BatchSampler: Sampling Mini-Batches for Contrastive Learning in Vision, Language, and Graphs
Tsinghua University(清华大学);Yale University(耶鲁大学)
本文提出通用小批量采样方法 BatchSampler,通过邻近图与重启随机游走构造含真实困难负样本的批次,持续提升视觉、语言和图对比模型性能。
2023-06-06 cs.CL cs.CV cs.LG
An Investigation into Mini-Batch Rule Learning
Institute for Application-oriented Knowledge Processing (FAW)(应用型知识处理研究所)
我们研究是否有可能学习规则集有效地在一个网络结构中使用一个单一的隐藏层迭代细化的小批量的例子。第一个基本版本在除了一个数据集之外的所有数据集上都显示出可接受的性能,尽管它还没有达到Ripper的性能水平。
2021-06-18 cs.AI cs.LG
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology(华中科技大学)
Takagi-Sugeno-Kang(TSK)模糊系统是灵活且可解释的机器学习模型;然而,当数据大小较大和/或数据维度较高时,它们可能不容易被优化。本文提出了一种基于小批量梯度下降(MBGD)的算法,有效地训练TSK模糊分类器。它集成了两种新技术:1)均匀正则化(UR),它迫使规则对输出具有相似的平均贡献,从而提高TSK分类器的泛化性能; 2)批量归一化(BN),它将BN从深度神经网络扩展到TSK模糊分类器,以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明,UR和BN分别是有效的,将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
On Transportation of Mini-batches: A Hierarchical Approach
The University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
小批量最优运输(m-OT)已成功地用于实际应用中,涉及概率测度与一个非常高的支持。m-OT解决了几个较小的最优运输问题,然后返回其成本和运输计划的平均值。尽管m-OT具有可扩展性优势,但它没有考虑小批量之间的关系,这导致了不期望的估计。此外,m-OT不近似于概率测度之间的适当度量,因为不满足恒等性质。为了解决这些问题,我们提出了一种新的小批量计划的最佳运输,命名为小批量最佳运输(BoMb-OT),找到小批量之间的最佳耦合,它可以被看作是一个近似的空间上的概率测度的一个定义良好的距离。此外,我们表明,m-OT是一个限制的熵正则化版本的BoMb-OT时,正则化参数趋于无穷大。最后,我们对各种应用进行了实验,包括深度生成模型,深度域自适应,近似贝叶斯计算,颜色转移和梯度流,以表明BoMb-OT可以广泛应用,并在各种应用中表现良好。
2022-06-07 cs.LG stat.ML
Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
本文为 mini-batch GD 训练建立了匹配的泛化误差上下界,证明任意非自适应批次选择规则下 SGD 经典上界依然成立,表明所有 mini-batch 时间表都能最优泛化。
2023-10-23 cs.LG stat.ML
Improve SGD Training via Aligning Mini-batches
Computer Science, Wayne State University(韦恩州立大学计算机科学(系))
用于监督学习的深度神经网络(DNN)可以被视为特征提取器(即最后隐藏层)和线性分类器(即输出层)的流水线,其与随机梯度下降(SGD)联合训练。在SGD的每次迭代中,对来自训练数据的小批量进行采样,并且将损失函数的真实梯度估计为在该小批量上计算的噪声梯度。从特征学习的角度来看,特征提取器应该被更新以学习关于整个数据的有意义的特征,并减少对小批量中的噪声的适应。出于这个动机,我们提出了训练中分布匹配(ITDM)来改进DNN训练并减少过拟合。具体地,连同损失函数,ITDM通过匹配SGD的每次迭代中的不同小批次的分布的矩来正则化特征提取器,这通过最小化最大均值差异来实现。因此,ITDM不假设潜在特征空间中数据分布的任何显式参数形式。大量的实验证明了我们提出的策略的有效性。
2020-02-27 cs.LG stat.ML
Diverse mini-batch Active Learning
Amazon Research(亚马逊研究院)
我们研究了如何减少训练监督分类模型所需的标记训练数据量的问题。我们通过利用主动学习,通过顺序选择最有利于模型的例子来接近它。对于现代深度学习模型所需的训练样本数量来说,逐个选择样本是不切实际的。我们考虑小批量主动学习设置,其中一次选择多个示例。我们提出了一种方法,既考虑到模型的例子的信息量,以及在一个小批量的例子的多样性。通过使用研究良好的K-means聚类算法,这种方法比以前提出的方法更好地扩展,并实现可比或更好的性能。
2019-01-17 cs.LG stat.ML
Traversing the noise of dynamic mini-batch sub-sampled loss functions: A visual guide
University of Pretoria(比勒陀利亚大学)
小批量子采样在神经网络训练是不可避免的,由于不断增长的数据需求,内存有限的计算资源,如图形处理单元(GPU),和动态的在线学习。在这项研究中,我们特别区分静态小批量子采样损失函数,其中小批量在训练过程中间歇性地固定,导致平滑但有偏差的损失函数;和动态子采样等价物,其中在每次损失评估时对新的小批量进行采样,在采样引起的不连续性中交易偏差方差。这些使自动优化策略,如最小化线搜索无效,因为临界点可能不存在,函数最小化找到虚假的,不连续诱导的最小值。本文建议重铸的优化问题,以寻找随机非负相关梯度投影点(SNN-GPP)。我们证明了SNN-GPP最优性准则比临界点或最小值更不容易受到子采样引起的不连续性的影响。我们进行了可视化调查,比较局部最小值和SNN-GPP最优性标准的损失函数的一个简单的神经网络训练问题的各种流行的激活功能。由于SNN-GPP能更好地逼近真实最优值的位置,特别是当使用具有高曲率特性的平滑激活函数时,我们假设定位SNN-GPP的线搜索可以显著地有助于自动化神经网络训练
2020-04-06 cs.LG stat.ML
mS2GD: Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh(爱丁堡大学);Lehigh University(理海大学)
针对半随机梯度下降算法求解由大量光滑凸函数和简单非光滑凸函数的平均值之和表示的强凸复合函数极小化问题的理论复杂度和实际性能,提出了一种mini-decomposition算法.我们的方法首先执行一个确定性步骤(计算目标函数在起点处的梯度),然后执行大量的随机步骤。这个过程重复几次,最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中,我们不是选择一个函数,而是对$b$函数进行采样,计算它们的梯度,并在此基础上计算方向。我们分析了该方法的复杂性,并表明该方法受益于两个加速效果。首先,我们证明,只要$b$是低于一定的阈值,我们可以达到预定义的准确性与较少的整体工作比没有迷你。第二,我们的迷你并行计划承认一个简单的并行实现,因此是适合进一步加速并行化。
2014-10-17 cs.LG stat.ML
AugMax: Adversarial Composition of Random Augmentations for Robust Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达);Arizona State University(亚利桑那州立大学);California Institute of Technology(加州理工学院)
数据增强是提高深度神经网络(DNN)鲁棒性的一种简单而有效的方法。多样性和硬度是数据增强实现鲁棒性的两个互补维度。例如,AugMix探索了一组不同增强的随机组合,以增强更广泛的覆盖范围,而对抗性训练则生成对抗性的硬样本来发现弱点。出于这一动机,我们提出了一个数据增强框架,称为AugMax,统一的多样性和硬度的两个方面。AugMax首先随机采样多个增强算子,然后学习所选算子的对抗混合。作为一种更强大的数据增强形式,AugMax导致显著增强的输入分布,这使得模型训练更具挑战性。为了解决这个问题,我们进一步设计了一个被称为DuBIN(Dual-Batch-and-Instance Normalization)的解纠缠规范化模块,该模块可以解纠缠AugMax产生的实例特征异质性。实验表明,AugMax-DuBIN显著提高了分布外鲁棒性,在CIFAR 10-C、CIFAR 100-C、Tiny ImageNet-C和ImageNet-C上的性能分别优于现有技术3.03%、3.49%、1.82%和0.71%。代码和预训练模型可在https://github.com/VITA-Group/AugMax上找到。
2022-01-01 cs.CV cs.LG
Normalization Before Shaking Toward Learning Symmetrically Distributed Representation Without Margin in Speech Emotion Recognition
University of Southern California(南加州大学)
正则化对于许多实用的深度学习模型的成功至关重要,特别是在只有少数到中等数量的可访问训练样本的情况下。除了权重衰减、数据增强和丢弃外,基于多分支结构的正则化(如Shake-Shake正则化)在许多应用中被证明是成功的,并受到越来越多的关注。然而,除了基于模型的表示增强之外,尚不清楚Shake-Shake正则化如何帮助进一步改进分类任务,更不用说批量归一化和摇动之间令人困惑的交互了。在这项工作中,我们提出了我们的调查摇动正则化,绘制连接到邻近风险最小化原则和判别特征学习验证任务。此外,我们确定了批归一化残差块和批归一化递归神经网络之间的高度相似性,其中它们都具有相似的收敛行为,这可以通过适当初始化批量归一化来减轻。基于这些发现,我们在语音情感识别上的实验同时表明,分类准确率的提高和泛化差距的减少都具有统计意义。
2018-08-05 cs.HC cs.LG cs.MM
Mini-Batch Semi-Stochastic Gradient Descent in the Proximal Setting
University of Edinburgh(爱丁堡大学);Lehigh University(利哈伊大学)
我们提出mS2GD:提出了一种改进半随机梯度下降(S2GD)算法的理论复杂度和实际性能的方法。我们考虑最小化一个强凸函数的问题,该函数表示为大量光滑凸函数的平均值和一个简单的非光滑凸正则化子。我们的方法首先执行一个确定性步骤(计算目标函数在起点处的梯度),然后执行大量的随机步骤。这个过程重复几次,最后一个点成为新的起点。我们的方法的新颖之处在于将最小步长引入到随机步长的计算中。在每一步中,我们不是选择一个函数,而是对$b$函数进行采样,计算它们的梯度,并在此基础上计算方向。我们分析了该方法的复杂性,并表明它受益于两个加速效果。首先,我们证明,只要$b$是低于一定的阈值,我们可以达到任何预定义的精度与更少的整体工作比没有迷你的。第二,我们的迷你并行计划承认一个简单的并行实现,因此是适合进一步加速并行化。
2015-11-16 cs.LG stat.ML
Revisiting Small Batch Training for Deep Neural Networks
Graphcore Research(Graphcore研究公司)
现代深度神经网络训练通常基于小批量随机梯度优化。虽然使用大的小批量增加了可用的计算并行性,但小批量训练已被证明可以提供改进的泛化性能,并允许显著更小的内存占用,这也可以用于提高机器吞吐量。在本文中,我们回顾了常见的假设学习率缩放和训练时间,作为一个实验的基础上比较不同的小批量的测试性能。我们采用对应于每个梯度计算的恒定平均权值更新的学习率(即,每单位计算成本),并指出这导致权重更新的方差随小批量大小$m$线性增加。收集的CIFAR-10、CIFAR-100和ImageNet数据集的实验结果表明,增加小批量会逐渐减少学习率的范围,从而提供稳定的收敛和可接受的测试性能。另一方面,较小的小批量提供了更先进的梯度计算,从而产生更稳定和可靠的训练。$m = 2$和$m = 32$之间的小批量始终获得最佳性能,这与最近提倡使用数千个小批量的工作形成对比。
2018-04-20 cs.CV cs.LG stat.ML
Federated Multi-Mini-Batch: An Efficient Training Approach to Federated Learning in Non-IID Environments
Technical University of Munich(慕尼黑工业大学);University of Hamburg(汉堡大学);Friedrich-Alexander University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
联邦学习面临着性能和网络通信的挑战,特别是在数据在客户端之间不是独立和相同分布(IID)的环境中。为了解决前一个挑战,我们引入了联邦集中式一致性属性,并表明联邦单小批量训练方法可以在非IID环境中实现与相应的集中式训练相当的性能。为了处理后者,我们提出了联邦多小批量的方法,并说明它可以建立一个性能和通信效率之间的权衡,并优于联邦平均在非IID设置。
2021-07-03 cs.LG stat.ML
Taming Resource Heterogeneity In Distributed ML Training With Dynamic Batching
Indiana University Bloomington(印第安纳大学伯明顿分校)
针对分布式ML训练中集群资源异构的普遍问题,提出基于资源可用性与吞吐量、结合比例控制及PID思路的动态批处理技术,均衡各节点迭代时长,可将异构集群训练时间缩短4倍以上。
2023-05-20 cs.DC cs.LG
Mini-Batch Stochastic ADMMs for Nonconvex Nonsmooth Optimization
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
随着复杂数据的大量增加,非凸损失函数、非凸正则化子等非凸模型在机器学习和模式识别中得到了广泛的应用。本文提出了一类求解大规模非凸非光滑问题的小批量随机ADMM(乘子的交替方向法)。我们证明了,给定一个适当的小批量大小,小批量随机ADMM无方差减少(VR)技术是收敛的,并达到$O(1/T)$的收敛速度,以获得一个非凸优化的稳定点,其中$T$表示的迭代次数。此外,我们还将小批量随机梯度法推广到我们的第一篇论文\cite{huang2016stochastic}中提出的非凸SVRG-ADMM和SAGA-ADMM,并证明了这两种小批量随机ADMM在没有小批量条件下也达到了$O(1/T)$的收敛速度.特别地,我们提供了一个具体的参数选择的步长$η$的随机梯度和罚参数$ρ$的增广拉格朗日函数。最后,大量的仿真和真实数据的实验结果证明了所提出的算法的有效性。
2019-06-24 cs.LG math.OC stat.ML
Budget-Constrained Bounds for Mini-Batch Estimation of Optimal Transport
Microsoft Research(微软研究院);Amazon(亚马逊)
最优传输(OT)是比较概率分布的基本工具,但其精确计算对于大型数据集仍然是禁止的。在这项工作中,我们引入了新的家庭的上界和下界的OT问题的聚合解决方案的小批量OT问题。上限家庭包含传统的小批量平均在一个极端和一个紧密的界限,发现最佳耦合的小批量在其他。在这些极端之间,我们提出了各种方法来构建边界的基础上一个固定的计算预算。通过各种实验,我们探索了计算预算和边界紧密性之间的权衡,并显示了这些边界在计算机视觉应用中的有用性。
2022-10-24 cs.IT cs.LG math.IT
NGAME: Negative Mining-aware Mini-batching for Extreme Classification
IIT Kanpur(印度理工学院坎普尔分校);IIT Delhi(印度理工学院德里分校);UT Austin(德克萨斯大学奥斯汀分校);Microsoft Research(微软研究院);Microsoft(微软公司)
极端分类(XC)试图从一个非常大的标签集中用最相关的标签子集来标记数据点。使用数据点和标签的密集、学习表示执行深度XC吸引了很多关注,因为它比使用稀疏、手工制作的特征的早期XC方法更优越。负面挖掘技术已经成为所有深度XC方法的关键组成部分,使它们能够扩展到数百万个标签。然而,尽管最近取得了进展,但使用大型编码器架构(如Transformers)训练深度XC模型仍然具有挑战性。本文指出,流行的负面挖掘技术的内存开销往往迫使小批量保持较小的规模,并减慢训练速度。作为回应,本文介绍了NGAME,一个轻量级的小批量创建技术,提供可证明准确的批内阴性样本。这允许使用更大的小批量进行训练,与现有的负采样技术相比,可以提供更快的收敛速度和更高的精度。NGAME被发现比最先进的方法在一系列基准数据集上的极端分类准确率高出16%,并且在响应用户网页访问以显示个性化广告时检索搜索引擎查询时准确率高出3%。在一个流行的搜索引擎上进行的实时A/B测试中,NGAME的点击率提高了23%。
2022-07-10 cs.IR cs.LG
MBA: Mini-Batch AUC Optimization
受试者工作特性曲线下面积(AUC)是广泛的信号处理和机器学习问题的重要度量,并且最近已经提出了用于优化AUC的可扩展方法。然而,处理非常大的数据集仍然是一个开放的挑战,这个问题。本文提出了一种新的AUC最大化方法,基于正/负实例对的小批量采样和计算U-统计量来近似全局风险最小化问题。该算法简单、快速、无学习率。我们表明,良好性能所需的样本数量与可用对的数量无关,这是正实例和负实例的二次函数。大量的实验表明,所提出的方法的实际效用。
2018-05-31 cs.LG stat.ML
Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks
Google Research(谷歌研究院)
批量归一化(BN)使用小批量统计数据来规范训练期间的激活,从而在小批量元素之间引入依赖性。如果mini-batch大小太小,或者元素是相关的,则这种依赖性会损害性能。已经提出了几种替代方案,例如批重正化和群归一化(GN)来解决这个问题。然而,它们要么不匹配BN的大批量的性能,或仍然表现出性能下降的小批量,或引入人工约束的模型架构。在本文中,我们提出了过滤器响应归一化(FRN)层,一个新的组合的归一化和激活函数,可以作为其他标准化和激活的替代品。我们的方法独立地在每个批处理元素的每个激活通道上操作,消除了对其他批处理元素的依赖。我们的方法优于BN和其他替代品在各种设置的所有批量大小。FRN层在使用InceptionV 3和ResnetV 2 -50架构的Imagenet分类的大小批量大小的top-1验证准确度上比BN执行$\approx 0.7-1.0\%$。此外,它执行$>1\%$比GN在同一问题上的小迷你批量制度。对于COCO数据集上的目标检测问题,FRN层在所有批量大小的情况下都优于所有其他方法至少$0.3-0.5\%$。
2020-04-01 cs.CV cs.LG stat.ML
Projected Semi-Stochastic Gradient Descent Method with Mini-Batch Scheme under Weak Strong Convexity Assumption
Lehigh University(理海大学)
针对一般随机梯度下降方法(SGD)的理论复杂度和实际性能的不足,提出了一种带小批量的投影半随机梯度下降方法.在弱强凸性假设下,我们能够证明线性收敛。这不需要强凸性假设来最小化服从紧凑多面体集的光滑凸函数的和,这在机器学习社区中仍然很流行。我们的PS2GD保留了低成本的每次迭代和高优化精度,通过随机梯度方差减少技术,并承认一个简单的并行实现与小批量。此外,PS2GD也适用于具有铰链损失的SVM对偶问题。
2017-05-05 cs.LG math.OC stat.ML