AdaScale SGD: A User-Friendly Algorithm for Distributed Training
Apple（苹果公司）
当使用大批量训练来加速随机梯度下降时，学习率必须适应新的批量大小，以最大限度地提高速度并保持模型质量。重新调整学习率是资源密集型的，而固定的缩放规则往往会降低模型质量。我们提出了AdaScale SGD，这是一种可靠地将学习率适应大批量训练的算法。通过不断适应梯度的变化，AdaScale自动实现了各种批量大小的加速。我们用AdaScale的收敛界来正式描述这种质量，它保持最终的目标值，即使批量大小变大，迭代次数减少。在实证比较中，AdaScale的训练远远超出了流行的“线性学习率缩放”规则的批量大小限制。这包括机器翻译、图像分类、目标检测和语音识别任务的无模型降级的大批量训练。AdaScale的定性行为类似于“热身”行为，但与热身不同的是，这种行为是从原则性机制中自然出现的。该算法引入的计算开销可以忽略不计，并且没有新的超参数，这使得AdaScale成为实际大规模训练的有吸引力的选择。
2020-07-09 cs.LG stat.ML
Kernel machines that adapt to GPUs for effective large batch training
Ohio State University（俄亥俄州立大学）
现代机器学习模型通常使用随机梯度下降（SGD）在诸如GPU的大规模并行计算资源上进行训练。增加小批量是利用并行计算能力的一种简单而直接的方法。对于小批量，批量大小的增加会导致训练时间的成比例减少，这种现象称为线性缩放。但是，将批大小增加到超过某个值不会进一步改善训练时间。在本文中，我们开发的第一个分析框架，扩展线性缩放，以匹配并行计算能力的资源。该框架是为一类经典的内核机器设计的。它自动修改标准内核机器以输出数学上等效的预测函数，但允许扩展的线性缩放，即，在给定硬件上实现更高效的并行化和更快的训练时间。由此产生的算法是准确的，原则性和非常快。例如，使用单个Titan Xp GPU，在ImageNet上使用$1.3\times 10^6$数据点和$1000$标签进行训练需要不到一个小时，而较小的数据集（如MNIST）需要几秒钟。由于参数是基于理论界解析地选择的，因此除了选择核和核参数之外，几乎不需要调整，进一步促进了这些方法的实际使用。
2019-03-03 cs.LG stat.ML
Automatic Cross-Replica Sharding of Weight Update in Data-Parallel Training
Google（谷歌）
在深度神经网络的数据并行同步训练中，不同的设备（副本）运行具有训练批次的不同分区的相同程序，但是权重更新计算在所有副本上重复，因为权重没有要分区的批次维度。这可能是具有大权重的典型语言模型以及具有小的每个副本批量大小（在大规模训练中是典型的）的模型的性能和可扩展性的瓶颈。本文提出了一种方法来自动分割的权重更新计算跨副本有效的通信原语和数据格式化，使用静态分析和转换的训练计算图。我们展示了这种技术在云TPU上的典型图像和语言模型上实现了实质性的加速，无需更改模型代码。这种技术有助于缩小传统昂贵（ADAM）和廉价（SGD）优化器之间的差距，因为它们只需要一小部分训练步骤时间，并且具有类似的峰值内存使用量。它帮助我们在Google的MLPerf 0.6提交中实现了最先进的培训性能。
2020-04-28 cs.DC cs.LG stat.ML
Budgeted Batch Bayesian Optimization With Unknown Batch Sizes
Center for Pattern Recognition and Data Analytics（模式识别与数据分析中心）；Deakin University（迪肯大学）
参数设置深刻地影响机器学习算法和实验室实验的性能。经典的网格搜索或试错法在大参数空间中的代价是指数级的，贝叶斯优化（BO）为黑箱函数的全局优化提供了一个优雅的选择。在可以同时在多个点评估黑盒函数的情况下，使用批贝叶斯优化。当前的批量BO方法是限制性的，因为它们固定每个批量的评估数量，并且当指定评估的数量大于底层采集函数中的实际最大值的数量时，这可能是浪费的。我们提出了用于超参数调整和实验设计的批量贝叶斯优化（B3O）-我们以优雅的方式为每次迭代确定适当的批量大小。为了灵活设置批量大小，我们使用无限高斯混合模型（IGMM）自动识别底层采集函数中的峰数。我们解决了难以估计的IGMM直接从采集功能制定批量广义切片采样，有效地从采集功能中提取样本。我们进行了广泛的实验，合成功能和两个现实世界的应用-机器学习超参数调整和合金硬化的实验设计。我们的经验表明，拟议的B3O优于现有的固定批量BO的方法，同时需要更少的评估，从而节省成本和时间，找到最佳的。
2017-04-15 cs.LG
Online Learning and Information Exponents: On The Importance of Batch size, and Time/Complexity Tradeoffs
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；École Normale Supérieure - PSL（巴黎高等师范学院-PSL大学）；CNRS（法国国家科学研究中心）
本文研究批量大小对两层神经网络单遍 SGD 训练时间的影响，刻画了基于信息指数的最优批量大小，并提出相关损失 SGD 突破大批量限制，用低维 ODE 系统刻画训练动态并通过实验验证。
2024-06-04 cs.LG stat.ML
Using a one dimensional parabolic model of the full-batch loss to estimate learning rates during training
University of Tübingen（图宾根大学）
深度学习的一个基本挑战是自动为随机梯度下降找到最佳步长。在传统优化中，线搜索是确定步长的常用方法。深度学习的一个问题是，在整批损失上找到合适的步长是不可行的昂贵。因此，经典的线搜索方法，设计的损失没有固有的噪声，通常是不适用的。最近的实证研究结果表明，除其他外，整批损失的行为局部抛物线的方向上的嘈杂的更新步骤的方向。此外，最佳更新步长的趋势变化缓慢。通过利用这些和更多的发现，这项工作介绍了一种线搜索方法，近似的全批次损失与抛物线估计超过几个小批量。学习率在训练期间从这样的抛物线导出。在进行的实验中，我们的方法与SGD相当，其中Momentum使用分段恒定学习率调度进行调整，并且在验证和测试准确性方面通常优于其他用于深度学习的线搜索方法。此外，我们的方法是深度学习的第一线搜索方法，该方法在多个推理中采样更大的批量大小，以便在低批量场景中仍然工作。
2022-02-21 cs.LG
Training Autoencoders Using Stochastic Hessian-Free Optimization with LSMR
Department of Mathematics, University of Iowa（数学系，爱荷华大学）
针对海森自由（HF）优化训练深度自编码器的数据量大问题，提出改用LSMR方法、整合改进预条件子并引入基于方差估计和验证目标下降的小批量选择算法，实现快速训练并提升泛化性能。
2025-04-17 cs.LG math.OC
Adaptive Batch Sizes for Active Learning A Probabilistic Numerics Approach
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）；University of Helsinki（赫尔辛基大学）；Amazon（亚马逊公司）
提出一种基于概率数值的自适应批量大小框架，将批量选择构建为求积任务以自动调整批量满足精度目标，显著提升了贝叶斯批量主动学习与优化的效率和灵活性。
2024-02-21 cs.AI cs.LG cs.NA
Revisit Micro-batch Clipping: Adaptive Data Pruning via Gradient Manipulation
Google（谷歌公司）
本文首次从数据剪枝视角解释微批次裁剪提升模型收敛率的机制，证明特定微批次大小可最小化不随迭代消失的常数偏差，并验证其在视觉和语言模型上的有效性及多领域数据的局限性。
2024-08-29 cs.LG cs.SD eess.AS
Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization
DeepOpinion；University of Innsbruck（因斯布鲁克大学）
训练深度神经网络是一项非常苛刻的任务，尤其具有挑战性的是如何调整架构以提高训练模型的性能。我们可以发现，有时候，浅层网络比深层网络更好地泛化，增加更多的层会导致更高的训练和测试错误。深度残差学习框架通过向多个神经网络层添加跳过连接来解决这种退化问题。乍一看，成功训练深度网络需要这样的跳跃连接，这似乎是违反直觉的，因为网络的表现力将随着深度呈指数级增长。本文首先分析了神经网络中的信息流。我们介绍和评估批量熵，它量化了通过神经网络的每一层的信息流。我们从经验和理论上证明了一个积极的批量熵需要梯度下降为基础的训练方法，以优化一个给定的损失函数成功。基于这些见解，我们引入了批量熵正则化，使基于梯度下降的训练算法能够单独优化通过每个隐藏层的信息流。通过批量熵正则化，梯度下降优化器可以将不可训练的网络转换为可训练的网络。我们的经验表明，我们可以因此训练一个“香草”全连接网络和卷积神经网络-没有跳过连接，批量归一化，dropout或任何其他架构调整-通过简单地将批量熵正则化项添加到损失函数，具有500层。批量熵正则化的效果不仅在香草神经网络上进行了评估，而且还在残差网络，自编码器以及广泛的计算机视觉和自然语言处理任务上的Transformer模型上进行了评估。
2022-08-01 cs.LG
Anytime Online-to-Batch Conversions, Optimism, and Acceleration
Google（谷歌（公司））
在随机凸优化中获得收敛保证的一个标准方法是运行一个在线学习算法，然后输出其迭代的平均值：在线学习算法的实际迭代没有单独的保证。我们通过引入黑盒修改任何在线学习算法，其迭代收敛到随机场景中的最优值来缩小这一差距。然后，我们考虑光滑损失的情况下，并表明，我们的方法与乐观的在线学习算法相结合，立即产生一个快速的收敛速度$O(L/T^{3/2}+σ/\sqrt{T})$ $L$ -光滑的问题，$σ^2$方差的梯度。最后，我们提供了一个减少，将任何自适应在线算法转换成一个获得最佳加速率的$\tilde O(L/T^2 + σ/\sqrt{T})$，同时仍然保持$\tilde O(1/\sqrt{T})$收敛在非光滑设置。重要的是，我们的算法自动适应$L$和$σ$：它们不需要知道也可以获得这些速率。
2019-03-03 cs.LG math.OC stat.ML
A Highly Efficient Distributed Deep Learning System For Automatic Speech Recognition
IBM Research（IBM研究院）
现代自动语音识别（ASR）系统依靠分布式深度学习来快速完成训练。为了实现有效的分布式训练，训练算法必须能够以大的小批量收敛。在这项工作中，我们发现，异步分散并行随机梯度下降（ADPSGD）可以工作在更大的批量比常用的同步SGD（SSGD）算法。在常用的公共SWB-300和SWB-2000 ASR数据集上，ADPSGD可以收敛到SSGD中使用的批量大小的3倍，从而实现更大规模的训练。此外，我们提出了一个层次的ADPSGD（H-ADPSGD）系统中，在同一个计算节点上的学习者通过快速allreduce实现构建一个超级学习者，和超级学习者部署ADPSGD算法之间。在通过100 Gb/s以太网连接的64个Nvidia V100 GPU集群上，我们的系统能够在5.2小时内训练SWB-2000，以达到在集线器5 -2000交换机（SWB）测试集上7.6%的WER和在呼叫中心（CH）测试集上13.2%的WER。据我们所知，这是最快的ASR训练系统，达到这个水平的模型准确性的SWB-2000任务是以往任何时候都在文献中报道。
2019-07-10 cs.DC cs.LG cs.SD
A Quadrature Approach for General-Purpose Batch Bayesian Optimization via Probabilistic Lifting
University of Oxford（牛津大学）；University of Helsinki（赫尔辛基大学）；Aioi R&D Lab（相生研发实验室）；Mind Foundry
本文提出SOBER，一个基于概率提升与核求积的通用批量贝叶斯优化框架，以Python库形式实现，解决并行化中的灵活性、模型误设定等挑战，并支持无梯度采样与自适应批量大小。
2024-04-19 cs.LG cs.NA math.NA
Agentic Resource Allocation for Batch Multi-Objective Bayesian Optimization in Autonomous Materials Discovery
Texas A&M University（德克萨斯农工大学）
本研究提出一种智能体资源分配框架，用于批量多目标贝叶斯优化，通过自适应策略调整在资源约束下平衡探索与利用，显著提升合金材料发现效率并减少预测不确定性。
2026-10-06 cond-mat.mtrl-sci cs.AI cs.LG
CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）；Humboldt-Universität zu Berlin（柏林洪堡大学）
深度学习模型在具有许多GPU的服务器上训练，并且训练必须随着GPU的数量而扩展。TensorFlow和Caffe 2等系统使用并行同步随机梯度下降来训练模型：它们一次处理一批训练数据，在GPU之间进行分区，并对产生的部分梯度进行平均，以获得更新的全局模型。为了充分利用所有GPU，系统必须增加批量大小，这会阻碍统计效率。用户调整超参数，如学习率，以补偿这一点，这是复杂的和特定于模型的。我们描述了CROSSBOW，这是一种用于训练深度学习模型的新的单服务器多GPU系统，使用户能够自由选择他们喜欢的批量大小-无论多么小-同时扩展到多个GPU。CROSSBOW使用许多并行模型副本，并通过一种新的同步训练方法避免了统计效率的降低。我们引入SMA，模型平均的同步变体，其中副本独立地探索解空间与梯度下降，但调整其搜索同步的基础上的全局一致的平均模型的轨迹。CROSSBOW通过在每个GPU上训练多个模型副本，自动调整副本数量以最大化吞吐量，从而在小批量的情况下实现高硬件效率。我们的实验表明，与TensorFlow相比，CROSSBOW将深度学习模型在8 GPU服务器上的训练时间缩短了1.3- 4倍。
2019-01-08 cs.DC cs.LG
Loss Landscape Dependent Self-Adjusting Learning Rates in Decentralized Stochastic Gradient Descent
IBM Research（IBM研究院）；George Mason University（乔治梅森大学）；Duke Unversity（杜克大学）
分布式深度学习（Distributed Deep Learning，简称DLS）对于大规模深度学习（Deep Learning，简称DL）训练至关重要。同步随机梯度下降（SSGD）1是事实上的最优化方法。使用足够大的批处理大小对于实现EJB运行时加速至关重要。在大批量设置中，必须提高学习率以补偿参数更新次数的减少。然而，大的学习率可能会损害SSGD中的收敛，并且训练可能容易发散。最近，分布式并行SGD（DPSGD）已被提出来提高分布式训练速度。在本文中，我们发现，DPSGD不仅具有系统明智的运行时的好处，但也有一个显着的收敛优势，在大批量设置SSGD。基于对DPSGD学习动态的详细分析，我们发现DPSGD引入了额外的依赖于噪声的噪声，该噪声自动调整有效的学习率以提高收敛性。此外，我们从理论上表明，这种噪声平滑的损失景观，从而允许更大的学习率。我们进行了广泛的研究超过18个国家的最先进的DL模型/任务，并证明DPSGD往往收敛的情况下，SSGD发散大学习率在大批量设置。我们的研究结果在两个不同的应用领域是一致的：计算机视觉（CIFAR 10和ImageNet-1 K）和自动语音识别（SWB 300和SWB 2000），以及两种不同类型的神经网络模型：卷积神经网络和长短期记忆递归神经网络。
2021-12-02 cs.LG
Pareto Front-Diverse Batch Multi-Objective Bayesian Optimization
Washington State University（华盛顿州立大学）；Stanford University（斯坦福大学）
针对昂贵黑箱函数的批量多目标优化，提出PDBO，结合多臂老虎机自动选择采集函数并用DPPs选取多样化批次，显著提升Pareto解质量与多样性。
2024-06-13 cs.AI cs.LG
Distribution-Aware Feature Selection for SAEs
Singapore University of Technology and Design（新加坡科技设计大学）；Martian；Thoughtworks
针对 BatchTopK 的“激活彩票”问题，提出 Sampled-SAE，通过特征评分形成候选池并用参数 $l$ 调节全局与 token 专属选择。
2025-08-29 cs.LG
Batch norm with entropic regularization turns deterministic autoencoders into generative models
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
变分自编码器是一种定义明确的深度生成模型，它利用编码器-解码器框架，其中编码神经网络输出非确定性代码以重建输入。编码器通过从每个输入的分布中采样来实现这一点，而不是每个输入输出确定性代码。这个过程的最大优点是，它允许使用网络作为生成模型，用于从提供的样本之外的数据分布中进行采样。我们在这项工作中表明，利用批量归一化作为非确定性的来源足以将确定性自编码器转换为与变分自编码器相同的生成模型，只要我们向训练目标添加合适的熵正则化。
2021-09-22 cs.CV cs.LG stat.ML
Traversing the noise of dynamic mini-batch sub-sampled loss functions: A visual guide
University of Pretoria（比勒陀利亚大学）
小批量子采样在神经网络训练是不可避免的，由于不断增长的数据需求，内存有限的计算资源，如图形处理单元（GPU），和动态的在线学习。在这项研究中，我们特别区分静态小批量子采样损失函数，其中小批量在训练过程中间歇性地固定，导致平滑但有偏差的损失函数;和动态子采样等价物，其中在每次损失评估时对新的小批量进行采样，在采样引起的不连续性中交易偏差方差。这些使自动优化策略，如最小化线搜索无效，因为临界点可能不存在，函数最小化找到虚假的，不连续诱导的最小值。本文建议重铸的优化问题，以寻找随机非负相关梯度投影点（SNN-GPP）。我们证明了SNN-GPP最优性准则比临界点或最小值更不容易受到子采样引起的不连续性的影响。我们进行了可视化调查，比较局部最小值和SNN-GPP最优性标准的损失函数的一个简单的神经网络训练问题的各种流行的激活功能。由于SNN-GPP能更好地逼近真实最优值的位置，特别是当使用具有高曲率特性的平滑激活函数时，我们假设定位SNN-GPP的线搜索可以显著地有助于自动化神经网络训练
2020-04-06 cs.LG stat.ML
One-element Batch Training by Moving Window
几个深度模型，特别是生成模型，在它们的成本函数中比较来自两个分布的样本（例如像AutoEncoder模型，集合处理深度网络等的WAE）。使用所有这些方法，由于要比较样本的事实，不能直接采用小尺寸（在极端情况下--一个元素）批次训练模型。我们提出了一种通用的方法来训练这样的模型，使用一个元素的小批量。这个想法是基于将潜在的批次分成部分：用于潜在空间分布匹配的先前（即历史）元素和用于潜在分布计算和最小化过程的当前元素。由于较小的存储器需求，这允许在比经典方法更高分辨率的图像上训练网络。
2019-05-31 cs.LG stat.ML
Nested Mini-Batch K-Means
EPFL（洛桑联邦理工学院）
提出了一种新的算法，该算法通过使用Elkan（2003）的距离定界方法来加速Sculley（2010）的小批量k-means算法。我们认为，当将距离界限到一个小批量算法，已经使用的数据应优先重用。为此，我们建议使用嵌套的小批处理，从而在迭代t的小批处理中的数据在迭代t+1时自动重用。使用嵌套小批处理存在两个困难。首先，不平衡的数据使用可能会导致估计偏差，我们通过确保每个数据样本只对质心贡献一次来解决这个问题。第二个是在选择小批量的大小，我们解决的平衡过早微调的质心冗余引起的慢下来。实验表明，所得到的nmbatch算法是非常有效的，往往比标准的minibatch算法早100倍到达经验最小值的1%以内。
2016-09-12 cs.LG stat.ML
An Empirical Model of Large-Batch Training
OpenAI；Johns Hopkins University（约翰斯·霍普金斯大学）
在越来越多的领域中，已经证明深度学习模型可以使用相对较大的批量大小进行训练，而不会牺牲数据效率。然而，这种大规模数据并行的限制似乎因域而异，从ImageNet中的数万批到玩Dota 2游戏的RL代理中的数百万批。据我们所知，对于为什么这些批量大小的限制不同，或者我们如何在新的领域中选择正确的批量大小，概念上的理解有限。在本文中，我们证明了一个简单且易于测量的统计量，称为梯度噪声尺度，可以预测许多领域和应用程序中最大的有用批量大小，包括许多监督学习数据集（MNIST，SVHN，CIFAR-10，ImageNet，Billion Word），强化学习领域（Atari和Dota），甚至生成模型训练（SVHN上的自动编码器）。我们发现，噪声尺度随着训练运行中损失的减少而增加，并且主要通过改进模型性能来依赖于模型大小。我们的理论还描述了计算效率和时间效率之间的权衡，并提供了自适应批量训练的好处的粗略模型。
2018-12-14 cs.LG stat.ML
Large-Batch Training for LSTM and Beyond
Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
大批量训练方法使研究人员能够利用大规模分布式处理，并大大加快了深度神经网络（DNN）的训练。例如，通过将批量大小从256扩展到32K，研究人员已经能够将ResNet50在ImageNet上的训练时间从29小时减少到2.2分钟（Ying等人，2018年）。在本文中，我们提出了一种新的方法，称为线性历元逐步预热（LEGW），以更好地进行大批量训练。通过LEGW，我们能够使用Sqrt Scaling方案对CNN和RNN进行大批量训练。LEGW使得Sqrt Scaling方案在实践中是有用的，因此我们实现了比线性Scaling学习率方案更好的结果。对于LSTM应用程序，我们能够将批量大小扩展到64倍，而不会失去准确性，也不会调整超参数。对于CNN应用程序，即使我们将批量大小扩展到32K，LEGW也能够实现相同的精度。LEGW比以前的大批量自动调优技术工作得更好。LEGW在相同硬件上的四个基于LSTM的应用程序的基线上实现了5.3倍的平均加速比。我们还提供了一些理论解释LEGW。
2019-01-24 cs.LG stat.ML
Online Normalization for Training Neural Networks
Cerebras Systems（赛博拉思系统公司）
在线规范化是一种新的规范化神经网络的隐藏激活的技术。与“批量归一化”类似，它对样本维度进行归一化。虽然联机规格化不使用批次，但它与批量归一化一样精确。我们解决了批量归一化的理论局限性，通过引入一个无偏的技术来计算归一化激活的梯度。在线标准化通过添加统计标准化作为原语与自动微分一起工作。这种技术可以用在一些其他规范化器没有涵盖的情况下，如递归网络，全连接网络，以及具有激活记忆要求的网络。我们展示了它在图像分类、图像分割和语言建模中的应用。我们在ImageNet、CIFAR和PTB数据集上给出了正式的证明和实验结果。
2019-12-03 cs.LG stat.ML
Why Regularized Auto-Encoders learn Sparse Representation?
SUNY Buffalo（纽约州立大学布法罗分校）
虽然Batch Normalization（BN）的作者确定并解决了训练深度网络所涉及的一个重要问题-- \textit{Internal Covariate Shift} --但目前的解决方案存在某些缺陷。例如，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值而不准确（特别是在初始训练时期期间）。BN的另一个基本问题是它不能在训练期间与批量大小的$ 1 $一起使用。我们提出了一个非自适应的归一化技术，我们称之为\textit{Normalization Propagation}，以消除协变量移位BN的这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-06-17 cs.CV cs.LG stat.ML
Better Batch for Deep Probabilistic Time Series Forecasting
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
本文提出一种在深度概率时间序列预测中利用误差自相关性的批训练方法，通过构建连续片段小批量并学习时变协方差矩阵，在多个模型和数据集上显著提升了预测精度与不确定性量化能力。
2024-10-18 cs.LG stat.ML
Deep Feature Pyramid Convolutional Networks with In-Place Activated Batch Normalization for Automated Skin Lesion Boundary Segmentation
本研究针对皮肤病变边界分割任务，采用结合InPlace-ABN的深度特征金字塔卷积网络，实现内存高效训练，在ISIC 2018挑战赛中取得阈值Jaccard分数0.752，为资源受限场景下训练高容量分割模型提供了可行方案。
2026-08-26 cs.CV cs.LG stat.ML
Zero-Shot Anomaly Detection via Batch Normalization
UC Irvine（加州大学尔湾分校）；Bosch Center for AI（博世人工智能中心）；TU Kaiserslautern（凯泽斯劳滕工业大学）
针对无新正态训练数据时异常检测器难适应分布漂移的问题，提出结合批量归一化与元训练的自适应居中表示法，实现零样本批次级异常检测，理论保障泛化，且在表格与专业领域图像数据任务上表现优于现有方法。
2023-11-08 cs.AI cs.LG stat.ML
Large batch size training of neural networks with adversarial training and second-order information
University of California, Berkeley（加州大学伯克利分校）
加速随机梯度下降（SGD）计算的最直接方法是将随机选择的一批输入分布在多个处理器上。为了保持分布式处理器的充分利用，需要不断增加批处理大小。然而，大批量训练往往会导致泛化能力较差。最近提出的解决方案是在SGD中使用自适应批量大小。在这种情况下，我们从少量的过程开始，并随着训练的进行而扩展这些过程。这种方法的两个主要挑战是：（i）动态部署集群可能会增加不小的开销，部分原因是它目前不受支持，以及（ii）整体速度的提高受到初始阶段小批量的限制。在这项工作中，我们通过开发一个新的自适应批量大小框架来解决这两个挑战，并基于Ray框架进行自动缩放。这允许非常有效的弹性缩放，可以忽略不计的时间开销（ResNet 18 ImageNet训练时间的0.32%）。此外，我们提出了一个新的自适应批量训练计划，使用二阶方法和对抗训练。这使得在训练过程中可以更早地增加批量大小，从而缩短训练时间。我们在Cifar-10/100、SVHN、TinyImageNet和ImageNet数据集上广泛评估了我们的方法，使用了多个神经网络，包括ResNets和更小的网络，如SqueezeNext。我们的方法超过了现有的解决方案的准确性和SGD迭代次数（高达1\%和$5\times$，分别）方面的性能。重要的是，这是在没有任何额外的超参数调整的情况下实现的，以在任何这些实验中定制我们的方法。
2020-01-03 cs.AI cs.LG math.OC
A Unified Batch Online Learning Framework for Click Prediction
Microsoft（微软）
我们提出了一个统一的框架，批量在线学习（OL）的点击预测搜索广告。机器学习模型一旦部署，由于模型陈旧，随着时间的推移会显示出非平凡的准确性和校准降级。因此，有必要定期更新模型，并自动更新。本文提出了两种范例的批量在线学习，增量更新模型参数通过提前停止机制，另一个这样做，通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后，我们从理论和经验表明，这两个看似不同的计划是密切相关的。通过大量的实验，我们展示了我们的OL框架的效用;两个OL方案如何相互关联，以及它们如何在新数据和历史数据之间进行权衡。然后，我们将批量OL与完整模型再训练进行了比较，并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响，OL中初始模型的作用，更新延迟的影响，最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用，我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
Towards Large Scale Training Of Autoencoders For Collaborative Filtering
Anghami（安加米）
针对隐式反馈协同过滤问题，提出了一种基于小批量负采样的隐式反馈协同过滤潜因子自编码器模型的有效训练方法.我们将我们的工作与不同实验数据集上的最先进的基线模型进行比较，并表明这种方法可以导致基线模型性能的良好和快速近似。源代码可以在https://github.com/amoussawi/recoder上找到。
2018-10-23 cs.IR cs.LG stat.ML
How Does Critical Batch Size Scale in Pre-training?
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学凯普勒研究所）；University of California, Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；Amazon（亚马逊公司）
本研究提出临界批量大小（CBS）的度量方法，通过预训练85M至1.2B参数的语言模型，发现CBS主要随数据规模而非模型规模扩展，并给出理论解释。
2025-04-21 cs.AI cs.LG math.OC
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain
University of Oxford（牛津大学）；KU Leuven（鲁汶大学）
神经网络中的重放涉及用记忆的样本对序列数据进行训练，这抵消了由非平稳性引起的对先前行为的遗忘。我们提出了一种方法，其中这些辅助样本是在飞行中生成的，只给出了正在为评估目标进行训练的模型，而没有额外的缓冲区或生成器网络。相反，评估模型本身内的学习样本的内隐记忆被利用。此外，虽然现有的工作重点是加强完整的可见数据分布，但我们表明，优化不遗忘要求生成专门针对每个真实训练批次的样本，这更有效和可扩展。我们考虑与大脑的高层次的相似之处，特别是使用一个单一的模型进行推理和回忆，回忆的样本对当前环境批次的依赖性，自上而下的激活和学习的调制，抽象回忆，以及任务学习的程度和回忆的程度之间的依赖性。这些特征自然地从方法中出现，而不受控制。
2020-12-12 cs.AI cs.CV cs.LG
