Accelerating Visual On-Policy Distillation with Batched Speculative Jacobi Rollouts
Shenzhen Key Laboratory of Internet Information Collaboration（深圳市互联网信息协同重点实验室）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
该研究针对视觉在线策略蒸馏中在线展开成本高的问题，提出HB-SJD批量推测雅可比展开后端，仅替换学生展开后端，在LlamaGen上验证可降时间且保生成质量。
2026-08-20 cs.LG
Accelerating Training of Batch Normalization: A Manifold Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
批量归一化（BN）已成为各种深度神经网络的关键组件。具有BN的网络对正线性尺度变换具有不变性，这使得存在无穷多个不同权值尺度的功能等价网络。然而，使用一阶方法（例如随机梯度下降）优化这些等效网络将获得一系列收敛到不同局部最优值的迭代，这是由于它们在训练过程中的梯度不同。为了解决这个问题，我们提出了一个商流形\emph{PSI manifold}，其中所有的等效权的网络BN被视为相同的元素。接下来，我们在建议的PSI流形上构造梯度下降和随机梯度下降来训练具有BN的网络。这两个算法保证了每一组等价权值（由正重标度引起）收敛到等价最优解。此外，我们给出了算法在PSI流形上的收敛速度。实验结果表明，与欧氏权值空间上的算法相比，该方法加快了训练速度。最后，实验结果表明，我们的算法一致提高现有的方法在收敛速度和泛化能力在各种实验设置。
2022-06-06 cs.LG
Overcoming the Challenges of Batch Normalization in Federated Learning
EPFL（洛桑联邦理工学院）；Sorbonne Université（索邦大学）；Univ Rennes, Inria, CNRS, IRISA（雷恩大学、法国国家信息与自动化研究所、法国国家科学研究中心、法国国立高等工程技术学校雷恩分校）
本文提出联邦批归一化（FBN），解决联邦学习中批归一化因外部协变量偏移和统计不一致而失效的问题，恢复其训练加速与精度提升优势，并增强鲁棒性以抵御错误统计和对抗攻击。
2024-05-23 cs.LG
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
SUNY Buffalo（纽约州立大学布法罗分校）
虽然批量归一化（BN）的作者确定并解决了训练深度网络中涉及的一个重要问题-内部协变量偏移-但当前的解决方案存在一定的缺陷。具体而言，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值（特别是在初始训练时期期间）而对于验证不准确。此外，BN不能在训练期间与批量1一起使用。我们通过提出一种非自适应的归一化技术来消除内部协变量的偏移，我们称之为归一化传播来解决这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-07-12 cs.LG stat.ML
Accelerating Large Batch Training via Gradient Signal to Noise Ratio (GSNR)
Meituan Group（美团集团）
本文提出基于梯度信噪比的方差缩减梯度下降技术 VRGD，以提升大批量训练速度并缩小泛化差距，在 BERT、DLRM 和 ImageNet 上显著扩大批量上限并改善精度。
2023-09-24 cs.LG
Recurrent Batch Normalization
MILA - Université de Montréal（MILA - 蒙特利尔大学）
我们提出了一种LSTM的重新参数化，它为递归神经网络带来了批量归一化的好处。鉴于以前的工作只适用于批量归一化的输入到隐藏的RNN的转换，我们证明了它是可能的，也是有益的批量归一化隐藏到隐藏的过渡，从而减少内部协变量偏移之间的时间步长。我们评估我们的建议，如序列分类，语言建模和问答的各种顺序问题。我们的实证结果表明，我们的批量规范化LSTM始终导致更快的收敛和更好的泛化。
2017-02-28 cs.LG
Accelerating Batch Active Learning Using Continual Learning Techniques
University of Washington（华盛顿大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
针对主动学习每轮查询后需从头重训导致成本高的问题，提出结合回放式持续学习的持续主动学习范式，在多领域实验中实现3倍训练加速且性能无损。
2023-12-12 cs.LG
Generalized Batch Normalization: Towards Accelerating Deep Neural Networks
University of Florida（佛罗里达大学）；Naval Postgraduate School（海军研究生院）
利用最近引入的统计和定量风险管理的概念，我们提出了一个一般的批量归一化（BN），提供加速收敛的神经网络训练相比，传统的BN。总的来说，我们表明均值和标准差并不总是BN变换中居中和缩放过程的最合适选择，特别是如果ReLU遵循归一化步骤。我们提出了一个广义批量归一化（GBN）的转换，它可以利用各种替代的偏差测量的缩放和统计中心，选择自然产生的广义偏差测量理论和风险理论一般。当与ReLU非线性结合使用时，潜在的风险理论为偏差度量和统计提供了自然的、可以说是最佳的选择。利用建议的偏差测量和统计，我们通过实验表明，训练速度比传统BN更快，通常也具有改进的出错率。总的来说，我们提出了一个更灵活的BN转换支持的一个互补的理论框架，可以潜在地指导设计选择。
2018-12-08 cs.LG stat.ML
PIcsC: Partitioning-Induced Covariate Shift Correction
Institute of Business Administration Karachi（卡拉奇工商管理学院）；Habib University（哈比卜大学）；St. John’s University（圣约翰大学）
研究针对跨训练数据分区的协变量偏移问题，提出PIcsC框架，利用Fisher信息矩阵近似分区散度并纳入正则化，还引入条件适应机制，实验表明该方法在多数据集及联邦学习基准上有效减轻协变量偏移，提升性能。
2026-07-29 cs.LG
Accelerating Deep Neural Network Training with Inconsistent Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；NEC Laboratories, USA（NEC实验室）
SGD是训练CNN广泛采用的方法。从概念上讲，它用一个随机抽样的批次来近似种群;然后通过对一个时期中的每个批次进行梯度更新来均匀地训练批次。在本文中，我们展示了采样偏差，固有图像差和固定周期伪随机采样区分训练中的批次，从而影响它们的学习速度。因此，SGD中涉及的批处理的无偏处理会导致不正确的负载均衡。为了解决这个问题，我们提出了不一致的随机梯度下降（ISGD），根据批次的学习状态动态地改变训练工作。具体来说，ISGD利用统计过程控制中的技术来识别训练不足的批次。一旦一个批处理训练不足，ISGD解决一个新的子问题，一个追逐逻辑加上一个保守约束，以加速对批处理的训练，同时避免剧烈的参数变化。在各种数据集上的大量实验表明，ISGD比SGD收敛得更快。在训练AlexNet时，ISGD比SGD快21.05%，在完全相同的实验设置下达到56%的top1精度。我们还将ISGD扩展到多GPU或基于数据并行的异构分布式系统上，使批量大小成为可扩展性的关键。然后从学习率、并行度、同步代价、系统饱和度和可扩展性等方面对ISGD批量进行了研究。我们得出结论，最佳ISGD批量大小是机器依赖性的。多GPU系统上的各种实验验证了我们的说法。特别是，ISGD在11.5小时内使用4台NVIDIA TITAN X以1536的批量大小将AlexNet训练到56.3%的top1和80.1%的top5准确率。
2017-03-28 cs.DC cs.LG
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft（微软）
近年来，基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型，许多神经网络从业者试图增加批量大小，以便利用多个GPU来提高训练速度。然而，增加批量大小通常会使优化变得更加困难，导致收敛速度慢或泛化能力差，可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中，我们探讨了大批量优化的损失景观的陡峭程度，以适应预训练的基于transformer的语言模型特定于领域的任务，并发现它往往是高度复杂和不规则的，对下游任务的泛化提出了挑战。为了应对这一挑战，我们提出了ScaLA，一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同，我们采用了一种顺序博弈论方法，将轻量级对抗性噪声添加到大批量优化中，从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明，ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$，同时达到了与现有大批量优化方法相当的精度，有时甚至更高。最后，我们还解决了大批量优化与对抗噪声的理论方面，并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）
机器学习，特别是深度神经网络，在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一，但由于梯度近似中的大噪声，它显示出缓慢的收敛速度。在本文中，我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题，该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度，并比较了Minibatch SGD和该算法的收敛性能。实验结果表明，我们的批量选择方案效果良好，更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
Rethinking Normalization Methods in Federated Learning
Duke University（杜克大学）；IBM Research AI（IBM研究院人工智能）
本文揭示联邦学习中外部协变量偏移导致设备贡献被抹除及批归一化失效，并提出层归一化可缓解该问题，在CIFAR10非IID实验中取得更快收敛和更优精度。
2022-10-07 cs.LG
Batch Renormalization: Towards Reducing Minibatch Dependence in Batch-Normalized Models
Google Inc.（谷歌公司）
批量归一化在加速和改进深度模型的训练方面非常有效。然而，当训练小批量很小时，或者不包含独立样本时，它的有效性就会降低。我们假设这是由于模型层输入对minibatch中所有示例的依赖性，以及训练和推理之间产生的不同激活。我们提出了批量重正化，这是一种简单有效的扩展，可以确保训练和推理模型生成相同的输出，这些输出取决于单个示例，而不是整个minibatch。当使用小或非i.i.d.训练时，使用Batch Renormalization训练的模型比batchnorm执行得更好。小批量。同时，Batch Renormalization保留了batchnorm的优点，例如对初始化和训练效率不敏感。
2017-03-30 cs.LG
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China（中国科学技术大学）
（小批量）随机梯度下降是一种流行的优化方法，已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差，可能会减慢收敛速度。在本文中，我们提出的对偶抽样策略，以减少方差，利用数据集的内部结构。在这种新策略下，小批量中的随机梯度不再是独立的，而是尽可能负相关的，而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题，只需预先计算对偶样本，并在每次迭代中重用结果，具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Riemannian approach to batch normalization
Gracenote Inc.（Gracenote 公司）
批量归一化（BN）通过对每个神经元的输入进行归一化并减少内部协变量偏移，已被证明是深度神经网络训练的有效算法。BN层中的权重向量空间可以自然地解释为黎曼流形，其对于权重的线性缩放是不变的。遵循这个流形的内在几何提供了一个新的学习规则，更有效，更容易分析。我们还提出了直观和有效的梯度裁剪和正则化方法，利用流形的几何提出的算法。由此产生的算法在各种类型的网络架构和数据集上始终优于原始BN。
2017-10-31 cs.LG
Accelerating Mini-batch SARAH by Step Size Rules
Sun Yat-sen University（中山大学）；Xiamen University（厦门大学）
随机递归梯度算法（SARAH）最初是为凸优化而提出的，也被证明是一般非凸优化的有效算法，由于其简单的递归框架来更新随机梯度估计而受到极大的关注。SARAH算法的性能很大程度上取决于步长序列的选择。然而，SARAH及其变体通常采用导师最佳调整的步长，这在实践中是耗时的。受此影响，我们提出了Barzilai-Borwein（BB）方法的一种变体，称为随机Barzilai-Borwein（RBB）方法，用于计算SARAH在小批量设置中的步长，从而产生了一种新的SARAH方法：MB-SARAH-RBB。我们证明了MB-SARAH-RBB在强凸目标函数的期望下线性收敛。我们分析了MB-SARAH-RBB算法的复杂度，并表明它优于原算法。标准数据集上的数值实验表明，MB-SARAH-RBB优于或匹配的最先进的算法。
2019-06-20 cs.LG math.OC stat.ML
Seesaw: Accelerating Training by Balancing Learning Rate and Batch Size Scheduling
Harvard University（哈佛大学）；Kempner Institute at Harvard University（哈佛大学 Kempner 机构）；University of California, Berkeley（加州大学伯克利分校）
研究如何加速大语言模型预训练，提出Seesaw框架，通过平衡学习率和批量调度，在保留损失动态时减少串行步骤。理论上给出相关等效性证明并扩展，实验表明该框架能在相同浮点运算量下减少时钟时间，接近理论极限。
2026-07-28 cs.AI cs.LG math.OC
Batched Nonparametric Contextual Bandits
Committee on Computational and Applied Mathematics, University of Chicago（计算与应用数学委员会，芝加哥大学）；Department of Statistics, University of Chicago（统计学系，芝加哥大学）
该研究针对批量约束下的非参数上下文老虎机问题，建立极小极大遗憾下界，提出动态划分协变量空间的批量学习算法，证明近乎恒定次数的策略更新可达到完全在线设定下的最优遗憾。
2025-10-03 cs.LG math.ST stat.ML
Controlling Covariate Shift using Balanced Normalization of Weights
Facebook AI Research（Facebook人工智能研究院）
我们引入了一种新的归一化技术，该技术使用层权重的变换而不是层输出来表现出批量归一化的快速收敛特性。所提出的技术保持正和负权重对层输出的贡献平衡。我们在一组标准基准测试上验证了我们的方法，包括CIFAR-10/100，SVHN和ILSVRC 2012 ImageNet。
2019-05-10 cs.LG stat.ML
Accelerating Training of Deep Neural Networks with a Standardization Loss
University of California, Berkeley（加州大学伯克利分校）；Google AI（谷歌人工智能）
加速神经网络训练的一个重大进展是规范化方法的发展，允许更快和更准确地训练深度模型。这些进步带来了实际的挑战：例如，批量归一化将单个示例的预测与批量中的其他示例联系起来，导致网络严重依赖于批量大小。层归一化和组归一化依赖于数据，因此必须连续使用，即使在测试时也是如此。为了解决使用显式归一化技术所产生的问题，我们建议用一个简单的次要目标损失来取代现有的归一化方法，我们称之为标准化损失。该公式在不同的批量大小中是灵活和鲁棒的，并且令人惊讶的是，该次要目标加速了对主要训练目标的学习。因为它是一种训练损失，所以它在测试时被简单地删除，并且不需要进一步的努力来保持正常化的激活。我们发现，标准化损失加速了小型和大型图像分类实验的训练，适用于各种架构，并且在不同批量大小的训练中具有很大的鲁棒性。
2019-03-03 cs.AI cs.CV cs.LG
GNNear: Accelerating Full-Batch Training of Graph Neural Networks with Near-Memory Processing
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）；Beijing Advanced Innovation Center for Integrated Circuits（北京集成电路高精尖创新中心）
最近，图神经网络（GNN）已经成为分析非欧几里德图数据的最先进的算法。然而，实现有效的GNN训练是具有挑战性的，特别是在大型图上。原因有很多：1）GNN训练会占用大量内存。在大型图上进行全批训练甚至需要数百到数千GB的内存。2)GNN训练涉及内存密集型和计算密集型操作，挑战当前的CPU/GPU平台。3)图形的不规则性会导致严重的资源利用不足和负载不平衡问题。本文提出了一个GNNear加速器来应对这些挑战。GNNear采用基于DIMM的存储系统，提供足够的存储容量。为了匹配GNN训练的异构性，我们将内存密集型Reduce操作卸载到DIMM内的Near-Memory-Engines（NME），充分利用高聚合本地带宽。我们采用了一个集中加速引擎（CAE）来处理计算密集型的更新操作。我们进一步提出了几种优化策略来处理输入图的不规则性，提高GNNear的性能。通过对16个GNN训练任务的综合评估，GNNear与Xeon E5-2698-v4 CPU和NVIDIA V100 GPU相比，实现了30.8 $\times$ /2.5 $\times$几何平均加速比和79.6 $\times$ /7.3 $\times$（几何平均）能效提升。
2022-08-16 cs.AR cs.LG
μ-cuDNN: Accelerating Deep Learning Frameworks with Micro-Batching
Tokyo Institute of Technology（东京工业大学）；ETH Zurich（苏黎世联邦理工学院）；RIKEN Center for Computational Science（理化学研究所计算科学中心）
NVIDIA cuDNN是一个低级库，提供深度学习中经常使用的GPU内核。具体来说，cuDNN实现了几种等效的卷积算法，其性能和内存占用可能会根据层的尺寸而发生很大变化。当cuDNN自动选择算法时，决策是在每层的基础上执行的，因此它通常采用适合工作空间大小约束的较慢算法。我们提出了μ-cuDNN，一个透明的cuDNN包装库，它将层的小批量计算分成几个微批。基于动态规划和线性规划，μ-cuDNN通过降低工作空间要求实现更快的算法。同时，μ-cuDNN保持计算语义不变，因此它安全地将统计效率与硬件效率相结合。我们在两个框架Caffe和TensorFlow上展示了μ-cuDNN的有效性，在P100-SXM 2 GPU上实现了AlexNet的1.63倍加速和ResNet-18的1.21倍加速。这些结果表明，使用微批处理可以无缝地提高深度学习的性能，同时保持相同的内存占用。
2018-04-13 cs.DC cs.LG cs.MS
A Scalable Approach to Covariate and Concept Drift Management via Adaptive Data Segmentation
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Mastercard（万事达卡）
本文提出一种可扩展框架，通过自适应数据分割显式利用漂移数据，同时管理协变量漂移和概念漂移，在提升模型准确性的同时降低资源消耗和运行成本。
2024-11-23 cs.LG
Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction
University of Toronto（多伦多大学）；Shanghai Jiao Tong University（上海交通大学）；Vector Institute（向量研究所）
训练深度学习模型在计算上可能是昂贵的。先前的工作已经表明，增加批量大小可能会导致更好的整体吞吐量。然而，由于为训练反向传递存储的激活/特征图，批量大小经常受到加速器存储器容量的限制，因为较大的批量大小需要存储较大的特征图。基于transformer的模型，由于其良好的性能和对各种任务的适用性，最近受到了广泛的欢迎，也有类似的问题。为了解决这个问题，我们提出了Tempo，一种有效使用加速器的新方法（例如，GPU）内存资源，用于训练基于transformer的模型。我们的方法为GELU，LayerNorm和Attention层提供了直接替代品，减少了内存使用，最终实现了更有效的训练。我们实现了Tempo并评估了BERT Large预训练任务的吞吐量、内存使用和准确性/损失。我们证明了Tempo能够在最先进的基线上实现高达2倍的批量大小和16%的训练吞吐量。我们还在GPT 2和RoBERTa模型上评估了Tempo，分别比基线加速了19%和26%。
2023-01-24 cs.LG cs.PF
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University（斯坦福大学）；Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中，我们将重点转向DNN的训练。训练阶段是计算密集型的，需要复杂的数据通信，并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索，以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明，集体通信语义的分层支持的架构提供了灵活性，在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明，较小的网络有利于非批处理技术，而较大的网络的性能更高，使用批处理操作。在45纳米技术下，CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率，利用率超过80%，在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率，利用率超过90%，总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
Variance Regularization for Accelerating Stochastic Optimization
Boston College（波士顿学院）；Brandeis University（布兰戴斯大学）
虽然现在大多数基于梯度的优化方法专注于探索高维几何特征，但任何算法实现的随机版本中积累的随机误差尚未受到重视。在这项工作中，我们提出了一个通用的原则，利用隐藏在小批量梯度的统计信息，减少了随机误差的积累。这是通过根据小批量方差正则化学习率来实现的。由于我们的观点的互补性，这种正则化可以为通用一阶方法的随机实现提供进一步的改进。实验结果表明，方差正则化可以加快收敛速度，并稳定随机优化。
2020-08-13 cs.LG math.OC stat.ML
Mitigating covariate shift in non-colocated data with learned parameter priors
Institute of Business Administration Karachi（卡拉奇工商管理学院）；Habib University Karachi（卡拉奇哈比卜大学）；National University of Computer and Emergings Sciences, Karachi（卡拉奇国立计算机与新兴科学大学）
针对非共置数据中的协变量偏移，提出FIcsR方法，通过最小化f散度并利用Fisher信息近似学习先验，在40多个数据集上显著提升分类准确率。
2024-11-10 cs.CV cs.LG
M$^2$DQN: A Robust Method for Accelerating Deep Q-learning Network
UniDT；Research Institute of Intelligent Complex Systems, Fudan University（复旦大学智能复杂系统研究院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）
深度Q学习网络（Deep Q-learning Network，DQN）是将强化学习与深度神经网络相结合的一种成功方法，它使强化学习得到了广泛的应用。当将DQN或其他强化学习算法应用于现实世界问题时，一个具有挑战性的问题是数据汇集。因此，如何提高数据效率是强化学习研究的重要问题之一。在本文中，我们提出了一个使用深度Q网络中的最大平均损失（M $^2$ DQN）的框架。在训练步骤中，我们不是对一批经验进行采样，而是从经验回放中采样几批经验，并更新参数，以使这些批次的最大TD误差最小化。该方法可以通过替换损失函数与DQN算法中的大多数现有技术相结合。我们验证了这个框架的有效性与最广泛使用的技术之一，双DQN（DDQN），在几个健身房游戏。结果表明，我们的方法导致学习速度和性能的大幅改善。
2022-09-16 cs.AI cs.LG
Dangers of Bayesian Model Averaging under Covariate Shift
NYU（纽约大学）；Covera Health
神经网络的近似贝叶斯推理被认为是标准训练的一种鲁棒替代方案，通常在分布外数据上提供良好的性能。然而，贝叶斯神经网络（BNN）的高保真近似推理，通过全批汉密尔顿蒙特卡罗实现协变量偏移下的泛化能力差，甚至不如经典的估计。我们解释了这一令人惊讶的结果，表明贝叶斯模型的平均值在协变量偏移下实际上是有问题的，特别是在输入特征中的线性依赖性导致缺乏后验收缩的情况下。我们还展示了为什么同样的问题不会影响许多近似推理程序，或经典的最大后验概率（MAP）训练。最后，我们提出了新的先验知识，提高了BNN对许多协变量偏移源的鲁棒性。
2021-12-06 cs.LG stat.ML
GraphNorm: A Principled Approach to Accelerating Graph Neural Network Training
Princeton University（普林斯顿大学）；Zhongguancun Haihua Institute for Frontier Information Technology（中关村海华前沿信息技术研究院）；Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research（微软研究院）
已知归一化有助于深度神经网络的优化。奇怪的是，不同的架构需要专门的规范化方法。在本文中，我们研究了什么样的归一化对图神经网络（GNNs）是有效的。首先，我们调整和评估现有的方法从其他领域的GNN。与BatchNorm和LayerNorm相比，InstanceNorm实现了更快的收敛。我们通过展示InstanceNorm作为GNN的预处理器来提供解释，但是由于图数据集中的批量噪声，BatchNorm的预处理效果较弱。其次，我们证明了InstanceNorm中的移位操作会导致高度正则图的GNNs的表达能力下降。我们通过提出具有可学习转变的GraphNorm来解决这个问题。经验上，与使用其他归一化的GNN相比，使用GraphNorm的GNN收敛得更快。GraphNorm还提高了GNN的泛化能力，在图分类基准测试中实现了更好的性能。
2021-06-11 cs.LG math.OC stat.ML
GreedySnake: Accelerating SSD-Offloaded LLM Training with Efficient Scheduling and Optimizer Step Overlapping
Tsinghua University（清华大学）
GreedySnake通过高效调度和优化器步长重叠，显著提升了SSD卸载LLM训练的吞吐量，实验显示在不同规模的GPU上均取得显著性能提升。
2026-01-24 cs.AI cs.LG cs.PF
Accelerating SGD with momentum for over-parameterized learning
The Ohio State University（俄亥俄州立大学）
Nesterov SGD被广泛用于训练现代神经网络和其他机器学习模型。然而，其相对于SGD的优势尚未在理论上阐明。事实上，正如我们在我们的论文中所示，无论是理论上还是经验上，Nesterov SGD与任何参数选择一般不会提供普通SGD的加速。此外，Nesterov SGD可以发散步长，以确保普通SGD的收敛。这与确定性场景中的经典结果相反，其中相同的步长确保Nesterov方法在最优梯度下降上的加速收敛。为了解决非加速问题，我们向Nesterov SGD引入补偿条款。由此产生的算法，我们称之为MaSS，收敛相同的步长为SGD。我们证明了在线性环境下，对于任何小批量，MaSS都能获得比SGD更快的收敛速度。对于整批，MaSS的收敛速度与众所周知的Nesterov方法的加速速度相匹配。我们还分析了收敛速度和最优超参数对小批量大小的依赖性的实际重要问题，展示了三种不同的制度：线性缩放，收益递减和饱和。针对深度网络的几种标准架构（包括ResNet和卷积网络）对MaSS进行的实验评估显示，其性能优于SGD、Nesterov SGD和Adam。
2019-09-27 cs.LG stat.ML
How Does Batch Normalization Help Optimization?
MIT（麻省理工学院）
批量归一化（BatchNorm）是一种广泛采用的技术，可以更快、更稳定地训练深度神经网络（DNN）。尽管BatchNorm很普遍，但其有效性的确切原因仍然知之甚少。流行的观点是，这种有效性源于在训练期间控制层的输入分布的变化，以减少所谓的“内部协变量偏移”。在这项工作中，我们证明了这种层输入的分布稳定性与BatchNorm的成功关系不大。相反，我们发现了BatchNorm对训练过程的一个更根本的影响：它使优化环境变得更加平滑。这种平滑性导致梯度的预测性和稳定性更高，从而允许更快的训练。
2019-04-15 cs.LG cs.NE stat.ML
Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts
Qualcomm AI Research（高通人工智能研究院）；KAIST（韩国科学技术院）
针对协变量与标签偏移共存时现有TTA方法失效的问题，提出可嵌入各类TTA方法的标签偏移适配器，通过估计目标标签分布并预测部分模型参数实现高效适应，实验显示性能显著提升。
2023-08-17 cs.CV cs.LG
Accelerating Meta-Learning by Sharing Gradients
针对基于梯度的元学习因内循环任务无交互导致初期过拟合、训练速度慢的问题，提出通过内循环正则化共享历史及同批次任务梯度的方法，可在更大内循环学习率下训练，最多加速134%。
2023-12-13 cs.LG
FlashFormer: Whole-Model Kernels for Efficient Low-Batch Inference
FlashFormer通过将Transformer前向传递融合为单个内核，实现大语言模型低批次推理的高效加速。
2025-12-03 cs.CL cs.LG
Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
提高图神经网络（GNN）的训练和推理性能面临着一般神经网络中不常见的挑战：由于多跳图邻域沿网络层呈指数增长，创建小批量需要大量计算和数据移动。这样一个独特的挑战引起了一系列不同的系统设计选择。我们主张在分布式多GPU环境中使用邻域采样进行小批量训练，在此环境下，我们确定了开发人员尚未探索的主要性能瓶颈：小批量准备和传输。我们提出了一系列的改进，以减轻这些瓶颈，包括性能工程的邻域采样器，共享内存并行化策略，并与GPU计算的批处理传输的流水线。我们还进行了实证分析，支持使用抽样推理，表明测试的准确性没有实质性的损害。这样的观察统一了训练和推理，简化了模型的实现。我们报告了几个基准数据集和GNN架构的综合实验结果，包括一个演示，对于ogbn-papers 100 M数据集，我们的系统SALIENT在使用单个GPU的标准PyTorch-Geometric实现上实现了3倍的加速，并且使用16个GPU实现了8倍的并行加速。其中，使用采样扇出（15，10，5）训练3层GraphSAGE模型每个epoch需要2.0秒，使用扇出（20，20，20）进行推理需要2.4秒，测试准确率为64.58%。
2022-03-16 cs.AI cs.LG cs.PF
Diminishing Batch Normalization
Northwestern University（西北大学）；Department of Industrial Engineering（工业工程系）；Department of Industrial Engineering & Management Science（工业工程与管理科学系）；Evanston, IL 60208, USA（美国伊利诺伊州埃文斯顿市60208）
在本文中，我们提出了一个推广的批量归一化（BN）算法，递减批量归一化（DBN），其中我们更新BN参数在递减移动平均的方式。BN在加速神经网络训练阶段的收敛速度方面非常有效，它已成为一种普遍的做法。我们提出的DBN算法保持了原始BN算法的整体结构，同时引入了一些可训练参数的加权平均更新。我们提供了一个分析的DBN算法，收敛到一个固定点的可训练参数的收敛性。我们的分析可以很容易地推广到原始BN算法通过设置一些参数为常数。据作者所知，这种分析是第一次与批量归一化的收敛。我们分析了具有任意激活函数的两层模型。分析的主要挑战是一些参数通过梯度更新，而其他参数则不是。收敛性分析适用于满足我们共同假设的任何激活函数。在数值实验中，我们在具有随机梯度和ReLU激活的复杂现代CNN模型上测试了所提出的算法。我们观察到，DBN优于原始BN算法MNIST，NI和CIFAR-10数据集与合理的复杂FNN和CNN模型。
2019-02-19 cs.LG
Why Regularized Auto-Encoders learn Sparse Representation?
SUNY Buffalo（纽约州立大学布法罗分校）
虽然Batch Normalization（BN）的作者确定并解决了训练深度网络所涉及的一个重要问题-- \textit{Internal Covariate Shift} --但目前的解决方案存在某些缺陷。例如，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值而不准确（特别是在初始训练时期期间）。BN的另一个基本问题是它不能在训练期间与批量大小的$ 1 $一起使用。我们提出了一个非自适应的归一化技术，我们称之为\textit{Normalization Propagation}，以消除协变量移位BN的这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-06-17 cs.CV cs.LG stat.ML
MoESD: Unveil Speculative Decoding's Potential for Accelerating Sparse MoE
Tsinghua University（清华大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）
MoESD研究揭示了投机解码在加速稀疏MoE模型中的潜力，提出目标效率指标以更全面理解SD加速效果。
2026-02-16 cs.AI cs.LG
Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift
School of Automation, Central South University, Changsha, China（中南大学自动化学院，长沙，中国）
本文针对协变量偏移下的置信度校准问题，提出了一种无监督域适应损失（ECL），该方法在理论和实践中均表现出色，能够有效校准目标域的置信度。
2026-05-20 cs.LG stat.ML
Towards an Adversarially Robust Normalization Approach
Kyung-He University（庆熙大学）；Information Technology University（信息技术大学）
批量归一化（BatchNorm）对于提高深度神经网络的性能和加速训练是有效的。然而，它也被证明是对抗脆弱性的一个原因，即，没有它的网络对对抗攻击更健壮。在本文中，我们研究了BatchNorm如何导致这种漏洞，并提出了新的规范化，对对抗攻击具有鲁棒性。我们首先观察到对抗图像倾向于改变BatchNorm输入的分布，这种改变使得训练时估计的人口统计数据不准确。我们假设这些不准确的统计数据使BatchNorm模型更容易受到对抗攻击。我们证明了我们的假设，取代训练时间估计的统计数据与统计计算的推断时间批次。我们发现，如果我们使用这些统计数据，BatchNorm的对抗性脆弱性就会消失。但是，如果没有估计的批次统计数据，我们就不能在实践中使用BatchNorm。为了减轻这种情况，我们提出了鲁棒归一化（RobustNorm）; BatchNorm的一个对抗性鲁棒版本。我们的实验表明，使用RobustNorm训练的模型在对抗环境中表现更好，同时保留了BatchNorm的所有优点。代码可在\url{https://github.com/awaisrauf/RobustNorm}上获得。
2020-06-19 cs.LG stat.ML
Metadata Normalization
Stanford University（斯坦福大学）
批量归一化（BN）及其变体在对抗由深度学习方法的训练步骤引起的协变量偏移方面取得了巨大成功。虽然这些技术通过使用批量统计数据进行标准化来规范化特征分布，但它们并没有纠正外部变量或多个分布对特征的影响。这种额外的变量，在这里被称为元数据，可能会产生偏差或混淆效应（例如，当从面部图像分类性别时的种族）。我们引入了元数据规范化（MDN）层，这是一种新的批量级操作，可以在训练框架内端到端使用，以纠正元数据对特征分布的影响。MDN采用了传统上用于预处理的回归分析技术，以消除（回归）元数据在训练过程中对模型特征的影响。我们利用基于距离相关性的度量来量化元数据的分布偏差，并证明我们的方法成功地消除了元数据对四种不同设置的影响：一个合成，一个2D图像，一个视频和一个3D医学图像数据集。
2021-05-05 cs.LG
Efficient Learning Under Density Shift in Incremental Settings Using Cramér-Rao-Based Regularization
针对增量数据流中的密度偏移问题，提出基于Fisher信息和KL散度的正则化方法$C^{2}A$，通过后验概率吸收积累数据密度知识，适应非独立同分布偏移，最高实现19%的准确率提升。
2025-03-03 cs.LG stat.ML
Batch Layer Normalization, A new normalization layer for CNNs and RNN
TU Wien（维也纳工业大学）；University of Vienna（维也纳大学）
本文提出了一种新的归一化层--批处理层归一化（BLN），以减少深层神经网络中的内部协变量偏移问题。BLN作为批处理和层归一化的组合版本，在学习过程中基于小批量的逆大小自适应地对小批量和特征归一化施加适当的权重以归一化到层的输入。它还使用mini-batch统计量或总体统计量执行精确的计算，在推理时进行微小的更改。采用小批量或总体统计量的决策过程使BLN能够在模型的超参数优化过程中发挥综合作用。BLN的主要优点是理论分析支持独立于输入数据，其统计配置在很大程度上取决于执行的任务，训练数据的量，和批量的大小。实验结果表明，BLN在卷积神经网络和递归神经网络中具有应用潜力，其收敛速度比批量归一化和层归一化都要快。实验代码可在线公开获取（https：//github.com/A2Amir/Batch-Layer-Normalization）。
2022-09-19 cs.AI cs.LG cs.NE
Decorrelated Batch Normalization
University of Michigan（密歇根大学）；Beihang University（北京航空航天大学）
批量归一化（BN）能够通过在小批量内居中和缩放激活来加速深度模型的训练。在这项工作中，我们提出了去相关批量归一化（DBN），它不仅中心和规模的激活，但白化。我们探索了多种白化技术，发现PCA白化会导致一个我们称之为随机轴交换的问题，这对学习是不利的。我们表明，ZCA美白不受这个问题，允许成功的学习。DBN保留了BN的优良特性，进一步提高了BN的优化效率和泛化能力。我们设计了全面的实验来证明DBN可以提高BN在多层感知器和卷积神经网络上的性能。此外，我们不断提高CIFAR-10、CIFAR-100和ImageNet上残差网络的准确性。
2018-04-23 cs.CV cs.LG stat.ML
Training Deep Neural Networks Without Batch Normalization
Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
训练神经网络是一个优化问题，通过梯度下降找到一组合适的参数可能是一项困难的任务。在培训之前和培训期间，已经开发了一系列技术来帮助这一过程。其中最重要和最广泛使用的一类方法是归一化。神经元接收零均值和单位方差分布的输入通常是有利的，因此我们在第一层之前使用关于数据集的统计数据对其进行归一化。然而，对于网络内部的中间激活，不能保证该属性。在网络内部实施此属性的一种广泛使用的方法是批量归一化。它被开发用于对抗网络内部的协变量偏移。从经验上讲，它是已知的工作，但缺乏理论上的理解，其有效性和潜在的缺点，它可能会在实践中使用。本文详细研究了批量归一化方法，并将其与权值归一化、梯度裁剪和丢弃等方法进行了比较。这项工作的主要目的是，以确定是否有可能有效地训练网络时，批量归一化是通过适应的训练过程中删除。
2020-08-18 cs.LG stat.ML
Accelerating Wireless Distributed Learning via Hybrid Split and Federated Learning Optimization
School of Communications and Electronics Engineering, East China Normal University（通信与电子工程学院，东华大学）；School of Electronics and Information Technology, Sun Yat-sen University（电子与信息学院，中山大学）；Zhejiang University/University of Illinois at Urbana-Champaign Institute, Zhejiang University（浙江大学/伊利诺伊大学厄巴纳-香槟分校研究院，浙江大学）；Department of Electronic Engineering, State Key Laboratory of Space Network and Communications, Tsinghua University（电子工程系，空间网络与通信国家重点实验室，清华大学）；Information Systems Technology and Design Pillar, Singapore University of Technology and Design（信息系统技术与设计学院，新加坡科技设计大学）
本文提出混合分割与联邦学习优化方法，通过学习模式选择、批量大小优化和资源联合优化，提升无线分布式学习的收敛速度和效率。
2025-11-25 cs.DC cs.LG
L1-Norm Batch Normalization for Efficient Training of Deep Neural Networks
Tsinghua University（清华大学）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
批量归一化（BN）已被证明在加速和改进深度神经网络（DNN）的训练方面非常有效。然而，BN带来额外的计算，消耗更多的内存，并且通常会大幅减慢训练过程，这会减少训练工作量。此外，BN中的非线性平方和根运算也阻碍了低位宽量化技术，这引起了深度学习硬件社区的广泛关注。在这项工作中，我们提出了一个L1范数BN（L1 BN），在训练过程中的前向和后向传播都只有线性操作。L1 BN被证明是近似等于原来的L2-范数BN（L2 BN）乘以一个缩放因子。在各种卷积神经网络（CNN）和生成对抗网络（GANs）上的实验表明，与L2 BN相比，L1 BN保持了几乎相同的精度和收敛速度，但具有更高的计算效率。在FPGA平台上，L1 BN中的正负号运算和绝对运算与原来的平方运算和开方运算相比，分别获得了1.5 $\times$的加速比和50%的功耗节省.这种硬件友好的归一化方法不仅在速度上超过了L2 BN，而且简化了ASIC加速器的硬件设计，具有更高的能量效率。最后但并非最不重要的是，L1 BN承诺完全量化的DNN训练，这对未来的自适应终端设备至关重要。
2018-02-27 cs.LG
Tula: Optimizing Time, Cost, and Generalization in Distributed Large-Batch Training
Oak Ridge National Laboratory（橡树岭国家实验室）
Tula通过结合并行系统建模与统计性能预测，自动优化大批次训练的批次大小，从而在时间、成本和收敛质量上取得平衡，提升卷积模型的训练效率和测试准确率。
2026-03-18 cs.AI cs.LG
Accelerating recurrent neural network training using sequence bucketing and multi-GPU data parallelization
Samsung R&D Institute Ukraine (SRK)（三星乌克兰研发中心）
提出了一种有效的循环神经网络训练算法。该方法提高了输入序列的长度可能显著变化的任务的训练速度。所提出的方法是基于最佳的批量分桶输入序列的长度和数据并行多个图形处理单元。将没有序列分桶的基线训练性能与针对不同数量的桶提出的解决方案进行比较。给出了使用LSTM循环神经网络的在线手写识别任务的示例。根据挂钟时间、epoch数和验证损失值执行评估。
2017-08-18 cs.LG cs.NE
Bifurcated Attention: Accelerating Massively Parallel Decoding with Shared Prefixes in LLMs
AWS NGDE Science；GE HealthCare（GE医疗）；Amazon AGI（亚马逊AGI）；Goldman Sachs（高盛）
本研究提出分叉注意力方法，将增量解码的注意力拆分为两个GEMM运算，在保持计算量不变下降低内存IO，在7B模型8k以上上下文场景下实现显著加速，适配实时并行生成需求。
2024-07-11 cs.AI cs.LG
Nash: Neural Adaptive Shrinkage for Structured High-Dimensional Regression
Departments of Statistics and Human Genetics（统计学与人类遗传学系）
本文提出Nash框架，通过神经网络整合协变量特定的侧信息，实现高维稀疏回归，提升模型适应性和准确性。
2026-05-17 cs.LG stat.ML
