Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；Nokia Bell Labs（诺基亚贝尔实验室）
提出通过ReLU最小化问题的对偶形式的随机近似，将两层ReLU网络转化为强凸问题，从而应用隐藏状态差分隐私分析，实现与DP-SGD相当的隐私-效用权衡。
2026-06-16 cs.CR cs.LG
Does Data Augmentation Benefit from Split BatchNorms
Google Research（谷歌研究院）；Google Brain（谷歌大脑）
数据增强已成为一种用于提高深度神经网络性能的强大技术，并在计算机视觉中产生了最先进的结果。然而，最先进的数据增强会严重扭曲训练图像，导致在训练和推理期间看到的示例之间存在差异。在这项工作中，我们探索了最近提出的训练范例，以纠正这种差异：使用辅助BatchNorm的潜在的分布，强烈增强的图像。然后，我们的实验重点关注如何定义在评估时使用的BatchNorm参数。为了消除训练-测试差异，我们尝试使用仅由干净训练图像定义的批量统计数据，但令人惊讶的是，这并没有提高模型性能。相反，我们使用弱增强定义的BatchNorm参数进行研究，发现这种方法显着提高了常见图像分类基准（如CIFAR-10，CIFAR-100和ImageNet）的性能。然后，我们探索了使用不同BatchNorm参数的准确性和鲁棒性之间的基本权衡，从而更深入地了解数据增强对模型性能的好处。
2020-10-15 cs.CV cs.LG
Delving into the Estimation Shift of Batch Normalization in a Network
Beihang University（北京航空航天大学）；Southeast University（东南大学）
批量归一化（BN）是深度学习中的里程碑式技术。它在训练过程中使用小批量统计数据，但在推理过程中使用估计的总体统计数据来规范化激活。本文主要研究人口统计的估计问题。我们定义了BN的估计偏移量，以定量衡量其估计的人口统计数据与预期人口统计数据之间的差异。我们的主要观察结果是，由于BN在网络中的堆叠，估计偏移可以累积，这对测试性能有不利影响。我们进一步发现无批次归一化（BFN）可以阻止这种估计偏移的累积。这些观察激发了我们设计XBNBlock的动机，在残差式网络的瓶颈块中用BFN替换一个BN。在ImageNet和COCO基准测试上的实验表明，XBNBlock一致地提高了不同架构的性能，包括ResNet和ResNeXt，并且似乎对分布偏移更鲁棒。
2022-03-21 cs.AI cs.CV cs.LG
Mini-batch Sampling Strategies for Long-Tailed Image Classification: An Empirical Study on CIFAR-100-LT
University of Bristol（布里斯托大学）
本研究系统比较四种小批量采样策略，发现渐进均衡采样在长尾分类中稳健提升尾部准确率，而重平衡时机与程度同等重要。
2026-09-16 cs.CV cs.LG stat.ML
Taming Resource Heterogeneity In Distributed ML Training With Dynamic Batching
Indiana University Bloomington（印第安纳大学伯明顿分校）
针对分布式ML训练中集群资源异构的普遍问题，提出基于资源可用性与吞吐量、结合比例控制及PID思路的动态批处理技术，均衡各节点迭代时长，可将异构集群训练时间缩短4倍以上。
2023-05-20 cs.DC cs.LG
The Effect of Batch Size on Contrastive Self-Supervised Speech Representation Learning
Institute of Computing and Information Science, Radboud University（拉德堡德大学计算与信息科学学院）
本文研究批量大小对 wav2vec 2.0 自监督语音预训练的影响，发现固定迭代下大批量效果更好但存在稳定性下限与有效性上限，并指出模型质量主要取决于所见语音数据总量。
2024-02-21 cs.LG cs.SD eess.AS
Finet: Using Fine-grained Batch Normalization to Train Light-weight Neural Networks
为了构建轻量级网络，我们提出了一种新的规范化，细粒度批量归一化（FBN）。与批量归一化（BN）不同的是，FBN对加权输入的最终求和进行归一化，而FBN对求和的中间状态进行归一化。我们提出了一种新的轻量级网络的基础上FBN，称为Finet。在训练时，具有FBN的卷积层可以被视为反向瓶颈机制。FBN可以在推理时融合到卷积中。融合后的Finet采用等通道宽度的标准卷积，从而提高了推理效率。在ImageNet分类数据集上，Finet实现了最先进的性能（43M FLOPs的准确率为65.706%，303M FLOPs的准确率为73.786%），而且，实验表明Finet比其他最先进的轻量级网络更有效。
2020-05-14 cs.LG stat.ML
Fast Variance Reduction Method with Stochastic Batch Size
University of California, Davis（加州大学戴维斯分校）
本文研究了一类具有随机批量的方差缩减方法--在每一步中，算法首先随机选择批量，然后选择一批样本进行方差缩减的随机更新。我们给出了这个框架的复合函数的线性收敛速度，并表明，每次数据访问达到最佳收敛速度的最佳策略是始终选择批量大小为1，这是等价于SAGA算法。然而，由于计算机体系结构中缓存/磁盘IO效应的存在，数据访问次数无法反映运行时间，因为1）随机内存访问比顺序存取慢得多，2）当数据太大而无法放入内存时，磁盘查找需要更长的时间。考虑到这些因素后，选择批量大小的$1$不再是最优的，所以我们提出了一个新的算法称为SAGA++，并展示了如何计算理论上的最优平均批量大小。我们的算法优于SAGA和其他现有的批量和随机求解器在真实数据集上。此外，我们还进行了一个精确的分析，比较不同的更新规则的方差减少方法，表明SAGA++收敛速度比SVRG在理论上。
2018-08-07 cs.LG stat.ML
An Empirical Model of Large-Batch Training
OpenAI；Johns Hopkins University（约翰斯·霍普金斯大学）
在越来越多的领域中，已经证明深度学习模型可以使用相对较大的批量大小进行训练，而不会牺牲数据效率。然而，这种大规模数据并行的限制似乎因域而异，从ImageNet中的数万批到玩Dota 2游戏的RL代理中的数百万批。据我们所知，对于为什么这些批量大小的限制不同，或者我们如何在新的领域中选择正确的批量大小，概念上的理解有限。在本文中，我们证明了一个简单且易于测量的统计量，称为梯度噪声尺度，可以预测许多领域和应用程序中最大的有用批量大小，包括许多监督学习数据集（MNIST，SVHN，CIFAR-10，ImageNet，Billion Word），强化学习领域（Atari和Dota），甚至生成模型训练（SVHN上的自动编码器）。我们发现，噪声尺度随着训练运行中损失的减少而增加，并且主要通过改进模型性能来依赖于模型大小。我们的理论还描述了计算效率和时间效率之间的权衡，并提供了自适应批量训练的好处的粗略模型。
2018-12-14 cs.LG stat.ML
Mini-batch Noise Lowers Sharpness via Dominant-Subspace Fluctuations
Ajou University（韩国亚洲大学）
研究SGD训练中主导子空间与损失、锐度的关系，通过推导主导方向波动的平均梯度及小批量噪声引起的锐度校正项，实验表明添加校正项能让GD锐度演变更接近SGD。
2026-07-28 cs.LG
Batch Normalized Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）；University of Southern California（南加州大学）
循环神经网络（RNN）是一种强大的序列数据模型，具有学习长期依赖关系的潜力。然而，它们在训练时计算开销大并且难以并行化。最近的研究表明，规范化神经网络的中间表示可以显着提高前馈神经网络的收敛速度。特别是，使用小批量统计数据来标准化特征的批量标准化可以显着减少训练时间。在本文中，我们证明了将批量归一化应用于RNN的隐藏到隐藏转换对训练过程没有帮助。我们还表明，当应用于输入到隐藏转换时，批量归一化可以导致训练标准的更快收敛，但似乎并不能提高我们的语言建模和语音识别任务的泛化性能。总而言之，将批量归一化应用于RNN比将其应用于前馈网络更具挑战性，但它的某些变体仍然是有益的。
2015-10-05 cs.LG cs.NE stat.ML
Integrated Model, Batch and Domain Parallelism in Training Neural Networks
UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley Lab（劳伦斯伯克利实验室）
我们提出了一种新的集成方法，利用模型，批处理和域并行性，使用小批量随机梯度下降（SGD）在大型分布式内存计算机上训练深度神经网络（DNN）。我们的目标是找到一个有效的并行化策略，一个固定的批量大小使用$P$进程。我们的方法的灵感来自于数值线性代数中的通信避免算法。我们将$P$流程在逻辑上划分为一个$P_r \times P_c$网格，其中$P_r$维隐式地负责模型/域并行性，而$P_c$维隐式地负责批处理并行性。在实践中，集成的基于矩阵的并行算法自动封装这些类型的并行性。我们分析了通信复杂性，并分析表明，最低的通信成本往往既不与纯模型，也不与纯数据并行。我们还展示了如何域并行方法可以帮助在扩展的理论规模限制的典型的批处理并行方法。
2018-05-16 cs.LG stat.ML
Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization
DeepOpinion；University of Innsbruck（因斯布鲁克大学）
训练深度神经网络是一项非常苛刻的任务，尤其具有挑战性的是如何调整架构以提高训练模型的性能。我们可以发现，有时候，浅层网络比深层网络更好地泛化，增加更多的层会导致更高的训练和测试错误。深度残差学习框架通过向多个神经网络层添加跳过连接来解决这种退化问题。乍一看，成功训练深度网络需要这样的跳跃连接，这似乎是违反直觉的，因为网络的表现力将随着深度呈指数级增长。本文首先分析了神经网络中的信息流。我们介绍和评估批量熵，它量化了通过神经网络的每一层的信息流。我们从经验和理论上证明了一个积极的批量熵需要梯度下降为基础的训练方法，以优化一个给定的损失函数成功。基于这些见解，我们引入了批量熵正则化，使基于梯度下降的训练算法能够单独优化通过每个隐藏层的信息流。通过批量熵正则化，梯度下降优化器可以将不可训练的网络转换为可训练的网络。我们的经验表明，我们可以因此训练一个“香草”全连接网络和卷积神经网络-没有跳过连接，批量归一化，dropout或任何其他架构调整-通过简单地将批量熵正则化项添加到损失函数，具有500层。批量熵正则化的效果不仅在香草神经网络上进行了评估，而且还在残差网络，自编码器以及广泛的计算机视觉和自然语言处理任务上的Transformer模型上进行了评估。
2022-08-01 cs.LG
Batch Bayesian Optimization via Particle Gradient Flows
Imperial College London（伦敦帝国理工学院）；University of Manchester（曼彻斯特大学）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
贝叶斯优化（BO）方法试图找到目标函数的全局最优解，这些目标函数只能作为黑盒或评估成本很高。这样的方法为目标函数构建代理模型，通过贝叶斯推断量化该代理中的不确定性。通过在每个步骤最大化采集函数来顺序地确定客观评估。然而，由于采集函数的非凸性，特别是在每一步都选择多个点的批量贝叶斯优化的情况下，这个辅助优化问题可能是非常不容易解决的。在这项工作中，我们重新制定一批BO作为一个优化问题的空间上的概率测度。我们构造了一个新的捕获函数的基础上多点的期望改进，这是凸的空间上的概率测度。解决这一“内部”优化问题的实际方案自然会出现梯度流的目标函数。我们证明了这种新方法在不同基准函数上的有效性，并与最先进的批处理BO方法进行比较。
2023-01-09 cs.LG stat.ML
ZC-Swish: Stabilizing Deep BN-Free Networks for Edge and Micro-Batch Applications
TU Braunschweig（Braunschweig 技术大学）
本文提出ZC-Swish激活函数，通过动态锚定激活均值近零，稳定无归一化深度网络，实现高测试准确率。
2026-04-21 cs.LG
Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
随机梯度下降是解决随机优化问题的经典工具，是现代机器学习和统计学的基石。在这项工作中，我们试图平衡的事实，衰减步长是需要精确的渐近收敛的事实，恒定的步长学习速度更快，在有限的时间内的错误。要做到这一点，而不是固定的小批量和步长在一开始，我们提出了一个策略，允许参数自适应地演变。具体而言，批量大小被设置为分段常数递增序列，其中当满足合适的误差准则时发生递增。此外，步长被选择为产生最快收敛的步长。整体算法，双尺度自适应（TSA）计划，开发凸和非凸随机优化问题。它继承了随机梯度法的精确渐近收敛性。更重要的是，在理论上实现了最佳的误差减少率，以及在计算成本的整体减少。实验上，我们观察到TSA相对于标准SGD获得了有利的折衷，标准SGD固定了小批量和步长，或者简单地允许一个分别增加或减少。
2020-07-09 cs.LG eess.SP
A Batch Learning Framework for Scalable Personalized Ranking
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
在设计个性化排名算法时，期望在排名列表的顶部鼓励高精度。现有的方法要么寻求一个光滑的凸代理的非光滑的排名度量或直接修改更新程序，以鼓励最高的准确性。在这项工作中，我们指出，这些方法不能很好地扩展到大规模的设置，这部分是由于不准确的逐点或成对的秩估计。我们提出了一个新的个性化排名框架。它使用基于批处理的秩估计和平滑秩敏感损失函数。与以前的工作相比，这种新的批处理学习框架导致更稳定和准确的秩近似。此外，它允许显式使用并行计算来加速训练。我们对三个项目推荐任务进行了实证评估。我们的方法显示出一致的准确性提高了国家的最先进的方法。此外，当数据规模增加时，我们观察到时间效率优势。
2017-11-10 cs.IR cs.LG stat.ML
When Does Margin Clamping Affect Training Variance? Dataset-Dependent Effects in Contrastive Forward-Forward Learning
Independent Researcher（独立研究者）
本文研究了对比学习中边际钳制对训练方差的影响，发现其依赖数据集特性，通过调整方法可减少方差膨胀。
2026-03-01 cs.CV cs.LG
An Empirical Analysis of Proximal Policy Optimization with Kronecker-factored Natural Gradients
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
在本技术报告中，我们考虑了一种结合PPO目标和K-FAC自然梯度优化的方法，我们称之为PPOKFAC。我们对算法的各个方面进行了一系列的实证分析，例如样本复杂度，训练速度以及对批量大小和训练时期的敏感性。我们观察到，PPOKFAC能够在一系列MuJoCo环境中的样本复杂性和速度方面优于PPO，同时在批量大小方面具有可扩展性。尽管如此，似乎增加更多的历元不一定有助于样本效率，并且PPOKFAC似乎比其A2 C对应物ACKTR更差。
2018-01-17 cs.AI cs.LG stat.ML
NGAME: Negative Mining-aware Mini-batching for Extreme Classification
IIT Kanpur（印度理工学院坎普尔分校）；IIT Delhi（印度理工学院德里分校）；UT Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Microsoft（微软公司）
极端分类（XC）试图从一个非常大的标签集中用最相关的标签子集来标记数据点。使用数据点和标签的密集、学习表示执行深度XC吸引了很多关注，因为它比使用稀疏、手工制作的特征的早期XC方法更优越。负面挖掘技术已经成为所有深度XC方法的关键组成部分，使它们能够扩展到数百万个标签。然而，尽管最近取得了进展，但使用大型编码器架构（如Transformers）训练深度XC模型仍然具有挑战性。本文指出，流行的负面挖掘技术的内存开销往往迫使小批量保持较小的规模，并减慢训练速度。作为回应，本文介绍了NGAME，一个轻量级的小批量创建技术，提供可证明准确的批内阴性样本。这允许使用更大的小批量进行训练，与现有的负采样技术相比，可以提供更快的收敛速度和更高的精度。NGAME被发现比最先进的方法在一系列基准数据集上的极端分类准确率高出16%，并且在响应用户网页访问以显示个性化广告时检索搜索引擎查询时准确率高出3%。在一个流行的搜索引擎上进行的实时A/B测试中，NGAME的点击率提高了23%。
2022-07-10 cs.IR cs.LG
Minibatch persistency, eight years later: what batch reuse costs in steps and joules, and what it saves in data
University of Padova（帕多瓦大学）
本文通过预注册实验系统评估小批量持久化技术，发现其仅在数据稀缺且大批量时节省数据，不节省步数、时间或能量，并建议在数据可重读时采用间隔轮次。
2026-09-15 cs.DC cs.LG
A Unified Batch Online Learning Framework for Click Prediction
Microsoft（微软）
我们提出了一个统一的框架，批量在线学习（OL）的点击预测搜索广告。机器学习模型一旦部署，由于模型陈旧，随着时间的推移会显示出非平凡的准确性和校准降级。因此，有必要定期更新模型，并自动更新。本文提出了两种范例的批量在线学习，增量更新模型参数通过提前停止机制，另一个这样做，通过近端正则化。我们讨论了这两种方案如何自然地权衡新旧数据。然后，我们从理论和经验表明，这两个看似不同的计划是密切相关的。通过大量的实验，我们展示了我们的OL框架的效用;两个OL方案如何相互关联，以及它们如何在新数据和历史数据之间进行权衡。然后，我们将批量OL与完整模型再训练进行了比较，并展示了在线学习如何对数据问题更加鲁棒。我们还展示了在线学习的长期影响，OL中初始模型的作用，更新延迟的影响，最后总结了一些实现细节和在生产中部署真实世界的在线学习系统的挑战。虽然本文主要集中在搜索广告的点击预测的应用，我们希望这里学到的教训可以结转到其他问题领域。
2018-09-12 cs.AI cs.LG stat.ML
Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift
Google Research（谷歌研究院）
协变量偏移已被证明会大幅降低预测准确性和深度学习模型的不确定性估计的校准。这是令人担忧的，因为协变量偏移在广泛的现实世界部署设置中普遍存在。然而，在本文中，我们注意到，经常有可能在预测时间之前访问少量未标记的移位数据。这个有趣的观察使一个简单但令人惊讶的有效方法，我们称之为预测时间批量归一化，显着提高模型的准确性和校准下协变量偏移。使用这一行代码更改，我们在最近的协变量偏移基准测试中实现了最先进的技术，在具有挑战性的ImageNet-C数据集上实现了60.28\%的mCE;据我们所知，这是任何不包含额外数据增强或修改训练管道的模型的最佳结果。我们发现，预测时间批量归一化提供了互补的好处，现有的国家的最先进的方法，以提高鲁棒性（例如，深度集成）和结合这两个进一步提高性能。我们的研究结果得到了详细测量的效果，这种策略对模型的行为在严格的消融在各种数据集模式。然而，当与预训练一起使用时，该方法的结果好坏参半，并且在更自然的数据集转移类型下似乎表现不佳，因此值得进一步研究。我们在图中包含了数据链接以提高可重复性，包括一个Python笔记本，可以在https://colab.research.google.com/drive/11N0wDZnMQQuLrRwRoumDCrhSaIhkqjof上运行以轻松修改我们的分析。
2021-01-14 cs.LG stat.ML
Published Unlearning Numbers Move Per Checkpoint, and Not Because the Removed Data Survives: An Audit of 263 Released Batch-Normalized Checkpoints
University of Alberta（阿尔伯塔大学）
审计发现批归一化统计量重拟合可使部分已发布遗忘检查点的判定翻转，但并非因被移除数据残留，故发布时应注明拟合约定。
2026-09-11 cs.AI cs.LG
Implicit Regularization and Generalization in Overparameterized Neural Networks
研究探讨了优化动态和隐式正则化在参数过量神经网络中促进泛化的角色，通过实验发现小批量大小和网络架构影响泛化性能。
2026-04-08 cs.LG
One Size Does Not Fit All: Architecture-Aware Adaptive Batch Scheduling with DEBA
本文提出DEBA自适应批调度器，通过梯度方差等指标指导批大小调整，并在六种架构上系统评估，证明批大小自适应需架构感知设计，轻量级架构加速显著而深层或稳定架构收益有限。
2025-11-05 cs.LG cs.PF
Boosted Dynamic Neural Networks
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Wormpex AI Research；Tsinghua University（清华大学）；University of Oregon（俄勒冈大学）
早期退出动态神经网络（EDNN）作为动态神经网络的一种，近年来得到了广泛的研究。典型的EDNN在网络主干的不同层具有多个预测头。在推断期间，模型将在预测置信度高于预定义阈值的最后预测头部或中间预测头部处退出。为了优化模型，这些预测头与网络骨干一起在每批训练数据上进行训练。这带来了训练-测试不匹配的问题，即所有预测头在训练阶段都对所有类型的数据进行了优化，而更深的头在测试阶段只会看到困难的输入。在两个阶段对训练和测试输入进行不同的处理将导致训练和测试数据分布之间的不匹配。为了缓解这个问题，我们将EDNN制定为受梯度提升启发的加性模型，并提出多种训练技术来有效地优化模型。我们将我们的方法命名为BoostNet。我们的实验表明，它在CIFAR 100和ImageNet数据集上的任何时间和批量预测模式下都达到了最先进的性能。我们的代码发布在https://github.com/SHI-Labs/Boosted-Dynamic-Networks。
2022-11-30 cs.CV cs.LG
An analysis of over-sampling labeled data in semi-supervised learning with FixMatch
KTH Royal Institute of Technology（KTH皇家理工学院）；Univrses AB（Univrses公司）
大多数半监督学习方法在构建训练小批量时对标记数据进行过采样。本文研究了这种常见的做法是否能提高学习效果以及如何提高学习效果。我们将其与另一种设置进行比较，其中每个小批量都是从所有训练数据中均匀采样的，无论是否标记，这大大减少了典型低标签制度中真实标签的直接监督。然而，这种更简单的设置也可以被视为更通用，甚至在多任务问题中是必要的，在这些问题中，过采样标记数据将变得难以处理。我们使用FixMatch对半监督CIFAR-10图像分类进行的实验表明，当使用均匀采样方法时，性能下降，当标记数据量或训练时间增加时，性能下降。此外，我们还分析了训练动态，以了解标记数据的过采样与均匀采样相比如何。我们的主要发现是，过采样在训练的早期特别有益，但在后期阶段，当更多的伪标签变得正确时，它就不那么重要了。然而，我们也发现，保持一些真正的标签仍然很重要，以避免积累的确认错误不正确的伪标签。
2022-04-08 cs.CV cs.LG
Tempo: Accelerating Transformer-Based Model Training through Memory Footprint Reduction
University of Toronto（多伦多大学）；Shanghai Jiao Tong University（上海交通大学）；Vector Institute（向量研究所）
训练深度学习模型在计算上可能是昂贵的。先前的工作已经表明，增加批量大小可能会导致更好的整体吞吐量。然而，由于为训练反向传递存储的激活/特征图，批量大小经常受到加速器存储器容量的限制，因为较大的批量大小需要存储较大的特征图。基于transformer的模型，由于其良好的性能和对各种任务的适用性，最近受到了广泛的欢迎，也有类似的问题。为了解决这个问题，我们提出了Tempo，一种有效使用加速器的新方法（例如，GPU）内存资源，用于训练基于transformer的模型。我们的方法为GELU，LayerNorm和Attention层提供了直接替代品，减少了内存使用，最终实现了更有效的训练。我们实现了Tempo并评估了BERT Large预训练任务的吞吐量、内存使用和准确性/损失。我们证明了Tempo能够在最先进的基线上实现高达2倍的批量大小和16%的训练吞吐量。我们还在GPT 2和RoBERTa模型上评估了Tempo，分别比基线加速了19%和26%。
2023-01-24 cs.LG cs.PF
Robust and interpretable blind image denoising via bias-free convolutional neural networks
Center for Data Science（数据科学中心）；New York University（纽约大学）；Center for Neural Science（神经科学中心）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）；Courant Inst. of Mathematical Sciences（库朗数学科学研究所）
深度卷积网络通常会在其卷积运算中添加附加常数（“偏置”）项，从而实现更丰富的函数映射库。偏差也被用来促进训练，通过减去批量训练图像的平均响应（“批量归一化”的一个组成部分）。最近的最先进的盲去噪方法（例如，DnCNN）似乎需要这些术语来获得成功。然而，在这里，我们发现这些网络系统地过拟合了它们训练的噪声水平：当部署在训练范围之外的噪声水平时，性能会急剧下降。相比之下，无偏架构-通过删除网络每一层中的常数项（包括用于批量归一化的常数项）获得-在噪声水平上具有鲁棒性，同时在训练范围内保持最先进的性能。在局部，无偏置网络线性地作用于噪声图像，从而能够通过标准线性代数工具直接分析网络行为。这些分析提供了非线性自适应滤波方面的网络功能的解释，并投影到低维子空间的并集上，将基于学习的方法连接到更传统的去噪方法。
2020-02-08 cs.CV cs.LG eess.IV
Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning
DeepMind（深度思维）
非策略强化学习算法有望适用于只有固定的环境交互数据集（批量）可用且无法获得新经验的环境。这一特性使得这些算法对机器人控制等现实问题具有吸引力。然而，在实践中，标准的非策略算法在用于连续控制的批量设置中失败。在本文中，我们提出了一个简单的解决这个问题。它允许使用由任意行为策略生成的数据，并使用学习的先验知识-加权行为模型（ABM）-将RL策略偏向于以前执行过的并且可能在新任务上成功的操作。我们的方法可以被看作是最近关于批量RL的工作的扩展，它可以从冲突的数据源中进行稳定的学习。我们在各种RL任务中发现了竞争基线的改进-包括标准连续控制基准和模拟和真实世界机器人的多任务学习。
2020-06-17 cs.LG cs.RO stat.ML
Hogwild! over Distributed Local Data Sets with Linearly Increasing Mini-Batch Sizes
CWI Amsterdam（荷兰阿姆斯特丹国家数学和计算机科学研究所）；IBM Research（IBM研究院）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；eBay（eBay公司）；University of Connecticut（康涅狄格大学）
霍格怀德！实现异步随机梯度下降（SGD），其中多个线程并行访问包含训练数据的公共存储库，执行SGD迭代并更新表示联合学习的（全局）模型的共享状态。我们考虑大数据分析，其中训练数据以异构方式分布在本地数据集之间-并且我们希望将SGD计算移动到本地数据驻留的本地计算节点。这些本地SGD计算的结果由模仿Hogwild！的中央“聚合器”聚合。我们展示了本地计算节点如何开始选择小的小批量，这些小批量会增加到更大的批量，以降低通信成本（与聚合器的轮交互）。我们改进了最先进的文献，并显示了强凸问题的异构数据的$O(\sqrt{K}$）通信轮次，其中$K$是所有本地计算节点上的梯度计算总数。对于我们的计划，我们证明了一个\textit{tight}和新的非平凡收敛分析强凸问题的{ \em异构}数据，不使用有界梯度假设，看到在许多现有的出版物。的紧密性是一个后果，我们的证据的下限和上限的收敛速度，这表明一个常数因子的差异。我们展示了有偏（即，异构）和无偏的本地数据集。
2021-02-27 cs.LG math.OC stat.ML
DELT: A Simple Diversity-driven EarlyLate Training for Dataset Distillation
VILA Lab, MBZUAI（VILA实验室，MBZUAI）
针对批次到全局数据集蒸馏中同类合成图像多样性不足的问题，本文提出 DELT，通过划分子任务并进行分阶段局部优化，以更低计算成本提升多样性、精度和合成效率。
2025-06-06 cs.AI cs.CV cs.LG
Per-example gradients: a new frontier for understanding and improving optimizers
Google DeepMind（谷歌DeepMind）
本文通过每例梯度变换分析了signSGD和Adam预条件器，揭示了优化中的关键操作位置与参数选择对性能的影响。
2026-03-02 cs.LG
GEOALIGN: Geometric Rollout Curation for Robust LLM Reinforcement Learning
针对在线强化学习训练LLM时奖励噪声导致的不稳定性，提出GEOALIGN，通过检测并修正方向不一致的轨迹来稳定更新，提升最终性能并减少训练震荡。
2026-06-26 cs.AI cs.LG
Incremental Permutation Feature Importance (iPFI): Towards Online Explanations on Data Streams
Bielefeld University（比勒费尔德大学）；LMU Munich（慕尼黑大学）
本文提出模型无关的增量算法iPFI，在含概念漂移的数据流场景下高效估计基于缺失特征边缘化的特征重要性，并给出理论保证与实验验证。
2022-09-07 cs.AI cs.LG
Automatic Recall Machines: Internal Replay, Continual Learning and the Brain
University of Oxford（牛津大学）；KU Leuven（鲁汶大学）
神经网络中的重放涉及用记忆的样本对序列数据进行训练，这抵消了由非平稳性引起的对先前行为的遗忘。我们提出了一种方法，其中这些辅助样本是在飞行中生成的，只给出了正在为评估目标进行训练的模型，而没有额外的缓冲区或生成器网络。相反，评估模型本身内的学习样本的内隐记忆被利用。此外，虽然现有的工作重点是加强完整的可见数据分布，但我们表明，优化不遗忘要求生成专门针对每个真实训练批次的样本，这更有效和可扩展。我们考虑与大脑的高层次的相似之处，特别是使用一个单一的模型进行推理和回忆，回忆的样本对当前环境批次的依赖性，自上而下的激活和学习的调制，抽象回忆，以及任务学习的程度和回忆的程度之间的依赖性。这些特征自然地从方法中出现，而不受控制。
2020-12-12 cs.AI cs.CV cs.LG
Understanding the Role of Training Regimes in Continual Learning
Washington State University（华盛顿州立大学）；DeepMind（深度思维）
灾难性遗忘会影响神经网络的训练，限制它们顺序学习多个任务的能力。从公认的可塑性-稳定性困境的角度来看，神经网络往往过于可塑，缺乏防止忘记先前知识所必需的稳定性，这意味着随着学习的进行，网络往往会忘记先前看到的任务。这种现象在持续学习文献中被创造出来，最近引起了很多关注，并且已经提出了几种不同程度的成功方法。然而，以前的工作有限，广泛分析了不同的训练制度-学习率，批量大小，正则化方法-对遗忘的影响。在这项工作中，我们离开了典型的改变学习算法，以提高稳定性的方法。相反，我们假设的几何特性的局部极小值发现每个任务发挥了重要作用的整体遗忘程度。特别是，我们研究了辍学，学习率衰减和批量大小的影响，形成训练制度，扩大任务的局部最小值，从而帮助它不会忘记灾难性的。我们的研究提供了实用的见解，通过简单而有效的技术来提高稳定性，这些技术优于替代基线。
2020-06-12 cs.LG cs.NE stat.ML
Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility
Purdue University（普渡大学）；Michigan State University（密歇根州立大学）
该研究揭示对抗脆弱性源于流形上不可分性与一阶优化器病态导致的流形外方向收敛差，提出用二阶方法提升鲁棒性，实验验证了效果并指出批归一化会阻碍该增益。
2024-10-09 cs.LG stat.ML
