It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；Fudan University（复旦大学）
该研究针对生成式Transformer模型在分布外（OOD）数学任务上的性能下降问题，通过训练小语言模型发现其OOD表现背后存在习得的代数结构与等价泛化规律，深化了对生成式模型泛化能力的理解。
2024-07-04 cs.AI cs.LG
Enhancing Generalization of Depth Estimation Foundation Model via Weakly-Supervised Adaptation with Regularization
针对MDE基础模型在下游任务中的泛化提升问题，提出参数高效的WeSTAR框架，通过密集自训练、语义感知分层归一化、成对序深度弱监督及LoRA权重正则化，增强模型在多样域的鲁棒性并实现基准最优性能。
2025-11-18 cs.CV cs.LG
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
尽管目前的口语语言理解系统的跨语言模型的有希望的结果，他们仍然遭受不完善的跨语言表示之间的源和目标语言，这使得性能次优的对齐。为了解决这个问题，我们提出了一种正则化方法来进一步调整跨语言的单词级和单词级表示，而无需任何外部资源。首先，我们规范化的表示用户话语的基础上，其相应的标签。其次，我们正则化潜变量模型（Liu et al.，2019）通过利用对抗性训练来解开潜在变量。跨语言语言理解任务的实验表明，我们的模型优于当前国家的最先进的方法在两个Few-Shot和zero-shot的情况下，我们的模型，训练在一个Few-Shot设置只有3\%的目标语言训练数据，达到相当的性能与所有训练数据的监督训练。
2020-09-30 cs.CL cs.LG
Out of Distribution Detection, Generalization, and Robustness Triangle with Maximum Probability Theorem
Currus AI（Currus人工智能公司）；Northwestern University（西北大学）
最大概率框架是人工智能领域的一个新的理论发展，它以最大概率定理为基础，旨在形式化地定义概率模型，指导目标函数的开发和概率模型的正则化。MPT使用模型对随机变量假设的概率分布来提供模型概率的上限。我们将MPT应用于计算机视觉中具有挑战性的分布外（OOD）检测问题，方法是将MPT作为CNN及其基于能量的变体训练中的正则化方案。我们在1080个具有不同超参数的训练模型上证明了所提出方法的有效性，并得出结论，基于MPT的正则化策略除了在CIFAR10，CIFAR100和MNIST数据集上增强OOD性能外，还稳定和提高了基础模型的泛化和鲁棒性。
2022-09-06 cs.LG stat.ML
Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding
Pacific Northwest National Laboratory（太平洋西北国家实验室）
组合泛化是神经语言模型的一个令人不安的盲点。最近的努力已经提出了用于改进模型对已知输入的新颖组合进行编码的能力的技术，但是较少的工作集中在生成已知输出的新颖组合上。在这里，我们专注于后一种“解码端”形式的泛化在gSCAN的上下文中，一个合成的基准合成泛化在接地语言理解。我们提出了递归解码（RD），这是一种用于训练和使用seq2seq模型的新方法，旨在实现解码端的泛化。而不是在一次通过中生成整个输出序列，模型被训练为每次预测一个令牌。输入（即，外部gSCAN环境）然后基于预测的令牌被递增地更新，并且被重新编码用于下一个解码器时间步长。因此，RD将复杂的分布外序列生成任务分解为一系列增量预测，每个预测都类似于模型在训练期间已经看到的预测。RD在gSCAN中产生了两个以前被忽视的泛化任务的显着改进。我们提供的分析，以阐明这些收益失败的基线，然后讨论自然接地语言理解的泛化的影响，和seq2seq更普遍。
2022-02-18 cs.AI cs.CL cs.LG
Posterior Differential Regularization with f-divergence for Improving Model Robustness
Microsoft Research（微软研究院）；Ochanomizu University（御茶水女子大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
我们通过正则化来解决增强模型鲁棒性的问题。具体来说，我们专注于正则化干净和嘈杂的输入之间的模型后验差的方法。从理论上讲，我们在这个框架下提供了两种最新方法的连接，雅可比正则化和虚拟对抗训练。此外，我们将后验微分正则化推广到$f$ -发散族，并用雅可比矩阵描述了整个正则化框架。从经验上讲，我们系统地比较了这些正则化和标准的BERT训练在不同的任务集，以提供一个全面的概况，其对模型的域内和域外的领域泛化的影响。对于完全监督和半监督设置，我们的实验表明，正则化后验差分与$f$ -发散可以导致良好的改善模型的鲁棒性。特别是，通过适当的$f$ -发散，BERT-基础模型可以实现与BERT-大型模型相当的泛化，用于域内，对抗和域转移场景，这表明所提出的框架在提高NLP模型的模型泛化方面具有巨大的潜力。
2021-04-12 cs.CL cs.LG stat.ML
RNN Generalization to Omega-Regular Languages
Imperial College London, UK（伦敦帝国学院）
本研究首次探究RNN对LTL导出的ω-正则语言的泛化能力，通过训练RNN复现Büchi自动机行为并测试分布外长序列，证实其在多数复杂任务上可实现高精度泛化，为神经符号验证提供了可行性支撑。
2025-09-02 cs.FL cs.LG cs.LO
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
在这项工作中，我们研究了深度神经网络的输入梯度正则化，并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难，但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练，我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明，正则化模型是更强大的，图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Understanding Deep Learning Generalization by Maximum Entropy
University of Science and Technology of China（中国科学技术大学）；Beijing Jiaotong University（北京交通大学）
深度学习通过大量的模型参数实现了卓越的泛化能力。对深度学习泛化的理论理解最近受到关注，但尚未得到充分探索。本文试图从最大熵的角度提供另一种理解。首先推导出softmax回归严格应用最大熵原理的两个特征条件。然后，DNN被认为是近似的特征条件与多层特征学习，并证明了最大熵原则的递归解决方案。DNN和最大熵之间的联系很好地解释了为什么诸如捷径和正则化之类的典型设计可以提高模型的泛化能力，并为未来的模型开发提供了指导。
2017-11-21 cs.LG
On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
近年来，潜变量模型（LVMs）的多样性诱导正则化方法（Diversity-inducing regularization methods）被广泛研究，旨在解决潜变量建模中的几个问题：（1）如何捕获数据背后的长尾模式;（2）如何在不牺牲表达性的前提下降低模型复杂度;（3）如何提高学习模式的可解释性。虽然多样性诱导正则化，如相互角正则化的有效性已被证明经验，他们仍然缺乏严格的理论分析。在本文中，我们的目标是弥合这一差距，并分析相互角度正则化（MAR）如何影响监督LVMs的泛化性能。以神经网络（NN）为例进行了研究，分析表明，增加NN中隐层单元的多样性会减小估计误差，增加逼近误差。除了理论分析外，我们还进行了实证研究，结果表明，MAR可以大大提高神经网络的性能，实证观察与理论分析是一致的。
2015-11-23 cs.LG
Understanding Generalization via Set Theory
\ Researcher
本文运用集合论定义泛化概念，提出替代泛化过程定理，并通过MNIST实验验证，发现样本基和网络结构对性能影响显著。
2023-11-11 cs.LG
Understanding diffusion models requires rethinking (again) generalization
Inria（法国国家信息与自动化研究所）；École Normale Supérieure, PSL Research University（法国国家科学研究中心-巴黎高等师范学院）；LPSM, Sorbonne University（巴黎高等师范学院-勒维克概率与统计实验室）；Google DeepMind（谷歌DeepMind）
本文探讨扩散模型泛化问题需新的理论框架，指出记忆训练数据与泛化矛盾，提出研究模型预记忆阶段学习内容的重要性。
2026-05-07 cs.LG
Generalization behavior of OPTQ and the role of regularization
University of California, San Diego（加州大学圣迭戈分校）
本研究分析OPTQ量化算法的泛化误差，证明其与校准误差的关系及随机OPTQ的误差界，并基于正则化项λ提出新选择建议，实验验证其优越性。
2026-09-28 cs.LG
GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory
Massachusetts Institute of Technology（麻省理工学院）
本研究提出GenEFT有效理论框架，结合图学习实验揭示神经网络泛化的静力学与动力学规律，解释泛化相变现象，为衔接机器学习理论与实践提供物理学启发的新路径。
2025-03-20 cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University（清华大学）
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力，发现其缺乏问题间泛化但任务内、问题内泛化优异，混合多样训练任务可显著提升泛化效果，为训练数据设计提供指导。
2025-03-19 cs.LG
A Formal Framework for Understanding Length Generalization in Transformers
Saarland University（萨尔大学）；University of Notre Dame（圣母大学）；University of Oxford（牛津大学）；Apple（苹果公司）
本文引入了一个严格的理论框架，分析具有可学习绝对位置编码的因果 Transformer 的长度泛化问题，刻画了可识别函数并证明了其泛化可能性，且通过实验验证了该理论能有效预测长度泛化的成功与失败。
2025-04-30 cs.LG
Implicit Regularization and Generalization in Overparameterized Neural Networks
研究探讨了优化动态和隐式正则化在参数过量神经网络中促进泛化的角色，通过实验发现小批量大小和网络架构影响泛化性能。
2026-04-08 cs.LG
Understanding Generalization in Node and Link Prediction
Computer Science Department, RWTH Aachen University（亚琛工业大学计算机科学系）
本文提出统一框架分析MPNNs在归纳式和直推式节点与链路预测中的泛化性质，整合架构参数与损失函数并量化图结构影响，该框架也适用于任何分类任务，实证研究支持了理论见解。
2025-10-30 cs.LG
A Novel Approach to Regularising 1NN classifier for Improved Generalization
BITS Pilani KK Birla Goa Campus（BITS Pilani KK Birla Goa 果阿校区）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
本文提出Watershed Classifiers，通过贪心策略正则化1NN分类器，在保持任意边界拟合能力的同时大幅降低VC维以提升泛化，并设计损失函数超越NCA基线。
2024-02-13 cs.LG
Generalization Error Analysis of Neural networks with Gradient Based Regularization
Hong Kong Baptist University（香港浸会大学）；Southern University of Science and Technology（南方科技大学）
研究了基于梯度的神经网络正则化方法。我们主要研究了两种正则化方法：全变分正则化和Tikhonov正则化。应用这些方法等价于使用神经网络来求解某些偏微分方程，在实际应用中大多是高维的。在这项工作中，我们介绍了一个通用的框架来分析正则化网络的泛化误差。误差估计依赖于近似误差和正交误差的两个假设。此外，我们进行了一些图像分类任务的实验表明，基于梯度的方法可以显着提高神经网络的泛化能力和对抗鲁棒性。在实验中还考虑了基于梯度的方法的图形扩展。
2021-07-06 cs.LG cs.NA math.NA
Towards Understanding the Generalization of Graph Neural Networks
Renmin University of China（中国人民大学）
本文从泛化性角度理论分析图神经网络，建立转导学习下泛化差距与梯度的概率上界，揭示架构因素影响，并通过实验验证理论一致性。
2023-05-14 cs.AI cs.LG
Towards Understanding Sharpness-Aware Minimization
EPFL（洛桑联邦理工学院）
Sharpness-Aware Minimization（SAM）是最近的一种训练方法，它依赖于最坏情况下的权重扰动，从而显着提高了各种设置中的泛化能力。我们认为，现有的理由SAM的成功，这是基于PAC贝叶斯推广界和平坦的最小值收敛的想法是不完整的。此外，没有解释SAM中使用$m$ -锐度的成功，这已被证明是推广的必要条件。为了更好地理解SAM的这一方面，我们从理论上分析了对角线性网络的隐式偏差。我们证明了SAM总是选择一个解决方案，享有更好的推广性能比标准的梯度下降的某一类问题，这种效果被放大使用$m$ -sharpness。我们进一步研究了非线性网络上隐式偏差的性质，我们表明，用SAM微调标准模型可以导致显着的泛化改进。最后，我们提供了收敛结果SAM的非凸目标时，使用随机梯度。我们在深度网络中实证说明了这些结果，并讨论了它们与SAM泛化行为的关系。我们的实验代码可在https://github.com/tml-epfl/understanding-sam上获得。
2022-06-13 cs.LG
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations
City University of Hong Kong（香港城市大学）
在神经网络中，使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中，我们证明了一族正则化器，包括权重衰减，对于具有正齐次激活函数（如线性，ReLU和最大池函数）的网络，在惩罚权重的内在范数方面是无效的。作为同质性的结果，由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感，因此不能很好地正则化模型容量，导致过拟合。为了解决这个缺点，我们提出了一种改进的正则化，是不变的重量尺度的变化，从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界，因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限，这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。
2022-06-08 cs.LG stat.ML
Understanding Generalization in Quantum Machine Learning with Margins
Department of Statistics and Data Science（统计与数据科学系）；Yonsei University（延世大学）；Department of Applied Statistics（应用统计学系）
本文提出基于边距的泛化界限，通过量子信息理论与经典-量子混合方法提升量子机器学习的泛化能力。
2024-11-11 cs.LG quant-ph
Simple and Effective Regularization Methods for Training on Noisily Labeled Data with Generalization Guarantee
Princeton University（普林斯顿大学）
众所周知，通过简单的一阶方法训练的过度参数化深度神经网络能够拟合任何数据标签。当存在错误标记的训练样本时，这种过拟合能力阻碍了泛化。另一方面，在这些场景中，像早期停止这样的简单正则化方法通常可以在干净的测试数据上实现高度非平凡的性能，这是一种理论上无法理解的现象。本文提出并分析了两种简单直观的正则化方法：（i）通过网络参数与初始化之间的距离进行正则化;（ii）在每个训练样本的网络输出中添加一个可训练的辅助变量。从理论上讲，我们证明了这两种方法中的任何一种的梯度下降训练都会导致对干净数据分布的泛化保证，尽管使用噪声标签进行训练。我们的泛化分析依赖于宽神经网络和神经切线核（NTK）之间的连接。泛化界与网络规模无关，并且与没有标签噪声时的界相当。实验结果验证了这些方法在噪声标记数据集上的有效性。
2020-10-02 cs.LG cs.NE stat.ML
On Generalization and Regularization via Wasserstein Distributionally Robust Optimization
University of Science and Technology of China（中国科学技术大学）；University of Ottawa（渥太华大学）
本文证明在更一般的Wasserstein球和任意决策准则下可获得不受维度灾难影响的泛化界限与精确正则化等价性，为数据驱动决策问题提供了理论基础。
2024-12-19 cs.LG math.OC
Distributionally Robust Optimization and Generalization in Kernel Methods
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
分布鲁棒优化（DRO）由于其与正则化、泛化和鲁棒性的联系而在机器学习中受到关注。现有的工作已经考虑了不确定性集的基础上，φ发散和Wasserstein距离，其中每一个都有缺点。在本文中，我们研究了DRO的不确定性集通过最大平均差异（MMD）测量。我们表明，MMD DRO大致相当于希尔伯特范数的正则化，并且作为副产品，揭示了与统计学习中经典结果的深层联系。特别是，我们得到了另一种证明高斯核岭回归的泛化界通过一个DRO？这个证明还提出了一个新的正则化子。我们的结果适用于超越核方法：我们推导出一个通用的近似MMD DRO，并表明它概括了最近的工作方差为基础的正则化。
2019-05-27 cs.LG stat.ML
Understanding Generalization through Visualizations
University of Maryland（马里兰大学）
神经网络的强大之处在于它们能够概括看不见的数据，但这种现象的根本原因仍然难以捉摸。已经进行了许多严格的尝试来解释泛化，但可用的界限仍然相当松散，分析并不总是导致真正的理解。这项工作的目标是使泛化更直观。使用可视化方法，我们讨论了泛化的奥秘，损失景观的几何形状，以及维度的诅咒（或者说祝福）如何导致优化器陷入最小值，推广良好。
2020-11-15 cs.LG cs.NE stat.ML
Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization
SK Telecom（SK电讯）；mofl inc.（mofl公司）
用少量数据训练深度神经网络是一个具有挑战性的问题，因为它很容易过拟合。不过，我们经常面对的其中一个实际困难，是要收集很多样本。迁移学习是解决这一问题的一种经济有效的方法。通过使用大规模数据集训练的源模型，目标模型可以减轻由于缺乏训练数据而引起的过拟合。利用源模型的泛化能力，提出了在整个训练过程中利用源知识的几种方法。然而，这可能会限制目标模型的潜力，并且来自源的一些传递的知识可能会干扰训练过程。为了提高目标模型在训练样本较少的情况下的泛化性能，提出了一种基于样本的正则化方法（SBR），该方法在训练过程中不依赖于源模型的知识。利用SBR，我们提出了一个新的迁移学习训练框架。实验结果表明，我们的框架优于现有的方法在各种配置。
2020-07-10 cs.LG stat.ML
Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization
Stanford University（斯坦福大学）；Microsoft（微软）
过度参数化的神经网络在i.i.d.上的平均精度可以很高。测试集在非典型数据组上始终失败（例如，通过学习平均保持但在这样的组中不保持的伪相关性）。分布式鲁棒优化（DRO）允许我们学习模型，而不是在一组预定义的组上最小化最坏情况下的训练损失。然而，我们发现，天真地将组DRO应用于过参数化神经网络是失败的：这些模型可以完美地拟合训练数据，并且任何具有消失的平均训练损失的模型也已经具有消失的最坏情况训练损失。相反，较差的最坏情况性能来自于某些组的较差泛化。通过将组DRO模型与增加的正则化（比典型的L2惩罚或早期停止更强）相结合，我们实现了更高的最差组准确率，在自然语言推理任务和两个图像任务上提高了10-40个百分点，同时保持了较高的平均准确率。我们的研究结果表明，正则化是很重要的最坏的群推广的过参数化制度，即使它是不需要的平均推广。最后，我们引入了一个随机优化算法，收敛保证，有效地训练组DRO模型。
2020-04-02 cs.LG stat.ML
Principled Understanding of Generalization for Generative Transformer Models in Arithmetic Reasoning Tasks
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；ShanghaiTech University（上海科技大学）；University of Hong Kong（香港大学）；Fudan University（复旦大学）
本文提出统一理论框架，通过分析加法、乘法及模运算，揭示平移不变性与相对位置编码对长度泛化的作用，并经GPT系列实验验证，强调任务结构与数据分布的重要性。
2025-05-30 cs.AI cs.LG
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research（百度研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
为了提高深度神经网络（DNN）的泛化能力，对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础，并促进其在人工智能的不同领域的可用性。在本文中，我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用，并提出了一种新的正则化器，它植根于局部Rademacher复杂性（LRC）。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量，有助于提高统计学习方法的泛化能力，但广泛的研究表明，LRC，其对应的限制函数类，在有限的训练样本下，收敛速度更快，泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外，我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Optimization and Generalization of Regularization-Based Continual Learning: a Loss Approximation Viewpoint
DeepMind（深度思维）
神经网络在许多认知任务中取得了显著的成功。然而，当他们在不访问旧数据的情况下按顺序接受多个任务的训练时，他们在早期任务上的表现往往会显着下降。这个问题通常被称为灾难性遗忘，这是神经网络的持续学习中的一个关键挑战。基于正则化的方法是减轻灾难性遗忘的主要方法之一。在本文中，我们提供了一个新的观点，正则化为基础的持续学习，制定它作为一个二阶泰勒近似的损失函数的每个任务。这种观点导致了一个统一的框架，可以实例化，以获得许多现有的算法，如弹性权重合并和克罗内克因子拉普拉斯近似。基于这一观点，我们研究了优化方面（即，收敛）以及泛化特性（即，有限样本保证）的基于规则化的持续学习。我们的理论结果表明的重要性，准确逼近的海森矩阵。几个基准的实验结果提供了我们的理论研究结果的实证验证。
2021-02-08 cs.LG stat.ML
Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks
Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；New York University（纽约大学）；Facebook AI Research & Courant Institute（脸书人工智能研究和库朗研究所）
尽管现有的工作，以确保推广的神经网络的规模敏感的复杂性措施，如规范，利润和锐度，这些复杂性措施没有提供一个解释，为什么神经网络更好地推广过参数化。在这项工作中，我们提出了一种新的基于单位容量的复杂性度量，从而为双层ReLU网络提供了更严格的泛化范围。我们的容量界限与测试误差的行为相关，随着网络规模的增加，并且可以潜在地解释过度参数化在泛化方面的改进。我们进一步给出了Rademacher复杂度的匹配下界，该下界比之前的神经网络容量下界有所改进。
2018-05-30 cs.LG stat.ML
Towards Understanding the Generalization Bias of Two Layer Convolutional Linear Classifiers with Gradient Descent
Carnegie Mellon University（卡内基梅隆大学）
理解深度学习泛化的一个主要挑战是解释为什么（随机）梯度下降可以利用网络架构找到在使用高容量模型时具有良好泛化性能的解决方案。我们发现简单但现实的例子表明，即使在学习线性分类器时也存在这种现象-在两个具有相同容量的线性网络之间，当数据分布具有某种潜在的空间结构时，具有卷积层的网络可以比另一个网络更好地泛化。我们认为，这种差异是由卷积架构、数据分布和梯度下降的组合造成的，所有这些都是有意义的分析所必需的。我们提供了一个一般的分析的泛化性能作为数据分布和卷积滤波器大小的函数，给定的梯度下降的优化算法，然后解释使用具体的例子的结果。实验结果表明，我们的分析是能够解释发生在我们介绍的例子。
2019-02-10 cs.LG stat.ML
A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes
Spire Global（斯派尔全球）；Post Luxembourg（卢森堡邮政）；University of Luxembourg（卢森堡大学）
深度神经网络（DNN）通常使用各种形式的小批量梯度下降算法来优化。小批量梯度下降的一个主要动机是，通过适当选择的批量大小，可以最佳地利用（包括并行化）可用的计算资源进行快速模型训练。然而，许多作品报告了当训练批量大小增加超过一定限度时，模型泛化能力的逐渐丧失。这是一个通常被称为泛化差距的场景。虽然一些工作提出了不同的方法来缓解推广差距的问题，一个统一的解释理解推广差距仍然缺乏文献。这一点尤其重要，因为最近的研究发现，针对泛化缺口问题提出的几种解决方案，如学习率缩放和增加训练预算，并没有真正解决这个问题。因此，本文的主要论述是调查并提供新的视角，以研究大批量训练的DNN的泛化损失来源。我们的分析表明，大的训练批量会导致单元激活（即输出）张量的近秩损失增加，从而影响模型优化和泛化。使用CIFAR-10、CIFAR-100、Fashion-MNIST和MNIST数据集对流行的DNN模型（如VGG-16、残差网络（ResNet-56）和LeNet-5）进行了广泛的实验验证。
2022-10-21 cs.CV cs.LG
Understanding the Generalization of Adam in Learning Neural Networks with Proper Regularization
University of California, Los Angeles（加州大学洛杉矶分校）；The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）
Adam等自适应梯度方法在深度学习优化中越来越受欢迎。然而，已经观察到，与（随机）梯度下降相比，Adam可以收敛到不同的解决方案，在许多深度学习应用中（如图像分类），即使使用微调的正则化，测试误差也明显更差。在本文中，我们对这一现象提供了理论解释：我们证明了，在从相同的随机初始化开始学习过参数化的两层卷积神经网络的非凸设置中，对于一类数据分布，（受图像数据启发），Adam和梯度下降（GD）可以收敛到训练目标的具有可证明不同的泛化误差的不同全局解，即使使用权重衰减正则化。相比之下，我们表明，如果训练目标是凸的，并采用权重衰减正则化，任何优化算法，包括亚当和GD将收敛到相同的解决方案，如果训练成功。这表明Adam的较差泛化性能从根本上与深度学习优化的非凸景观有关。
2021-08-25 cs.LG math.OC stat.ML
Regularization Matters: Generalization and Optimization of Neural Nets v.s. their Induced Kernel
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
最近的工作表明，在充分过参数化的神经网络上，具有相对较大初始化的梯度下降优化了神经切线核（NTK）的RKHS中的预测函数。该分析导致全局收敛结果，但当存在标准的$\ell_2$正则化器时不起作用，这在实践中是有用的。我们表明，样本效率确实可以依赖于正则化的存在：我们构建了一个简单的分布在d维的最佳正则化神经网络学习$O(d)$样本，但NTK需要$Ω(d^2)$样本学习。为了证明这一点，我们建立了两个分析工具：i）对于多层前馈ReLU网络，我们证明了弱正则化交叉熵损失的全局最小值是所有神经网络中的最大归一化边缘解，这具有很好的推广性; ii）我们开发了一种新的技术来证明核方法的下界，这依赖于表明内核不能专注于信息特征。受推广结果的启发，我们研究了正则化的全局最优解是否可达。我们证明，对于无限宽的两层网络，噪声梯度下降优化正则化神经网络损失的多项式迭代的全局最小值。
2020-04-25 cs.LG stat.ML
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati（印度理工学院古瓦哈提分校）
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中，我们声称，使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明，由于卷积和最大池的信息损失可以边缘化的组合设计，提高泛化性能。此外，我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
On generalization bounds for deep networks based on loss surface implicit regularization
Komaba Institute for Science, the University of Tokyo（东京大学驹场科学研究所）；University of Twente（特文特大学）
经典的统计学习理论认为，拟合过多的参数会导致过拟合和性能下降。现代深度神经网络尽管有大量的参数，但仍能很好地泛化，这与这一发现相矛盾，并构成了解释深度学习成功的一个主要未解决的问题。虽然以前的工作集中在随机梯度下降（SGD）引起的隐式正则化，我们在这里研究如何局部最小值周围的能量景观的局部几何形状影响统计特性的SGD与高斯梯度噪声。我们认为，在合理的假设下，局部几何迫使SGD保持接近低维子空间，这会导致另一种形式的隐式正则化，并导致深度神经网络的泛化误差更严格。为了得到神经网络的推广误差界，我们首先引入了停滞集的概念，并施加一个局部本质凸性的人口风险。在这些条件下，下界SGD保持在这些停滞集。如果发生停滞，我们会推导出深度神经网络泛化误差的界，该界涉及权重矩阵的谱范数，但不涉及网络参数的数量。从技术上讲，我们的证明是基于控制SGD迭代中参数值的变化和经验损失函数的局部一致收敛，基于局部极小点周围合适邻域的熵。
2022-10-16 cs.LG stat.ML
Volumization as a Natural Generalization of Weight Decay
University of Tokyo（东京大学）；Tsinghua University（清华大学）；Kyoto University（京都大学）
我们提出了一种新的正则化方法，称为\textit{volumization}，神经网络。受物理学的启发，我们定义了神经网络中权值参数的物理体积，并证明了这种方法是正则化神经网络的一种有效方法。直观上，该方法在$L_2$和$L_\infty$正则化之间插值。因此，权重衰减和权值裁剪成为该算法的特例。我们证明，在一个玩具的例子，这种方法的本质是一个正则化技术来控制偏差方差权衡。该方法在标准权重衰减方法工作良好的类别中表现良好，包括提高网络的泛化能力和防止记忆。此外，我们表明，体积化可能会导致一个简单的方法来训练神经网络的重量是二元或三元。
2020-04-01 cs.LG stat.ML
Understanding Generalization in Diffusion Distillation via Probability Flow Distance
University of Michigan（密歇根大学）；University of Macau（澳门大学）；University of Chicago（芝加哥大学）
本研究通过引入概率流距离（PFD）度量标准，揭示了扩散蒸馏中泛化能力的关键行为，包括从记忆到泛化的缩放、双下降动态和偏差-方差分解。
2026-02-12 cs.CV cs.LG
Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach
Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Institute for AI Industry Research (AIR)（人工智能产业研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出RM-LoRA，通过正则化和梯度掩码提高低秩适配的内在维度，在相同或更少参数下提升大规模模型微调的泛化性能。
2024-07-16 cs.AI cs.LG
Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction
Princeton University（普林斯顿大学）
归一化层（例如，批量归一化、层归一化）被引入来帮助解决非常深的网络中的优化困难，但它们显然也有助于泛化，即使在不那么深的网络中。出于长期以来的信念，平坦的最小值导致更好的泛化，本文给出了数学分析和支持实验表明，归一化（连同伴随的重量衰减）鼓励GD，以减少损失表面的尖锐性。这里的“锐度”是仔细定义的，因为损失是尺度不变的，这是归一化的一个已知结果。具体来说，对于一个相当广泛的类神经网络与规范化，我们的理论解释了如何GD与有限的学习率进入所谓的边缘稳定（EoS）制度，并通过一个连续的尖锐度降低流的GD在这个制度的轨迹特征。
2023-01-17 cs.AI cs.LG
SGD Generalizes Better Than GD (And Regularization Doesn't Help)
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
在基本随机凸优化模型下，给出了随机梯度下降（SGD）和全批梯度下降（GD）推广性能的一个新的分离结果.虽然SGD是众所周知的，$O(1/ε^2)$迭代足以获得一个解决方案与$ε$超出预期的风险，我们表明，与相同数量的步骤GD可能过拟合和发射解决方案与$Ω(1)$泛化误差。此外，我们表明，实际上GD需要$Ω(1/ε^4)$迭代来匹配SGD的泛化性能，由于Basily等人（2020）的最近工作，这也是严格的。我们进一步讨论了如何正则化GD最小化的经验风险基本上不改变上述结果，并重新审视了稳定性，隐式偏差和学习算法在泛化中的作用的概念。
2021-06-29 cs.LG stat.ML
Understanding Regularization to Visualize Convolutional Neural Networks
Konica Minolta Laboratory Europe（柯尼卡美能达欧洲实验室）；Technical University of Munich（慕尼黑工业大学）
在过去的几年里，用于揭示由卷积神经网络学习的视觉概念的变分方法已经获得了极大的关注。基于通过反向传播获得的噪声梯度，这样的方法需要应用正则化策略。我们提出了一个数学框架，统一以前采用的正则化方法。在这个框架内，我们提出了一种新的技术，基于Sobolev梯度，可以通过卷积实现，不需要专门的数值处理，如总变分正则化。对特征反演和激活最大化进行的实验证明了统一正则化方法的好处，例如通过所提出的Sobolev滤波器进行更清晰的重建以及对重建尺度的更好控制。
2018-04-20 cs.LG stat.ML
The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks
Tsinghua University（清华大学）；University of Minnesota（明尼苏达大学）
神经网络中的一个关键问题是选择最合适的隐层神经元数目并获得严格的统计风险界。在这项工作中，我们提出了一个新的角度对偏差方差权衡神经网络。作为选择神经元数目的替代方案，我们从理论上证明了$L_1$正则化可以控制泛化误差并稀疏化输入维数。特别是，在输出层上使用适当的$L_1$正则化，网络可以产生接近最小最大最优的统计风险。此外，在输入层上适当的$L_1$正则化导致不涉及输入数据维度的风险边界。我们的分析是基于一个新的融合的基于维度和基于范数的复杂性分析，以限制泛化误差。从我们的研究结果中得出的一个结论是，在适当的正则化下，过多的神经元不一定会增加泛化误差。
2020-10-02 cs.LG stat.ML
A Benchmark for Systematic Generalization in Grounded Language Understanding
University of Amsterdam（阿姆斯特丹大学）；Massachusetts Institute of Technology（麻省理工学院）；ICREA（加泰罗尼亚高等研究院）；Facebook Artificial Intelligence Research（脸书人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
人类很容易理解由熟悉的部分组成的描述不熟悉情况的表达（“在摩天轮旁迎接粉红雷龙”）。相比之下，现代神经网络很难解释新的作品。在本文中，我们介绍了一个新的基准，gSCAN，用于评估成分概括在情境语言理解。gSCAN超越了专注于泛化的语法方面的相关基准，定义了一种基于网格世界状态的语言，促进了对获取语言动机规则的新评估。例如，代理人必须了解如何解释形容词，如“小”相对于当前的世界状态，或如何副词，如“谨慎”与新的动词结合。我们测试了一个强大的多模态基线模型和最先进的合成方法，发现在大多数情况下，当泛化需要系统的合成规则时，它们会显着失败。
2020-10-17 cs.AI cs.CL cs.LG
Towards Understanding Generalization of Macro-AUC in Multi-label Learning
Shandong University（山东大学）；Renmin University of China（中国人民大学）
本文研究多标签学习中 Macro-AUC 的泛化界，证明标签级类别不平衡是关键因素，并提出成对与重加权损失算法及新的 McDiarmid 型不等式。
2023-06-02 cs.LG stat.ML
Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
本文通过$k$-奇偶问题研究掩码扩散语言模型的泛化特性，理论分解其目标函数为信号和噪声两部分，并利用噪声作为隐式正则化器，通过优化掩码概率分布显著提升模型性能。
2026-06-02 cs.AI cs.LG
Powderworld: A Platform for Understanding Generalization via Rich Task Distributions
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出Powderworld，一个基于GPU的轻量级模拟环境，通过丰富任务分布研究泛化，实验显示环境复杂性对世界模型和强化学习智能体的泛化有不同影响。
2023-10-15 cs.AI cs.LG
Limitations of the NTK for Understanding Generalization in Deep Learning
MIT（麻省理工学院）；Harvard University（哈佛大学）；Apple（苹果公司）；UCSD（加州大学圣地亚哥分校）
"神经切线核"（NTK）（Jacot et al 2018）及其经验变体已被提出作为捕获真实神经网络某些行为的代理。在这项工作中，我们研究NTK通过镜头的缩放定律，并证明他们没有解释神经网络推广的重要方面。特别是，我们展示了现实的设置，有限宽度神经网络有显着更好的数据缩放指数相比，其相应的经验和无限NTK在初始化。这揭示了真实网络和NTK之间更根本的差异，而不仅仅是测试准确率的几个百分点。此外，我们表明，即使允许经验NTK在恒定数量的样本上进行预训练，内核缩放也不会赶上神经网络缩放。最后，我们表明，经验NTK继续发展，在整个大部分的培训，与以前的工作，这表明它稳定后，几个时代的培训。总而言之，我们的工作建立了NTK方法在理解自然数据集上真实网络的泛化方面的具体限制。
2022-06-20 cs.AI cs.LG
Towards understanding how momentum improves generalization in deep learning
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
具有动量的随机梯度下降（SGD）被广泛用于训练现代深度学习架构。虽然众所周知，使用动量可以在各种设置中导致更快的收敛速度，但也观察到动量产生更高的泛化。先前的工作认为，动量在训练过程中稳定了SGD噪声，这导致了更高的泛化能力。在本文中，我们采用了另一种观点，并首次实证表明，在某些深度学习问题中，与梯度下降（GD）相比，动量梯度下降（GD+M）显着提高了泛化能力。从这个观察，我们正式研究动量如何提高泛化。我们设计了一个二进制分类设置，其中一个隐藏层（过参数化）卷积神经网络与GD+M训练证明推广优于相同的网络与GD训练，当这两种算法类似地初始化。我们分析中的关键见解是，动量在数据集中是有益的，其中示例共享一些特征，但它们的边际不同。与记忆小边缘数据的GD相反，GD+M仍然学习这些数据中的特征，这要归功于其历史梯度。最后，我们实证验证我们的理论研究结果。
2022-07-13 cs.LG stat.ML
Interpolation can hurt robust generalization even when there is no noise
ETH Zurich（苏黎世联邦理工学院）；Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
最近的许多工作表明，overparameterization隐式减少方差的最小范数插值器和最大利润分类。这些发现表明，脊正则化在高维中具有消失的好处。我们通过证明即使在没有噪声的情况下，通过岭正则化避免插值也可以显着提高泛化能力来挑战这种说法。我们证明了这一现象的鲁棒风险的线性回归和分类，从而提供了第一个理论结果的鲁棒过拟合。
2021-12-16 cs.LG stat.ML
