Understanding and Combating Robust Overfitting via Input Loss Landscape Analysis and Regularization
对抗性训练被广泛用于提高深度神经网络对对抗攻击的鲁棒性。然而，对抗性训练很容易出现过拟合，原因还远不清楚。这项工作通过分析损失景观w.r.t.揭示了过度拟合的机制。输入.我们发现，鲁棒的过拟合来自标准训练，特别是最小化干净的损失，并且可以通过损失梯度的正则化来减轻。此外，我们发现，鲁棒过拟合在对抗训练过程中变得更加复杂，部分原因是由于损失景观曲率的增加，对抗训练的梯度正则化效果变得更弱。为了提高鲁棒泛化能力，我们提出了一种新的正则化器，通过惩罚沿对抗方向的加权logits变化来平滑损失景观。我们的方法显着减轻鲁棒过拟合，并实现了最高的鲁棒性和效率相比，类似的以前的方法。代码可在https://github.com/TreeLLi/Combating-RO-AdvLC上获得。
2022-12-09 cs.LG
Understanding Catastrophic Overfitting in Single-step Adversarial Training
Seoul National University（首尔大学）
虽然快速对抗训练已经证明了鲁棒性和效率，但已经观察到“灾难性过拟合”的问题。这是一种现象，在单步的【形】对抗训练期间，针对投影梯度下降（PGD）的鲁棒准确度在几个时期后突然下降到0%，而针对快速梯度符号方法（FGSM）的鲁棒准确度增加到100%。本文证明了灾难性过拟合与单步的【形】对抗训练的特性密切相关，这种训练只使用具有最大扰动的对抗样本，而不是所有对抗样本都在对抗方向上，从而导致决策边界失真和高度弯曲的损失曲面。基于这一观察结果，我们提出了一种简单的方法，不仅可以防止灾难性的过拟合，而且还可以克服单步的【形】对抗训练难以防止多步对抗攻击的信念。
2020-12-15 cs.LG eess.IV stat.ML
Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting
本文探讨了 p > n 时最小二乘估计及其变体与新观测预测问题，通过符号变更讨论过拟合，并阐明双重下降现象。
2025-09-17 cs.LG math.ST stat.ML
Overfitting or Underfitting? Understand Robustness Drop in Adversarial Training
University of California San Diego（加利福尼亚大学圣地亚哥分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们的目标是理解为什么在进行对抗训练太长时间后，鲁棒性会下降。虽然这种现象通常被解释为过拟合，我们的分析表明，其主要原因是扰动欠拟合。我们观察到，经过太长时间的训练，FGSM产生的扰动恶化为随机噪声。直觉上，由于没有参数更新来加强扰动发生器，一旦这个过程崩溃，它可能会陷入这种局部最优。此外，简化该过程可以在很大程度上避免鲁棒性下降，这支持这种现象是由欠拟合而不是过拟合引起的。根据我们的分析，我们提出了APART，一个自适应对抗训练框架，它参数化扰动生成并逐步加强它们。屏蔽扰动，使其不受欠拟合的影响，释放了我们框架的潜力。在我们的实验中，APART提供了与PGD-10相当甚至更好的鲁棒性，而计算成本仅为其1/4。
2020-10-15 cs.AI cs.CV cs.LG
Balance, Imbalance, and Rebalance: Understanding Robust Overfitting from a Minimax Game Perspective
Department of Engineering, University of Cambridge（剑桥大学工程系）；School of Mathematical Sciences, Peking University（北京大学数学科学学院）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Peng Cheng Laboratory（鹏城实验室）
本文从极小极大博弈视角揭示对抗训练中学习率衰减导致训练者与攻击者失衡并引发鲁棒过拟合，进而提出再平衡对抗训练ReBAT以缓解该问题。
2023-10-30 cs.AI cs.CV cs.LG
Understanding Robust Overfitting of Adversarial Training and Beyond
The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；JD Explore Academy（京东探索研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University of Science and Technology（南京理工大学）；The University of Melbourne（墨尔本大学）
鲁棒过拟合广泛存在于深度网络的对抗性训练中。其确切的根本原因仍然没有完全弄清楚。本文通过比较\emph{non-overfit}（弱对手）和\emph{overfitted}（强对手）对抗训练的数据分布，探讨了鲁棒过拟合的原因，观察到弱对手生成的对抗数据分布主要包含小损失数据。然而，由强对手产生的对抗性数据在大损失数据和小损失数据上的分布更加分散。考虑到这些观察结果，我们进一步设计了数据消融对抗训练，并确定一些不值得对手强度的小损失数据在强对手模式下导致鲁棒过拟合。为了缓解这个问题，我们提出了\emph{minimum loss constrained adversarial training}（MLCAT）：在一个小批量中，我们像往常一样学习大损失数据，并采取额外的措施来增加小损失数据的损失。从技术上讲，MLCAT在数据拟合变得容易学习时会阻碍数据拟合，以防止鲁棒过拟合;从技术上讲，MLCAT体现了变废为宝，充分利用每一个对抗数据的精神;从算法上讲，我们设计了MLCAT的两种实现，大量的实验表明，MLCAT可以消除鲁棒过拟合，进一步提高对抗鲁棒性。
2022-06-22 cs.AI cs.LG
Effective Regularization Through Loss-Function Metalearning
Cognizant AI Lab（Cognizant AI实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文从理论上解释 TaylorGLO 元学习损失函数为何能正则化神经网络，并提出可用于设计更有效、更鲁棒损失函数的约束原则。
2025-06-11 cs.LG cs.NE stat.ML
Towards an Understanding of Benign Overfitting in Neural Networks
University College London（伦敦大学学院）；Nanjing University（南京大学）
现代机器学习模型通常使用大量的参数，并且通常被优化为零训练损失;但令人惊讶的是，它们具有接近最佳的预测性能，这与经典学习理论相矛盾。我们研究了这些良性的过拟合现象是如何发生在一个两层神经网络设置样本协变量与噪声损坏。我们解决了高维制度，其中数据维度$d$随着数据点的数量$n$而增长。我们的分析结合了偏差的上限和方差的匹配上限和下限（内插数据的估计量）。这些结果表明，在温和的条件下，过度学习的风险衰减。我们进一步证明，双层ReLU网络可以实现接近最小最优的学习率，据我们所知，这是此类网络的第一个推广结果。最后，我们的理论预测，一旦参数$s$的数量超过$O(n^2)$，过度学习风险开始增加，与最近的实证研究结果相匹配。
2021-06-06 cs.LG stat.ML
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Understanding Robust Overfitting from the Feature Generalization Perspective
The University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；Hong Kong Baptist University（香港浸会大学）
本文从特征泛化视角研究鲁棒过拟合，发现对抗扰动会降低自然数据特征的泛化能力，并提出通过调整攻击强度和数据增强来缓解过拟合并提升对抗鲁棒性。
2024-07-29 cs.LG
Understanding Dropout as an Optimization Trick
Handong Global University（韩东大学）
作为训练深度神经网络的标准方法之一，dropout已被应用于正则化大型模型以避免过拟合，并且dropout对性能的改善已被解释为避免节点之间的自适应。然而，当在训练有或没有dropout的网络后比较节点之间的相关性时，如果共同适应避免完全解释了dropout效应，就会出现一个问题。在本文中，我们提出了一个额外的解释，为什么辍学工程，并提出了一种新的技术来设计更好的激活函数。首先，我们可以解释为一种优化技术，通过加速梯度信息流动，甚至在反向传播的饱和区域，将输入推向非线性激活函数的饱和区域。基于这种解释，我们提出了一种新的技术，激活函数，{ \em梯度加速激活函数（GAAF）}，加速梯度流动，即使在饱和区。然后，激活函数的输入可以爬上饱和区域，这使得网络更鲁棒，因为模型收敛于平坦区域。实验结果支持我们的解释辍学，并确认所提出的GAAF技术提高了图像分类的性能与预期的属性。
2019-10-09 cs.LG stat.ML
ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization
University of Chinese Academy of Science（中国科学院大学）；Sichuan University（四川大学）
针对神经网络过拟合，提出即插即用的正则化组件ConsistentFeature，通过约束同一训练集随机子集的特征差异，适用于多种架构与任务，有效降低过拟合，提升精度。
2025-01-24 cs.LG
Understanding the Overfitting of the Episodic Meta-training
Xi’an Jiaotong University（西安交通大学）
本文针对少样本分类情景元训练中的过拟合问题，提出用知识蒸馏约束教师与学生模型输出分布的SKL散度，并进一步设计NNSKL散度，结合两者显著提升模型在多个基准上的少样本分类性能。
2023-07-07 cs.CV cs.LG
Understanding Catastrophic Overfitting in Adversarial Training
ETH Zurich（苏黎世联邦理工学院）；Institute for Machine Learning（机器学习研究所）
最近，FGSM对抗训练被发现能够训练一个强大的模型，这是一个由PGD训练，但一个数量级更快。然而，存在一种称为灾难性过拟合（CO）的故障模式，即分类器在训练过程中突然失去鲁棒性，并且很难自行恢复。在本文中，我们发现CO不仅限于FGSM，也发生在$\mbox{DF}^{\infty}$ -1对抗训练。然后，我们分析了FGSM和$\mbox{DF}^{\infty}$ -1的几何性质，发现它们在CO之后有完全不同的决策边界。对于FGSM，沿着扰动方向产生了一个新的决策边界，使得小扰动比大扰动更有效。而对于$\mbox{DF}^{\infty}$-1，沿扰动方向没有产生新的决策边界，相反，由$\mbox{DF}^{\infty}$ -1产生的扰动在CO之后变得更小，从而失去其有效性。在此基础上，我们对RS-FGSM模型进行了修正，使扰动不投射到$l_\infty$球上。通过这个小的修改，我们可以实现$47.56 \pm 0.37\% $ PGD-50-10的CIFAR 10与$ε=8/255$相比，$43.57 \pm 0.30\% $的RS-FGSM的准确性，也进一步扩展$ε$的工作范围从8/255到11/255的CIFAR 10没有CO发生。
2021-05-06 cs.CV cs.LG
Exploiting the Full Capacity of Deep Neural Networks while Avoiding Overfitting by Targeted Sparsity Regularization
Westfälische Wilhelms-Universität Münster（明斯特大学）
过度拟合是在相对较小的数据集上训练深度神经网络时最常见的问题之一。在这里，我们证明了神经网络激活稀疏性是过拟合的可靠指标，我们利用它来提出新的有针对性的稀疏性可视化和正则化策略。基于这些策略，我们能够以有针对性的逐层方式理解和抵消由激活稀疏性和滤波器相关性引起的过拟合。我们的研究结果表明，有针对性的稀疏正则化可以有效地用于正则化众所周知的数据集和架构，显着提高图像分类性能，同时优于dropout和批量归一化。最终，我们的研究揭示了对激活稀疏性和网络容量这两个矛盾概念的新见解，证明了有针对性的稀疏性正则化能够实现显著和有区别的特征学习，同时利用深度模型的全部容量，即使在过度训练的情况下也不会出现过度拟合。
2020-02-21 cs.CV cs.LG stat.ML
A Study on Overfitting in Deep Reinforcement Learning
近年来，深度强化学习（RL）取得了重大进展。借助大规模神经网络、精心设计的架构、新颖的训练算法和大规模并行计算设备，研究人员能够解决许多具有挑战性的强化学习问题。然而，在机器学习中，更多的训练能力伴随着更多过拟合的潜在风险。随着深度强化学习技术被应用于医疗保健和金融等关键问题，了解经过训练的智能体的泛化行为非常重要。在本文中，我们对标准RL代理进行了系统的研究，发现它们可以以各种方式过拟合。此外，过拟合可能“稳健地”发生：RL中常用的添加随机性的技术不一定能防止或检测过拟合。特别是，相同的智能体和学习算法可能具有截然不同的测试性能，即使它们在训练期间都获得了最佳奖励。这些观察结果要求在RL中制定更有原则和更仔细的评估协议。最后，我们对强化学习中的过拟合进行了一般性的讨论，并从归纳偏差的角度对泛化行为进行了研究。
2018-04-20 cs.LG stat.ML
Theory of Deep Learning III: explaining the non-overfitting puzzle
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）；GoogleX（谷歌X实验室）；Center for Brains, Minds and Machines, MIT（麻省理工学院大脑、心智与机器中心）；IIT（意大利理工学院）；Claremont Graduate University（克莱蒙特研究生大学）；Alphabet (Google) X（Alphabet（谷歌）X实验室）
深度网络的一个主要难题是，尽管有大量的过度参数化，尽管在随机标记的数据上零训练错误证明了大容量，但仍然没有过度拟合。本文证明了非线性网络的梯度下降最小化的动力学在经验误差的渐近稳定最小值附近拓扑等价于具有退化（平方损失）或几乎退化（逻辑或交叉熵损失）Hessian的二次势中的线性梯度系统。该命题依赖于动力系统的定性理论，并得到数值结果的支持。我们的主要命题扩展到深度非线性网络的线性网络的梯度下降的两个性质，最近已经建立（1）是其推广性质的关键：1。梯度下降强制执行由迭代次数控制的隐式正则化形式，并且对于适当的梯度下降初始条件，渐进地收敛到最小范数解。这意味着，通常存在一个最佳的早期停止，以避免过度拟合的损失。这一性质对平方损失和许多其他损失函数都有效，尤其与回归有关。2.对于分类，渐近收敛到最小范数解意味着收敛到最大间隔解，这保证了“低噪声”数据集的良好分类误差。该性质适用于损失函数，例如独立于初始条件的逻辑和交叉熵损失。过度参数化的鲁棒性对深度卷积网络架构在维度灾难方面的鲁棒性具有暗示性意义。
2018-01-16 cs.LG
Benign Overfitting in Two-layer Convolutional Neural Networks
The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, San Diego（加州大学圣地亚哥分校）
现代神经网络通常具有很强的表达能力，并且可以被训练为过拟合训练数据，同时仍然实现良好的测试性能。这种现象被称为“良性过拟合”。近年来，出现了一系列从理论角度研究“良性过拟合”的著作。然而，它们仅限于线性模型或核/随机特征模型，并且仍然缺乏关于何时以及如何在神经网络中发生良性过拟合的理论理解。在本文中，我们研究了在训练一个两层卷积神经网络（CNN）的良性过拟合现象。我们表明，当信噪比满足一定条件时，通过梯度下降训练的两层CNN可以实现任意小的训练和测试损失。另一方面，当该条件不成立时，过拟合变得有害，并且所获得的CNN只能实现恒定水平的测试损失。这些共同证明了由信噪比驱动的良性过拟合和有害过拟合之间的急剧相变。据我们所知，这是第一项精确描述在训练卷积神经网络时可能发生良性过拟合的条件的工作。
2022-06-14 cs.LG math.OC stat.ML
Understanding and Improving Fast Adversarial Training
EPFL（洛桑联邦理工学院）；Theory of Machine Learning Lab（机器学习理论实验室）
最近的一项工作重点是使对抗训练在计算上有效地用于深度学习模型。特别是，Wong等人（2020）表明，$\ell_\infty$ -使用快速梯度符号方法（FGSM）的对抗训练可能会由于一种称为“灾难性过拟合”的现象而失败，当模型在单个训练时期内迅速失去鲁棒性时。我们表明，如Wong等人（2020）提出的那样，向FGSM添加随机步骤并不能防止灾难性的过拟合，并且随机性本身并不重要-其主要作用只是降低扰动的幅度。此外，我们证明了灾难性的过拟合不是深度和过参数化网络所固有的，而是可能发生在具有几个滤波器的单层卷积网络中。在极端情况下，即使是单个滤波器也会使网络局部高度非线性，这是FGSM训练失败的主要原因。基于这一观察，我们提出了一种新的正则化方法，GradAlign，通过显式地最大化扰动集内的梯度对齐来防止灾难性的过拟合，并提高了FGSM解决方案的质量。因此，GradAlign允许成功地将FGSM训练应用于更大的$\ell_\infty$扰动，并减少与多步对抗训练的差距。我们的实验代码可在https://github.com/tml-epfl/understanding-fast-adv-training上获得。
2020-10-24 cs.CR cs.CV cs.LG
Benign Overfitting in Out-of-Distribution Generalization of Linear Models
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本文研究了协变量偏移下过参数化线性模型的分布外泛化中的良性过拟合现象，证明了标准岭回归在特定结构条件下可实现良性过拟合，并发现主成分回归在更一般协方差矩阵下能达到更快的过剩风险收敛速率。
2024-12-19 cs.LG stat.ML
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data
UC Berkeley（伯克利大学）；Stanford University（斯坦福大学）
本文证明两层神经网络在含噪标签和良好分离的类条件对数凹分布下，通过梯度下降训练可实现零训练误差并达到极小极大最优测试误差，首次在完全非线性模型与学习动态下建立了良性过拟合理论。
2025-07-02 cs.LG math.ST stat.ML
BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models
Tsinghua University（清华大学）；UC San Diego（加州大学圣迭戈分校）
针对LoRA微调易过拟合问题，提出基于双层优化的BiLoRA框架，通过伪奇异值分解分离训练向量和值以降低单一数据集过拟合风险，在10个数据集上显著优于现有微调方法。
2024-03-19 cs.CL cs.LG
The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks
Stanford University（斯坦福大学）；Google（谷歌）；University of California, Berkeley（加州大学伯克利分校）
最近神经网络模型的成功揭示了一个相当令人惊讶的统计现象：完美拟合噪声数据的统计模型可以很好地推广到看不见的测试数据。理解这种现象的$\textit{benign overfitting}$吸引了大量的理论和实证研究。本文研究了在平方损失下用梯度流训练的插值两层线性神经网络，并在协变量满足次高斯性和反集中性，噪声独立且次高斯的条件下，得到了超额风险的界.通过利用最近的结果，该估计的隐式偏差的特点，我们的边界强调的作用，初始化的质量以及数据的协方差阵的属性，在实现低超额风险。
2022-09-09 cs.LG math.ST stat.ML
Benign Overfitting for General Norms and Distributions
Weizmann Institute of Science（魏茨曼科学研究所）；University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
本文提出一种分析一般范数与次高斯分布下线性回归良性过拟合的方法，证明p>1时最小p-范数插值可良性过拟合，而1-范数在非高斯分布下不成立，揭示现有结果对高斯性的依赖。
2026-09-29 cs.LG stat.ML
Understanding overfitting in random forest for probability estimation: a visualization and simulation study
KU Leuven（鲁汶大学）；University of Oxford（牛津大学）；University Hospitals Leuven（鲁汶大学医院）；LMU Munich（慕尼黑大学）；Leiden University Medical Centre（莱顿大学医学中心）
本文通过真实案例可视化和192种场景的模拟研究，揭示随机森林在概率估计中通过学习训练集事件周围的局部概率峰值导致训练c统计量接近1的过拟合现象，并表明使用较大最小节点大小而非完全生长树更有利于测试集概率估计。
2024-09-30 cs.CY cs.LG stat.ME
Noisy Interpolation Learning with Shallow Univariate ReLU Networks
TTI-Chicago（芝加哥理工学院）；Hebrew University（希伯来大学）
本文首次严格分析了单变量两层ReLU网络在最小范数回归中的过拟合行为，发现用$L_1$损失衡量时过拟合是温和的，但在$L_2$损失或对训练集取期望时则呈现灾难性。
2024-03-21 cs.LG
Benign, Tempered, or Catastrophic: A Taxonomy of Overfitting
UC San Diego（加利福尼亚大学圣迭戈分校）；UC Berkeley（加利福尼亚大学伯克利分校）；Apple（苹果公司）
本文提出过拟合三分类（良性、温和、灾难性），指出神经网络等实际插值方法多属温和过拟合，并给出核回归条件及深度网络实证验证。
2024-07-15 cs.AI cs.CV cs.LG
A Classical View on Benign Overfitting: The Role of Sample Size
ETH Zürich（苏黎世联邦理工学院）；Amazon（亚马逊）
本文提出近乎良性过拟合视角，分析样本量与模型复杂度的相互作用，并通过核岭回归和梯度流训练的两层ReLU网络证明经典情形下也可趋近贝叶斯最优泛化。
2025-05-16 cs.AI cs.LG stat.ML
Overfitting Mechanism and Avoidance in Deep Neural Networks
Florida State University（佛罗里达州立大学）
在数据可用性和高性能计算的帮助下，深度学习技术在困难任务（包括对象识别、语音识别和自然语言处理）方面取得了突破，并在经验上超过了人类的表现。由于它们被用于关键应用程序中，因此必须了解其成功和局限性的基本机制。在本文中，我们表明，过拟合，在深神经网络的基本问题之一，是由于连续梯度更新和交叉熵损失的规模敏感性。通过将样本分为正确和错误分类的样本，我们发现它们的行为非常不同，其中正确的样本损失减少，而不正确的样本损失增加。此外，通过分析训练过程中的动态，我们提出了一种基于共识的分类算法，使我们能够避免过度拟合，并显着提高分类精度，特别是当训练样本的数量是有限的。由于每个训练的神经网络依赖于外部因素，如初始值以及训练数据，需要多个模型之间的共识大大减少了外部因素;对于统计独立的模型，减少是指数。与集成算法相比，该算法通过不对模糊输入进行分类来避免过度泛化。系统实验结果验证了该算法的有效性。例如，仅使用来自MNIST数据集的1000个训练样本，所提出的算法实现了95%的准确率，显著高于任何单个模型，其中90%的测试样本被分类。
2019-01-19 cs.LG cs.NE stat.ML
Subspace Adversarial Training
Shanghai Jiao Tong University（上海交通大学）
单步对抗训练（AT）因其高效和鲁棒性而受到广泛关注。然而，存在灾难性过拟合的严重问题，即，在训练过程中，对投影梯度下降（PGD）攻击的鲁棒准确率突然下降到0%。本文从一个新的优化角度来研究这个问题，首次揭示了每个样本的快速增长梯度与过拟合之间的密切联系，这也可以用于理解多步AT中的鲁棒过拟合。为了控制梯度的增长，我们提出了一种新的AT方法，子空间对抗训练（Sub-AT），它将AT约束在一个精心提取的子空间中。它成功地解决了这两种过拟合，并显着提高了鲁棒性。在子空间中，我们还允许单步AT具有更大的步长和更大的半径，进一步提高鲁棒性性能。因此，我们实现了最先进的单步AT性能。在没有任何正则化项的情况下，我们的单步AT可以在CIFAR-10上抵抗半径为8/255的强PGD-50攻击，达到超过51%的鲁棒精度，与标准的多步PGD-10 AT相比，具有巨大的计算优势。代码发布于https://github.com/nblt/Sub-AT。
2022-03-22 cs.LG
Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method
Tianjin University（天津大学）；The Open University（开放大学）
虽然深层结构保证了深度网络（DNN）强大的表达能力，但它也引发了严重的过拟合问题。为了提高DNN的泛化能力，人们开发了许多策略来提高隐藏单元之间的多样性。然而，大多数这些策略是经验和启发式的，在缺乏多样性度量的理论推导或从多样性到泛化能力的明确联系的情况下。在本文中，从信息论的角度来看，我们引入了一个新的定义冗余描述的多样性隐藏单元下监督学习设置形式化的推广能力的互信息的隐藏层的影响。我们证明了定义的冗余和泛化能力之间存在相反的关系，即，冗余的减少通常提高了泛化能力。实验结果表明，采用冗余度作为正则化算子的DNN能有效地减少过拟合，降低泛化误差，很好地支持了上述观点。
2021-04-03 cs.AI cs.LG physics.app-ph
Understanding Adversarial Training with Energy-based Models
OmnAI Lab research group（OmnAI实验室研究组）；Sapienza University of Rome（罗马萨皮恩扎大学）；CVLab（计算机视觉实验室）；University of Bologna（博洛尼亚大学）；Eustema S.p.A.（Eustema公司）
本文通过基于能量的模型（EBM）框架分析对抗训练中的过拟合现象，发现样本能量变化与过拟合高度相关，提出Delta Energy Regularizer (DER)有效缓解灾难性和鲁棒过拟合，并改进了鲁棒分类器的生成能力。
2025-05-28 cs.CV cs.LG
Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University（林雪平大学）
本文研究两层线性神经网络中的逐轮双下降，推导梯度流并识别除输入方差外，输入-输出协方差矩阵奇异值作为新影响因素，向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
Multi-Epoch Learning for Deep Click-Through Rate Prediction Models
KuaiShou Technology（快手科技）
针对深度CTR模型单轮次过拟合问题，本文提出多轮次学习框架MEDA，通过每轮重新初始化嵌入层实现数据增强，在多个公开数据集及快手真实场景中显著优于传统单轮次训练。
2023-05-31 cs.IR cs.LG
Learning sparse features can lead to overfitting in neural networks
Institute of Physics（物理研究所）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
人们普遍认为，深度网络的成功在于它们能够学习数据特征的有意义的表示。然而，理解这种特征学习何时以及如何提高性能仍然是一个挑战：例如，它对训练图像分类的现代架构是有益的，而对于在相同数据上为相同任务训练的完全连接的网络则是有害的。在这里，我们提出了一个解释这个难题，通过显示特征学习可以比懒惰训练（通过随机特征内核或NTK）表现得更差，因为前者可以导致更稀疏的神经表示。虽然稀疏性对于学习各向异性数据是必不可少的，但当目标函数在输入空间的某些方向上是常数或平滑时，它是有害的。我们说明这种现象在两个设置：（i）回归高斯随机函数的d维单位球和（ii）分类的基准数据集的图像。对于（i），我们计算了泛化误差与训练点数量的比例，并表明即使输入空间的维数很大，不学习特征的方法也能更好地泛化。对于（ii），我们凭经验表明，学习功能确实可以导致稀疏，从而不太平滑的图像预测表示。这一事实可能导致性能恶化，已知性能与沿仿射的平滑性相关。
2022-10-12 cs.LG stat.ML
Catastrophic overfitting can be induced with discriminative non-robust features
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Oxford（牛津大学）；Naver Labs Europe（Naver欧洲实验室）；ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems, Tuebingen（图宾根马克斯·普朗克智能系统研究所）；Five AI Ltd.（Five AI有限公司）
本文通过向自然图像数据集注入判别性非鲁棒特征，证明单步对抗训练可在更小ε下诱发灾难性过拟合，并揭示其学习捷径机制。
2023-08-15 cs.AI cs.CV cs.LG
Catastrophic Overfitting, Entropy Gap and Participation Ratio: A Noiseless $l^p$ Norm Solution for Fast Adversarial Training
New York University of Abu Dhabi（纽约阿布扎比分校）；Department of Civil and Urban Engineering（土木与城市工程系）；NYU Tandon School of Engineering（纽约大学坦顿工程学院）
本文提出基于 $l^p$ 范数的无噪声方法，通过量化梯度集中度和熵测度，自动调整训练范数以缓解灾难性过拟合问题，无需额外正则化或噪声注入。
2026-10-26 cs.AI cs.LG
Can overfitted deep neural networks in adversarial training generalize? -- An approximation viewpoint
The University of Hong Kong（香港大学）；University of Warwick（华威大学）；KU Leuven（鲁汶大学）
本文从近似理论视角证明，对抗训练中的过拟合 DNN 在数据可分、目标函数光滑等条件下仍可良好泛化，且线性过参数化即可，但鲁棒泛化差距不可避免。
2024-01-24 cs.LG stat.ML
Double Descent and Overfitting under Noisy Inputs and Distribution Shift for Linear Denoisers
University of Michigan（密歇根大学）
该研究针对线性降噪器在噪声输入和分布偏移下的过拟合现象，推导出测试误差的实例特定表达式，发现双重下降行为，并通过实验验证了理论预测。
2024-03-14 cs.LG math.ST stat.ML
Understanding the Distributions of Aggregation Layers in Deep Neural Networks
University of Surrey（萨里大学）
聚合过程在几乎所有的深度网络模型中都普遍存在。它是一种重要的机制，可以将深度特征整合为更紧凑的表示，同时提高过拟合的鲁棒性并在深度网络中提供空间不变性。特别是，全局聚合层与DNN输出层的接近程度意味着聚合特征对深度网络的性能有直接影响。使用信息论方法可以更好地理解这种关系。然而，这需要聚合层的激活分布的知识。为了实现这一目标，我们提出了一种新的数学公式，用于分析建模与深度特征聚合相关的层的输出值的概率分布。一个重要的成果是我们能够分析预测DNN中输出节点的KL发散。我们还通过实验验证了我们的理论预测与一系列不同分类任务和数据集的经验观察。
2021-07-09 cs.CV cs.LG
Understanding and Increasing Efficiency of Frank-Wolfe Adversarial Training
Massachusetts Institute of Technology Lincoln Laboratory（麻省理工学院林肯实验室）
深度神经网络很容易被称为对抗攻击的小扰动所欺骗。对抗训练（AT）是一种近似解决鲁棒优化问题以最小化最坏情况损失的技术，被广泛认为是最有效的防御方法。由于在AT过程中生成强对抗性示例的计算时间很长，因此已经提出了单步方法来减少训练时间。然而，这些方法遭受灾难性的过拟合，其中对抗准确性在训练期间下降，并且尽管已经提出了改进，但它们增加了训练时间，并且鲁棒性远远低于多步AT。我们开发了一个具有FW优化的对抗训练（FW-AT）的理论框架，该框架揭示了$\ell_\infty$ FW攻击的损失景观和$\ell_2$失真之间的几何关系。我们分析表明，FW攻击的高失真相当于攻击路径上的小梯度变化。然后在各种深度神经网络架构上进行实验，证明针对健壮模型的$\ell_\infty$攻击接近最大失真，而标准网络的失真较低。实验表明，灾难性过拟合与FW攻击的低失真密切相关。这种数学透明度将FW与投影梯度下降（PGD）优化区分开来。为了证明我们的理论框架的实用性，我们开发了FW-AT-Adapt，这是一种新型的对抗训练算法，它使用简单的失真度量来适应训练过程中的攻击步骤数量，以提高效率而不影响鲁棒性。FW-AT-Adapt提供了与单步快速AT方法相当的训练时间，并缩小了快速AT方法和多步PGD-AT之间的差距，在白盒和黑盒设置中对抗准确性损失最小。
2022-03-25 cs.CV cs.LG
Understanding and Improvement of Adversarial Training for Network Embedding from an Optimization Perspective
Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Beijing Normal University（北京师范大学）
网络嵌入的目的是学习一个函数，将节点映射到欧几里得空间，有助于网络上的多个学习分析任务。然而，真实世界网络背后的噪声信息和过拟合问题都会对嵌入向量的质量产生负面影响。为了解决这些问题，研究人员利用对抗训练网络嵌入（AdvTNE）并实现最先进的性能。与主流方法对网络结构或数据特征进行扰动不同，AdvTNE直接对模型参数进行扰动，这为理解其背后的机制提供了新的机会。在本文中，我们解释AdvTNE理论从优化的角度。考虑到网络的幂律特性和优化目标，分析了其优良性能的原因。根据上述分析，我们提出了一种新的激活，以提高性能的AdvTNE。我们在四个真实网络上进行了大量的实验，以验证我们的方法在节点分类和链接预测的有效性。结果表明，我们的方法是优于国家的最先进的基线方法。
2021-12-15 cs.LG
Adversarial Training Should Be Cast as a Non-Zero-Sum Game
University of Pennsylvania（宾夕法尼亚大学）；EPFL（洛桑联邦理工学院）
本文指出对抗训练中常用的替代松弛方法会失效，提出非零和双层对抗训练公式，使每个玩家优化不同目标，达到与标准算法相当的鲁棒性且避免鲁棒过拟合。
2024-03-18 cs.LG math.OC stat.ML
Theory IIIb: Generalization in Deep Networks
Alphabet (Google) X（Alphabet（谷歌）X）；Center for Brains, Minds and Machines, MIT（麻省理工学院大脑、心智与机器中心）
深度神经网络（DNN）的一个主要难题是明显缺乏“过拟合”，在本文中定义如下：当增加神经元数量或梯度下降的迭代次数时，预期误差不会变得更糟。这是令人惊讶的，因为DNN表现出的适应随机标记数据的大容量和显式正则化的缺乏。Srebro等人最近的结果为二元分类中使用的线性网络的难题提供了令人满意的解决方案。他们证明，最小化的损失函数，如逻辑，交叉熵和exp-loss产量渐近，“慢”收敛到线性可分数据集的最大利润解决方案，独立的初始条件。在这里，我们证明了一个类似的结果，非线性多层DNN接近零最小值的经验损失。该结果适用于指数型损失，但不适用于平方损失。特别地，我们证明了深度网络的每一层的权重矩阵在比例因子（在可分离的情况下）下收敛到最小范数解。我们的分析动力系统对应的多层网络的梯度下降提出了一个简单的标准排名的泛化性能的经验损失的不同的零极小。
2018-06-29 cs.AI cs.LG cs.NE
Understanding the Benefits of Image Augmentations
University of Rochester（罗切斯特大学）
该研究用CKA方法探究图像增强对ResNet不同层的影响，发现影响模式与模型深度、增强类型及初始化方式相关，为网络微调和层冻结等应用提供依据。
2023-06-09 cs.CV cs.LG eess.IV
The Impact of Background Removal on Performance of Neural Networks for Fashion Image Classification and Segmentation
KTH Royal Institute of Technology（瑞典皇家理工学院）；Norna（诺尔纳公司）
本文研究背景移除对时尚图像分类与分割模型性能的影响，发现其能提升浅层网络准确率最高5%，但与深度网络中的批归一化、预训练初始化和数据增强不兼容，反而增加过拟合风险。
2024-05-07 cs.AI cs.CV cs.LG
