Benign Overfitting in Token Selection of Attention Mechanism
Department of Computer Science, The University of Tokyo, Tokyo, Japan（东京大学计算机科学系）
该研究聚焦带标签噪声分类任务中注意力机制的token选择问题，理论证明其可借助信噪比表征实现良性过拟合，还发现过拟合后延迟泛化的现象，并通过合成与真实数据集实验验证了结论。
2025-05-17 cs.LG
Control of Overfitting with Physics
Steklov Mathematical Institute of Russian Academy of Sciences（俄罗斯科学院斯捷克洛夫数学研究所）；Ivannikov Institute for System Programming of the Russian Academy of Sciences（俄罗斯科学院伊万尼科夫系统编程研究所）
本文通过物理学和生物学的类比，利用艾林公式和捕食者-猎物模型分别解释并控制随机梯度朗之万动力学和GAN中的过拟合现象。
2024-12-14 cs.AI cs.LG stat.ML
A Novel Hyperparameter-free Approach to Decision Tree Construction that Avoids Overfitting by Design
IMDEA Networks Institute（IMDEA网络研究所）
决策树是一种非常流行的机器学习技术。不幸的是，过拟合在决策树仍然是一个开放的问题，有时会阻止实现良好的性能。在这项工作中，我们提出了一种新的方法来构建决策树，避免过度拟合的设计，而不会失去准确性。我们的算法的一个显着特点是，它既不需要优化任何超参数，也不使用正则化技术，从而显着减少了决策树的训练时间。此外，我们的算法产生更小，更浅的树比传统算法，促进所产生的模型的可解释性。
2019-06-04 cs.AI cs.LG stat.ML
Overfitting in quantum machine learning and entangling dropout
Keio University（庆应义塾大学）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
机器学习的最终目标是基于给定的训练数据集，构造一个对未知数据集具有泛化能力的模型函数。如果模型函数具有太多的表达能力，那么它可能过拟合训练数据，从而失去泛化能力。为了避免这种过拟合问题，在经典的机器学习机制中已经开发了几种技术，而dropout就是这样一种有效的方法。本文提出了一个简单的模拟这种技术在量子机器学习制度，纠缠辍学，这意味着在一个给定的参数化量子线路中的一些纠缠门被随机删除在训练过程中，以减少电路的可表达性。一些简单的案例研究表明，这种技术实际上抑制过拟合。
2023-01-22 cs.LG quant-ph
Benign Overfitting Does Not Occur in Diffusion Models
INRIA - École Normale Supérieure - PSL Research University - CNRS（INRIA-巴黎高等师范学院-PSL研究大学-CNRS）；École Polytechnique - CMAP - IP Paris（巴黎高等理工学院-CMAP-IP巴黎）
该研究证明扩散模型不存在良性过拟合与双下降现象，其泛化由分数时间平滑性、早停等特有机制主导，区别于传统深度学习的泛化规律。
2026-07-07 cs.LG stat.ML
Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
OpenAI；Google（谷歌）
在本文中，我们提出了研究小算法生成的数据集上的神经网络的推广。在这种情况下，关于数据效率，记忆，泛化和学习速度的问题可以非常详细地研究。在某些情况下，我们表明，神经网络通过“寻找”数据中的模式的过程来学习，将泛化性能从随机机会水平提高到完美的泛化，并且这种泛化性能的提高可以发生在过拟合点之后。我们还研究了泛化作为数据集大小的函数，发现较小的数据集需要增加泛化的优化量。我们认为，这些数据集为研究深度学习的一个知之甚少的方面提供了肥沃的土壤：超越有限训练数据集记忆的过度参数化神经网络的泛化。
2022-01-06 cs.LG
Harmful Overfitting in Sobolev Spaces
University of California, Los Angeles（加州大学洛杉矶分校）
研究Sobolev空间中函数的泛化行为，揭示在足够正则性假设下，近似范数最小化插值器存在有害过拟合现象。
2026-01-31 cs.LG stat.ML
Risk Phase Transitions in Spiked Regression: Alignment Driven Benign and Catastrophic Overfitting
University of California, Los Angeles（加州大学洛杉矶分校）；Boston College（波士顿学院）
该研究针对线性回归最小范数插值解的泛化误差问题，基于尖峰协方差模型推导精确表达式，分类三种过拟合机制，发现对齐并非始终有利且相关结论在非线性模型中也成立。
2025-10-01 cs.AI cs.LG stat.ML
Low Curvature Activations Reduce Overfitting in Adversarial Training
University of Maryland（马里兰大学）
对抗性训练是对抗对抗攻击最有效的防御手段之一。以往的研究表明，过拟合是对抗训练中的一种主要现象，导致神经网络中测试和训练精度之间存在很大的泛化差距。在这项工作中，我们发现，观察到的泛化差距是密切相关的激活函数的选择。特别是，我们证明了使用具有低（精确或近似）曲率值的激活函数具有正则化效果，可以显着减少对抗训练中的标准和鲁棒泛化差距。我们观察到可微/平滑激活（如SiLU）以及不可微/非平滑激活（如LeakyReLU）的这种效应。在后一种情况下，激活的“近似”曲率较低。最后，我们证明了对于低曲率的激活函数，对抗训练模型的双下降现象不会发生。
2021-08-18 cs.LG
On a scalable entropic breaching of the overfitting barrier in machine learning
Università della Svizzera Italiana（瑞士意大利语大学）
当相对小的数据统计大小$T$不足以为相对大的数据特征维度$D$提供鲁棒的ML拟合时，“小数据”的过拟合和处理是机器学习（ML）中最具挑战性的问题之一。通过对不同$D$和$T$的通用分类问题进行并行ML分析，证明了常见ML方法存在显著的线性过拟合障碍。例如，这些结果表明，对于使用长短期记忆深度学习分类器（LSTM）对生物信息学驱动的一般问题进行鲁棒分类，在最佳情况下，需要至少比特征维度$D$大13.8倍的统计数据$T$。结果表明，这种过拟合障碍可以突破$10^{-12}$分数的计算成本的熵最优的可扩展概率近似算法（eSPA）的装置，执行联合解决方案的熵最优贝叶斯网络推理和特征空间分割问题。与标准生物信息学工具相比，eSPA应用于实验性单细胞RNA测序数据的分类性能提高了30倍，与深度学习LSTM分类器相比提高了7倍。
2020-02-08 cs.LG stat.ML
Benign Overfitting in Deep Neural Networks under Lazy Training
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Amazon Web Services（亚马逊云科技）
本文在惰性训练机制下证明过参数化ReLU深度神经网络在数据良好分离时可实现贝叶斯最优测试误差与近乎零训练误差，并通过统一过参数化、良性过拟合与Lipschitz常数以及NTK分析，从理论上验证了良性过拟合现象。
2023-05-30 cs.LG
An Information-Theoretic Perspective on Overfitting and Underfitting
Harvey Mudd College（哈维穆德学院）
我们提出了一个信息理论的框架来理解机器学习中的过拟合和欠拟合，并证明了确定任意分类算法是否会过拟合数据集的形式不可判定性。通过从数据集传输到模型的信息来测量算法能力，我们考虑算法能力和数据集之间的不匹配，以提供模型何时过拟合或欠拟合数据集的签名。我们目前的结果上限算法的能力，建立其关系的数量在机器学习的算法搜索框架，并与我们的工作，最近的信息理论方法的推广。
2020-11-06 cs.AI cs.IT cs.LG
Privacy Risk in Machine Learning: Analyzing the Connection to Overfitting
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
当机器学习算法应用于敏感数据时，会对隐私构成明显的威胁。越来越多的先前工作表明，由这些算法产生的模型可能会通过模型的结构或其可观察到的行为将训练数据中的特定私有信息泄露给攻击者。然而，这种隐私风险的根本原因并没有得到很好的理解，除了少数轶事，表明过度拟合和影响可能发挥作用。本文研究了过拟合和影响对攻击者从机器学习模型中学习有关训练数据的信息的能力的影响，无论是通过训练集成员推理还是属性推理攻击。使用正式和实证分析，我们说明了这些因素和隐私风险，出现在几个流行的机器学习算法之间的明确关系。我们发现，过拟合是足以让攻击者进行成员推理，当目标属性满足一定的条件，其影响，属性推理攻击。有趣的是，我们的正式分析还表明，过拟合对于这些攻击来说并不是必需的，并开始揭示其他因素可能在起作用。最后，我们探讨了成员推理和属性推理之间的联系，表明两者之间存在着深刻的联系，导致有效的新攻击。
2018-05-04 cs.CR cs.LG stat.ML
How to Mitigate Overfitting in Weak-to-strong Generalization?
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）
针对弱到强泛化中强模型因错误标签而过拟合的问题，提出一个两阶段框架以同时提升监督信号与输入问题的质量，在多个大语言模型和数学基准上显著提升了PGR，部分模型甚至达到100%。
2025-03-06 cs.AI cs.LG
Regularization, early-stopping and dreaming: a Hopfield-like setup to address generalization and overfitting
Sapienza Università di Roma（罗马第一大学）；Università di Bologna（博洛尼亚大学）；Istituto Nazionale di Alta Matematica（国家高等数学研究所）
本文从机器学习视角研究吸引子神经网络，通过正则化损失函数的梯度下降发现最优交互矩阵等价于经反复遗忘修正的Hebbian核，并据此提出基于正则化与早停的防过拟合策略，同时通过解析与数值实验揭示了不同参数下的泛化机制。
2024-02-20 cond-mat.dis-nn cs.LG
Benign Overfitting in Out-of-Distribution Generalization of Linear Models
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本文研究了协变量偏移下过参数化线性模型的分布外泛化中的良性过拟合现象，证明了标准岭回归在特定结构条件下可实现良性过拟合，并发现主成分回归在更一般协方差矩阵下能达到更快的过剩风险收敛速率。
2024-12-19 cs.LG stat.ML
Preventing overfitting in deep learning using differential privacy
University at Buffalo, State University of New York（纽约州立大学布法罗分校）
本文提出利用差分隐私方法提升深度神经网络的泛化能力，以应对现实场景中数据有限导致的过拟合问题。
2026-03-12 cs.AI cs.LG
Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space
Iran University of Science and Technology（伊朗科技大学）；Okinawa Institute of Science and Technology（冲绳科学技术研究所）；Institute For Research In Fundamental Sciences（基础科学研究所）
本文提出通过分析神经网络最后一层零空间来量化过拟合，无需访问训练数据或了解训练精度，并在多种架构和数据集上验证了零空间角度模式与泛化能力的关系。
2023-05-30 cs.CR cs.CV cs.LG
User Modelling for Avoiding Overfitting in Interactive Knowledge Elicitation for Prediction
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）
在人在回路机器学习中，用户提供的信息超出了训练数据中的信息。许多算法和用户界面已被设计用于优化和促进这种人机交互;然而，很少有研究解决了设计可能导致的潜在缺陷。有效的交互通常需要向用户展示训练数据或其统计信息。然后，系统的设计是至关重要的，因为如果用户强化数据中的噪声模式，这可能导致数据的双重使用和过度拟合。我们提出了一个用户建模的方法，通过假设简单的理性行为，以纠正这个问题。我们表明，在一个用户的研究与48名参与者，该方法提高了预测性能的稀疏线性回归情感分析任务，其中分级的用户知识的特征相关性。我们相信，使用概率用户模型推断用户知识的关键思想在防止过拟合和改进交互式机器学习方面具有普遍适用性。
2018-03-09 cs.HC cs.LG stat.ML
Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective
Center of Excellence for Generative AI, KAUST, Saudi Arabia；University of Florida, Gainesville, USA；The Swiss AI Lab, IDSIA, USI \& SUPSI, Switzerland
针对机器学习公平性在未见数据上缺乏泛化保证的问题，本文基于 Efron-Stein 不等式提出信息论框架，推导 MI 与 CMI 公平性泛化界并通过实验验证其紧致性。
2025-06-09 cs.AI cs.IT cs.LG
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University（Niigata大学）
本研究通过分析噪声数据中的深度双下降现象，揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；RIKEN AIP（理化学研究所人工智能项目）；University of Tokyo（东京大学）
本文首次从良性过拟合视角研究视觉Transformer，通过分析自注意力加全连接层在梯度下降下的训练动态，基于信噪比建立了区分小测试误差与大测试误差的清晰条件，并给出泛化性理论保证。
2024-11-22 cs.CV cs.LG stat.ML
Beyond Benign Overfitting in Nadaraya-Watson Interpolators
Weizmann Institute of Science（魏茨曼科学研究所）
该研究从现代泛化视角重新审视经典Nadaraya-Watson插值估计器，证明调整类带宽超参数可产生非单调的多种过拟合行为，且高估数据固有维度危害低于低估，数值实验验证了理论结果。
2025-10-21 cs.LG math.ST stat.ML
Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting
MIT（麻省理工学院）；University of Chicago（芝加哥大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）；TTI-Chicago（芝加哥丰田技术研究所）
考虑了高维高斯数据线性回归中的插值学习问题，证明了在任意假设类中，插值器的推广误差在类的高斯宽度下的一致收敛性.将一般界应用于欧几里得范数球恢复了Bartlett等人（2020）对最小范数插值器的一致性结果，并证实了Zhou等人（2020）对高斯数据特殊情况下的近最小范数插值器的预测。我们证明了一般性的限制，通过将其应用到单纯形，获得一个新的最小的l1范数插值（基追求）的一致性结果。我们的研究结果表明，基于范数的泛化界可以解释和用于分析良性过拟合，至少在某些设置。
2022-01-04 cs.LG math.ST stat.ML
