Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models
Tsinghua University（清华大学）；Shanghai Qizhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
该研究发现在轻度过参数化设置下，良性过拟合在标签噪声存在时会失败，解释了ResNet在ImageNet上过拟合非良性的现象，并指出理解欠拟合状态下隐式偏差的重要性。
2023-04-03 cs.AI cs.LG stat.ML
An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression
University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）；TTI-Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）
本文从不可知视角研究了含噪核岭回归中的过拟合代价，通过高斯普适性假设和任务特征结构的风险估计，对良性、温和及灾难性过拟合提供了更精细的刻画。
2024-03-22 cs.LG stat.ML
Benign Overfitting for General Norms and Distributions
Weizmann Institute of Science（魏茨曼科学研究所）；University of Toronto（多伦多大学）；Vector Institute（Vector研究所）
本文提出一种分析一般范数与次高斯分布下线性回归良性过拟合的方法，证明p>1时最小p-范数插值可良性过拟合，而1-范数在非高斯分布下不成立，揭示现有结果对高斯性的依赖。
2026-09-29 cs.LG stat.ML
Benign Overfitting in Linear Classifiers and Leaky ReLU Networks from KKT Conditions for Margin Maximization
UC Berkeley（加州大学伯克利分校）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）；Google（谷歌）
通过梯度流对逻辑损失进行训练的线性分类器和Leaky ReLU网络对满足Karush-Kuhn-Tucker（KKT）边际最大化条件的解决方案具有隐式偏差。在这项工作中，我们建立了一些设置，其中满足这些KKT条件意味着线性分类器和双层泄漏ReLU网络中的良性过拟合：估计器内插噪声训练数据，同时很好地推广到测试数据。这些设置包括在以前的工作中考虑的噪声类条件高斯的变体，以及以前没有观察到的良性过拟合的新分布设置。我们证明的关键因素是观察到，当训练数据接近正交时，线性分类器和泄漏ReLU网络都满足KKT条件，以解决各自的间隔最大化问题，表现得像训练样本的几乎均匀平均值。
2023-03-02 cs.LG stat.ML
Benign Overfitting in Two-layer Convolutional Neural Networks
The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）；University of California, San Diego（加州大学圣地亚哥分校）
现代神经网络通常具有很强的表达能力，并且可以被训练为过拟合训练数据，同时仍然实现良好的测试性能。这种现象被称为“良性过拟合”。近年来，出现了一系列从理论角度研究“良性过拟合”的著作。然而，它们仅限于线性模型或核/随机特征模型，并且仍然缺乏关于何时以及如何在神经网络中发生良性过拟合的理论理解。在本文中，我们研究了在训练一个两层卷积神经网络（CNN）的良性过拟合现象。我们表明，当信噪比满足一定条件时，通过梯度下降训练的两层CNN可以实现任意小的训练和测试损失。另一方面，当该条件不成立时，过拟合变得有害，并且所获得的CNN只能实现恒定水平的测试损失。这些共同证明了由信噪比驱动的良性过拟合和有害过拟合之间的急剧相变。据我们所知，这是第一项精确描述在训练卷积神经网络时可能发生良性过拟合的条件的工作。
2022-06-14 cs.LG math.OC stat.ML
How benign is benign overfitting?
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦图灵研究所）；Five AI Ltd.（Five AI有限公司）
我们研究了深度神经网络中对抗性脆弱性的两个原因：坏数据和（不好的）训练模型。当使用SGD进行训练时，即使存在标签噪声，深度神经网络也基本上实现了零训练误差，同时还表现出对自然测试数据的良好泛化，这被称为良性过拟合[2，10]。然而，这些模型容易受到对抗攻击的攻击。我们将标签噪声确定为对抗性脆弱性的原因之一，并提供理论和经验证据支持这一点。令人惊讶的是，我们在MNIST和CIFAR等数据集中发现了几个标签噪声的实例，并且鲁棒训练的模型在其中一些数据集上会产生训练错误，即它们不适合噪声。然而，仅仅去除噪声标签并不足以实现对抗鲁棒性。标准的训练过程使神经网络偏向于学习“简单”的分类边界，这可能不如更复杂的分类边界鲁棒。我们观察到对抗训练确实产生了更复杂的决策边界。我们推测，在某种程度上，复杂的决策边界的需要来自次优的表示学习。通过简单的玩具示例，我们从理论上展示了表示的选择如何极大地影响对抗鲁棒性。
2020-07-08 cs.LG stat.ML
Benign Overfitting in Adversarially Robust Linear Classification
Pennsylvania State University（宾夕法尼亚州立大学）；The University of Hong Kong（香港大学）；University of California, Los Angeles（加州大学洛杉矶分校）
“良性过拟合”，即分类器记住噪声训练数据，但仍然获得良好的泛化性能，引起了机器学习界的极大关注。为了解释这一令人惊讶的现象，一系列的工作提供了理论上的理由，在过参数化的线性回归，分类和核方法。然而，目前尚不清楚良性过拟合是否仍然发生在存在对抗性示例的情况下，即，用微小的故意扰动来欺骗分类器的例子。在本文中，我们证明了良性过拟合确实发生在对抗性训练中，这是一种防御对抗性示例的原则性方法。详细地，我们证明了在$\ell_p$对抗性扰动下，对抗性训练的线性分类器在亚高斯混合数据上的风险界。我们的研究结果表明，在适度的扰动下，对抗训练的线性分类器可以实现接近最优的标准和对抗风险，尽管过拟合的噪声训练数据。数值实验验证了我们的理论研究结果。
2021-12-31 cs.LG math.OC stat.ML
Benign Overfitting in Out-of-Distribution Generalization of Linear Models
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
本文研究了协变量偏移下过参数化线性模型的分布外泛化中的良性过拟合现象，证明了标准岭回归在特定结构条件下可实现良性过拟合，并发现主成分回归在更一般协方差矩阵下能达到更快的过剩风险收敛速率。
2024-12-19 cs.LG stat.ML
Benign Overfitting and the Geometry of the Ridge Regression Solution in Binary Classification
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文研究过参数化二元分类中岭回归的良性过拟合条件，刻画分类误差与簇均值尺度、协方差结构及标签噪声的关系，并分析最小范数插值器解的几何变化。
2025-03-11 cs.LG stat.ML
Benign Overfitting for Two-layer ReLU Convolutional Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）
该研究针对ReLU神经网络良性过拟合机制不明的问题，为带标签翻转噪声的两层ReLU卷积神经网络建立依赖算法的风险界，证明梯度下降训练可实现近零训练损失与贝叶斯最优测试风险，揭示两类过拟合的急剧转变，且合成数据实验验证了理论。
2023-11-04 cs.LG math.OC stat.ML
Understanding Benign Overfitting in Gradient-Based Meta Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research（IBM研究院）
元学习在有限监督数据的少样本学习中取得了巨大的成功。在这些设置中，Meta模型通常是过度参数化的。虽然传统的统计学习理论表明，过度参数化的模型往往过拟合，但经验证据表明，过度参数化的元学习方法仍然有效-这种现象通常被称为“良性过拟合”。“为了理解这种现象，我们专注于具有挑战性的双层结构的元学习设置，我们称之为基于梯度的元学习，并在过参数化的Meta线性回归模型下分析其泛化性能。虽然我们的分析使用了相对容易处理的线性模型，但我们的理论有助于理解基于梯度的元学习任务中数据异质性，模型适应性和良性过拟合之间的微妙相互作用。我们通过数值模拟证实了我们的理论主张。
2022-11-09 cs.LG math.OC stat.ML
Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression
Duke University（杜克大学）
本文针对稀疏线性回归中最小ℓ₁和ℓ₂范数插值器均无法达到最优测试损失的问题，提出一种新的模型参数化方法，通过梯度下降产生结合ℓ₁与ℓ₂优点的隐式正则化效应，从而获得接近最优测试损失的插值器。
2023-05-26 cs.LG stat.ML
Benign Overfitting Does Not Occur in Diffusion Models
INRIA - École Normale Supérieure - PSL Research University - CNRS（INRIA-巴黎高等师范学院-PSL研究大学-CNRS）；École Polytechnique - CMAP - IP Paris（巴黎高等理工学院-CMAP-IP巴黎）
该研究证明扩散模型不存在良性过拟合与双下降现象，其泛化由分数时间平滑性、早停等特有机制主导，区别于传统深度学习的泛化规律。
2026-07-07 cs.LG stat.ML
Benign overfitting and adaptive nonparametric regression
CREST-ENSAE（Crest-法国国立统计与经济管理学院）
在非参数回归中，我们构造了一个估计器，它是一个连续函数，以高概率插值数据点，同时在Hölder类尺度上自适应地获得均方风险下的Minimax最优收益率。
2022-06-27 cs.LG math.ST stat.ML
Towards an Understanding of Benign Overfitting in Neural Networks
University College London（伦敦大学学院）；Nanjing University（南京大学）
现代机器学习模型通常使用大量的参数，并且通常被优化为零训练损失;但令人惊讶的是，它们具有接近最佳的预测性能，这与经典学习理论相矛盾。我们研究了这些良性的过拟合现象是如何发生在一个两层神经网络设置样本协变量与噪声损坏。我们解决了高维制度，其中数据维度$d$随着数据点的数量$n$而增长。我们的分析结合了偏差的上限和方差的匹配上限和下限（内插数据的估计量）。这些结果表明，在温和的条件下，过度学习的风险衰减。我们进一步证明，双层ReLU网络可以实现接近最小最优的学习率，据我们所知，这是此类网络的第一个推广结果。最后，我们的理论预测，一旦参数$s$的数量超过$O(n^2)$，过度学习风险开始增加，与最近的实证研究结果相匹配。
2021-06-06 cs.LG stat.ML
Rethinking Benign Overfitting in Two-Layer Neural Networks
本文针对两层神经网络，通过引入类别相关的异质性噪声改进特征-噪声模型，证明网络可利用噪声学习隐式特征以提升长尾分类，并给出测试损失界与免训练数据影响指标。
2025-06-07 cs.LG stat.ML
Directional Convergence, Benign Overfitting of Gradient Descent in leaky ReLU two-layer Neural Networks
Department of Statistical Sciences University of Toronto（统计科学系多伦多大学）
本文研究了漏损ReLU两层神经网络中梯度下降在混合数据下的良性过拟合条件，并揭示了新的相变现象。
2026-02-10 cs.LG math.ST stat.ML
Risk Phase Transitions in Spiked Regression: Alignment Driven Benign and Catastrophic Overfitting
University of California, Los Angeles（加州大学洛杉矶分校）；Boston College（波士顿学院）
该研究针对线性回归最小范数插值解的泛化误差问题，基于尖峰协方差模型推导精确表达式，分类三种过拟合机制，发现对齐并非始终有利且相关结论在非线性模型中也成立。
2025-10-01 cs.AI cs.LG stat.ML
Initialization Matters: On the Benign Overfitting of Two-Layer ReLU CNN with Fully Trainable Layers
Zhejiang University（浙江大学）；University of Michigan（密歇根大学）；University of Hong Kong（香港大学）
本文研究两层完全可训练 ReLU CNN 的良性过拟合，揭示输出层初始化缩放对训练动态的决定作用，并给出近乎匹配的测试误差上下界及 SNR 条件。
2024-10-24 cs.LG stat.ML
Universality of Benign Overfitting in Binary Linear Classification
University of Toronto（多伦多大学）
研究二元线性分类中线性最大间隔分类器的良性过拟合，发现噪声模型测试误差界的相变及背后几何直觉，放宽协变量假设，证明其在更广泛场景成立，为潜在机制提供新见解。
2026-07-08 cs.LG math.ST stat.ML
Mind the spikes: Benign overfitting of kernels and neural networks in fixed dimension
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；University of Stuttgart（斯图加特大学）；Institute for Stochastics and Applications（随机与应用研究所）
本文证明固定维度下良性过拟合的关键在于估计量导数大小而非维度，并利用尖峰-光滑核及带高频波动的激活函数实现速率最优的良性过拟合。
2024-11-06 cs.LG math.ST stat.ML
Benign Overfitting and Grokking in ReLU Networks for XOR Cluster Data
University of Michigan（密歇根大学）；University of California, Davis（加州大学戴维斯分校）；TTI-Chicago（芝加哥丰田技术研究院）；Hebrew University（希伯来大学）
本文证明在标签含噪的 XOR 簇数据上，GD 训练两层 ReLU 网络会先随机泛化后延迟 grokking，并通过特征学习分析给出非线性可分分类中的良性过拟合首个理论结果。
2023-10-04 cs.LG stat.ML
From Tempered to Benign Overfitting in ReLU Neural Networks
Weizmann Institute of Science（魏茨曼科学研究院）
本文研究了2层ReLU神经网络在简单分类场景中的过拟合行为，证明了过拟合类型从一维数据下的温和过拟合转变为高维数据下的良性过拟合，揭示了输入维度对过拟合类型的关键作用。
2024-03-21 cs.LG cs.NE stat.ML
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis（加州大学戴维斯分校）；Weizmann Institute of Science（魏茨曼科学研究院）
该研究针对随机线性分类任务下训练的线性Transformer，通过分析梯度下降隐式正则化明确其泛化的条件，并证实其存在上下文内良性过拟合现象，即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Benign Overfitting without Linearity: Neural Network Classifiers Trained by Gradient Descent for Noisy Linear Data
UC Berkeley（伯克利大学）；Stanford University（斯坦福大学）
本文证明两层神经网络在含噪标签和良好分离的类条件对数凹分布下，通过梯度下降训练可实现零训练误差并达到极小极大最优测试误差，首次在完全非线性模型与学习动态下建立了良性过拟合理论。
2025-07-02 cs.LG math.ST stat.ML
A Classical View on Benign Overfitting: The Role of Sample Size
ETH Zürich（苏黎世联邦理工学院）；Amazon（亚马逊）
本文提出近乎良性过拟合视角，分析样本量与模型复杂度的相互作用，并通过核岭回归和梯度流训练的两层ReLU网络证明经典情形下也可趋近贝叶斯最优泛化。
2025-05-16 cs.AI cs.LG stat.ML
Benign Overfitting with Quantum Kernels
Aix-MarseilleUnivCNRSLISMarseilleFrance（艾克斯-马赛大学-CNRS-LIS马赛法国）
本文从经典机器学习良性过拟合获灵感，提出构建局部-全局量子核的新策略，结合基于小子系统测量的局部量子核与全系统测量导出的全局量子核，理论和实证表明该量子核能良好泛化，解决了设计有效量子核的挑战。
2026-07-08 cs.LG quant-ph stat.ML
Benign Overfitting in Linear Regression
UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Pompeu Fabra University（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高等教育学院）；Barcelona Graduate School of Economics（巴塞罗那经济学研究生院）
良性过拟合现象是深度学习方法学揭示的关键奥秘之一：深度神经网络似乎预测得很好，即使与嘈杂的训练数据完美拟合。受此现象的启发，我们考虑在线性回归中，何时对训练数据的完美拟合与准确预测兼容。本文给出了线性回归问题的一个特征，使得最小范数插值预测规则具有接近最优的预测精度。的表征是在数据协方差的有效秩的两个概念。它表明，过度参数化是必不可少的良性过拟合在这种情况下：参数空间中的方向的数量是不重要的预测必须显着超过样本量。通过研究数据协方差特性的示例，该特性表明良性过拟合所需的数据协方差特性，我们发现有限维数据的重要作用：当数据位于无限维空间中时，与当数据位于有限维空间中时相比，最小范数内插预测规则的准确度接近数据分布的属性的窄得多的范围的最佳可能准确度，维度的增长速度快于样本量。
2020-01-29 cs.LG math.ST stat.ML
A Transport Geometry of Benign Overfitting
Linköping University（林雪平大学）
本文研究了插值学习中高过参数化模型为何能实现零经验风险并保持预测准确性，提出谱-传输稳定性框架，结合数据分布谱几何、学习规则敏感性和噪声对齐结构，定义了尺度依赖的Fredriksson指数，推导了有限样本风险界和良性过拟合判据，揭示了隐式正则化机制。
2026-10-20 cs.LG math.ST stat.ML
Benign, Tempered, or Catastrophic: A Taxonomy of Overfitting
UC San Diego（加利福尼亚大学圣迭戈分校）；UC Berkeley（加利福尼亚大学伯克利分校）；Apple（苹果公司）
本文提出过拟合三分类（良性、温和、灾难性），指出神经网络等实际插值方法多属温和过拟合，并给出核回归条件及深度网络实证验证。
2024-07-15 cs.AI cs.CV cs.LG
Benign Overfitting under Learning Rate Conditions for $α$ Sub-exponential Input
Graduate School of Science and Technology, Keio University（庆应义塾大学科学技术研究生院）；Department of Mathematics, Keio University（庆应义塾大学数学系）
本文研究重尾 $α$ 次指数输入下线性分类器的良性过拟合现象，推导了泛化误差界限及学习率上界，证明在特定条件下误分类误差趋近噪声水平，且输入分布尾部越重学习率上界越低。
2024-10-16 cs.LG math.ST stat.ML
The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness
The Hong Kong University of Science and Technology（香港科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明即使真实函数鲁棒且标准风险良性，良性过拟合也会导致对抗脆弱，并在线性模型、岭回归及两层NTK模型中揭示标准风险与对抗风险的渐近权衡。
2024-01-25 cs.CR cs.LG stat.ML
Benign Overfitting for Regression with Trained Two-Layer ReLU Networks
ETH Zürich（苏黎世联邦理工学院）；Amazon（亚马逊公司）
该研究针对经梯度流训练的两层ReLU全连接网络的最小二乘回归问题，在神经切线核机制下通过风险分解推导泛化结论，证实网络存在过拟合，首次确立了任意回归函数下有限宽度ReLU网络的良性过拟合结果。
2024-10-08 cs.AI cs.LG stat.ML
The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks
Stanford University（斯坦福大学）；Google（谷歌）；University of California, Berkeley（加州大学伯克利分校）
最近神经网络模型的成功揭示了一个相当令人惊讶的统计现象：完美拟合噪声数据的统计模型可以很好地推广到看不见的测试数据。理解这种现象的$\textit{benign overfitting}$吸引了大量的理论和实证研究。本文研究了在平方损失下用梯度流训练的插值两层线性神经网络，并在协变量满足次高斯性和反集中性，噪声独立且次高斯的条件下，得到了超额风险的界.通过利用最近的结果，该估计的隐式偏差的特点，我们的边界强调的作用，初始化的质量以及数据的协方差阵的属性，在实现低超额风险。
2022-09-09 cs.LG math.ST stat.ML
Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；RIKEN AIP（理化学研究所人工智能项目）；University of Tokyo（东京大学）
本文首次从良性过拟合视角研究视觉Transformer，通过分析自注意力加全连接层在梯度下降下的训练动态，基于信噪比建立了区分小测试误差与大测试误差的清晰条件，并给出泛化性理论保证。
2024-11-22 cs.CV cs.LG stat.ML
Foolish Crowds Support Benign Overfitting
Stanford University（斯坦福大学）；Google（谷歌）
本文证明了在超参数化条件下，高斯数据线性回归稀疏插值过程的超额风险的一个下界。我们应用这个结果来获得一个下界的基础追求（最小$\ell_1$ -范数插值），这意味着它的超额风险可以收敛在一个指数比OLS（最小$\ell_2$ -范数插值）慢的速度，即使地面真理是稀疏的。我们的分析揭示了类似于“群体智慧”的效果的好处，除了这里通过在许多方向上传播$\textit{noise}$来改善拟合$\textit{noise}$所产生的危害-方差减少来自$\textit{foolish}$群体。
2022-03-17 cs.LG math.ST stat.ML
Provable Weak-to-Strong Generalization via Benign Overfitting
UC Berkeley（加州大学伯克利分校）
本文研究弱教师监督强学生的弱到强泛化问题，在高斯协变量的过参数化模型中证明了强学生存在成功泛化与随机猜测两个渐近阶段，并强调了利用 logits 的价值。
2025-01-31 cs.LG stat.ML
Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting
MIT（麻省理工学院）；University of Chicago（芝加哥大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）；TTI-Chicago（芝加哥丰田技术研究所）
考虑了高维高斯数据线性回归中的插值学习问题，证明了在任意假设类中，插值器的推广误差在类的高斯宽度下的一致收敛性.将一般界应用于欧几里得范数球恢复了Bartlett等人（2020）对最小范数插值器的一致性结果，并证实了Zhou等人（2020）对高斯数据特殊情况下的近最小范数插值器的预测。我们证明了一般性的限制，通过将其应用到单纯形，获得一个新的最小的l1范数插值（基追求）的一致性结果。我们的研究结果表明，基于范数的泛化界可以解释和用于分析良性过拟合，至少在某些设置。
2022-01-04 cs.LG math.ST stat.ML
Learning Curves and Benign Overfitting of Spectral Algorithms in Large Dimensions
Department of Statistics and Data Science, National University of Singapore（新加坡国立大学统计与数据科学系）；Department of Statistics and Data Science, Tsinghua University（清华大学统计与数据科学系）
本文研究了高维环境下谱算法的学习曲线和良性过拟合现象，揭示了在不同正则化条件下学习曲线的三阶段特性，并展示了在特定光滑性条件下良性过拟合的出现。
2026-04-25 cs.LG math.ST stat.ML
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University（Niigata大学）
本研究通过分析噪声数据中的深度双下降现象，揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
Adaptive Benign Overfitting (ABO): Overparameterized RLS for Online Learning in Non-stationary Time-series
University College London（伦敦大学学院）
ABO通过QR-EWRLS算法结合随机傅里叶特征和遗忘因子正则化，在非平稳条件下实现高效的在线学习，展现无害过拟合特性并提升预测精度与速度。
2026-01-29 cs.LG cs.MS cs.NA
Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression
The University of Tokyo（东京大学）；CyberAgent, Inc.（CyberAgent公司）
我们研究了良性过拟合理论在预测条件平均处理效应（CATE）中的应用，并建立了线性回归模型。随着因果推断的机器学习的发展，大范围的因果关系模型越来越受到关注。一个问题是，已经提出了怀疑，大规模的模型是倾向于过度拟合的样本选择的观察，因此，大型模型可能不适合因果预测。在这项研究中，为了解决可疑问题，我们通过应用最近的良性过拟合理论（Bartlett et al.，2020年）。具体来说，我们认为样本的分布开关取决于分配规则，并研究预测CATE的线性模型，其尺寸发散到无穷大。我们专注于两种方法：T-学习器，其基于每个治疗组的单独构造的估计量之间的差异，以及逆概率权重（IPW）-学习器，其解决由倾向分数近似的另一回归问题。在这两种方法中，估计器由完全拟合样本的插值器组成。结果表明，T-学习者除了随机分配外，无法实现一致性，而IPW-学习者在倾向分数已知的情况下，将风险收敛到零。这种差异源于T学习器无法保持协方差的特征空间，这对于过参数化设置中的良性过拟合是必要的。我们的结果提供了新的见解因果推断方法的使用在overparameterizated设置，特别是，双稳健估计。
2022-02-11 cs.LG econ.EM math.ST
Beyond Benign Overfitting in Nadaraya-Watson Interpolators
Weizmann Institute of Science（魏茨曼科学研究所）
该研究从现代泛化视角重新审视经典Nadaraya-Watson插值估计器，证明调整类带宽超参数可产生非单调的多种过拟合行为，且高估数据固有维度危害低于低估，数值实验验证了理论结果。
2025-10-21 cs.LG math.ST stat.ML
Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；University of British Columbia（不列颠哥伦比亚大学）
本文研究多类线性分类中的良性过拟合，证明交叉熵ERM、最小二乘ERM与一对多SVM在充分条件下均实现插值且准确率相同，并给出MNI泛化界。
2023-07-11 cs.IT cs.LG math.IT
Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression
Yonsei University（延世大学）；KAIST（韩国科学技术院）
本文提出了一种两步转移MNI方法，通过分析其非渐近性超额风险，揭示了在特定条件下利用异质数据可提升高维线性回归的泛化能力。
2026-01-16 cs.LG math.ST stat.ML
(Mis)Understanding Benign Overfitting in Equity Return Prediction
Carl H. Lindner College of Business, University of Cincinnati（辛辛那提大学卡尔·H·林德纳商学院）；Católica Lisbon School of Business and Economics, Universidade Católica Portuguesa（葡萄牙天主教大学里斯本工商经济学院）；Department of Statistics, Pennsylvania State University（宾夕法尼亚州立大学统计系）
该研究探究良性过拟合是否适用于股权收益预测，发现无岭回归模型预测风险呈双下降模式，最优岭模型虽更优但差距随参数规模增大可忽略，且两类模型均未优于历史均值，证实标准股权预测因子缺乏真实预测能力。
2026-08-26 cs.LG stat.AP stat.ME
Benign Overfitting of Constant-Stepsize SGD for Linear Regression
University of California, Los Angeles（加州大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
越来越多的人认识到，算法归纳偏差是防止过拟合的核心;根据经验，我们经常在自然学习算法的过参数化设置中看到良性的过拟合现象，例如随机梯度下降（SGD），其中很少或根本没有使用显式正则化。这项工作认为这个问题可以说是最基本的设置：恒定步长SGD（与平均或尾平均）的线性回归在overparameterized制度。我们的主要结果提供了一个尖锐的超额风险界，以数据协方差矩阵的全特征谱表示，揭示了当泛化是可能的时，偏差方差分解的特征：（i）方差界用有效维数表征（特定于SGD）和（ii）偏差界限提供了一个尖锐的几何特征的位置方面的初始几何（以及它如何与数据协方差矩阵对齐）。更具体地说，对于SGD的平均，我们证明了建立的超额风险界限的尖锐性，通过证明一个匹配的下限（常数因子）。对于SGD与尾部平均，我们证明了它的优势，SGD与平均值，证明了一个更好的超额风险结合在一起，一个几乎匹配的下限。此外，我们反映了（非正则化）SGD提供的算法正则化与普通最小二乘（最小范数插值）和岭回归之间的一些显着差异。合成数据的实验结果证实了我们的理论研究结果。
2021-10-12 cs.LG math.OC stat.ML
Generalisation and benign over-fitting for linear regression onto random functional covariates
Andrew Jones School of Mathematics, University of Edinburgh（安德鲁·琼斯 数学学院，爱丁堡大学）；Nick Whiteley School of Mathematics, University of Bristol（尼克·怀特利 数学学院，布里斯托尔大学）
本文研究随机函数协变量下岭回归与无岭最小二乘的预测性能，在可交换但不独立的设定下给出预测超额风险的概率界与收敛速率，揭示加性噪声在良性过拟合中的作用。
2025-08-19 cs.LG stat.ML
Classical Statistical (In-Sample) Intuitions Don't Generalize Well: A Note on Bias-Variance Tradeoffs, Overfitting and Moving from Fixed to Random Designs
University of Cambridge（剑桥大学）
本文指出经典统计的样本内直觉与现代机器学习的泛化误差评估存在差异，从固定设计转向随机设计对偏差-方差权衡、双重下降和良性过拟合等现象的观察有深远影响。
2024-09-27 cs.LG stat.ML
Benign overfitting in ridge regression
在深度学习的许多现代应用中，神经网络的参数比用于训练的数据点多得多。受这些实践的推动，大量的理论研究致力于研究过参数化模型。在这种情况下，一个中心现象是模型能够内插噪声数据，但仍然具有低于该数据中噪声量的测试误差。arXiv：1906.11300描述了数据的协方差结构，如果考虑具有最小$\ell_2$ -范数的插值解并且数据具有独立分量，则这种现象可能发生在线性回归中：他们给出了方差项的严格界限，并表明它可以很小，当且仅当数据协方差在小余维的子空间中具有高有效秩。我们加强和完善他们的结果，消除独立性假设，并提供尖锐的界限的偏见。因此，我们的结果适用于比arXiv：1906.11300更一般的设置，例如，核回归，并且不仅表征噪声如何被阻尼，而且还表征真实信号的哪一部分被学习。此外，我们将结果扩展到岭回归的设置，这使我们能够解释另一个有趣的现象：我们给出了一般的充分条件下，最佳正则化是负的。
2022-12-06 math.ST stat.ML stat.TH
The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime
现代机器学习分类器通常在训练集上表现出消失的分类错误。他们通过学习输入的非线性表示将数据映射到线性可分离的类来实现这一目标。受这些现象的启发，我们重新审视线性可分数据的高维最大间隔分类。我们考虑一个程式化的设置，其中数据$(y_i,{\boldsymbol x}_i)$，$i\le n$是独立同分布的。其中${\boldsymbol x}_i\sim\mathsf{N}({\boldsymbol 0},{\boldsymbol Σ})$是$p$维高斯特征向量，$y_i \in\{+1,-1\}$是其分布取决于协变量$\langle {\boldsymbol θ}_*,{\boldsymbol x}_i \rangle$的线性组合的标记。虽然高斯模型可能看起来非常简单，但可以使用普适性参数来表明在此设置中导出的结果也适用于某些非线性特征化映射的输出。我们考虑了$n,p\to\infty$与$p/n\to ψ$的比例渐近性，并导出了极限推广误差的精确表达式。我们使用这个理论来推导出两个结果的独立利益：$(i)$充分条件$({\boldsymbol Σ},{\boldsymbol θ}_*)$的“良性过拟合”，平行先前推导条件的情况下，线性回归; $(ii)$一个渐近精确的表达式的泛化误差时，最大利润率分类与随机单层神经网络产生的特征向量一起使用。
2023-03-22 math.ST stat.ML stat.TH
Benign Overfitting in Time Series Linear Models with Over-Parameterization
本文研究过参数化线性模型在相依时间序列数据下的良性过拟合现象，推导了插值估计量的非渐近风险界，并揭示时间协方差相关性对风险界和收敛速率的决定性影响。
2025-03-13 math.ST stat.ML stat.TH
Benign overfitting in Fixed Dimension via Physics-Informed Learning with Smooth Inductive Bias
Department of Computer Science and Engineering（计算机科学与工程系）；The Hong Kong University of Science and Technology（香港科学与技术大学）；School of Mathematical Sciences（数学科学学院）；Peking University（北京大学）；Department of Computer Science（计算机科学系）；University of Warwick（沃里克大学）；Industrial Engineering & Management Sciences（工业工程与管理科学）；Northwestern University（西北大学）
本研究针对椭圆型线性逆问题，推导核岭回归的渐近Sobolev范数学习曲线，证明PDE算子可稳定方差并实现良性过拟合，且归纳偏置不影响最优收敛速率。
2025-04-22 cs.IT cs.LG cs.NA
To Grok Grokking: Provable Grokking in Ridge Regression
Department of Computer Science, Purdue University, West Lafayette, IN, USA（普渡大学计算机科学系）；Department of Computer Science（计算机科学系）；Applied Mathematics, Weizmann Institute of Science, Israel（科学应用数学系，魏茨曼研究院）；Stein Faculty of Computer（斯坦因计算机科学学院）；Information Science, Ben-Gurion University of the Negev, Israel（信息科学系，本· Gurion 军事大学）
本文在经典岭回归设置中研究grokking现象，证明使用带权重衰减的梯度下降学习过参数化线性回归模型时，存在过拟合、泛化延迟和最终泛化误差任意小的三个阶段，并首次给出泛化延迟（grokking时间）的严格定量界，同时通过实验表明该界也适用于非线性神经网络。
2026-07-17 cs.LG stat.ML
