Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
双下降是机器学习中一个令人惊讶的现象，随着模型参数数量相对于数据数量的增长，测试误差会随着模型变得越来越大而下降，进入高度过参数化（数据欠采样）状态。这种测试误差的下降与经典学习理论中的过拟合理论背道而驰，并且可以说是机器学习中大型模型成功的基础。测试损失的这种非单调行为取决于数据的数量、数据的维数和模型参数的数量。在这里，我们简要地描述了双下降，然后提供了一个解释为什么双下降发生在一个非正式和平易近人的方式，只需要熟悉线性代数和介绍概率。我们使用多项式回归提供视觉直觉，然后用普通线性回归对双下降进行数学分析，并确定三个可解释的因素，当这些因素同时存在时，它们一起产生双下降。我们证明，双下降发生在真实数据时，使用普通的线性回归，然后证明，双下降不发生时，任何三个因素被消融。我们用这种理解来阐明最近在非线性模型中关于叠加和双下降的观察。代码是公开的。
2023-03-24 cs.LG stat.ML
Regularization-wise double descent: Why it occurs and how to eliminate it
Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
过度参数化模型的风险，特别是深度神经网络，通常是模型大小的函数。最近，有研究表明，作为提前停止时间函数的风险也可以呈双下降形状，并且这种行为可以解释为偏差-方差权衡的叠加。在本文中，我们证明了显式L2正则化模型的风险可以表现出双下降行为的正则化强度的函数，在理论和实践中。我们发现，对于线性回归，双下降形风险是由对应于模型不同部分的偏差-方差权衡的叠加引起的，并且可以通过适当地缩放每个部分的正则化强度来减轻。受此结果的启发，我们研究了一个两层神经网络，并表明可以通过调整第一层和第二层的正则化强度来消除双下降。最后，我们研究了在带有标签噪声的CIFAR-10和没有标签噪声的CIFAR-100上训练的5层CNN和ResNet-18，并证明了所有这些都表现出双下降行为作为正则化强度的函数。
2022-06-03 cs.LG stat.ML
Understanding the Role of Optimization in Double Descent
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文从优化视角统一解释模型级双重下降，证明其出现取决于优化器能否找到低损失极小值，并通过受控实验说明现实设置中峰值较弱的原因。
2023-12-06 cs.LG stat.ML
High-dimensional analysis of double descent for linear regression with random projections
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑线性回归问题与不同数量的随机投影，我们证明表现出一个固定的预测问题的双下降曲线，高维分析的基础上随机矩阵理论。我们首先考虑岭回归估计和审查早期的结果，使用经典的概念，从非参数统计，即自由度，也被称为有效维数。然后，我们计算渐近等价的泛化性能（在平方偏差和方差方面）的最小范数最小二乘拟合与随机投影，提供简单的表达式的双下降现象。
2023-03-14 cs.LG stat.ML
Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University（林雪平大学）
本文研究两层线性神经网络中的逐轮双下降，推导梯度流并识别除输入方差外，输入-输出协方差矩阵奇异值作为新影响因素，向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
VC Theoretical Explanation of Double Descent
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
人们对大型多层神经网络的泛化性能越来越感兴趣，这种网络可以训练成零训练误差，同时在测试数据上泛化良好。这种机制被称为“二次下降”，它似乎与传统观点相矛盾，即最佳模型复杂性应该反映欠拟合和过拟合之间的最佳平衡，即，偏差-方差权衡。本文给出了双重下降的VC-理论分析，并证明了经典的VC-泛化界可以完全解释它。我们说明了一个应用程序的分析VC边界建模双下降分类，使用经验的结果，如SVM，最小二乘法，多层感知器分类器的几种学习方法。此外，我们还讨论了深度学习社区对VC理论结果的误解的几个原因。
2022-09-29 cs.LG stat.ML
Phenomenology of Double Descent in Finite-Width Neural Networks
ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Basel（巴塞尔大学）
“双下降”描述了模型的泛化行为，取决于它们所属的制度：参数不足或过度。目前对这种现象背后的理论理解主要是基于线性和核回归模型-通过神经切线核与神经网络进行非正式的比较。因此，此类分析无法充分捕捉有限宽度神经网络中双重下降背后的机制，并且忽略了关键组件--例如损失函数的选择。我们解决这些缺点，利用影响函数，以获得适当的表达的人口损失及其下限，同时施加最小的假设的参数模型的形式。我们推导出的界限承担一个密切的联系，在最佳的Hessian谱，重要的是，表现出双下降行为的插值阈值。基于我们的分析，我们进一步研究了损失函数如何影响双重下降-从而揭示了神经网络及其Hessian谱在插值阈值附近的有趣特性。
2022-03-14 cs.LG stat.ML
Early Stopping in Deep Networks: Double Descent and How to Eliminate it
Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）
过度参数化的模型，如大型深度网络，通常会表现出双下降现象，而模型大小的函数，误差首先减少，增加，最后减少。这种有趣的双下降行为也是作为训练时期的函数发生的，并且已经被证明是因为训练时期控制了模型的复杂性。在本文中，我们证明了这种逐时期的双下降是由于不同的原因而产生的：它是由两个或多个偏差-方差权衡的叠加引起的，因为网络的不同部分是在不同的时期学习的，通过适当缩放步长来消除这一点可以显着提高早期停止性能。我们分析了i）线性回归，其中不同尺度的特征会产生偏差-方差权衡的叠加，以及ii）两层神经网络，其中第一层和第二层分别控制偏差-方差权衡。受此理论的启发，我们对两个标准卷积网络进行了实证研究，结果表明，通过调整不同层的步长来消除逐时双下降可以显着提高早期停止性能。
2020-09-19 cs.LG stat.ML
Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning
Institute for Computational & Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Management Science & Engineering, Stanford University（斯坦福大学管理科学与工程系）
本文通过将机器学习中感兴趣的各种问题构建为概率测度空间上定义的泛函的最小化，提供了一个统一的观点。特别是，我们证明了生成对抗网络，变分推理和强化学习中的演员-评论家方法都可以通过我们框架的镜头看到。然后，我们讨论了一个通用的优化算法，我们的配方，称为概率函数下降（PFD），并显示该算法如何恢复现有的独立开发的方法在前面提到的设置。
2019-05-19 cs.LG stat.ML
Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task
Department of Life Sciences, University of Bath（生命科学系，巴斯大学）
本文在结核分枝杆菌异烟肼耐药基因组预测任务中，沿学习器容量与集成规模两个轴调节树模型复杂度，发现双重下降仅在二者联合扩展时出现。
2025-09-22 cs.LG stat.ML
On the Double Descent of Random Features Models Trained with SGD
EPFL（洛桑联邦理工学院）；KU Leuven（鲁汶大学）
我们研究了随机特征（RF）回归在下/过参数化机制下通过随机梯度下降（SGD）优化的高维空间中的泛化特性。在这项工作中，我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置，并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化，标签噪声和数据采样（以及随机梯度）的多个随机性来源，而没有封闭形式的解决方案，并且也超越了常用的高斯/球形数据假设。我们的理论结果表明，使用SGD训练，RF回归仍然可以很好地推广插值学习，并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外，我们还证明了恒定步长的SGD设置时，收敛速度没有损失相比，精确的最小范数的最小值，作为一个理论上的理由，在实践中使用SGD。
2022-10-16 cs.LG stat.ML
Kernel regression in high dimensions: Refined analysis beyond double descent
KU Leuven；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提供了一个精确的表征的泛化性能的高维核岭回归在下和过参数化制度，这取决于训练数据的数量n是否超过特征维数d。通过建立一个偏差方差分解的预期超额风险，我们表明，虽然偏差是（几乎）独立的d和单调递减的n，方差依赖于n，d，可以是单峰或单调递减下不同的正则化方案。我们的精细分析超越了双下降理论，表明根据数据特征曲线和正则化水平，核回归风险曲线可以是双下降，钟形或n的单调函数。合成和真实数据进行实验，以支持我们的理论研究结果。
2021-02-24 cs.LG stat.ML
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning
University of Cambridge（剑桥大学）
本文重新审视经典统计机器学习中的双下降现象，指出其源于隐式多重复杂度轴的过渡而非插值阈值 p=n，并提出有效参数数量的广义度量，证明表面双下降曲线可折回为传统凸形。
2023-10-29 cs.LG stat.ML
Two models of double descent for weak features
Halıcıoğlu Data Science Institute, UC San Diego（加州大学圣迭戈分校哈勒哲奥卢数据科学研究所）；Columbia University（哥伦比亚大学）
提出了“双下降“风险曲线来定性描述变参数机器学习模型的样本外预测精度。这篇文章提供了一个精确的数学分析，在两个简单的数据模型与最小二乘/最小范数预测这条曲线的形状。具体而言，当特征数$p$接近样本量$n$时，风险达到峰值，但当$p$增加到超过$n$时，风险降低到最小值。这种行为与“有先见之明”的模型形成对比，这些模型以先验的最优顺序选择特征。
2020-10-10 cs.LG stat.ML
The Double Descent Behavior in Two Layer Neural Network for Binary Classification
本文研究二分类两层 ReLU 神经网络在不同模型规模下的测试误差双重下降现象，并借助凸高斯极小极大定理刻画全局训练损失候选。
2025-04-27 cs.LG stat.ML
Unveiling Multiple Descents in Unsupervised Autoencoders
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；Faculty of Engineering, Tel Aviv University（特拉维夫大学工程学院）
本研究揭示了无监督非线性自编码器中存在的双重和三重下降现象，并通过实验证明过参数化模型不仅能改善重构效果，还能提升异常检测等下游任务的性能。
2025-09-11 cs.LG stat.ML
Multi-scale Feature Learning Dynamics: Insights for Double Descent
Mila, Université de Montréal（蒙特利尔大学 Mila 研究院）；University of California, Riverside（加州大学河滨分校）
构建深度学习理论基础的一个关键挑战是神经网络的复杂优化动态，这是由大量网络参数之间的高维相互作用造成的。这种非平凡的动态导致有趣的行为，如“双下降“的现象的泛化误差。这种现象的更常见的研究方面对应于模型方面的双下降，其中测试误差随着模型复杂性的增加而呈现出第二次下降，超出了经典的U形误差曲线。在这项工作中，我们调查的起源较少研究的逐时双下降，其中的测试误差经历了两个非单调的过渡，或下降的训练时间的增加。通过利用统计物理学的工具，我们研究了一个线性师生设置，该设置表现出与深度神经网络类似的逐时双下降。在这种情况下，我们推导出封闭形式的解析表达式的演变泛化误差的训练。我们发现，双下降可以归因于在不同尺度上学习的不同特征：随着快速学习特征过拟合，学习较慢的特征开始拟合，导致测试错误的第二次下降。我们通过数值实验验证了我们的发现，我们的理论准确地预测了经验发现，并与深度神经网络中的观察结果保持一致。
2021-12-06 cs.AI cs.LG stat.ML
Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
Emory University（埃默里大学）
我们证明了混合正则化方法自动避免随机特征模型（RFM）训练中出现的双下降现象的能力。双下降现象的标志性特征是在插值阈值处正则化间隙中的尖峰，即当RFM中的特征的数量等于训练样本的数量时。为了弥补这一差距，本文考虑的混合方法结合了两种最常见的正则化形式：早期停止和权重衰减。该方案不需要超参数调整，因为它自动选择停止迭代和权重衰减超参数，通过使用广义交叉验证（GCV）。这也避免了专用验证集的必要性。虽然混合方法的好处已经很好地证明了不适定逆问题，但我们的工作提出了机器学习的第一个用例。为了揭示正则化的必要性和激励混合方法，我们进行了详细的数值实验启发图像分类。在这些例子中，混合方案成功地避免了双下降现象，并产生RFM，其推广与经典的正则化方法，其超参数最佳地使用测试数据调整。我们提供了我们的MATLAB代码实现本文中的数值实验在https://github.com/EmoryMLIP/HybridRFM。
2020-12-11 cs.LG stat.ML
Understanding the Double Descent Phenomenon in Deep Learning
Sorbonne Université（索邦大学）
本教程解释深度学习中的双下降现象，涵盖其机制、归纳偏置的作用，并通过线性模型示例及近期工作提供多角度理解。
2024-03-15 cs.CV cs.LG stat.ML
Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
The University of Sydney（悉尼大学）；National Institute of Informatics（国立信息学研究所）
双下降风险现象的出现在机器学习和统计学界引起了越来越多的兴趣，因为它挑战了U形训练测试曲线背后的众所周知的概念。通过Rissanen的最小描述长度（MDL），Balasubramanian的奥卡姆剃刀，和Amari的信息几何的动机，我们调查如何对数的模型体积：$\log V$，工程扩展直觉背后的AIC和BIC模型选择标准。我们发现，对于各向同性线性回归和统计格子的特定模型类，$\log V$项可以被分解成不同的组件，其中每个组件都有助于他们解释这种现象的出现。特别是，他们提出了为什么泛化误差不一定会随着模型维数的增加而继续增长。
2020-11-10 cs.LG stat.ML
Deep Double Descent: Where Bigger Models and More Data Hurt
Harvard University（哈佛大学）；OpenAI
我们发现，各种现代深度学习任务都表现出“双下降”现象，即随着模型大小的增加，性能首先变差，然后变好。此外，我们表明，双下降发生不仅作为模型大小的函数，而且作为训练时期的数量的函数。通过定义一个新的复杂性测度，我们称之为有效模型复杂性，并猜想关于这个测度的广义双下降，我们统一了上述现象。此外，我们的模型复杂性的概念，使我们能够确定某些制度，增加（甚至翻两番）的训练样本的数量实际上会损害测试性能。
2019-12-04 cs.CV cs.LG cs.NE
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University（莱斯大学）
研究了过参数化环境下的线性子空间拟合问题，其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案，在训练数据中具有不同的监督级别（即，期望的低维映射的输入-输出示例的比例）和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来，该子空间拟合强制执行严格的正交性，该回归任务是完全监督的，并且不约束线性算子结构。这类问题是定义在一个监督正交平面，其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面，并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势，设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Deep Double Descent via Smooth Interpolation
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文通过研究输入空间中损失景观的尖锐度，揭示了深度网络在模型和训练轮数层面的双重下降现象，发现大规模插值模型通过平滑拟合噪声数据来保持泛化能力，颠覆了传统直觉。
2023-04-08 cs.LG stat.ML
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University（莱斯大学）
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的，并完美地插值其训练数据。我们研究了一个参数传输机制，其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差，即，可用示例的数量、每个任务中的（自由）参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明，目标任务的泛化误差遵循二维双下降趋势（相对于每个任务中的自由参数的数量），这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况（即，目标任务中的附加自由参数）。具体来说，我们表明，迁移学习设置的有用性是脆弱的，并依赖于一组传输参数之间的微妙的相互作用，任务之间的关系，和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时，过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
Analysis of Interpolating Regression Models and the Double Descent Phenomenon
Chalmers University of Technology（查尔姆斯理工大学）
本文通过分析最小范数最小二乘插值模型和回归矩阵最小奇异值行为，解释了过参数化模型中测试误差随模型阶数增加而出现的双下降现象及其峰值位置。
2023-04-17 cs.LG eess.SP stat.ML
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；University College London（伦敦大学学院）
从经验上看，随着模型规模的增加，深度神经网络的性能稳步提高，这与经典的过拟合和泛化观点相矛盾。最近，双下降现象已被提出来调和这一观察与理论，这表明，测试误差有一个第二次下降时，模型变得充分overparameterized，作为模型大小本身作为一个隐式正则化。在本文中，我们增加了在这个空间中不断增长的工作，提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式，边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是，我们发现，在无噪声回归的情况下，双下降是唯一的解释优化相关的数量，这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信，我们的推导提供了一个替代的观点相比，现有的工作，揭示了这种现象的可能原因，至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络，特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
Double descent in quantum kernel methods
Leiden University（莱顿大学）；Department of Physics and Astronomy（物理与天文学系）；University of Waterloo（多伦多大学）；Vector Institute（向量研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究通过量子特征空间中的线性回归模型，分析性地证明了量子核方法中存在双下降现象，并通过实验验证了测试误差峰值的存在，为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
A Bootstrap Perspective on Stochastic Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；New York University（纽约大学）
本文从自助法视角探讨SGD的泛化优势，证明SGD通过隐式正则化梯度协方差矩阵的迹，提升模型对采样噪声的鲁棒性，从而改善泛化能力。
2025-12-08 cs.LG stat.ML
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University（Niigata大学）
本研究通过分析噪声数据中的深度双下降现象，揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
Least Squares Regression Can Exhibit Under-Parameterized Double Descent
Yale University（耶鲁大学）；Boston College（波士顿学院）
本文研究最小二乘回归中的双重下降现象，提出峰值位置取决于样本协方差的谱与特征向量性质，并用两个可证明的简单示例展示欠参数化区间也会出现双重下降。
2024-10-24 cs.LG math.ST stat.ML
A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent
ICSI（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）；G-STATS Data Science Chair, GIPSA-lab（G-STATS数据科学教席，GIPSA实验室）
本文在数据样本数$n$、样本维数$p$和特征空间维数$N$都很大且具有可比性的实际环境中，刻画了随机傅立叶特征（RFF）回归的精确渐近性。在这种情况下，随机RFF Gram矩阵不再收敛到众所周知的极限高斯核矩阵（当$N \to \infty$单独使用时），但它仍然具有我们的分析所捕获的易于处理的行为。该分析还为大型$n,p,N$提供了训练和测试回归误差的准确估计。基于这些估计，两个定性不同的学习阶段，包括它们之间的相变，提供了一个精确的表征;和相应的双下降测试误差曲线来自这个相变行为。这些结果不依赖于对数据分布的强假设，并且它们完全符合真实世界数据集的经验结果。
2020-12-19 cs.LG stat.ML
Double descent in the condition number
Center for Brains, Minds, and Machines, MIT（麻省理工学院脑、心智与机器中心）
在求解$d$变量$Ax=b$中的$n$线性方程组时，$n,d$矩阵$A$的条件数测量数据$b$中的误差对解$x$的影响程度。这种类型的估计在许多反问题中是重要的。一个例子是机器学习，其中关键任务是从高维空间中随机点处的一组测量值估计底层函数，并且其中对数据中的错误的低敏感度是良好预测性能的要求。在这里，我们讨论一个简单的观察，这是已知的，但令人惊讶的是很少引用（见定理4.2在\cite{Brgisser:2013:CGN:2526261}）：当$A$的列是随机向量，$A$的条件数是最高的，如果$d=n$，这是当逆$A$存在。超定系统（$n>d$）以及欠定系统（$n<d$）（对于它们必须使用伪逆而不是逆）通常具有明显更好的（即更低的）条件数。因此，作为$d$的函数绘制的$A$的条件数示出了在$d=n$处具有峰值的双下降行为。
2020-04-28 cs.LG stat.ML
Homophily modulates double descent generalization in graph convolution networks
Universität Basel（巴塞尔大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing Normal University（南京师范大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究结合统计物理与随机矩阵理论分析上下文随机块模型，揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化，并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML
Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting
本文探讨了 p > n 时最小二乘估计及其变体与新观测预测问题，通过符号变更讨论过拟合，并阐明双重下降现象。
2025-09-17 cs.LG math.ST stat.ML
More Data Can Hurt for Linear Regression: Sample-wise Double Descent
Harvard University（哈佛大学）
在这篇简要的笔记中，我们描述了过参数化线性回归中的一个令人惊讶的现象，其中维度超过了样本的数量：存在一种制度，其中梯度下降发现的估计量的测试风险随着样本的增加而增加。换句话说，更多的数据实际上会伤害估计器。这种行为是隐含在最近的理论工作分析“双下降”现象的线性模型。在本说明中，我们在一个非常简单的设置中隔离和理解这种行为：具有各向同性高斯协变量的线性回归。特别是，这是由于超参数化机制中的非常规类型的偏差-方差权衡而发生的：偏差随着样本的增加而减少，但方差增加。
2019-12-16 cs.LG cs.NE math.ST
There is no Double-Descent in Random Forests
TU Dortmund（多特蒙德工业大学）
随机森林（RF）是机器学习中最先进的技术之一，并在几乎零参数调整的情况下提供出色的性能。值得注意的是，RF似乎不受过拟合的影响，即使它们的基本构建模块是众所周知的过拟合。最近，一项广泛接受的研究认为，RF表现出所谓的双下降曲线：首先，模型在U形曲线中过度拟合数据，然后，一旦达到一定的模型复杂度，它突然再次提高其性能。在本文中，我们挑战了模型容量是解释RF成功的正确工具的概念，并认为训练模型的算法发挥着比之前想象的更重要的作用。我们表明，RF不表现出双下降曲线，而是有一个单一的下降。因此，它在经典意义上并不过拟合。我们进一步提出了一个RF的变化，也不过拟合，虽然其决策边界近似的过拟合DT。类似地，我们证明了近似RF的决策边界的DT仍然会过拟合。最后，我们研究了集成的多样性作为评估其性能的工具。为此，我们引入了负相关森林（NCForest），它允许精确控制集合中的多样性。我们表明，多样性和偏见确实有一个至关重要的影响RF的性能。具有太低的分集会将RF的性能压缩到单个树中，而具有太多的分集意味着大多数树不再产生正确的输出。然而，在这两个极端之间，我们发现了大范围的不同权衡，所有大致相同的性能。因此，只要算法达到这种良好的权衡机制，偏差和多样性之间的特定权衡就不重要。
2021-11-08 cs.LG stat.ML
On The Presence of Double-Descent in Deep Reinforcement Learning
Rug（鲁日大学）
本文在深度强化学习中系统验证了双重下降现象，发现过参数化会通过降低策略熵引导策略进入更平坦的损失极小值，从而提升泛化性与鲁棒性。
2025-11-10 cs.AI cs.LG stat.ML
Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime
Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
深度神经网络在对训练数据进行完美插值的同时，可以实现显著的泛化性能。他们的检验误差通常遵循“双下降“，而不是偏倚-方差权衡的U型曲线，这是过度参数化的有益作用的标志。在这项工作中，我们开发了一个定量的理论，这种现象在所谓的懒惰学习制度的神经网络，通过考虑学习一个高维函数与随机特征回归的问题。我们得到一个精确的渐近表达式的偏差方差分解的测试误差，并表明，偏差显示在插值阈值的相变，超过此阈值，它保持不变。我们从数据集的采样、破坏标签的加性噪声以及权重的初始化中分离出方差。在Geiger等人2019的基础上，我们首先证明了后两个贡献是双下降的关键：它们导致插值阈值处的过拟合峰值和过参数化后测试误差的衰减。然后，我们量化它们是如何被抑制的合奏平均K独立初始化估计的输出。当K被发送到无穷大时，测试误差在插值阈值之外保持恒定。我们进一步比较了过度参数化，集成和正则化的效果。最后，我们在经典的深度学习设置上进行了数值实验，以表明我们的结果在现实的懒惰学习场景中定性地成立。
2020-04-03 cond-mat.dis-nn cs.LG stat.ML
Optimal Regularization Can Mitigate Double Descent
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
最近的经验和理论研究表明，许多学习算法--从线性回归到神经网络--在样本大小和模型大小等数量上可以具有非单调的测试性能。这种引人注目的现象，通常被称为“双下降“，提出了一个问题，即我们是否需要重新思考我们目前对泛化的理解。在这项工作中，我们研究是否可以避免双下降现象，通过使用最佳正则化。理论上，我们证明了，对于某些线性回归模型的各向同性数据分布，最佳调整$\ell_2$正则化实现单调测试性能，因为我们增长的样本大小或模型大小。我们还证明了经验，优化调整的$\ell_2$正则化可以减轻更一般的模型，包括神经网络的双下降。我们的研究结果表明，在适当调整正则化的背景下研究各种算法的测试风险缩放也可能是有益的。
2021-04-29 cs.LG cs.NE math.ST
A Gradient Flow Perspective on Minimum MMD Estimation
University College London（伦敦大学学院）
针对最小最大均值差异（MMD）估计优化问题理解不足，提出预处理梯度下降（PGD）方案，在特定条件下建立渐近全局收敛性，实证表明该方案在多问题上优于标准梯度下降。
2026-07-07 cs.LG stat.ML
Distilling Double Descent
Google Research（谷歌研究院）
蒸馏是一种基于由单独的“教师”模型标记的示例来训练“学生”模型的技术，该模型本身是在标记的数据集上训练的。对于为什么蒸馏“有效”的最常见的解释是基于这样的假设，即学生被提供了来自教师模型的\emph{soft}标签、\eg概率或置信度。在这项工作中，我们表明，即使教师模型是高度过度参数化的，并提供\emph{hard}标签，使用一个非常大的保持了未标记的数据集训练学生模型可以导致一个模型，优于更“传统”的方法。我们对这一现象的解释是基于最近对“双下降“的研究。已经观察到，一旦模型的复杂度大致超过了记忆训练数据所需的量，增加复杂度\emph{further}可能会违反直觉地导致\emph{better}泛化。研究人员已经确定了几种发生这种情况的环境，而其他人则进行了各种尝试来解释它（到目前为止，只有部分成功）。相比之下，我们避免了这些问题，而是通过证明高度过度参数化的教师可以通过双下降避免过度拟合来寻求\emph{exploit}这种现象，而在由该教师标记的较大独立数据集上训练的学生将避免由于其训练集的大小而导致的过度拟合。
2021-02-13 cs.AI cs.LG stat.ML
Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks
University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
深度网络通常使用比训练数据集的大小更多的参数进行训练。最近的经验证据表明，过度参数化的做法不仅有利于训练大型模型，而且有助于-也许违反直觉-构建轻量级模型。具体来说，它表明，overparameterization的好处模型修剪/稀疏化。本文揭示了这些实证研究结果的理论特征的高维渐近模型修剪过参数化制度。提出的理论解决了以下核心问题："应该从一开始就训练一个小模型，还是先训练一个大模型，然后再修剪？".我们通过分析确定了一些机制，即使最具信息量的特征的位置是已知的，我们也最好拟合一个大型模型，然后进行修剪，而不是简单地用已知的信息量特征进行训练。这导致了稀疏模型训练中新的双下降：增长原始模型，同时保持目标稀疏性，当超过过参数化阈值时，提高了测试精度。我们的分析进一步揭示了再训练的好处，将其与特征相关性联系起来。我们发现，上述现象已经存在于线性和随机特征模型。我们的技术方法推进了高维分析的工具集，并精确地刻画了过参数化最小二乘的渐近分布。通过分析研究简单模型得到的直觉在神经网络上得到了数值验证。
2020-12-16 cs.LG stat.ML
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Origins and mitigation of double descent in reduced order modeling
University of Washington（华盛顿大学）；AI Institute in Dynamic Systems（动态系统人工智能研究所）
该研究在数据-噪声平均理论框架下，揭示降阶建模中双重下降现象的起源，提出缓解该不稳定性的正则化机制，并通过海面温度重构与PDE降阶模型时间积分验证方法有效性。
2026-07-30 cs.LG math.DS physics.data-an
Can Shallow Neural Networks Beat the Curse of Dimensionality? A mean field training perspective
Princeton University（普林斯顿大学）
我们证明了两层神经网络在经验或群体风险上的梯度下降训练可能不会比平均场尺度下的$t^{-4/(d-2)}$更快地降低群体风险。因此，用于拟合合理平滑但真正高维数据的梯度下降训练可能会受到维数灾难的影响。我们提供了数值证据，证明随着维度的增加，使用一般Lipschitz目标函数的梯度下降训练变得越来越慢，但是当目标函数位于双层ReLU网络的自然函数空间中时，在所有维度上都以近似相同的速度收敛。
2020-05-21 cs.LG math.AP stat.ML
Learning Mixtures of Experts with EM: A Mirror Descent Perspective
本文基于镜像下降视角研究了混合专家模型EM算法的理论保证，证明了其与带KL散度正则化的投影镜像下降的等价性，推导了局部线性收敛条件，并在双专家场景下基于信噪比给出了线性收敛保证，实验验证了EM优于梯度下降。
2025-05-23 cs.LG stat.ML
A Model of Double Descent for High-dimensional Binary Linear Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们考虑一个模型的逻辑斯谛回归，只有一个子集的大小$p$的功能用于训练线性分类器在$n$训练样本。分类器是通过对逻辑损失进行梯度下降（GD）来获得的。对于这个模型，我们调查的依赖性的分类错误的过参数化比率$κ=p/n$。首先，建立在已知的确定性结果上的GD的隐式偏差，我们发现了一个相变现象的情况下的高斯特征：GD的分类误差是相同的最大似然（ML）的解决方案时，$κ<κ_\star$，和最大利润（SVM）的解决方案时，$κ>κ_\star$。接下来，使用凸高斯最小-最大定理（CGMT），我们尖锐地描述了ML和SVM解决方案的性能。结合这些结果，我们得到的曲线，明确表征的分类误差为不同值的$κ$。数值结果验证了理论预测，并揭示了双下降现象，补充了线性回归设置以及更复杂的学习场景中的经验观察的类似最近的发现。
2020-05-10 cs.LG eess.SP stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
A Bayesian Perspective on Generalization and Stochastic Gradient Descent
Google Brain（谷歌大脑）
我们考虑机器学习的两个核心问题：我们如何预测最小值是否会推广到测试集，以及为什么随机梯度下降能找到推广良好的最小值？我们的工作是对Zhang et al.（2016）的回应，他表明深度神经网络可以很容易地记住随机标记的训练数据，尽管在相同输入的真实标签上泛化得很好。我们发现，同样的现象发生在小的线性模型。这些观察结果解释了贝叶斯证据，惩罚尖锐的最小值，但不变的模型参数化。我们还证明，当一个持有固定的学习率，有一个最佳的批量大小，最大限度地提高测试集的准确性。我们建议，小的小批量引入的噪声驱动器的参数朝向最小值的证据是大的。将随机梯度下降解释为随机微分方程，我们确定了“噪声尺度”$g = ε(\frac{N}{B} - 1) \approx εN/B$，其中$ε$是学习率，$N$是训练集大小，$B$是批量大小。因此，最佳批量大小与学习速率和训练集$B_{opt} \propto εN$的大小成比例。我们验证这些预测经验。
2018-02-14 cs.AI cs.LG stat.ML
Conditioning of Random Feature Matrices: Double Descent and Generalization Error
Carnegie Mellon University（卡内基梅隆大学）
我们提供了随机特征矩阵的条件数的（高概率）界。特别是，我们表明，如果复杂度比$\frac{N}{m}$，其中$N$是神经元的数量和$m$是数据样本的数量规模像$\log^{-1}(N)$或$\log(m)$，那么随机特征矩阵是良好的条件。该结果在不需要正则化的情况下成立，并且依赖于在随机特征矩阵的相关分量之间建立各种浓度界限。此外，我们推导出的限制等距常数的随机特征矩阵的界限。我们证明了使用随机特征矩阵的回归问题的风险表现出双重下降现象，这是条件数的双重下降行为的影响。风险边界包括使用最小二乘问题的欠参数化设置和使用最小范数插值问题或稀疏回归问题的过参数化设置。对于最小二乘或稀疏回归的情况下，我们表明，风险降低$m$和$N$增加，即使在有界或随机噪声的存在下。风险界匹配文献中的最佳尺度，我们的结果中的常数是明确的，独立于数据的维数。
2021-11-04 cs.LG math.OC math.PR
The double descent and Runge phenomena in overparametrized polynomial interpolation
University of Pittsburgh（匹兹堡大学）
本文研究过参数化多项式插值中Runge现象与双重下降的类比，探讨三种基下最小范数系数，结果主要针对等距和切比雪夫点。
2026-09-30 cs.NA math.CA math.NA
A Non-Asymptotic Class of Dense Precision Matrix Estimators: Complexity, Signal and Double Descent
North Carolina State University（北卡罗来纳州立大学）；Columbia University（哥伦比亚大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出了一种无模型、密集且高维一致的精确矩阵估计器，通过非渐近框架统一了密集、一致和无模型特性，并揭示了无正则化回归的双下降现象。
2026-09-29 econ.EM stat.ML
New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法，并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中，我们批判性地分析了这种方法及其性质，并显示它可以被视为一种类型的二阶优化方法，与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下，费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵，这两个近似的海森，但也有一定的属性，有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义，因为它激发了信赖域和Tikhonov正则化等技术的使用。此外，我们对自然梯度和二阶方法的理解做出了一系列贡献，包括：对随机自然梯度下降算法收敛速度的深入分析（和更一般的随机二阶方法）应用于凸二次，经常使用的“经验”近似的Fisher矩阵的批判性检查，和分析的（近似）参数化不变性性质所拥有的自然梯度方法（我们也持有某些其他曲率，但值得注意的是不是海森）。
2020-09-19 cs.LG stat.ML
On Double Descent in Reinforcement Learning with LSTD and Random Features
ENSTA Paris（巴黎高等先进技术学校）；Institut Polytechnique de Paris（巴黎综合理工学院）
本文理论分析了强化学习中网络规模和 $l_2$-正则化对性能的影响，发现参数与状态数量比值决定过参数化，并在比值接近1时引发双重下降现象，通过随机特征和惰性训练机制推导出MSBE的确定性极限。
2024-02-18 cs.AI cs.LG stat.ML
