Multi-scale Feature Learning Dynamics: Insights for Double Descent
Mila, Université de Montréal（蒙特利尔大学 Mila 研究院）；University of California, Riverside（加州大学河滨分校）
构建深度学习理论基础的一个关键挑战是神经网络的复杂优化动态，这是由大量网络参数之间的高维相互作用造成的。这种非平凡的动态导致有趣的行为，如“双下降“的现象的泛化误差。这种现象的更常见的研究方面对应于模型方面的双下降，其中测试误差随着模型复杂性的增加而呈现出第二次下降，超出了经典的U形误差曲线。在这项工作中，我们调查的起源较少研究的逐时双下降，其中的测试误差经历了两个非单调的过渡，或下降的训练时间的增加。通过利用统计物理学的工具，我们研究了一个线性师生设置，该设置表现出与深度神经网络类似的逐时双下降。在这种情况下，我们推导出封闭形式的解析表达式的演变泛化误差的训练。我们发现，双下降可以归因于在不同尺度上学习的不同特征：随着快速学习特征过拟合，学习较慢的特征开始拟合，导致测试错误的第二次下降。我们通过数值实验验证了我们的发现，我们的理论准确地预测了经验发现，并与深度神经网络中的观察结果保持一致。
2021-12-06 cs.AI cs.LG stat.ML
Understanding the Double Descent Phenomenon in Deep Learning
Sorbonne Université（索邦大学）
本教程解释深度学习中的双下降现象，涵盖其机制、归纳偏置的作用，并通过线性模型示例及近期工作提供多角度理解。
2024-03-15 cs.CV cs.LG stat.ML
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University（莱斯大学）
研究了过参数化环境下的线性子空间拟合问题，其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案，在训练数据中具有不同的监督级别（即，期望的低维映射的输入-输出示例的比例）和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来，该子空间拟合强制执行严格的正交性，该回归任务是完全监督的，并且不约束线性算子结构。这类问题是定义在一个监督正交平面，其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面，并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势，设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a Random Forest
University of Pittsburgh（匹兹堡大学）
由于其作为优秀的现成预测器的长期声誉，随机森林仍然是应用统计学家和数据科学家的首选模型。然而，尽管它们被广泛使用，直到最近，人们对它们的内部工作原理以及程序的哪些方面推动了它们的成功知之甚少。最近，出现了两个相互竞争的假设-一个基于插值，另一个基于正则化。这项工作主张支持后者，利用正则化框架重新审视几十年来的问题，是否在合奏个别树木应该被修剪。尽管在大多数流行的软件包中，随机森林的默认构造使用接近全深度的树，但在这里，我们提供了强有力的证据，证明树深度应该被视为整个过程中正则化的一种自然形式。特别是，我们的工作表明，随机森林与浅树是有利的，当数据的信噪比低。在建立这一论点，我们还批评了新流行的概念“双下降”在随机森林中绘制平行U-统计，并认为随机森林的准确性显着的跳跃是简单的平均，而不是插值的结果。
2021-03-30 cs.LG stat.ML
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University（莱斯大学）
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的，并完美地插值其训练数据。我们研究了一个参数传输机制，其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差，即，可用示例的数量、每个任务中的（自由）参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明，目标任务的泛化误差遵循二维双下降趋势（相对于每个任务中的自由参数的数量），这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况（即，目标任务中的附加自由参数）。具体来说，我们表明，迁移学习设置的有用性是脆弱的，并依赖于一组传输参数之间的微妙的相互作用，任务之间的关系，和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时，过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；University College London（伦敦大学学院）
从经验上看，随着模型规模的增加，深度神经网络的性能稳步提高，这与经典的过拟合和泛化观点相矛盾。最近，双下降现象已被提出来调和这一观察与理论，这表明，测试误差有一个第二次下降时，模型变得充分overparameterized，作为模型大小本身作为一个隐式正则化。在本文中，我们增加了在这个空间中不断增长的工作，提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式，边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是，我们发现，在无噪声回归的情况下，双下降是唯一的解释优化相关的数量，这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信，我们的推导提供了一个替代的观点相比，现有的工作，揭示了这种现象的可能原因，至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络，特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
Double descent in quantum kernel methods
Leiden University（莱顿大学）；Department of Physics and Astronomy（物理与天文学系）；University of Waterloo（多伦多大学）；Vector Institute（向量研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究通过量子特征空间中的线性回归模型，分析性地证明了量子核方法中存在双下降现象，并通过实验验证了测试误差峰值的存在，为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
InfiniteBoost: building infinite ensembles with gradient descent
National Research University Higher School of Economics（国立研究型大学高等经济学院）
在机器学习中，集成方法对于不同领域的各种问题都表现出了很高的准确性。在实践中广泛使用的两个值得注意的集成方法是梯度提升和随机森林。在本文中，我们提出了InfiniteBoost-一种新的算法，它结合了这两种方法的重要属性。该算法构造的树的集合具有两个属性：集合的树包含其他树所做的错误;同时集合可以包含无限数量的树，而不会产生过拟合效应。该算法的回归，分类和排名任务，使用大规模的，公开可用的数据集进行评估。
2018-09-21 cs.LG stat.ML
Homophily modulates double descent generalization in graph convolution networks
Universität Basel（巴塞尔大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing Normal University（南京师范大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究结合统计物理与随机矩阵理论分析上下文随机块模型，揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化，并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML
On feature selection in double-imbalanced data settings: a Random Forest approach
Department of Economics ``Marco Biagi''（马可·比亚吉经济系）
针对双不平衡数据下随机森林传统特征选择方法排序不稳定的问题，提出基于最小深度的新型阈值方案，利用树拓扑评估变量相关性，实验证明其能生成更简洁准确的变量子集，提供实用可解释的解决方案。
2025-06-12 cs.LG stat.ME
Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近的证据表明，深度学习模型的泛化误差存在所谓的双下降甚至三下降行为。这一重要现象通常出现在已实现的神经网络架构中，并且似乎也出现在训练过程中的逐时曲线中。最近的一系列研究强调，随机矩阵工具可以用来获得精确的分析渐近的随机特征模型的泛化（和训练）错误。在这篇文章中，我们分析了梯度流下随机特征模型的泛化和训练误差的整体时间行为。我们表明，在大系统尺寸的渐近极限的完整的时间演化路径的两个错误可以计算分析。这使我们能够观察双下降和三下降如何随着时间的推移而发展，如果以及何时提前停止是一种选择，并且还观察时间下降结构。我们的技术是基于柯西复杂的积分表示的错误连同最近的随机矩阵方法的基础上线性铅笔。
2021-10-22 cs.LG stat.ML
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
Conditioning of Random Feature Matrices: Double Descent and Generalization Error
Carnegie Mellon University（卡内基梅隆大学）
我们提供了随机特征矩阵的条件数的（高概率）界。特别是，我们表明，如果复杂度比$\frac{N}{m}$，其中$N$是神经元的数量和$m$是数据样本的数量规模像$\log^{-1}(N)$或$\log(m)$，那么随机特征矩阵是良好的条件。该结果在不需要正则化的情况下成立，并且依赖于在随机特征矩阵的相关分量之间建立各种浓度界限。此外，我们推导出的限制等距常数的随机特征矩阵的界限。我们证明了使用随机特征矩阵的回归问题的风险表现出双重下降现象，这是条件数的双重下降行为的影响。风险边界包括使用最小二乘问题的欠参数化设置和使用最小范数插值问题或稀疏回归问题的过参数化设置。对于最小二乘或稀疏回归的情况下，我们表明，风险降低$m$和$N$增加，即使在有界或随机噪声的存在下。风险界匹配文献中的最佳尺度，我们的结果中的常数是明确的，独立于数据的维数。
2021-11-04 cs.LG math.OC math.PR
RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests
Massachusetts Institute of Technology（麻省理工学院）；Microsoft Research New England（微软新英格兰研究院）
许多利益的因果和政策效应是由高维或非参数回归函数的线性泛函定义的。$\sqrt{n}$ -对感兴趣对象的一致和渐近正态估计需要去偏，以减少正则化和/或模型选择对感兴趣对象的影响。去偏通常通过向泛函的插入估计器添加校正项来实现，这导致诸如半参数效率、双鲁棒性和奈曼正交性等属性。我们实现了一个自动去偏过程的基础上自动学习的Riesz表示的线性功能，使用神经网络和随机森林。我们的方法只依赖于黑盒评估Oracle访问的线性功能，并不需要其解析形式的知识。我们提出了一个多任务神经网络去偏方法与随机梯度下降最小化的组合Riesz代表和回归损失，同时共享表示层的两个功能。我们还提出了一个随机森林方法，学习的Riesz函数的局部线性表示。尽管我们的方法适用于任意泛函，但我们通过实验发现，对于平均治疗效果泛函的情况，与Shi等人（2019）基于神经网络的最新算法相比，它表现良好。我们还评估了我们的方法估计平均边际效应的问题，连续治疗，使用半合成数据的汽油价格变化对汽油需求。
2022-06-15 cs.LG econ.EM stat.ML
Feature Space Selection and Heterogeneous Effect Estimation for Blood-Brain Barrier Permeability: A Random Forest to the Generalized Random Forest Pipeline
University of Pretoria（比勒陀利亚大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本研究利用MoleculeNet BBBP数据集，通过系统消融特征空间并应用广义随机森林与双重机器学习，发现特征表示与算法耦合影响预测性能，且校正混杂后LogP-BBB关联的异质性证据不足。
2026-09-25 cs.LG stat.ML
A Double Residual Compression Algorithm for Efficient Distributed Learning
Michigan State University（密歇根州立大学）
大规模机器学习模型通常由并行随机梯度下降算法训练。然而，梯度聚合和模型同步之间的主和工人节点的通信成本成为有效的学习的主要障碍，随着工人的数量和模型的维数增加。在本文中，我们提出DORE，一个双重剩余压缩随机梯度下降算法，以减少超过$95\%$的整体通信，这样的障碍可以大大减轻。我们的理论分析表明，所提出的策略具有优越的收敛性能的强凸和非凸目标函数。实验结果验证了DORE实现了最佳的通信效率，同时保持类似的模型精度和收敛速度相比，开始的最先进的基线。
2019-10-16 cs.DC cs.LG stat.ML
Overfitting Can Be Harmless for Basis Pursuit, But Only to a Degree
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
最近，人们对研究过参数化和过拟合机制下线性回归模型的泛化误差的所谓“双下降”产生了浓厚的兴趣，希望这种分析可以为理解为什么过参数化深度神经网络（DNN）仍然具有良好的泛化能力提供第一步。然而，到目前为止，这些研究大多集中在最小$\ell_2$ -范数的解决方案，过拟合的数据。相比之下，在本文中，我们研究过拟合的解决方案，最大限度地减少了$\ell_1$ -范数，这是被称为基追踪（BP）在压缩传感文献。在具有$p$ i.i.d.的稀疏真线性回归模型下，高斯特征，我们表明，对于大范围的$p$到一个限制，指数增长的样本数$n$，具有很高的概率BP模型误差的上限值，减少与$p$。据我们所知，这是第一个分析结果，在文献中建立了双下降的过拟合BP有限$n$和$p$。此外，我们的研究结果揭示了BP和最小$\ell_2$ -范数解的双重下降之间的显着差异。具体而言，BP的双下降上限与信号强度无关，并且对于高SNR和稀疏模型，BP的下降底可以比最小$\ell_2$范数解的下降底低得多且宽得多。
2020-11-17 cs.LG math.ST stat.ML
Double Descent for Random Fourier Series Models
Zhejiang Sci-Tech University（浙江理工大学）
本研究通过随机矩阵理论分析随机部分DFT矩阵的最小二乘回归，推导出Moore-Penrose估计器的精确非渐近风险界，并刻画了双重下降现象，数值实验验证了理论结果。
2026-09-28 cs.IT math.IT math.ST
Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近的一系列工作已经显示出简单学习模型中泛化误差曲线的显着行为。即使是最小二乘回归也显示出非典型的特征，如模型的双重下降，进一步的工作观察到三重或多重下降。另一个重要的特征是在训练过程中出现的逐代下降结构。在有限的理论设置（如随机特征模型）中，通过分析得出了模型和时代下降的观察结果，否则就是实验性的。在这项工作中，我们提供了一个完整的和统一的分析的整个时间演化的推广曲线，在渐进的大规模的制度和梯度流下，在一个更广泛的理论设置源于高斯协变量模型。特别是，我们涵盖了文献中已经不同观察到的大多数情况，并且还提供了作为模型参数或时间的函数存在多个下降结构的示例。此外，我们还证明了我们的理论预测与通过梯度下降在现实数据集上获得的学习曲线充分匹配。从技术上讲，我们使用基于“线性铅笔”的随机矩阵理论的最新发展来计算涉及随机矩阵的有理表达式的平均值。另一个贡献，这也是独立的兴趣，在随机矩阵理论，是一个新的推导相关的不动点方程（和延伸那里关闭）使用戴森布朗运动。
2022-12-18 cs.LG stat.ML
eGAD! double descent is explained by Generalized Aliasing Decomposition
Department of Physics and Astronomy, Brigham Young University, Provo, Utah 84602, USA（物理与天文学系， BYU，犹他州普罗沃，84602，USA）；Department of Mathematics, Brigham Young University, Provo, Utah 84602, USA（数学系， BYU，犹他州普罗沃，84602，USA）
本文提出广义混叠分解（GAD），将预测误差分解为模型不足、数据不足和广义混叠三部分，用以解释双重下降及多重下降现象，并展示其在机器学习、信号处理、微分方程求解和材料发现等领域的应用。
2025-06-03 cs.LG math-ph math.MP
Probabilistic Rollouts for Learning Curve Extrapolation Across Hyperparameter Settings
University of Freiburg（弗赖堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
我们提出了概率模型，可以基于具有可变长度学习曲线的训练数据外推迭代机器学习算法的学习曲线，例如用于训练深度网络的随机梯度下降。我们研究这个框架的基础上随机森林和贝叶斯循环神经网络的实例。我们的实验表明，当外推使用不同超参数设置训练的神经网络的性能时，这些模型比来自超参数优化文献的最新模型产生更好的预测。
2019-10-10 cs.LG stat.ML
The generalization error of random features regression: Precise asymptotics and double descent curve
深度学习方法在违背传统统计思维的制度中运行。神经网络架构通常包含比训练样本更多的参数，并且非常丰富，以至于它们可以插值观察到的标签，即使后者被纯噪声取代。尽管它们非常复杂，但相同的架构在真实数据上实现了很小的泛化误差。这一现象被解释为所谓的“双重下降”曲线。随着模型复杂度的增加，测试误差在开始时遵循通常的U形曲线，首先下降，然后在插值阈值附近达到峰值（当模型达到消失的训练误差时）。然而，当模型复杂度超过这个阈值时，它会再次下降。全局最小的测试误差被发现高于插值阈值，往往在极端overparametrization制度中的参数的数量远远大于样本的数量。这种行为的元素远不是深度神经网络的特有属性，而是在更简单的设置中得到了证明，包括带有随机协变量的线性回归。在本文中，我们考虑的问题，学习一个未知函数的$d$ -维球$\mathbb S^{d-1}$，从$n$ i.i.d.样品$(\boldsymbol x_i, y_i)\in \mathbb S^{d-1} \times \mathbb R$、$i\le n$。我们对形式为$σ(\boldsymbol w_a^{\mathsf T} \boldsymbol x)$、$a\le N$的$N$随机特征进行岭回归。这可以等效地描述为具有随机第一层权重的两层神经网络。我们在极限$N,n,d\to \infty$内计算检验误差的精确渐近，其中$…
2020-12-11 math.ST stat.ML stat.TH
The Mathematical Theory of Double Descent as Shrinkage, not Overfitting: Matching Bounds for Path-Regularized Multilayer Neural Networks
Department of Automation, Tsinghua University（清华大学自动化系）
本文提出一种非渐近泛化理论，针对路径正则化的多层神经网络，无需假设损失函数有界，考虑了近似误差，并揭示了双下降现象的潜在机制。
2026-10-23 cs.AI cs.LG math.ST
Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；Boston University（波士顿大学）
双下降是机器学习中一个令人惊讶的现象，随着模型参数数量相对于数据数量的增长，测试误差会随着模型变得越来越大而下降，进入高度过参数化（数据欠采样）状态。这种测试误差的下降与经典学习理论中的过拟合理论背道而驰，并且可以说是机器学习中大型模型成功的基础。测试损失的这种非单调行为取决于数据的数量、数据的维数和模型参数的数量。在这里，我们简要地描述了双下降，然后提供了一个解释为什么双下降发生在一个非正式和平易近人的方式，只需要熟悉线性代数和介绍概率。我们使用多项式回归提供视觉直觉，然后用普通线性回归对双下降进行数学分析，并确定三个可解释的因素，当这些因素同时存在时，它们一起产生双下降。我们证明，双下降发生在真实数据时，使用普通的线性回归，然后证明，双下降不发生时，任何三个因素被消融。我们用这种理解来阐明最近在非线性模型中关于叠加和双下降的观察。代码是公开的。
2023-03-24 cs.LG stat.ML
Regularization-wise double descent: Why it occurs and how to eliminate it
Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
过度参数化模型的风险，特别是深度神经网络，通常是模型大小的函数。最近，有研究表明，作为提前停止时间函数的风险也可以呈双下降形状，并且这种行为可以解释为偏差-方差权衡的叠加。在本文中，我们证明了显式L2正则化模型的风险可以表现出双下降行为的正则化强度的函数，在理论和实践中。我们发现，对于线性回归，双下降形风险是由对应于模型不同部分的偏差-方差权衡的叠加引起的，并且可以通过适当地缩放每个部分的正则化强度来减轻。受此结果的启发，我们研究了一个两层神经网络，并表明可以通过调整第一层和第二层的正则化强度来消除双下降。最后，我们研究了在带有标签噪声的CIFAR-10和没有标签噪声的CIFAR-100上训练的5层CNN和ResNet-18，并证明了所有这些都表现出双下降行为作为正则化强度的函数。
2022-06-03 cs.LG stat.ML
Understanding the Role of Optimization in Double Descent
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文从优化视角统一解释模型级双重下降，证明其出现取决于优化器能否找到低损失极小值，并通过受控实验说明现实设置中峰值较弱的原因。
2023-12-06 cs.LG stat.ML
High-dimensional analysis of double descent for linear regression with random projections
Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑线性回归问题与不同数量的随机投影，我们证明表现出一个固定的预测问题的双下降曲线，高维分析的基础上随机矩阵理论。我们首先考虑岭回归估计和审查早期的结果，使用经典的概念，从非参数统计，即自由度，也被称为有效维数。然后，我们计算渐近等价的泛化性能（在平方偏差和方差方面）的最小范数最小二乘拟合与随机投影，提供简单的表达式的双下降现象。
2023-03-14 cs.LG stat.ML
Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University（林雪平大学）
本文研究两层线性神经网络中的逐轮双下降，推导梯度流并识别除输入方差外，输入-输出协方差矩阵奇异值作为新影响因素，向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
Phenomenology of Double Descent in Finite-Width Neural Networks
ETH Zürich（苏黎世联邦理工学院）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Basel（巴塞尔大学）
“双下降”描述了模型的泛化行为，取决于它们所属的制度：参数不足或过度。目前对这种现象背后的理论理解主要是基于线性和核回归模型-通过神经切线核与神经网络进行非正式的比较。因此，此类分析无法充分捕捉有限宽度神经网络中双重下降背后的机制，并且忽略了关键组件--例如损失函数的选择。我们解决这些缺点，利用影响函数，以获得适当的表达的人口损失及其下限，同时施加最小的假设的参数模型的形式。我们推导出的界限承担一个密切的联系，在最佳的Hessian谱，重要的是，表现出双下降行为的插值阈值。基于我们的分析，我们进一步研究了损失函数如何影响双重下降-从而揭示了神经网络及其Hessian谱在插值阈值附近的有趣特性。
2022-03-14 cs.LG stat.ML
Early Stopping in Deep Networks: Double Descent and How to Eliminate it
Technical University of Munich（慕尼黑工业大学）；Rice University（莱斯大学）
过度参数化的模型，如大型深度网络，通常会表现出双下降现象，而模型大小的函数，误差首先减少，增加，最后减少。这种有趣的双下降行为也是作为训练时期的函数发生的，并且已经被证明是因为训练时期控制了模型的复杂性。在本文中，我们证明了这种逐时期的双下降是由于不同的原因而产生的：它是由两个或多个偏差-方差权衡的叠加引起的，因为网络的不同部分是在不同的时期学习的，通过适当缩放步长来消除这一点可以显着提高早期停止性能。我们分析了i）线性回归，其中不同尺度的特征会产生偏差-方差权衡的叠加，以及ii）两层神经网络，其中第一层和第二层分别控制偏差-方差权衡。受此理论的启发，我们对两个标准卷积网络进行了实证研究，结果表明，通过调整不同层的步长来消除逐时双下降可以显着提高早期停止性能。
2020-09-19 cs.LG stat.ML
Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task
Department of Life Sciences, University of Bath（生命科学系，巴斯大学）
本文在结核分枝杆菌异烟肼耐药基因组预测任务中，沿学习器容量与集成规模两个轴调节树模型复杂度，发现双重下降仅在二者联合扩展时出现。
2025-09-22 cs.LG stat.ML
Kernel regression in high dimensions: Refined analysis beyond double descent
KU Leuven；University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提供了一个精确的表征的泛化性能的高维核岭回归在下和过参数化制度，这取决于训练数据的数量n是否超过特征维数d。通过建立一个偏差方差分解的预期超额风险，我们表明，虽然偏差是（几乎）独立的d和单调递减的n，方差依赖于n，d，可以是单峰或单调递减下不同的正则化方案。我们的精细分析超越了双下降理论，表明根据数据特征曲线和正则化水平，核回归风险曲线可以是双下降，钟形或n的单调函数。合成和真实数据进行实验，以支持我们的理论研究结果。
2021-02-24 cs.LG stat.ML
Oblique and rotation double random forest
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）；Qatar University（卡塔尔大学）；VŠB - Technical University of Ostrava（俄斯特拉发技术大学）
随机森林是一种基于装袋和随机子空间概念的决策树集成。正如Breiman所建议的，不稳定学习者的力量和他们之间的多样性是集成模型的核心力量。在本文中，我们提出了两种方法，称为倾斜和旋转双随机森林。在第一种方法中，我们提出了基于旋转的双随机森林。在基于旋转的双随机森林中，在每个节点处生成特征空间的变换或旋转。在每个节点处选择不同的随机特征子空间进行评估，因此每个节点处的变换是不同的。不同的转换导致基础学习器之间更好的多样性，因此，更好的泛化性能。以双随机森林为基学习器，对每个节点上的数据分别进行主成分分析和线性判别分析。在第二种方法中，我们提出了斜双随机森林。随机森林和双随机森林中的决策树是单变量的，这导致产生轴平行分裂，无法捕获数据的几何结构。此外，标准随机森林可能无法生长足够大的决策树，从而导致次优性能。为了捕捉几何属性和增长的决策树足够的深度，我们提出了斜双随机森林。斜双随机森林模型是多元决策树。在每个非叶节点处，多表面邻近支持向量机生成最优平面，以获得更好的泛化性能。针对斜双随机森林决策树的小样本问题，采用了不同的正则化技术。
2022-08-09 cs.AI cs.LG
Two models of double descent for weak features
Halıcıoğlu Data Science Institute, UC San Diego（加州大学圣迭戈分校哈勒哲奥卢数据科学研究所）；Columbia University（哥伦比亚大学）
提出了“双下降“风险曲线来定性描述变参数机器学习模型的样本外预测精度。这篇文章提供了一个精确的数学分析，在两个简单的数据模型与最小二乘/最小范数预测这条曲线的形状。具体而言，当特征数$p$接近样本量$n$时，风险达到峰值，但当$p$增加到超过$n$时，风险降低到最小值。这种行为与“有先见之明”的模型形成对比，这些模型以先验的最优顺序选择特征。
2020-10-10 cs.LG stat.ML
Double-descent curves in neural networks: a new perspective using Gaussian processes
University of Oxford（牛津大学）
本文利用随机矩阵理论将经验特征协方差矩阵谱刻画为NNGP核谱的宽度依赖扰动，从而为神经网络双下降现象提供了由经验核与NNGP核差异支配的新解释。
2023-05-25 cs.LG stat.ML
Manipulating Sparse Double Descent
University of Cambridge（剑桥大学）
该研究面向两层神经网络，考察 L1 正则化与表示维度如何影响一种称为稀疏双重下降的现象，并揭示模型复杂性、稀疏性和泛化之间的关系。
2024-01-19 cs.LG
Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
Emory University（埃默里大学）
我们证明了混合正则化方法自动避免随机特征模型（RFM）训练中出现的双下降现象的能力。双下降现象的标志性特征是在插值阈值处正则化间隙中的尖峰，即当RFM中的特征的数量等于训练样本的数量时。为了弥补这一差距，本文考虑的混合方法结合了两种最常见的正则化形式：早期停止和权重衰减。该方案不需要超参数调整，因为它自动选择停止迭代和权重衰减超参数，通过使用广义交叉验证（GCV）。这也避免了专用验证集的必要性。虽然混合方法的好处已经很好地证明了不适定逆问题，但我们的工作提出了机器学习的第一个用例。为了揭示正则化的必要性和激励混合方法，我们进行了详细的数值实验启发图像分类。在这些例子中，混合方案成功地避免了双下降现象，并产生RFM，其推广与经典的正则化方法，其超参数最佳地使用测试数据调整。我们提供了我们的MATLAB代码实现本文中的数值实验在https://github.com/EmoryMLIP/HybridRFM。
2020-12-11 cs.LG stat.ML
Mitigating deep double descent by concatenating inputs
Rice University（莱斯大学）
双下降曲线是深度神经网络最有趣的特性之一。它将经典的偏差-方差曲线与现代神经网络的行为进行了对比，发生在样本数量接近参数数量的地方。在这项工作中，我们探讨了双下降现象和深度神经网络设置中的样本数量之间的联系。特别是，我们提出了一个建设，增加现有的数据集，人为地增加样本的数量。该构造经验性地减轻了该设置中的双下降曲线。我们复制现有的工作深双下降，并观察到一个光滑的下降到超参数化的区域，为我们的建设。这既与模型大小有关，也与时期数有关。
2021-07-02 cs.LG
Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
The University of Sydney（悉尼大学）；National Institute of Informatics（国立信息学研究所）
双下降风险现象的出现在机器学习和统计学界引起了越来越多的兴趣，因为它挑战了U形训练测试曲线背后的众所周知的概念。通过Rissanen的最小描述长度（MDL），Balasubramanian的奥卡姆剃刀，和Amari的信息几何的动机，我们调查如何对数的模型体积：$\log V$，工程扩展直觉背后的AIC和BIC模型选择标准。我们发现，对于各向同性线性回归和统计格子的特定模型类，$\log V$项可以被分解成不同的组件，其中每个组件都有助于他们解释这种现象的出现。特别是，他们提出了为什么泛化误差不一定会随着模型维数的增加而继续增长。
2020-11-10 cs.LG stat.ML
Deep Double Descent: Where Bigger Models and More Data Hurt
Harvard University（哈佛大学）；OpenAI
我们发现，各种现代深度学习任务都表现出“双下降”现象，即随着模型大小的增加，性能首先变差，然后变好。此外，我们表明，双下降发生不仅作为模型大小的函数，而且作为训练时期的数量的函数。通过定义一个新的复杂性测度，我们称之为有效模型复杂性，并猜想关于这个测度的广义双下降，我们统一了上述现象。此外，我们的模型复杂性的概念，使我们能够确定某些制度，增加（甚至翻两番）的训练样本的数量实际上会损害测试性能。
2019-12-04 cs.CV cs.LG cs.NE
Deep Double Descent via Smooth Interpolation
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文通过研究输入空间中损失景观的尖锐度，揭示了深度网络在模型和训练轮数层面的双重下降现象，发现大规模插值模型通过平滑拟合噪声数据来保持泛化能力，颠覆了传统直觉。
2023-04-08 cs.LG stat.ML
Double Descent Optimization Pattern and Aliasing: Caveats of Noisy Labels
Stanford University（斯坦福大学）
优化在深度神经网络的训练中发挥着关键作用。决定何时停止训练可能会对网络在推理过程中的性能产生重大影响。在某些条件下，泛化误差可以在训练期间显示双下降模式：学习曲线是非单调的，并且在额外的时期之后再次收敛之前似乎发散。这种优化模式可能导致提前停止过程，在第二次收敛之前停止训练，从而为网络选择一组次优的参数，在推理过程中性能较差。在这项工作中，除了确认双下降发生在小数据集和噪声标签，如其他人所证明的，我们表明，噪声标签必须存在于训练和泛化集，以观察双下降模式。我们还证明了学习率对双下降的影响，并研究了不同的优化器和优化器参数如何影响双下降的出现。最后，我们表明，提高学习率可以创建一个混淆效应，掩盖了双下降模式，而不是抑制它。我们通过对CIFAR-10的变体进行广泛的实验来研究这种现象，并表明它们可以转化为现实世界的应用：从连续的脑电图记录中预测癫痫患者的癫痫发作事件。
2021-09-17 cs.LG
Analysis of Interpolating Regression Models and the Double Descent Phenomenon
Chalmers University of Technology（查尔姆斯理工大学）
本文通过分析最小范数最小二乘插值模型和回归矩阵最小奇异值行为，解释了过参数化模型中测试误差随模型阶数增加而出现的双下降现象及其峰值位置。
2023-04-17 cs.LG eess.SP stat.ML
When and how epochwise double descent happens
Intel Labs（英特尔实验室）
众所周知，深度神经网络随着参数数量的增加而表现出“双下降”行为。最近，它也已被证明，一个“epochwise双下降”的效果存在，其中的泛化误差最初下降，然后上升，并最终再次下降，随着训练时间的增加。这提出了一个实际问题，因为训练所需的时间很长，并且基于验证性能的早期停止可能导致次优泛化。在这项工作中，我们开发了一个易于分析的逐时双下降模型，使我们能够在理论上预测这种效应何时可能发生。该模型基于这样的假设，即训练数据包含学习缓慢但信息丰富的特征。然后，我们通过实验证明，深度神经网络的行为与我们的理论模型相似。我们的研究结果表明，划时代的双下降需要一个临界量的噪音发生，但高于第二个临界噪音水平早期停止仍然有效。利用理论中的见解，我们给出了两种方法，通过这种方法可以去除逐时双下降：一种方法从输入中去除学习缓慢的特征并降低泛化性能，另一种方法则修改训练动态并匹配或超过标准训练的泛化性能。综上所述，我们的研究结果提出了一个新的图片如何从动态的训练和噪音之间的相互作用出现的双下降的训练数据。
2021-08-26 cs.LG
Unraveling the Enigma of Double Descent: An In-depth Analysis through the Lens of Learned Feature Space
Fudan University（复旦大学）；School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；University College London（伦敦大学学院）；Department of Computer Science, University College London（伦敦大学学院计算机科学系）；Shanghai Key Laboratory of Intelligent Information Processing（上海智能信息处理重点实验室）
本研究通过分析学习表示的特征空间，揭示了双重下降现象由噪声数据驱动，发生于不完美模型中，其本质是模型先拟合噪声至插值点，再通过过参数化引入隐式正则化以分离信息与噪声。
2024-04-25 cs.LG
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University（Niigata大学）
本研究通过分析噪声数据中的深度双下降现象，揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes
University of Melbourne（墨尔本大学）；University of Queensland（昆士兰大学）；International Computer Science Institute（国际计算机科学研究所）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California at Berkeley（加州大学伯克利分校）
本文研究了高斯过程不确定性估计中的单调性与双重下降现象，证明最大化边缘似然使性能随输入维度单调改善，而交叉验证指标则呈现双重下降特征，冷后验会加剧此现象。
2023-07-25 cs.LG stat.ML
Sparse Double Descent: Where Network Pruning Aggravates Overfitting
Beihang University（北京航空航天大学）；The University of Tokyo（东京大学）；RIKEN Center for AIP（理化学研究所人工智能研究中心）
人们通常认为，网络修剪不仅可以降低深度网络的计算成本，还可以通过降低模型容量来防止过拟合。然而，我们的工作令人惊讶地发现，网络修剪有时甚至会消除过拟合。我们报告了一种意想不到的稀疏双下降现象，即当我们通过网络修剪增加模型稀疏性时，测试性能首先变得更差（由于过拟合），然后变得更好（由于过拟合得到缓解），最后变得更差（由于忘记有用的信息）。虽然最近的研究集中在模型过度参数化方面的深度双下降，但他们未能认识到稀疏性也可能导致双下降。在本文中，我们有三个主要贡献。首先，我们通过大量的实验报告了新的稀疏双下降现象。其次，针对这一现象，我们提出了一种新的学习距离解释，即稀疏模型的$\ell_{2}$学习距离曲线（从初始参数到最终参数）可以与稀疏双下降曲线很好地相关，并且比最小平坦性更好地反映泛化能力。第三，在稀疏双下降的背景下，彩票假设中的中奖彩票令人惊讶地可能不总是中奖。
2022-06-17 cs.CV cs.LG
On the Relationship Between Double Descent of CNNs and Shape/Texture Bias Under Learning Process
Tokyo Denki University（东京电机大学）；Tokyo Institute of Technology（东京工业大学）；Tenchijin Inc.（天进公司）；National Institute of Advanced Industrial Science and Technology（国立先进工业技术研究所）
本文研究了CNN学习过程中形状/纹理偏差与逐轮次双重下降现象的关联，发现两者同步出现，且该现象在无标签噪声条件下也可能发生，有助于揭示双重下降机制。
2025-03-04 cs.CV cs.LG
Understanding the double descent curve in Machine Learning
INESC-ID（葡萄牙国家系统与计算机工程研究所）；Higher Technical Institute, University of Lisbon（里斯本大学高等技术学院）
偏差-方差理论用于指导应用机器学习算法时的模型选择。然而，现代实践表明，过度参数化的模型是成功的，这些模型被期望过拟合，但没有。这导致了贝尔金等人提出的性能双下降曲线的建议。虽然它似乎描述了一个真实的，有代表性的现象，该领域缺乏一个基本的理论理解正在发生什么，什么是模型选择的后果，以及何时预计会发生双下降。在本文中，我们开发了一个原则性的理解的现象，并勾勒出这些重要问题的答案。此外，我们报告了我们提出的假设正确预测的真实实验结果。
2022-11-18 cs.LG
A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent
ICSI（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）；G-STATS Data Science Chair, GIPSA-lab（G-STATS数据科学教席，GIPSA实验室）
本文在数据样本数$n$、样本维数$p$和特征空间维数$N$都很大且具有可比性的实际环境中，刻画了随机傅立叶特征（RFF）回归的精确渐近性。在这种情况下，随机RFF Gram矩阵不再收敛到众所周知的极限高斯核矩阵（当$N \to \infty$单独使用时），但它仍然具有我们的分析所捕获的易于处理的行为。该分析还为大型$n,p,N$提供了训练和测试回归误差的准确估计。基于这些估计，两个定性不同的学习阶段，包括它们之间的相变，提供了一个精确的表征;和相应的双下降测试误差曲线来自这个相变行为。这些结果不依赖于对数据分布的强假设，并且它们完全符合真实世界数据集的经验结果。
2020-12-19 cs.LG stat.ML
Least Squares Regression Can Exhibit Under-Parameterized Double Descent
Yale University（耶鲁大学）；Boston College（波士顿学院）
本文研究最小二乘回归中的双重下降现象，提出峰值位置取决于样本协方差的谱与特征向量性质，并用两个可证明的简单示例展示欠参数化区间也会出现双重下降。
2024-10-24 cs.LG math.ST stat.ML
Double descent in the condition number
Center for Brains, Minds, and Machines, MIT（麻省理工学院脑、心智与机器中心）
在求解$d$变量$Ax=b$中的$n$线性方程组时，$n,d$矩阵$A$的条件数测量数据$b$中的误差对解$x$的影响程度。这种类型的估计在许多反问题中是重要的。一个例子是机器学习，其中关键任务是从高维空间中随机点处的一组测量值估计底层函数，并且其中对数据中的错误的低敏感度是良好预测性能的要求。在这里，我们讨论一个简单的观察，这是已知的，但令人惊讶的是很少引用（见定理4.2在\cite{Brgisser:2013:CGN:2526261}）：当$A$的列是随机向量，$A$的条件数是最高的，如果$d=n$，这是当逆$A$存在。超定系统（$n>d$）以及欠定系统（$n<d$）（对于它们必须使用伪逆而不是逆）通常具有明显更好的（即更低的）条件数。因此，作为$d$的函数绘制的$A$的条件数示出了在$d=n$处具有峰值的双下降行为。
2020-04-28 cs.LG stat.ML
