Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University(林雪平大学)
本文研究两层线性神经网络中的逐轮双下降,推导梯度流并识别除输入方差外,输入-输出协方差矩阵奇异值作为新影响因素,向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
Distilling Reinforcement Learning into Single-Batch Datasets
Brigham Young University
本文提出将强化学习环境蒸馏为单批次监督学习数据集的方法,通过扩展近端策略优化进行元学习,验证了该方法在多种环境中的压缩能力与跨架构泛化性。
2025-08-12 cs.LG
On The Presence of Double-Descent in Deep Reinforcement Learning
Rug(鲁日大学)
本文在深度强化学习中系统验证了双重下降现象,发现过参数化会通过降低策略熵引导策略进入更平坦的损失极小值,从而提升泛化性与鲁棒性。
2025-11-10 cs.AI cs.LG stat.ML
VC Theoretical Explanation of Double Descent
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
人们对大型多层神经网络的泛化性能越来越感兴趣,这种网络可以训练成零训练误差,同时在测试数据上泛化良好。这种机制被称为“二次下降”,它似乎与传统观点相矛盾,即最佳模型复杂性应该反映欠拟合和过拟合之间的最佳平衡,即,偏差-方差权衡。本文给出了双重下降的VC-理论分析,并证明了经典的VC-泛化界可以完全解释它。我们说明了一个应用程序的分析VC边界建模双下降分类,使用经验的结果,如SVM,最小二乘法,多层感知器分类器的几种学习方法。此外,我们还讨论了深度学习社区对VC理论结果的误解的几个原因。
2022-09-29 cs.LG stat.ML
Phenomenology of Double Descent in Finite-Width Neural Networks
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Basel(巴塞尔大学)
“双下降”描述了模型的泛化行为,取决于它们所属的制度:参数不足或过度。目前对这种现象背后的理论理解主要是基于线性和核回归模型-通过神经切线核与神经网络进行非正式的比较。因此,此类分析无法充分捕捉有限宽度神经网络中双重下降背后的机制,并且忽略了关键组件--例如损失函数的选择。我们解决这些缺点,利用影响函数,以获得适当的表达的人口损失及其下限,同时施加最小的假设的参数模型的形式。我们推导出的界限承担一个密切的联系,在最佳的Hessian谱,重要的是,表现出双下降行为的插值阈值。基于我们的分析,我们进一步研究了损失函数如何影响双重下降-从而揭示了神经网络及其Hessian谱在插值阈值附近的有趣特性。
2022-03-14 cs.LG stat.ML
Unifying Grokking and Double Descent
Harvard University(哈佛大学);University of Cambridge(剑桥大学)
对深度学习中泛化的原则性理解可能需要将不同的观察统一在一个概念框架下。先前的工作已经研究了\emph{grokking},一种训练动态,其中持续一段时间的近乎完美的训练性能和接近机会的测试性能最终被泛化,以及表面上类似的\emph{double descent}。迄今为止,这些问题都是孤立研究的。我们假设grokking和双下降可以被理解为模式学习速度框架内相同的学习动态的实例。我们建议,这个框架也适用于不同的模型容量,而不是优化步骤,并提供了第一个示范模型明智grokking。
2023-03-10 cs.AI cs.LG
Manipulating Sparse Double Descent
University of Cambridge(剑桥大学)
该研究面向两层神经网络,考察 L1 正则化与表示维度如何影响一种称为稀疏双重下降的现象,并揭示模型复杂性、稀疏性和泛化之间的关系。
2024-01-19 cs.LG
Early Stopping in Deep Networks: Double Descent and How to Eliminate it
Technical University of Munich(慕尼黑工业大学);Rice University(莱斯大学)
过度参数化的模型,如大型深度网络,通常会表现出双下降现象,而模型大小的函数,误差首先减少,增加,最后减少。这种有趣的双下降行为也是作为训练时期的函数发生的,并且已经被证明是因为训练时期控制了模型的复杂性。在本文中,我们证明了这种逐时期的双下降是由于不同的原因而产生的:它是由两个或多个偏差-方差权衡的叠加引起的,因为网络的不同部分是在不同的时期学习的,通过适当缩放步长来消除这一点可以显着提高早期停止性能。我们分析了i)线性回归,其中不同尺度的特征会产生偏差-方差权衡的叠加,以及ii)两层神经网络,其中第一层和第二层分别控制偏差-方差权衡。受此理论的启发,我们对两个标准卷积网络进行了实证研究,结果表明,通过调整不同层的步长来消除逐时双下降可以显着提高早期停止性能。
2020-09-19 cs.LG stat.ML
Mitigating deep double descent by concatenating inputs
Rice University(莱斯大学)
双下降曲线是深度神经网络最有趣的特性之一。它将经典的偏差-方差曲线与现代神经网络的行为进行了对比,发生在样本数量接近参数数量的地方。在这项工作中,我们探讨了双下降现象和深度神经网络设置中的样本数量之间的联系。特别是,我们提出了一个建设,增加现有的数据集,人为地增加样本的数量。该构造经验性地减轻了该设置中的双下降曲线。我们复制现有的工作深双下降,并观察到一个光滑的下降到超参数化的区域,为我们的建设。这既与模型大小有关,也与时期数有关。
2021-07-02 cs.LG
Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task
Department of Life Sciences, University of Bath(生命科学系,巴斯大学)
本文在结核分枝杆菌异烟肼耐药基因组预测任务中,沿学习器容量与集成规模两个轴调节树模型复杂度,发现双重下降仅在二者联合扩展时出现。
2025-09-22 cs.LG stat.ML
Can we avoid Double Descent in Deep Neural Networks?
Institut Polytechnique de Paris(巴黎综合理工学院)
本研究探讨深度神经网络中双重下降现象的可避免性,提出通过适当条件化和正则化(如$\ell_2$)可潜在规避该现象,但最终答案未定。
2023-07-04 cs.AI cs.LG
On the Double Descent of Random Features Models Trained with SGD
EPFL(洛桑联邦理工学院);KU Leuven(鲁汶大学)
我们研究了随机特征(RF)回归在下/过参数化机制下通过随机梯度下降(SGD)优化的高维空间中的泛化特性。在这项工作中,我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置,并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化,标签噪声和数据采样(以及随机梯度)的多个随机性来源,而没有封闭形式的解决方案,并且也超越了常用的高斯/球形数据假设。我们的理论结果表明,使用SGD训练,RF回归仍然可以很好地推广插值学习,并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外,我们还证明了恒定步长的SGD设置时,收敛速度没有损失相比,精确的最小范数的最小值,作为一个理论上的理由,在实践中使用SGD。
2022-10-16 cs.LG stat.ML
Kernel regression in high dimensions: Refined analysis beyond double descent
KU Leuven;University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提供了一个精确的表征的泛化性能的高维核岭回归在下和过参数化制度,这取决于训练数据的数量n是否超过特征维数d。通过建立一个偏差方差分解的预期超额风险,我们表明,虽然偏差是(几乎)独立的d和单调递减的n,方差依赖于n,d,可以是单峰或单调递减下不同的正则化方案。我们的精细分析超越了双下降理论,表明根据数据特征曲线和正则化水平,核回归风险曲线可以是双下降,钟形或n的单调函数。合成和真实数据进行实验,以支持我们的理论研究结果。
2021-02-24 cs.LG stat.ML
Understanding the Double Descent Phenomenon in Deep Learning
Sorbonne Université(索邦大学)
本教程解释深度学习中的双下降现象,涵盖其机制、归纳偏置的作用,并通过线性模型示例及近期工作提供多角度理解。
2024-03-15 cs.CV cs.LG stat.ML
Deep Double Descent: Where Bigger Models and More Data Hurt
Harvard University(哈佛大学);OpenAI
我们发现,各种现代深度学习任务都表现出“双下降”现象,即随着模型大小的增加,性能首先变差,然后变好。此外,我们表明,双下降发生不仅作为模型大小的函数,而且作为训练时期的数量的函数。通过定义一个新的复杂性测度,我们称之为有效模型复杂性,并猜想关于这个测度的广义双下降,我们统一了上述现象。此外,我们的模型复杂性的概念,使我们能够确定某些制度,增加(甚至翻两番)的训练样本的数量实际上会损害测试性能。
2019-12-04 cs.CV cs.LG cs.NE
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning
University of Cambridge(剑桥大学)
本文重新审视经典统计机器学习中的双下降现象,指出其源于隐式多重复杂度轴的过渡而非插值阈值 p=n,并提出有效参数数量的广义度量,证明表面双下降曲线可折回为传统凸形。
2023-10-29 cs.LG stat.ML
Two models of double descent for weak features
Halıcıoğlu Data Science Institute, UC San Diego(加州大学圣迭戈分校哈勒哲奥卢数据科学研究所);Columbia University(哥伦比亚大学)
提出了“双下降“风险曲线来定性描述变参数机器学习模型的样本外预测精度。这篇文章提供了一个精确的数学分析,在两个简单的数据模型与最小二乘/最小范数预测这条曲线的形状。具体而言,当特征数$p$接近样本量$n$时,风险达到峰值,但当$p$增加到超过$n$时,风险降低到最小值。这种行为与“有先见之明”的模型形成对比,这些模型以先验的最优顺序选择特征。
2020-10-10 cs.LG stat.ML
The Double Descent Behavior in Two Layer Neural Network for Binary Classification
本文研究二分类两层 ReLU 神经网络在不同模型规模下的测试误差双重下降现象,并借助凸高斯极小极大定理刻画全局训练损失候选。
2025-04-27 cs.LG stat.ML
Unveiling Multiple Descents in Unsupervised Autoencoders
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);Faculty of Engineering, Tel Aviv University(特拉维夫大学工程学院)
本研究揭示了无监督非线性自编码器中存在的双重和三重下降现象,并通过实验证明过参数化模型不仅能改善重构效果,还能提升异常检测等下游任务的性能。
2025-09-11 cs.LG stat.ML
Double-descent curves in neural networks: a new perspective using Gaussian processes
University of Oxford(牛津大学)
本文利用随机矩阵理论将经验特征协方差矩阵谱刻画为NNGP核谱的宽度依赖扰动,从而为神经网络双下降现象提供了由经验核与NNGP核差异支配的新解释。
2023-05-25 cs.LG stat.ML
Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
Emory University(埃默里大学)
我们证明了混合正则化方法自动避免随机特征模型(RFM)训练中出现的双下降现象的能力。双下降现象的标志性特征是在插值阈值处正则化间隙中的尖峰,即当RFM中的特征的数量等于训练样本的数量时。为了弥补这一差距,本文考虑的混合方法结合了两种最常见的正则化形式:早期停止和权重衰减。该方案不需要超参数调整,因为它自动选择停止迭代和权重衰减超参数,通过使用广义交叉验证(GCV)。这也避免了专用验证集的必要性。虽然混合方法的好处已经很好地证明了不适定逆问题,但我们的工作提出了机器学习的第一个用例。为了揭示正则化的必要性和激励混合方法,我们进行了详细的数值实验启发图像分类。在这些例子中,混合方案成功地避免了双下降现象,并产生RFM,其推广与经典的正则化方法,其超参数最佳地使用测试数据调整。我们提供了我们的MATLAB代码实现本文中的数值实验在https://github.com/EmoryMLIP/HybridRFM。
2020-12-11 cs.LG stat.ML
On Double Descent in Reinforcement Learning with LSTD and Random Features
ENSTA Paris(巴黎高等先进技术学校);Institut Polytechnique de Paris(巴黎综合理工学院)
本文理论分析了强化学习中网络规模和 $l_2$-正则化对性能的影响,发现参数与状态数量比值决定过参数化,并在比值接近1时引发双重下降现象,通过随机特征和惰性训练机制推导出MSBE的确定性极限。
2024-02-18 cs.AI cs.LG stat.ML
Double Descent Optimization Pattern and Aliasing: Caveats of Noisy Labels
Stanford University(斯坦福大学)
优化在深度神经网络的训练中发挥着关键作用。决定何时停止训练可能会对网络在推理过程中的性能产生重大影响。在某些条件下,泛化误差可以在训练期间显示双下降模式:学习曲线是非单调的,并且在额外的时期之后再次收敛之前似乎发散。这种优化模式可能导致提前停止过程,在第二次收敛之前停止训练,从而为网络选择一组次优的参数,在推理过程中性能较差。在这项工作中,除了确认双下降发生在小数据集和噪声标签,如其他人所证明的,我们表明,噪声标签必须存在于训练和泛化集,以观察双下降模式。我们还证明了学习率对双下降的影响,并研究了不同的优化器和优化器参数如何影响双下降的出现。最后,我们表明,提高学习率可以创建一个混淆效应,掩盖了双下降模式,而不是抑制它。我们通过对CIFAR-10的变体进行广泛的实验来研究这种现象,并表明它们可以转化为现实世界的应用:从连续的脑电图记录中预测癫痫患者的癫痫发作事件。
2021-09-17 cs.LG
Sparse Double Descent: Where Network Pruning Aggravates Overfitting
Beihang University(北京航空航天大学);The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
人们通常认为,网络修剪不仅可以降低深度网络的计算成本,还可以通过降低模型容量来防止过拟合。然而,我们的工作令人惊讶地发现,网络修剪有时甚至会消除过拟合。我们报告了一种意想不到的稀疏双下降现象,即当我们通过网络修剪增加模型稀疏性时,测试性能首先变得更差(由于过拟合),然后变得更好(由于过拟合得到缓解),最后变得更差(由于忘记有用的信息)。虽然最近的研究集中在模型过度参数化方面的深度双下降,但他们未能认识到稀疏性也可能导致双下降。在本文中,我们有三个主要贡献。首先,我们通过大量的实验报告了新的稀疏双下降现象。其次,针对这一现象,我们提出了一种新的学习距离解释,即稀疏模型的$\ell_{2}$学习距离曲线(从初始参数到最终参数)可以与稀疏双下降曲线很好地相关,并且比最小平坦性更好地反映泛化能力。第三,在稀疏双下降的背景下,彩票假设中的中奖彩票令人惊讶地可能不总是中奖。
2022-06-17 cs.CV cs.LG
Analysis of Interpolating Regression Models and the Double Descent Phenomenon
Chalmers University of Technology(查尔姆斯理工大学)
本文通过分析最小范数最小二乘插值模型和回归矩阵最小奇异值行为,解释了过参数化模型中测试误差随模型阶数增加而出现的双下降现象及其峰值位置。
2023-04-17 cs.LG eess.SP stat.ML
On the Relationship Between Double Descent of CNNs and Shape/Texture Bias Under Learning Process
Tokyo Denki University(东京电机大学);Tokyo Institute of Technology(东京工业大学);Tenchijin Inc.(天进公司);National Institute of Advanced Industrial Science and Technology(国立先进工业技术研究所)
本文研究了CNN学习过程中形状/纹理偏差与逐轮次双重下降现象的关联,发现两者同步出现,且该现象在无标签噪声条件下也可能发生,有助于揭示双重下降机制。
2025-03-04 cs.CV cs.LG
When and how epochwise double descent happens
Intel Labs(英特尔实验室)
众所周知,深度神经网络随着参数数量的增加而表现出“双下降”行为。最近,它也已被证明,一个“epochwise双下降”的效果存在,其中的泛化误差最初下降,然后上升,并最终再次下降,随着训练时间的增加。这提出了一个实际问题,因为训练所需的时间很长,并且基于验证性能的早期停止可能导致次优泛化。在这项工作中,我们开发了一个易于分析的逐时双下降模型,使我们能够在理论上预测这种效应何时可能发生。该模型基于这样的假设,即训练数据包含学习缓慢但信息丰富的特征。然后,我们通过实验证明,深度神经网络的行为与我们的理论模型相似。我们的研究结果表明,划时代的双下降需要一个临界量的噪音发生,但高于第二个临界噪音水平早期停止仍然有效。利用理论中的见解,我们给出了两种方法,通过这种方法可以去除逐时双下降:一种方法从输入中去除学习缓慢的特征并降低泛化性能,另一种方法则修改训练动态并匹配或超过标准训练的泛化性能。综上所述,我们的研究结果提出了一个新的图片如何从动态的训练和噪音之间的相互作用出现的双下降的训练数据。
2021-08-26 cs.LG
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind(深度思维);University of Alberta(阿尔伯塔大学);University College London(伦敦大学学院)
从经验上看,随着模型规模的增加,深度神经网络的性能稳步提高,这与经典的过拟合和泛化观点相矛盾。最近,双下降现象已被提出来调和这一观察与理论,这表明,测试误差有一个第二次下降时,模型变得充分overparameterized,作为模型大小本身作为一个隐式正则化。在本文中,我们增加了在这个空间中不断增长的工作,提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式,边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是,我们发现,在无噪声回归的情况下,双下降是唯一的解释优化相关的数量,这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信,我们的推导提供了一个替代的观点相比,现有的工作,揭示了这种现象的可能原因,至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络,特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
The University of Sydney(悉尼大学);National Institute of Informatics(国立信息学研究所)
双下降风险现象的出现在机器学习和统计学界引起了越来越多的兴趣,因为它挑战了U形训练测试曲线背后的众所周知的概念。通过Rissanen的最小描述长度(MDL),Balasubramanian的奥卡姆剃刀,和Amari的信息几何的动机,我们调查如何对数的模型体积:$\log V$,工程扩展直觉背后的AIC和BIC模型选择标准。我们发现,对于各向同性线性回归和统计格子的特定模型类,$\log V$项可以被分解成不同的组件,其中每个组件都有助于他们解释这种现象的出现。特别是,他们提出了为什么泛化误差不一定会随着模型维数的增加而继续增长。
2020-11-10 cs.LG stat.ML
Least Squares Regression Can Exhibit Under-Parameterized Double Descent
Yale University(耶鲁大学);Boston College(波士顿学院)
本文研究最小二乘回归中的双重下降现象,提出峰值位置取决于样本协方差的谱与特征向量性质,并用两个可证明的简单示例展示欠参数化区间也会出现双重下降。
2024-10-24 cs.LG math.ST stat.ML
Double descent in quantum kernel methods
Leiden University(莱顿大学);Department of Physics and Astronomy(物理与天文学系);University of Waterloo(多伦多大学);Vector Institute(向量研究所);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
本研究通过量子特征空间中的线性回归模型,分析性地证明了量子核方法中存在双下降现象,并通过实验验证了测试误差峰值的存在,为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
Unraveling the Enigma of Double Descent: An In-depth Analysis through the Lens of Learned Feature Space
Fudan University(复旦大学);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);University College London(伦敦大学学院);Department of Computer Science, University College London(伦敦大学学院计算机科学系);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室)
本研究通过分析学习表示的特征空间,揭示了双重下降现象由噪声数据驱动,发生于不完美模型中,其本质是模型先拟合噪声至插值点,再通过过参数化引入隐式正则化以分离信息与噪声。
2024-04-25 cs.LG
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University(Niigata大学)
本研究通过分析噪声数据中的深度双下降现象,揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
More Data Can Hurt for Linear Regression: Sample-wise Double Descent
Harvard University(哈佛大学)
在这篇简要的笔记中,我们描述了过参数化线性回归中的一个令人惊讶的现象,其中维度超过了样本的数量:存在一种制度,其中梯度下降发现的估计量的测试风险随着样本的增加而增加。换句话说,更多的数据实际上会伤害估计器。这种行为是隐含在最近的理论工作分析“双下降”现象的线性模型。在本说明中,我们在一个非常简单的设置中隔离和理解这种行为:具有各向同性高斯协变量的线性回归。特别是,这是由于超参数化机制中的非常规类型的偏差-方差权衡而发生的:偏差随着样本的增加而减少,但方差增加。
2019-12-16 cs.LG cs.NE math.ST
Understanding the double descent curve in Machine Learning
INESC-ID(葡萄牙国家系统与计算机工程研究所);Higher Technical Institute, University of Lisbon(里斯本大学高等技术学院)
偏差-方差理论用于指导应用机器学习算法时的模型选择。然而,现代实践表明,过度参数化的模型是成功的,这些模型被期望过拟合,但没有。这导致了贝尔金等人提出的性能双下降曲线的建议。虽然它似乎描述了一个真实的,有代表性的现象,该领域缺乏一个基本的理论理解正在发生什么,什么是模型选择的后果,以及何时预计会发生双下降。在本文中,我们开发了一个原则性的理解的现象,并勾勒出这些重要问题的答案。此外,我们报告了我们提出的假设正确预测的真实实验结果。
2022-11-18 cs.LG
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University(莱斯大学)
研究了过参数化环境下的线性子空间拟合问题,其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案,在训练数据中具有不同的监督级别(即,期望的低维映射的输入-输出示例的比例)和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来,该子空间拟合强制执行严格的正交性,该回归任务是完全监督的,并且不约束线性算子结构。这类问题是定义在一个监督正交平面,其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面,并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势,设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting
本文探讨了 p > n 时最小二乘估计及其变体与新观测预测问题,通过符号变更讨论过拟合,并阐明双重下降现象。
2025-09-17 cs.LG math.ST stat.ML
Optimal Regularization Can Mitigate Double Descent
Harvard University(哈佛大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
最近的经验和理论研究表明,许多学习算法--从线性回归到神经网络--在样本大小和模型大小等数量上可以具有非单调的测试性能。这种引人注目的现象,通常被称为“双下降“,提出了一个问题,即我们是否需要重新思考我们目前对泛化的理解。在这项工作中,我们研究是否可以避免双下降现象,通过使用最佳正则化。理论上,我们证明了,对于某些线性回归模型的各向同性数据分布,最佳调整$\ell_2$正则化实现单调测试性能,因为我们增长的样本大小或模型大小。我们还证明了经验,优化调整的$\ell_2$正则化可以减轻更一般的模型,包括神经网络的双下降。我们的研究结果表明,在适当调整正则化的背景下研究各种算法的测试风险缩放也可能是有益的。
2021-04-29 cs.LG cs.NE math.ST
Homophily modulates double descent generalization in graph convolution networks
Universität Basel(巴塞尔大学);University of Science and Technology of China(中国科学技术大学);Nanjing Normal University(南京师范大学);University of Pennsylvania(宾夕法尼亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究结合统计物理与随机矩阵理论分析上下文随机块模型,揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化,并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML
Deep Double Descent via Smooth Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文通过研究输入空间中损失景观的尖锐度,揭示了深度网络在模型和训练轮数层面的双重下降现象,发现大规模插值模型通过平滑拟合噪声数据来保持泛化能力,颠覆了传统直觉。
2023-04-08 cs.LG stat.ML
Optimization Variance: Exploring Generalization Properties of DNNs
Huazhong University of Science and Technology(华中科技大学);Baidu Research(百度研究院);Nanyang Technological University(南洋理工大学)
与统计学习理论中的传统观点不同,深度神经网络(DNN)的测试误差通常表现为双下降:随着模型复杂度的增加,它首先遵循经典的U形曲线,然后显示第二次下降。通过偏差方差分解,最近的研究表明,钟形方差是模型方面的双下降(当DNN逐渐加宽时)的主要原因。本文研究逐时双下降,即,DNN的测试误差也随着训练时期的数量增加而显示出双下降。通过将偏差-方差分析扩展到0 - 1损失的逐时期双下降,我们惊奇地发现,方差本身,没有偏差,与测试误差一致地变化。受这一结果的启发,我们提出了一种新的度量,优化方差(OV),来衡量由同一迭代中随机训练批次的随机梯度引起的模型更新的多样性。OV可以仅使用来自训练集的样本来估计,但与(未知)\emph{test}误差很好地相关,因此可以在不使用验证集的情况下实现早期停止。
2021-06-03 cs.AI cs.LG
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University(莱斯大学)
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的,并完美地插值其训练数据。我们研究了一个参数传输机制,其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差,即,可用示例的数量、每个任务中的(自由)参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明,目标任务的泛化误差遵循二维双下降趋势(相对于每个任务中的自由参数的数量),这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况(即,目标任务中的附加自由参数)。具体来说,我们表明,迁移学习设置的有用性是脆弱的,并依赖于一组传输参数之间的微妙的相互作用,任务之间的关系,和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时,过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
Double descent for least-squares interpolation on contaminated data: A simulation study
Institute for Mathematics, Carl von Ossietzky University Oldenburg(奥尔登堡卡尔·冯·奥西特齐克大学数学研究所)
本文研究了在受污染数据下线性回归中是否会出现双下降现象,比较了最小二乘插值估计器与几种鲁棒替代方法的性能,发现大规模过拟合确实导致双下降现象,使最小二乘插值器的泛化性能优于鲁棒替代方法。
2026-04-15 cs.LG
Bayesian Double Descent
Booth School of Business University of Chicago(芝加哥大学商学院);Volgenau School of Engineering, George Mason University(乔治·马歇尔大学工程学院);Department of Systems Engineering and Operations Research George Mason University(乔治·马歇尔大学系统工程与运营管理系)
本文为双重下降现象提供贝叶斯解释,通过贝叶斯模型选择、迪基-萨维奇密度比及广义岭回归与全局-局部收缩方法,证明其与奥卡姆剃刀原则不冲突,并在高维神经网络等场景中验证。
2025-10-14 cs.LG stat.CO stat.ML
Double Descent as a Lens for Sample Efficiency in Autoregressive vs. Discrete Diffusion Models
ETH Zurich(苏黎世联邦理工学院)
该研究借助双重下降现象比较离散扩散与自回归模型,发现自回归模型在小规模数据上样本效率更高,离散扩散模型则需充足容量与计算才具竞争力。
2025-09-29 cs.LG
Double Trouble in Double Descent : Bias and Variance(s) in the Lazy Regime
Université PSL(巴黎文理研究大学);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
深度神经网络在对训练数据进行完美插值的同时,可以实现显著的泛化性能。他们的检验误差通常遵循“双下降“,而不是偏倚-方差权衡的U型曲线,这是过度参数化的有益作用的标志。在这项工作中,我们开发了一个定量的理论,这种现象在所谓的懒惰学习制度的神经网络,通过考虑学习一个高维函数与随机特征回归的问题。我们得到一个精确的渐近表达式的偏差方差分解的测试误差,并表明,偏差显示在插值阈值的相变,超过此阈值,它保持不变。我们从数据集的采样、破坏标签的加性噪声以及权重的初始化中分离出方差。在Geiger等人2019的基础上,我们首先证明了后两个贡献是双下降的关键:它们导致插值阈值处的过拟合峰值和过参数化后测试误差的衰减。然后,我们量化它们是如何被抑制的合奏平均K独立初始化估计的输出。当K被发送到无穷大时,测试误差在插值阈值之外保持恒定。我们进一步比较了过度参数化,集成和正则化的效果。最后,我们在经典的深度学习设置上进行了数值实验,以表明我们的结果在现实的懒惰学习场景中定性地成立。
2020-04-03 cond-mat.dis-nn cs.LG stat.ML
Double Descent and Overparameterization in Particle Physics Data
Technical University of Munich(慕尼黑技术大学)
本研究首次在粒子物理数据中验证了机器学习领域的双下降现象,即重度过参数化模型跨越插值阈值后泛化误差优于经典偏差-方差权衡区域,并探究了双下降的出现条件及过参数化带来性能增益的情形。
2025-09-01 cs.LG hep-ex hep-ph
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
双下降是指当改变参数数量和训练样本数量之间的比率时,由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型(如深度神经网络)的成功激发了对经典模型(如线性回归)中双下降现象的理论分析,这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程,我们称之为替代随机设计,以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式,同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是,我们表明,对于代理设计,隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中,我们引入了一个新的数学工具的独立利益:类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes
University of Melbourne(墨尔本大学);University of Queensland(昆士兰大学);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California at Berkeley(加州大学伯克利分校)
本文研究了高斯过程不确定性估计中的单调性与双重下降现象,证明最大化边缘似然使性能随输入维度单调改善,而交叉验证指标则呈现双重下降特征,冷后验会加剧此现象。
2023-07-25 cs.LG stat.ML
Origins and mitigation of double descent in reduced order modeling
University of Washington(华盛顿大学);AI Institute in Dynamic Systems(动态系统人工智能研究所)
该研究在数据-噪声平均理论框架下,揭示降阶建模中双重下降现象的起源,提出缓解该不稳定性的正则化机制,并通过海面温度重构与PDE降阶模型时间积分验证方法有效性。
2026-07-30 cs.LG math.DS physics.data-an
Analog Physical Systems Can Exhibit Double Descent
Department of Physics and Astronomy, University of Pennsylvania, Philadelphia, PA, USA(物理学与天文学系,宾夕法尼亚大学,费城,PA,USA);Dayhoff Labs, Inc. Cambridge, MA, USA(Dayhoff实验室公司,剑桥,MA,USA);Santa Fe Institute, Santa Fe, NM, USA(圣菲研究所,圣菲,NM,USA)
该研究展示了一种类物理系统通过特殊训练方法实现双降现象,揭示了其在能效和速度上的潜力,并暗示生物系统可能从过参数化中获益。
2025-11-21 cond-mat.dis-nn cs.LG
Class-wise Activation Unravelling the Engima of Deep Double Descent
UCL(伦敦大学学院)
本研究提出类激活矩阵与函数有效复杂度估计方法,揭示过参数化模型隐藏激活的类别模式特征,分析双下降与良性过参数化现象,为相关研究提供新见解并开源代码。
2024-05-13 cs.LG
A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent
ICSI(国际计算机科学研究所);University of California, Berkeley(加州大学伯克利分校);G-STATS Data Science Chair, GIPSA-lab(G-STATS数据科学教席,GIPSA实验室)
本文在数据样本数$n$、样本维数$p$和特征空间维数$N$都很大且具有可比性的实际环境中,刻画了随机傅立叶特征(RFF)回归的精确渐近性。在这种情况下,随机RFF Gram矩阵不再收敛到众所周知的极限高斯核矩阵(当$N \to \infty$单独使用时),但它仍然具有我们的分析所捕获的易于处理的行为。该分析还为大型$n,p,N$提供了训练和测试回归误差的准确估计。基于这些估计,两个定性不同的学习阶段,包括它们之间的相变,提供了一个精确的表征;和相应的双下降测试误差曲线来自这个相变行为。这些结果不依赖于对数据分布的强假设,并且它们完全符合真实世界数据集的经验结果。
2020-12-19 cs.LG stat.ML
Double descent in the condition number
Center for Brains, Minds, and Machines, MIT(麻省理工学院脑、心智与机器中心)
在求解$d$变量$Ax=b$中的$n$线性方程组时,$n,d$矩阵$A$的条件数测量数据$b$中的误差对解$x$的影响程度。这种类型的估计在许多反问题中是重要的。一个例子是机器学习,其中关键任务是从高维空间中随机点处的一组测量值估计底层函数,并且其中对数据中的错误的低敏感度是良好预测性能的要求。在这里,我们讨论一个简单的观察,这是已知的,但令人惊讶的是很少引用(见定理4.2在\cite{Brgisser:2013:CGN:2526261}):当$A$的列是随机向量,$A$的条件数是最高的,如果$d=n$,这是当逆$A$存在。超定系统($n>d$)以及欠定系统($n<d$)(对于它们必须使用伪逆而不是逆)通常具有明显更好的(即更低的)条件数。因此,作为$d$的函数绘制的$A$的条件数示出了在$d=n$处具有峰值的双下降行为。
2020-04-28 cs.LG stat.ML