Double Descent as a Lens for Sample Efficiency in Autoregressive vs. Discrete Diffusion Models
ETH Zurich(苏黎世联邦理工学院)
该研究借助双重下降现象比较离散扩散与自回归模型,发现自回归模型在小规模数据上样本效率更高,离散扩散模型则需充足容量与计算才具竞争力。
2025-09-29 cs.LG
Class-wise Activation Unravelling the Engima of Deep Double Descent
UCL(伦敦大学学院)
本研究提出类激活矩阵与函数有效复杂度估计方法,揭示过参数化模型隐藏激活的类别模式特征,分析双下降与良性过参数化现象,为相关研究提供新见解并开源代码。
2024-05-13 cs.LG
Frozen Overparameterization: A Double Descent Perspective on Transfer Learning of Deep Neural Networks
Ben-Gurion University(本-古里安大学);Rice University(莱斯大学)
该研究从过参数化与双下降视角出发,探究源/目标数据集规模、冻结层数量、任务相似度对DNN迁移学习泛化的影响,通过图像分类实验验证了冻结相关双下降现象等结论。
2023-06-12 cs.LG
Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle
Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院);Boston University(波士顿大学)
双下降是机器学习中一个令人惊讶的现象,随着模型参数数量相对于数据数量的增长,测试误差会随着模型变得越来越大而下降,进入高度过参数化(数据欠采样)状态。这种测试误差的下降与经典学习理论中的过拟合理论背道而驰,并且可以说是机器学习中大型模型成功的基础。测试损失的这种非单调行为取决于数据的数量、数据的维数和模型参数的数量。在这里,我们简要地描述了双下降,然后提供了一个解释为什么双下降发生在一个非正式和平易近人的方式,只需要熟悉线性代数和介绍概率。我们使用多项式回归提供视觉直觉,然后用普通线性回归对双下降进行数学分析,并确定三个可解释的因素,当这些因素同时存在时,它们一起产生双下降。我们证明,双下降发生在真实数据时,使用普通的线性回归,然后证明,双下降不发生时,任何三个因素被消融。我们用这种理解来阐明最近在非线性模型中关于叠加和双下降的观察。代码是公开的。
2023-03-24 cs.LG stat.ML
Double Descent of Discrepancy: A Task-, Data-, and Model-Agnostic Phenomenon
Peking University(北京大学);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);Center for Machine Learning Research, Peking University(北京大学机器学习研究中心);National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心)
本文发现相同训练设置下不同初始化网络在训练集上的输出差异存在双下降现象,并据此提出新的早停准则和数据质量评估方法。
2023-05-25 cs.LG
A Brief Prehistory of Double Descent
University of Copenhagen(哥本哈根大学);Delft University of Technology(代尔夫特理工大学)
在他们发人深省的论文[1]中,Belkin等人说明并讨论了现代高复杂性学习者背景下的风险曲线形状。给定一个固定的训练样本大小$n$,这样的曲线显示了学习者的风险作为其复杂性$N$的一些(近似)度量的函数。当$N$表示特征数量时,这些曲线也称为特征曲线。[1]中的一个显著观察结果是,这些曲线可以显示他们所谓的双下降:随着$N$的增加,风险最初降低,达到最小值,然后增加,直到$N$等于$n$,此时训练数据完美拟合。进一步增加$N$,风险第二次也是最后一次降低,在$N=n$处产生峰值。这种双重的下降可能会让人感到惊讶,但与[1]报道的相反,它在历史上并没有被忽视。我们的信提请注意一些原始的,早期的发现,感兴趣的当代机器学习。
2020-04-07 cs.LG
Double Descent and Other Interpolation Phenomena in GANs
Rice University(莱斯大学);Ben-Gurion University(本-古里安大学)
本文研究 GAN 过参数化的泛化行为,证明度量或 f-散度学习下无双重下降,并提出伪监督方法使 GAN 出现双重下降,结合过参数化可加速训练并提升泛化性能。
2024-05-01 cs.LG
Deep Double Descent for Time Series Forecasting: Avoiding Undertrained Models
Bosch Research North America(博世北美研究院);Bosch Center for AI(博世人工智能中心);Bosch Global Business Services(博世全球商业服务公司);Bosch Research Germany(博世德国研究院)
本文研究时间序列预测中Transformer的深度双下降现象,发现更多训练轮次可逆转欠训练和过拟合,在近70%的72个基准上取得最优结果,并提出训练模式修改分类法。
2023-11-30 cs.LG
On the Lipschitz Constant of Deep Networks and Double Descent
KTH(瑞典皇家理工学院)
本文通过实验研究双重下降下深度网络的经验 Lipschitz 常数,发现其与测试误差强相关,并将其归因于损失景观曲率和参数到初始化的距离。
2025-07-23 cs.LG
Sparse Double Descent: Where Network Pruning Aggravates Overfitting
Beihang University(北京航空航天大学);The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
人们通常认为,网络修剪不仅可以降低深度网络的计算成本,还可以通过降低模型容量来防止过拟合。然而,我们的工作令人惊讶地发现,网络修剪有时甚至会消除过拟合。我们报告了一种意想不到的稀疏双下降现象,即当我们通过网络修剪增加模型稀疏性时,测试性能首先变得更差(由于过拟合),然后变得更好(由于过拟合得到缓解),最后变得更差(由于忘记有用的信息)。虽然最近的研究集中在模型过度参数化方面的深度双下降,但他们未能认识到稀疏性也可能导致双下降。在本文中,我们有三个主要贡献。首先,我们通过大量的实验报告了新的稀疏双下降现象。其次,针对这一现象,我们提出了一种新的学习距离解释,即稀疏模型的$\ell_{2}$学习距离曲线(从初始参数到最终参数)可以与稀疏双下降曲线很好地相关,并且比最小平坦性更好地反映泛化能力。第三,在稀疏双下降的背景下,彩票假设中的中奖彩票令人惊讶地可能不总是中奖。
2022-06-17 cs.CV cs.LG
Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition
Tsinghua University(清华大学)
本文以记忆电路与泛化电路的竞争为核心,提出统一框架解释grokking、双重下降和涌现能力,并通过实验验证了关于双重下降的预测,同时将框架扩展到多任务学习以阐明大型语言模型涌现能力的形成机制。
2024-02-26 cs.LG
Local Linearity and Double Descent in Catastrophic Overfitting
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
灾难性过拟合是在使用快速梯度符号法(FGSM)进行对抗训练(AT)期间观察到的一种现象,其中测试鲁棒性在训练阶段的一个时期内急剧下降。先前的工作将这种鲁棒性的损失归因于神经网络相对于输入空间的$\textit{local linearity}$的急剧下降,并且已经证明引入局部线性度量作为正则化项可以防止灾难性的过拟合。使用一个简单的神经网络架构,我们实验证明,保持高的局部线性度可能是$\textit{sufficient}$,以防止灾难性的过拟合,但不是$\textit{necessary.}$。此外,受Parseval网络的启发,我们引入一个正则化项AT与FGSM的权重矩阵正交,并研究网络权重的正交性和局部线性度之间的联系。最后,我们识别了对抗训练过程中的$\textit{double descent}$现象。
2021-11-21 cs.LG
On the Relationship Between Double Descent of CNNs and Shape/Texture Bias Under Learning Process
Tokyo Denki University(东京电机大学);Tokyo Institute of Technology(东京工业大学);Tenchijin Inc.(天进公司);National Institute of Advanced Industrial Science and Technology(国立先进工业技术研究所)
本文研究了CNN学习过程中形状/纹理偏差与逐轮次双重下降现象的关联,发现两者同步出现,且该现象在无标签噪声条件下也可能发生,有助于揭示双重下降机制。
2025-03-04 cs.CV cs.LG
Regularization-wise double descent: Why it occurs and how to eliminate it
Rice University(莱斯大学);Technical University of Munich(慕尼黑工业大学)
过度参数化模型的风险,特别是深度神经网络,通常是模型大小的函数。最近,有研究表明,作为提前停止时间函数的风险也可以呈双下降形状,并且这种行为可以解释为偏差-方差权衡的叠加。在本文中,我们证明了显式L2正则化模型的风险可以表现出双下降行为的正则化强度的函数,在理论和实践中。我们发现,对于线性回归,双下降形风险是由对应于模型不同部分的偏差-方差权衡的叠加引起的,并且可以通过适当地缩放每个部分的正则化强度来减轻。受此结果的启发,我们研究了一个两层神经网络,并表明可以通过调整第一层和第二层的正则化强度来消除双下降。最后,我们研究了在带有标签噪声的CIFAR-10和没有标签噪声的CIFAR-100上训练的5层CNN和ResNet-18,并证明了所有这些都表现出双下降行为作为正则化强度的函数。
2022-06-03 cs.LG stat.ML
Understanding the Role of Optimization in Double Descent
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文从优化视角统一解释模型级双重下降,证明其出现取决于优化器能否找到低损失极小值,并通过受控实验说明现实设置中峰值较弱的原因。
2023-12-06 cs.LG stat.ML
Does Double Descent Occur in Self-Supervised Learning?
University of Cambridge(剑桥大学)
本文通过标准自编码器与线性自编码器实验,检验自监督学习中是否存在双重下降,发现测试损失仅呈 U 形或单调下降,为该现象的理论理解提供证据。
2023-07-15 cs.AI cs.LG
High-dimensional analysis of double descent for linear regression with random projections
Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
我们考虑线性回归问题与不同数量的随机投影,我们证明表现出一个固定的预测问题的双下降曲线,高维分析的基础上随机矩阵理论。我们首先考虑岭回归估计和审查早期的结果,使用经典的概念,从非参数统计,即自由度,也被称为有效维数。然后,我们计算渐近等价的泛化性能(在平方偏差和方差方面)的最小范数最小二乘拟合与随机投影,提供简单的表达式的双下降现象。
2023-03-14 cs.LG stat.ML
Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University(林雪平大学)
本文研究两层线性神经网络中的逐轮双下降,推导梯度流并识别除输入方差外,输入-输出协方差矩阵奇异值作为新影响因素,向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
VC Theoretical Explanation of Double Descent
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
人们对大型多层神经网络的泛化性能越来越感兴趣,这种网络可以训练成零训练误差,同时在测试数据上泛化良好。这种机制被称为“二次下降”,它似乎与传统观点相矛盾,即最佳模型复杂性应该反映欠拟合和过拟合之间的最佳平衡,即,偏差-方差权衡。本文给出了双重下降的VC-理论分析,并证明了经典的VC-泛化界可以完全解释它。我们说明了一个应用程序的分析VC边界建模双下降分类,使用经验的结果,如SVM,最小二乘法,多层感知器分类器的几种学习方法。此外,我们还讨论了深度学习社区对VC理论结果的误解的几个原因。
2022-09-29 cs.LG stat.ML
Phenomenology of Double Descent in Finite-Width Neural Networks
ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Basel(巴塞尔大学)
“双下降”描述了模型的泛化行为,取决于它们所属的制度:参数不足或过度。目前对这种现象背后的理论理解主要是基于线性和核回归模型-通过神经切线核与神经网络进行非正式的比较。因此,此类分析无法充分捕捉有限宽度神经网络中双重下降背后的机制,并且忽略了关键组件--例如损失函数的选择。我们解决这些缺点,利用影响函数,以获得适当的表达的人口损失及其下限,同时施加最小的假设的参数模型的形式。我们推导出的界限承担一个密切的联系,在最佳的Hessian谱,重要的是,表现出双下降行为的插值阈值。基于我们的分析,我们进一步研究了损失函数如何影响双重下降-从而揭示了神经网络及其Hessian谱在插值阈值附近的有趣特性。
2022-03-14 cs.LG stat.ML
Unifying Grokking and Double Descent
Harvard University(哈佛大学);University of Cambridge(剑桥大学)
对深度学习中泛化的原则性理解可能需要将不同的观察统一在一个概念框架下。先前的工作已经研究了\emph{grokking},一种训练动态,其中持续一段时间的近乎完美的训练性能和接近机会的测试性能最终被泛化,以及表面上类似的\emph{double descent}。迄今为止,这些问题都是孤立研究的。我们假设grokking和双下降可以被理解为模式学习速度框架内相同的学习动态的实例。我们建议,这个框架也适用于不同的模型容量,而不是优化步骤,并提供了第一个示范模型明智grokking。
2023-03-10 cs.AI cs.LG
On double-descent in uncertainty quantification in overparametrized models
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文在随机特征模型中对比了二元分类的不确定性度量,揭示了最优正则化估计器的校准曲线存在双重下降行为,并发现经验贝叶斯方法在过参数化下依然校准良好。
2023-05-23 cs.LG
Multi-scale Feature Learning Dynamics: Insights for Double Descent
Mila, Université de Montréal(蒙特利尔大学 Mila 研究院);University of California, Riverside(加州大学河滨分校)
构建深度学习理论基础的一个关键挑战是神经网络的复杂优化动态,这是由大量网络参数之间的高维相互作用造成的。这种非平凡的动态导致有趣的行为,如“双下降“的现象的泛化误差。这种现象的更常见的研究方面对应于模型方面的双下降,其中测试误差随着模型复杂性的增加而呈现出第二次下降,超出了经典的U形误差曲线。在这项工作中,我们调查的起源较少研究的逐时双下降,其中的测试误差经历了两个非单调的过渡,或下降的训练时间的增加。通过利用统计物理学的工具,我们研究了一个线性师生设置,该设置表现出与深度神经网络类似的逐时双下降。在这种情况下,我们推导出封闭形式的解析表达式的演变泛化误差的训练。我们发现,双下降可以归因于在不同尺度上学习的不同特征:随着快速学习特征过拟合,学习较慢的特征开始拟合,导致测试错误的第二次下降。我们通过数值实验验证了我们的发现,我们的理论准确地预测了经验发现,并与深度神经网络中的观察结果保持一致。
2021-12-06 cs.AI cs.LG stat.ML
Early Stopping in Deep Networks: Double Descent and How to Eliminate it
Technical University of Munich(慕尼黑工业大学);Rice University(莱斯大学)
过度参数化的模型,如大型深度网络,通常会表现出双下降现象,而模型大小的函数,误差首先减少,增加,最后减少。这种有趣的双下降行为也是作为训练时期的函数发生的,并且已经被证明是因为训练时期控制了模型的复杂性。在本文中,我们证明了这种逐时期的双下降是由于不同的原因而产生的:它是由两个或多个偏差-方差权衡的叠加引起的,因为网络的不同部分是在不同的时期学习的,通过适当缩放步长来消除这一点可以显着提高早期停止性能。我们分析了i)线性回归,其中不同尺度的特征会产生偏差-方差权衡的叠加,以及ii)两层神经网络,其中第一层和第二层分别控制偏差-方差权衡。受此理论的启发,我们对两个标准卷积网络进行了实证研究,结果表明,通过调整不同层的步长来消除逐时双下降可以显着提高早期停止性能。
2020-09-19 cs.LG stat.ML
DSD$^2$: Can We Dodge Sparse Double Descent and Compress the Neural Network Worry-Free?
Institut Polytechnique de Paris(巴黎综合理工学院)
针对深度学习中的稀疏双下降现象,提出学习框架、熵度量及定量分析,以规避该现象并提升泛化能力。
2024-02-08 cs.LG
Double Descent in Gradient Boosting Decision Trees via Split-Candidate Scaling
该研究提出分裂候选数量作为梯度提升决策树(GBDTs)的单轴容量参数,通过分析其与双重下降现象的关联,经XGBoost等模型实验验证了分裂候选预算对测试误差的影响规律。
2026-08-05 cs.LG
Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task
Department of Life Sciences, University of Bath(生命科学系,巴斯大学)
本文在结核分枝杆菌异烟肼耐药基因组预测任务中,沿学习器容量与集成规模两个轴调节树模型复杂度,发现双重下降仅在二者联合扩展时出现。
2025-09-22 cs.LG stat.ML
Can we avoid Double Descent in Deep Neural Networks?
Institut Polytechnique de Paris(巴黎综合理工学院)
本研究探讨深度神经网络中双重下降现象的可避免性,提出通过适当条件化和正则化(如$\ell_2$)可潜在规避该现象,但最终答案未定。
2023-07-04 cs.AI cs.LG
On the Double Descent of Random Features Models Trained with SGD
EPFL(洛桑联邦理工学院);KU Leuven(鲁汶大学)
我们研究了随机特征(RF)回归在下/过参数化机制下通过随机梯度下降(SGD)优化的高维空间中的泛化特性。在这项工作中,我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置,并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化,标签噪声和数据采样(以及随机梯度)的多个随机性来源,而没有封闭形式的解决方案,并且也超越了常用的高斯/球形数据假设。我们的理论结果表明,使用SGD训练,RF回归仍然可以很好地推广插值学习,并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外,我们还证明了恒定步长的SGD设置时,收敛速度没有损失相比,精确的最小范数的最小值,作为一个理论上的理由,在实践中使用SGD。
2022-10-16 cs.LG stat.ML
Analog Physical Systems Can Exhibit Double Descent
Department of Physics and Astronomy, University of Pennsylvania, Philadelphia, PA, USA(物理学与天文学系,宾夕法尼亚大学,费城,PA,USA);Dayhoff Labs, Inc. Cambridge, MA, USA(Dayhoff实验室公司,剑桥,MA,USA);Santa Fe Institute, Santa Fe, NM, USA(圣菲研究所,圣菲,NM,USA)
该研究展示了一种类物理系统通过特殊训练方法实现双降现象,揭示了其在能效和速度上的潜力,并暗示生物系统可能从过参数化中获益。
2025-11-21 cond-mat.dis-nn cs.LG
Understanding the Double Descent Phenomenon in Deep Learning
Sorbonne Université(索邦大学)
本教程解释深度学习中的双下降现象,涵盖其机制、归纳偏置的作用,并通过线性模型示例及近期工作提供多角度理解。
2024-03-15 cs.CV cs.LG stat.ML
Kernel regression in high dimensions: Refined analysis beyond double descent
KU Leuven;University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提供了一个精确的表征的泛化性能的高维核岭回归在下和过参数化制度,这取决于训练数据的数量n是否超过特征维数d。通过建立一个偏差方差分解的预期超额风险,我们表明,虽然偏差是(几乎)独立的d和单调递减的n,方差依赖于n,d,可以是单峰或单调递减下不同的正则化方案。我们的精细分析超越了双下降理论,表明根据数据特征曲线和正则化水平,核回归风险曲线可以是双下降,钟形或n的单调函数。合成和真实数据进行实验,以支持我们的理论研究结果。
2021-02-24 cs.LG stat.ML
Deep Double Descent: Where Bigger Models and More Data Hurt
Harvard University(哈佛大学);OpenAI
我们发现,各种现代深度学习任务都表现出“双下降”现象,即随着模型大小的增加,性能首先变差,然后变好。此外,我们表明,双下降发生不仅作为模型大小的函数,而且作为训练时期的数量的函数。通过定义一个新的复杂性测度,我们称之为有效模型复杂性,并猜想关于这个测度的广义双下降,我们统一了上述现象。此外,我们的模型复杂性的概念,使我们能够确定某些制度,增加(甚至翻两番)的训练样本的数量实际上会损害测试性能。
2019-12-04 cs.CV cs.LG cs.NE
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning
University of Cambridge(剑桥大学)
本文重新审视经典统计机器学习中的双下降现象,指出其源于隐式多重复杂度轴的过渡而非插值阈值 p=n,并提出有效参数数量的广义度量,证明表面双下降曲线可折回为传统凸形。
2023-10-29 cs.LG stat.ML
Two models of double descent for weak features
Halıcıoğlu Data Science Institute, UC San Diego(加州大学圣迭戈分校哈勒哲奥卢数据科学研究所);Columbia University(哥伦比亚大学)
提出了“双下降“风险曲线来定性描述变参数机器学习模型的样本外预测精度。这篇文章提供了一个精确的数学分析,在两个简单的数据模型与最小二乘/最小范数预测这条曲线的形状。具体而言,当特征数$p$接近样本量$n$时,风险达到峰值,但当$p$增加到超过$n$时,风险降低到最小值。这种行为与“有先见之明”的模型形成对比,这些模型以先验的最优顺序选择特征。
2020-10-10 cs.LG stat.ML
The Double Descent Behavior in Two Layer Neural Network for Binary Classification
本文研究二分类两层 ReLU 神经网络在不同模型规模下的测试误差双重下降现象,并借助凸高斯极小极大定理刻画全局训练损失候选。
2025-04-27 cs.LG stat.ML
Unveiling Multiple Descents in Unsupervised Autoencoders
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);Faculty of Engineering, Tel Aviv University(特拉维夫大学工程学院)
本研究揭示了无监督非线性自编码器中存在的双重和三重下降现象,并通过实验证明过参数化模型不仅能改善重构效果,还能提升异常检测等下游任务的性能。
2025-09-11 cs.LG stat.ML
Double-descent curves in neural networks: a new perspective using Gaussian processes
University of Oxford(牛津大学)
本文利用随机矩阵理论将经验特征协方差矩阵谱刻画为NNGP核谱的宽度依赖扰动,从而为神经网络双下降现象提供了由经验核与NNGP核差异支配的新解释。
2023-05-25 cs.LG stat.ML
Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
Emory University(埃默里大学)
我们证明了混合正则化方法自动避免随机特征模型(RFM)训练中出现的双下降现象的能力。双下降现象的标志性特征是在插值阈值处正则化间隙中的尖峰,即当RFM中的特征的数量等于训练样本的数量时。为了弥补这一差距,本文考虑的混合方法结合了两种最常见的正则化形式:早期停止和权重衰减。该方案不需要超参数调整,因为它自动选择停止迭代和权重衰减超参数,通过使用广义交叉验证(GCV)。这也避免了专用验证集的必要性。虽然混合方法的好处已经很好地证明了不适定逆问题,但我们的工作提出了机器学习的第一个用例。为了揭示正则化的必要性和激励混合方法,我们进行了详细的数值实验启发图像分类。在这些例子中,混合方案成功地避免了双下降现象,并产生RFM,其推广与经典的正则化方法,其超参数最佳地使用测试数据调整。我们提供了我们的MATLAB代码实现本文中的数值实验在https://github.com/EmoryMLIP/HybridRFM。
2020-12-11 cs.LG stat.ML
Double Descent and Overparameterization in Particle Physics Data
Technical University of Munich(慕尼黑技术大学)
本研究首次在粒子物理数据中验证了机器学习领域的双下降现象,即重度过参数化模型跨越插值阈值后泛化误差优于经典偏差-方差权衡区域,并探究了双下降的出现条件及过参数化带来性能增益的情形。
2025-09-01 cs.LG hep-ex hep-ph
Analysis of Interpolating Regression Models and the Double Descent Phenomenon
Chalmers University of Technology(查尔姆斯理工大学)
本文通过分析最小范数最小二乘插值模型和回归矩阵最小奇异值行为,解释了过参数化模型中测试误差随模型阶数增加而出现的双下降现象及其峰值位置。
2023-04-17 cs.LG eess.SP stat.ML
Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
最近的一系列工作已经显示出简单学习模型中泛化误差曲线的显着行为。即使是最小二乘回归也显示出非典型的特征,如模型的双重下降,进一步的工作观察到三重或多重下降。另一个重要的特征是在训练过程中出现的逐代下降结构。在有限的理论设置(如随机特征模型)中,通过分析得出了模型和时代下降的观察结果,否则就是实验性的。在这项工作中,我们提供了一个完整的和统一的分析的整个时间演化的推广曲线,在渐进的大规模的制度和梯度流下,在一个更广泛的理论设置源于高斯协变量模型。特别是,我们涵盖了文献中已经不同观察到的大多数情况,并且还提供了作为模型参数或时间的函数存在多个下降结构的示例。此外,我们还证明了我们的理论预测与通过梯度下降在现实数据集上获得的学习曲线充分匹配。从技术上讲,我们使用基于“线性铅笔”的随机矩阵理论的最新发展来计算涉及随机矩阵的有理表达式的平均值。另一个贡献,这也是独立的兴趣,在随机矩阵理论,是一个新的推导相关的不动点方程(和延伸那里关闭)使用戴森布朗运动。
2022-12-18 cs.LG stat.ML
Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective
University of Maryland, College Park(马里兰大学帕克分校);Rice University(莱斯大学);New York University(纽约大学)
我们讨论了可视化神经网络决策边界和决策区域的方法。我们使用这些可视化来研究与神经网络训练中的可重复性和泛化相关的问题。我们观察到,模型架构(及其相关的归纳偏差)的变化会导致决策边界的明显变化,而相同架构的多次运行会产生具有很强相似性的结果,特别是在宽架构的情况下。我们还使用决策边界方法来可视化双下降现象。我们看到,决策边界再现性强烈依赖于模型的宽度。在插值阈值附近,神经网络的决策边界被分割成许多小的决策区域,并且这些区域是不可再现的。同时,非常窄和非常宽的网络在它们的决策边界中具有高水平的可再现性,而决策区域相对较少。我们讨论了我们的观察与凸模型中的双下降现象理论的关系。代码可在https://github.com/somepago/dbViz上获得
2022-03-15 cs.CV cs.LG
Least Squares Regression Can Exhibit Under-Parameterized Double Descent
Yale University(耶鲁大学);Boston College(波士顿学院)
本文研究最小二乘回归中的双重下降现象,提出峰值位置取决于样本协方差的谱与特征向量性质,并用两个可证明的简单示例展示欠参数化区间也会出现双重下降。
2024-10-24 cs.LG math.ST stat.ML
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind(深度思维);University of Alberta(阿尔伯塔大学);University College London(伦敦大学学院)
从经验上看,随着模型规模的增加,深度神经网络的性能稳步提高,这与经典的过拟合和泛化观点相矛盾。最近,双下降现象已被提出来调和这一观察与理论,这表明,测试误差有一个第二次下降时,模型变得充分overparameterized,作为模型大小本身作为一个隐式正则化。在本文中,我们增加了在这个空间中不断增长的工作,提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式,边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是,我们发现,在无噪声回归的情况下,双下降是唯一的解释优化相关的数量,这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信,我们的推导提供了一个替代的观点相比,现有的工作,揭示了这种现象的可能原因,至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络,特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
The University of Sydney(悉尼大学);National Institute of Informatics(国立信息学研究所)
双下降风险现象的出现在机器学习和统计学界引起了越来越多的兴趣,因为它挑战了U形训练测试曲线背后的众所周知的概念。通过Rissanen的最小描述长度(MDL),Balasubramanian的奥卡姆剃刀,和Amari的信息几何的动机,我们调查如何对数的模型体积:$\log V$,工程扩展直觉背后的AIC和BIC模型选择标准。我们发现,对于各向同性线性回归和统计格子的特定模型类,$\log V$项可以被分解成不同的组件,其中每个组件都有助于他们解释这种现象的出现。特别是,他们提出了为什么泛化误差不一定会随着模型维数的增加而继续增长。
2020-11-10 cs.LG stat.ML
Double descent in quantum kernel methods
Leiden University(莱顿大学);Department of Physics and Astronomy(物理与天文学系);University of Waterloo(多伦多大学);Vector Institute(向量研究所);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
本研究通过量子特征空间中的线性回归模型,分析性地证明了量子核方法中存在双下降现象,并通过实验验证了测试误差峰值的存在,为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
More Data Can Hurt for Linear Regression: Sample-wise Double Descent
Harvard University(哈佛大学)
在这篇简要的笔记中,我们描述了过参数化线性回归中的一个令人惊讶的现象,其中维度超过了样本的数量:存在一种制度,其中梯度下降发现的估计量的测试风险随着样本的增加而增加。换句话说,更多的数据实际上会伤害估计器。这种行为是隐含在最近的理论工作分析“双下降”现象的线性模型。在本说明中,我们在一个非常简单的设置中隔离和理解这种行为:具有各向同性高斯协变量的线性回归。特别是,这是由于超参数化机制中的非常规类型的偏差-方差权衡而发生的:偏差随着样本的增加而减少,但方差增加。
2019-12-16 cs.LG cs.NE math.ST
Deep Exploration of Epoch-wise Double Descent in Noisy Data: Signal Separation, Large Activation, and Benign Overfitting
Niigata University(Niigata大学)
本研究通过分析噪声数据中的深度双下降现象,揭示了良性过拟合、信号分离和大激活等关键现象之间的联系。
2026-01-13 cs.CV cs.LG stat.ML
Optimal Regularization Can Mitigate Double Descent
Harvard University(哈佛大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学);Stanford University(斯坦福大学)
最近的经验和理论研究表明,许多学习算法--从线性回归到神经网络--在样本大小和模型大小等数量上可以具有非单调的测试性能。这种引人注目的现象,通常被称为“双下降“,提出了一个问题,即我们是否需要重新思考我们目前对泛化的理解。在这项工作中,我们研究是否可以避免双下降现象,通过使用最佳正则化。理论上,我们证明了,对于某些线性回归模型的各向同性数据分布,最佳调整$\ell_2$正则化实现单调测试性能,因为我们增长的样本大小或模型大小。我们还证明了经验,优化调整的$\ell_2$正则化可以减轻更一般的模型,包括神经网络的双下降。我们的研究结果表明,在适当调整正则化的背景下研究各种算法的测试风险缩放也可能是有益的。
2021-04-29 cs.LG cs.NE math.ST
Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting
本文探讨了 p > n 时最小二乘估计及其变体与新观测预测问题,通过符号变更讨论过拟合,并阐明双重下降现象。
2025-09-17 cs.LG math.ST stat.ML
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University(莱斯大学)
研究了过参数化环境下的线性子空间拟合问题,其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案,在训练数据中具有不同的监督级别(即,期望的低维映射的输入-输出示例的比例)和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来,该子空间拟合强制执行严格的正交性,该回归任务是完全监督的,并且不约束线性算子结构。这类问题是定义在一个监督正交平面,其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面,并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势,设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Geometric Regularization from Overparameterization
Automunge
与损失值相关联的权重集的分布的体积可能是来自过参数化的隐式正则化的来源,这是由于超球体所展示的几何图形随着维度的增加而收缩体积的现象。我们引入了几何正则化猜想,并通过考虑由沿着训练路径可用的潜在权重集更新的分布的内在维度收缩引起的类似性质来解释双下降现象,其中如果该分布在接近全局最小值时在体积对维度曲线峰值上收缩,则我们可以期望几何正则化重新出现。我们说明了如何数据保真度表示的复杂性可能会影响模型容量双下降插值阈值。起源于不同几何形式的历元和模型容量双下降曲线的存在可能意味着具有维度调整的n球体积对应的闭n流形的普遍性。
2022-09-25 cs.LG
Homophily modulates double descent generalization in graph convolution networks
Universität Basel(巴塞尔大学);University of Science and Technology of China(中国科学技术大学);Nanjing Normal University(南京师范大学);University of Pennsylvania(宾夕法尼亚大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究结合统计物理与随机矩阵理论分析上下文随机块模型,揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化,并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML