A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning
University of Cambridge（剑桥大学）
本文重新审视经典统计机器学习中的双下降现象，指出其源于隐式多重复杂度轴的过渡而非插值阈值 p=n，并提出有效参数数量的广义度量，证明表面双下降曲线可折回为传统凸形。
2023-10-29 cs.LG stat.ML
The Double Descent Behavior in Two Layer Neural Network for Binary Classification
本文研究二分类两层 ReLU 神经网络在不同模型规模下的测试误差双重下降现象，并借助凸高斯极小极大定理刻画全局训练损失候选。
2025-04-27 cs.LG stat.ML
Unveiling Multiple Descents in Unsupervised Autoencoders
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；Faculty of Engineering, Tel Aviv University（特拉维夫大学工程学院）
本研究揭示了无监督非线性自编码器中存在的双重和三重下降现象，并通过实验证明过参数化模型不仅能改善重构效果，还能提升异常检测等下游任务的性能。
2025-09-11 cs.LG stat.ML
Double Descent Optimization Pattern and Aliasing: Caveats of Noisy Labels
Stanford University（斯坦福大学）
优化在深度神经网络的训练中发挥着关键作用。决定何时停止训练可能会对网络在推理过程中的性能产生重大影响。在某些条件下，泛化误差可以在训练期间显示双下降模式：学习曲线是非单调的，并且在额外的时期之后再次收敛之前似乎发散。这种优化模式可能导致提前停止过程，在第二次收敛之前停止训练，从而为网络选择一组次优的参数，在推理过程中性能较差。在这项工作中，除了确认双下降发生在小数据集和噪声标签，如其他人所证明的，我们表明，噪声标签必须存在于训练和泛化集，以观察双下降模式。我们还证明了学习率对双下降的影响，并研究了不同的优化器和优化器参数如何影响双下降的出现。最后，我们表明，提高学习率可以创建一个混淆效应，掩盖了双下降模式，而不是抑制它。我们通过对CIFAR-10的变体进行广泛的实验来研究这种现象，并表明它们可以转化为现实世界的应用：从连续的脑电图记录中预测癫痫患者的癫痫发作事件。
2021-09-17 cs.LG
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；University College London（伦敦大学学院）
从经验上看，随着模型规模的增加，深度神经网络的性能稳步提高，这与经典的过拟合和泛化观点相矛盾。最近，双下降现象已被提出来调和这一观察与理论，这表明，测试误差有一个第二次下降时，模型变得充分overparameterized，作为模型大小本身作为一个隐式正则化。在本文中，我们增加了在这个空间中不断增长的工作，提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式，边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是，我们发现，在无噪声回归的情况下，双下降是唯一的解释优化相关的数量，这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信，我们的推导提供了一个替代的观点相比，现有的工作，揭示了这种现象的可能原因，至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络，特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
The University of Sydney（悉尼大学）；National Institute of Informatics（国立信息学研究所）
双下降风险现象的出现在机器学习和统计学界引起了越来越多的兴趣，因为它挑战了U形训练测试曲线背后的众所周知的概念。通过Rissanen的最小描述长度（MDL），Balasubramanian的奥卡姆剃刀，和Amari的信息几何的动机，我们调查如何对数的模型体积：$\log V$，工程扩展直觉背后的AIC和BIC模型选择标准。我们发现，对于各向同性线性回归和统计格子的特定模型类，$\log V$项可以被分解成不同的组件，其中每个组件都有助于他们解释这种现象的出现。特别是，他们提出了为什么泛化误差不一定会随着模型维数的增加而继续增长。
2020-11-10 cs.LG stat.ML
Double descent in quantum kernel methods
Leiden University（莱顿大学）；Department of Physics and Astronomy（物理与天文学系）；University of Waterloo（多伦多大学）；Vector Institute（向量研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究通过量子特征空间中的线性回归模型，分析性地证明了量子核方法中存在双下降现象，并通过实验验证了测试误差峰值的存在，为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
More Data Can Hurt for Linear Regression: Sample-wise Double Descent
Harvard University（哈佛大学）
在这篇简要的笔记中，我们描述了过参数化线性回归中的一个令人惊讶的现象，其中维度超过了样本的数量：存在一种制度，其中梯度下降发现的估计量的测试风险随着样本的增加而增加。换句话说，更多的数据实际上会伤害估计器。这种行为是隐含在最近的理论工作分析“双下降”现象的线性模型。在本说明中，我们在一个非常简单的设置中隔离和理解这种行为：具有各向同性高斯协变量的线性回归。特别是，这是由于超参数化机制中的非常规类型的偏差-方差权衡而发生的：偏差随着样本的增加而减少，但方差增加。
2019-12-16 cs.LG cs.NE math.ST
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University（莱斯大学）
研究了过参数化环境下的线性子空间拟合问题，其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案，在训练数据中具有不同的监督级别（即，期望的低维映射的输入-输出示例的比例）和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来，该子空间拟合强制执行严格的正交性，该回归任务是完全监督的，并且不约束线性算子结构。这类问题是定义在一个监督正交平面，其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面，并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势，设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Homophily modulates double descent generalization in graph convolution networks
Universität Basel（巴塞尔大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing Normal University（南京师范大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究结合统计物理与随机矩阵理论分析上下文随机块模型，揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化，并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML
Optimization Variance: Exploring Generalization Properties of DNNs
Huazhong University of Science and Technology（华中科技大学）；Baidu Research（百度研究院）；Nanyang Technological University（南洋理工大学）
与统计学习理论中的传统观点不同，深度神经网络（DNN）的测试误差通常表现为双下降：随着模型复杂度的增加，它首先遵循经典的U形曲线，然后显示第二次下降。通过偏差方差分解，最近的研究表明，钟形方差是模型方面的双下降（当DNN逐渐加宽时）的主要原因。本文研究逐时双下降，即，DNN的测试误差也随着训练时期的数量增加而显示出双下降。通过将偏差-方差分析扩展到0 - 1损失的逐时期双下降，我们惊奇地发现，方差本身，没有偏差，与测试误差一致地变化。受这一结果的启发，我们提出了一种新的度量，优化方差（OV），来衡量由同一迭代中随机训练批次的随机梯度引起的模型更新的多样性。OV可以仅使用来自训练集的样本来估计，但与（未知）\emph{test}误差很好地相关，因此可以在不使用验证集的情况下实现早期停止。
2021-06-03 cs.AI cs.LG
Double descent for least-squares interpolation on contaminated data: A simulation study
Institute for Mathematics, Carl von Ossietzky University Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学数学研究所）
本文研究了在受污染数据下线性回归中是否会出现双下降现象，比较了最小二乘插值估计器与几种鲁棒替代方法的性能，发现大规模过拟合确实导致双下降现象，使最小二乘插值器的泛化性能优于鲁棒替代方法。
2026-04-15 cs.LG
Double Double Descent: On Generalization Errors in Transfer Learning between Linear Regression Tasks
Rice University（莱斯大学）
研究了两个线性回归问题之间的迁移学习过程。一个重要的和及时的特殊情况是当回归器是过参数化的，并完美地插值其训练数据。我们研究了一个参数传输机制，其中目标任务解决方案的参数的一个子集被约束到一个相关的源任务学习的值。我们根据迁移学习架构中的突出因素来分析目标任务的泛化误差，即，可用示例的数量、每个任务中的（自由）参数的数量、从源任务传输到目标任务的参数的数量以及两个任务之间的关系。我们的非渐近分析表明，目标任务的泛化误差遵循二维双下降趋势（相对于每个任务中的自由参数的数量），这是由迁移学习因素控制。我们的分析指出了参数的转移作为额外的过度参数化的替代是有益的特定情况（即，目标任务中的附加自由参数）。具体来说，我们表明，迁移学习设置的有用性是脆弱的，并依赖于一组传输参数之间的微妙的相互作用，任务之间的关系，和真正的解决方案。我们还证明了当源任务与目标任务更接近或相同时，过度参数化的迁移学习不一定更有益。
2022-09-28 cs.LG stat.ML
Double Descent and Overparameterization in Particle Physics Data
Technical University of Munich（慕尼黑技术大学）
本研究首次在粒子物理数据中验证了机器学习领域的双下降现象，即重度过参数化模型跨越插值阈值后泛化误差优于经典偏差-方差权衡区域，并探究了双下降的出现条件及过参数化带来性能增益的情形。
2025-09-01 cs.LG hep-ex hep-ph
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
There is no Double-Descent in Random Forests
TU Dortmund（多特蒙德工业大学）
随机森林（RF）是机器学习中最先进的技术之一，并在几乎零参数调整的情况下提供出色的性能。值得注意的是，RF似乎不受过拟合的影响，即使它们的基本构建模块是众所周知的过拟合。最近，一项广泛接受的研究认为，RF表现出所谓的双下降曲线：首先，模型在U形曲线中过度拟合数据，然后，一旦达到一定的模型复杂度，它突然再次提高其性能。在本文中，我们挑战了模型容量是解释RF成功的正确工具的概念，并认为训练模型的算法发挥着比之前想象的更重要的作用。我们表明，RF不表现出双下降曲线，而是有一个单一的下降。因此，它在经典意义上并不过拟合。我们进一步提出了一个RF的变化，也不过拟合，虽然其决策边界近似的过拟合DT。类似地，我们证明了近似RF的决策边界的DT仍然会过拟合。最后，我们研究了集成的多样性作为评估其性能的工具。为此，我们引入了负相关森林（NCForest），它允许精确控制集合中的多样性。我们表明，多样性和偏见确实有一个至关重要的影响RF的性能。具有太低的分集会将RF的性能压缩到单个树中，而具有太多的分集意味着大多数树不再产生正确的输出。然而，在这两个极端之间，我们发现了大范围的不同权衡，所有大致相同的性能。因此，只要算法达到这种良好的权衡机制，偏差和多样性之间的特定权衡就不重要。
2021-11-08 cs.LG stat.ML
Conditioning of Random Feature Matrices: Double Descent and Generalization Error
Carnegie Mellon University（卡内基梅隆大学）
我们提供了随机特征矩阵的条件数的（高概率）界。特别是，我们表明，如果复杂度比$\frac{N}{m}$，其中$N$是神经元的数量和$m$是数据样本的数量规模像$\log^{-1}(N)$或$\log(m)$，那么随机特征矩阵是良好的条件。该结果在不需要正则化的情况下成立，并且依赖于在随机特征矩阵的相关分量之间建立各种浓度界限。此外，我们推导出的限制等距常数的随机特征矩阵的界限。我们证明了使用随机特征矩阵的回归问题的风险表现出双重下降现象，这是条件数的双重下降行为的影响。风险边界包括使用最小二乘问题的欠参数化设置和使用最小范数插值问题或稀疏回归问题的过参数化设置。对于最小二乘或稀疏回归的情况下，我们表明，风险降低$m$和$N$增加，即使在有界或随机噪声的存在下。风险界匹配文献中的最佳尺度，我们的结果中的常数是明确的，独立于数据的维数。
2021-11-04 cs.LG math.OC math.PR
A Model of Double Descent for High-dimensional Binary Linear Classification
University of California, Santa Barbara（加州大学圣巴巴拉分校）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
我们考虑一个模型的逻辑斯谛回归，只有一个子集的大小$p$的功能用于训练线性分类器在$n$训练样本。分类器是通过对逻辑损失进行梯度下降（GD）来获得的。对于这个模型，我们调查的依赖性的分类错误的过参数化比率$κ=p/n$。首先，建立在已知的确定性结果上的GD的隐式偏差，我们发现了一个相变现象的情况下的高斯特征：GD的分类误差是相同的最大似然（ML）的解决方案时，$κ<κ_\star$，和最大利润（SVM）的解决方案时，$κ>κ_\star$。接下来，使用凸高斯最小-最大定理（CGMT），我们尖锐地描述了ML和SVM解决方案的性能。结合这些结果，我们得到的曲线，明确表征的分类误差为不同值的$κ$。数值结果验证了理论预测，并揭示了双下降现象，补充了线性回归设置以及更复杂的学习场景中的经验观察的类似最近的发现。
2020-05-10 cs.LG eess.SP stat.ML
On the Lipschitz Constant of Deep Networks and Double Descent
KTH（瑞典皇家理工学院）
本文通过实验研究双重下降下深度网络的经验 Lipschitz 常数，发现其与测试误差强相关，并将其归因于损失景观曲率和参数到初始化的距离。
2025-07-23 cs.LG
GeoAdaLer: Geometric Insights into Adaptive Stochastic Gradient Descent Algorithms
Auburn University（阿伯茨兰大学）
本文提出GeoAdaLer，一种利用优化景观几何特性的新型随机梯度下降自适应学习方法，提升了复杂优化场景中的可解释性与有效性。
2025-05-31 cs.LG math.OC stat.ML
Unified View of Grokking, Double Descent and Emergent Abilities: A Perspective from Circuits Competition
Tsinghua University（清华大学）
本文以记忆电路与泛化电路的竞争为核心，提出统一框架解释grokking、双重下降和涌现能力，并通过实验验证了关于双重下降的预测，同时将框架扩展到多任务学习以阐明大型语言模型涌现能力的形成机制。
2024-02-26 cs.LG
Analytic Study of Double Descent in Binary Classification: The Impact of Loss
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Department of Electrical and Computer Engineering（电气与计算机工程系）
大量的经验证据表明，对于各种不同的学习方法和数据集，风险曲线显示出作为模型大小的函数的双下降（DD）趋势。在最近的一篇论文[Zeyu，Kammoun，Thrampoulidis，2019]中，作者研究了二元线性分类模型，并证明了具有逻辑损失的梯度下降（GD）的测试误差经历了DD。在本文中，我们补充这些结果，将它们扩展到GD平方损失。我们发现，DD现象仍然存在，但我们也确定了几个差异相比，逻辑损失。这强调了DD曲线的关键特征（例如它们的过渡阈值和全局最小值）既取决于训练数据，也取决于学习算法。我们进一步研究了DD曲线对训练集大小的依赖性。类似于我们以前的工作，我们的结果是分析：我们绘制的DD曲线，首先推导出尖锐的渐近高斯特征下的测试误差。虽然简单，该模型允许DD功能的原则性研究，其结果在理论上证实了相关的实证研究结果发生在更复杂的学习任务。
2020-01-30 cs.IT cs.LG eess.SP
Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近的证据表明，深度学习模型的泛化误差存在所谓的双下降甚至三下降行为。这一重要现象通常出现在已实现的神经网络架构中，并且似乎也出现在训练过程中的逐时曲线中。最近的一系列研究强调，随机矩阵工具可以用来获得精确的分析渐近的随机特征模型的泛化（和训练）错误。在这篇文章中，我们分析了梯度流下随机特征模型的泛化和训练误差的整体时间行为。我们表明，在大系统尺寸的渐近极限的完整的时间演化路径的两个错误可以计算分析。这使我们能够观察双下降和三下降如何随着时间的推移而发展，如果以及何时提前停止是一种选择，并且还观察时间下降结构。我们的技术是基于柯西复杂的积分表示的错误连同最近的随机矩阵方法的基础上线性铅笔。
2021-10-22 cs.LG stat.ML
Training morphological neural networks with gradient descent: some theoretical insights
Mines Paris（巴黎矿业学院）；PSL University（巴黎文理研究大学）
本文从Bouligand导数视角分析梯度下降训练多层形态学神经网络的困难，并给出初始化与学习率的初步理论指导。
2024-07-01 cs.CV cs.LG stat.ML
Two Speeds of Learning: A Representation-Readout Decomposition of Grokking and Double Descent
Center for Computational Neuroscience（计算神经科学中心）；Flatiron Institute（Flatiron研究所）；Department of Physics（物理系）；Harvard University（哈佛大学）；Kempner Institute（Kempner研究所）；New York University（纽约大学）
通过将学习动态分解为编码器中的表征学习和最终分类器中的读出校准两个竞争过程，解释了 grokking 和 epoch-wise 双下降现象，并提供了诊断虚假泛化的框架。
2026-05-28 cs.AI cs.LG
Asymptotic Behavior of Multi--Task Learning: Implicit Regularization and Double Descent Effects
Department of Electrical Engineering, College of Engineering, University of Ha’il（胡赛尔大学电气工程系，工程学院）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院）；Department of Electrical and Electronic Engineering, King’s College London – Strand（伦敦国王学院-街分校电气与电子工程系）
研究多任务学习中通过利用相关任务共享信息改进泛化误差，对一种多任务公式进行渐近分析，确定多任务结合受益原因，还实证研究其对泛化误差影响。
2026-07-07 cs.IT cs.LG math.IT
Training Neural Networks with Optimal Double-Bayesian Learning
Lister Hill National Center for Biomedical Communications, National Library of Medicine National Institutes of Health（利斯特希尔国家生物医学通讯中心、国家医学图书馆国家卫生研究院）
本文提出了一种新的概率框架，用于学习率这一关键参数，通过双贝叶斯决策机制改进随机梯度下降，从而推导出理论上最优的学习率，并在多种任务中验证其有效性。
2026-05-19 cs.AI cs.LG cs.NE
The Mathematical Theory of Double Descent as Shrinkage, not Overfitting: Matching Bounds for Path-Regularized Multilayer Neural Networks
Department of Automation, Tsinghua University（清华大学自动化系）
本文提出一种非渐近泛化理论，针对路径正则化的多层神经网络，无需假设损失函数有界，考虑了近似误差，并揭示了双下降现象的潜在机制。
2026-10-23 cs.AI cs.LG math.ST
Understanding Double Descent Requires a Fine-Grained Bias-Variance Decomposition
Google Brain（谷歌大脑）
经典学习理论表明，机器学习模型的最佳泛化性能应该发生在中等模型复杂度下，较简单的模型表现出高偏差，较复杂的模型表现出预测函数的高方差。然而，这种简单的权衡并不能充分描述深度学习模型，这些模型在严重过度参数化的情况下同时获得低偏差和方差。解释这种行为的一个主要障碍是，深度学习算法通常涉及多个随机性来源，这些来源的个体贡献在总方差中不可见。为了实现细粒度的分析，我们描述了一个可解释的，对称的方差分解成与随机性从采样，初始化和标签相关的条款。此外，我们计算随机特征核回归分解的高维渐近行为，并分析了由此产生的惊人的丰富现象。我们发现，随着网络宽度的偏差单调下降，但方差项表现出非单调的行为，可以在插值边界发散，即使在没有标签噪声。发散是由采样和初始化之间的\emph{interaction}引起的，因此可以通过在初始参数上边缘化样本（即装袋）\emph{or}（即集成学习）来消除。
2020-11-04 cs.LG stat.ML
Double Descent for Random Fourier Series Models
Zhejiang Sci-Tech University（浙江理工大学）
本研究通过随机矩阵理论分析随机部分DFT矩阵的最小二乘回归，推导出Moore-Penrose估计器的精确非渐近风险界，并刻画了双重下降现象，数值实验验证了理论结果。
2026-09-28 cs.IT math.IT math.ST
Overfitting Can Be Harmless for Basis Pursuit, But Only to a Degree
Purdue University（普渡大学）；The Ohio State University（俄亥俄州立大学）
最近，人们对研究过参数化和过拟合机制下线性回归模型的泛化误差的所谓“双下降”产生了浓厚的兴趣，希望这种分析可以为理解为什么过参数化深度神经网络（DNN）仍然具有良好的泛化能力提供第一步。然而，到目前为止，这些研究大多集中在最小$\ell_2$ -范数的解决方案，过拟合的数据。相比之下，在本文中，我们研究过拟合的解决方案，最大限度地减少了$\ell_1$ -范数，这是被称为基追踪（BP）在压缩传感文献。在具有$p$ i.i.d.的稀疏真线性回归模型下，高斯特征，我们表明，对于大范围的$p$到一个限制，指数增长的样本数$n$，具有很高的概率BP模型误差的上限值，减少与$p$。据我们所知，这是第一个分析结果，在文献中建立了双下降的过拟合BP有限$n$和$p$。此外，我们的研究结果揭示了BP和最小$\ell_2$ -范数解的双重下降之间的显着差异。具体而言，BP的双下降上限与信号强度无关，并且对于高SNR和稀疏模型，BP的下降底可以比最小$\ell_2$范数解的下降底低得多且宽得多。
2020-11-17 cs.LG math.ST stat.ML
A Double Residual Compression Algorithm for Efficient Distributed Learning
Michigan State University（密歇根州立大学）
大规模机器学习模型通常由并行随机梯度下降算法训练。然而，梯度聚合和模型同步之间的主和工人节点的通信成本成为有效的学习的主要障碍，随着工人的数量和模型的维数增加。在本文中，我们提出DORE，一个双重剩余压缩随机梯度下降算法，以减少超过$95\%$的整体通信，这样的障碍可以大大减轻。我们的理论分析表明，所提出的策略具有优越的收敛性能的强凸和非凸目标函数。实验结果验证了DORE实现了最佳的通信效率，同时保持类似的模型精度和收敛速度相比，开始的最先进的基线。
2019-10-16 cs.DC cs.LG stat.ML
eGAD! double descent is explained by Generalized Aliasing Decomposition
Department of Physics and Astronomy, Brigham Young University, Provo, Utah 84602, USA（物理与天文学系， BYU，犹他州普罗沃，84602，USA）；Department of Mathematics, Brigham Young University, Provo, Utah 84602, USA（数学系， BYU，犹他州普罗沃，84602，USA）
本文提出广义混叠分解（GAD），将预测误差分解为模型不足、数据不足和广义混叠三部分，用以解释双重下降及多重下降现象，并展示其在机器学习、信号处理、微分方程求解和材料发现等领域的应用。
2025-06-03 cs.LG math-ph math.MP
A Novel Structured Natural Gradient Descent for Deep Learning
Beijing Institute of Technology（北京理工大学）
自然梯度下降（NGD）为深度神经网络提供了深刻的见解和强大的工具。然而，随着网络结构的复杂化，Fisher信息矩阵的计算变得越来越困难。本文提出了一种新的优化方法，其主要思想是通过重构网络精确地代替自然梯度优化。更具体地说，我们重建了深度神经网络的结构，并使用传统的梯度下降（GD）优化了新网络。重构后的网络达到了自然梯度下降优化方法的效果。实验结果表明，我们的优化方法可以加速深度网络模型的收敛，并在共享其计算简单性的同时实现比GD更好的性能。
2021-09-21 cs.AI cs.LG
The generalization error of random features regression: Precise asymptotics and double descent curve
深度学习方法在违背传统统计思维的制度中运行。神经网络架构通常包含比训练样本更多的参数，并且非常丰富，以至于它们可以插值观察到的标签，即使后者被纯噪声取代。尽管它们非常复杂，但相同的架构在真实数据上实现了很小的泛化误差。这一现象被解释为所谓的“双重下降”曲线。随着模型复杂度的增加，测试误差在开始时遵循通常的U形曲线，首先下降，然后在插值阈值附近达到峰值（当模型达到消失的训练误差时）。然而，当模型复杂度超过这个阈值时，它会再次下降。全局最小的测试误差被发现高于插值阈值，往往在极端overparametrization制度中的参数的数量远远大于样本的数量。这种行为的元素远不是深度神经网络的特有属性，而是在更简单的设置中得到了证明，包括带有随机协变量的线性回归。在本文中，我们考虑的问题，学习一个未知函数的$d$ -维球$\mathbb S^{d-1}$，从$n$ i.i.d.样品$(\boldsymbol x_i, y_i)\in \mathbb S^{d-1} \times \mathbb R$、$i\le n$。我们对形式为$σ(\boldsymbol w_a^{\mathsf T} \boldsymbol x)$、$a\le N$的$N$随机特征进行岭回归。这可以等效地描述为具有随机第一层权重的两层神经网络。我们在极限$N,n,d\to \infty$内计算检验误差的精确渐近，其中$…
2020-12-11 math.ST stat.ML stat.TH
DoubleSqueeze: Parallel Stochastic Gradient Descent with Double-Pass Error-Compensated Compression
University of Rochester（罗切斯特大学）；Hong Kong University of Science and Technology（香港科技大学）；Kwai Inc（快手公司）
大规模机器学习中的标准方法是分布式随机梯度训练，其需要计算网络上多个节点上的聚合随机梯度。通信是此类应用中的主要瓶颈，近年来，已经提出了压缩随机梯度方法，如QSGD（量化SGD）和稀疏SGD，以减少通信。它还表明，误差补偿可以与压缩相结合，以实现更好的收敛，在一个计划，每个节点压缩其本地随机梯度和广播的结果，所有其他节点在网络中的一个单一的通过。然而，这种单通道广播方法在许多实际实现中是不现实的。例如，在用于分布式学习的流行参数服务器模型下，工作节点需要将压缩的局部梯度发送到参数服务器，参数服务器执行聚合。参数服务器必须在将其发送回工作节点之前再次压缩聚合的随机梯度。在这项工作中，我们提供了一个详细的分析，这两个通行证的通信模型和它的异步并行变体，与错误补偿压缩的工人节点和参数服务器上。我们发现，误差补偿随机梯度算法承认三个非常好的属性：1）它是兼容的\emph{arbitrary}压缩技术; 2）它承认一个改进的收敛速度比非误差补偿随机梯度方法，如QSGD和稀疏SGD; 3）它承认线性加速的工人的数量。实证研究也验证了我们的理论结果。
2020-03-21 cs.DC cs.LG
Gradient Descent in Neural Networks as Sequential Learning in RKBS
神经切核（NTK）的研究提供了非常需要的洞察神经网络的收敛性和泛化性能在过参数化（宽）的限制，通过使用一阶泰勒展开近似的网络在其初始值附近的权重。这允许从再生核希尔伯特空间（RKHS）的角度分析神经网络训练，RKHS在过参数化的情况下是信息丰富的，但对于较窄的网络来说是一个很差的近似，因为在训练期间权重变化更多。我们的目标是超越NTK的限制，走向更一般的理论。我们构建了一个精确的幂级数表示的神经网络在一个有限的邻域内的初始权重作为两个特征映射的内积，分别从数据和权重步长空间，特征空间，允许神经网络训练的再生核{ \em Banach}空间（RKBS）的角度进行分析。我们证明，无论宽度，梯度下降产生的训练序列可以完全复制正则化顺序学习RKBS。利用这一点，我们提出了新的一致收敛的迭代次数和学习率发挥核心作用，新的理论见解神经网络训练。
2023-02-01 cs.LG stat.ML
Learning Overparameterized Neural Networks via Stochastic Gradient Descent on Structured Data
Stanford University（斯坦福大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
神经网络有许多成功的应用，但理论上的理解却少得多。为了弥合这一差距，我们研究了通过随机初始化的随机梯度下降（SGD）学习两层超参数化ReLU神经网络进行多类分类的问题。在过参数化设置中，当数据来自分离良好的分布的混合物时，我们证明了SGD学习具有小泛化误差的网络，尽管该网络有足够的容量来适应任意标签。此外，分析提供了有趣的见解学习神经网络的几个方面，并可以验证基于合成数据和MNIST数据集的实证研究。
2019-08-01 cs.LG stat.ML
Combining learning rate decay and weight decay with complexity gradient descent - Part I
Data Science Institute（数据科学研究所）；Imperial College（帝国理工学院）
在深度神经网络而不是更传统的机器学习模型的特定情况下，$L^2$正则化的作用仍然没有完全阐明。我们假设，这种复杂的相互作用是由于过度参数化和高维现象的组合，在训练过程中发生，使其不适合标准的凸优化方法。利用统计物理和随机场理论的见解，我们引入了一个参数因子的损失函数和其剩余的非凸性的水平：\emph{complexity}。我们继续表明，这是可取的继续与\emph{complexity gradient descent}。然后，我们展示了如何使用这种直觉，以获得新的和有效的退火计划的强度时，执行标准的随机梯度下降在深度神经网络的$L^2$正则化。
2019-02-07 cs.LG stat.ML
New insights and perspectives on the natural gradient method
DeepMind
自然梯度下降是传统上从信息几何的角度出发的优化方法，并且作为随机梯度下降的替代方案在许多应用中工作良好。在本文中，我们批判性地分析了这种方法及其性质，并显示它可以被视为一种类型的二阶优化方法，与Fisher信息矩阵作为一个替代的海森。在许多重要的情况下，费雪信息矩阵被证明是等价于广义高斯-牛顿矩阵，这两个近似的海森，但也有一定的属性，有利于它的使用超过海森。这种观点对设计一个实用和鲁棒的自然梯度优化器具有重要意义，因为它激发了信赖域和Tikhonov正则化等技术的使用。此外，我们对自然梯度和二阶方法的理解做出了一系列贡献，包括：对随机自然梯度下降算法收敛速度的深入分析（和更一般的随机二阶方法）应用于凸二次，经常使用的“经验”近似的Fisher矩阵的批判性检查，和分析的（近似）参数化不变性性质所拥有的自然梯度方法（我们也持有某些其他曲率，但值得注意的是不是海森）。
2020-09-19 cs.LG stat.ML
Gradient flow in the gaussian covariate model: exact solution of learning curves and multiple descent structures
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
最近的一系列工作已经显示出简单学习模型中泛化误差曲线的显着行为。即使是最小二乘回归也显示出非典型的特征，如模型的双重下降，进一步的工作观察到三重或多重下降。另一个重要的特征是在训练过程中出现的逐代下降结构。在有限的理论设置（如随机特征模型）中，通过分析得出了模型和时代下降的观察结果，否则就是实验性的。在这项工作中，我们提供了一个完整的和统一的分析的整个时间演化的推广曲线，在渐进的大规模的制度和梯度流下，在一个更广泛的理论设置源于高斯协变量模型。特别是，我们涵盖了文献中已经不同观察到的大多数情况，并且还提供了作为模型参数或时间的函数存在多个下降结构的示例。此外，我们还证明了我们的理论预测与通过梯度下降在现实数据集上获得的学习曲线充分匹配。从技术上讲，我们使用基于“线性铅笔”的随机矩阵理论的最新发展来计算涉及随机矩阵的有理表达式的平均值。另一个贡献，这也是独立的兴趣，在随机矩阵理论，是一个新的推导相关的不动点方程（和延伸那里关闭）使用戴森布朗运动。
2022-12-18 cs.LG stat.ML
Weighted Averaged Stochastic Gradient Descent: Asymptotic Normality and Optimality
University of Chicago（芝加哥大学）；University of California, Irvine（加利福尼亚大学欧文分校）
本文针对SGD提出通用加权平均方案，建立了加权平均SGD解的渐近正态性并提供在线推断方法，同时基于线性模型非渐近MSE最优权重设计了兼具最优统计速率与非渐近收敛性的自适应平均方案。
2025-04-06 cs.LG stat.ML
Almost Bayesian: The Fractal Dynamics of Stochastic Gradient Descent
研究揭示随机梯度下降在分形景观上扩散的行为与贝叶斯统计的关系，提出SGD可视为一种考虑分形结构访问限制的修改贝叶斯采样器。
2026-03-16 cs.AI cs.LG math.OC
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology（国防科技大学计算机学院）；Scientific Computing & Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具，随机梯度下降已经得到了大量的研究。然而，社区很少关注其分散的变体。在本文中，我们提供了一个新的制定分散随机梯度下降。利用这个公式与（非）凸优化理论，我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上，并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Sobolev Descent
IBM Research（IBM研究院）；MIT-IBM Watson Lab（麻省理工学院-IBM沃森实验室）；MPI（马克斯·普朗克研究所）
我们研究了GAN训练的一个简化：将粒子从源传输到目标分布的问题。从Sobolev GAN批评，梯度正则化的GAN家庭的一部分，我们表现出很强的最优运输（OT）的关系。特别是不太流行的OT动态公式，它找到了一条从源到目标的分配路径，使“动能”最小化。我们介绍了Sobolev下降，构造类似的路径，通过以下的梯度流的批评功能在核空间或参数化的神经网络。在内核版本中，我们表现出收敛到目标分布在MMD意义上。我们在理论和实验中表明，正则化在有利于分布之间的平滑过渡方面具有重要作用，避免了批评者的大梯度。这种在简化粒子设置中的分析提供了对GANs中平衡路径的洞察。
2019-08-05 cs.LG stat.ML
Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity
Mila and DIRO, Université de Montréal（蒙特利尔大学 Mila 与 DIRO）
用于求解无约束光滑博弈的两个最突出的算法是经典的随机梯度下降-上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等人，2017年]。已知SGDA收敛到特定类别游戏的稳定点，但目前的收敛分析需要有界方差假设。SCO被成功地用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们引入了期望的互补性条件，解释它的好处，并提供了第一个最后一个收敛保证SGDA和SCO在此条件下解决一类随机变分不等式问题是潜在的非单调。我们证明了这两种方法的线性收敛的解决方案的邻域时，他们使用恒定的步长，我们提出了有见地的步长切换规则，以保证收敛到精确的解决方案。此外，我们的收敛性保证下的任意采样范式，因此，我们给的见解的复杂性miniquantum。
2021-11-04 cs.GT cs.LG math.OC
Which Algorithmic Choices Matter at Which Batch Sizes? Insights From a Noisy Quadratic Model
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；DeepMind（深度思维）
增加批量大小是加速神经网络训练的一种流行方法，但超过某些临界批量大小，更大的批量大小会产生收益递减。在这项工作中，我们研究了如何关键批量的基础上的优化算法，包括加速和预处理，通过两个不同的镜头的属性变化：大规模的实验，和一个简单的噪声二次模型（NQM）的分析。我们的实验表明，优化算法，采用预处理，特别是亚当和K-FAC，导致更大的临界批量比随机梯度下降的势头。我们还证明了NQM捕获了真实神经网络训练的许多基本特征，尽管使用起来非常简单。NQM使用预处理优化器预测我们的结果，使用加速梯度下降的先前结果，以及围绕最佳学习率和大批量训练的其他结果，使其成为生成有关神经网络优化的可测试预测的有用工具。
2019-10-28 cs.LG stat.ML
Gradient is All You Need? How Consensus-Based Optimization can be Interpreted as a Stochastic Relaxation of Gradient Descent
University of Oxford, Mathematical Institute（牛津大学数学研究所）；Deeptech Consulting（德普科技咨询）；ETH Zurich, Department of Mathematics（苏黎世联邦理工学院数学系）；Technical University of Munich, School of Computation, Information and Technology, Department of Mathematics（慕尼黑技术大学计算、信息与技术学院数学系）；Munich Center for Machine Learning Munich Data Science Institute（慕尼黑机器学习中心慕尼黑数据科学研究所）
本文将基于共识的优化解释为梯度下降的随机松弛，揭示其在非凸优化中的全局收敛性及对能量壁垒的克服能力。
2026-02-27 cs.LG cs.NA math.NA
Robust Recovery via Implicit Bias of Discrepant Learning Rates for Double Over-parameterization
University of California, Berkeley（加州大学伯克利分校）；University of Denver（丹佛大学）；New York University（纽约大学）
最近的进展表明，过参数化模型上的梯度下降的隐式偏差使得即使在没有关于内在秩的先验知识的情况下，也能够从线性测量恢复低秩矩阵。相比之下，对于从严重损坏的测量中恢复的鲁棒低秩矩阵，过度参数化导致过度拟合，而无需关于损坏的固有秩和稀疏性的先验知识。本文表明，与双过参数化的低秩矩阵和稀疏腐败，梯度下降与差异学习率可证明恢复的基础矩阵，即使没有先验知识的秩矩阵也稀疏腐败。我们进一步扩展了我们的方法，通过使用深度卷积网络对图像进行过度参数化来实现自然图像的鲁棒恢复。实验表明，我们的方法处理不同的测试图像和不同的腐败程度与一个单一的学习管道，网络宽度和终止条件不需要根据具体情况进行调整。成功的基础再次是隐含的偏见，不同的过度参数化的参数上的差异学习率，这可能会影响更广泛的应用。
2020-06-16 cs.CV cs.LG math.OC
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Gradient Descent Efficiency Index
针对梯度下降后期迭代易越过最小值或进展微小、停止点难定的问题，提出效率指标 Ek，综合误差相对变化与损失稳定性，以评估每次迭代有效性并指导优化算法选择。
2024-10-25 cs.AI cs.LG math.OC
Regularization-wise double descent: Why it occurs and how to eliminate it
Rice University（莱斯大学）；Technical University of Munich（慕尼黑工业大学）
过度参数化模型的风险，特别是深度神经网络，通常是模型大小的函数。最近，有研究表明，作为提前停止时间函数的风险也可以呈双下降形状，并且这种行为可以解释为偏差-方差权衡的叠加。在本文中，我们证明了显式L2正则化模型的风险可以表现出双下降行为的正则化强度的函数，在理论和实践中。我们发现，对于线性回归，双下降形风险是由对应于模型不同部分的偏差-方差权衡的叠加引起的，并且可以通过适当地缩放每个部分的正则化强度来减轻。受此结果的启发，我们研究了一个两层神经网络，并表明可以通过调整第一层和第二层的正则化强度来消除双下降。最后，我们研究了在带有标签噪声的CIFAR-10和没有标签噪声的CIFAR-100上训练的5层CNN和ResNet-18，并证明了所有这些都表现出双下降行为作为正则化强度的函数。
2022-06-03 cs.LG stat.ML
