Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression
UC Berkeley（加州大学伯克利分校）；Inria（法国国家科学与技术研究院）；PSL University（巴黎社会科学高等学院）；Google DeepMind（谷歌DeepMind）
本文研究了具有线性可分数据的$\ell_2$正则化逻辑斯谛回归的恒定步长梯度下降（GD）问题.经典理论建议小的步长以确保优化目标的单调减少，以$κ$为条件数的$\widetilde{\mathcal{O}}(κ)$步长实现指数收敛。令人惊讶的是，我们表明，这可以加速到$\widetilde{\mathcal{O}}(\sqrtκ)$通过简单地使用一个大的步长-目标的非单调演变。大步长带来的加速扩展到最小化可分离分布的群体风险，改进了最知名的步长上限，以达到接近最优的值。最后，我们描述了GD的局部收敛的最大步长，这也决定了在特殊情况下的全局收敛性。我们的结果扩展了Wu et al.（2024）的分析，从无穷远极小的凸设置到有限极小的强凸情况。
2025-11-03 cs.LG stat.ML
Subspace Fitting Meets Regression: The Effects of Supervision and Orthonormality Constraints on Double Descent of Generalization Errors
Rice University（莱斯大学）
研究了过参数化环境下的线性子空间拟合问题，其中估计的子空间可以很好地插值训练样本。我们的范围包括子空间拟合任务的最小二乘解决方案，在训练数据中具有不同的监督级别（即，期望的低维映射的输入-输出示例的比例）和定义学习算子的向量的正交性。这个灵活的问题系列将标准的无监督子空间拟合与相应的回归任务连接起来，该子空间拟合强制执行严格的正交性，该回归任务是完全监督的，并且不约束线性算子结构。这类问题是定义在一个监督正交平面，其中每个坐标诱导一个问题的实例与一个独特的一对监督水平和软正交约束。我们探索这个平面，并表明相应的子空间拟合问题的泛化误差遵循双下降的趋势，设置变得更加监督和正交约束。
2020-08-20 cs.LG stat.ML
Stochastic Gradient Descent for Nonparametric Additive Regression
Department of Operations Research and Financial Engineering, Princeton University（运筹学与金融工程系，普林斯顿大学）
本文提出了一种用于非参数加法回归的随机梯度下降算法，通过分阶段学习率选择实现最优风险，并在模型不规范情况下提供收敛速率保证。
2025-12-30 cs.LG stat.ML
Fast gradient descent for drifting least squares regression, with application to bandits
Oxford University（牛津大学）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在线学习算法需要经常重新计算参数的最小二乘回归估计。我们研究提高计算复杂性，这样的算法，使用随机梯度下降（SGD）型计划，在经典的回归求解器。我们表明，SGD计划有效地跟踪真正的解决方案的回归问题，即使在存在漂移。这一发现加上$O(d)$在复杂性方面的改进，其中$d$是数据的维度，使它们在大数据环境中的实施具有吸引力。在强凸性的回归问题的情况下，保证，我们提供的预期和高概率（后者往往是需要提供理论保证更高层次的算法），尽管漂移的最小二乘解决方案的错误的界限。作为这种情况的一个例子，我们证明了PEGE线性强盗算法的SGD版本[Rusmevichientong和Tsitsiklis 2010]的遗憾性能比PEGE本身差，仅差$O(\log^4 n)$的一个因子。当回归问题的强凸性不能得到保证时，我们使用自适应正则化进行研究。我们在新闻文章推荐应用程序中对自适应正则化的SGD版本LinUCB [Li et al. 2010]进行了实证研究，该应用程序使用Yahoo！头版。这些实验表明，在计算复杂性方面有很大的增益，具有一致的低跟踪误差和接近$75\%$的点击率（CTR）性能。
2014-11-20 cs.LG stat.ML
Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond
Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们研究了对抗性攻击的鲁棒性，早期停止策略的梯度下降（GD）方法的线性回归。更准确地说，我们表明，早期停止GD是最佳的鲁棒性（绝对常数）对欧几里德范数对抗攻击。然而，我们表明，这种策略可以任意次优的情况下，一般的马氏攻击。这一观察结果与最近发现的分类~ \cite{Vardi2022GradientMP}的情况下，表明GD可证明收敛到非鲁棒模型是兼容的。为了缓解这个问题，我们建议改为应用GD方案对适应攻击的数据进行变换。这种数据转换相当于应用依赖于特征的学习率，我们证明了这种修改后的GD能够处理任何Mahalanobis攻击，以及在某些条件下更一般的攻击。不幸的是，对于一般攻击来说，选择这样的适应性变换可能很难。为了拯救，我们设计了一个简单易行的估计，其对抗风险在人口制度中的乘法常数1.1124内是最佳的，并且适用于任何规范。
2023-01-31 cs.LG stat.ML
Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task
Department of Life Sciences, University of Bath（生命科学系，巴斯大学）
本文在结核分枝杆菌异烟肼耐药基因组预测任务中，沿学习器容量与集成规模两个轴调节树模型复杂度，发现双重下降仅在二者联合扩展时出现。
2025-09-22 cs.LG stat.ML
On the Double Descent of Random Features Models Trained with SGD
EPFL（洛桑联邦理工学院）；KU Leuven（鲁汶大学）
我们研究了随机特征（RF）回归在下/过参数化机制下通过随机梯度下降（SGD）优化的高维空间中的泛化特性。在这项工作中，我们得到了精确的非渐近误差界的RF回归下的常数和多项式衰减步长SGD设置，并观察双下降现象的理论和经验。我们的分析展示了如何处理初始化，标签噪声和数据采样（以及随机梯度）的多个随机性来源，而没有封闭形式的解决方案，并且也超越了常用的高斯/球形数据假设。我们的理论结果表明，使用SGD训练，RF回归仍然可以很好地推广插值学习，并且能够通过方差的单峰性和偏差的单调减少来表征双下降行为。此外，我们还证明了恒定步长的SGD设置时，收敛速度没有损失相比，精确的最小范数的最小值，作为一个理论上的理由，在实践中使用SGD。
2022-10-16 cs.LG stat.ML
A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning
University of Cambridge（剑桥大学）
本文重新审视经典统计机器学习中的双下降现象，指出其源于隐式多重复杂度轴的过渡而非插值阈值 p=n，并提出有效参数数量的广义度量，证明表面双下降曲线可折回为传统凸形。
2023-10-29 cs.LG stat.ML
Federated Coordinate Descent for Privacy-Preserving Multiparty Linear Regression
North China Electric Power University（华北电力大学）；Shandong University of Finance and Economics（山东财经大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
分布式隐私保护回归方案已经在各个领域中得到开发和扩展，其中多方协作和私有地运行优化算法，例如，梯度下降，学习一组最佳参数。然而，传统的基于递归下降的方法无法解决包含L1正则化的目标函数的问题，例如Lasso回归。在本文中，我们提出了联邦坐标下降，一个新的分布式计划，称为FCD，安全地解决这个问题下多方的情况。具体来说，通过安全聚合和增加扰动，我们的方案保证：（1）没有本地信息泄露给其他方，（2）全局模型参数不暴露给云服务器。增加的扰动最终可以由各方消除，以获得具有高性能的全局模型。我们发现，FCD方案填补了多方安全的坐标下降方法的空白，适用于一般的线性回归，包括线性，岭和套索回归。理论安全性分析和实验结果表明，FCD算法能够有效地执行三种类型线性回归任务，并在真实世界UCI数据集上提供与集中式方法一样低的MAE度量。
2022-10-16 cs.LG
More Data Can Hurt for Linear Regression: Sample-wise Double Descent
Harvard University（哈佛大学）
在这篇简要的笔记中，我们描述了过参数化线性回归中的一个令人惊讶的现象，其中维度超过了样本的数量：存在一种制度，其中梯度下降发现的估计量的测试风险随着样本的增加而增加。换句话说，更多的数据实际上会伤害估计器。这种行为是隐含在最近的理论工作分析“双下降”现象的线性模型。在本说明中，我们在一个非常简单的设置中隔离和理解这种行为：具有各向同性高斯协变量的线性回归。特别是，这是由于超参数化机制中的非常规类型的偏差-方差权衡而发生的：偏差随着样本的增加而减少，但方差增加。
2019-12-16 cs.LG cs.NE math.ST
Learning Curves of Stochastic Gradient Descent in Kernel Regression
Peking University（北京大学）
本文分析了核回归中单遍SGD在模型错误指定条件下的超额风险曲线，发现其通过指数衰减步长克服了饱和现象，在多数尺度下达到min-max最优速率，并首次证明该方案优于迭代平均方法。
2025-05-28 cs.LG stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
The Double Descent Behavior in Two Layer Neural Network for Binary Classification
本文研究二分类两层 ReLU 神经网络在不同模型规模下的测试误差双重下降现象，并借助凸高斯极小极大定理刻画全局训练损失候选。
2025-04-27 cs.LG stat.ML
Unveiling Multiple Descents in Unsupervised Autoencoders
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）；Faculty of Engineering, Tel Aviv University（特拉维夫大学工程学院）
本研究揭示了无监督非线性自编码器中存在的双重和三重下降现象，并通过实验证明过参数化模型不仅能改善重构效果，还能提升异常检测等下游任务的性能。
2025-09-11 cs.LG stat.ML
Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
本文证明宽浅层 ReLU 网络梯度下降训练在函数空间中的隐式偏置等价于带曲率惩罚的最小二阶导数范数问题，并推广到多变量回归与样条轨迹刻画。
2023-05-28 cs.LG stat.ML
Multi-scale Feature Learning Dynamics: Insights for Double Descent
Mila, Université de Montréal（蒙特利尔大学 Mila 研究院）；University of California, Riverside（加州大学河滨分校）
构建深度学习理论基础的一个关键挑战是神经网络的复杂优化动态，这是由大量网络参数之间的高维相互作用造成的。这种非平凡的动态导致有趣的行为，如“双下降“的现象的泛化误差。这种现象的更常见的研究方面对应于模型方面的双下降，其中测试误差随着模型复杂性的增加而呈现出第二次下降，超出了经典的U形误差曲线。在这项工作中，我们调查的起源较少研究的逐时双下降，其中的测试误差经历了两个非单调的过渡，或下降的训练时间的增加。通过利用统计物理学的工具，我们研究了一个线性师生设置，该设置表现出与深度神经网络类似的逐时双下降。在这种情况下，我们推导出封闭形式的解析表达式的演变泛化误差的训练。我们发现，双下降可以归因于在不同尺度上学习的不同特征：随着快速学习特征过拟合，学习较慢的特征开始拟合，导致测试错误的第二次下降。我们通过数值实验验证了我们的发现，我们的理论准确地预测了经验发现，并与深度神经网络中的观察结果保持一致。
2021-12-06 cs.AI cs.LG stat.ML
Gradient Descent Converges Linearly for Logistic Regression on Separable Data
Google Research（谷歌研究院）；Yahoo! Research（雅虎研究院）
本文证明了在可分数据上，使用可变学习率的梯度下降法能保证 Logistic Regression 损失线性收敛，并改善了稀疏 Logistic Regression 的稀疏度-误差权衡。
2023-06-26 cs.LG
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon（亚马逊）；University of Oxford（牛津大学）；University of Pennsylvania（宾夕法尼亚大学）；Oxford University（牛津大学）
从数据中学习的方法取决于各种类型的调优参数，例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数，重要的是要比较类的估计，通过考虑规定的有限组的调整参数，而不仅仅是特别调整的方法。在这项工作中，我们调查类的方法通过类中最好的方法的相对性能。我们认为，线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法，梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计，当经验数据协方差阵的特征值衰减缓慢时，常数步长梯度下降优于岭回归，呈指数小于1的幂律。相反，如果特征值衰减迅速，作为幂律指数大于单位或指数，我们表明，岭回归优于梯度下降。(2)对于正交设计，我们计算精确的最小最大最优估计类（实现最小-最大-最小最优性），表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调，统计性能可以强烈依赖于调整参数。特别是，虽然最佳调整岭回归是我们设置中的最佳估计器，但当两种方法都只在200多个正则化参数上进行调整时，它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
Benefits of Early Stopping in Gradient Descent for Overparameterized Logistic Regression
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）；New York University（纽约大学）
本文研究了过参数化逻辑回归中梯度下降早停的正则化效应，证明早停GD在逻辑风险和0-1风险上优于渐近GD，并与显式 $\ell_2$-正则化建立非渐近界。
2025-06-30 cs.LG stat.ML
Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
该研究针对线性可分数据的逻辑回归，提出大且自适应步长的梯度下降方法，证明其在预热步骤后可立即获得极小风险，且步复杂度达极小极大最优，还扩展到多种损失函数和两层网络。
2025-04-18 cs.LG stat.ML
Comparing the Moore-Penrose Pseudoinverse and Gradient Descent for Solving Linear Regression Problems: A Performance Analysis
University of Pittsburgh（匹兹堡大学）
本文比较了求解线性回归问题的Moore-Penrose伪逆与梯度下降法，分析了两者在计算时间、数值稳定性和预测准确性方面的表现，为选择直接精确解或迭代近似解提供实用指导。
2025-05-29 cs.LG
Understanding the Double Descent Phenomenon in Deep Learning
Sorbonne Université（索邦大学）
本教程解释深度学习中的双下降现象，涵盖其机制、归纳偏置的作用，并通过线性模型示例及近期工作提供多角度理解。
2024-03-15 cs.CV cs.LG stat.ML
Double Descent Risk and Volume Saturation Effects: A Geometric Perspective
The University of Sydney（悉尼大学）；National Institute of Informatics（国立信息学研究所）
双下降风险现象的出现在机器学习和统计学界引起了越来越多的兴趣，因为它挑战了U形训练测试曲线背后的众所周知的概念。通过Rissanen的最小描述长度（MDL），Balasubramanian的奥卡姆剃刀，和Amari的信息几何的动机，我们调查如何对数的模型体积：$\log V$，工程扩展直觉背后的AIC和BIC模型选择标准。我们发现，对于各向同性线性回归和统计格子的特定模型类，$\log V$项可以被分解成不同的组件，其中每个组件都有助于他们解释这种现象的出现。特别是，他们提出了为什么泛化误差不一定会随着模型维数的增加而继续增长。
2020-11-10 cs.LG stat.ML
The Neural Tangent Kernel in High Dimensions: Triple Descent and a Multi-Scale Theory of Generalization
Google Brain（谷歌大脑）
现代深度学习模型使用的参数比拟合训练数据所需的参数要多得多。尽管传统的统计智慧认为这样的模型应该大大过拟合，但在实践中，这些模型的泛化能力非常好。一种描述这种意外行为的新兴范例是\emph{double descent}曲线，其中增加模型的容量会导致其测试误差首先减小，然后增加到插值阈值附近的最大值，然后在过参数化状态下再次减小。最近在理论上解释这一现象的努力主要集中在简单的设置上，例如线性回归或具有非结构化随机特征的核回归，我们认为这些设置太粗糙，无法揭示实际神经网络的重要细微差别。我们提供了一个精确的高维渐近分析下的核回归与神经正切核，它的特点是广泛的神经网络优化梯度下降的行为。我们的研究结果表明，测试误差具有非单调的行为，深入过参数化制度，甚至可以表现出额外的峰值和下降时，参数的数量与数据集的大小成二次比例。
2020-08-15 cs.LG stat.ML
Error dynamics of mini-batch gradient descent with random reshuffling for least squares regression
Princeton University（普林斯顿大学）；Boston College（波士顿学院）
本文研究随机重排小批量梯度下降在最小二乘回归中的误差动力学，通过引入样本互协方差矩阵Z揭示小批量与全批量梯度下降在首阶上一致，并证明分批会在谱上产生收缩效应。
2025-02-03 cs.LG math.OC stat.ML
Unbiased least squares regression via averaged stochastic gradient descent
ESCP Business School（ESCP商学院）
针对在线最小二乘回归问题，提出基于随机化多水平蒙特卡洛的无偏时间平均SGD估计量，实现k阶步数下O(1/k)超额风险，还给出风险估计及平均起始版本，理论结果经数值实验验证。
2024-06-26 cs.LG stat.ME stat.ML
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability
Johns Hopkins University（约翰斯·霍普金斯大学）；Rice University（莱斯大学）；Princeton University（普林斯顿大学）
本研究证明在稳定性边缘下，任意常数步长的梯度下降可使逻辑回归损失最小化，并揭示其隐式偏差，同时指出指数损失可能发散，凸显逻辑损失优势。
2023-10-15 cs.LG stat.ML
Iterate averaging as regularization for stochastic gradient descent
Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了经典的Polyak-Ruppert平均方案，广泛用于随机梯度方法的一个变体。而不是一个统一的平均值的迭代，我们考虑加权平均值，权重以几何方式衰减。在线性最小二乘回归的背景下，我们表明，这种平均计划具有相同的正则化效果，实际上是渐近等价的，岭回归。特别是，我们推导出有限样本的界限所提出的方法，匹配最好的已知结果正则化随机梯度方法。
2018-02-22 cs.LG stat.ML
Encrypted accelerated least squares regression
University of Oxford（牛津大学）
根据定义，以加密格式存储的信息通常不适合统计分析或机器学习方法。在本文中，我们提出了详细的分析坐标和加速梯度下降算法，能够拟合最小二乘和惩罚岭回归模型，使用数据加密下的全同态加密方案。梯度下降的加密计算速度方面占主导地位，并证明了理论结果给出的参数范围，确保解密的正确性。经验表明，加密计算的特性有利于非标准的加速技术。这证明了使用加密数据近似传统统计回归方法而不损害隐私的可能性。
2017-03-02 cs.LG stat.ML
Stochastic Gradient Descent for Gaussian Processes Done Right
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Cornell University（康奈尔大学）；University of Alberta（阿尔伯塔大学）
本文提出一种简单的随机对偶下降算法，正确利用优化与核方法洞见求解高斯过程回归中的大型线性系统，并在UCI回归、贝叶斯优化及分子结合亲和力预测中展现出竞争力。
2024-04-28 cs.LG stat.ML
Changing the Kernel During Training Leads to Double Descent in Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究发现训练中减小平移不变核带宽可使核回归出现双下降，带宽降至零能实现良性过拟合且无需模型选择，该策略效果优于恒定带宽方法，还可迁移到神经网络优化NTK以提升收敛效率与过拟合特性。
2025-05-16 cs.LG math.OC stat.ME
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
A Generalized Online Mirror Descent with Applications to Classification and Regression
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The Technion（以色列理工学院）；Università degli Studi di Milano（米兰大学）
在线学习算法速度快，内存效率高，易于实现，适用于许多预测问题，包括分类，回归和排名。在过去的几十年里，提出了几种在线算法，一些基于加法更新，如Perceptron，一些基于乘法更新，如Winnow。在线镜像下降提供了在线算法的设计和分析的统一观点，这是一种通用的预测策略，大多数一阶算法可以作为特例获得。我们将在线镜像下降推广到具有通用更新的时变正则化器。与标准的镜像下降，我们更一般的配方也捕获二阶算法，复合损耗算法和自适应滤波算法。此外，我们恢复，有时改善，已知的遗憾界作为我们的分析使用特定的正则化的特殊情况。最后，我们通过推导出一个新的二阶算法的遗憾界不变量相对于任意重新缩放的个人功能，我们的方法的力量。
2014-07-14 cs.LG
Double Descent Optimization Pattern and Aliasing: Caveats of Noisy Labels
Stanford University（斯坦福大学）
优化在深度神经网络的训练中发挥着关键作用。决定何时停止训练可能会对网络在推理过程中的性能产生重大影响。在某些条件下，泛化误差可以在训练期间显示双下降模式：学习曲线是非单调的，并且在额外的时期之后再次收敛之前似乎发散。这种优化模式可能导致提前停止过程，在第二次收敛之前停止训练，从而为网络选择一组次优的参数，在推理过程中性能较差。在这项工作中，除了确认双下降发生在小数据集和噪声标签，如其他人所证明的，我们表明，噪声标签必须存在于训练和泛化集，以观察双下降模式。我们还证明了学习率对双下降的影响，并研究了不同的优化器和优化器参数如何影响双下降的出现。最后，我们表明，提高学习率可以创建一个混淆效应，掩盖了双下降模式，而不是抑制它。我们通过对CIFAR-10的变体进行广泛的实验来研究这种现象，并表明它们可以转化为现实世界的应用：从连续的脑电图记录中预测癫痫患者的癫痫发作事件。
2021-09-17 cs.LG
Non-asymptotic implicit bias of logistic regression at early-stage gradient descent dynamics
The Institute of Statistical Mathematics（统计数理研究所）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所人工智能项目）
本研究揭示早期梯度下降动力学中逻辑回归参数向量与最大间隔方向弱对齐的机制，给出对齐迭代次数的紧上界，为理解训练时长与泛化性能的关联提供理论支撑。
2026-08-06 cs.LG stat.ML
On the Role of Optimization in Double Descent: A Least Squares Study
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）；University College London（伦敦大学学院）
从经验上看，随着模型规模的增加，深度神经网络的性能稳步提高，这与经典的过拟合和泛化观点相矛盾。最近，双下降现象已被提出来调和这一观察与理论，这表明，测试误差有一个第二次下降时，模型变得充分overparameterized，作为模型大小本身作为一个隐式正则化。在本文中，我们增加了在这个空间中不断增长的工作，提供了一个学习动态的最小二乘场景的模型大小的函数的仔细研究。我们展示了最小二乘目标的梯度下降解的超额风险界。通过具有双下降行为的函数形式，边界取决于输入特征的协方差矩阵的最小非零特征值。这为文献中报道的双下降曲线提供了一个新的视角。我们的过度风险的分析允许解耦的优化和泛化误差的影响。特别是，我们发现，在无噪声回归的情况下，双下降是唯一的解释优化相关的数量，这是错过了专注于摩尔-彭罗斯伪逆解的研究。我们相信，我们的推导提供了一个替代的观点相比，现有的工作，揭示了这种现象的可能原因，至少在考虑最小二乘设置。我们从经验上探索我们的预测是否适用于神经网络，特别是中介隐藏激活的协方差是否与我们的推导所预测的行为相似。
2021-07-27 cs.LG math.OC stat.ML
Generalization Guarantees on Data-Driven Tuning of Gradient Descent with Langevin Updates
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Electrical and Computer Engineering Department, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）
本文研究了通过超参数调优实现学习学习的问题，提出兰格文梯度下降算法，并证明其在平方损失下达到贝叶斯最优解，同时给出了泛化保证和经验验证。
2026-09-11 cs.LG stat.ML
Risk and parameter convergence of logistic regression
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
当应用于逻辑回归任务时，梯度下降输出迭代，该迭代被偏置以遵循由数据定义的唯一射线。该射线的方向是数据的最大线性可分离子集的最大裕度预测值;梯度下降迭代以速率$\mathcal{O}(\ln\ln t / \ln t)$在方向上收敛到该射线。射线一般不会穿过原点，其偏移量是剩余数据上风险的有界全局最优值;梯度下降以$\mathcal{O}((\ln t)^2 / \sqrt{t})$的速率恢复该偏移量。
2019-06-08 cs.LG math.OC stat.ML
Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
Undergraduate Programme Indian Institute of Science, Bangalore（印度科学研究院布达佩斯分校本科项目）；Dept. of Computer Science and Automation Indian Institute of Science, Bangalore（计算机科学与自动化系印度科学研究院布达佩斯分校）；Inria, Ecole Normale Supérieure PSL Research University, Paris, France（法国巴黎PSL研究大学埃cole Normale Supérieure与Inria）
本文通过精心设计的步长增长策略，实现了梯度下降和随机梯度下降在可分离逻辑回归中的指数收敛性，无需依赖自适应或线搜索方法。
2026-02-27 cs.LG math.OC
Double descent in quantum kernel methods
Leiden University（莱顿大学）；Department of Physics and Astronomy（物理与天文学系）；University of Waterloo（多伦多大学）；Vector Institute（向量研究所）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
本研究通过量子特征空间中的线性回归模型，分析性地证明了量子核方法中存在双下降现象，并通过实验验证了测试误差峰值的存在，为超越传统统计学习理论提供了新的视角。
2025-09-19 cs.LG quant-ph stat.ML
How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent
TU Braunschweig（布伦瑞克工业大学）
本文分析了在NTK机制下使用梯度下降训练的两层神经网络的泛化性质，推导出提前停止GD的最小最大最优收敛速率，精确追踪了泛化所需的隐藏神经元数量，并证明了训练权重保持在初始化附近且半径取决于结构假设。
2023-09-14 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Homophily modulates double descent generalization in graph convolution networks
Universität Basel（巴塞尔大学）；University of Science and Technology of China（中国科学技术大学）；Nanjing Normal University（南京师范大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究结合统计物理与随机矩阵理论分析上下文随机块模型，揭示图噪声、特征噪声和标签数量如何共同影响图卷积网络的双下降与泛化，并据此改进异质性数据集上的SOTA性能。
2024-01-23 cond-mat.dis-nn cs.LG stat.ML
Double descent for least-squares interpolation on contaminated data: A simulation study
Institute for Mathematics, Carl von Ossietzky University Oldenburg（奥尔登堡卡尔·冯·奥西特齐克大学数学研究所）
本文研究了在受污染数据下线性回归中是否会出现双下降现象，比较了最小二乘插值估计器与几种鲁棒替代方法的性能，发现大规模过拟合确实导致双下降现象，使最小二乘插值器的泛化性能优于鲁棒替代方法。
2026-04-15 cs.LG
Accelerating Stochastic Gradient Descent For Least Squares Regression
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
人们普遍认为，由于快速梯度法的不稳定性和误差积累，不可能有效地利用快速梯度法（例如Nesterov的加速法、共轭梯度法、重球法）进行随机最优化，这一概念在d'Aspremont 2008和Devolder、Glineur和Nesterov 2014中得到了精确阐述。这项工作认为这些问题的特殊情况下的最小二乘回归问题的随机逼近，我们的主要结果驳斥了传统的智慧，表明加速可以强大的统计误差。特别是，这项工作介绍了一种加速随机梯度方法，可证明实现最小最大最优统计风险比随机梯度下降。分析的关键是加速随机梯度下降作为一个随机过程的一个尖锐的特点。我们希望这种特性提供了更广泛的问题，设计简单，有效的加速随机方法更一般的凸和非凸优化问题的见解。
2018-07-31 cs.LG math.OC math.ST
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Vanderbilt University（范德堡大学）；Suning Commerce R&D Center USA, Inc（苏宁美国研发中心）；Beijing Jiaotong University（北京交通大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；National Time Service Center, Chinese Academy of Sciences（中国科学院国家授时中心）；Graduate University of Chinese Academy of Sciences（中国科学院研究生院）
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器，忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题，我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略，在每个数据点的邻域中，我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验，结果表明了所提出的方法的优点。
2016-08-16 cs.LG
Differentially Private Two-Stage Gradient Descent for Instrumental Variable Regression
本文提出了一种具有差分隐私的双重阶段梯度下降算法，用于工具变量回归，解决了隐私保护与统计效率的平衡问题，并通过实验验证了其有效性。
2026-02-15 cs.AI cs.LG econ.EM
Trained Mamba Emulates Online Gradient Descent in In-Context Linear Regression
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；RIKEN AIP（日本理化学研究所AIP）；University of Tokyo（东京大学）
本文研究 Mamba 在线性回归 ICL 任务中的训练动态，证明其以指数速率收敛并达到可比损失界，且通过模拟在线梯度下降实现上下文学习。
2025-09-28 cs.LG
Improved Convergence of Large Stepsize Gradient Descent for Logistic Regression
University of Maryland, College Park（马里兰大学学院公园分校）
本文证明在线性可分数据上，逻辑回归的大步长梯度下降在任意维度下达到损失ε的步数为多对数复杂度，通过划分振荡阶段为嵌套区间，利用间隔和秩限制深度，显著改进了现有收敛速率。
2026-10-06 cs.LG
On the existence of the maximum likelihood estimate and convergence rate under gradient descent for multi-class logistic regression
The University of Arizona（亚利桑那大学）
本文研究多类 logistic 回归极大似然估计的存在性，通过为样本中每类分配正概率免除可分性要求，并基于 Hessian 条件数构造性界定梯度下降的收敛速率。
2024-05-08 cs.LG math.ST stat.TH
Unifying Grokking and Double Descent
Harvard University（哈佛大学）；University of Cambridge（剑桥大学）
对深度学习中泛化的原则性理解可能需要将不同的观察统一在一个概念框架下。先前的工作已经研究了\emph{grokking}，一种训练动态，其中持续一段时间的近乎完美的训练性能和接近机会的测试性能最终被泛化，以及表面上类似的\emph{double descent}。迄今为止，这些问题都是孤立研究的。我们假设grokking和双下降可以被理解为模式学习速度框架内相同的学习动态的实例。我们建议，这个框架也适用于不同的模型容量，而不是优化步骤，并提供了第一个示范模型明智grokking。
2023-03-10 cs.AI cs.LG
Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression
Peking University（北京大学）
针对以往缩放律理论研究忽略特征学习的问题，本文以二次参数化线性回归为对象，分析无限维幂律衰减数据下SGD的收敛率，明确分离有无特征学习的SGD泛化曲线并给出信息论下界，为模型学习动态提供新刻画。
2025-02-13 cs.LG
Parallelizing Stochastic Gradient Descent for Least Squares Regression: mini-batching, averaging, and model misspecification
Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
这项工作的特点的好处，广泛使用的平均计划与随机梯度下降（SGD）。特别是，这项工作提供了一个尖锐的分析：（1）mini-squares，平均随机梯度的许多样本，以减少随机梯度估计的方差和并行SGD和（2）尾平均，涉及平均SGD的最后几次迭代，以减少SGD的最终squares的方差的方法。这项工作提出了非渐近的超额风险界，这些计划的随机逼近问题的最小二乘回归。此外，这项工作建立了一个精确的问题依赖的程度，小批量SGD产生可证明的近线性并行化加速比SGD与批量大小1。这允许理解SGD方法的最终迭代的学习率与批量大小的权衡。这些结果，然后利用在提供一个高度并行化的SGD方法，获得极小极大风险与几乎相同数量的串行更新批量梯度下降，显着改善现有的SGD方法。然后提供了一个非渐近分析的通信有效的并行化方案，如模型平均/参数混合方法。最后，这项工作揭示了SGD的行为在处理（不可实现的）最小二乘回归问题中的不可知噪声时的一些根本差异。特别是，工作表明，确保极小极大风险的不可知的情况下的步长必须是一个函数的噪声属性。本文基于Defossez和Bach（2015）介绍的分析SGD方法的操作员视图，然后开发了一种新的分析方法来界定这些操作员以表征超额风险。这些技术在分析随机逼近的计算方面具有更广泛的意义。
2018-07-31 cs.DS cs.LG stat.ML
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
